CN112489120B - 一种多角度图像的图像识别方法及系统 - Google Patents

Abstract

本发明公开了一种多角度图像的图像识别方法及系统，其中，所述方法包括：根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；获得所述第一载体的第一粘片位置；根据所述第一多角度图像信息和所述第二多角度图像信息，确定第二粘片位置；根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片。解决了现有技术存在芯片尺寸较小、载体的位置误差较大，须用图像识别校正，且粘片新工艺对空间的要求比较高，很难实现直接识别当前芯片，现有间接识别的方式导致校正精度不高的技术问题。

Description

一种多角度图像的图像识别方法及系统

技术领域

本发明涉及图像识别领域，尤其涉及一种多角度图像的图像识别方法及系统。

背景技术

市场对半导体封装设备有广泛的需求，传统的倒装芯片生产方式渐渐无法满足越来越高的产能需求以及越来越小的芯片尺寸需求，出现了粘片的新工艺，这对设备的视觉定位提出了更高要求。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术存在芯片尺寸较小、载体的位置误差较大，须用图像识别校正，且粘片新工艺对空间的要求比较高，很难实现直接识别当前芯片，现有间接识别的方式导致校正精度不高的技术问题。

发明内容

本申请实施例通过提供一种多角度图像的图像识别方法及系统，解决了现有技术存在芯片尺寸较小、载体的位置误差较大，须用图像识别校正，且粘片新工艺对空间的要求比较高，很难实现直接识别当前芯片，现有间接识别的方式导致校正精度不高的技术问题，达到降低间接识别时的校正误差，提高芯片粘片精度的技术效果。

鉴于上述问题，提出了本申请实施例提供一种多角度图像的图像识别方法及系统。

第一方面，本申请实施例提供了一种多角度图像的图像识别方法，所述方法包括：获得第一焊盘的第一标准位置；通过所述第一图像采集装置获得第一焊盘的第一识别位置；根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；获得第一移动指令；根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；通过所述第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片。

另一方面，本申请还提供了一种多角度图像的图像识别系统，所述系统包括：第一获得单元，所述第一获得单元用于获得第一焊盘的第一标准位置；第二获得单元，所述第二获得单元用于通过第一图像采集装置获得第一焊盘的第一识别位置；第三获得单元，所述第三获得单元用于根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；第四获得单元，所述第四获得单元用于获得第一移动指令；第五获得单元，所述第五获得单元用于根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；第六获得单元，所述第六获得单元用于通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；第七获得单元，所述第七获得单元用于通过第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；第一确定单元，所述第一确定单元用于根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；第八获得单元，所述第八获得单元用于根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；第一调整单元，所述第一调整单元用于根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片。

第三方面，本发明提供了一种多角度图像的图像识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面所述方法的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；获得所述第一载体的第一粘片位置；根据所述第一多角度图像信息和所述第二多角度图像信息，确定第二粘片位置；根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片，进而达到降低间接识别时的校正误差，提高芯片粘片精度的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种多角度图像的图像识别方法的流程示意图；

图2为本申请实施例一种多角度图像的图像识别系统的结构示意图；

图3为本申请实施例示例性电子设备的结构示意图。

附图标记说明：第一获得单元11，第二获得单元12，第三获得单元13，第四获得单元14，第五获得单元15，第六获得单元16，第七获得单元17，第一确定单元18，第八获得单元19，第一调整单元20，总线300，接收器301，处理器302，发送器303，存储器304，总线接口305。

具体实施方式

本申请实施例通过提供一种多角度图像的图像识别方法及系统，解决了现有技术存在芯片尺寸较小、载体的位置误差较大，须用图像识别校正，且粘片工艺对空间的要求比较高，很难实现直接识别当前芯片，现有间接识别的方式导致校正精度不高的技术问题，达到降低间接识别时的校正误差，提高芯片粘片精度的技术效果。下面，将参考附图详细的描述根据本申请的示例实施例。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

市场对半导体封装设备有广泛的需求，传统的倒装芯片生产方式渐渐无法满足越来越高的产能需求以及越来越小的芯片尺寸需求，出现了粘片的新工艺，这对设备的视觉定位提出了更高要求。但现有技术存在芯片尺寸较小、载体的位置误差较大，须用图像识别校正，且粘片新工艺对空间的要求比较高，很难实现直接识别当前芯片，现有间接识别的方式导致校正精度不高的技术问题。

针对上述技术问题，本申请提供的技术方案总体思路如下：

本申请实施例提供了一种多角度图像的图像识别方法，所述方法包括：获得第一焊盘的第一标准位置；通过所述第一图像采集装置获得第一焊盘的第一识别位置；根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；获得第一移动指令；根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；通过所述第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

实施例一

如图1所示，本申请实施例提供了一种多角度图像的图像识别方法，其中，所述方法包括：

步骤S100：获得第一焊盘的第一标准位置；

具体而言，所述第一焊盘为表面贴装装配的基本构成单元，用来构成电路板的焊盘图案，即各种为特殊元件类型设计的焊盘组合，是需要进行多角度识别的对象，所述第一焊盘的第一标准位置为预先标定好的所述第一焊盘的准确位置。

步骤S200：通过所述第一图像采集装置获得第一焊盘的第一识别位置；

进一步而言，其中，所述通过所述第一图像采集装置获得第一焊盘的第一识别位置，本申请实施例步骤S200还包括：

步骤S210：通过所述第一图像采集装置获得第一图像信息、第二图像信息，直到第N图像信息，其中，所述第一图像信息、所述第二图像信息，所述第N图像信息的图像采集角度互不相同；

步骤S220：根据所述第一图像信息获得第一位置，根据所述第二图像信息获得第二位置，以此类推，根据所述第N图像信息获得第N位置；

步骤S230：将所述第一位置和所述第一标准位置存入第一计算区块，将所述第二位置和所述第一标准位置存入第二计算区块，直到将所述第N位置和所述第一标准位置存入第N计算区块；

步骤S240：获得预定规则；

步骤S250：每个计算区块根据所述预定规则，对所述第一位置、第二位置，至第N位置进行筛选，获得第一识别位置集合；

步骤S260：根据所述第一识别位置集合中所有识别位置，获得平均值，将所述平均值作为第一识别位置。

具体而言，所述第一识别位置为通过所述第一图像采集装置对所述第一焊盘的当前位置进行识别，所述图像信息为通过所述第一图像采集装置获得的所述第一焊盘的多角度图像信息，以此类推从所述第一图像信息、所述第二图像信息，直到所述第N图像信息，所述图像信息的图像采集角度互不相同。同理根据所述第一图像信息获得所述第一焊盘的第一位置，根据所述第一焊盘的所述第二图像信息获得第二位置，以此类推，根据所述第一焊盘的所述第N图像信息获得第N位置，达到多角度识别，提高识别准确性的技术效果。区块链存储是对所述位置分别对应所述第一标准位置，其中，将所述第一位置和所述第一标准位置存入第一计算区块，将所述第二位置和所述第一标准位置存入第二计算区块，以此类推，将所述第N位置和所述第一标准位置存入第N计算区块，其中，N为大于1的自然数。所述预定规则为预先设定的所述位置筛选规则，所述第一识别位置集合为每个计算区块根据所述预定规则，对所述第一位置、第二位置，至第N位置进行筛选所得到的识别位置集合，所述第一识别位置为根据所述第一识别位置集合中所有识别位置所取得的平均值。通过哈希函数对于每一存储单位进行串接，使得所述训练数据不易丢失和遭到破坏，区块链技术也被称之为分布式账本技术，是一种由若干台计算设备共同参与“记账"，共同维护一份完整的分布式数据库的新兴技术。由于区块链技术具有去中心化、公开透明、每台计算设备可以参与数据库记录、并且各计算设备之间可以快速的进行数据同步的特性，使得区块链技术已在众多的领域中广泛的进行应用。其中，由于每产生一个区块，就会具有相应的时间记录，新的区块就会按照本时间顺序连接，因此，存储大量的数据就需要运力最快的第一设备，从而将第N区块的记录权发送给运力最快的第一设备，就能够实现更好的运转速度和计算速度，从而达到了提高运算速度并保证位置识别准确性的技术效果。

步骤S300：根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；

步骤S400：获得第一移动指令；

步骤S500：根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；

具体而言，所述第一偏差校正值为多角度细化的所述第一识别位置和所述第一标准位置的需校正的位置偏差值，将所述第一偏差校正值存入寄存器中，寄存器会同时记录此数值对应的所述焊盘的位置，所述第一载体为移动所述焊盘的载体，所述载体在真空传送装置的部分由真空负压紧密吸附到真空传送装置上，所述载体和真空传送装置没有相对运动，所述载体上所述焊盘的位置和真空传送装置严格对应，所述第一载体的第一粘片位置为生产工艺中的粘片位置，即将芯片粘合到对应的所述焊盘，根据所述第一移动指令的指示，将第一载体参照所述第一识别位置进行单次或多次移动，所述第一载体可靠的吸附到真空传送装置上后，真空传送装置拖动载体到所述识别位置，真空传送装置拖动所述载体时，定位误差只与真空传送装置的运动精度有关，而不涉及所述载体的变形等因素引起的误差。

步骤S600：通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；

步骤S700：通过所述第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；

具体而言，所述第一多角度图像集合为通过所述第一图像采集装置获得的所述第一载体位于所述第一粘片位置时的多角度图像集合，所述第二多角度图像集合为通过所述第二图像采集装置获得的所述第一载体位于所述第一粘片位置时的多角度图像集合，所述第一多角度图像集合与所述第二多角度图像集合中所采集的图像角度互不相同，即通过不同图像采集装置多角度分别采集所述第一载体位于所述第一粘片位置时的图像信息。

步骤S800：根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；

进一步而言，其中，所述根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置，本申请实施例步骤S800还包括：

步骤S810：获得预定分类标准；

步骤S820：根据所述预定分类标准，对所述第一多角度图像集合和所述第二多角度集合中的图像进行分类，获得第一类别图像和第二类别图像；

步骤S830：将所述第一类别图像中的图像信息输入第一位置估计模型，获得第一输出结果；

步骤S840：将所述第二类别图像中的图像信息输入第二位置估计模型，获得第二输出结果；

步骤S850：根据所述第一输出结果和所述第二输出结果，确定所述第二粘片位置。

具体而言，所述预定分类标准为按照预先设定的标准所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息进行分类，将其分别分为所述第一类别图像和所述第二类别图像，引入所述位置估计模型，两个图像类别分别对应两个位置估计模型，进而得到两个输出粘片位置，经加权计算后取其平均值得到所述第二粘片位置，达到了通过多角度图像分类后分别输入估计模型，从而更为精确的确定粘片位置，减少了图像识别时的校正误差的技术效果。

步骤S900：根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；

步骤S1000：根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片。

具体而言，所述第二偏差信息为所述第一粘片位置和所述第二粘片位置的位置偏差信息，即计算得出真空传送装置在所述粘片位置上的位置偏差，根据所述第一焊盘的所述第一偏差校正值和所述粘片位置的所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，引导粘片机构完成粘片动作，使得所述第一焊盘和所述第一载体完成粘片，达到了使得所述焊盘完成粘片的位置确定更加准确的技术效果。

进一步而言，其中，所述根据所述预定分类标准，对所述第一多角度图像集合和所述第二多角度集合中的图像进行分类，获得第一类别图像和第二类别图像，本申请实施例步骤S820还包括：

步骤S821：根据所述第一多角度图像集合获得第一角度图像；

步骤S822：根据所述第二多角度图像集合获得第二角度图像；

步骤S823：判断所述第一角度图像和所述第二角度图像的角度是否互为补角；

步骤S824：如果所述第一角度图像和所述第二角度图像的角度互为补角，将所述第一角度图像和所述第二角度图像分为第一类别图像；

步骤S825：如果所述第一角度图像和所述第二角度图像的角度不是互为补角，将所述第一角度图像和所述第二角度图像分为第二类别图像。

具体而言，所述第一角度图像为所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一角度的图像，例如所述第一图像采集装置拍摄所述第一载体的一个照片时所处的位置与一基准线所成的夹角，基准线穿过所述第一粘片位置，所述第二角度图像为所述第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二角度的图像，判断所述第一角度图像和所述第二角度图像的角度是否互为补角，即所述两角之和为180°，也可以说其中一个角是另一个角的补角，如果所述第一角度图像和所述第二角度图像的角度互为补角，将所述第一角度图像和所述第二角度图像分为第一类别图像，举例而言，通过所述第一图像采集装置获得的所述第一载体的图像时所处的位置与所述第二图像采集装置获得的第一载体的图像时的位置在同一条直线上时，两者角度互为补角，如果所述第一角度图像和所述第二角度图像的角度不是互为补角，将所述第一角度图像和所述第二角度图像分为第二类别图像，达到了将图像按需分类，保证位置识别准确性的技术效果。

进一步而言，其中，所述将所述第一类别图像中的图像信息输入第一位置估计模型，获得第一输出结果，本申请实施例步骤S830还包括：

步骤S831：从所述第一类别图像中获得第三图像信息和第四图像信息，其中，所述第三图像信息属于所述第一多角度图像集合，所述第四图像信息属于所述第二多角度图像集合；

步骤S832：将所述第三图像信息作为第一输入信息；

步骤S833：将所述第四图像信息作为第二输入信息；

步骤S834：将所述第一输入信息和所述第二输入信息输入所述第一位置估计模型，所述第一位置估计模型通过多组训练数据训练所得，所述多组训练数据中的每一组数据均包括：所述第一输入信息、所述第二输入信息、以及用来标识第三粘片位置的标识信息；

步骤S835：获得所述第一位置估计模型的第一输出信息，所述第一输出信息包括第一输出结果，所述第一输出结果为第三粘片位置。

具体而言，所述第一位置估计模型为神经网络模型，所述神经网络模型即机器学习中的神经网络模型，神经网络(Neural Networks，NN)是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂神经网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络模型是以神经元的数学模型为基础来描述的。人工神经网络（Artificial Neural Networks，ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型。通过大量训练数据的训练，将所述第一输入信息和所述第二输入信息输入神经网络模型，则输出第三粘片位置。

更进一步而言，所述训练的过程实质为监督学习的过程，每一组监督数据均包括所述第一输入信息、所述第二输入信息、以及用来标识第三粘片位置的标识信息，将所述第一输入信息和所述第二输入信息输入到神经网络模型中，根据用来标识第三粘片位置的标识信息，所述神经网络模型进行不断的自我修正、调整，直至获得的第一输出结果与所述标识信息一致，则结束本组数据监督学习，进行下一组数据监督学习；当所述神经网络模型的输出信息达到预定的准确率/达到收敛状态时，则监督学习过程结束。通过对所述神经网络模型的监督学习，进而使得所述神经网络模型处理所述输入信息更加准确，进而使得输出的第三粘片位置更加合理、准确，进而达到降低间接识别时的校正误差，提高芯片粘片精度的技术效果。

进一步而言，其中，所述将所述第二类别图像中的图像信息输入第二位置估计模型，获得第二输出结果，本申请实施例步骤S840还包括：

步骤S841：从所述第二类别图像中获得第五图像信息和第六图像信息，其中，所述第五图像信息属于所述第一多角度图像集合，所述第六图像信息属于所述第二多角度图像集合；

步骤S842：将所述第五图像信息中的所述第一载体的第一位置向量作为横坐标；

步骤S843：将所述第六图像信息中的所述第一载体的第二位置向量作为纵坐标构建二维直角坐标系；

步骤S844：根据逻辑回归模型和所述二维直角坐标系，构建所述第二位置估计模型；

步骤S845：获得预定离散阈值；

步骤S846：根据所述二位置估计模型和所述预定离散阈值，获得第二输出结果，所述第二输出结果为第四粘片位置。

具体而言，所述第二位置估计模型为逻辑回归模型，所述逻辑回归模型是机器学习中的一种分类模型，将所述第一载体的第一位置向量作为横坐标，所述第一载体的第二位置向量作为纵坐标，构建坐标系，基于逻辑回归模型在所述坐标系中获得预定离散阈值，所述预定离散阈值为预先设定的位置阈值，所述第二输出结果为在预定离散阈值内的结果，从而确定所述第四粘片位置，进而使得所述逻辑回归模型更加准确，进而使得获得的输出结果更加准确，进而达到降低间接识别时的校正误差，提高粘片位置的准确性的技术效果。

进一步而言，其中，所述根据所述第一输出结果和所述第二输出结果，确定所述第二粘片位置，本申请实施例步骤S850还包括：

步骤S851：获得第一权重值和第二权重值，其中，所述第一权重值大于所述第二权重值，且所述第一权重值与所述第二权重值之和为1；

步骤S852：将所述第一权重值和所述第三粘片位置进行加权计算；

步骤S853：将所述第二权重值和所述第四粘片位置进行加权计算；

步骤S854：获得加权计算后的所述第三粘片位置和所述第四粘片位置的平均值，将所述平均值作为所述第二粘片位置。

具体而言，根据所述第一输出结果和所述第二输出结果确定第一权重值和第二权重值，是所设定的对所述第一输出结果和所述第二输出结果在整体加权计算中的相对重要程度百分比值，由于第三粘片位置的准确性比第四粘片位置的准确性更具有参考价值，所以，第三粘片位置的权重高于第四粘片位置的权重，所述第一权重值大于所述第二权重值，且所述第一权重值与所述第二权重值之和为1，分别将所述第一权重值和所述第二权重值与所述第三粘片位置和所述第四粘片位置进行加权计算，所述第二粘片位置为加权计算后的所述第三粘片位置和所述第四粘片位置的平均值，达到了通过加权计算使得获得的粘片位置识别更加准确的技术效果。

进一步而言，获得预定规则，本申请实施例步骤S240还包括：

步骤S241：根据所述第一图像信息获得所述第一位置与所述第一标准位置的第一重合度；

步骤S242：获得预设重合度划分标准；

步骤S243：根据所述预设重合度划分标准获得所述第一重合度等级，以此类推，获得所述第N位置的重合度等级；

步骤S244：获得预设合格重合度等级；

步骤S245：根据预设合格重合度等级，确定预定规则；

具体而言，所述第一重合度为所述第一位置与所述第一标准位置的位置区域重合度，所述预设重合度划分标准为预先设定的对所述重合度进行划分的标准，所述第一重合度等级为根据所述预设重合度划分标准对所述重合度划分得到的所述第一重合度等级，以此类推，获得所述第N位置的重合度等级，所述预设合格重合度等级为预先设定的合格的可以使用的重合度等级，根据符合的预设合格重合度等级，确定预定规则，达到划分重合度等级对位置信息进行筛选，进而得到更为准确的位置识别的技术效果。

综上所述，本申请实施例所提供的一种多角度图像的图像识别方法及系统具有如下技术效果：

1、由于采用了根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；获得所述第一载体的第一粘片位置；根据所述第一多角度图像信息和所述第二多角度图像信息，确定第二粘片位置；根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片，进而达到降低间接识别时的校正误差，提高芯片粘片精度的技术效果。

2、由于采用了通过神经网络模型和模型获得粘片位置的方式，将所述图像信息输入模型中，进而使得所述神经网络模型处理所述输入信息更加准确，进而使得输出的粘片位置更加合理、准确，达到了更为精确的确定粘片位置，减少了图像识别时的校正误差，进而达到降低间接识别时的校正误差，提高芯片粘片精度的技术效果。

实施例二

基于与前述实施例中一种多角度图像的图像识别方法同样发明构思，本发明还提供了一种多角度图像的图像识别系统，如图2所示，所述系统包括：

第一获得单元11，所述第一获得单元11用于获得第一焊盘的第一标准位置；

第二获得单元12，所述第二获得单元12用于通过第一图像采集装置获得第一焊盘的第一识别位置；

第三获得单元13，所述第三获得单元13用于根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；

第四获得单元14，所述第四获得单元14用于获得第一移动指令；

第五获得单元15，所述第五获得单元15用于根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；

第六获得单元16，所述第六获得单元16用于通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；

第七获得单元17，所述第七获得单元17用于通过第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；

第一确定单元18，所述第一确定单元18用于根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；

第八获得单元19，所述第八获得单元19用于根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；

第一调整单元20，所述第一调整单元20用于根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片。

进一步的，所述系统还包括：

第九获得单元，所述第九获得单元用于通过所述第一图像采集装置获得第一图像信息、第二图像信息，直到第N图像信息，其中，所述第一图像信息、所述第二图像信息，所述第N图像信息的图像采集角度互不相同；

第十获得单元，所述第十获得单元用于根据所述第一图像信息获得第一位置，根据所述第二图像信息获得第二位置，以此类推，根据所述第N图像信息获得第N位置；

第一存入单元，所述第一存入单元用于将所述第一位置和所述第一标准位置存入第一计算区块，将所述第二位置和所述第一标准位置存入第二计算区块，直到将所述第N位置和所述第一标准位置存入第N计算区块；

第十一获得单元，所述第十一获得单元用于获得预定规则；

第十二获得单元，所述第十二获得单元用于每个计算区块根据所述预定规则，对所述第一位置、第二位置，至第N位置进行筛选，获得第一识别位置集合；

第十三获得单元，所述第十三获得单元用于根据所述第一识别位置集合中所有识别位置，获得平均值，将所述平均值作为第一识别位置。

进一步的，所述系统还包括：

第十四获得单元，所述第十四获得单元用获得预定分类标准；

第十五获得单元，所述第十五获得单元用于根据所述预定分类标准，对所述第一多角度图像集合和所述第二多角度集合中的图像进行分类，获得第一类别图像和第二类别图像；

第十六获得单元，所述第十六获得单元用于将所述第一类别图像中的图像信息输入第一位置估计模型，获得第一输出结果；

第十七获得单元，所述第十七获得单元用于将所述第二类别图像中的图像信息输入第二位置估计模型，获得第二输出结果；

第二确定单元，所述第二确定单元用于根据所述第一输出结果和所述第二输出结果，确定所述第二粘片位置。

进一步的，所述系统还包括：

第十八获得单元，所述第十八获得单元用于根据所述第一多角度图像集合获得第一角度图像；

第十九获得单元，所述第十九获得单元用于根据所述第二多角度图像集合获得第二角度图像；

第一判断单元，所述第一判断单元用于判断所述第一角度图像和所述第二角度图像的角度是否互为补角；

第一分为单元，所述第一分为单元用于如果所述第一角度图像和所述第二角度图像的角度互为补角，将所述第一角度图像和所述第二角度图像分为第一类别图像；

第二分为单元，所述第二分为单元用于如果所述第一角度图像和所述第二角度图像的角度不是互为补角，将所述第一角度图像和所述第二角度图像分为第二类别图像。

进一步的，所述系统还包括：

第二十获得单元，所述第二十获得单元用于从所述第一类别图像中获得第三图像信息和第四图像信息，其中，所述第三图像信息属于所述第一多角度图像集合，所述第四图像信息属于所述第二多角度图像集合；

第一作为单元，所述第一作为单元用于将所述第三图像信息作为第一输入信息；

第二作为单元，所述第二作为单元用于将所述第四图像信息作为第二输入信息；

第一输入单元，所述第一输入单元用于将所述第一输入信息和所述第二输入信息输入所述第一位置估计模型，所述第一位置估计模型通过多组训练数据训练所得，所述多组训练数据中的每一组数据均包括：所述第一输入信息、所述第二输入信息、以及用来标识第三粘片位置的标识信息；

第二十一获得单元，所述第二十一获得单元用于获得所述第一位置估计模型的第一输出信息，所述第一输出信息包括第一输出结果，所述第一输出结果为第三粘片位置。

进一步的，所述系统还包括：

第二十二获得单元，所述第二十二获得单元用于从所述第二类别图像中获得第五图像信息和第六图像信息，其中，所述第五图像信息属于所述第一多角度图像集合，所述第六图像信息属于所述第二多角度图像集合；

第三作为单元，所述第三作为单元用于将所述第五图像信息中的所述第一载体的第一位置向量作为横坐标；

第四作为单元，所述第四作为单元用于将所述第六图像信息中的所述第一载体的第二位置向量作为纵坐标构建二维直角坐标系；

第一构建单元，所述第一构建单元用于根据逻辑回归模型和所述二维直角坐标系，构建所述第二位置估计模型；

第二十三获得单元，所述第二十三获得单元用于获得预定离散阈值；

第二十四获得单元，所述第二十四获得单元用于根据所述二位置估计模型和所述预定离散阈值，获得第二输出结果，所述第二输出结果为第四粘片位置。

进一步的，所述系统还包括：

第二十五获得单元，所述第二十五获得单元用于获得第一权重值和第二权重值，其中，所述第一权重值大于所述第二权重值，且所述第一权重值与所述第二权重值之和为1；

第一计算单元，所述第一计算单元用于将所述第一权重值和所述第三粘片位置进行加权计算；

第二计算单元，所述第二计算单元用于将所述第二权重值和所述第四粘片位置进行加权计算；

第二十六获得单元，所述第二十六获得单元用于获得加权计算后的所述第三粘片位置和所述第四粘片位置的平均值，将所述平均值作为所述第二粘片位置。

前述图1实施例一中的一种多角度图像的图像识别方法的各种变化方式和具体实例同样适用于本实施例的一种多角度图像的图像识别系统，通过前述对一种多角度图像的图像识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种多角度图像的图像识别系统的实施方法，所以为了说明书的简洁，在此不再详述。

示例性电子设备

下面参考图3来描述本申请实施例的电子设备。

图3图示了根据本申请实施例的电子设备的结构示意图。

基于与前述实施例中一种多角度图像的图像识别方法的发明构思，本发明还提供一种多角度图像的图像识别系统，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种多角度图像的图像识别方法的任一方法的步骤。

其中，在图3中，总线架构（用总线300来代表），总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。

处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

本发明实施例提供的一种多角度图像的图像识别方法，所述方法包括：获得第一焊盘的第一标准位置；通过所述第一图像采集装置获得第一焊盘的第一识别位置；根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；获得第一移动指令；根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；通过所述第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片。解决了现有技术存在芯片尺寸较小、载体的位置误差较大，须用图像识别校正，且粘片新工艺对空间的要求比较高，很难实现直接识别当前芯片，现有间接识别的方式导致校正精度不高的技术问题，达到降低间接识别时的校正误差，提高芯片粘片精度的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种多角度图像的图像识别方法，其中，所述方法应用于一种多角度图像的图像识别系统，所述系统包括第一图像采集装置和第二图像采集装置，所述第一图像采集装置和所述第二图像采集装置的图像采集角度不同，所述方法包括：

获得第一焊盘的第一标准位置；

通过所述第一图像采集装置获得所述第一焊盘的第一识别位置；

根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；

获得第一移动指令；

根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；

通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；

通过所述第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；

根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；

根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；

根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片;

其中，所述根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置，包括：

获得预定分类标准；

根据所述预定分类标准，对所述第一多角度图像集合和所述第二多角度集合中的图像进行分类，获得第一类别图像和第二类别图像；

将所述第一类别图像中的图像信息输入第一位置估计模型，获得第一输出结果，所述第一输出结果为第三粘片位置；

将所述第二类别图像中的图像信息输入第二位置估计模型，获得第二输出结果，所述第二输出结果为第四粘片位置；

根据所述第一输出结果和所述第二输出结果，确定所述第二粘片位置;

其中，所述根据所述预定分类标准，对所述第一多角度图像集合和所述第二多角度集合中的图像进行分类，获得第一类别图像和第二类别图像，包括：

根据所述第一多角度图像集合获得第一角度图像；

根据所述第二多角度图像集合获得第二角度图像；

判断所述第一角度图像和所述第二角度图像的角度是否互为补角；

如果所述第一角度图像和所述第二角度图像的角度互为补角，将所述第一角度图像和所述第二角度图像分为第一类别图像；

如果所述第一角度图像和所述第二角度图像的角度不是互为补角，将所述第一角度图像和所述第二角度图像分为第二类别图像。

2.如权利要求1所述的方法，其中，所述通过所述第一图像采集装置获得第一焊盘的第一识别位置，包括：

通过所述第一图像采集装置获得第一图像信息、第二图像信息，直到第N图像信息，其中，所述第一图像信息、所述第二图像信息，所述第N图像信息的图像采集角度互不相同；

根据所述第一图像信息获得第一位置，根据所述第二图像信息获得第二位置，以此类推，根据所述第N图像信息获得第N位置；

将所述第一位置和所述第一标准位置存入第一计算区块，将所述第二位置和所述第一标准位置存入第二计算区块，直到将所述第N位置和所述第一标准位置存入第N计算区块；

获得预定规则；

每个计算区块根据所述预定规则，对所述第一位置、第二位置，至第N位置进行筛选，获得第一识别位置集合；

根据所述第一识别位置集合中所有识别位置，获得平均值，将所述平均值作为第一识别位置。

3.如权利要求1所述的方法，其中，所述将所述第一类别图像中的图像信息输入第一位置估计模型，获得第一输出结果，包括：

从所述第一类别图像中获得第三图像信息和第四图像信息，其中，所述第三图像信息属于所述第一多角度图像集合，所述第四图像信息属于所述第二多角度图像集合；

将所述第三图像信息作为第一输入信息；

将所述第四图像信息作为第二输入信息；

将所述第一输入信息和所述第二输入信息输入所述第一位置估计模型，所述第一位置估计模型通过多组训练数据训练所得，所述多组训练数据中的每一组数据均包括：所述第一输入信息、所述第二输入信息、以及用来标识第三粘片位置的标识信息；

获得所述第一位置估计模型的第一输出信息，所述第一输出信息包括第一输出结果。

4.如权利要求1所述的方法，其中，所述将所述第二类别图像中的图像信息输入第二位置估计模型，获得第二输出结果，包括：

从所述第二类别图像中获得第五图像信息和第六图像信息，其中，所述第五图像信息属于所述第一多角度图像集合，所述第六图像信息属于所述第二多角度图像集合；

将所述第五图像信息中的所述第一载体的第一位置向量作为横坐标；

将所述第六图像信息中的所述第一载体的第二位置向量作为纵坐标构建二维直角坐标系；

根据逻辑回归模型和所述二维直角坐标系，构建所述第二位置估计模型；

获得预定离散阈值；

根据所述二位置估计模型和所述预定离散阈值，获得第二输出结果。

5.如权利要求1所述的方法，其中，所述根据所述第一输出结果和所述第二输出结果，确定所述第二粘片位置，包括：

获得第一权重值和第二权重值，其中，所述第一权重值大于所述第二权重值，且所述第一权重值与所述第二权重值之和为1；

将所述第一权重值和所述第三粘片位置进行加权计算；

将所述第二权重值和所述第四粘片位置进行加权计算；

获得加权计算后的所述第三粘片位置和所述第四粘片位置的平均值，将所述平均值作为所述第二粘片位置。

6.一种多角度图像的图像识别系统，其中，所述系统包括：

第一获得单元，所述第一获得单元用于获得第一焊盘的第一标准位置；

第二获得单元，所述第二获得单元用于通过第一图像采集装置获得所述第一焊盘的第一识别位置；

第三获得单元，所述第三获得单元用于根据所述第一识别位置和所述第一标准位置，获得第一偏差校正值；

第四获得单元，所述第四获得单元用于获得第一移动指令；

第五获得单元，所述第五获得单元用于根据所述第一移动指令，将第一载体参照所述第一识别位置进行单次或多次移动，获得所述第一载体的第一粘片位置；

第六获得单元，所述第六获得单元用于通过所述第一图像采集装置获得所述第一载体位于所述第一粘片位置时的第一多角度图像集合；

第七获得单元，所述第七获得单元用于通过第二图像采集装置获得所述第一载体位于所述第一粘片位置时的第二多角度图像集合，其中，所述第一多角度图像集合与所述第二多角度图像集合中图像的角度互不相同；

第一确定单元，所述第一确定单元用于根据所述第一多角度图像集合中的图像信息和所述第二多角度图像集合中的图像信息，确定第二粘片位置；

第八获得单元，所述第八获得单元用于根据所述第一粘片位置和所述第二粘片位置，获得第二偏差信息；

第一调整单元，所述第一调整单元用于根据所述第一偏差校正值和所述第二偏差信息对所述第一焊盘和所述第一载体进行调整，使得所述第一焊盘和所述第一载体完成粘片；

第十四获得单元，所述第十四获得单元用获得预定分类标准；

第十五获得单元，所述第十五获得单元用于根据所述预定分类标准，对所述第一多角度图像集合和所述第二多角度集合中的图像进行分类，获得第一类别图像和第二类别图像；

第十六获得单元，所述第十六获得单元用于将所述第一类别图像中的图像信息输入第一位置估计模型，获得第一输出结果，所述第一输出结果为第三粘片位置；

第十七获得单元，所述第十七获得单元用于将所述第二类别图像中的图像信息输入第二位置估计模型，获得第二输出结果，所述第二输出结果为第四粘片位置；

第二确定单元，所述第二确定单元用于根据所述第一输出结果和所述第二输出结果，确定所述第二粘片位置；

第十八获得单元，所述第十八获得单元用于根据所述第一多角度图像集合获得第一角度图像；

第十九获得单元，所述第十九获得单元用于根据所述第二多角度图像集合获得第二角度图像；

第一判断单元，所述第一判断单元用于判断所述第一角度图像和所述第二角度图像的角度是否互为补角；

第一分为单元，所述第一分为单元用于如果所述第一角度图像和所述第二角度图像的角度互为补角，将所述第一角度图像和所述第二角度图像分为第一类别图像；

第二分为单元，所述第二分为单元用于如果所述第一角度图像和所述第二角度图像的角度不是互为补角，将所述第一角度图像和所述第二角度图像分为第二类别图像。

7.一种多角度图像的图像识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。

Images