CN112541945B - 一种二次匹配对应的ic芯片亚像素精度定位方法 - Google Patents

Abstract

一种二次匹配对应的IC芯片亚像素精度定位方法，涉及贴片机图像处理技术领域。本发明是为了解决现有贴片机在线定位算法可靠性差、定位精度低、弱鲁棒性、计算时间长的问题。本发明采集待贴片元件的二维图像，将该二维图像中待贴片元件的所有像素点进行芯片示教，获得待贴片元件的参数、并利用该参数建立元件数据库，利用亚像素角点检测算法提取二维图像的一次匹配角点；提取一次匹配角点的距离特征向量进行距离特征匹配，提取元件数据库中模型Ⅰ型关键点的形状特征进行形状特征匹配，利用最小二乘法计算一次匹配贴装位置与一次匹配旋转角度，利用一次匹配贴装位置与一次匹配旋转角度查找Ⅱ型亚像素关键点、并进行二次匹配，完成定位。

Description

一种二次匹配对应的IC芯片亚像素精度定位方法

技术领域

本发明属于贴片机图像处理技术领域。

背景技术

表面贴装技术广泛应用于现在的电子产业，其实现的功能为将表面贴装元件或器件贴装至印刷电路板上。相较于传统的通孔贴装技术，表面贴装技术更适合集成度高的大批量生产。根据装配生产过程，该技术主要分为三个阶段：丝网印刷、元件贴放和回流焊。其中，鲁棒性强、可靠性高的动态视觉检测系统在表面贴装作业中具有相当重要的应用。作为表面贴装技术生产中最关键、最复杂的设备，全自动贴片机可以实现高速，高精度地全自动贴放元器件。因此贴片机的贴装效率和贴装精度对整个生产线至关重要，同时也得到了众多开发人员的关注。

为了提高检测精度，视觉定位系统广泛应用于贴片机。然而元件的视觉定位检测会增加贴片时间，降低贴片机的贴装效率。随后一些研究人员通过对贴片机的贴片头进行改进，提出了一种飞行对中结构。通过精巧的结构使得贴片头在运动过程中完成对待贴装元件的视觉检测和定位，实现二者的并行运行，从而使得贴片效率有了极大的提升。

近些年具有高可靠性、高效率和强鲁棒性的视觉测量系统得到了科学界与工业界的广泛关注，众多应用如表面缺陷检测、机器人、人脸检测、医学设备也应运而生。实际表面贴装过程中，大约33％的缺陷与元件的放置有关。因此，贴片机视觉检测系统需要一个合适的在线定位算法来确定元件的贴装定位。但是，现有贴片机在线定位算法在高速算法运行内存空间有限的情况下，存在可靠性差、定位精度低、弱鲁棒性以及计算时间长的缺点。

发明内容

本发明是为了解决现有贴片机在线定位算法在高速、算法运行内存空间有限的情况下，存在可靠性差、定位精度低、弱鲁棒性、以及计算时间长的问题，现提供一种二次匹配对应的IC芯片亚像素精度定位方法。

一种二次匹配对应的IC芯片亚像素精度定位方法，包括以下步骤：

步骤一：采集待贴片元件的二维图像，将该二维图像中待贴片元件的所有像素点构成待定位点集；

步骤二：对待定位点集中的所有像素点进行芯片示教，获得待贴片元件的参数、并利用该参数建立元件数据库，所述待贴片元件的参数包括：元件尺寸、引脚数量和引脚间距；

步骤三：根据元件数据库，利用亚像素角点检测算法提取二维图像的一次匹配角点；

步骤四：提取一次匹配角点的距离特征向量，并进行距离特征匹配，获得一次对应关系；

步骤五：在一次对应关系的基础上，提取元件数据库中模型Ⅰ型关键点的形状特征，并进行形状特征匹配，获得二次对应关系；

步骤六：在二次对应关系的基础上，利用最小二乘法计算一次匹配贴装位置与一次匹配旋转角度，获得一次匹配关系；

步骤七：利用一次匹配贴装位置与一次匹配旋转角度查找Ⅱ型亚像素关键点、并进行二次匹配，完成待贴片元件的精确定位。

进一步的，上述步骤二所述建立元件数据库的具体方法包括：

步骤二一：调整二维图像中待贴片元件的参数至标准阈值范围内；

步骤二二：利用二维图像的两条对角线将其中的待贴片元件分割为四组；

步骤二三：将每组中每个引脚的内角点作为模型Ⅰ型关键点，将所有模型Ⅰ型关键点的坐标构成集合M^Ⅰ为模型Ⅰ型关键点的总个数，所述内角点为引脚内边的两个端点；

步骤二四：将每组中每个引脚的外边中点作为模型Ⅱ型关键点，将所有模型Ⅱ型关键点的坐标构成集合M^Ⅱ为模型Ⅱ型关键点的总个数；

步骤二五：保存X^Ⅰ和X^Ⅱ并构成元件数据库，元件数据库中的数据作为贴片元件贴装过程中所需的匹配原型。

进一步的，上述步骤三所述利用亚像素角点检测算法提取二维图像的一次匹配角点的具体方法包括：

步骤三一：将的距离特征向量/>中第k个元素/>作为/>与/>之间的欧式距离：

其中，与/>分别为X^Ⅰ中第i和j个模型Ⅰ型关键点的坐标，i,j∈{1_,2,...,M^Ⅰ}且i≠j，k∈{1,2,...,(M^Ⅰ-1)}；

步骤三二：利用和距离阈值Dt根据下式获得二维图像的一次匹配角点/>

其中，

进一步的，上述步骤四中获得一次对应关系的具体方法包括以下步骤：

步骤四一：提取一次匹配角点的距离特征向量DF_l，

步骤四二：引入测试图像，提取所有模型Ⅰ型关键点和测试图像中亚像素关键点的距离特征向量，

步骤四三：根据DF_l定义模型Ⅰ型关键点和测试图像中亚像素关键点的M^Ⅰ×(M^Ⅰ-1)维距离特征向量分别为DF_i ^I和

步骤四四：当时，模型Ⅰ型关键点和测试图像中亚像素关键点在距离特征上匹配，获得模型Ⅰ型关键点和测试图像中亚像素关键点的一次对应关系。

进一步的，上述步骤五中获得二次对应关系的具体方法为：

步骤五一：模型Ⅰ型关键点的形状特征表达式为：

其中，前M^Ⅰ-1个元素为线段长度，后M^Ⅰ-1个元素为线段角度，所述线段为相邻两个模型Ⅰ型关键点的连线，线段角度为线段与水平线之间的夹角；

步骤五二：根据模型Ⅰ型关键点的形状特征定义Ⅰ型亚像素关键点集为其中元素/>为二维向量，包括线段长度和线段角度，

步骤五三：将与/>作为对应点对，获得模型Ⅰ型关键点与Ⅰ型亚像素关键点的二次对应关系。

进一步的，上述步骤六中根据一次匹配的平移量t_r获得待贴片元件的一次匹配贴装位置，

根据下式获得一次匹配的平移量t_r：

t_r＝[x_r,y_r]^T

其中，x_r和y_r分别为一次匹配下待贴片元件中任意点移动到标准图像中对应点时x轴与y轴的平移量；

根据下式获得一次匹配旋转角度θ_r：

其中，S_r为缩放因子，R_r为刚性运动的旋转矩阵。

进一步的，上述步骤七的具体方法为：

步骤七一：利用一次匹配贴装位置与一次匹配旋转角度定义Ⅱ型亚像素关键点为

步骤七二：利用最小化残差和的方法计算待贴片元件的精确位置t_f和精确旋转角度θ_f，

步骤七三：根据待贴片元件的精确位置t_f和精确旋转角度θ_f调整待贴片元件位置实现二次匹配。

本发明的有益效果为：

(1)本发明保证了贴片头对待贴装元件视觉检测与定位的较强鲁棒性和高定位精度，可以在较低的计算复杂度下完成对待贴片元件的贴装。

(2)本发明提高了贴装精度，在X轴上的定位差值不超过1/30个像素，在Y轴上的定位差值不超过1/13个像素，在旋转角度上的定位差值不超过1/50°。

(3)与市面上普通贴片机相比，本发明采用的在线定位方法在L6234元件的计算时间上降低了12％，在ATMEGA88PA-AU元件的计算时间降低了89％。与HALCON相比，本发明方法计算时间降低了79％。

附图说明

图1为本发明所述一种二次匹配对应的IC芯片亚像素精度定位方法的流程图；

图2为步骤一中所述的二维图像；贴片机在一定光照条件下采集得到的芯片引脚图像；

图3为步骤四一中所述距离特征向量；

图4是步骤五三中匹配的SOP封装元件的形状特征。

具体实施方式

设定飞行相机的距离阈值为最小引脚宽度的1.2倍，固定相机的距离阈值为最小引脚宽度的0.75倍。将高斯协方差设置为最小引脚宽度的0.25倍，加权窗口的尺寸设置为高斯协方差的3倍，三维梯度算子设定为[-1；0；1]，结构张量的行列式和平方迹之间的权衡参数为0.06；然后参照图1至图4具体说明本实施方式，本实施方式所述的一种二次匹配对应的IC芯片亚像素精度定位方法，包括以下步骤：

步骤一：采集待贴片元件的二维图像，将该二维图像中待贴片元件的所有像素点构成待定位点集。

步骤二：对待定位点集中的所有像素点进行芯片示教，获得待贴片元件的参数、并利用该参数建立元件数据库，所述待贴片元件的参数包括：元件尺寸、引脚数量和引脚间距。具体方法包括以下步骤：

步骤二一：根据元件的用户手册，手动设置元件参数并根据元件的视觉尺寸调整二维图像中待贴片元件的参数至标准阈值范围内。

步骤二二：利用二维图像的两条对角线将其中的待贴片元件分割为四组，并将对角线作为两个坐标轴建立坐标系，其中待贴片元件的封装圆点所在方向为横坐标正方向。

步骤二三：将每组中每个引脚的内角点作为模型Ⅰ型关键点，将所有模型Ⅰ型关键点的坐标构成集合M^Ⅰ为模型Ⅰ型关键点的总个数，所述内角点为引脚内边的两个端点。

步骤二四：将每组中每个引脚的外边中点作为模型Ⅱ型关键点，将所有模型Ⅱ型关键点的坐标构成集合M^Ⅱ为模型Ⅱ型关键点的总个数。

步骤二五：保存X^Ⅰ和X^Ⅱ并构成元件数据库，元件数据库中的数据作为贴片元件贴装过程中所需的匹配原型。

步骤三：根据元件数据库，利用亚像素角点检测算法提取二维图像的一次匹配角点，具体方法包括以下步骤：

步骤三一：将的距离特征向量/>中第k个元素/>作为/>与/>之间的欧式距离：

其中，与/>分别为X^Ⅰ中第i和j个模型Ⅰ型关键点的坐标，i,j∈{1_,2,...,M^Ⅰ}且i≠j，k∈{1,2,...,(M^Ⅰ-1)}。

步骤三二：利用和距离阈值Dt根据下式获得二维图像的一次匹配角点/>

其中，

步骤四：提取一次匹配角点的距离特征向量，并进行距离特征匹配，获得一次对应关系；具体方法包括以下步骤：

步骤四一：提取一次匹配角点的距离特征向量DF_l，如图3所示；DF_l中元素DF_l,i,j的初始值为0、表达式为：

其中，D_l,k为第l个点与第k个点之间的欧氏距离集合，Db_i,j为第i个模型Ⅰ型关键点的距离bin中的第j个元素集合。

步骤四二：引入测试图像，提取所有模型Ⅰ型关键点和测试图像中亚像素关键点hc_j的距离特征向量。

步骤四三：根据DF_l定义模型Ⅰ型关键点和测试图像中亚像素关键点的M^Ⅰ×(M^Ⅰ-1)维距离特征向量分别为DF_i ^I和

步骤四四：当时，模型Ⅰ型关键点和测试图像中亚像素关键点在距离特征上匹配，获得模型Ⅰ型关键点和测试图像中亚像素关键点的一次对应关系。

步骤五：在一次对应关系的基础上，提取元件数据库中模型Ⅰ型关键点的形状特征，并进行形状特征匹配，获得二次对应关系；具体方法包括以下步骤：

步骤五一：模型Ⅰ型关键点的形状特征表达式为：

其中，前M^Ⅰ-1个元素为线段长度，后M^Ⅰ-1个元素为线段角度，所述线段为相邻两个模型Ⅰ型关键点的连线，线段角度为线段与水平线之间的夹角；

步骤五二：根据模型Ⅰ型关键点的形状特征定义Ⅰ型亚像素关键点集为其中元素/>为二维向量，包括线段长度和线段角度，

步骤五三：将与/>作为对应点对，获得模型Ⅰ型关键点与Ⅰ型亚像素关键点的二次对应关系。

步骤六：在二次对应关系的基础上，利用最小二乘法计算一次匹配的平移量t_r与一次匹配旋转角度，然后根据一次匹配的平移量t_r获得待贴片元件的一次匹配贴装位置，进而获得一次匹配关系。

具体的，根据下式获得一次匹配的平移量t_r：

t_r＝[x_r,y_r]^T

其中，x_r和y_r分别为一次匹配下待贴片元件中任意点移动到标准图像中对应点时x轴与y轴的平移量。

根据下式获得一次匹配旋转角度θ_r：

其中，由于将待贴装元件在贴装头上的运动表示为刚性运动，所以引入缩放因子S_r，其表达式为：

S_r＝l_t/l_s

其中，l_t为待贴片元件中任意点与标准图像中对应点之间的欧氏距离，l_s为M^Ⅰ-1个线段长度的平均值。

R_r为刚性运动的旋转矩阵，其表达式为：

步骤七：利用一次匹配贴装位置与一次匹配旋转角度查找Ⅱ型亚像素关键点、并进行二次匹配，完成待贴片元件的精确定位。具体方法包括以下步骤：

步骤七一：利用一次匹配贴装位置与一次匹配旋转角度定义Ⅱ型亚像素关键点为

步骤七二：利用最小化残差和的方法计算待贴片元件的精确位置t_f和精确旋转角度θ_f。

步骤七三：根据待贴片元件的精确位置t_f和精确旋转角度θ_f调整待贴片元件位置实现二次匹配。

精确位置t_f的表达式为：

t_f＝[x_f,y_f]^T

其中，x_f和y_f分别为二次匹配下待贴片元件中任意点移动到标准图像中对应点时x轴与y轴的平移量，

精确旋转角度θ_f的表达式为：

其中，R_f为旋转矩阵。

旋转矩阵R_f的表达式为：

本实施方式用于对贴片机固定相机或飞行相机采集到的386×500感兴趣区域(ROI)进行精确在线定位。经过上述步骤之后，在Intel酷睿i7处理器、NVIDIA GeForce GT2080的显卡配置下，程序运行时间约为13.7ms，相比其他主流算法效率更高。此外，在X轴上的定位差值不超过1/30个像素，在Y轴上的定位差值不超过1/13个像素，在旋转角度上的定位误差不超过1/50°，配准精度较高。

最后应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，其对本发明的一个实施例进行了详细说明，但所述内容仅为本发明创造的较佳实施例，不能被认为用于限定本发明的实施范围。本领域的技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种二次匹配对应的IC芯片亚像素精度定位方法，其特征在于，包括以下步骤：

步骤一：采集待贴片元件的二维图像，将该二维图像中待贴片元件的所有像素点构成待定位点集；

步骤二：对待定位点集中的所有像素点进行芯片示教，获得待贴片元件的参数、并利用该参数建立元件数据库，所述待贴片元件的参数包括：元件尺寸、引脚数量和引脚间距；

步骤二所述建立元件数据库的具体方法包括：

步骤二一：调整二维图像中待贴片元件的参数至标准阈值范围内；

步骤二二：利用二维图像的两条对角线将其中的待贴片元件分割为四组；

步骤二三：将每组中每个引脚的内角点作为模型Ⅰ型关键点，将所有模型Ⅰ型关键点的坐标构成集合M^Ⅰ为模型Ⅰ型关键点的总个数，所述内角点为引脚内边的两个端点；

步骤二四：将每组中每个引脚的外边中点作为模型Ⅱ型关键点，将所有模型Ⅱ型关键点的坐标构成集合M^Ⅱ为模型Ⅱ型关键点的总个数；

步骤二五：保存X^Ⅰ和X^Ⅱ并构成元件数据库，元件数据库中的数据作为贴片元件贴装过程中所需的匹配原型；

步骤三：根据元件数据库，利用亚像素角点检测算法提取二维图像的一次匹配角点；

步骤四：提取一次匹配角点的距离特征向量，并进行距离特征匹配，获得一次对应关系；

步骤四中获得一次对应关系的具体方法包括以下步骤：

步骤四一：提取一次匹配角点的距离特征向量DF_l，

步骤四二：引入测试图像，提取所有模型Ⅰ型关键点和测试图像中亚像素关键点的距离特征向量，

步骤四三：根据DF_l定义模型Ⅰ型关键点和测试图像中亚像素关键点的M^Ⅰ×(M^Ⅰ-1)维距离特征向量分别为DF_i ^I和

步骤四四：当时，模型Ⅰ型关键点和测试图像中亚像素关键点在距离特征上匹配，获得模型Ⅰ型关键点和测试图像中亚像素关键点的一次对应关系；

DF_l中元素DF_l,i,j的初始值为0、表达式为：

其中，D_l,k为第l个点与第k个点之间的欧氏距离集合，Db_i,j为第i个模型Ⅰ型关键点的距离bin中的第j个元素集合，i,j∈{1,2,...,M^Ⅰ}且i≠j，k∈{1,2,...,(M^Ⅰ-1)}；

步骤五：在一次对应关系的基础上，提取元件数据库中模型Ⅰ型关键点的形状特征，并进行形状特征匹配，获得二次对应关系；

步骤五中获得二次对应关系的具体方法为：

步骤五一：模型Ⅰ型关键点的形状特征表达式为：

其中，前M^Ⅰ-1个元素为线段长度，后M^Ⅰ-1个元素为线段角度，所述线段为相邻两个模型Ⅰ型关键点的连线，线段角度为线段与水平线之间的夹角；

步骤五二：根据模型Ⅰ型关键点的形状特征定义Ⅰ型亚像素关键点集为其中元素/>为二维向量，包括线段长度和线段角度，

步骤五三：将与/>作为对应点对，获得模型Ⅰ型关键点与Ⅰ型亚像素关键点的二次对应关系；

步骤六：在二次对应关系的基础上，利用最小二乘法计算一次匹配贴装位置与一次匹配旋转角度，获得一次匹配关系；

步骤六中根据一次匹配的平移量t_r获得待贴片元件的一次匹配贴装位置，

根据下式获得一次匹配的平移量t_r：

t_r＝[x_r,y_r]^T

其中，x_r和y_r分别为一次匹配下待贴片元件中任意点移动到标准图像中对应点时x轴与y轴的平移量；

根据下式获得一次匹配旋转角度θ_r：

其中，S_r为缩放因子，R_r为刚性运动的旋转矩阵；

刚性运动的旋转矩阵R_r的表达式为：

缩放因子S_r的表达式为：

S_r＝l_t/l_s

其中，l_t为待贴片元件中任意点与标准图像中对应点之间的欧氏距离，l_s为M^Ⅰ-1个线段长度的平均值

步骤七：利用一次匹配贴装位置与一次匹配旋转角度查找Ⅱ型亚像素关键点、并进行二次匹配，完成待贴片元件的精确定位；

步骤七的具体方法为：

步骤七一：利用一次匹配贴装位置与一次匹配旋转角度定义Ⅱ型亚像素关键点为

步骤七二：利用最小化残差和的方法计算待贴片元件的精确位置t_f和精确旋转角度θ_f，

步骤七三：根据待贴片元件的精确位置t_f和精确旋转角度θ_f调整待贴片元件位置实现二次匹配；

精确位置t_f的表达式为：

t_f＝[x_f,y_f]^T

其中，x_f和y_f分别为二次匹配下待贴片元件中任意点移动到标准图像中对应点时x轴与y轴的平移量，

精确旋转角度θ_f的表达式为：

其中，R_f为旋转矩阵；

旋转矩阵R_f的表达式为：

2.根据权利要求1所述的一种二次匹配对应的IC芯片亚像素精度定位方法，其特征在于，步骤三所述利用亚像素角点检测算法提取二维图像的一次匹配角点的具体方法包括：

步骤三一：将的距离特征向量/>中第k个元素/>作为/>与/>之间的欧式距离：

其中，与/>分别为X^Ⅰ中第i和j个模型Ⅰ型关键点的坐标，i,j∈{1,2,...,M^Ⅰ}且i≠j，k∈{1,2,...,(M^Ⅰ-1)}；

步骤三二：利用和距离阈值Dt根据下式获得二维图像的一次匹配角点/>

其中，