CN107464240B - 一种基于模板匹配的带矩形引脚芯片的定位算法 - Google Patents

Abstract

一种基于模板匹配的带矩形引脚芯片的定位算法，涉及带矩形引脚芯片定位领域。本发明是为了解决现有缺少准确定位带矩形引脚芯片的问题。根据芯片的参数绘制不同角度的模板图像；对模板图像进行处理得到模板频域图像；利用快速傅里叶变换的方法计算模板图像和模板频域图像的相关性图像；用不同角度的模板频域图像分别匹配频域图像得到芯片的最佳角度和最佳位置；通过缩放图像提高算法的计算效率；根据模板匹配得到的角度和位置，通过角点检测得到精确的匹配角度和位置。它应用于贴片机带矩形引脚芯片测试过程。

Description

一种基于模板匹配的带矩形引脚芯片的定位算法

技术领域

本发明涉及贴片机视觉系统中带矩形引脚元件的视觉检测方法，主要实现带矩形引脚元件定位功能。

背景技术

随着电子工业的发展，表面贴装技术(SMT，Surface Mount Technology)也迅速发展。其中，贴片机是SMT生产线的关键设备，主要实现贴片元件的贴装。贴片机的机器视觉系统直接影响到贴片机的贴装速度和精度，这对于元件的视觉识别算法提出了很高的要求。

带矩形引脚的芯片有很多不同种类和形状，其引脚类型主要分为G型引脚和J型引脚两种。G型引脚芯片图像往往引脚内侧轮廓较为清晰，因此模板图像选择描摹引脚内侧轮廓线，模板匹配结果较好；而J型引脚芯片图像往往引脚外侧轮廓较为清晰，因此模板图像选择描摹引脚外侧轮廓线，则结果较好。但现有缺少准确定位带矩形引脚芯片的问题。

发明内容

本发明是为了解决现有缺少准确定位带矩形引脚芯片的问题。现提供一种基于点匹配的球形引脚元件的定位算法。

一种基于模板匹配的带矩形引脚芯片的定位算法，它包括以下步骤：

步骤一、根据芯片的参数绘制不同角度的模板图像I_k,α(x,y)，其中，k为图像缩放倍数，k＝s,m,s>m，α为角度的变量，(x,y)为模板图像坐标；

步骤二、对步骤一中的每个模板图像I_k,α(x,y)进行变换得到不同角度的模板频域图像T_k,α(u,v)，(u,v)为模板频域图像坐标；

步骤三、选取符合亮度要求的定位芯片的原图像，将原图像缩放s倍，进行边缘检测及距离变换得到频域图像M_s(u,v)，将频域图像M_s(u,v)分别与步骤二中不同角度的模板频域图像T_s,α(u,v)相乘，再进行傅里叶反变换，得到多组相关性图像C_s,α(u,v)；

步骤四、在多组相关性图像C_s,α(u,v)中，选取图像像素值最小的图像对应的模板图像角度α₀；

步骤五、对称选取角度α₀左右两侧的角度及α₀对应的模板频域图像T_s,α(u,v)分别与频域图像M_s(u,v)相乘，得到多组相关性图像C_s,α(u,v)₁，在多组相关性图像C_s,α(u,v)₁中选取图像像素值最小的图像对应的模板图像角度α₁；

步骤六、将原图像缩放m倍，重复步骤三至五的操作，得到缩放m倍下的相关性图像

计算

中像素值最小点的位置坐标(x₀,y₀)，作为模板匹配得到的位置坐标；

步骤七、根据芯片实体的型号信息，得到当芯片旋转角度为0时，每个矩形引脚的两个边缘点坐标，将所有边缘点坐标作为模板图像芯片角点坐标集S_T；

步骤八、模板图像芯片角点坐标集S_T通过模板图像角度α₁和位置坐标(x₀,y₀)进行仿射变换，得到原图像角点坐标集

步骤九、对原图像角点坐标集

进行梯度计算得到精确的角点坐标集S_M；

步骤十、将模板图像芯片角点坐标集S_T和精确角点坐标集S_M进行匹配，得到芯片实体相对于模板图像精确的旋转角度α^*和芯片实体中心相对于模板图像中心精确的偏移位置坐标(x^*,y^*)，从而实现矩形引脚芯片的定位。

本发明的有益效果为：

本申请主要用于解决贴片机视觉系统在贴装带矩形引脚芯片前，需要测试精确的芯片旋转角度和偏移量问题，采用本申请的方法能够快速、准确的在芯片图像中找到精确的芯片位置和角度，进行准确贴装芯片。

采用本申请的方法同现有的方式相比计算效率和精确度均提高了5倍以上。

两幅图像的相关计算等于一幅图像与另一幅图像旋转180°的图像的卷积计算，而计算两幅图像的卷积等于两幅图像傅里叶变换结果的乘积的傅里叶反变换。快速傅里叶变换的计算量比模板图像在目标图像上进行逐行逐列计算相关性的计算量要小得多，因此本申请通过快速傅里叶变换算法计算相关性提高模板匹配算法的计算效率。

附图说明

图1为具体实施方式一所述的一种基于模板匹配的带矩形引脚芯片的定位算法的流程图；

图2为一种SOP型芯片绘制的模板图像；

图3为一种SOJ型芯片绘制的模板图像；

图4为一种PLCC型芯片绘制的模板图像；

图5为一种QFP型芯片绘制的模板图像；

图6为一种SOP型芯片的原图像的感兴趣区域；

图7为一种SOP型芯片的缩小m倍图像的Canny边缘检测图像；

图8为一种SOP型芯片的缩小m倍Canny边缘图像距离变换的图像；

图9为一种SOP型芯片的缩小m倍图像模板匹配得到的相关性图像；

图10为一种SOP型芯片图像经过模板匹配得到的原图像角点示意图；

图11为一种SOP型芯片图像经过亚像素角点检测得到的精确的角点示意图。

具体实施方式

具体实施方式一：参照图1至图11具体说明本实施方式，本实施方式所述的一种基于模板匹配的带矩形引脚芯片的定位算法，它包括以下步骤：

步骤一、根据芯片的参数绘制不同角度的模板图像I_k,α(x,y)，其中，k为图像缩放倍数，k＝s,m,s>m，α为角度的变量，(x,y)为模板图像坐标；

步骤二、对步骤一中的每个模板图像I_k,α(x,y)进行变换得到不同角度的模板频域图像T_k,α(u,v)，(u,v)为模板频域图像坐标；

步骤三、选取符合亮度要求的定位芯片的原图像，将原图像缩放s倍，进行边缘检测及距离变换得到频域图像M_s(u,v)，将频域图像M_s(u,v)分别与步骤二中不同角度的模板频域图像T_s,α(u,v)相乘，再进行傅里叶反变换，得到多组相关性图像C_s,α(u,v)；

步骤四、在多组相关性图像C_s,α(u,v)中，选取图像像素值最小的图像对应的模板图像角度α₀；

步骤五、对称选取角度α₀左右两侧的角度及α₀对应的模板频域图像T_s,α(u,v)分别与频域图像M_s(u,v)相乘，得到多组相关性图像C_s,α(u,v)₁，在多组相关性图像C_s,α(u,v)₁中选取图像像素值最小的图像对应的模板图像角度α₁；

步骤六、将原图像缩放m倍，重复步骤三至五的操作，得到缩放m倍下的相关性图像

计算

中像素值最小点的位置坐标(x₀,y₀)，作为模板匹配得到的位置坐标；

步骤七、根据芯片实体的型号信息，得到当芯片旋转角度为0时，每个矩形引脚的两个边缘点坐标，将所有边缘点坐标作为模板图像芯片角点坐标集S_T；

步骤八、模板图像芯片角点坐标集S_T通过模板图像角度α₁和位置坐标(x₀,y₀)进行仿射变换，得到原图像角点坐标集

步骤九、对原图像角点坐标集

进行梯度计算得到精确的角点坐标集S_M；

步骤十、将模板图像芯片角点坐标集S_T和精确角点坐标集S_M进行匹配，得到芯片实体相对于模板图像精确的旋转角度α^*和芯片实体中心相对于模板图像中心精确的偏移位置坐标(x^*,y^*)，从而实现矩形引脚芯片的定位。

本实施方式中，步骤一中，根据芯片的参数绘制不同角度的模板图像I_k,α(x,y)的具体过程为：

根据芯片的参数绘制不同角度，不同缩放尺度的模板图像。绘制缩放2倍和缩放4倍两个缩放比例的模板图像，每个缩放比例有-30°到30°，间隔1°共61个不同角度的模板图像I_k,α(x,y)，其中k＝2,4，α＝-30°,-29°,...,29°,30°。不同角度的模板图像大小相同，图像大小可以刚好包含所有角度的图像中所有白色像素点。

步骤三中，选取符合亮度要求的定位芯片的原图像的具体过程为：

首先对要进行定位的芯片的原图像，即目标图像进行亮度检查。首先以200为阈值对目标图像进行二值化，然后对二值化图像统计非零像素的个数。如果非零像素数少于低阈值，则图像太暗；如果非零像素数多于高阈值，则图像太亮。图像太暗或太亮直接返回错误，不进行下面的步骤。只有当非零像素数在低阈值和高阈值之间，才继续进行步骤四。设目标图像的长宽为W×H，低阈值设为0.01W×H，高阈值设为0.9W×H。

步骤三中，对目标图像缩放4倍，并进行Canny边缘检测，得到边缘图像，其中Canny低阈值为100，高阈值为200。

步骤三中，为了提高计算效率，首先以5°为步长选择模板，即α＝-30°,-25°,...,25°,30°。

步骤四中，在多组相关性图像C_s,α(u,v)中，选取图像像素值最小的图像对应的模板图像角度α₀；像素值越小，相关性越好。

步骤七中，如果是G型引脚，G型引脚取引脚靠近芯片中心内侧的两个顶点边为边缘点坐标，如果是J型引脚，J型引脚取引脚远离芯片中心外侧的两个顶点为边缘点坐标。这些顶点的坐标是以芯片中心坐标为(0,0)的相对位置坐标。这些点的坐标作为模板图像芯片角点坐标集

令点的个数为n，为芯片总引脚数的2倍。

步骤九中，对原图像角点坐标集

进行梯度计算得到精确的角点坐标集S_M的具体过程为；

在坐标集

中每个点周围6×6大小窗口中通过计算梯度得到亚像素级角点，得到对应的精确角点坐标集

步骤六中，重复步骤三至五的操作，具体为：

对原图像进行缩放m倍后进行边缘检测，得到边缘图像；对边缘图像进行距离变换得到距离变换图像；对距离变换图像进行快速傅里叶变换得到频域图像M_m(u,v)，将M_m(u,v)分别与角度为α₁的模板频域图像

相乘，再进行傅里叶反变换得到相关性图像

具体实施方式二：本实施方式是对具体实施方式一所述的一种基于模板匹配的带矩形引脚芯片的定位算法作进一步说明，本实施方式中，步骤一中，模板图像I_k,α(x,y)的绘制方法为：

根据芯片实体的型号信息，得到芯片每个引脚相对于芯片中心的位置和每个引脚的长宽，设芯片中心的坐标原点为(0,0)，则能够得到每个引脚的四个顶点的坐标；

设其中一个引脚的四个顶点坐标为(x_i,y_i)，i＝1,2,3,4，按次序分别为引脚左下顶点、左上顶点、右上顶点、右下顶点坐标，设引脚的宽度为W_L，引脚的长度为H_L，则x₃-x₂＝x₄-x₁＝W_L，y₂-y₁＝y₃-y₄＝H_L，设需要绘制的模板图像的角度为α，缩放的比例为k，

经过旋转变换的四个顶点坐标为(x_i',y_i')，i＝1,2,3,4，则x_i'＝(x_icosα-y_isinα)/k，y_i'＝(x_isinα+y_icosα)/k，

然后绘制三条线段作为该引脚的模板，第一条线段顶点为(x'₂,y'₂)和(x'₃,y'₃)，长度为W_L；第二条线段顶点为(x'₂,y'₂)和(2x'₂/3+x₁'/3,2y'₂/3+y₁'/3)，长度为H_L/3；第三条线段顶点为(x'₃,y'₃)和(2x'₃/3+x'₄/3,2y'₃/3+y'₄/3)，长度为H_L/3，在黑色背景图像下为每个引脚均绘制三条白色线段，作为一个角度和缩放比例的模板图像。

具体实施方式三：本实施方式是对具体实施方式一所述的一种基于模板匹配的带矩形引脚芯片的定位算法作进一步说明，本实施方式中，步骤八中，模板图像芯片角点坐标集S_T通过模板图像角度α₁和位置坐标(x₀,y₀)进行仿射变换，得到原图像角点坐标集

的具体过程为：

设原图像角点坐标集为

具体实施方式四：本实施方式是对具体实施方式一所述的一种基于模板匹配的带矩形引脚芯片的定位方法作进一步说明，本实施方式中，步骤十中，将模板图像芯片角点坐标集S_T和精确角点坐标集S_M进行匹配，得到芯片实体相对于模板图像精确的旋转角度α^*和芯片实体中心相对于模板图像中心精确的偏移位置坐标(x^*,y^*)的具体过程为：

设模板图像芯片角点坐标集

精确角点坐标集

模板图像芯片角点坐标集S_T的点坐标均值为

精确角点坐标集S_M的点目标均值为

根据公式：

获得芯片实体相对于模板图像精确的旋转角度α^*为：

获得芯片实体中心相对于模板图像中心精确的偏移位置坐标(x^*,y^*)为：

Claims (4)

1.一种基于模板匹配的带矩形引脚芯片的定位算法，其特征在于，它包括以下步骤：

步骤一、根据芯片的参数绘制不同角度的模板图像I_k,α(x,y)，其中，k为图像缩放倍数，k＝s,m,s＞m，α为角度的变量，(x,y)为模板图像坐标；

步骤二、对步骤一中的每个模板图像I_k,α(x,y)进行变换得到不同角度的模板频域图像T_k,α(u,v)，(u,v)为模板频域图像坐标；

步骤三、选取符合亮度要求的定位芯片的原图像，将原图像缩放s倍，进行边缘检测及距离变换得到频域图像M_s(u,v)，将频域图像M_s(u,v)分别与步骤二中不同角度的模板频域图像T_s,α(u,v)相乘，再进行傅里叶反变换，得到多组相关性图像C_s,α(u,v)；

步骤四、在多组相关性图像C_s,α(u,v)中，选取图像像素值最小的图像对应的模板图像角度α₀；

步骤五、对称选取角度α₀左右两侧的角度及α₀对应的模板频域图像T_s,α(u,v)分别与频域图像M_s(u,v)相乘，得到多组相关性图像C_s,α(u,v)₁，在多组相关性图像C_s,α(u,v)₁中选取图像像素值最小的图像对应的模板图像角度α₁；

步骤六、将原图像缩放m倍，重复步骤三至五的操作，得到缩放m倍下的相关性图像

计算

中像素值最小点的位置坐标(x₀,y₀)，作为模板匹配得到的位置坐标；

步骤七、根据芯片实体的型号信息，得到当芯片旋转角度为0时，每个矩形引脚的两个边缘点坐标，将所有边缘点坐标作为模板图像芯片角点坐标集S_T；

步骤八、模板图像芯片角点坐标集S_T通过模板图像角度α₁和位置坐标(x₀,y₀)进行仿射变换，得到原图像角点坐标集

步骤九、对原图像角点坐标集

进行梯度计算得到精确的角点坐标集S_M；

步骤十、将模板图像芯片角点坐标集S_T和精确角点坐标集S_M进行匹配，得到芯片实体相对于模板图像精确的旋转角度α^*和芯片实体中心相对于模板图像中心精确的偏移位置坐标(x^*,y^*)，从而实现矩形引脚芯片的定位。

2.根据权利要求1所述的一种基于模板匹配的带矩形引脚芯片的定位算法，其特征在于，步骤一中，模板图像I_k,α(x,y)的绘制方法为：

根据芯片实体的型号信息，得到芯片每个引脚相对于芯片中心的位置和每个引脚的长宽，设芯片中心的坐标原点为(0,0)，则能够得到每个引脚的四个顶点的坐标；

设其中一个引脚的四个顶点坐标为(x_i,y_i)，i＝1,2,3,4，按次序分别为引脚左下顶点、左上顶点、右上顶点、右下顶点坐标，设引脚的宽度为W_L，引脚的长度为H_L，则x₃-x₂＝x₄-x₁＝W_L，y₂-y₁＝y₃-y₄＝H_L，设需要绘制的模板图像的角度为α，缩放的比例为k，

经过旋转变换的四个顶点坐标为(x'_i,y'_i)，i＝1,2,3,4，则x'_i＝(x_i cosα-y_i sinα)/k，y'_i＝(x_i sinα+y_i cosα)/k，

然后绘制三条线段作为该引脚的模板，第一条线段顶点为(x'₂,y'₂)和(x'₃,y'₃)，长度为W_L；第二条线段顶点为(x'₂,y'₂)和(2x'₂/3+x'₁/3,2y'₂/3+y'₁/3)，长度为H_L/3；第三条线段顶点为(x'₃,y'₃)和(2x'₃/3+x'₄/3,2y'₃/3+y'₄/3)，长度为H_L/3，在黑色背景图像下为每个引脚均绘制三条白色线段，作为一个角度和缩放比例的模板图像。

3.根据权利要求1所述的一种基于模板匹配的带矩形引脚芯片的定位算法，其特征在于，步骤八中，模板图像芯片角点坐标集S_T通过模板图像角度α₁和位置坐标(x₀,y₀)进行仿射变换，得到原图像角点坐标集

的具体过程为：

设原图像角点坐标集为

4.根据权利要求1所述的一种基于模板匹配的带矩形引脚芯片的定位算法，其特征在于，步骤十中，将模板图像芯片角点坐标集S_T和精确角点坐标集S_M进行匹配，得到芯片实体相对于模板图像精确的旋转角度α^*和芯片实体中心相对于模板图像中心精确的偏移位置坐标(x^*,y^*)的具体过程为：

设模板图像芯片角点坐标集

精确角点坐标集

模板图像芯片角点坐标集S_T的点坐标均值为

精确角点坐标集S_M的点目标均值为

根据公式：

获得芯片实体相对于模板图像精确的旋转角度α^*为：

获得芯片实体中心相对于模板图像中心精确的偏移位置坐标(x^*,y^*)为：

Images