CN113450331B - 一种异形元器件针脚检测方法 - Google Patents

Abstract

本发明公开了一种异形元器件针脚检测方法，属于元器件针脚检测领域。该方法主要由制作斑点模板、图像斑点检测和融合算法三部分组成；具体是通过视觉传感器配合光源获取针脚图像，然后利用Hessian矩阵提取图像中的斑点信息，并通过尺度和重叠度特征获得有效斑点序列；同时，将原图像二值化后进行轮廓跟踪获得斑点的轮廓序列；最后将斑点序列与轮廓序列通过融合算法得到仅需给定目标尺度即可准确检测的方法。该方法实用性强、速度快、稳定性好，为异形自动插装设备的应用起到重要的推动作用。

Description

一种异形元器件针脚检测方法

技术领域

本发明属于元器件针脚检测领域，具体涉及一种异形元器件针脚检测方法。

背景技术

随着电子产品的需求量不断增加，各种电子元器件需要进行插装作业。当前大部分自动插装设备只能插装一些标准元器件，而异形元器件基本上依赖人工进行插装，这一工序占了整个PCB板插装工作量的60％以上，影响着产品的生产速度与质量，其原因在于手动插件作业时间长、劳动强度大、错误率高。而在生产中，异形元器件底部不规则、针脚与元器件颜色接近、锡点以及针脚反光等原因，导致难以采集到理想的针脚图像进而影响检测的准确性，针脚检测问题成为异形元器件难以自动化装配的主要原因之一。针脚检测实际上是在针脚对应的二维图像上进行斑点检测，斑点检测的主要思路是结合像素灰度值和形状特点进行检测。目前斑点检测主要有基于求导的微分方法和基于局部极值的分水岭算法。基于求导的微分方法主要有LOG(Laplacian of Gaussian)、DOG(Difference ofGaussian)、DOH(Determinant of Hessian)等方法，LOG算法检测精度高但是仅能检测深色背景上的亮斑；DOG算法类似于LOG算法，与LOG算法相比，DOG算法通过计算相邻尺度下平滑图像的差分图像降低计算复杂量；与前两种算法相比，DOH算法对细长结构的斑点有较好地抑制作用，但是其精度与稳定性有待提高。基于局部极值的分水岭算法，如SimpleBlobDetector算子，通过提取二值图像的连通域检测斑点，对图像中的噪声敏感且需要调节的参数过多。因此，解决上述针脚检测算法问题将为自动插装设备的应用开辟一个大的领域。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种异形元器件针脚检测方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种异形元器件针脚检测方法，采用视觉传感器和光源，包括如下步骤：

步骤1：制作斑点模板；

制作模板时，通过视觉传感器配合光源获取针脚图像，将框选出的一个针脚图像作为目标图像，记为I(x_i,y_j)，i＝1,...,m，j＝1,...,n，m,n为目标图像x方向和y方向的像素个数，然后计算该图像像素点(x_i,y_j)的Hessian矩阵，表达式如下：

其中，I_xx,I_xy,I_yy为模板与图像卷积的结果，

表示卷积运算，H_xx,H_xy,H_yy称之为卷积模板，模板尺寸选(6σ+1)×(6σ+1)，表达式如下：

其中，g(x_ii,y_jj；σ)表示二维高斯函数，(x_ii,y_jj)为模板像素坐标，ii,jj＝1,...,6σ+1，σ为图像尺度，制作模板用到的初始图像尺度值σ₀根据尺度与斑点像素半径r的关系式

估算出来；

计算图像中所有点对应的Hessian矩阵行列式；

将其中最大值det(H_Max)作为σ₀对应斑点响应值，斑点中心坐标记为(x₀,y₀)；这一过程能够重复执行，通过不断调整σ₀的值获得最佳斑点，并将此时的尺度作为目标尺度，记录为σ_obj；再根据圆度公式获得斑点的圆度值C，表达如下：

其中，s和p分别表示斑点面积和外轮廓周长；最后把相应的尺度σ_obj、响应值det(H_Max)以及斑点的圆度C作为单个斑点的模板参数；

步骤2：获取实施运行时目标图像；

步骤3：进行斑点检测和轮廓检测；

斑点检测；具体如下：

初始斑点检测，通过斑点响应值和重叠度筛选斑点，得到新的斑点序列；

在实时运行中，相应的目标图像记为I_obj，尺寸与模板图像尺寸相同，根据公式(1)-(6)得到I_obj中每个像素对应的det(H(x_i,y_j；σ_obj))；由于实时图像受到光照和焊锡的干扰，有时在单个针脚框选区域会检测到多个斑点，为此，将所有像素点的响应值det(H(x_i,y_j；σ_obj))由大到小进行排序，并设定一个阈值δ，将满足det(H(x_i,y_j；σ_obj))＞δ的斑点中心(x_M,y_M)记录下来，保存到集合B_first∈R^l×2中，l为斑点个数；

为确保每一个被检测到的斑点都是有效并独立的，需要进一步计算斑点间的重叠度，相邻斑点的重叠度O表达式如下：

其中，r_a和r_b表示相邻斑点半径，Δx,Δy表示相邻斑点圆心分别在x和y方向的差值；相邻斑点重叠度高时保留响应值大的斑点，去除响应值小的斑点，筛选后得到新的斑点序列，记为B_last∈R^m×2，m为斑点个数且m≤l；

轮廓检测；具体如下：

检测所有轮廓，通过圆度和重叠度筛选轮廓，得到轮廓序列；

对原始目标图像I_obj进行二值化处理，利用轮廓跟踪算法得到待检测图像中所有的轮廓，并将轮廓中心坐标记录到集合L_first∈R^k×2中，k为轮廓个数；

接下来根据公式(7)和(8)计算L_first中轮廓的圆度和重叠度，重叠度高时保留与参考模板圆度相近的斑点，筛选后得到与模板圆度接近的轮廓序列L_last∈R^q×2，q为轮廓个数且q＜k；

步骤4：通过融合算法，得到最终检测结果；

根据前面得到的斑点序列B_last与轮廓序列L_last，计算两者之间的相近度γ，表达式如下：

其中，(x_Bi,y_Bj),(x_Li,y_Lj)分别表示斑点序列B_last与轮廓序列L_last中记录的中心点坐标；得到斑点序列与轮廓序列之间的相近度后，求出最大值γ_M，则最大值γ_M对应的斑点检测结果将作为最终的针脚检测结果；

步骤5：判断所有针脚是否检测完成；

若：判断结果是所有针脚检测完成，则结束；

或判断结果是所有针脚没有检测完成，则执行步骤2。

优选地，关系式

是通过Hessian矩阵行列式对σ求导得到。

本发明所带来的有益技术效果：

1、速度快；通过设定模板方法保存斑点的目标尺度，检测时只搜索对应尺度的斑点，具有很高的计算效率；

2、精度高；为避免噪点造成误检现象，检测时采用斑点序列与轮廓序列相融合的方法得到最终检测结果，提高了检测准确率；

3、应用范围广；解决现有检测技术在异形元器件针脚检测方面的不足，扩大针脚检测的应用范围。

附图说明

图1为本发明的实现流程图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

一种异形元器件针脚检测方法，包括如下步骤：

步骤1：制作斑点模板；

制作模板时，将框选出的一个针脚图像作为目标图像，记为I(x_i,y_j)，i＝1,...,m，j＝1,...,n，m,n为目标图像x方向和y方向的像素个数，然后计算该图像像素点(x_i,y_j)的Hessian矩阵，表达式如下：

其中，I_xx,I_xy,I_yy为模板与图像卷积的结果，

表示卷积运算，H_xx,H_xy,H_yy称之为卷积模板，模板尺寸选(6σ+1)×(6σ+1)，表达式如下：

其中，g(x_ii,y_jj；σ)表示二维高斯函数，(x_ii,y_jj)为模板像素坐标，ii,jj＝1,...,6σ+1，σ为图像尺度，制作模板用到的初始图像尺度值σ₀根据尺度与斑点像素半径r的关系式

估算出来(该关系是通过Hessian矩阵行列式对σ求导得到)；

计算图像中所有点对应的Hessian矩阵行列式；

将其中最大值det(H_Max)作为σ₀对应斑点响应值，斑点中心坐标记为(x₀,y₀)；这一过程能够重复执行，通过不断调整σ₀的值获得最佳斑点，并将此时的尺度作为目标尺度，记录为σ_obj；再根据圆度公式获得斑点的圆度值C，表达如下：

其中，s和p分别表示斑点面积和外轮廓周长；最后把相应的尺度σ_obj、响应值det(H_Max)以及斑点的圆度C作为单个斑点的模板参数；

步骤2：获取实施运行时目标图像；

步骤3：进行斑点检测和轮廓检测；

斑点检测；具体如下：

初始斑点检测，通过斑点响应值和重叠度筛选斑点，得到新的斑点序列；

在实时运行中，相应的目标图像记为I_obj，尺寸与模板图像尺寸相同，根据公式(1)-(6)得到I_obj中每个像素对应的det(H(x_i,y_j；σ_obj))；由于实时图像受到光照和焊锡的干扰，有时在单个针脚框选区域会检测到多个斑点，为此，将所有像素点的响应值det(H(x_i,y_j；σ_obj))由大到小进行排序，并设定一个阈值δ，将满足det(H(x_i,y_j；σ_obj))＞δ的斑点中心(x_M,y_M)记录下来，保存到集合B_first∈R^l×2中，l为斑点个数；

为确保每一个被检测到的斑点都是有效并独立的，需要进一步计算斑点间的重叠度，相邻斑点的重叠度O表达式如下：

其中，r_a和r_b表示相邻斑点半径，Δx,Δy表示相邻斑点圆心分别在x和y方向的差值；相邻斑点重叠度高时保留响应值大的斑点，去除响应值小的斑点，筛选后得到新的斑点序列，记为B_last∈R^m×2，m为斑点个数且m≤l；

轮廓检测；具体如下：

检测所有轮廓，通过圆度和重叠度筛选轮廓，得到轮廓序列；

对原始目标图像I_obj进行二值化处理，利用轮廓跟踪算法得到待检测图像中所有的轮廓，并将轮廓中心坐标记录到集合L_first∈R^k×2中，k为轮廓个数；

接下来根据公式(7)和(8)计算L_first中轮廓的圆度和重叠度，重叠度高时保留与参考模板圆度相近的斑点，筛选后得到与模板圆度接近的轮廓序列L_last∈R^q×2，q为轮廓个数且q＜k；

步骤4：通过融合算法，得到最终检测结果；

根据前面得到的斑点序列B_last与轮廓序列L_last，计算两者之间的相近度γ，表达式如下：

其中，(x_Bi,y_Bj),(x_Li,y_Lj)分别表示斑点序列B_last与轮廓序列L_last中记录的中心点坐标；得到斑点序列与轮廓序列之间的相近度后，求出最大值γ_M，则最大值γ_M对应的斑点检测结果将作为最终的针脚检测结果；

步骤5：判断所有针脚是否检测完成；

若：判断结果是所有针脚检测完成，则结束；

或判断结果是所有针脚没有检测完成，则执行步骤2。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (2)

1.一种异形元器件针脚检测方法，其特征在于：采用视觉传感器和光源，包括如下步骤：

步骤1：制作斑点模板；

制作模板时，通过视觉传感器配合光源获取针脚图像，将框选出的一个针脚图像作为目标图像，记为I(x_i,y_j)，i＝1,...,m，j＝1,...,n，m,n为目标图像x方向和y方向的像素个数，然后计算该图像像素点(x_i,y_j)的Hessian矩阵，表达式如下：

其中，I_xx,I_xy,I_yy为模板与图像卷积的结果，

表示卷积运算，H_xx,H_xy,H_yy称之为卷积模板，模板尺寸选(6σ+1)×(6σ+1)，表达式如下：

其中，g(x_ii,y_jj；σ)表示二维高斯函数，(x_ii,y_jj)为模板像素坐标，ii,jj＝1,...,6σ+1，σ为图像尺度，制作模板用到的初始图像尺度值σ₀根据尺度与斑点像素半径r的关系式

估算出来；

计算图像中所有点对应的Hessian矩阵行列式；

将其中最大值det(H_Max)作为σ₀对应斑点响应值，斑点中心坐标记为(x₀,y₀)；这一过程能够重复执行，通过不断调整σ₀的值获得最佳斑点，并将此时的尺度作为目标尺度，记录为σ_obj；再根据圆度公式获得斑点的圆度值C，表达如下：

其中，s和p分别表示斑点面积和外轮廓周长；最后把相应的尺度σ_obj、响应值det(H_Max)以及斑点的圆度C作为单个斑点的模板参数；

步骤2：获取实施运行时目标图像；

步骤3：进行斑点检测和轮廓检测；

斑点检测；具体如下：

初始斑点检测，通过斑点响应值和重叠度筛选斑点，得到新的斑点序列；

在实时运行中，相应的目标图像记为I_obj，尺寸与模板图像尺寸相同，根据公式(1)-(6)得到I_obj中每个像素对应的det(H(x_i,y_j；σ_obj))；由于实时图像受到光照和焊锡的干扰，有时在单个针脚框选区域会检测到多个斑点，为此，将所有像素点的响应值det(H(x_i,y_j；σ_obj))由大到小进行排序，并设定一个阈值δ，将满足det(H(x_i,y_j；σ_obj))＞δ的斑点中心(x_M,y_M)记录下来，保存到集合B_first∈R^l×2中，l为斑点个数；

为确保每一个被检测到的斑点都是有效并独立的，需要进一步计算斑点间的重叠度，相邻斑点的重叠度O表达式如下：

其中，r_a和r_b表示相邻斑点半径，Δx,Δy表示相邻斑点圆心分别在x和y方向的差值；相邻斑点重叠度高时保留响应值大的斑点，去除响应值小的斑点，筛选后得到新的斑点序列，记为B_last∈R^m×2，m为斑点个数且m≤l；

轮廓检测；具体如下：

检测所有轮廓，通过圆度和重叠度筛选轮廓，得到轮廓序列；

对原始目标图像I_obj进行二值化处理，利用轮廓跟踪算法得到待检测图像中所有的轮廓，并将轮廓中心坐标记录到集合L_first∈R^k×2中，k为轮廓个数；

接下来根据公式(7)和(8)计算L_first中轮廓的圆度和重叠度，重叠度高时保留与参考模板圆度相近的斑点，筛选后得到与模板圆度接近的轮廓序列L_last∈R^q×2，q为轮廓个数且q＜k；

步骤4：通过融合算法，得到最终检测结果；

根据前面得到的斑点序列B_last与轮廓序列L_last，计算两者之间的相近度γ，表达式如下：

其中，(x_Bi,y_Bj),(x_Li,y_Lj)分别表示斑点序列B_last与轮廓序列L_last中记录的中心点坐标；得到斑点序列与轮廓序列之间的相近度后，求出最大值γ_M，则最大值γ_M对应的斑点检测结果将作为最终的针脚检测结果；

步骤5：判断所有针脚是否检测完成；

若：判断结果是所有针脚检测完成，则结束；

或判断结果是所有针脚没有检测完成，则执行步骤2。

2.根据权利要求1所述的异形元器件针脚检测方法，其特征在于：关系式

是通过Hessian矩阵行列式对σ求导得到。

Images