CN103745475B - 一种用于球形引脚元件的检测与定位方法 - Google Patents

Abstract

一种用于球形引脚元件的检测与定位方法，本发明涉及引脚元件的检测与定位方法。本发明是要解决目前定位技术不涉及BGA元件焊球的完好性检查及模板匹配算法对模板精度要求高，方法不够灵活，实时性差及定位精度不高的问题，而提出的一种用于球形引脚元件的检测与定位方法。该方法是通过步骤一获取BGA元件的图像；步骤二得到二值化预处理后的图像；步骤三得到二值化ROI图像；步骤四标记每个连通区域的面积；步骤五检测标记的连通区域；步骤六正交连通区域中心代表球型引脚连通区域检测BGA焊球；步骤七分割出BGA元件外围焊球的四个边界区域；步骤八计算旋转角度和中心点坐标；本发明应用于球形引脚元件检测与定位领域。

Description

一种用于球形引脚元件的检测与定位方法

技术领域

本发明涉及一种用于球形引脚元件的检测与定位方法。

背景技术

面阵列封装元件是在芯片的底部按阵列方式制作出球形凸点，该球形凸点用以代替矩形引脚，形成芯片与PCB基板之间信号传输的通路，称之为球形引脚元件，近年来在各类电子产品上得到广泛应用。

面阵列封装元件的球形引脚作为该类元件的特征，并通过对球形引脚的检测和定位来间接实现整个元件的精确定位。为了保障该类元件与PCB良好连接，检测算法还需要对球形引脚的半径、间距以及数目进行检测，以检测出元件可能存在的焊球丢失、多余、错位或桥接的缺陷，或者尺寸和形状错误。检测各种球形引脚元件时，使用的算法的原理相同。目前国内外有不少关于BGA元件定位技术的文献，但大部分文献并不涉及BGA元件焊球的完好性检查（即检查元件的焊球是否存在桥接、变形等缺陷）。现有的算法一般采用模板匹配法，即先给出一个标准模板，然后将待检测的元件与其进行比较。但是模板匹配算法不仅对模板精度要求高，不够灵活，还具有实时性差以及定位精度不高的问题。因此对球形引脚元件的进行检测与定位的算法需要进一步的完善。

发明内容

本发明的目的是为了解决目前BGA元件定位技术不涉及BGA元件焊球的完好性检查及模板匹配算法对标准模板精度要求高，不够灵活，实时性差并且目前BGA元件定位技术定位精度不高的问题，而提出的一种用于球形引脚元件的检测与定位方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、采用光学照明系统获取BGA元件的图像，其中BGA元件为球形引脚元件；

步骤二、采用最大类间方差法对BGA元件的图像进行阈值分割，得到二值化预处理后的图像；

步骤三、使用标记算法标记出二值化图像的每个连通区域，并将每个连通区域置为前景，从而得到每个BGA元件焊球的二值化ROI图像；

步骤四、计算步骤三标记出的每个连通区域的面积，并排除连通区域面积不在BGA元件焊球的面积范围内的BGA元件焊球；

步骤五、对步骤四得到的每个连通区域进行特征分析，检测每个连通区域存在的缺陷、检测每个连通区域尺寸和检测每个连通区域形状错误；

步骤六、经过步骤五处理后得到每个正交的连通区域的中心来代表每个球型引脚所对应的连通区域，来检测BGA焊球是否存在丢失、多余或错位；

步骤七、对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心分割出BGA元件外围的焊球的四个边界区域；

步骤八、根据四个边界区域拟合出的边界，计算出BGA元件精确的旋转角度以及中心点坐标；即完成了一种用于球形引脚元件的检测与定位。

发明效果

面阵列封装元件的球形引脚作为该类元件的特征，并通过对球形引脚的检测和定位来间接实现整个元件的精确定位。为了保障该类元件与PCB良好连接，检测算法还需要对球形引脚的半径、间距以及数目进行检测，以检测出元件可能存在的焊球丢失、多余、错位或桥接的缺陷，或者尺寸和形状错误。因此，本发明将以应用最广泛的BGA元件为代表来进行球形引脚元件检测算法的研究。本发明基于连通区域标记算法，方法灵活，对每个球形引脚进行检测，不需模板就能有效检测出BGA元件焊球存在的丢失、多余、错位、桥接以及尺寸变形等问题，具有很好的鲁棒性。本发明对元件进行定位时，仅采用外围的焊球，所需的计算步骤少，花费时间少（其运行时间达到70～80ms），能满足实时性的要求。并且本发明根据外围的焊球提取亚像素来获得精确的圆心，从而拟合出精确的边界直线，根据边界直线的参数获得BGA元件精确的中心和旋转角度，从而完成了对球形引脚元件进行的准确检测和定位，其精度能达到0.3～0.5个像素。

附图说明

图1是具体实施方式一中提出的一种用于球形引脚元件的检测与定位方法的流程图；

图2是具体实施例一中提出的BGA元件的大小为1292×964像素，背景灰度值为0的原始图像；

图3是具体实施例一中提出的排除干扰后的连通区域BGA元件焊球，背景灰度值为0的示意图；

图4是具体实施例一中提出的按圆度、尺寸对BGA元件焊球每个连通区域进行筛选后圆度、尺寸符合要求的BGA元件焊球，背景灰度值为0的示意图；

图5是具体实施例一中提出的按圆度、尺寸对BGA元件焊球每个连通区域进行筛选后圆度、尺寸不符合要求的BGA元件焊球，背景灰度值为0的示意图；

图6是具体实施例一中提出的计算BGA元件焊球每个连通区域的中心并得到中心的最小外接矩形，背景灰度值为0的示意图；

图7是具体实施例一中提出的BGA元件的精确中心，背景灰度值为0的示意图；

图8是具体实施例一中提出的将BGA元件焊球连通区域中心坐标旋转至正交的中心点，背景灰度值为255的示意图。

具体实施方式

具体实施方式一：本实施方式的一种用于球形引脚元件的检测与定位方法，具体是按照以下步骤制备的：

步骤一、采用光学照明系统获取BGA元件的图像，其中BGA元件为BallGridArray球形引脚元件；

步骤二、采用最大类间方差法对BGA元件的图像进行阈值分割，得到二值化预处理后的图像，即为二值化图像；

步骤三、使用标记算法标记出二值化图像的每个连通区域，并将每个连通区域置为前景，从而得到每个BGA元件焊球的二值化ROI图像；

步骤四、计算步骤三标记出的每个连通区域的面积，并排除连通区域面积不在BGA元件焊球的面积范围内的BGA元件焊球；面积过小的可能是干扰点的连通域；面积过大可能引脚大面积桥接，或是元件的生产造成的缺陷等；其中，BGA元件焊球的面积范围为每一个芯片都对应的一系列的BGA元件焊球，一系列BGA元件焊球中的每个焊球面积都规定在一定的范围内，该范围为BGA元件焊球的面积范围，其中不同芯片都具有不同的BGA元件焊球的面积范围；

步骤五、对步骤四得到的每个连通区域进行特征分析，检测每个连通区域存在的缺陷、检测每个连通区域尺寸和检测每个连通区域形状错误；

步骤六、经过步骤五处理后得到每个正交的连通区域的中心来代表每个球型引脚所对应的连通区域，检测BGA焊球是否存在丢失、多余或错位等错误；

步骤七、根据步骤五、步骤六判断BGA元件焊球是否存在缺陷；对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心分割出BGA元件外围的焊球的四个边界区域；

步骤八、根据四个边界区域拟合出的边界，计算出BGA元件精确的旋转角度以及中心点坐标；通过以上分析，若BGA元件的焊球不存在任何缺陷，则返回BGA元件的旋转角度和中心坐标；若BGA元件的焊球存在缺陷，则将该元件丢弃；即完成了一种用于球形引脚元件的检测与定位。

本实施方式效果：

面阵列封装元件的球形引脚作为该类元件的特征，并通过对球形引脚的检测和定位来间接实现整个元件的精确定位。为了保障该类元件与PCB良好连接，检测算法还需要对球形引脚的半径、间距以及数目进行检测，以检测出元件可能存在的焊球丢失、多余、错位或桥接的缺陷，或者尺寸和形状错误。因此，本实施方式将以应用最广泛的BGA元件为代表来进行球形引脚元件检测算法的研究。本实施方式基于连通区域标记算法，方法灵活，对每个球形引脚进行检测，不需模板就能有效检测出BGA元件焊球存在的丢失、多余、错位、桥接以及尺寸变形等问题，具有很好的鲁棒性。本实施方式对元件进行定位时，仅采用外围的焊球，所需的计算步骤少，花费时间少（其运行时间达到70～80ms），能满足实时性的要求。并且本实施方式根据外围的焊球提取亚像素来获得精确的圆心，从而拟合出精确的边界直线，根据边界直线的参数获得BGA元件精确的中心和旋转角度，从而完成了对球形引脚元件进行的准确检测和定位，其精度能达到0.3～0.5个像素。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤三所述使用标记算法标记出二值化图像的每个连通区域的具体过程为：

连通区域标记算法可以采用两遍扫描法实现：

步骤一、将BGA元件焊球的二值化ROI图像进行第一遍扫描，获取二值化ROI图像像素点临时标号：

(1)使用8邻域连通规则，8邻域坐标为（x-1,y）、（x+1,y）、（x,y-1）、（x,y+1）、(x-1,y-1)(x-1,y+1)、(x+1,y-1)和(x+1,y+1)，标记整幅图像的所有像素点的临时连通域标号，得到二值化ROI图像像素点的临时连通域标号矩阵；设某二值化ROI图像像素点(x,y)，二值化ROI图像像素点临时连通域标号为label(x,y)；计数器NumberOfRegion表示当前找到的临时连通域的个数，初始值为0；

(2)从二值化ROI图像左上角开始扫描图像过程为：即从储存图像像素的矩阵的0行0列开始扫描，从上到下，每一行从左到右扫描（和二维矩阵的扫描过程是一样的）；当扫描到二值化ROI图像像素点(x,y)时，已完成了(x,y)像素点上边邻接的像素点和(x,y)像素点左边邻接的像素点的扫描，，从而确定了label(x-1,y)、label(x-1,y-1)、label(x-1,y+1)和label(x,y-1)的值；

(3)当坐标为（x,y)的像素点和相邻的像素点的值相同，则这些像素点被认为是连通的；如果像素点(x,y)和(x,y)上边的像素点(x-1,y)、(x-1,y-1)、(x-1,y+1)和(x,y)左边的像素点（x,y-1）连通，则label(x,y)等于label(x-1,y)、label(x-1,y-1)、label(x-1,y+1)和label(x,y-1)当中最小的；

(4)如果像素点(x,y)和(x,y)上边的像素点(x-1,y)、(x-1,y-1)、(x-1y+1)和(x,y)左边的像素点（x,y-1）不连通，且像素点(x,y)的灰度值为255，则增加一个新的临时连通区域，即计数器NumberOfRegion加1，然后将新的NumberOfRegion作为像素点(x,y)的临时连通标号，即label(x,y)=NumberOfRegion；

步骤二、将第一遍扫描得到的临时连通域标号label值矩阵进行第二遍扫描，用等价连通区域标号标记第一遍扫描中所属共同连通域的各临时标号；获得临时连通域标号所属的等价连通区域标号；

(1)由于4邻域和8邻域的模板核过小，无法一次正确标记所有的目标，会有大量等价标号存在，其中等价标号为对于具有不同临时标号的连通区域是连通的，那么这些临时标号的连通区域是等价的；扫描二值化ROI图像像素点的临时连通区域标号矩阵，对于二值化ROI图像像素点的临时连通域标号矩阵中的像素点(x,y)，若在二值化ROI图像像素点(x,y)的灰度值为255，则在像素点(x,y)的上边和左边的像素点(x-1,y-1)、(x-1,y)、(x-1,y+1)和(x,y-1)中找到灰度值为255的像素点，并找到灰度值为255的像素点当中最小的等价连通标号，将最小的等价连通标号作为找到灰度值为255的像素点的等价连通区域标号；

(2)若像素点(x,y)灰度值为255，且像素点(x,y)和(x,y)上边的像素点、(x,y)左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将像素点(x,y)的等价连通区域标号等于这个新的等价连通区域标号；

(3)扫描完成后，所有像素点的连通区域标号都正确标记，将次序混乱的等价连通标号重新定序，确保目标连通域标号连续；

(4)将具有等价连通域标号的连通区域合并后，矩阵中的像素点(x,y)的等价连通区域标号为最终所得的目标连通区域标号。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤四所述的计算步骤三标记出的每个连通区域的面积，并排除连通区域面积不在BGA元件焊球的面积范围的BGA元件焊球的具体过程为：

(1)连通区域的面积为该连通区域中像素点的个数；

(2)对于BGA的每个焊球，其二值化后的图像面积在BGA元件焊球的面积范围内，对于同一个球形引脚元件，其球形焊点的大小是基本一致的，其中球形焊点为BGA的焊球；

(3)二值化后的图像中存在的干扰也会在连通区域标记过程中被标记出来，但干扰面积一般都很小可直接排除；

(4)为了便于识别，标记出BGA元件的特定标志，标记出的特定标志面积一般大于BGA焊球的面积，并且有特定的形状，故也可以很容易提起出来，用于确定BGA元件的方位。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤五所述的对步骤四得到的每个连通区域进行特征分析，检测每个连通区域存在的缺陷、检测每个连通区域尺寸和检测每个连通区域形状错误主要进行以下几个方面检测：

(1)、计算每个连通区域在原图中的灰度平均值

其中i为第i个连通区域，N(i)为第i个连通区域的面积（即该连通域中像素点的个数），g(x,y)为像素点(x,y)的灰度值；

若得到的某个连通区域的平均灰度值较其他平均值偏低，对应的该球形焊点存在桥接缺陷；

(2)、在步骤四中已经计算出每个连通区域的面积，将每个连通区域的面积和标准连通区域的面积比较，检查每个连通区域的面积误差是否在BGA元件焊球的面积范围；

(3)、计算每个连通区域的圆度；圆度C是用来图形形状接近圆形的程度，其公式定义为：

$C=\frac{4\mathrm{\πS}}{L^2}$

其中，S为图形面积，L为周长；形状越接近于圆，C越趋近于1。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤六所述经过步骤五处理后得到每个正交的连通区域的中心来代表每个BGA焊球连通区域，检测BGA焊球是否存在丢失、多余或错位等错误的过程为：

(1)求取每个连通区域的中心：

$\stackrel{\‾}{x}=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{xg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}g(x,y)},\stackrel{\‾}{y}=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{yg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}g(x,y)}$

其中x为像素点的行坐标，y为像素点的列坐标，g(x,y)为像素点(x,y)的灰度值，N为连通域的面积（即连通域中像素点的个数）；

(2)求出每个连通区域的中心后，找到包围所有中心的最小外接矩形；

(3)根据该外接矩形，可以得到BGA元件的中心和旋转角度；

(4)根据BGA元件的中心和旋转角度参数，将所有连通区域中心进行旋转至正交，从而计算焊球之间的行距、列距；

(5)检查这些行距、列距和标准值之间的误差是否在允许范围内，检测出焊球是否存在偏移的情况；

(6)将（4）中得到的焊球的中心及相邻焊球之间的行距、列距的数据与输入的标准的中心位置数据相比较即可判断BGA元件是否存在焊球丢失或焊球多余等缺陷，而不需要与标准模板进行匹配。其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤七所述根据步骤五、步骤六判断BGA元件焊球是否存在缺陷的主要过程为：

(1)对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心，可以分割出BGA元件外围的焊球的连通区域；

(2)将分割出元件外围的焊球的连通区域按照其空间分布划分为北方NORTH、南方SOUTH、东方EAST和西方WEST四组，并找到其在原始图像中的位置；

(3)确定边界的每个焊球的ROI，并提取亚像素边缘；亚像素插值点的计算公式为：

$X_e=x+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\cos \left(\mathrm{\θ}\right)$

$Y_e=y+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\sin \left(\mathrm{\θ}\right)$

其中，(X_e，Y_e)为插值点，(x,y)为对应边缘上的点，R₀为像素点(x,y)的灰度梯度幅值，R_-1，R₊₁像素点(x,y)梯度方向上与像素点(x,y)相邻左右两点的灰度梯度幅值，W为相邻像素到边缘点的距离；θ为边缘点的的梯度与x坐标轴正方向的夹角；

(4)对每个焊球的亚像素边缘进行最小二乘圆拟合，得到该焊球精确的中心，根据每一组的所有圆心，依据最小二乘法拟合出每个区域的边界所在的直线：

f(x)=a₀+a₁x

其中，a₀，a₁为直线参数；

误差平方和为s(a₀,a₁)，则应满足：

$s(a_0,a_1)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i^2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{|f\left(x_i\right)-y_i|}^2=\min ;$

其中，(xi,yi)为用于拟合边界的第i个点，δ_i为第i个点的误差，n为用于拟合的点的个数。其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：步骤八根据四个边界区域拟合出的边界，计算出BGA元件精确的旋转角度以及中心点坐标的过程为：

(1)对于四个边界区域中的连通域的中心点，拟合出一条直线，得到边界所在的4条直线；

(2)这4条直线则围成一个矩形，根据直线参数能计算出相邻两个边所在直线的交点，相邻两个边所在直线的交点为一个矩形的顶点；

(3)最终得到矩形的4个顶点后，求得4个顶点的中心坐标，即为元件的中心坐标；

(4)根据拟合出的直线的斜率，即可计算出直线与x坐标轴正方向的夹角，夹角为元件的旋转角度。其它步骤及参数与具体实施方式一至六之一相同。

采用以下实施例验证本发明的有益效果：

步骤一、采用数字相机获取BGA元件的大小为1292×964像素的原始图像如图2所示，其中BGA元件为BallGridArray球形引脚元件，图2中黑色区域为图像背景，白色的点为BGA元件焊球；

步骤二、采用最大类间方差法对BGA元件的图像进行阈值分割，得到二值化预处理后的图像，即为BGA元件的二值化图像；

步骤三、使用标记算法标记出二值化图像的每个连通区域，并将每个连通区域置为前景，从而得到每个BGA元件焊球的二值化ROI图像；具体步骤为：

连通区域标记算法可以采用两遍扫描法实现：

一、将BGA元件焊球的二值化ROI图像进行第一遍扫描，获取二值化ROI图像像素点临时标号：

(1)使用连通规则4邻域（4邻域坐标为（x-1,y）、（x+1,y）、（x,y-1）和（x,y+1））或按8邻域连通规则，以8邻域连通规则为例，8邻域坐标为（x-1,y）、（x+1,y）、（x,y-1）、（x,y+1）(x-1,y-1)、(x-1,y+1)、(x+1,y-1)和(x+1,y+1)，标记整幅图像的所有像素点的临时连通域标号，得到二值化ROI图像像素点的临时连通域标号矩阵；设某二值化ROI图像像素点(x,y)，二值化ROI图像像素点临时连通域标号为label(x,y)；计数器NumberOfRegion表示当前找到的临时连通域的个数，初始值为0；

(2)从二值化ROI图像左上角开始扫描图像，即从储存图像像素的矩阵的0行0列开始扫描，从上到下，每一行从左到右扫描（和二维矩阵的扫描过程是一样的）；当扫描到二值化ROI图像像素点(x,y)时，已完成了(x,y)像素点上边邻接的像素点和(x,y)像素点左边邻接的像素点的扫描，，从而确定了label(x-1,y)、label(x-1,y-1)、label(x-1,y+1)和label(x,y-1)的值；

(3)当坐标为（x,y)的像素点和相邻的像素点的值相同，则这些像素点被认为是连通的；如果像素点(x,y)和(x,y)上边的像素点(x-1,y)、(x-1,y-1)、(x-1,y+1)和(x,y)左边的像素点（x,y-1）连通，则label(x,y)等于label(x-1,y)、label(x-1,y-1)、label(x-1,y+1)和label(x,y-1)当中最小的；

(4)如果像素点(x,y)和(x,y)上边的像素点(x-1,y)、(x-1,y-1)、(x-1y+1)和(x,y)左边的像素点（x,y-1）不连通，且像素点(x,y)的灰度值为255，则增加一个新的临时连通区域，即计数器NumberOfRegion加1，然后将新的NumberOfRegion作为像素点(x,y)的临时连通标号，即label(x,y)=NumberOfRegion；

二、将第一遍扫描得到的临时连通域标号label值矩阵进行第二遍扫描，用等价连通区域标号标记第一遍扫描中所属共同连通域的各临时标号；获得临时连通域标号所属的等价连通区域标号；

(1)由于4邻域和8邻域的模板核过小，无法一次正确标记所有的目标，会有大量等价标号存在，其中等价标号为对于具有不同临时标号的连通区域是连通的，那么这些临时标号的连通区域是等价的；扫描二值化ROI图像像素点的临时连通区域标号矩阵，对于二值化ROI图像像素点的临时连通域标号矩阵中的像素点(x,y)，若在二值化ROI图像像素点(x,y)的灰度值为255，则在像素点(x,y)的上边和左边的像素点(x-1,y-1)、(x-1,y)、(x-1,y+1)和(x,y-1)中找到灰度值为255的像素点，并找到灰度值为255的像素点当中最小的等价连通标号，将最小的等价连通标号作为找到灰度值为255的像素点的等价连通区域标号；

(2)若像素点(x,y)灰度值为255，且像素点(x,y)和(x,y)上边的像素点、(x,y)左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将像素点(x,y)的等价连通区域标号等于这个新的等价连通区域标号；

(3)扫描完成后，所有像素点的连通区域标号都正确标记，将次序混乱的等价连通标号重新定序，确保目标连通域标号连续；

(4)将具有等价连通域标号的连通区域合并后，矩阵中的像素点(x,y)的等价连通区域标号为最终所得的目标连通区域标号；

步骤四、计算步骤三标记出的每个连通区域的面积，并排除连通区域面积不在BGA元件焊球的面积范围的BGA元件焊球；面积过小的可能是干扰点的连通域；面积过大可能引脚大面积桥接，或是元件的生产造成的缺陷等；其中，BGA元件焊球的面积范围为每一个芯片都对应的一系列的BGA元件焊球，一系列的BGA元件焊球的面积都在一定的范围内，该范围为BGA元件焊球的面积范围；其中有的连通区域的面积不在焊球的面积范围之内，面积过小的可能是干扰点的连通域；面积过大可能引脚大面积桥接，或是元件的生产造成的缺陷等如图3所示图3中黑色区域为图像背景，白色的点为BGA元件焊球；去掉面积不在焊球面积范围之内的连通区域，得到如图3所示结果；其具体过程为：

(1)连通区域的面积为该连通区域中像素点的个数；

(2)对于BGA的每个焊球，其二值化后的图像面积在BGA元件焊球的面积范围内，对于同一个球形引脚元件，其球形焊点的大小是基本一致的

(3)二值化后的图像中存在的干扰也会在连通区域标记过程中被标记出来，但干扰面积一般都很小可直接排除；

(4)为了便于识别，标记出BGA元件的特定标志，标记出的特定标志面积一般大于BGA焊球的面积，并且有特定的形状，故也可以很容易提起出来，用于确定BGA元件的方位；

步骤五、对步骤四得到的每个连通区域进行特征分析，检测每个连通区域存在的缺陷、检测每个连通区域尺寸和检测每个连通区域形状错误主要进行以下几个方面检测：

(1)、计算每个连通区域在原图中的灰度平均值

其中i为第i个连通区域，N(i)为第i个连通区域的面积（即该连通域中像素点的个数），g(x,y)为像素点(x,y)的灰度值；

若得到的某个连通区域的平均灰度值较其他平均值偏低，对应的该球形焊点存在桥接缺陷说明BGA元件焊球不符合要求如图5所示；否则BGA元件焊球符合要求如图4所示、（图4和图5中黑色区域为图像背景，白色的点为BGA元件焊球）

(2)、在步骤四中已经计算出每个连通区域的面积，将每个连通区域的面积和标准连通区域的面积比较，检查每个连通区域的面积误差是否在规定BGA元件焊球的面积范围内，其中，每个连通区域的面积误差在规定BGA元件焊球的面积范围内的示意图如图3所示；

(3)、计算每个连通区域的圆度；圆度C是用来图形形状接近圆形的程度，其公式定义为：

$C=\frac{4\mathrm{\πS}}{L^2}$

其中，S为图形面积，L为周长；形状越接近于圆，C越趋近于1；

步骤六、经过步骤五处理后得到每个正交的连通区域的中心来代表每个球型引脚所对应的连通区域，检测BGA焊球是否存在丢失，多余或错位等错误的过程为：

(1)求取每个连通区域的中心：

$\stackrel{\‾}{x}=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{xg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}g(x,y)},\stackrel{\‾}{y}=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{yg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}g(x,y)}$

其中x为像素点的行坐标，y为像素点的列坐标，g(x,y)为像素点(x,y)的灰度值，N为连通域的面积（即连通域中像素点的个数）；

(2)求出每个连通区域的中心后，找到包围所有中心的最小外接矩形如图6（图6中黑色区域为图像背景，白色的点为BGA元件焊球，图6中的BGA元件焊球上正方形为最小外接矩形）所示；

(3)根据该外接矩形，可以得到BGA元件的中心和旋转角度，其中，中心坐标为（447，377），旋转角度为-3.8度；如图7（图7中黑色区域为图像背景，白色的点为BGA元件焊球，图7中的BGA元件焊球上正方形为最小外接矩形）；

(4)根据BGA元件的中心和旋转角度参数，将所有连通区域中心坐标进行旋转至正交，正交的中心点，所有连通区域中心坐标如图8（图8中白色区域为图像背景，黑色的点为正交的BGA元件焊球中心点，）所示，所有连通区域中心坐标进行旋转至正交的中心点；从而计算焊球之间的行距、列距；

(5)检测有些行距、列距和标准值之间的误差不在在允许范围内，检测出焊球存在偏移的情况；

(6)将（4）中得到的焊球的中心及相邻焊球之间的行距、列距的数据与输入的标准的中心位置数据相比较即可判断BGA元件是存在焊球偏移或桥接缺陷，而不需要与标准模板进行匹配；

步骤七、根据步骤五、步骤六判断BGA元件焊球是否存在缺陷，对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心分割出BGA元件外围的焊球的四个边界区域的主要过程为：

(1)对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心，可以分割出BGA元件外围的焊球的连通区域；

(2)将分割出元件外围的焊球的连通区域按照其空间分布划分为北方NORTH、南方SOUTH、东方EAST和西方WEST四组，并找到其在原始图像中的位置；

(3)确定边界的每个焊球的ROI，并提取亚像素边缘；亚像素插值点的计算公式为：

$X_e=x+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\cos \left(\mathrm{\θ}\right)$

$Y_e=y+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\sin \left(\mathrm{\θ}\right)$

其中，(X_e，Y_e)为插值点，(x,y)为对应边缘上的点，R₀为像素点(x,y)的灰度梯度幅值，R_-1，R₊₁像素点(x,y)梯度方向上与像素点(x,y)相邻左右两点的灰度梯度幅值，W为相邻像素到边缘点的距离；θ为边缘点的的梯度与x坐标轴正方向的夹角；

(4)对每个焊球的亚像素边缘进行最小二乘圆拟合，得到该焊球精确的中心，根据每一组的所有圆心，依据最小二乘法拟合出每个区域的边界所在的直线：

f(x)=a₀+a₁x

其中，a₀，a₁为直线参数；

上边界的直线方程：

y=-0.0702x+173.9455

左边界的直线方程：

y=14.4153x-2689.5921

下边界的直线方程：

y=-0.0662x+640.2178

右边界的直线方程

y=14.5005x-9495.7714

误差平方和为s(a₀,a₁)，则应满足：

$s(a_0,a_1)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i^2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{|f\left(x_i\right)-y_i|}^2=\min ;$

其中，(xi,yi)为用于拟合边界的第i个点，δ_i为第i个点的误差，n为用于拟合的点的个数；

步骤八根据四个边界区域拟合出的边界，计算出BGA元件精确的旋转角度以及中心点坐标的过程为：

(1)对于四个边界区域中的连通域的中心点，拟合出一条直线，得到边界所在的4条直线；

(2)这4条直线则围成一个矩形，根据直线参数能计算出相邻两个边所在直线的交点，相邻两个边所在直线的交点为一个矩形的顶点，得到矩形四个顶点为（197.68，160.06）、（663.64，127.35）、（229.93，624.99）和（695.83，594.13）；

(3)最终得到矩形的4个顶点后，求得4个顶点的中心坐标，即为元件的中心坐标（446.77，376.63）；

(4)根据拟合出的直线的斜率，即可计算出直线与x坐标轴正方向的夹角，夹角为元件的旋转角度为-3.90°；通过以上分析，此BGA元件的焊球存在缺陷，则将该元件丢弃。

Claims (6)

1.一种用于球形引脚元件的检测与定位方法，其特征在于一种用于球形引脚元件的检测与定位方法具体是按照以下步骤进行的：

步骤一、采用光学照明系统获取BGA元件的图像，其中BGA元件为球形引脚元件；

步骤二、采用最大类间方差法对BGA元件的图像进行阈值分割，得到二值化预处理后的图像；

步骤三、使用标记算法标记出二值化图像的每个连通区域，并将每个连通区域置为前景，从而得到每个BGA元件焊球的二值化ROI图像；

步骤四、计算步骤三标记出的每个连通区域的面积，并排除连通区域面积不在BGA元件焊球的面积范围内的BGA元件焊球；

步骤五、对步骤四得到的每个连通区域进行特征分析，检测每个连通区域存在的缺陷、检测每个连通区域尺寸和检测每个连通区域形状错误；

步骤六、经过步骤五处理后得到每个正交的连通区域的中心来代表每个球形引脚所对应的连通区域，检测BGA焊球是否存在丢失、多余或错位；

步骤七、对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心分割出BGA元件外围的焊球的四个边界区域；

步骤八、根据四个边界区域拟合出的边界，计算出BGA元件精确的旋转角度以及中心点坐标；即完成了一种用于球形引脚元件的检测与定位；

所述使用标记算法标记出二值化图像的每个连通区域的具体过程为：

连通区域标记算法可以采用两遍扫描法实现：

步骤1、将BGA元件焊球的二值化ROI图像进行第一遍扫描，获取二值化ROI图像像素点临时标号：

(1)按8邻域连通规则，其中8邻域坐标为(x-1,y)、(x+1,y)、(x,y-1)、(x,y+1)、(x-1,y-1)、(x-1,y+1)、(x+1,y-1)和(x+1,y+1)，标记整幅图像的所有像素点的临时连通域标号，得到二值化ROI图像像素点的临时连通域标号矩阵；设某二值化ROI图像像素点(x,y)，二值化ROI图像像素点临时连通域标号为label(x,y)；

(2)从二值化ROI图像左上角开始扫描图像过程为：从储存图像像素的矩阵的0行0列开始扫描，从上到下，每一行从左到右扫描；当扫描到二值化ROI图像像素点为(x,y)时，已完成了(x,y)像素点上边邻接的像素点和(x,y)像素点左边邻接的像素点的扫描，从而确定了label(x-1,y)、label(x-1,y-1)、label(x-1,y+1)和label(x,y-1)的值；

(3)当坐标为(x,y)的像素点和相邻的像素点的值相同，则这些像素点被认为是连通的；如果像素点(x,y)和(x,y)上边的像素点(x-1,y)、(x-1,y-1)、(x-1,y+1)和(x,y)左边的像素点(x,y-1)连通，则label(x,y)等于label(x-1,y)、label(x-1,y-1)、label(x-1,y+1)和label(x,y-1)当中最小的；

(4)如果像素点(x,y)和(x,y)上边的像素点(x-1,y)、(x-1,y-1)、(x-1,y+1)和(x,y)左边的像素点(x,y-1)不连通，且像素点(x,y)的灰度值为255，则增加一个新的临时连通区域；

步骤2、将第一遍扫描得到的临时连通域标号label值矩阵进行第二遍扫描，用等价连通区域标号标记第一遍扫描中所属共同连通域的各临时标号；获得临时连通域标号所属的等价连通区域标号；

(1)扫描二值化ROI图像像素点的临时连通区域标号矩阵，对于二值化ROI图像像素点的临时连通域标号矩阵中的像素点(x,y)，若在二值化ROI图像像素点(x,y)的灰度值为255，则在像素点(x,y)的上边和左边的像素点(x-1,y-1)、(x-1,y)、(x-1,y+1)和(x,y-1)中找到灰度值为255的像素点，并找到灰度值为255的像素点当中最小的等价连通标号，将最小的等价连通标号作为找到灰度值为255的像素点的等价连通区域标号；

(2)若像素点(x,y)灰度值为255，且像素点(x,y)和(x,y)上边的像素点、(x,y)左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将像素点(x,y)的等价连通区域标号等于这个新的等价连通区域标号；

(3)扫描完成后，所有像素点的连通区域标号都正确标记，将次序混乱的等价连通标号重新定序；

(4)将具有等价连通域标号的连通区域合并后，矩阵中的像素点(x,y)的等价连通区域标号为最终所得的目标连通区域标号。

2.根据权利要求1所述的一种用于球形引脚元件的检测与定位方法，其特征在于步骤四所述的计算步骤三标记出的每个连通区域的面积，并排除连通区域面积不在BGA元件焊球的面积范围内的BGA元件焊球的具体过程为：

(1)连通区域的面积为该连通区域中像素点的个数；

(2)对于BGA的每个焊球，其二值化后的图像面积在BGA元件焊球的面积范围内；

(3)二值化后的图像中存在的干扰也会在连通区域标记过程中被标记出来，但干扰面积一般都很小可直接排除；

(4)标记出BGA元件的特定标志，标记出的特定标志面积一般大于BGA焊球的面积，并且有特定的形状，用于确定BGA元件的方位。

3.根据权利要求1所述的一种用于球形引脚元件的检测与定位方法，其特征在于步骤五所述的对步骤四得到的每个连通区域进行特征分析，检测每个连通区域存在的缺陷、检测每个连通区域尺寸和检测每个连通区域形状错误主要进行以下几个方面检测：

(1)、计算每个连通区域在原图中的灰度平均值

其中i为第i个连通区域，N(i)为第i个连通区域的面积，g(x,y)为像素点(x,y)的灰度值；若得到的某个连通区域的平均灰度值较其他平均值偏低，对应的某个连通区域存在桥接缺陷；

(2)、在步骤四中已经计算出每个连通区域的面积，将每个连通区域的面积和标准连通区域的面积比较，检查每个连通区域的面积误差是否在BGA元件焊球的面积范围；

(3)、计算每个连通区域的圆度；圆度C是用来表示图形形状接近圆形的程度，其公式定义为：

$C=\frac{4\mathrm{\π}S}{L^2}$

其中，S为图形面积，L为周长；形状越接近于圆，C越趋近于1。

4.根据权利要求1所述的一种用于球形引脚元件的检测与定位方法，其特征在于步骤六中经过步骤五处理后得到每个正交的连通区域的中心来代表每个球形引脚所对应的连通区域，检测BGA焊球是否存在丢失、多余或错位的过程为：

(1)求取每个连通区域的中心：

$\stackrel{\‾}{x}=\frac{\underset{y=1}{\overset{N}{\Σ}}\underset{x=1}{\overset{N}{\Σ}}xg(x,y)}{\underset{y=1}{\overset{N}{\Σ}}\underset{x=1}{\overset{N}{\Σ}}g(x,y)},\stackrel{\‾}{y}=\frac{\underset{y=1}{\overset{N}{\Σ}}\underset{x=1}{\overset{N}{\Σ}}yg(x,y)}{\underset{y=1}{\overset{N}{\Σ}}\underset{x=1}{\overset{N}{\Σ}}g(x,y)}$

其中x为像素点的行坐标，y为像素点的列坐标，g(x,y)为像素点(x,y)的灰度值，N为连通域的面积；

(2)求出每个连通区域的中心后，找到包围所有中心的最小外接矩形；

(3)根据该外接矩形，可以得到BGA元件的中心和旋转角度；

(4)根据BGA元件的中心和旋转角度参数，将所有连通区域中心进行旋转至正交，从而计算焊球之间的行距、列距；

(5)检查这些行距、列距和标准值之间的误差是否在允许范围内，检测出焊球是否存在偏移的情况；

(6)将(4)中得到的焊球的中心及相邻焊球之间的行距、列距的数据与输入的标准的中心位置数据相比较可判断BGA元件是否存在焊球丢失或焊球多余缺陷。

5.根据权利要求1所述的一种用于球形引脚元件的检测与定位方法，其特征在于步骤七所述对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心分割出BGA元件外围的焊球的四个边界区域的主要过程为：

(1)对于焊球没有缺陷的元件，根据步骤六中正交的连通区域的中心，可以分割出BGA元件外围的焊球的连通区域；

(2)将分割出元件外围的焊球的连通区域按照其空间分布划分为北方NORTH、南方SOUTH、东方EAST和西方WEST四组，并找到其在原始图像中的位置；

(3)确定边界的每个焊球的ROI，并提取亚像素边缘；亚像素插值点的计算公式为：

$X_e=x+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}cos\left(\mathrm{\θ}\right)$

$Y_e=y+\frac{R_{-1}-R_{+1}}{R_{-1}-2*R_0+R_{+1}}\frac{W}{2}\sin \left(\mathrm{\θ}\right)$

其中，(X_e，Y_e)为插值点，(x,y)为对应边缘上的点，R₀为像素点(x,y)的灰度梯度幅值，R_-1、R₊₁为像素点(x,y)梯度方向上与像素点(x,y)相邻左右两点的灰度梯度幅值，W为相邻像素到边缘点的距离；θ为边缘点的的梯度与x坐标轴正方向的夹角；

(4)对每个焊球的亚像素边缘进行最小二乘圆拟合，得到该焊球精确的中心，根据每一组的所有圆心，依据最小二乘法拟合出每个区域的边界所在的直线：

f(x)＝a₀+a₁x

其中，a₀，a₁为直线参数；

误差平方和为s(a₀,a₁)，则应满足：

取最小值

其中，(x_i,y_i)为用于拟合边界的第i个点，δ_i为第i个点的误差，n为用于拟合的点的个数。

6.根据权利要求1所述的一种用于球形引脚元件的检测与定位方法，其特征在于步骤八根据四个边界区域拟合出的边界，计算出BGA元件精确的旋转角度以及中心点坐标的过程为：

(1)对于四个边界区域中的连通域的中心点，拟合出一条直线，得到边界所在的4条直线；

(2)这4条直线则围成一个矩形，根据直线参数能计算出相邻两个边所在直线的交点，相邻两个边所在直线的交点为一个矩形的顶点；

(3)最终得到矩形的4个顶点后，求得4个顶点的中心坐标，为元件的中心坐标；

(4)根据拟合出的直线的斜率，可计算出直线与x坐标轴正方向的夹角，夹角为元件的旋转角度。