CN103761534B - 一种用于qfp元件视觉定位的检测方法 - Google Patents

Abstract

一种用于QFP元件视觉定位的检测方法。本发明涉及QFP元件的视觉定位和检测领域。本发明是为了解决传统的QFP元件的检测方法对吸嘴吸取元件的精度要求高，图像灰度值不均匀，引脚在图像中存在断裂，引脚分类和修复操作所使用的全局形态学算法消耗时间长，实时性较差的问题。本发明主要采用技术是获取被测元件图像，扫描二值图像并且对连通区域标号，对标号后的连通区域划分聚类，求取连通区域的质心拟合边界然后计算每个连通区域的矩形度和旋转角度。本发明主要用于QFP元件的引脚检测以及旋转角度检测。

Description

一种用于QFP元件视觉定位的检测方法

技术领域

本发明涉及QFP元件的视觉定位和检测领域。

背景技术

在所有的矩形引脚元件中，QFP元件对定位精度的要求最高，且定位和检测的算法最为复杂。已有的对QFP元件的检测，基于“第一元件引脚扫描检测”的方法来对QFP元件的所有引脚进行分类。但该方法需要根据元件的尺寸和吸嘴取料的精度来事先估计元件的“第一引脚”在图像中出现的位置，因而对吸嘴吸取元件的精度提出了较高的要求。当吸嘴吸取元件的角度误差较大时，该方法有可能失效。也有算法对元件定义了NORTH、SOUTH、WEST和EAST四个引脚组，然后根据元件的中心和细长型引脚的长轴方向将所有引脚分别归到四个引脚组中，然后对每个引脚组分别进行引脚的完好性检查，最终通过最小二乘匹配的方法计算出元件的位置。该文献使用此方法时，默认图像分割算法分割出的每个引脚是完整的。然而实际上由于QFP元件引脚的各个部分弯曲程度不同，在接受正向照明时，引脚的各个部分在图像中的灰度值并不均匀。因此，在使用上述提到的图像分割算法后，元件的引脚在图像中事实上存在着断裂的情况。进行引脚分类和修复操作时所使用的全局形态学算法消耗时间较长，当图像较大时，该算法的实时性将变得较差。

发明内容

本发明是为了解决传统的QFP元件的检测方法对吸嘴吸取元件的精度要求高，图像灰度值不均匀，引脚在图像中存在断裂，引脚分类和修复操作所使用的全局形态学算法消耗时间长，实时性较差的问题，而提供一种用于QFP元件视觉定位的检测方法。

一种用于QFP元件视觉定位的检测方法按以下步骤实现：

步骤一、采用光学照明系统获取QFP元件的灰度图像；

步骤二、对步骤一得到图像进行预处理，滤除图像中的噪声；

步骤三、对步骤二得到的图像采用自动阈值分割法处理，使用连通区域标记算法在生成的二值图像中标记出每个连通区域，所述连通区域标记算法采用两遍扫描法实现；并将标记出的连通区域置为前景；所述的两遍扫描法具体为以下步骤：

(1)、扫描二值图像，获取临时标号，按照前景为8邻域的连通规则，设任意一个像素点为f(x,y)，其临时连通域标号阵为label(x,y)；从左上角开始按行从上到下，从左到右扫描图像，当扫描到像素点f(x,y)时，已完成了该像素点上边和左边像素点的扫描，则这些像素点的label值已知；如果像素f(x,y)和上边、左边的像素连通，则将其label值赋值为上边、左边的像素中label最小的即可；如果f(x,y)和这些像素都不连通，则增加一个新的label并将像素f(x,y)的label赋为该值；

(2)、扫描临时连通域标号矩阵，合并等价的连通区域标号；用等价连通域标号标记各临时标号所属的共同连通域；扫描二值图像，对于像素点f(x,y)，在其上边、左边和自身5个像素点中，找到临时连通标号最小的，并将这5个像素点的等价连通区域标号更新为该最小值；若像素点f(x,y)和上边、左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将f(x,y)的等价连通标号赋为该新的等价连通区域标号；扫描完成后，重新定序等价连通标号的次序，确保目标连通域标号连续；

两次扫描后，矩阵中的像素点连通域标号即是最终所得的目标连通域标号。

步骤四、统计步骤三中得到的每个连通区域，并求取连通区域面积，滤除小的连通区域，保留引脚末端的图像；

步骤五、对步骤四获得的引脚末端图像进行连通区域标记，标记个数与标准的QFP引脚个数进行比较，若匹配则执行下一步骤，若不匹配，则QFP类型不正确或引脚有缺失不对QFP元件进行检测；

步骤六、使用分级聚类算法将步骤五中得到的图像的所有连通区域划分为NORTH、SOUTH、WEST和EAST四类，采用最近距离作为分类所用的相似性度量，当最终类别数为1时，聚类过程是一棵最小生成树形成的过程，对于QFP芯片，类别数为4，去掉距离最大的3支得到4类的聚类结果；

步骤七、对步骤六中得到的4类聚类结果进行处理，分别对每类中的连通区域求取质心：

其中，和分别为QFP元件中心的横坐标和纵坐标，g(x，y)为QFP元件进行阈值分割后二值图像的灰度值；当g(x，y)为1时，代表感兴趣区域，即元件图像；当g(x，y)为0时，代表背景区域；

根据每类中的连通域的质心，分别用最小二乘法拟合出直线，该直线代表该类所在的边界；

步骤八、对每类中的每个连通区域计算矩形度和旋转角度，

其中：矩形度体现物体对其外接矩形的充满程度，反映一个物体矩形度的一个参数是矩形拟合因子：

其中，S₀是该物体的面积，而S_MER是其最小外接矩形的面积，R反映了一个物体对其MER的充满程度，对于矩形物体R取得最大值1，矩形拟合因子的值为0～1，对于矩形度不符合要求的连通区域，其对应的引脚则存在弯曲，桥接缺陷；

同时得到每个连通区域的旋转角度，与该类拟合直线的偏转角度相比得到偏差，偏差过大的连通区域对应的引脚则存在倾斜的缺陷，并且该偏差还能表示倾斜角度的大小；

步骤九、根据四个区域拟合出的四条边界，计算出QFP元件的旋转角度以及中心点坐标，从而得到QFP元件的精确位置。

本发明的优点是处理图像时只保留了引脚末端的图像，从而避免了引脚在图像中存在断裂，引脚分类和修复操作。测试结果表明，本发明所研究的算法可以分辨出图像中元件非常微小的旋转角度；算法的执行时间约为9ms；对于原图像在(-10,10)度内的旋转，算法测得的QFP元件的旋转角度与期望旋转角度间的误差不超过0.006度。可以得出，本发明所提出的QFP元件的定位与检测算法对图像中元件的旋转角度具有较高的分辨率和精度，该算法还具有较高的执行效率。

附图说明

图1是二值化后的QFP芯片图像；

图2是根据面积和矩形度筛选后的图像；

图3是边界的聚类结果图；

图4是由每一个边界区域的连通域中心得到的边界直线和芯片的中心。

具体实施方式

具体实施方式一：本实施方式的一种用于QFP元件视觉定位的检测方法按以下步骤实现：

步骤一、采用光学照明系统获取QFP元件的灰度图像；

步骤二、对步骤一得到图像进行预处理，滤除图像中的噪声；

步骤三、对步骤二得到的图像采用自动阈值分割法处理，使用连通区域标记算法在生成的二值图像中标记出每个连通区域，所述连通区域标记算法采用两遍扫描法实现；并将标记出的连通区域置为前景；

步骤四、统计步骤三中得到的每个连通区域，并求取连通区域面积，滤除小的连通区域，保留引脚末端的图像；

步骤五、对步骤四获得的引脚末端图像进行连通区域标记，标记个数与标准的QFP引脚个数进行比较，若匹配则执行下一步骤，若不匹配，则QFP类型不正确或引脚有缺失不对QFP元件进行检测；

步骤六、使用分级聚类算法将步骤五中得到的图像的所有连通区域划分为NORTH、SOUTH、WEST和EAST四类，采用最近距离作为分类所用的相似性度量，当最终类别数为1时，聚类过程是一棵最小生成树形成的过程，对于QFP芯片，类别数为4，去掉距离最大的3支得到4类的聚类结果；

步骤七、对步骤六中得到的4类聚类结果进行处理，分别对每类中的连通区域求取质心：

其中，和分别为QFP元件中心的横坐标和纵坐标，g(x，y)为QFP元件进行阈值分割后二值图像的灰度值；当g(x，y)为1时，代表感兴趣区域，即元件图像；当g(x，y)为0时，代表背景区域；

根据每类中的连通域的质心，分别用最小二乘法拟合出直线，该直线代表该类所在的边界；

步骤八、对每类中的每个连通区域计算矩形度和旋转角度，

其中：矩形度体现物体对其外接矩形的充满程度，反映一个物体矩形度的一个参数是矩形拟合因子：

其中，S₀是该物体的面积，而S_MER是其最小外接矩形的面积，R反映了一个物体对其MER的充满程度，对于矩形物体R取得最大值1，矩形拟合因子的值为0～1，对于矩形度不符合要求的连通区域，其对应的引脚则存在弯曲，桥接缺陷；

同时得到每个连通区域的旋转角度，与该类拟合直线的偏转角度相比得到偏差，偏差过大的连通区域对应的引脚则存在倾斜的缺陷，并且该偏差还能表示倾斜角度的大小；

步骤九、根据四个区域拟合出的四条边界，计算出QFP元件的旋转角度以及中心点坐标，从而得到QFP元件的精确位置。

具体实施方式二：本实施方式是对具体实施方式一进一步解释说明：步骤三中所述的两遍扫描法，具体按照以下步骤实现：

(1)、扫描二值图像，获取临时标号，按照前景为8邻域的连通规则，设任意一个像素点为f(x,y)，其临时连通域标号阵为label(x,y)；从左上角开始按行从上到下，从左到右扫描图像，当扫描到像素点f(x,y)时，已完成了该像素点上边和左边像素点的扫描，则这些像素点的label值已知；如果像素f(x,y)和上边、左边的像素连通，则将其label值赋值为上边、左边的像素中label最小的即可；如果f(x,y)和这些像素都不连通，则增加一个新的label并将像素f(x,y)的label赋为该值；

(2)、扫描临时连通域标号矩阵，合并等价的连通区域标号；由于8邻域包含的范围很小，无法一次正确标记所有的目标，会有大量的临时标号是等价的，即对于具有不同临时标号的连通域，其可能也是连通的，那么这些临时标号就是等价的，用等价连通域标号标记各临时标号所属的共同连通域；扫描二值图像，对于像素点f(x,y)，在其上边、左边和自身5个像素点中，找到临时连通标号最小的，并将这5个像素点的等价连通区域标号更新为该最小值；若像素点f(x,y)和上边、左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将f(x,y)的，对等价连通标号赋为该新的等价连通区域标号；扫描完成后，重新定序等价连通标号的次序，确保目标连通域标号连续；

两次扫描后，矩阵中的像素点连通域标号即是最终所得的目标连通域标号。

Claims (2)

1.一种用于QFP元件视觉定位的检测方法，其特征在于它包括下述步骤：

步骤一、采用光学照明系统获取QFP元件的灰度图像；

步骤二、对步骤一得到图像进行预处理，滤除图像中的噪声；

步骤三、对步骤二得到的图像采用自动阈值分割法处理，使用连通区域标记算法在生成的二值图像中标记出每个连通区域，所述连通区域标记算法采用两遍扫描法实现；并将标记出的连通区域置为前景；

步骤四、统计步骤三中得到的每个连通区域，并求取连通区域面积，滤除小的连通区域，保留引脚末端的图像；

步骤五、对步骤四获得的引脚末端图像进行连通区域标记，标记个数与标准的QFP引脚个数进行比较，若匹配则执行下一步骤，若不匹配，则QFP类型不正确或引脚有缺失不对QFP元件进行检测；

步骤六、使用分级聚类算法将步骤五中得到的图像的所有连通区域划分为NORTH、SOUTH、WEST和EAST四类，采用最近距离作为分类所用的相似性度量，当最终类别数为1时，聚类过程是一棵最小生成树形成的过程，对于QFP芯片，类别数为4，去掉距离最大的3支得到4类的聚类结果；

步骤七、对步骤六中得到的4类聚类结果进行处理，分别对每类中的连通区域求取质心：

$\stackrel{-}{x}=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{xg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}g(x,y)},\stackrel{-}{y}=\frac{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{yg}(x,y)}{\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=1}{\overset{N}{\mathrm{\Σ}}}g(x,y)},$

其中，和分别为QFP元件中心的横坐标和纵坐标，g(x，y)为QFP元件进行阈值分割后二值图像的灰度值；当g(x，y)为1时，代表感兴趣区域，即元件图像；当g(x，y)为0时，代表背景区域；

根据每类中的连通域的质心，分别用最小二乘法拟合出直线，该直线代表该类所在的边界；

步骤八、对每类中的每个连通区域计算矩形度和旋转角度，

其中：矩形度体现物体对其外接矩形的充满程度，反映一个物体矩形度的一个参数是矩形拟合因子：

$R=\frac{S_0}{S_{\mathrm{MER}}}$

其中，S₀是该物体的面积，而S_MER是其最小外接矩形的面积，R反映了一个物体对其MER的充满程度，对于矩形物体R取得最大值1，矩形拟合因子的值为0～1，对于矩形度不符合要求的连通区域，其对应的引脚则存在弯曲，桥接缺陷；

同时得到每个连通区域的旋转角度，与该类拟合直线的偏转角度相比得到偏差，偏差过大的连通区域对应的引脚则存在倾斜的缺陷，并且该偏差还能表示倾斜角度的大小；

步骤九、根据四个区域拟合出的四条边界，计算出QFP元件的旋转角度以及中心点坐标，从而得到QFP元件的精确位置。

2.根据权利要求1所述的一种用于QFP元件视觉定位的检测方法，其特征在于步骤三中所述的两遍扫描法，具体按照以下步骤实现：

(1)、扫描二值图像，获取临时标号，按照前景为8邻域的连通规则，设任意一个像素点为f(x,y)，其临时连通域标号阵为label(x,y)；从左上角开始按行从上到下，从左到右扫描图像，当扫描到像素点f(x,y)时，已完成了该像素点上边和左边像素点的扫描，则这些像素点的label值已知；如果像素f(x,y)和上边、左边的像素连通，则将其label值赋值为上边、左边的像素中label最小的即可；如果f(x,y)和这些像素都不连通，则增加一个新的label并将像素f(x,y)的label赋为该值；

(2)、扫描临时连通域标号矩阵，合并等价的连通区域标号；用等价连通域标号标记各临时标号所属的共同连通域；扫描二值图像，对于像素点f(x,y)，在其上边、左边和自身5个像素点中，找到临时连通标号最小的，并将这5个像素点的等价连通区域标号更新为该最小值；若像素点f(x,y)和上边、左边的像素点不具有连通性质，则增加一个新的等价连通区域标号，并将f(x,y)的等价连通标号赋为该新的等价连通区域标号；扫描完成后，重新定序等价连通标号的次序，确保目标连通域标号连续；

两次扫描后，矩阵中的像素点连通域标号即是最终所得的目标连通域标号。