CN105005997B - 一种基于行列直线聚类的多类型bga芯片视觉识别方法 - Google Patents

一种基于行列直线聚类的多类型bga芯片视觉识别方法 Download PDF

Info

Publication number
CN105005997B
CN105005997B CN201510474956.XA CN201510474956A CN105005997B CN 105005997 B CN105005997 B CN 105005997B CN 201510474956 A CN201510474956 A CN 201510474956A CN 105005997 B CN105005997 B CN 105005997B
Authority
CN
China
Prior art keywords
bga
equivalent
soldered balls
bga soldered
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510474956.XA
Other languages
English (en)
Other versions
CN105005997A (zh
Inventor
高会军
靳万鑫
杨宪强
于金泳
孙昊
白立飞
刘鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Intelligent Equipment Research Institute Co., Ltd.
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201510474956.XA priority Critical patent/CN105005997B/zh
Publication of CN105005997A publication Critical patent/CN105005997A/zh
Priority to PCT/CN2016/071119 priority patent/WO2017020559A1/zh
Priority to JP2016574415A priority patent/JP6598162B2/ja
Priority to US15/323,100 priority patent/US9965847B2/en
Application granted granted Critical
Publication of CN105005997B publication Critical patent/CN105005997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Abstract

一种基于行列直线聚类的多类型BGA芯片视觉识别方法，本发明涉及BGA芯片视觉识别方法。本发明是要解决现有技术对于焊球排布稀疏的BGA芯片鲁棒性较差、采用单阈值二值化图像来提取焊球导致欠分割、过分割以及算法时间复杂度高的问题；本发明是通过1对原始图像进行动态阈值分割、形态学以及连通域标记处理；2建立完整灰度BGA焊球信息列表；3构成等效BGA阵列；4局部分析确定等效BGA阵列粗略偏转角度；5得到每行、每列等效BGA焊球蔟以及边界等效BGA焊球蔟；6求解原始图像中BGA芯片的偏转角度和中心位置；7对BGA焊球蔟进行直线拟合；8求解标准芯片参数等步骤实现的。本发明应用于BGA芯片视觉识别领域。

Description

一种基于行列直线聚类的多类型BGA芯片视觉识别方法
技术领域
本发明涉及多类型BGA芯片视觉识别方法，特别涉及一种基于行列直线聚类的多类型BGA芯片视觉识别方法。
背景技术
BGA(球形阵列)封装形式的芯片由于集成度高、I/O引线多以及优良的电性能正广泛的应用于集成电路中。但芯片高密度的I/O焊球引脚对电路板贴装过程的贴装工艺提出了更为严格的要求。表面贴装技术(SMT)是一种高效的全自动化印刷电路板芯片贴装技术，贴片机作为该技术中的主要生产设备，基于视觉技术来完成不同芯片的识别、缺陷检测、定位、贴装等过程。其中，芯片识别是贴装的基础，贴片机通过对标准BGA样片进行在线测量，建立该类型BGA芯片的标准数据库：焊球标准行间距、焊球标准列间距、焊球标准直径、焊球分布样式等，进而为后续贴装芯片的缺陷检测提供标准数据参考。但BGA芯片高密度的I/O焊球引脚数目以及多样的焊球排列方式都增加了芯片识别与检测的困难。
常用的BGA芯片根据焊球排布规律主要分为规则和不规则型，规则型中任意相邻两行的焊球成整齐的行列排布，而对不规则型，任意相邻两行焊球交错排列。此外，对于上述两种BGA芯片，焊球排布不同位置存在的不同大小的空缺，也会造成BGA芯片种类的多样性。总之，BGA芯片高密度的I/O焊球引脚以及多样的焊球排列方式都要求识别算法具有良好的实时性和通用性。
现有BGA芯片的识别过程主要包括如下两种方式：一种是采用人工测量录入标准数据，这种识别方法费时费力，且容易产生主观偏差和测量错误，不易于自动化管理。另一种是逐步被采用的计算机视觉识别方式，但目前的BGA芯片识别算法主要存在如下不足：1)算法的应用有较大局限性，现有公布的算法只能识别特定种类或者有限几种焊球排布的BGA芯片。2)算法对于焊球排布稀疏的BGA芯片鲁棒性较差，或者根本无法识别。3)算法在进行BGA焊球提取时，常采用图像二值分割的方式，因此易将背景也分割出来形成噪点，识别算法会误判为焊球，最终导致错误识别结果。4)某些算法对被识别的BGA芯片的初始摆放位置要求严格，通常都要求芯片水平或者垂直摆放。5)某些算法例如点匹配算法在识别过程中涉及到大量的遍历和比较操作，导致算法的时间复杂度高。
发明内容
本发明的目的是为了解决现有BGA芯片识别算法的如下几方面问题：1)只能识别特定种类或者有限几种焊球排布的BGA芯片，对于焊球排布稀疏的BGA芯片鲁棒性较差，或者根本无法识别。2)仅仅采用单阈值二值化图像来提取焊球，导致欠分割或过分割，造成焊球参数测量错误或者焊球误识别。3)算法的时间复杂度高。而提出的一种基于行列直线聚类的多类型BGA芯片视觉识别方法
上述的发明目的是通过以下技术方案实现的：
步骤一、对摄像头采集到的灰度BGA芯片图像，即为原始图像，进行动态阈值分割得到二值焊球图像，并对二值焊球图像进行形态学开运算和闭运算处理，处理后的二值焊球图像上的每个连通域记为一个二值化BGA焊球，然后对每个二值化BGA焊球进行连通域标记；
步骤二、对步骤一得到的经过连通域标记后的每个二值化BGA焊球在原始图像上对应邻域范围内进行灰度连通域提取，获得完整灰度BGA焊球，并建立完整灰度BGA焊球信息列表；
其中，建立完整灰度BGA焊球信息列表内容包括：每个完整灰度BGA焊球所包含的灰度像素，以及由灰度像素计算得到的每个完整灰度BGA焊球的中心点位置坐标、每个完整灰度BGA焊球对应的最小外包圆直径、每个完整灰度BGA焊球的周长和圆度；每个焊球包含的灰度像素包括像素坐标和灰度值；
步骤三、用步骤二得到的完整灰度BGA焊球信息列表，建立一个像素灰度值均为0且大小与原始图像相同的背景图像；并在背景图像中，将对应原始图像中每个完整灰度BGA焊球中心点位置处的灰度值，变为对应二值化BGA焊球的标识序号，此时的背景图像即为BGA焊球标识图像，BGA焊球标识图像上的每个非0灰度值的像素称为一个等效BGA焊球，所有等效BGA焊球构成的阵列称为等效BGA阵列；
其中，原始图像中有M*N个完整灰度BGA焊球，对应背景图像中就有M*N个等效BGA焊球，等效BGA焊球实质为一个像素，完整灰度BGA焊球与等效BGA焊球一一对应；在BGA焊球标识图像中，计算相邻2个等效BGA焊球的间距△γ，将此间距作为等效BGA焊球间距典型值；
步骤四、利用步骤三得到的等效BGA焊球间距典型值△γ，在BGA焊球标识图像上，对等效BGA阵列进行局部分析，确定等效BGA阵列粗略偏转角度△θ；
其中，局部分析分为针对规则型BGA芯片的局部分析和针对不规则BGA芯片的局部分析，规则型BGA芯片为相邻行BGA焊球成整齐排列的BGA芯片，不规则BGA芯片为相邻行BGA焊球成交错排列的BGA芯片；
步骤五、利用步骤三得到的等效BGA焊球间距典型值△γ以及步骤四得到的等效BGA阵列粗略偏转角度△θ，在BGA焊球标识图像上，对行和列的等效BGA焊球进行直线聚类得到每行等效BGA焊球簇、每列等效BGA焊球簇以及边界等效BGA焊球簇；
步骤六、利用步骤五得到的边界等效BGA焊球簇中的每个等效BGA焊球在标识图像上的灰度值，在完整灰度BGA焊球信息列表中查找对应的完整灰度BGA焊球中心点位置坐标，根据完整灰度BGA焊球中心点位置坐标，进行边界直线拟合，通过边界拟合直线求解原始图像中BGA芯片的偏转角度和中心位置；
步骤七、利用步骤五识别得到的每行等效BGA焊球簇和每列等效BGA焊球簇，以及步骤二得到的完整灰度BGA焊球信息列表进行每行等效BGA焊球簇直线拟合和每列等效BGA焊球簇直线拟合；将所有相邻两行等效BGA焊球簇的拟合直线间距的平均值作为BGA芯片焊球标准行间距；将所有相邻两列等效BGA焊球簇拟合直线间距的平均值作为BGA芯片焊球标准列间距；
步骤八、利用步骤七得到的每行等效BGA焊球簇拟合直线和每列等效BGA焊球簇拟合直线，在BGA焊球标识图像上对等效BGA焊球进行逐行或逐列搜索，进而得到BGA焊球分布矩阵；根据逐行或逐列搜索得到的所有等效BGA焊球以及步骤二得到的完整灰度BGA焊球信息列表求解得到BGA标准焊球直径尺寸、BGA标准焊球周长尺寸和BGA标准焊球圆度尺寸。
发明效果
本发明主要针对现有BGA视觉识别算法鲁棒性和实时性较差，提出了一种基于行列直线聚类的多类型BGA芯片视觉识别方法。针对现有BGA视觉识别算法鲁棒性差、时间复杂度较高的不足，本发明提出了一种基于行列直线聚类的多类型BGA芯片视觉识别方法，该算法的主要优点如下：1)算法在局部分析的基础上对行列焊球进行直线聚类与识别，这种方法适用于绝大多数不同类型的BGA芯片，如图2(a)和图2(b)所示芯片。2)该算法识别过程对BGA芯片摆放姿态无要求。3)该算法能够有效排除图像二值化过程因为过分割引入的如图3所示的噪声点对识别过程的干扰。4)该算法对于焊球排布较为稀疏的BGA芯片仍然能够正确识别，图4给出了一种焊球排布较为稀疏的BGA芯片。5)算法的时间复杂度低，能够满足在线实时识别的要求。实验结果表明，在C++编译环境下，检测算法在B960(主频：2.2GHz，双核)的PC机上运行，对于焊球数目小于500个的BGA芯片的识别时间小于200ms；
附图说明
图1为具体实施方式一提出的一种基于行列直线聚类的多类型BGA芯片视觉识别方法流程图；
图2(a)为为具体实施方式三提出的对BGA焊球中规则BGA芯片局部分析示例图；
图2(b)为具体实施方式四提出的对BGA焊球中不规则BGA芯片进行局部分析示例图；
图3为具体实施方式五提出的中对行列BGA焊球进行直线聚类的示例图，其中，表示第j个等效BGA焊球坐标对应的等效BGA焊球行直线方程的截距，表示第j个等效BGA焊球坐标对应的等效BGA焊球列直线方程的截距，表示第i个等效BGA焊球坐标对应的等效BGA焊球行直线方程的截距，表示第i个等效BGA焊球坐标对应的等效BGA焊球列直线方程的截距，表示第k个等效BGA焊球坐标对应的等效BGA焊球列直线方程的截距。
图4为具体实施方式一提出的一种焊球排布较为稀疏的BGA芯片示例图。
具体实施方式
具体实施方式一：本实施方式的一种基于行列直线聚类的多类型BGA芯片视觉识别方法，具体是按照以下步骤实施的：
步骤一、对摄像头采集到的灰度BGA芯片图像，即为原始图像，进行动态阈值分割得到二值焊球图像，并对二值焊球图像进行形态学开运算和闭运算处理，处理后的二值焊球图像上的每个连通域记为一个二值化BGA焊球，然后对每个二值化BGA焊球进行连通域标记；
步骤二、对步骤一得到的经过连通域标记后的每个二值化BGA焊球在原始图像上对应邻域范围内进行灰度连通域提取，获得完整灰度BGA焊球，并建立完整灰度BGA焊球信息列表；
其中，建立完整灰度BGA焊球信息列表内容包括：每个完整灰度BGA焊球所包含的灰度像素，以及由灰度像素计算得到的每个完整灰度BGA焊球的中心点位置坐标、每个完整灰度BGA焊球对应的最小外包圆直径、每个完整灰度BGA焊球的周长和圆度；每个焊球包含的灰度像素包括像素坐标和灰度值；
步骤三、用步骤二得到的完整灰度BGA焊球信息列表，建立一个像素灰度值均为0且大小与原始图像相同的背景图像；并在背景图像中，将对应原始图像中每个完整灰度BGA焊球中心点位置处的灰度值，变为对应二值化BGA焊球的标识序号，此时的背景图像即为BGA焊球标识图像，BGA焊球标识图像上的每个非0灰度值的像素称为一个等效BGA焊球，所有等效BGA焊球构成的阵列称为等效BGA阵列；
其中，原始图像中有M*N个完整灰度BGA焊球，对应背景图像中就有M*N个等效BGA焊球，等效BGA焊球实质为一个像素，完整灰度BGA焊球与等效BGA焊球一一对应；在BGA焊球标识图像中，计算相邻2个等效BGA焊球的间距△γ，将此间距作为等效BGA焊球间距典型值；
步骤四、利用步骤三得到的等效BGA焊球间距典型值△γ，在BGA焊球标识图像上，对等效BGA阵列进行局部分析，确定等效BGA阵列粗略偏转角度△θ；
其中，局部分析分为针对规则型BGA芯片的局部分析和针对不规则BGA芯片的局部分析，规则型BGA芯片为相邻行BGA焊球成整齐排列的BGA芯片，不规则BGA芯片为相邻行BGA焊球成交错排列的BGA芯片；
步骤五、利用步骤三得到的等效BGA焊球间距典型值△γ以及步骤四得到的等效BGA阵列粗略偏转角度△θ，在BGA焊球标识图像上，对行和列的等效BGA焊球进行直线聚类得到每行等效BGA焊球簇、每列等效BGA焊球簇以及边界等效BGA焊球簇如图3；
步骤六、利用步骤五得到的边界等效BGA焊球簇中的每个等效BGA焊球在标识图像上的灰度值，在完整灰度BGA焊球信息列表中查找对应的完整灰度BGA焊球中心点位置坐标，根据完整灰度BGA焊球中心点位置坐标，进行边界直线拟合，通过边界拟合直线求解原始图像中BGA芯片的偏转角度和中心位置；
步骤七、利用步骤五识别得到的每行等效BGA焊球簇和每列等效BGA焊球簇，以及步骤二得到的完整灰度BGA焊球信息列表进行每行等效BGA焊球簇直线拟合和每列等效BGA焊球簇直线拟合；将所有相邻两行等效BGA焊球簇的拟合直线间距的平均值作为BGA芯片焊球标准行间距；将所有相邻两列等效BGA焊球簇拟合直线间距的平均值作为BGA芯片焊球标准列间距；
步骤八、利用步骤七得到的每行等效BGA焊球簇拟合直线和每列等效BGA焊球簇拟合直线，在BGA焊球标识图像上对等效BGA焊球进行逐行或逐列搜索，进而得到BGA焊球分布矩阵结合图1；根据逐行或逐列搜索得到的所有等效BGA焊球以及步骤二得到的完整灰度BGA焊球信息列表求解得到BGA标准焊球直径尺寸、BGA标准焊球周长尺寸和BGA标准焊球圆度尺寸。
本实施方式效果：
本实施方式主要针对现有BGA视觉识别算法鲁棒性和实时性较差，提出了一种基于行列直线聚类的多类型BGA芯片视觉识别方法。针对现有BGA视觉识别算法鲁棒性差、时间复杂度较高的不足，本实施方式提出了一种基于行列直线聚类的多类型BGA芯片视觉识别方法，该算法的主要优点如下：1)算法在局部分析的基础上对行列焊球进行直线聚类与识别，这种方法适用于绝大多数不同类型的BGA芯片，如图2(a)和图2(b)所示芯片。2)该算法识别过程对BGA芯片摆放姿态无要求。3)该算法能够有效排除图像二值化过程因为过分割引入的如图3所示的噪声点对识别过程的干扰。4)该算法对于焊球排布较为稀疏的BGA芯片仍然能够正确识别，图4给出了一种焊球排布较为稀疏的BGA芯片。5)算法的时间复杂度低，能够满足在线实时识别的要求。实验结果表明，在C++编译环境下，检测算法在B960(主频：2.2GHz，双核)的PC机上运行，对于焊球数目小于500个的BGA芯片的识别时间小于200ms。
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二中对步骤一建立完整灰度BGA焊球信息列表中的数据具体为：
(1)每个二值化BGA焊球在原始图像上对应邻域范围内进行灰度连通域提取用如下公式表示：
式中，(xp,yp)为原始图像上待判断的像素的横纵坐标值，R为完整灰度BGA焊球像素集合，mean[R]表示完整灰度BGA焊球中所有像素的平均灰度值，(xadj,yadj)表示与(xp,yp)八邻接且已经属于R的像素的坐标值，和△为预设常量；f(xp,yp)为原始图像在点(xp,yp)处的灰度值；
经过灰度连通域提取，能够最大程度的提取到每个BGA焊球包含的所有像素，最终提取得到的灰度BGA焊球记为完整灰度BGA焊球；
(2)第i个完整灰度BGA焊球的中心点位置坐标计算公式如下：
式中：(xk,yk)为第i个完整灰度BGA焊球包含的第k个像素，Ni为第i个完整灰度BGA焊球包含的像素个数，i为正整数，k为正整数；
(3)第i个完整灰度BGA焊球的面积Si为完整灰度BGA焊球包含的像素个数Ni；第i个完整灰度BGA焊球的圆度Ci计算公式如下：
式中，Li为第i个完整灰度BGA焊球周长即完整灰度BGA焊球的外围像素数。其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤四中针对规则型BGA芯片的局部分析具体过程为图2(a)：
步骤四一、在BGA焊球标识图像上，选择任一个等效BGA焊球；
步骤四二、以步骤四一中选择的等效BGA焊球为中心在3△γ半径范围内，分别搜索[-45°,45°)、[45°,135°)、[135°,225°)和(-45°,-135°]四个方向范围内，与步骤四一中选择的等效BGA焊球最近的等效BGA焊球，若四个方向的最近等效BGA焊球均不存在，重新执行步骤四一；
步骤四三、对每个方向找到的最近相邻等效BGA焊球，分别按照下式求取第j个方向对应的等效BGA阵列粗略偏转角度△θj，
式中，(xcenter,ycenter)为中心的等效BGA焊球的坐标，(xadj,yadj)为第j个方向对应的最近等效BGA焊球；同时，±90°和正负号根据四个方向情况进行选择或者舍去。j＝1代表[-45°,45°)范围；j＝2代表[45°,135°)范围：j＝3代表[135°,225°)范围；j＝4代表(-45°,-135°]范围；
将所有△θj取平均值作为最终的等效BGA阵列粗略偏转角度△θ，在图像坐标系下，△θ以顺时针方向为正。其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤四中针对不规则BGA芯片局部分析的具体过程为图2(b)：
步骤四一、在BGA焊球标识图像上，选择任一个等效BGA焊球；
步骤四二、以步骤四一中选择的等效BGA焊球为中心在3△γ半径范围内，分别搜索[0°,90°)、[90°,180°)、[180°,270°)和[-90°,0°)的四个方向范围内，与中心的等效BGA焊球最近的等效BGA焊球，若四个方向的最近等效BGA焊球均不存在，重新执行步骤四一；
步骤四三、对每个方向找到的最近相邻等效BGA焊球，分别按照下式求取第z个方向对应的等效BGA阵列粗略偏转角度△θz：
式中，(xcenter,ycenter)为中心的等效BGA焊球的坐标，(xadz,yadz)为第z个方向对应的最近等效BGA焊球，同时，上式中的±90°和正负号根据四个方向情况进行选择或者舍去；z＝1代表[0°,90°)范围；z＝2代表[90°,180°)范围：z＝3代表[180°,270°)范围；z＝4代表[-90°,0°)范围；
将所有△θz取平均值作为最终的等效BGA阵列粗略偏转角度△θ；在图像坐标系下，△θ以顺时针方向为正。其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤五中利用步骤三得到的等效BGA焊球间距典型值△γ以及步骤四得到的等效BGA阵列粗略偏转角度△θ，在BGA焊球标识图像上，对行和列的等效BGA焊球进行直线聚类得到每行等效BGA焊球簇、每列等效BGA焊球簇以及边界等效BGA焊球簇的具体过程：
步骤五一、根据等效BGA阵列粗略偏转角度△θ，确定等效BGA焊球的行直线方程表达式ycenter＝tan(△θ)xcenter+brow和等效BGA焊球的列直线方程表达式ycenter＝tan(△θ+90°)(xcenter-bcol)；
其中，(xcenter,ycenter)为完整灰度BGA焊球的中心点位置坐标，brow为行直线在图像坐标系y轴的截距，bcol为列直线在图像坐标系x轴的截距；
步骤五二、确定等效BGA焊球行和列分类阈值
步骤五三、对等效BGA焊球进行行聚类：利用第i个等效BGA焊球坐标反解出等效BGA焊球行直线方程的截距：
步骤五四、基于分类阈值intercept_thresh，对所有得到的行截距进行聚类即在阈值intercept_thresh范围内，相等的行截距聚为一类，将与一类行截距对应的等效BGA焊球聚为一个行等效BGA焊球簇，且行等效BGA焊球簇在同一行；
步骤五五、将步骤五四行截距聚类后，簇内元素个数为1的行等效BGA焊球簇视为干扰予以剔除；得到的行等效BGA焊球簇的个数即为BGA芯片焊球行数；
然后对所有行等效BGA焊球簇按照簇内对应的平均行截距的升序进行排序，得到的排序后的等效BGA焊球簇则是以等效BGA阵列的行序号由小到大进行排列的；
步骤五六、对等效BGA焊球进行列聚类：利用第i个等效BGA焊球坐标反解出对应的列直线方程的列截距
步骤五七、基于分类阈值intercept_thresh，对所有得到的列截距进列聚类即在阈值intercept_thresh范围内，相等的列截距聚为一类，将与一类列截距对应的等效BGA焊球聚为一个列等效BGA焊球簇，且此列等效BGA焊球簇在同一列；
步骤五八、将步骤五七列截距聚类后，簇内元素个数为1的列等效BGA焊球簇视为干扰予以剔除；得到的列等效BGA焊球簇的个数即为BGA芯片焊球列数；
然后对所有列等效BGA焊球簇按照簇内对应的平均列截距的升序进行排序，得到的排序后的每列等效BGA焊球簇则是以等效BGA阵列的列序号由小到大进行排列的；
步骤五九、提取经过排序后的行等效BGA焊球簇的第一组、经过排序后的行等效BGA焊球簇的最后一组、经过排序后的列等效BGA焊球簇的第一组和经过排序后的列等效BGA焊球簇的最后一组作为边界等效BGA焊球簇。
步骤五四和步骤五七中，对所有得到的行截距和列截距进行聚类的具体实施方式如下(现仅以的聚类为例)：
Step1:将初始化为第1类Ω1；
Step2:如果与第j(j＝1,2,3...k)类Ωj的聚类中心满足则将归为j类，并重新计算否则，将初始化为k+1类；其中，类Ωj的聚类中心是Ωj内所有截距的平均值；
Step3:i＝i+1，执行步骤Step2。其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤七中步骤二得到的完整灰度BGA焊球信息列表进行每行等效BGA焊球簇直线拟合的过程如下：
利用每行等效BGA焊球簇中的每个等效BGA焊球在标识图像上的灰度值，在完整灰度BGA焊球信息列表中查找对应的完整灰度BGA焊球中心点位置坐标，将每行完整灰度BGA焊球中心点位置坐标进行直线拟合。其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：步骤二得到的完整灰度BGA焊球信息列表进行每列等效BGA焊球簇直线拟合的过程如下：
利用每列等效BGA焊球簇中的每个等效BGA焊球在标识图像上的灰度值，在完整灰度BGA焊球信息列表中查找对应的完整灰度BGA焊球中心点位置坐标，将每列完整灰度BGA焊球中心点位置坐标进行直线拟合。其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：步骤八中利用步骤七得到的每行等效BGA焊球簇拟合直线和每列等效BGA焊球簇拟合直线，在BGA焊球标识图像上对等效BGA焊球进行逐行或逐列搜索，进而得到BGA焊球分布矩阵，根据逐行或逐列搜索得到的所有等效BGA焊球以及步骤二得到的完整灰度BGA焊球信息列表求解得到BGA标准焊球直径尺寸、BGA标准焊球周长尺寸和BGA标准焊球圆度尺寸具体过程为：
求解每行等效BGA焊球簇拟合直线方程和每列等效BGA焊球簇拟合直线方程的交点，并以该交点为中心在BGA标识图像上进行半径为△γ/2局部搜索；如果搜索到某一有效BGA焊球，则有效BGA焊球对应的BGA标识矩阵的所在行列位置的值置为1，否则有效BGA焊球对应的BGA标识矩阵的所在行列位置的值置为0(如果未搜索到某一有效BGA焊球，则将有效BGA焊球对应的BGA标识矩阵的所在行列位置的值置为0)；
根据逐行或逐列搜索得到的所有等效BGA焊球以及步骤二得到的完整灰度BGA焊球信息列表求解得到BGA标准焊球直径尺寸、BGA标准焊球周长尺寸和BGA标准焊球圆度尺寸的具体过程如下：在完整灰度BGA焊球信息列表中与所有搜索到的等效BGA焊球对应的最小外包圆直径的平均值作为BGA标准焊球直径尺寸；将在完整灰度BGA焊球信息列表中与所有搜索到的等效BGA焊球对应的周长的平均值作为BGA标准焊球周长尺寸；将在完整灰度BGA焊球信息列表中与所有搜索到的等效BGA焊球对应的的圆度的平均值作为BGA标准焊球圆度尺寸。其它步骤及参数与具体实施方式一至七之一相同。

Claims (8)

1.一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于一种基于行列直线聚类的多类型BGA芯片视觉识别方法具体是按照以下步骤进行的：
步骤一、对摄像头采集到的灰度BGA芯片图像，即为原始图像，进行动态阈值分割得到二值焊球图像，并对二值焊球图像进行形态学开运算和闭运算处理，处理后的二值焊球图像上的每个连通域记为一个二值化BGA焊球，然后对每个二值化BGA焊球进行连通域标记；
步骤二、对步骤一得到的经过连通域标记后的每个二值化BGA焊球在原始图像上对应邻域范围内进行灰度连通域提取，获得完整灰度BGA焊球，并建立完整灰度BGA焊球信息列表；
其中，建立完整灰度BGA焊球信息列表内容包括：每个完整灰度BGA焊球所包含的灰度像素，以及由灰度像素计算得到的每个完整灰度BGA焊球的中心点位置坐标、每个完整灰度BGA焊球对应的最小外包圆直径、每个完整灰度BGA焊球的周长和圆度；每个焊球包含的灰度像素包括像素坐标和灰度值；
步骤三、用步骤二得到的完整灰度BGA焊球信息列表，建立一个像素灰度值均为0且大小与原始图像相同的背景图像；并在背景图像中，将对应原始图像中每个完整灰度BGA焊球中心点位置处的灰度值，变为对应二值化BGA焊球的标识序号，此时的背景图像即为BGA焊球标识图像，BGA焊球标识图像上的每个非0灰度值的像素称为一个等效BGA焊球，所有等效BGA焊球构成的阵列称为等效BGA阵列；
其中，原始图像中有M*N个完整灰度BGA焊球，对应背景图像中就有M*N个等效BGA焊球，等效BGA焊球实质为一个像素，完整灰度BGA焊球与等效BGA焊球一一对应；在BGA焊球标识图像中，计算相邻2个等效BGA焊球的间距△γ，将此间距作为等效BGA焊球间距典型值；
步骤四、利用步骤三得到的等效BGA焊球间距典型值△γ，在BGA焊球标识图像上，对等效BGA阵列进行局部分析，确定等效BGA阵列粗略偏转角度△θ；
其中，局部分析分为针对规则型BGA芯片的局部分析和针对不规则BGA芯片的局部分析，规则型BGA芯片为相邻行BGA焊球成整齐排列的BGA芯片，不规则BGA芯片为相邻行BGA焊球成交错排列的BGA芯片；
步骤五、利用步骤三得到的等效BGA焊球间距典型值△γ以及步骤四得到的等效BGA阵列粗略偏转角度△θ，在BGA焊球标识图像上，对行和列的等效BGA焊球进行直线聚类得到每行等效BGA焊球簇、每列等效BGA焊球簇以及边界等效BGA焊球簇；
步骤六、利用步骤五得到的边界等效BGA焊球簇中的每个等效BGA焊球在标识图像上的灰度值，在完整灰度BGA焊球信息列表中查找对应的完整灰度BGA焊球中心点位置坐标，根据完整灰度BGA焊球中心点位置坐标，进行边界直线拟合，通过边界拟合直线求解原始图像中BGA芯片的偏转角度和中心位置；
步骤七、利用步骤五识别得到的每行等效BGA焊球簇和每列等效BGA焊球簇，以及步骤二得到的完整灰度BGA焊球信息列表进行每行等效BGA焊球簇直线拟合和每列等效BGA焊球簇直线拟合；将所有相邻两行等效BGA焊球簇的拟合直线间距的平均值作为BGA芯片焊球标准行间距；将所有相邻两列等效BGA焊球簇拟合直线间距的平均值作为BGA芯片焊球标准列间距；
步骤八、利用步骤七得到的每行等效BGA焊球簇拟合直线和每列等效BGA焊球簇拟合直线，在BGA焊球标识图像上对等效BGA焊球进行逐行或逐列搜索，进而得到BGA焊球分布矩阵；根据逐行或逐列搜索得到的所有等效BGA焊球以及步骤二得到的完整灰度BGA焊球信息列表求解得到BGA标准焊球直径尺寸、BGA标准焊球周长尺寸和BGA标准焊球圆度尺寸。
2.根据权利要求1所述一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于：步骤二中对步骤一建立完整灰度BGA焊球信息列表中的数据具体为：
(1)每个二值化BGA焊球在原始图像上对应邻域范围内进行灰度连通域提取用如下公式表示：
式中，(xp,yp)为原始图像上待判断的像素的横纵坐标值，R为完整灰度BGA焊球像素集合，mean[R]表示完整灰度BGA焊球中所有像素的平均灰度值，(xadj,yadj)表示与(xp,yp)八邻接且已经属于R的像素的坐标值，和△为预设常量；f(xp,yp)为原始图像在点(xp,yp)处的灰度值；
(2)第i个完整灰度BGA焊球的中心点位置坐标计算公式如下：
<mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>c</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> <mi>e</mi> <mi>r</mi> </mrow> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> <mi>e</mi> <mi>r</mi> </mrow> <mi>i</mi> </msubsup> <mo>)</mo> <mo>=</mo> <mo>(</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>i</mi> </msub> </munderover> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>/</mo> <msub> <mi>N</mi> <mi>i</mi> </msub> <mo>,</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>i</mi> </msub> </munderover> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>/</mo> <msub> <mi>N</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow>
式中：(xk,yk)为第i个完整灰度BGA焊球包含的第k个像素，Ni为第i个完整灰度BGA焊球包含的像素个数，i为正整数，k为正整数；
(3)第i个完整灰度BGA焊球的面积Si为完整灰度BGA焊球包含的像素个数Ni；第i个完整灰度BGA焊球的圆度Ci计算公式如下：
<mrow> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mn>4</mn> <msub> <mi>&amp;pi;N</mi> <mi>i</mi> </msub> </mrow> <mrow> <msup> <msub> <mi>L</mi> <mi>i</mi> </msub> <mn>2</mn> </msup> </mrow> </mfrac> </mrow>
式中，Li为第i个完整灰度BGA焊球周长即完整灰度BGA焊球的外围像素数。
3.根据权利要求2所述一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于：步骤四中针对规则型BGA芯片的局部分析具体过程为：
步骤四一、在BGA焊球标识图像上，选择任一个等效BGA焊球；
步骤四二、以步骤四一中选择的等效BGA焊球为中心在3△γ半径范围内，分别搜索[-45°,45°)、[45°,135°)、[135°,225°)和(-45°,-135°]四个方向范围内，与步骤四一中选择的等效BGA焊球最近的等效BGA焊球，若四个方向的最近等效BGA焊球均不存在，重新执行步骤四一；
步骤四三、对每个方向找到的最近相邻等效BGA焊球，分别按照下式求取第j个方向对应的等效BGA阵列粗略偏转角度△θj，
式中，(xcenter,ycenter)为中心的等效BGA焊球的坐标，(xadj,yadj)为第j个方向对应的最近等效BGA焊球；j＝1代表[-45°,45°)范围；j＝2代表[45°,135°)范围：j＝3代表[135°,225°)范围；j＝4代表(-45°,-135°]范围；
将所有△θj取平均值作为最终的等效BGA阵列粗略偏转角度△θ，在图像坐标系下，△θ以顺时针方向为正。
4.根据权利要求3所述一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于：步骤四中针对不规则BGA芯片局部分析的具体过程为：
步骤四一、在BGA焊球标识图像上，选择任一个等效BGA焊球；
步骤四二、以步骤四一中选择的等效BGA焊球为中心在3△γ半径范围内，分别搜索[0°,90°)、[90°,180°)、[180°,270°)和[-90°,0°)的四个方向范围内，与中心的等效BGA焊球最近的等效BGA焊球，若四个方向的最近等效BGA焊球均不存在，重新执行步骤四一；
步骤四三、对每个方向找到的最近相邻等效BGA焊球，分别按照下式求取第z个方向对应的等效BGA阵列粗略偏转角度△θz：
式中，(xcenter,ycenter)为中心的等效BGA焊球的坐标，(xadz,yadz)为第z个方向对应的最近等效BGA焊球，z＝1代表[0°,90°)范围；z＝2代表[90°,180°)范围：z＝3代表[180°,270°)范围；z＝4代表[-90°,0°)范围；
将所有△θz取平均值作为最终的等效BGA阵列粗略偏转角度△θ；在图像坐标系下，△θ以顺时针方向为正。
5.根据权利要求4所述一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于：步骤五中利用步骤三得到的等效BGA焊球间距典型值△γ以及步骤四得到的等效BGA阵列粗略偏转角度△θ，在BGA焊球标识图像上，对行和列的等效BGA焊球进行直线聚类得到每行等效BGA焊球簇、每列等效BGA焊球簇以及边界等效BGA焊球簇的具体过程：
步骤五一、根据等效BGA阵列粗略偏转角度△θ，确定等效BGA焊球的行直线方程表达式ycenter＝tan(△θ)xcenter+brow和等效BGA焊球的列直线方程表达式ycenter＝tan(△θ+90°)(xcenter-bcol)；
其中，(xcenter,ycenter)为完整灰度BGA焊球的中心点位置坐标，brow为行直线在图像坐标系y轴的截距，bcol为列直线在图像坐标系x轴的截距；
步骤五二、确定等效BGA焊球行和列分类阈值
步骤五三、对等效BGA焊球进行行聚类：
利用第i个等效BGA焊球坐标反解出等效BGA焊球行直线方程的截距：
<mrow> <msubsup> <mi>b</mi> <mrow> <mi>r</mi> <mi>o</mi> <mi>w</mi> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <msubsup> <mi>y</mi> <mrow> <mi>c</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> <mi>e</mi> <mi>r</mi> </mrow> <mi>i</mi> </msubsup> <mo>-</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>&amp;Delta;</mi> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <msubsup> <mi>x</mi> <mrow> <mi>c</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> <mi>e</mi> <mi>r</mi> </mrow> <mi>i</mi> </msubsup> <mo>;</mo> </mrow>
步骤五四、基于分类阈值intercept_thresh，对所有得到的行截距进行聚类即在阈值intercept_thresh范围内，相等的行截距聚为一类，将与一类行截距对应的等效BGA焊球聚为一个行等效BGA焊球簇，且行等效BGA焊球簇在同一行；
步骤五五、将步骤五四行截距聚类后，簇内元素个数为1的行等效BGA焊球簇视为干扰予以剔除；得到的行等效BGA焊球簇的个数即为BGA芯片焊球行数；
然后对所有行等效BGA焊球簇按照簇内对应的平均行截距的升序进行排序，得到的排序后的等效BGA焊球簇则是以等效BGA阵列的行序号由小到大进行排列的；
步骤五六、对等效BGA焊球进行列聚类：利用第i个等效BGA焊球坐标反解出对应的列直线方程的列截距
步骤五七、基于分类阈值intercept_thresh，对所有得到的列截距进列聚类即在阈值intercept_thresh范围内，相等的列截距聚为一类，将与一类列截距对应的等效BGA焊球聚为一个列等效BGA焊球簇，且此列等效BGA焊球簇在同一列；
步骤五八、将步骤五七列截距聚类后，簇内元素个数为1的列等效BGA焊球簇视为干扰予以剔除；得到的列等效BGA焊球簇的个数即为BGA芯片焊球列数；
然后对所有列等效BGA焊球簇按照簇内对应的平均列截距的升序进行排序，得到的排序后的每列等效BGA焊球簇则是以等效BGA阵列的列序号由小到大进行排列的；
步骤五九、提取经过排序后的行等效BGA焊球簇的第一组、经过排序后的行等效BGA焊球簇的最后一组、经过排序后的列等效BGA焊球簇的第一组和经过排序后的列等效BGA焊球簇的最后一组作为边界等效BGA焊球簇。
6.根据权利要求5所述一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于：步骤七中步骤二得到的完整灰度BGA焊球信息列表进行每行等效BGA焊球簇直线拟合的过程如下：
利用每行等效BGA焊球簇中的每个等效BGA焊球在标识图像上的灰度值，在完整灰度BGA焊球信息列表中查找对应的完整灰度BGA焊球中心点位置坐标，将每行完整灰度BGA焊球中心点位置坐标进行直线拟合。
7.根据权利要求6所述一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于：步骤二得到的完整灰度BGA焊球信息列表进行每列等效BGA焊球簇直线拟合的过程如下：
利用每列等效BGA焊球簇中的每个等效BGA焊球在标识图像上的灰度值，在完整灰度BGA焊球信息列表中查找对应的完整灰度BGA焊球中心点位置坐标，将每列完整灰度BGA焊球中心点位置坐标进行直线拟合。
8.根据权利要求7所述一种基于行列直线聚类的多类型BGA芯片视觉识别方法，其特征在于：步骤八中利用步骤七得到的每行等效BGA焊球簇拟合直线和每列等效BGA焊球簇拟合直线，在BGA焊球标识图像上对等效BGA焊球进行逐行或逐列搜索，进而得到BGA焊球分布矩阵，根据逐行或逐列搜索得到的所有等效BGA焊球以及步骤二得到的完整灰度BGA焊球信息列表求解得到BGA标准焊球直径尺寸、BGA标准焊球周长尺寸和BGA标准焊球圆度尺寸具体过程为：
求解每行等效BGA焊球簇拟合直线方程和每列等效BGA焊球簇拟合直线方程的交点，并以该交点为中心在BGA标识图像上进行半径为△γ/2局部搜索；如果搜索到某一有效BGA焊球，则有效BGA焊球对应的BGA标识矩阵的所在行列位置的值置为1，否则有效BGA焊球对应的BGA标识矩阵的所在行列位置的值置为0；
根据逐行或逐列搜索得到的所有等效BGA焊球以及步骤二得到的完整灰度BGA焊球信息列表求解得到BGA标准焊球直径尺寸、BGA标准焊球周长尺寸和BGA标准焊球圆度尺寸的具体过程如下：在完整灰度BGA焊球信息列表中与所有搜索到的等效BGA焊球对应的最小外包圆直径的平均值作为BGA标准焊球直径尺寸；将在完整灰度BGA焊球信息列表中与所有搜索到的等效BGA焊球对应的周长的平均值作为BGA标准焊球周长尺寸；将在完整灰度BGA焊球信息列表中与所有搜索到的等效BGA焊球对应的的圆度的平均值作为BGA标准焊球圆度尺寸。
CN201510474956.XA 2015-08-05 2015-08-05 一种基于行列直线聚类的多类型bga芯片视觉识别方法 Active CN105005997B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510474956.XA CN105005997B (zh) 2015-08-05 2015-08-05 一种基于行列直线聚类的多类型bga芯片视觉识别方法
PCT/CN2016/071119 WO2017020559A1 (zh) 2015-08-05 2016-01-16 一种基于行列直线聚类的多类型bga芯片视觉识别方法
JP2016574415A JP6598162B2 (ja) 2015-08-05 2016-01-16 線形クラスタリングに基づくマルチタイプのｂｇａチップの視覚識別方法
US15/323,100 US9965847B2 (en) 2015-08-05 2016-01-16 Multi-type BGA chip visual recognition method using line based clustering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510474956.XA CN105005997B (zh) 2015-08-05 2015-08-05 一种基于行列直线聚类的多类型bga芯片视觉识别方法

Publications (2)

Publication Number Publication Date
CN105005997A CN105005997A (zh) 2015-10-28
CN105005997B true CN105005997B (zh) 2017-11-14

Family

ID=54378654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510474956.XA Active CN105005997B (zh) 2015-08-05 2015-08-05 一种基于行列直线聚类的多类型bga芯片视觉识别方法

Country Status (4)

Country Link
US (1) US9965847B2 (zh)
JP (1) JP6598162B2 (zh)
CN (1) CN105005997B (zh)
WO (1) WO2017020559A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6599672B2 (ja) * 2015-07-17 2019-10-30 日本電産サンキョー株式会社 文字切り出し装置、文字認識装置、および文字切り出し方法
CN105005997B (zh) * 2015-08-05 2017-11-14 哈尔滨工业大学 一种基于行列直线聚类的多类型bga芯片视觉识别方法
CN107507182B (zh) * 2017-09-25 2019-10-25 电子科技大学 一种基于x射线图像的bga焊球提取方法
US10242951B1 (en) 2017-11-30 2019-03-26 International Business Machines Corporation Optical electronic-chip identification writer using dummy C4 bumps
CN108537772B (zh) * 2018-02-08 2020-06-23 杭州蓝雪科技有限公司 贴片电阻正导体印刷缺陷的视觉检测方法
CN108876871B (zh) * 2018-06-15 2022-10-04 广东数相智能科技有限公司 基于圆拟合的图像处理方法、装置与计算机可读存储介质
CN109285181B (zh) * 2018-09-06 2020-06-23 百度在线网络技术（北京）有限公司 用于识别图像的方法和装置
CN110162290B (zh) * 2019-05-28 2022-06-14 易诚高科（大连）科技有限公司 一种针对OLED屏DeMURA数据的压缩方法
CN111144478B (zh) * 2019-12-25 2022-06-14 电子科技大学 一种穿帮镜头的自动检测方法
CN111462242B (zh) * 2020-03-11 2021-06-18 哈尔滨工业大学 一种基于改进的可变形部件模型的矩形引脚芯片定位方法
CN111257296B (zh) * 2020-03-20 2023-04-11 京东方科技集团股份有限公司 一种检测生物芯片样本的方法、装置及存储介质
CN112419224B (zh) * 2020-07-17 2021-08-27 宁波智能装备研究院有限公司 一种球形引脚芯片定位方法及系统
CN112129780A (zh) * 2020-09-24 2020-12-25 哈尔滨工业大学 Bga芯片焊点质量红外无损检测方法
CN112184715B (zh) * 2020-11-10 2022-07-19 武汉工程大学 一种bga图像的焊点理论中心计算方法
CN112734777B (zh) * 2021-01-26 2022-10-11 中国人民解放军国防科技大学 一种基于簇形状边界闭包聚类的图像分割方法及系统
CN113362290B (zh) * 2021-05-25 2023-02-10 同济大学 点阵平面共线特征快速识别方法、存储设备及装置
CN113945188B (zh) * 2021-09-18 2023-08-08 番禺得意精密电子工业有限公司 分析连接器焊接面在回流焊过程中翘曲的方法及系统
CN113836489A (zh) * 2021-09-24 2021-12-24 英特尔产品（成都）有限公司 球栅阵列的缺陷分析方法与设备
CN114091620B (zh) * 2021-12-01 2022-06-03 常州市宏发纵横新材料科技股份有限公司 一种模板匹配检测方法、计算机设备及存储介质
CN114387223B (zh) * 2021-12-22 2024-04-26 广东正业科技股份有限公司 一种芯片缺陷视觉检测方法及设备
CN114441555A (zh) * 2022-01-14 2022-05-06 上海世禹精密机械有限公司 自动化焊球阵列封装植球检测系统
CN116298824B (zh) * 2023-05-10 2023-09-15 深圳和美精艺半导体科技股份有限公司 Ic封装基板的测试方法及系统
CN116721105B (zh) * 2023-08-11 2023-10-20 山东淼珠生物科技有限公司 基于人工智能的爆珠生产异常在线检测方法
CN117274246B (zh) * 2023-11-17 2024-02-20 深圳市大族封测科技股份有限公司 一种焊盘识别方法、计算机设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151406A (en) * 1997-10-09 2000-11-21 Cognex Corporation Method and apparatus for locating ball grid array packages from two-dimensional image data
CN103745475A (zh) * 2014-01-22 2014-04-23 哈尔滨工业大学 一种用于球形引脚元件的检测与定位方法
CN103761534A (zh) * 2014-01-22 2014-04-30 哈尔滨工业大学 一种用于qfp元件视觉定位的检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956963B2 (en) * 1998-07-08 2005-10-18 Ismeca Europe Semiconductor Sa Imaging for a machine-vision system
US6177682B1 (en) * 1998-10-21 2001-01-23 Novacam Tyechnologies Inc. Inspection of ball grid arrays (BGA) by using shadow images of the solder balls
US8306311B2 (en) * 2010-04-14 2012-11-06 Oracle International Corporation Method and system for automated ball-grid array void quantification
JP5574379B2 (ja) * 2010-10-13 2014-08-20 富士機械製造株式会社 画像処理装置及び画像処理方法
US9704232B2 (en) * 2014-03-18 2017-07-11 Arizona Board of Regents of behalf of Arizona State University Stereo vision measurement system and method
CN105184770B (zh) * 2015-08-05 2017-11-03 哈尔滨工业大学 一种用于球栅阵列引脚芯片的焊球定位及其参数识别方法
CN105005997B (zh) * 2015-08-05 2017-11-14 哈尔滨工业大学 一种基于行列直线聚类的多类型bga芯片视觉识别方法
CN105066892B (zh) * 2015-08-05 2017-07-28 哈尔滨工业大学 一种基于直线聚类分析的bga元件检测与定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151406A (en) * 1997-10-09 2000-11-21 Cognex Corporation Method and apparatus for locating ball grid array packages from two-dimensional image data
CN103745475A (zh) * 2014-01-22 2014-04-23 哈尔滨工业大学 一种用于球形引脚元件的检测与定位方法
CN103761534A (zh) * 2014-01-22 2014-04-30 哈尔滨工业大学 一种用于qfp元件视觉定位的检测方法

Also Published As

Publication number Publication date
JP6598162B2 (ja) 2019-10-30
WO2017020559A1 (zh) 2017-02-09
JP2018522293A (ja) 2018-08-09
US20170193649A1 (en) 2017-07-06
US9965847B2 (en) 2018-05-08
CN105005997A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
CN105005997B (zh) 一种基于行列直线聚类的多类型bga芯片视觉识别方法
CN105066892B (zh) 一种基于直线聚类分析的bga元件检测与定位方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN105184770B (zh) 一种用于球栅阵列引脚芯片的焊球定位及其参数识别方法
CN103745475B (zh) 一种用于球形引脚元件的检测与定位方法
CN109615609A (zh) 一种基于深度学习的焊点瑕疵检测方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN104990926B (zh) 一种基于视觉的tr元件定位和缺陷检测方法
Wu et al. An inspection and classification method for chip solder joints using color grads and Boolean rules
CN104751187A (zh) 抄表图像自动识别方法
CN107909613B (zh) 一种基于顶点的矩形引脚元件定位方法
CN109886925A (zh) 一种主动学习与深度学习相结合的铝材表面缺陷检测方法
CN109683360A (zh) 液晶面板缺陷检测方法及装置
CN108154502A (zh) 一种基于卷积神经网络的通孔焊点识别方法
CN104268538A (zh) 一种易拉罐点阵喷码字符在线视觉检测方法
CN108334881A (zh) 一种基于深度学习的车牌识别方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN106446894A (zh) 一种基于轮廓识别球型目标物位置的方法
CN114219794B (zh) 基于机器视觉的刨花板表面质量评估方法及系统
CN109815967A (zh) 基于特征融合的cnn舰船目标识别系统及方法
CN106485749A (zh) 一种基于角点的矩形引脚元件粗定位方法
CN110852186A (zh) 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统
CN111965197A (zh) 一种基于多特征融合的缺陷分类方法
CN103544473B (zh) 一种基于机器视觉的电子连接器检测方法
CN204576547U (zh) 一种芯片字符校验装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190917

Address after: 150001 No. 434, postal street, Nangang District, Heilongjiang, Harbin

Co-patentee after: Gao Hui Jun

Patentee after: Harbin Institute of Technology Asset Investment Management Co., Ltd.

Address before: 150001 Harbin, Nangang, West District, large straight street, No. 92

Patentee before: Harbin Institute of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191022

Address after: 315200 No.189, Guangming Road, Zhuangshi street, Zhenhai District, Ningbo City, Zhejiang Province

Patentee after: Ningbo Intelligent Equipment Research Institute Co., Ltd.

Address before: 150001 No. 434, postal street, Nangang District, Heilongjiang, Harbin

Co-patentee before: Gao Hui Jun

Patentee before: Harbin Institute of Technology Asset Investment Management Co., Ltd.

TR01 Transfer of patent right