CN112184715A - 一种bga图像的焊点理论中心计算方法 - Google Patents

Abstract

本发明公开了一种BGA图像的焊点理论中心计算方法，该方法包括以下步骤：步骤1、获取BGA图像，通过对BGA图像进行焊点分析，得到实际焊点所对应的目标点集；步骤2、采用改进的网格式模板的生成方法，建立BGA芯片上焊点阵列物理分布的数学模型，得到模板点集；步骤3、根据几何关系来建立仿射模型，通过仿射模型，建立模板点集到图像点集的映射，并根据映射计算点集之间的匹配关系；步骤4、根据步骤3中所获得的匹配点对来进行点集配准，使得理论中心与实际中心之间的距离函数最小化，输出理论中心。本发明通过整体映射的方式，对BGA芯片图像进行配对，具有定位效果好，结果精准的优点。

Description

一种BGA图像的焊点理论中心计算方法

技术领域

本发明涉及图像视觉检测领域，尤其涉及一种BGA图像的焊点理论中心计算方法。

背景技术

BGA封装技术是一种重要的集成电路封装技术，全称为球状引脚栅格阵列封装技术，常用于便携式计算机中CPU芯片的封装，是连接芯片与外部电路的可靠方式。BGA元件因为其引脚多，间距小的特点，生产成本较高，要求较高的良品率。因此在自动化生产中需要设计检测BGA芯片的计算机视觉系统来帮助提高生产质量，该系统对算法有着高精度，高可靠性，强鲁棒性和高效率的要求。

现有一类实用方法为点模式匹配算法，旨在建立BGA芯片焊点位置的标准点集以代替模板图像，通过算法建立标准点集和实际点集之间的变换模型，以达成定位目的。变换模型由于其几何特性可以解决图像的旋转和尺度问题，即使存在部分遮挡也能保持鲁棒。然而，在实际应用当中，通过点分析算法在BGA图像上所获得的各个焊点的中心坐标是按照行扫描或者列扫描进行排列的，由于存在偏转和位移，该顺序并不能与芯片上引脚的位置一一对应。为了解决点集配对的问题，现有方法中以点与点之间的相对位置作为特征来计算点对的匹配程度，以匹配程度最高的点对作为匹配点对。从结果上来说以相对位置作为特征可以解决不同坐标系之间的点配对问题，但是当芯片上的焊点数量很大时，逐个点计算匹配程度会额外的时间消耗，影响算法的实时性。并且，当芯片上发生焊点缺失时，必然会产生误匹配的点对，影响结果准确性。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种BGA图像的焊点理论中心计算方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种BGA图像的焊点理论中心计算方法，该方法包括以下步骤：

步骤1、获取BGA图像，通过对BGA图像进行焊点分析，得到实际焊点所对应的目标点集；

步骤2、采用改进的网格式模板的生成方法，建立BGA芯片上焊点阵列物理分布的数学模型，得到模板点集；

步骤3、根据几何关系来建立仿射模型，通过仿射模型，建立模板点集到图像点集的映射，并根据映射计算点集之间的匹配关系；

步骤4、根据步骤3中所获得的匹配点对来进行点集配准，使得理论中心与实际中心之间的距离函数最小化，输出理论中心。

进一步地，本发明的所述的步骤1中得到目标点集的方法为：

1)将BGA图像转换成单通道灰度图像；

2)取灰度阈值，使图像二值化，令背景为0，焊球区域为1；

3)分别计算各个焊球区域的中心距，得到图像上所有焊球坐标点集Q，即目标点集。

进一步地，本发明的所述的中心距计算方法为：

利用Blob分析来获取BGA图像上的焊球区域，并利用中心距计算焊点坐标点集；

利用Blob分析得到目标点集，步骤包括：

1)形态学操作：通过开操作使图像的轮廓变得光滑，并去除噪声点的影响，由结构元素对图像腐蚀再膨胀得到，定义为：

其中A为图像，B为结构元素；

2)连通性分析：将图像目标从像素级转换到连通分量级，在二值图像中，两个同一灰度的像素4邻接时视为连通，利用连通关系将像素聚类为连通单元；

3)获取焊球区域：计算所有连通单元的面积，设定面积范围，以面积对连通单元进行筛选，去除在面积范围之外的连通单元，保留的连通单元为焊球区域；

4)计算质心：利用图像矩计算区域质心，图像矩定义为：

质心定义为：

所有区域质心的集合即为目标点集。

进一步地，本发明的所述的步骤2中改进的网格式模板的生成方法为：

对于一块BGA芯片，首先确定其焊盘的大小规模，由于焊点间距一致，采用焊点阵列的行列数来表示其规模，令焊点阵列行数为m，列数为n，故以矩阵A_mn来表示阵列，用矩阵中的元素值a_ij来表示焊点的状态，当a_ij＝1时表示此焊点处有焊球，而a_ij＝0时表示此处没有焊球；

焊球模型的矩阵形式表示为A_mn；

根据矩阵模型，用二维坐标表示焊点位置，得到BGA芯片的标准焊球坐标点集P：

P＝{(i,j)|a_ij＝1,i＝1,…,m,j＝1,…n}

焊点阵列为m行n列，要使网格覆盖阵列并且令焊点处于单个方格中心，需要m+1行n+1列网格点来围成m×n个方格；

焊球模型的矩阵形式表示为A_(m+1)(n+1)；

其中，前m行前n列矩阵元素值保持不变，第m+1行第n+1列矩阵元素值用0填充；以二维坐标表示网格点坐标，得到网格点集G：

G＝{(i,j)|i＝1,…,m+1,j＝1,…,n+1}

在网格中，每个方格是由四个顶点围成的四边形，用g_ij表示第i行第j列的方格的四个顶点，公式为：

此时，焊点位于方格中心，其坐标p通过方格四个顶点的坐标计算得到，公式为：

其中p_ij表示第i行第j列的焊点坐标，将所有焊点坐标集合合并得到点集P为模板点集。

进一步地，本发明的所述的步骤3中建立仿射模型的方法为：

通过一次线性变换加上一个平移矢量完成从模板空间到目标空间的转换，满足仿射变换的条件，构建模型为：

其中

表示目标点集Q所在空间中的矢量，而

表示模板点集P所在空间中的矢量；

根据芯片的矩形特征，从目标点集Q中找到四个特殊点：y坐标最大的q₁点；x坐标最大的q₂点；y坐标最小的q₃点；x坐标最小的q₄点，为矩形的四个顶点；因为目标点集Q来源于图像坐标系，原点在左上角，其横坐标x对应列数而纵坐标y对应行数，在模板点集P当中的四个顶点，分别为p_m1、p_mn、p_1n、p₁₁，这两组点之间的映射关系有两种情况：

其中K1表示图像相对于模板存在逆时针旋转，而K2表示图像相对于模板存在顺时针旋转，从K1或K2中任选三对点代入模型可解出A和b，得到映射T。

进一步地，本发明的所述的步骤3得到匹配关系的方法为：

通过T变换，将模板点集P和网格点集G映射到目标点集Q所在的图像空间当中，得到点集P′和G′；相应的，从G′中得到网格结构g′_ij展开到图像上，遍历g′_ij并查找目标点集Q，若在以g′_ij为顶点的四边形内有且只有一个点q，则将点q与模板点集P当中的p_ij视为一组对应点，并加入点对集合M来表示匹配关系。

进一步地，本发明的所述的步骤4中进行点集配准的方法为：

芯片中的偏移通过累加每个配对中两个点的距离来量化，如P′和Q之间关于匹配M的偏移，用以下公式来计算：

其中dist为芯片中各个焊点偏移总和，card(M)为集合M中配对数量，p′_k表示第k个配对中点集P′的点，q_k表示第k个配对中点集Q的点；不改变P′中任意两个点的距离，对其施加一个变换T′，得到点集Q′，并将点对集合M中的所有p′点替换为对应的q′点得到点对集合M′，当Q′和Q关于M′的偏移最小时，认为焊点位置满足了理论条件，此时的Q′即为所求的焊点理论中心集合。

进一步地，本发明的所述的步骤4中对偏移量进行优化的方法为：

优化问题模型：q′＝Rp′+t

其中q′为Q′中的点，p′为P′中的点，R表示变换T′中的旋转，而t表示其中的平移；因为P′是已知的，所以解出R、t的过程实际上是一个优化过程，优化目标函数为：

优化目标与ICP算法中的优化目标形式相同，通过矩阵的SVD分解进行求解，得到理论中心位置集合Q′的数学形式：

Q′＝{q′_ij|a_ij＝1,i＝1,…,m,j＝1,…,n}

其中q′_ij为第i行第j列的焊点理论中心坐标，其形式为：

q′_ij＝R(Ap_ij+b)+t

结合Q、Q′和网格计算出图像中各个焊球的偏移情况。

本发明产生的有益效果是：本发明的BGA图像的焊点理论中心计算方法，通过整体映射的方式，对BGA芯片图像进行配对，具有定位效果好，结果精准的优点，不会出现因图像的冗余或缺失或偏移而对整体定位位置造成误差的问题。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的流程图；

图2是本发明实施例的常见BGA芯片结构图；

图3是本发明实施例的BGA焊点示例。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的BGA图像的焊点理论中心计算方法，该方法包括以下步骤：

步骤1、获取BGA图像，通过对BGA图像进行焊点分析，得到实际焊点所对应的目标点集；

步骤2、采用改进的网格式模板的生成方法，建立BGA芯片上焊点阵列物理分布的数学模型，得到模板点集；

步骤3、根据几何关系来建立仿射模型，通过仿射模型，建立模板点集到图像点集的映射，并根据映射计算点集之间的匹配关系；

步骤4、根据步骤3中所获得的匹配点对来进行点集配准，使得理论中心与实际中心之间的距离函数最小化，输出理论中心。

为了从点集中找到正确的配对，首先要确定模板点集和目标点集。模板点集通过对BGA芯片建立数学模型生成，而目标点集通过分析BGA图像获得，下面会依次介绍这些方法。

BGA芯片上有若干个焊球在标准的矩形焊盘上规则分布，如图2所示，每个焊球与相邻焊球之间的距离相等，依据这一特点，我们可以用矩阵结构来对不同的BGA芯片模板进行数学建模。

对于一块BGA芯片，首先确定其焊盘的大小规模，由于焊点间距一致，可以焊点阵列的行列数来表示其规模。令焊点阵列行数为m，列数为n，故以矩阵A_mn来表示阵列，用矩阵中的元素值a_ij来表示焊点的状态，当a_ij＝1时表示此焊点处有焊球，而a_ij＝0时表示此处没有焊球。如图3所示芯片，这样的焊球模型的矩阵形式如式(1)所示：

根据矩阵模型，用二维坐标表示焊点位置，可以得到BGA芯片的标准焊球坐标点集P，定义如式(2)所示：

P＝{(i,j)|a_ij＝1,i＝1,…,m,j＝1,…n} (2)

这是模板点集的生成方法，接着介绍本文所改进的网格式模板的生成方法。由于焊点阵列为m行n列，要使网格覆盖阵列并且令焊点处于单个方格中心，需要m+1行n+1列网格点来围成m×n个方格。同样以图3为例可以写出如式(3)所示的矩阵形式：

其中，前m行前n列矩阵元素值保持不变，第m+1行第n+1列矩阵元素值用0填充。以二维坐标表示网格点坐标，得到点集G，定义如式(4)所示：

G＝{(i,j)|i＝1,…,m+1,j＝1,…,n+1} (4)

在网格中，每个方格是由四个顶点围成的四边形，用g_ij表示第i行第j列的方格的四个顶点，定义如式(5)所示：

此时，焊点位于方格中心，其坐标p通过方格四个顶点的坐标计算得到，公式如式(6)所示：

其中p_ij表示第i行第j列的焊点坐标，将所有焊点坐标集合合并得到点集P为模板点集。

目标点集通过对BGA图像进行点分析算法获得，具体步骤如下：

1)将BGA图像转换成单通道灰度图像；

2)取灰度阈值α，使图像二值化，令背景为0，焊球区域为1；

3)分别计算各个焊球区域的中心矩，得到图像上所有焊球坐标点集Q。

为了使模板点集P和目标点集Q完成匹配，可以先确定一个映射T，将点集P映射到点集Q所在的空间当中，在点集Q的空间中寻找匹配点。理想情况下，可以通过一次线性变换加上一个平移矢量完成从模板空间到目标空间的转换，满足仿射变换的条件，可以构建如式(7)所示模型：

其中

表示点集Q所在空间中的矢量，而

表示点集P所在空间中的矢量。根据仿射变换的性质，可知至少要确定三对点来解出线性变换矩阵A和位移b，在目标点集中，由于没有按照模板点集的顺序进行排列，通过点集顺序难以找全匹配点对，但根据芯片的矩形特征，可以很快从目标点集Q中找到四个特殊点：y坐标最大的q₁点；x坐标最大的q₂点；y坐标最小的q₃点；x坐标最小的q₄点，为矩形的四个顶点。又因为目标点集Q来源于图像坐标系，原点在左上角，其横坐标x对应列数而纵坐标y对应行数，容易发现在模板点集P当中的四个顶点，分别为p_m1、p_mn、p_1n、p₁₁，这两组点之间的映射关系有如式(8)所示两种情况：

K1表示图像相对于模板存在逆时针旋转，而K2表示图像相对于模板存在顺时针旋转。从K1或K2中任选三对点代入模型可解出A和b，得到映射T。通过T变换，将模板点集P和网格点集G映射到点集Q所在的图像空间当中，得到点集P′和G′。相应的，从G′中可以得到网格结构g_i′_j展开到图像上，遍历g_i′_j并查找点集Q，若在以g_i′_j为顶点的四边形内有且只有一个点q，则将点q与模板点集P当中的p_ij视为一组对应点，并加入点对集合M来表示匹配关系。需要注意的是，图像符合K1还是K2条件并不属于算法的先验，所以在这两种情况下得到的配对数量较多者为符合模型的条件。不过，有一种特殊情况，当模板行列数相等且焊球分布完全对称时，K1和K2会取得等效的结果，因为此时的图像既可以由逆时针旋转得到又可以由顺时针旋转得到。

点集配准算法的具体过程为：完成了点集配对之后，在图像空间上，存在点集P′和Q以及点对集合M，但还无法认为P′就是焊点的理论位置，因为从P到P′的变换T建立在对K1或者K2的假设上用来寻找配对，在计算焊点整体的理论中心时，这一假设并不成立。然而，BGA芯片满足一个假定，那就是只存在少量焊点发生了偏移，大部分焊点满足理论条件。芯片中的偏移可以通过累加每个配对中两个点的距离来量化，如P′和Q之间关于匹配M的偏移，可以用公式(9)来计算：

其中dist为芯片中各个焊点偏移总和，card(M)为集合M中配对数量，p′_k表示第k个配对中点集P′的点，q_k表示第k个配对中点集Q的点。不改变P′中任意两个点的距离，对其施加一个变换T′，得到点集Q′，并将点对集合M中的所有p′点替换为对应的q′点得到点对集合M′，当Q′和Q关于M′的偏移最小时，便可以认为大部分的焊点位置满足了理论条件，此时的Q′即为所求的焊点理论中心集合。由此，可以得到一个优化问题模型，首先列出等式(10)：

q′＝Rp′+t (10)

其中q′为Q′中的点，p′为P′中的点，R表示变换T′中的旋转，而t表示其中的平移。因为P′是已知的，所以解出R、t的过程实际上是一个优化过程，优化目标函数如式(11)所示：

这个优化目标与ICP算法中的优化目标形式相同，ICP算法常用于3D点云的配准，其解法用到了矩阵的SVD分解。至此，可以写出理论中心位置集合Q′的数学形式(12)：

Q′＝{q′_ij|a_ij＝1,i＝1,…,m,j＝1,…,n} (12)

其中q′_ij为第i行第j列的焊点理论中心坐标，其形式如式(13)所示：

q′_ij＝R(Ap_ij+b)+t (13)

结合Q、Q′和网格可以计算出图像中各个焊球的偏移情况。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种BGA图像的焊点理论中心计算方法，其特征在于，该方法包括以下步骤：

步骤1、获取BGA图像，通过对BGA图像进行焊点分析，得到实际焊点所对应的目标点集；

步骤2、采用改进的网格式模板的生成方法，建立BGA芯片上焊点阵列物理分布的数学模型，得到模板点集；

步骤3、根据几何关系来建立仿射模型，通过仿射模型，建立模板点集到图像点集的映射，并根据映射计算点集之间的匹配关系；

步骤4、根据步骤3中所获得的匹配点对来进行点集配准，使得理论中心与实际中心之间的距离函数最小化，输出理论中心。

2.根据权利要求1所述的BGA图像的焊点理论中心计算方法，其特征在于，所述的步骤1中得到目标点集的方法为：

1)将BGA图像转换成单通道灰度图像；

2)取灰度阈值，使图像二值化，令背景为0，焊球区域为1；

3)分别计算各个焊球区域的中心距，得到图像上所有焊球坐标点集Q，即目标点集。

3.根据权利要求2所述的BGA图像的焊点理论中心计算方法，其特征在于，所述的中心距计算方法为：

利用Blob分析来获取BGA图像上的焊球区域，并利用中心距计算焊点坐标点集；

利用Blob分析得到目标点集，步骤包括：

1)形态学操作：通过开操作使图像的轮廓变得光滑，并去除噪声点的影响，由结构元素对图像腐蚀再膨胀得到，定义为：

其中A为图像，B为结构元素；

2)连通性分析：将图像目标从像素级转换到连通分量级，在二值图像中，两个同一灰度的像素4邻接时视为连通，利用连通关系将像素聚类为连通单元；

3)获取焊球区域：计算所有连通单元的面积，设定面积范围，以面积对连通单元进行筛选，去除在面积范围之外的连通单元，保留的连通单元为焊球区域；

4)计算质心：利用图像矩计算区域质心，图像矩定义为：

质心定义为：

所有区域质心的集合即为目标点集。

4.根据权利要求1所述的BGA图像的焊点理论中心计算方法，其特征在于，所述的步骤2中改进的网格式模板的生成方法为：

对于一块BGA芯片，首先确定其焊盘的大小规模，由于焊点间距一致，采用焊点阵列的行列数来表示其规模，令焊点阵列行数为m，列数为n，故以矩阵A_mn来表示阵列，用矩阵中的元素值a_ij来表示焊点的状态，当a_ij＝1时表示此焊点处有焊球，而a_ij＝0时表示此处没有焊球；

焊球模型的矩阵形式表示为A_mn；

根据矩阵模型，用二维坐标表示焊点位置，得到BGA芯片的标准焊球坐标点集P：

P＝{(i,j)|a_ij＝1,i＝1,…,m,j＝1,…n}

焊点阵列为m行n列，要使网格覆盖阵列并且令焊点处于单个方格中心，需要m+1行n+1列网格点来围成m×n个方格；

焊球模型的矩阵形式表示为A_(m+1)(n+1)；

其中，前m行前n列矩阵元素值保持不变，第m+1行第n+1列矩阵元素值用0填充；以二维坐标表示网格点坐标，得到网格点集G：

G＝{(i,j)|i＝1,…,m+1,j＝1,…,n+1}

在网格中，每个方格是由四个顶点围成的四边形，用g_ij表示第i行第j列的方格的四个顶点，公式为：

此时，焊点位于方格中心，其坐标p通过方格四个顶点的坐标计算得到，公式为：

其中p_ij表示第i行第j列的焊点坐标，将所有焊点坐标集合合并得到点集P为模板点集。

5.根据权利要求1所述的BGA图像的焊点理论中心计算方法，其特征在于，所述的步骤3中建立仿射模型的方法为：

通过一次线性变换加上一个平移矢量完成从模板空间到目标空间的转换，满足仿射变换的条件，构建模型为：

其中

表示目标点集Q所在空间中的矢量，而

表示模板点集P所在空间中的矢量；

根据芯片的矩形特征，从目标点集Q中找到四个特殊点：y坐标最大的q₁点；x坐标最大的q₂点；y坐标最小的q₃点；x坐标最小的q₄点，为矩形的四个顶点；因为目标点集Q来源于图像坐标系，原点在左上角，其横坐标x对应列数而纵坐标y对应行数，在模板点集P当中的四个顶点，分别为p_m1、p_mn、p_1n、p₁₁，这两组点之间的映射关系有两种情况：

其中K1表示图像相对于模板存在逆时针旋转，而K2表示图像相对于模板存在顺时针旋转，从K1或K2中任选三对点代入模型可解出A和b，得到映射T。

6.根据权利要求5所述的BGA图像的焊点理论中心计算方法，其特征在于，所述的步骤3得到匹配关系的方法为：

通过T变换，将模板点集P和网格点集G映射到目标点集Q所在的图像空间当中，得到点集P′和G′；相应的，从G′中得到网格结构g′_ij展开到图像上，遍历g′_ij并查找目标点集Q，若在以g′_ij为顶点的四边形内有且只有一个点q，则将点q与模板点集P当中的p_ij视为一组对应点，并加入点对集合M来表示匹配关系。

7.根据权利要求1所述的BGA图像的焊点理论中心计算方法，其特征在于，所述的步骤4中进行点集配准的方法为：

芯片中的偏移通过累加每个配对中两个点的距离来量化，如P′和Q之间关于匹配M的偏移，用以下公式来计算：

其中dist为芯片中各个焊点偏移总和，card(M)为集合M中配对数量，p′_k表示第k个配对中点集P′的点，q_k表示第k个配对中点集Q的点；不改变P′中任意两个点的距离，对其施加一个变换T′，得到点集Q′，并将点对集合M中的所有p′点替换为对应的q′点得到点对集合M′，当Q′和Q关于M′的偏移最小时，认为焊点位置满足了理论条件，此时的Q′即为所求的焊点理论中心集合。

8.根据权利要求7所述的BGA图像的焊点理论中心计算方法，其特征在于，所述的步骤4中对偏移量进行优化的方法为：

优化问题模型：q′＝Rp′+t

其中q′为Q′中的点，p′为P′中的点，R表示变换T′中的旋转，而t表示其中的平移；因为P′是已知的，所以解出R、t的过程实际上是一个优化过程，优化目标函数为：

优化目标与ICP算法中的优化目标形式相同，通过矩阵的SVD分解进行求解，得到理论中心位置集合Q′的数学形式：

Q′＝{q′_ij|a_ij＝1,i＝1,…,m,j＝1,…,n}

其中q′_ij为第i行第j列的焊点理论中心坐标，其形式为：

q′_ij＝R(Ap_ij+b)+t

结合Q、Q′和网格计算出图像中各个焊球的偏移情况。

Images