CN110400285B - 引线键合焊点缺陷定位与分类方法 - Google Patents

Abstract

本发明公开了一种引线键合焊点缺陷定位与分类方法，其包括以下步骤：1)利用工业相机获得已键合的焊点图像；2)利用基于像素邻域方差的算法对焊点所在区域进行初定位；3)利用灰度投影算法去除冗余的非焊点区域；4)利用区域生长算法对焊点所在区域进行初提取，在此基础上利用水平集方法进行缺陷分割；5)利用核主成分分析提取焊点线性可分的主特征；6)将提取得到的主特征送入随机森林分类器进行缺陷类型的分类，根据多分类的结果给出焊接参数调整建议；本发明基于图像处理和机器学习的引线键合焊点缺陷定位与分类方法与其他焊点检测技术相比具有精度高、速度快、智能化水平高等特点，在实际电子工业生产中，有比较大的应用前景。

Description

引线键合焊点缺陷定位与分类方法

技术领域

本发明涉及引线键合焊点缺陷定位与分类技术领域，特别涉及一种基于图像处理和机器学习的引线键合焊点缺陷定位与分类方法。

背景技术

在科学研究和工程应用领域，超声键合一直占有很重要的意义。超声键合是带有超声能量的焊接工具头以一定的压力按压在待键合金属线表面，通过超声能量带来的振动使相互接触的金属彼此摩擦并最终紧密结合在一起。焊点的好坏直接决定了芯片制造的质量与可靠性。对于焊点的检测，目前国内外广泛使用的方法是通过工业相机成像获得焊点形貌，但采集到的原始焊点图像分辨率较大，包含大量的背景区域，因此需要提取焊点所在区域，一般的办法有光流法、特征描述的方法和灰度一致性匹配(NCC)算法，但上述方法只是对于具有规则几何形状的焊点图像效果较好，并且对类似的机器视觉问题一般需要根据实际场景设计专门的算法。而对于引线键合或倒装键合的不规则焊点，需要采用基于形状轮廓的方法，并结合形态学的算法完成完整的焊点定位功能。因此，利用图像处理和机器学习技术进行引线键合焊点缺陷定位与分类，与其他焊点检测技术相比具有精度高、速度快、智能化水平高等特点，有广阔的应用前景。

发明内容

针对上述不足，本发明的目的在于，提供一种基于图像处理和机器学习的引线键合焊点缺陷定位与分类方法。

为实现上述目的，本发明所提供的技术方案是：

一种引线键合焊点缺陷定位与分类方法，其包括以下步骤：

(1)利用工业相机获得已键合的焊点图像；

(2)利用基于像素邻域方差的算法对焊点所在区域进行初定位；

(3)利用灰度投影算法去除冗余的非焊点区域；

(4)利用区域生长算法对焊点所在区域进行初提取，在此基础上利用水平集方法进行缺陷分割；

(5)利用核主成分分析提取焊点线性可分的主特征；

(6)将提取得到的主特征送入随机森林分类器进行缺陷类型的分类，根据多分类的结果给出焊接参数调整建议。

作为本发明的一种改进，所述步骤(2)具体包括以下步骤：

设局部图像块的高度和宽度分别为和N_sw，B_ij为其所在点的像素值，则方差的计算如下：

利用C++Eigen矩阵运算库实现图像对应元素的乘积，并应用于焊点图像中并构造完整的焊点定位算法，焊点定位算法过程如下：

(2.1)对原图像进行下采样，使图像分辨率变成原来的1/2，以减小计算量；

(2.2)对图像的每个像素点的3×3邻域求标准差；

(2.3)对求标准方差后的图像进行阈值处理，突显出焊点所在区域；

(2.4)对图像进行5*5邻域的中值滤波，滤除干扰像素；

(2.5)对图像进行水平及垂直方向灰度投影，利用两个投影的交集来确定焊点所在位置。

作为本发明的一种改进，所述步骤(3)通过在每个像素点出比较其邻域中满足预设条件的像素个数，当个数超过阈值时，认为该点为需要统计的点。

作为本发明的一种改进，所述步骤(4)包括以下步骤：

设图像区域为R，邻域点的个数为M，A(x,y)为区域R中(x,y)处的灰度值，m为邻域灰度均值，则基于区域灰度差的相似性度量准则可表述为：

max|A(x,y)-m|_(x,y)∈R＜K

其中K为预设阈值，如果像素点灰度与区域均值差异不超过K，则表示符合区域生长的准则；

在对焊点图像进行完初提取后，运用水平集方法继续对图像进行分割；将水平集的演化过程转换为偏微分方程的求解过程，通过对能量函数应用欧拉-拉格朗日方程寻找最小值。

作为本发明的一种改进，所述步骤(5)包括以下步骤：基于核主成分分析的基本原理，把二维空间中线性不可分的样本映射到三维线性可分，将经核主成分分析降维后得到的特征数据作为焊点特征提取后的特征向量，所得的投影即提取的焊点主特征。

作为本发明的一种改进，所述步骤(6)具体包括以下步骤：

(6.1)利用形态学截取相同尺寸与未扭曲的焊点图像；

(6.2)对训练集数据集进行归一化，利用核主成分分析对归一化的训练集和测试集图像进行数据降维；

(6.3)利用随机搜索对σ、s、d进行联合寻优，获得分类精度。

本发明的有益效果为：本发明利用图像处理和机器学习来完成了键合焊点缺陷的定位与分类，采用基于像素邻域方差的焊点定位算法，定位所需时间短，定位效果好，能够有效的检测键合焊点的位置；采用垂直投影算法，能够很好的去除焊点底部部分冗余区域。另外一方面，采用核主成分分析(KPCA)与随机森林算法结合对焊点缺陷进行分类。运用KPCA对焊点进行提取特征，提取得到的主特征送入随机森林进行缺陷多分类，根据多分类的结果给出焊接参数调整建议，与其他焊点检测技术相比具有精度高、速度快、智能化水平高等特点，在实际电子工业生产中，有比较大的应用前景。

下面结合附图与实施例，对本发明进一步说明。

附图说明

图1为本发明的焊点定位分割各阶段图像。

图2为本发明的邻域灰度垂直投影示意图。

图3是本发明的区域生长执行流程图。

图4是本发明的水平集演变原理图。

图5是本发明的区域生长与水平集串级示意图。

图6是本发明的基于形态学骨架的焊点图像截取图。

图7是本发明的骨架截取改进。

图8是本发明的图像多分类算法流程图。

具体实施方式

参见图1-图8，本实施例提供的一种引线键合焊点缺陷定位与分类方法，其包括以下步骤：

(1)利用工业相机获得已键合的焊点图像；预先购置超声键合平台，超声键合平台的硬件由基本结构和力反馈结构构成，其中基本结构包括超声发生子系统、运动控制子系统和视觉子系统构成，力反馈结构是通过力传感器实时获取键合压力并进行相应的反馈。超声键合平台的控制软件包括以下部分：运动控制部分、超声驱动器控制部分、图像显示及定位部分、光源控制部分、力控制部分。超声发生子系统中的超声驱动器为小功率超声发生器，其频率区间为20-49kHz。通过视觉子系统中的工业相机获得已键合的焊点图像，参见图1(a)。

(2)利用基于像素邻域方差的算法对焊点所在区域进行初定位，方差反应了数据的聚集程度，当所选数据非常相似时，其方差将接近于0。焊点图像的灰度值在背景区域变化很大，但只在目标区域保持稳定，因此利用基于像素邻域方差算法来去除背景从而实现焊点的定位；

设局部图像块的高度和宽度分别为和N_SW，B_ij为其所在点的像素值，则方差的计算如下：

利用C++Eigen矩阵运算库实现图像对应元素的乘积，并应用于焊点图像中并构造完整的焊点定位算法，焊点定位算法过程如下：

(2.1)对原图像进行下采样，使图像分辨率变成原来的1/2，以减小计算量；

(2.2)对图像的每个像素点的3×3邻域求标准差；

(2.3)对求标准方差后的图像进行阈值处理，突显出焊点所在区域；

(2.4)对图像进行5*5邻域的中值滤波，滤除干扰像素；

(2.5)对图像进行水平及垂直方向灰度投影，利用两个投影的交集来确定焊点所在位置。初定位得到焊点图像如图1(b)。

(3)利用灰度投影算法去除冗余的非焊点区域；为去除冗余的部分，对垂直投影算法进行改进。通过在每个像素点出比较其邻域中满足预设条件的像素个数，当个数超过阈值时，认为该点为需要统计的点。如图2所示，图中以像素的8邻域为例从左到右从上到下进行滑窗并统计满足要求的像素点数。改进的表达式如下：

得到去冗余之后焊点图像如图2(b)。

(4)利用单纯的水平集方法并不能将缺陷部分很好的分割出来，因此，需要先用区域生长算法对焊点缺陷区域进行初提取以排除背景的影响。利用区域生长算法对焊点所在区域进行初提取，在此基础上利用水平集方法进行缺陷分割；

设图像区域为R，邻域点的个数为M，A(x,y)为区域R中(x,y)处的灰度值，m为邻域灰度均值，则基于区域灰度差的相似性度量准则可表述为：

max|A(x,y)-m|_(x,y)∈R＜K

其中K为预设阈值，如果像素点灰度与区域均值差异不超过K，则表示符合区域生长的准则；

在VS2015中利用Opencv实现该算法，其详细实现步骤如下：

(4.1)在未生长图像中选取一个种子点，设该点像素值为p(x₀,y₀)；

(4.2)以(x₀,y₀)为中心，依次比较其与3×3邻域点灰度的差值，如果灰度值满足以下条件，将其加入堆栈：

|P(x₀,y₀)-p(x₁,y₁)|<20

(4.3)当某像素点的8邻域均不满足上式，从堆栈中取出一个种子点重新生长；

(4.4)重复(4.2)-(4.3)，直到堆栈为空，停止生长；

在对焊点图像进行完初分割以后，运用水平集方法继续对图像进行分割；

水平集方法采用目标函数最小化来等效图像目标的分割图像问题，其的演变原理如图4所示。将水平集的演化过程转换为偏微分方程的求解过程。通过对能量函数应用欧拉-拉格朗日方程寻找最小值，将获得如下式的演化方程：

上式的第二项为能量惩罚项，目的是加快演化速度并实现一个不需要初始化的水平集方法。对上式的偏导数应用前向差分来近似，且使用较大的迭代时间步长以加快曲线演化。在VS2015下利用Opencv实现上述演化过程以获得最后的演化曲线；

因此，将区域生长与水平集方法级联，用来实现焊点缺陷的分割，其实现流程如下图5。

(5)利用核主成分分析提取焊点线性可分的主特征；具体的，基于核主成分分析(KPCA)的基本原理，把二维空间中线性不可分的样本映射到三维线性可分，将经核主成分分析降维后得到的特征数据作为焊点特征提取后的特征向量，所得的投影即提取的焊点主特征，实现过程如下：

(5.1)将m个焊点图像按行排列成(m×n)的数据矩阵，

(5.2)对每列的特征进行归一化，使对应特征均值为0，方差为1；

(5.3)选定Gauss-RBF核参数，计算核矩阵K；

(5.4)运用雅克比迭代方法计算K的特征值λ₁，λ₂，...，λ_n及特征向量v₁，v₂，...，v_n；

(5.5)从大到小对特征进行排序得到λ’₁＞λ’₂＞...＞λ’_n及相应的特征向量v’₁，v’₂，...，v’_n；

(5.6)计算上述向量的单位正交化向量a₁，a₂，...，a_n；

(5.7)计算特征值占比B₁，B₂，...，B_n，B_t≥p，选取t个特征向量进行投影α₁，α₂，...，α_r。

(6)将提取得到的主特征送入随机森林分类器进行缺陷类型的分类，根据多分类的结果给出焊接参数调整建议。具体的，首先采用形态学方法求图像的骨架，如图6所示，以中间直线的中点为基准点，截取该点上下左右一定范围内的图像，这样既可以保证焊点及其缺陷在已截取的图像中，又可以防止图像扭曲。采取上述方法对所有的训练集与测试集图片进行截取，得到大小一致的未扭曲焊点图片。利用2000张训练集焊点图片对分类模型进行训练，并利用1000张测试集焊点图片测试训练好的模型。对输入图片运用形态学骨架的方法截取成固定大小后，分类精度有一定的提升。

计算出的均值与方差，并对训练集图像与测试集图像进行归一化：

对模型进行测试，获得的精度曲线如下图7所示。从图中可以看出，对测试集进行同样的归一化之后，测试精度有细微提升。

利用核主成分分析(KPCA)对归一化的训练集和测试集图像进行降维，基于高斯卷积核，其形式如下：

其中σ属于超参数，其设置的好坏将直接影响分类的精度，σ越大，核函数越平滑，非线性作用越小，对噪声越不敏感。同时，随机森林多分类器有节点分裂样本数d和叶子节点最小样本数s两个重要参数，为使分类算法具有较高的分类精度，对上述三个参数进行联合寻优。

将核函数的σ参数作为不重要参数，将随机森林的节点分裂样本数d和节子节点最小样本数s作为重要数进行随机搜索。图8表示了图像多分类算法流程，在VS2015+Opencv实现上述随机搜索，并将参数搜索结果作为分类器参数并进行测试，在选择随机森林的最大深度为13时，测试样本的精度可达到最高值0.91。

本发明利用图像处理和机器学习来完成了键合焊点缺陷的定位与分类，采用基于像素邻域方差的焊点定位算法，定位所需时间短，定位效果好，能够有效的检测键合焊点的位置；采用垂直投影算法，能够很好的去除焊点底部部分冗余区域。另外一方面，采用核主成分分析(KPCA)与随机森林算法结合对焊点缺陷进行分类。运用KPCA对焊点进行提取特征，提取得到的主特征送入随机森林进行缺陷多分类，根据多分类的结果给出焊接参数调整建议，与其他焊点检测技术相比具有精度高、速度快、智能化水平高等特点，在实际电子工业生产中，有比较大的应用前景。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。如本发明上述实施例所述，采用与其相同或相似的步骤而得到的其它方法，均在本发明保护范围内。

Claims (5)

1.一种引线键合焊点缺陷定位与分类方法，其特征在于：其包括以下步骤：

(1)利用工业相机获得已键合的焊点图像；

(2)利用基于像素邻域方差的算法对焊点所在区域进行初定位；

(3)利用灰度投影算法去除冗余的非焊点区域；

(4)利用区域生长算法对焊点所在区域进行初提取，在此基础上利用水平集方法进行缺陷分割；

(5)利用核主成分分析提取焊点线性可分的主特征；

(6)将提取得到的主特征送入随机森林分类器进行缺陷类型的分类，根据多分类的结果给出焊接参数调整建议；

所述步骤(2)具体包括以下步骤：

设局部图像块的高度和宽度分别为和N_sw，B_ij为其所在点的像素值，则方差的计算如下：

利用C++Eigen矩阵运算库实现图像对应元素的乘积，并应用于焊点图像中并构造完整的焊点定位算法，焊点定位算法过程如下：

(2.1)对原图像进行下采样，使图像分辨率变成原来的1/2，以减小计算量；

(2.2)对图像的每个像素点的3×3邻域求标准差；

(2.3)对求标准方差后的图像进行阈值处理，突显出焊点所在区域；

(2.4)对图像进行5*5邻域的中值滤波，滤除干扰像素；

(2.5)对图像进行水平及垂直方向灰度投影，利用两个投影的交集来确定焊点所在位置；

为去除冗余的部分，对垂直投影算法进行改进；通过在每个像素点出比较其邻域中满足预设条件的像素个数，当个数超过阈值时，认为该点为需要统计的点；改进的表达式如下：

得到去冗余之后焊点图像。

2.根据权利要求1所述的引线键合焊点缺陷定位与分类方法，其特征在于：所述步骤(3)通过在每个像素点出比较其邻域中满足预设条件的像素个数，当个数超过阈值时，认为该点为需要统计的点。

3.根据权利要求1所述的引线键合焊点缺陷定位与分类方法，其特征在于：所述步骤(4)包括以下步骤：

设图像区域为R，邻域点的个数为M，A(x,y)为区域R中(x,y)处的灰度值，m为邻域灰度均值，则基于区域灰度差的相似性度量准则可表述为：

max|A(x,y)-m|_(x,y)∈R＜K

其中K为预设阈值，如果像素点灰度与区域均值差异不超过K，则表示符合区域生长的准则；

在对焊点图像进行完初提取后，运用水平集方法继续对图像进行分割；将水平集的演化过程转换为偏微分方程的求解过程，通过对能量函数应用欧拉-拉格朗日方程寻找最小值。

4.根据权利要求1所述的引线键合焊点缺陷定位与分类方法，其特征在于：所述步骤(5)包括以下步骤：基于核主成分分析的基本原理，把二维空间中线性不可分的样本映射到三维线性可分，将经核主成分分析降维后得到的特征数据作为焊点特征提取后的特征向量，所得的投影即提取的焊点主特征。

5.根据权利要求1所述的引线键合焊点缺陷定位与分类方法，其特征在于：所述步骤(6)具体包括以下步骤：

(6.1)利用形态学截取相同尺寸与未扭曲的焊点图像；

(6.2)对训练集数据集进行归一化，利用核主成分分析对归一化的训练集和测试集图像进行数据降维；

(6.3)利用随机搜索对σ、s、d进行联合寻优，获得分类精度。

Images