CN110610199B - 基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法 - Google Patents

Abstract

本发明公开了一种基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，首先获取PCB板的整体图形，找到mark点，根据已有的焊点坐标，提取出每一个电阻元件的焊点的图片；将获取的焊点图片压缩到同一尺寸，创建初始灰度图像，然后将灰度图像旋转到统一的方向，得到灰度图像；接着基于灰度图像提取焊点的纹理特征和面积特征；最后使用svm和xgboost分类器对焊点特征进行分类，首先判断通过svm判断焊点为正常焊点或错误焊点；然后对于错误焊点再通过xgboost多分类器将它们分为虚焊、漏焊、锡尖、多锡；对于正常焊点，不进行处理；最后用样本分类的正确率作为评价焊点分类算法是否具有准确性的指标。本发明在样本与硬件设备有限的情况下，使焊点检测分类的结果更好。

Description

基于svm和xgboost的印制电路板电阻元件焊点自动光学检测 方法

技术领域

本发明涉及图像处理技术，具体涉及一种基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法。

背景技术

在现代工业中，随着电子元器件连接越来越复杂，对其的要求越来越高，为减小电子元器件的布线和装配差错，提高自动化水平和生产效率，印制电路板(PCB板)的制作变得越来越普及，其中贴片式元件，由于其体积小、重量轻等优点成为PCB元件的主流。推动工业发展的同时，印制电路板也暴露出了一些问题，比如焊接工艺要求高，精度要求高等。现在的印制电路板生产依赖表面贴片技术(SMT)，虽然SMT的焊接精度很高，但是依然存在“漏网之鱼”，多锡、虚焊、锡尖、漏焊等问题依然时常出现，在实际的生产过程中，一块PCB板的焊点数量往往能后达到数百个之多，如果用人工检测，这将是一项非常繁琐，让人疲倦的工作，本专利旨在通过机器视觉检测焊点是否合格，如果出现焊接缺陷是哪一类缺陷。

目前的焊点检测的主要是四种方式，即表面视觉恢复技术、颜色分布统计技术、支持向量机技术、神经网络技术。表面视觉恢复技术利用图像通过某一技术手段获取物体表面的三维坐标信息，然后通过软件建立出焊点的三维模型，然后对模型进行特征分析来分类；颜色分布统计技术是对焊点照出不同颜色的光照，焊点将呈不同的颜色，对焊点的颜色进行统计分析，与模板进行比较分类，支持向量机技术利用对焊点图像进行特征提取并附上标签，将特征集分成测试集和训练集，通过支持向量机(svm)进行训练测试，从而达到分类目的；神经网络技术则是直接将焊点图片配上标签进行训练，训练出来的神经网络直接进行预测分类。PCB焊点检测的问题焊点如漏焊、锡尖、虚焊、多锡等样本比较难收集，常常有样本量不足的情况。

CN109342456A公开了《一种焊点缺陷检测方法、装置、设备及可读存储介质》，该专利运用了深度神经网络技术分类焊点，具体实施方位分为3步：

步骤1：获取待检测元件的初始引脚图像；

步骤2：用于对初始引脚图像的三色通道利用无约束优化的二维经验式分解，得到多通道图像；

步骤3：用于将多通道图像输入至预先构建的缺陷分类模型，得到初始引脚图像的标签类型，以检测待检测IC元件的引脚是否有缺陷；标签类型包括正样本和负样本两类标签；其中，二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，训练样板集中的正样本为没有缺陷：引脚图像，负样本为有缺陷的引脚图像。

该技术的检测分类精度是最高的，可以达到95％以上，但是深度神经网络的训练需要大量的样本和昂贵的计算硬件才能够完成，对于一些小型的企业或者工作室是难以承受的。

CN201010214846公开了《一种印刷电路板中带电阻元件的自动光学检测方法》，该专利只用了svm对焊点进行分类虽然计算量不大，硬件要求不高，但是精度维持在83％左右。

发明内容

本发明的目的在于提供一种基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，在样本与硬件设备有限的情况下，使焊点检测分类的结果更好。

实现本发明目的的技术解决方案为：一种基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，步骤如下：

步骤1、获取PCB板的整体图形，然后找到mark点，根据已有的焊点坐标，提取出每一个电阻元件的焊点的图片；

步骤2、将上述焊点图片的预处理：

将获取的焊点图片压缩到同一尺寸，创建初始灰度图像，然后将灰度图像旋转到统一的方向，得到灰度图像；

步骤3、焊点特征提取：

基于灰度图像提取焊点的纹理特征和面积特征；

步骤4、使用svm和xgboost分类器对焊点特征进行分类，首先判断通过svm判断焊点为正常焊点或错误焊点；然后对于错误焊点再通过xgboost多分类器将它们分为虚焊、漏焊、锡尖、多锡；对于正常焊点，不进行处理；最后用样本分类的正确率作为评价焊点分类算法是否具有准确性的指标。

与现有的技术相比，本发明具有如下优点和效果：

(1)本发明不需要大样本和强算力即可训练出理想的分类器。

(2)本发明所使用的纹理特征和面积特征能有效的区分出不同类别的焊点，分类的焊点类别更多，准确度能达到90％以上。

附图说明

图1是本发明基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法的流程图。

图2是本发明的方法中的焊点图片预处理流程图。

图3是本发明的方法中的焊点特征提取的流程图。

图4是本发明的方法中的焊点分类流程图。

图5是本发明光学试验台原理示意图。

图6是本发明中焊点图像颜色分布示意图。

具体实施方法

下面结合附图对本发明作进一步详细描述。

结合图1至图6，本发明所述的一种基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，搭建光学试验台，如图5所示，包括CCD彩色数码相机和三色(红、绿、蓝)半球形LED阵列照明，具体检测步骤如下：

步骤1、通过不同光源不同角度的反射，获取PCB板的整体图形，然后找到mark点，根据已有的焊点坐标，提取出每一个电阻元件的焊点的图片，如图6所示。

步骤2、将上述焊点图片的预处理：

如图2所示，首先读取步骤1中获得的每一个电阻元件的焊点图片，然后把焊点图片的大小统一调整到64*64，并构建一个64*64的二维矩阵，初始值全为零，比较焊点图片中每一个像素点的三通道值的大小，提取蓝色通道值最大的点的坐标，在二维矩阵中找到对应的坐标，将该位置的对应的值改为128；同理，绿色通道值最大的点的坐标，在二维矩阵中找到对应的坐标，将该位置的对应的值改为256；红色通道值最大的点的坐标，在二维矩阵中找到对应的坐标，并将其置零，将最终的二维矩阵扩充到三通道，转化为灰度图像，从而得到图像的灰度图；最后，根据图像蓝色区域的势能分布将图像的旋转到统一方向。

将图像旋转到统一方向步骤如下：

步骤2-1：设定图像的左上角为原点，横轴向左为x轴正方向，竖轴向下为y轴正方向，分别计算灰度图像蓝色区域相对于x轴和y轴的势能分布，计算方法如下：

蓝色最大区域矩阵分布A：

蓝色最大区域图形相对于x轴的势能X：

X＝[m m-1 … 2 1]*A＝NA

蓝色最大区域图形相对于y轴的势能Y：

Y＝A*[1 2 … n-1 n]^T＝AM

其中：

N为矩阵A到x轴的势能投影矩阵N＝[m m-1 … 2 1]，m为图像行数。

M为矩阵A到y轴的势能投影矩阵M＝[1 2 … n-1 n]^T，n为图像列数。

计算出X数组和Y数组后，比较X数组和Y数组中哪个数组的零最多，如果X数组的零比较多，则将灰度图像旋转90°，确保相对于x轴的势能分布零的数量比较少，相对于y轴的势能分布零的数量比较多。

步骤2-2：按步骤2-1对图像进行处理后，重新计算处理后的灰度图片相对于y轴的势能分布Y，图像没有旋转可不用重新计算，比较Y数组的数值分布，如果Y数组前半部分数值零的数量比较多，则将图片旋转180°，如果前半部分数值零的数量比较少，则不作操作。

通过步骤2-1和步骤2-2，即可将灰度图像的方向统一，得到最终的灰度图像。

步骤3、焊点特征提取：

如图3所示，焊点特征提取分为两个部分：基于灰度图像提取焊点的纹理特征提取和面积特征提取；

纹理特征提取：

利用灰度共生矩阵，计算灰度图像的熵、能量、对比度、逆差矩、相关度来描述纹理特征，具体计算方法如下：

熵：ENT＝sum(p(i，j)*(-In(p(i，j))))

能量：

对比度：

逆差矩：

相关性：

其中：行上的矩阵元素统计的期望

列上的矩阵元素统计的期望

行上的矩阵元素统计的方差值

列上的矩阵元素统计的方差值

i横坐标，j为纵坐标；

Ng是行列数；

p(i，j)为图像的(i，j)的值。

面积特征提取：

将灰度图像均分为9个区域，然后计算每个区域中绿色区域和蓝色区域的像素个数，即面积特征，然后得出灰度图像的面积特征信息，一共有18个特征。

步骤4、使用svm和xgboost分类器对焊点特征进行分类，如图4所示，具体操作如下：

步骤4-1、将灰度图片的纹理特征和面积特征进行one-hot处理，从中选择出信息含量最高的特征做特征集，然后运用svm二分类器的判断出焊点为正常焊点或错误焊点；

步骤4-2、将步骤4-1中分类出的错误焊点，基于面积特征和纹理特征通过xgboost多分类器分类，将它们分为虚焊、漏焊、锡尖、多锡。

步骤4-3、选用样本分类的正确率作为评价焊点分类算法是否具有准确性的指标，其计算公式如下：

每一类样本的正确率：

总体样本的正确率：

N_0i：第i类样本正确识别的数量；

N_i：第i类样本的总数。

表1是对焊点好坏分类的测试结果，如表1所示，从样本库中各选择20个正常的和80个错误的焊点，每个错误类型各20个，使用本发明的分类测试结果，所以如表所示，正常的焊点的正确率为0.95，错误的焊点正确率为0.925。

表1 为本发明的方法中的正确和错误焊点的测试结果

表2是对错误焊点的分类测试结果，如表2所示，虚焊的测试样本数量为20个，漏焊20个，锡尖20个，多锡20个，分类的正确率为0.9，1，0.85，0.95。

由两表所示，分类的正确率在样本不多和算力不强的情况下有明显的提升，各类别的分类正确率差别不大，都达到了85％以上。

表2 为本发明的方法中的错误焊点分类的结果图

Claims (6)

1.一种基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，其特征在于，步骤如下：

步骤1、获取PCB板的整体图形，然后找到mark点，根据已有的焊点坐标，提取出每一个电阻元件的焊点的图片；

步骤2、将上述焊点图片预处理：

将获取的焊点图片压缩到同一尺寸，创建初始灰度图像，然后将灰度图像旋转到统一的方向，得到灰度图像；

步骤3、焊点特征提取：

基于灰度图像提取焊点的纹理特征和面积特征；

步骤4、使用svm和xgboost分类器对焊点特征进行分类，首先通过svm判断焊点为正常焊点或错误焊点；然后对于错误焊点再通过xgboost多分类器将它们分为虚焊、漏焊、锡尖、多锡；对于正常焊点，不进行处理；最后用样本分类的正确率作为评价焊点分类算法是否具有准确性的指标；

步骤2中，把获取的焊点图片的大小调整到统一大小，并建立一个与统一大小后的焊点图片尺寸相同的二维矩阵，比较焊点图片中每一个像素点的三通道值的大小，提取蓝色通道值最大的点的坐标，在二维矩阵中找到对应的坐标，并赋予一个大小相同的值p；同理，绿色通道值最大的点的坐标，在二维矩阵中找到对应的坐标，并赋予一个大小相同的值q，p≠q；红色通道值最大的点的坐标，在二维矩阵中找到对应的坐标，并将其置零，从而得到图像的灰度图；根据灰度图像蓝色区域的势能分布将图像的旋转到统一方向；

将图像旋转到统一方向步骤如下：

步骤2-1：设定图像的左上角为原点，横轴向左为x轴正方向，竖轴向下为y轴正方向，分别计算灰度图像蓝色区域相对于x轴和y轴的势能分布，计算方法如下：

蓝色最大区域矩阵分布A：

蓝色最大区域图形相对于x轴的势能X：

X＝[m m-1 … 2 1]*A＝NA

蓝色最大区域图形相对于y轴的势能Y：

Y＝A*[1 2 … n-1 n]^T＝AM

其中：

N为矩阵A到x轴的势能投影矩阵N＝[m m-1 … 2 1]，m为图像行数；

M为矩阵A到y轴的势能投影矩阵M＝[1 2 … n-1 n]^T，n为图像列数；

计算出X和Y后，比较X和Y中哪个数组的零最多，如果X的零多，则将灰度图像旋转90°，确保相对于x轴的势能分布零的数量少，相对于y轴的势能分布零的数量多；

步骤2-2：重新计算处理后的灰度图片相对于y轴的势能分布Y，图像没有旋转不用重新计算，比较Y数组的数值分布，如果Y前半部分数值零多，则将图片旋转180°，如果前半部分数值零少，则不作操作，得到最终的灰度图像。

2.根据权利要求1所述的基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，其特征在于：所述步骤3中，焊点特征的提取是基于灰度图像并行提取纹理特征和面积特征。

3.根据权利要求2所述的基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，其特征在于，提取纹理特征纹，具体如下：

利用灰度共生矩阵，计算灰度图像的熵、能量、对比度、逆差矩、相关度来描述纹理特征，具体计算方法如下：

熵：ENT＝sum(p(i,j)*(-In(p(i,j))))

能量：

对比度：

逆差矩：

相关性：

其中：行上的矩阵元素统计的期望

列上的矩阵元素统计的期望

行上的矩阵元素统计的方差值

列上的矩阵元素统计的方差值

i横坐标，j为纵坐标；

Ng是行列数；

p(i,j)为图像的(i,j)的值。

4.根据权利要求2所述的基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，其特征在于，提取面积特征是将灰度图像均分为9个区域，然后计算每个区域中绿色区域和蓝色区域的像素个数，即面积特征，然后得出灰度图像的面积特征信息，一共有18个特征。

5.根据权利要求1所述的基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，其特征在于，步骤4的具体步骤如下：

步骤4-1、将灰度图片的纹理特征和面积特征进行one-hot处理，从中选择出信息含量最高的特征做特征集，然后运用svm二分类器的判断出焊点为正常焊点或错误焊点；

步骤4-2、将分类出的错误焊点，基于面积特征和纹理特征通过xgboost多分类器分类，将它们分为虚焊、漏焊、锡尖、多锡。

6.根据权利要求1所述的基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法，其特征在于，步骤4中，选用样本分类的正确率作为评价焊点分类算法是否具有准确性的指标，其计算公式如下：

每一类样本的正确率：

总体样本的正确率：

N_0i:第i类样本正确识别的数量；

N_i:第i类样本的总数。

Images