CN109615609A - 一种基于深度学习的焊点瑕疵检测方法 - Google Patents

Abstract

一种基于深度学习的焊点瑕疵检测方法，步骤如下：(1)对原始图像数据进行灰度化处理；(2)对灰度化处理后的图像进行预处理，进行滤波处理，消除噪声；(3)对预处理后的图像进行分割处理，将焊点和背景进行区分；(4)将步骤(3)分割处理后的图像进行形态学处理，将相连的焊点进一步分割；(5)对形态学处理后的图像进行最终分割，将相连的焊点处理完全，得到所有的焊点目标；(6)对所有的焊点目标进行瑕疵识别，完成焊点的瑕疵检测。本发明方法实现了电路板焊点的自动识别与瑕疵焊点检测，有助于节约人工成本，且瑕疵识别率高，有助于提升工业生产效率和可靠性。

Description

一种基于深度学习的焊点瑕疵检测方法

技术领域

本发明涉及一种基于深度学习的焊点瑕疵检测方法，适用于电路板检测与图像目标识别领域。

背景技术

随着微电子技术的不断发展，电子元件微小化、细密化的发展趋势，给炉后焊点的质量检测提出了更高要求。航天的质量要求更为严格，对于不合格的产品要实现100％的剔除，所以传统人工目检的方法已越来越难以满足实际生产的要求，而基于视觉的自动检测能有效提高印刷电路板(Printed Circuit Board,PCB)焊点检测的速度和准确率，并及时反馈信息，逐渐成为印制板焊接生产中主要的焊点检测手段。正是在此基础上，针对电路板生产研制过程中的焊点瑕疵进行自动的检测和识别，达到对异常焊点的自动报警，提高检测的可靠性和效率。

卷积神经网络(Convolutional Neural Network，CNN)是人工神经网络的一种分支，核心思想是：局部感知，权值共享以及下采样，获得了某种程度的位移、尺度、形变不变性，提高了运算速度与精度。采用CNN进行分类，由于图像尺寸较小，网络层数不宜过大。由于样本切片个数较少，还需要对样本进行增广处理，通过旋转、缩放、加噪等。并与提取HOG特征的支持向量机(SVM)方法分类进行了对比，得到了较高的分类精度。

采用Relu函数作为传递函数。目前在神经网络模型中激活函数使用趋势是非饱和修正线性函数，Relu是一个分段函数，具有非饱和的特点，相比于sigmoid函数和tanh函数，Relu不会出现梯度弥散的问题，在进行反向传播求误差梯度时，Relu有更大的优势，收敛速度更快。

采用交叉熵作为损失函数，对于二分类问题，其表达式如下：

式中，y_i为真实值，即标签，是神经网络估计值，N为样本数。通过损失函数梯度下降法反向传播更新神经网络的参数，使得估计值更加接近真实值。

最大类间方差法(OTSU)是指利用阈值将图像分为前景、背景两个图像，具有简洁、稳定、自适应强的优点，被广泛应用于图像分割中。其算法思想为同时考虑像素的灰度值分布和它们邻域像素的平均灰度值分布，因此形成的阈值是一个二维矢量，最佳的阈值在一个二维的测度准则下确定最大值时得到。

图像的Hog特征(Histogram of Oriented Gradient)是指一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合支持向量 (Support Vector Machine，SVM)分类器已被广泛用于图像识别中。

当前工业生产瑕疵检测广泛依赖于人工，任何人工的失误可能会带来较大的后果。实现瑕疵的自动识别检测，对于节约人工成本，减小失误都有着深远的影响。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提出了一种基于深度学习和基于图像特征提取与机器学习的焊点瑕疵检测方法，解决了PCB板进行焊点的自动检测和目标识别，实现了焊点的正常/异常分类。提高检测的可靠性和效率。

本发明的技术解决方案是：

一种基于深度学习的焊点瑕疵检测方法，步骤如下：

(1)对原始图像数据进行灰度化处理；

(2)对灰度化处理后的图像进行预处理，进行滤波处理，消除噪声；

(3)对预处理后的图像进行分割处理，将焊点和背景进行区分；

(4)将步骤(3)分割处理后的图像进行形态学处理，将相连的焊点进一步分割；

(5)对形态学处理后的图像进行最终分割，将相连的焊点处理完全，得到所有的焊点目标；

(6)对所有的焊点目标进行瑕疵识别，完成焊点的瑕疵检测。

所述预处理采用高斯滤波算法实现。

采用OTSU算法实现图像的分割处理。

所述形态学处理是指采用腐蚀方法对相连的焊点进行腐蚀，从而令相连的焊点断开，加以区分，腐蚀方法采用7*7的算子进行腐蚀。

所述步骤(5)对形态学处理后的图像进行最终分割，具体为：

(5.1)对形态学处理后的图像进行焊点目标提取，将焊点目标的像素个数、长、宽、位置信息提取出来；

(5.2)根据提取的目标信息，结合目标的先验信息，对提取目标进行鉴别，确定疑似相连目标；并进一步对疑似相连目标进行最终分割。

先验信息包括：目标的预设尺寸大小和预设长宽比，尺寸为20*20像素，疑似相连目标是指尺寸大小超出预设尺寸大小的10％，并且长宽比超出预设长宽比10％。

所述步骤(6)对所有的焊点目标进行瑕疵识别，具体为：

当焊点总数量小于预设阈值时，采用SVM分类方法进行瑕疵识别；

当焊点总数量大于等于预设阈值时，采用神经网络分类方法进行瑕疵识别。

所述预设阈值的取值范围为3000～5000。

采用SVM分类方法进行瑕疵识别，具体为：首先提取焊点目标的HOG特征，再采用SVM分类方法进行瑕疵识别。

采用神经网络分类方法进行瑕疵识别，具体为：

(a)构建神经网络，具体为：

采用3层CNN卷积神经网络加1层全连接网络的方式，CNN卷积神经网络采用的卷积核大小为3*3，采用RGB的3个输入通道，每层网络均加入 dropout，随机减少20％参数个数，用于减少过拟合的情形；

(b)根据构建的神经网络对焊点样本进行分类，实现瑕疵识别。

本发明与现有技术相比带来的优点为：

(1)本发明运用图像特征提取和机器学习的方法，对PCB板进行焊点进行自动检测和目标识别，实现焊点的正常/异常分类。运用最大类间方差法(OTSU) 进行图像分割，并采用形态学进行二次分割，提取待检测的焊点。对正负类样本进行标记，之后采用卷积神经网络(Convolutional Neural Network，CNN)对测试样本进行分类，并将其与基于方向梯度直方图(Histogram of Oriented Gradient, HOG)特征的支持向量机(Support VectorMachine，SVM)分类方法进行对比，得出神经网络具有较好的分类效果。

(2)本发明技术方案实现了焊点的自动检测与识别，节约人工成本；

(3)本发明技术方案对相连焊点进行了二次提取，检出率较高；

(4)本发明技术方案瑕疵检测率较高，能够达到85％以上，提升工业生产效率和可靠性。

附图说明

图1为本发明方法流程图；

图2为R分量灰度图；

图3为G分量灰度图；

图4为R分量分割结果；

图5为G分量分割结果和原始叠加效果图，

其中，图5a为分割结果，图5b为分割后的结果与原始图像叠加后的效果图；

图6为腐蚀结果；

图7不同分量的提取结果，图7a为R分量标注结果，图7b为G分量标注结果；

图8样本切片投影；

图9为最终检测结果；

图10为神经网络参数收敛结果；

图11为某次生产的电路板图像；

图12为不同部分切片示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行进一步的详细描述。

如图1所示，本发明提出了一种基于深度学习的焊点瑕疵检测方法，步骤如下：

(1)对原始图像数据进行灰度化处理。

灰度化的目的：

1)是将RGB转为灰度后便于进行后续图像处理；

2)依靠先验知识，将目标和背景的灰度差异拉大。

这里通过分析后给出两种方式进行灰度化的效果对比：

1)只用R分量，灰度化结果如图2；

2)GARY＝255-(2*G-R-B)，灰度化结果如图3。

(2)对灰度化处理后的图像进行预处理，进行滤波处理，消除噪声；预处理采用高斯滤波算法实现。

(3)对预处理后的图像进行分割处理，将焊点和背景进行区分；采用OTSU 算法实现图像的分割处理。

分割算法采用最大类间方差法(OTSU)算法，将焊点和背景进行区分。

分割后可以看到：

1)R灰度图分割结果由于灰度不均匀，导致焊点分割不完全，对目标定位精度产生误差，结果如图4；

2)G灰度图分割结果能够较好把目标检测出来，但是依然存在相近焊点相连的情况，结果如图5a和5b。

对此，可以考虑继续使用其他算法实现对相连焊点的切分。

(4)将步骤(3)分割处理后的图像进行形态学处理，将相连的焊点进一步分割；所述形态学处理是指采用腐蚀方法对相连的焊点进行腐蚀，从而令相连的焊点断开，加以区分，腐蚀方法采用7*7的算子进行腐蚀。

由图6可以看到腐蚀后虽然有些相连点可以断开，加以区分，但是依然存在不能分的情况，需要重新设计腐蚀算子，或者考虑别的处理方法。本项目决定采用其他方法实现切分。

(5)对形态学处理后的图像进行最终分割，将相连的焊点处理完全，得到所有的焊点目标；

(5.1)对形态学处理后的图像进行焊点目标提取，将焊点目标的像素个数、长、宽、位置信息提取出来；采用聚类的方法实现。

初步标注结果如图7a和7b所示，前者为R分量标注结果，后者为G分量标注结果。

(5.2)根据提取的目标信息，结合目标的先验信息，对提取目标进行鉴别，确定疑似相连目标；并进一步对疑似相连目标进行最终分割。

先验信息包括：目标的预设尺寸大小和预设长宽比为1，尺寸为20*20像素，疑似相连目标是指尺寸大小超出预设尺寸大小的10％，并且长宽比超出预设长宽比10％。

对提取的切片进行鉴别，若尺度不满足先验信息，则对二值图进行X方向和Y方向投影，如图8所示。

通过投影后可以看到，有明显波谷，可以利用此信息将焊点切片进行切割，实现对相连焊点的处理。

通过对相连焊点进行处理后，可以得到最终的检测结果，如图9所示：

可以看到，最终的检测结果可以比较好的将相连焊点进行区分和切割，实现了对焊点的自动检测。

(6)对所有的焊点目标进行瑕疵识别，完成焊点的瑕疵检测。

具体为：

当焊点样本总数量小于预设阈值时，采用特征的支持向量机(Support VectorMachine，SVM)分类方法进行瑕疵识别；

当焊点总数量大于等于预设阈值时，采用神经网络分类方法进行瑕疵识别。所述预设阈值的取值范围为2000～5000。

(6.1)采用SVM分类方法进行瑕疵识别，具体为：首先提取焊点目标的方向梯度直方图(Histogram of Oriented Gradient,HOG)特征，再采用SVM分类方法进行瑕疵识别。

首先实现标注样本，得到正常样本和异常样本。

本次试验中一共测试了22帧切片，正常和异常各11帧，测试结果表明正确17帧，错误5帧，分类概率77.3％。

(6.2)采用神经网络分类方法进行瑕疵识别，具体为：

(a)构建神经网络，具体为：

采用3层卷积神经网络(Convolutional Neural Network，CNN)加1层全连接网络的方式，CNN卷积神经网络采用的卷积核大小为3*3，采用RGB的3 个输入通道，每层网络均加入dropout，随机减少20％参数个数，用于减少过拟合的情形；

(b)根据构建的神经网络对焊点样本进行分类，实现瑕疵识别。

首先是样本增广，通过对样本进行旋转、缩放等处理，将样本增广到6000。

分类结果如图10为神经网络参数收敛结果(上图为损失函数，表示判错的比率，下图为预测的精度。横轴为迭代次数)，从图中可以看出，在训练集上达到了很好的收敛。损失函数减小而精度得以提高。

对20个与训练集完全不相关的样本进行测试，最终的分类结果正确率达到 85％，满足指标要求。

本项目运用图像特征提取和机器学习的方法，对PCB板进行焊点进行自动检测和目标识别，实现焊点的正常/异常分类。运用最大类间方差法(OTSU) 进行图像分割，并采用形态学进行二次分割，提取待检测的焊点。对正负类样本进行标记，之后采用卷积神经网络(Convolutional Neural Network， CNN)对测试样本进行分类，并将其与基于方向梯度直方图(Histogram of Oriented Gradient,HOG)特征的支持向量机(Support VectorMachine， SVM)分类方法，以及基于圆形度特征的Fisher判别方法进行了对比，得出神经网络具有较好的分类效果。

如图11所示，为某次电路板图像。正常和异常焊点已经在图中标注。

结合整体影像，可以得到图12所示图像切片：

通过分析图像，可以得到如下结论：

1)焊点值较高、背景值较低；

2)背景整体呈PCB板颜色，G分量较高；

3)焊点呈圆形，且由于光照原因不均匀；

4)正常焊点呈规则圆形，异常焊点存在凸起。

根据以上的目标特性分析结果进行整体算法的流程设计。

总体方案流程如图1。

第一步，灰度化

灰度化的目的：

1)是将RGB转为灰度后便于进行后续图像处理；

2)依靠先验知识，将目标和背景的灰度差异拉大。

经过初步仿真分析，采用一般的灰度化不能很好的将目标的背景进行差异化表示，这里通过分析后采用两种方式进行灰度化：

1)只用R分量；

2)GARY＝255-(2*G-R-B)。

灰度化结果如图2、图3。

第二步，图像预处理

这里的图像预处理主要是对图像进行滤波处理，消除噪声影响，本方案选取高斯滤波算法。

第三步，图像分割

分割算法采用OTSU算法，将焊点和背景进行区分。

分割后可以看到：

1)R灰度图分割结果由于灰度不均匀，导致焊点分割不完全，对目标定位精度产生误差，分割结果如图4；

2)G灰度图分割结果能够较好把目标检测出来，但是存在相近焊点相连的情况，分割结果如图5。

对此，可以考虑其他算法实现对相连焊点的切分。

第四步，形态学处理

由于存在焊点相连的情况，考虑采用腐蚀的方法对其进行处理，这里采用 7X7的算子进行腐蚀。结果如图6.

可以看到腐蚀后虽然有些相连点可以断开，加以区分，但是依然存在不能分的情况，需要重新设计腐蚀算子，或者考虑别的处理方法。本项目决定采用其他方法实现切分。

第五步，目标提取与最终分割

1、目标信息提取：

在分割后的二值图上对疑似目标进行提取，主要将目标的像素个数、长、宽、位置等信息提取出来。采用聚类的方法实现。

初步标注结果如图7。

2、疑似目标鉴别和处理：

根据之前提取的目标信息再结合目标的先验信息，对提取的疑似目标进行鉴别和处理。

先验信息包括：目标的尺寸大小，约为20*20像素，长宽比基本为1；所以根据提取的疑似目标大小，判断是否为相连目标，并进行二次分割。

对提取的切片进行鉴别，若尺度不满足先验信息，则对二值图进行X方向和Y方向投影。

通过投影后可以看到，有明显波谷，可以利用此信息将焊点切片进行切割，实现对相连焊点的处理。

3、检测结果确定

通过对相连焊点进行处理后，可以得到最终的检测结果，如图9所示：

可以看到，最终的检测结果可以比较好的将相连焊点进行区分和切割，实现了对焊点的自动检测。

第六步，瑕疵识别

这个部分考虑采用几种方法通过对提取的切片进行识别：

特征提取和分类，通过图像处理算法对目标正负样本进行特征提取，通过提取的特征，构建特征空间，并选取合适的特征和算法进行分类；

采用CNN进行分类，由于图像尺寸较小，网络层数不宜过大。由于样本切片个数较少，还需要对样本进行增广处理，通过旋转、缩放、加噪等。

下面详细介绍。

1、基于HOG+SVM的分类

首先实现标注样本，得到正常样本和异常样本。

本次试验中一共测试了22帧切片，正常和异常各11帧，测试结果表明正确17帧，错误5帧，分类概率77.3％。

2、基于神经网络的分类

首先是样本增广，通过对样本进行旋转、缩放等处理，将样本增广到6000。

起初采用的神经网络为5*5的卷积核出现过拟合的情况，训练集上的正确率99％，测试集上正确率50％。后采用改进了神经网络结构，采用3*3的卷积核，且加入dropout层，随机使某些权重不再更新，减少神经网络的参数，用于减少过拟合的情形，了实现了对样本的分类。

网络结构如下，采用3层CNN加1层全连接的方式。卷积核大小为3*3，采用RGB的3个输入通道。每层进行dropout，随机减少部分参数个数。

训练结果如图10，分类结果在训练集上达到了很好的收敛。损失函数减小而精度得以提高。

对20个与训练集完全不相关的样本进行测试，最终的分类结果正确率达到 85％，满足指标要求。

Claims (10)

1.一种基于深度学习的焊点瑕疵检测方法，其特征在于步骤如下：

(1)对原始图像数据进行灰度化处理；

(2)对灰度化处理后的图像进行预处理，进行滤波处理，消除噪声；

(3)对预处理后的图像进行分割处理，将焊点和背景进行区分；

(4)将步骤(3)分割处理后的图像进行形态学处理，将相连的焊点进一步分割；

(5)对形态学处理后的图像进行最终分割，将相连的焊点处理完全，得到所有的焊点目标；

(6)对所有的焊点目标进行瑕疵识别，完成焊点的瑕疵检测。

2.根据权利要求1所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：所述预处理采用高斯滤波算法实现。

3.根据权利要求1所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：采用OTSU算法实现图像的分割处理。

4.根据权利要求1所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：所述形态学处理是指采用腐蚀方法对相连的焊点进行腐蚀，从而令相连的焊点断开，加以区分，腐蚀方法采用7*7的算子进行腐蚀。

5.根据权利要求1所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：所述步骤(5)对形态学处理后的图像进行最终分割，具体为：

(5.1)对形态学处理后的图像进行焊点目标提取，将焊点目标的像素个数、长、宽、位置信息提取出来；

(5.2)根据提取的目标信息，结合目标的先验信息，对提取目标进行鉴别，确定疑似相连目标；并进一步对疑似相连目标进行最终分割。

6.根据权利要求5所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：先验信息包括：目标的预设尺寸大小和预设长宽比，尺寸为20*20像素，疑似相连目标是指尺寸大小超出预设尺寸大小的10％，并且长宽比超出预设长宽比10％。

7.根据权利要求1所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：所述步骤(6)对所有的焊点目标进行瑕疵识别，具体为：

当焊点总数量小于预设阈值时，采用SVM分类方法进行瑕疵识别；

当焊点总数量大于等于预设阈值时，采用神经网络分类方法进行瑕疵识别。

8.根据权利要求7所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：所述预设阈值的取值范围为3000～5000。

9.根据权利要求7所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：采用SVM分类方法进行瑕疵识别，具体为：首先提取焊点目标的HOG特征，再采用SVM分类方法进行瑕疵识别。

10.根据权利要求7所述的一种基于深度学习的焊点瑕疵检测方法，其特征在于：采用神经网络分类方法进行瑕疵识别，具体为：

(a)构建神经网络，具体为：

采用3层CNN卷积神经网络加1层全连接网络的方式，CNN卷积神经网络采用的卷积核大小为3*3，采用RGB的3个输入通道，每层网络均加入dropout，随机减少20％参数个数，用于减少过拟合的情形；

(b)根据构建的神经网络对焊点样本进行分类，实现瑕疵识别。