CN115661051A - 一种基于卷积神经网络的pcb焊点识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的PCB焊点识别方法，包括：对PCB焊板图像进行基于亮度均衡的阈值分割操作；分割出的PCB焊板图像通过形态学操作逐个截取焊点；对切分的焊点图像进行数据增强，并归一化处理；将数据增强后的焊点图像输入多路卷积并进行池化操作，提取出多尺度卷积特征；然后将多尺度卷积特征经过GAP(GlobalAveragePooling)降维；通过分类器输出焊点对应类别，在原PCB焊板图像中显示每个焊点对应类别。本方法可实现对PCB焊板焊点的识别和分类，具有速度快、准确率高的特点，有助于帮助PCB焊点检测、PCB缺陷检测等质检设备的自动测评。

Description

一种基于卷积神经网络的PCB焊点识别方法

技术领域

本发明涉及深度学习和模式识别技术领域，具体涉及一种基于卷积神经网络的PCB焊点识别方法。

背景技术

随着科技的快速发展，计算机的处理能力越来越强，能够胜任越来越复杂的计算任务。在过去几十年的发展中，计算机已经成功在多个领域内代替了人工，足以自动甚至智能地完成任务。相比于人工完成任务，计算机自动化具有快速、准确的优点。然而，随着人工智能领域的快速发展，不仅计算机能变得智能，而且工业生产也能变得智能化。

目前，PCB电路板组装技术精密化快速发展，传统的人工目检方法变得越来越困难，这种方法容易受到主观因素的影响而发生误查或漏查，并且效率较低。基于神经网络的自动光学检测技术成为了解决上述问题的主流方法，此类方法的典型技术方案是“图像特征+分类器”，常用的分类方法有神经网络、K－近邻法、支持向量机、聚类算法等。

现有技术中对PCB焊板焊点缺陷检测的智能辅助计算多数使用目标检测和图像分类两种方法，其中较为普遍的是基于图像处理的分类模型方法，对PCB焊板图像使用形态学处理方式，例如二值化、开闭操作等，以及一些边缘提取算法处理图像，得到焊点位置并分类，再学习每个分类的特征，假定获取的PCB焊点图像和真实图像存在某种特定关系，通过概率学的方法训练关系模型来判断每个焊点对应分类。

申请号为201711403913.8的发明专利申请，公开了一种基于卷积神经网络的通孔焊点识别方法，包含四个步骤：(1)对输入图像进行基于区域像素相似度的分割操作；(2)将分割出来的区域图片进行直方图图均衡化；(3)将输入的区域图片序列化，并归一化；(4)将均衡化的区域图像输入到多层卷积和池化操作，提取卷积特征；然后将这些卷积特征输入多层全连接层进行通孔焊点分类，输出区域图像是否是通孔焊点。申请号为201910214056.X的发明专利申请，公开了一种基于图像处理的焊点识别方法，包括：对原PCB焊板图像进行预处理；对预处理后的图像中的焊点和干扰圆孔进行位置提取；对焊点和干扰圆孔进行纹理特征提取；构建GA-SVM分类模型，对GA-SVM分类模型进行训练，得到训练后的GA-SVM分类模型；基于训练后的GA-SVM分类模型，对焊点进行识别。以上两项发明，均未解决PCB焊板细粒度焊点识别精度不足、效率低的技术问题。

发明内容

本发明的目的在于，提供一种基于卷积神经网络的PCB焊点识别方法，其具有速度快、准确率高的特点，有助于帮助PCB焊点检测、PCB缺陷检测等质检设备的自动测评。

为实现上述目的，本申请提出一种基于卷积神经网络的PCB焊点识别方法，包括：

对PCB焊板图像进行基于亮度均衡的阈值分割操作；

分割出的PCB焊板图像通过形态学操作逐个截取焊点；

对切分的焊点图像进行数据增强，并归一化处理；

将数据增强后的焊点图像输入多路卷积并进行池化操作，提取出多尺度卷积特征；然后将多尺度卷积特征经过GAP(Global Average Pooling)降维；

通过分类器输出焊点对应类别，在原PCB焊板图像中显示每个焊点对应类别。

进一步的，对PCB焊板图像进行基于亮度均衡的阈值分割操作，具体为：

获取PCB焊板图像的全局平均亮度；

将PCB焊板图像分成大小相同的子块，对每个子块进行扫描得到该块的平均亮度，按照每个子块的分布获得子块平均亮度矩阵，所述子块平均亮度矩阵中每个值都减去全局平均亮度，获得子块亮度差值矩阵；

所述子块亮度差值矩阵通过插值运算扩展到与原PCB焊板图像相同大小，获得全图像亮度差值矩阵；

将原PCB焊板图像各像素亮度值减去全图像亮度差值矩阵中对应的数值，使得图像亮度高的区域同时衰减，而亮度低的区域得到增强；

根据原PCB焊板图像中最低和最高亮度来调节每个子块像素的亮度使之符合整个亮度范围，得到亮度均衡后的PCB焊板图像。

进一步的，分割出的PCB焊板图像通过形态学操作逐个截取焊点，具体为：将RGB三通道的PCB焊板图像使用OpenCV转换到HSV空间，然后利用HSV空间的饱和度(S)轴做形态学操作，通过腐蚀、膨胀、二值化、开操作等方式确定原PCB焊板图像中类似焊点位置，得到图像Img1；另外对原PCB焊板图像的灰度图使用形态学操作确定焊板中不是焊点的噪声位置，得到图像Img2；将图像Img1与图像Img2使用OpenCV中掩码操作去除噪点位置，确定全部焊点位置，得到图像Img3；对原PCB焊板图像和图像Img3使用掩码操作，确定原PCB焊板图像中焊点位置，使用焊点位置对应的最小矩形框进行图像截取，得到每个焊点对应的RGB彩色图像。

进一步的，对切分的焊点图像进行数据增强，并归一化处理，具体为：使用旋转、随机裁剪、色域变换方式进行数据增强，将数据量扩充至原来的N倍，然后进行归一化处理，得到统一特征分布的数据。

进一步的，将数据增强后的焊点图像输入多路卷积并进行池化操作，提取出多尺度卷积特征，具体为：

数据增强后的焊点图像经过一层卷积和一层平均池化操作提取特征，得到特征图C1；

所述特征图C1通过两路不同卷积和一路池化进行特征提取，在两路卷积和一路池化的第一层做升维操作，第二层进行特征提取；三路数据通过Concat操作合并，并通过一层卷积完成特征融合，得到特征图C2；

所述特征图C2经过一层卷积和一层平均池化提取特征，得到特征图C3；

所述特征图C3经过一层卷积和一层最大池化提取特征，得到特征图C4。

更进一步的，通过分类器输出焊点对应类别，在原PCB焊板图像中显示每个焊点对应类别，具体为：多尺度卷积特征经过分类器，按照正常、少锡、多锡、漏焊四个类别进行分类，并在原PCB焊板图像中使用不同颜色矩形框标注。

更进一步的，将PCB焊板图像分成32x32或64x64大小的相同子块；子块亮度差值矩阵通过bicubic插值运算扩展到与原PCB焊板图像相同大小。

更进一步的，在两路卷积和一路池化的第一层做升维操作，第二层进行特征提取，具体为：通过三路(1x1)*32卷积核升维，并将三路数据输入至(5x5)*32卷积层、(3x3)*32卷积层、(3x3)*32平均池化层进行处理。

本发明采用的以上技术方案，与现有技术相比，具有的优点是：

(1)从图像分割方面考虑，使用基于亮度均衡的图像阈值分割技术修正图像中的光照影响，使得处于不同光照强度下的图像趋于一致。

(2)从模型结构方面考虑，采用三路不同卷积方式特征提取和下采样，并将多尺度的特征信息拼接做特征提取，增强网络泛化能力，提升性能。

(3)从焊点识别的准确率考虑，本发明使用卷积神经网络强大的特征提取和特征学习能力，避免了传统方法局限性和人工设计图像特征的复杂性。

附图说明

图1为基于卷积神经网络的PCB焊点识别方法的流程图；

图2为PCB焊板图像亮度均衡分割前后图；

图3为卷积神经网络的模型图；

图4为实施例获得的神经网络识别效果图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请，即所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

如图1所示，本实施例提供一种基于卷积神经网络的PCB焊点识别方法，包括：

步骤1：对PCB焊板图像进行基于亮度均衡的阈值分割操作；

具体的，获取PCB焊板图像的全局平均亮度；将PCB焊板图像分成大小相同的子块(32x32或64x64)，对每个子块进行扫描得到该块的平均亮度，按照每个子块的分布获得子块平均亮度矩阵，所述子块平均亮度矩阵中每个值都减去全局平均亮度，获得子块亮度差值矩阵；所述子块亮度差值矩阵通过插值运算扩展到与原PCB焊板图像相同大小，获得全图像亮度差值矩阵；将原PCB焊板图像各像素亮度值减去全图像亮度差值矩阵中对应的数值，使得图像亮度高的区域同时衰减，而亮度低的区域得到增强；根据原PCB焊板图像中最低和最高亮度来调节每个子块像素的亮度使之符合整个亮度范围，得到亮度均衡后的PCB焊板图像。

PCB焊板中焊点图像占比小，焊板背景占据大部分视野范围，焊点在图像中表现为白色镜面光，如果直接将拍摄的图像进行识别，由于光线不均匀或者光线较强，引入其他噪声影响会出现误检和漏检，故先对图像进行亮度均衡，尽可能保持整张图像中光线均匀且无较大差距，把可能与白色镜面光相似的焊点区域去除。其原理为；

尺寸为NxN的PCB焊板图像，二值化后取值范围为(0，...，L)；平均亮度则为：

其中p(i，j)是图像每个坐标为(i，j)的像素对应亮度值。

取图像中大小为nxn的子块图像，则对应子块的亮度均值为：

故亮度子块均值与全局亮度均值的差为Δ_lum＝Lum_{av_bn}-Lum_av

由上可得图像中高亮度子块的Δ_lum大于0，低亮度子块的Δ_lum小于0。实现图像的亮度均衡需要对每个子块的亮度进行调整，但是为了保证图像的平滑，不能直接将每个子块都加上或者减去同一个调整值，而是按照分块的Δ_lum格式对子块矩阵进行bicubic插值，使得子块大小扩展到原PCB焊板图像大小，bicubic插值法又叫双三次插值法，该方法中函数f在点(x，y)的值可以通过矩阵网格中最近的十六个采样点加权平均得到，需要使用两个多项式插值三次函数，每个方向使用一个，函数表达式如下：

其中权重W(x)公式为：

然后用原PCB焊板图像的像素值减去扩展后Δ_lum的矩阵，即可实现整个图像的亮度均衡。

步骤2：分割出的PCB焊板图像通过形态学操作逐个截取焊点；

具体的，将RGB三通道的PCB焊板图像使用OpenCV转换到HSV空间，然后利用HSV空间的饱和度(S)轴做形态学操作，通过腐蚀、膨胀、二值化、开操作等方式确定原PCB焊板图像中类似焊点位置，得到图像Img1；另外对原PCB焊板图像的灰度图使用形态学操作确定焊板中不是焊点的噪声位置，得到图像Img2；将上面得到的两个图像使用OpenCV中掩码操作去除噪点位置，确定全部焊点位置，得到图像Img3；对原PCB焊板图像和Img3使用掩码操作，确定原PCB焊板图像中焊点位置，使用焊点位置对应的最小矩形框进行图像截取，得到每个焊点对应的RGB彩色图像；

将亮度均衡分割输出的图像进行色域转换，经过一次HSV转换使用S轴确定类似焊点位置，一次灰度图转换确定无用点位置，之后使用掩码操作去除无用点，即可确定全部焊点位置，使用图像截取方法得到全部单独焊点图像，并存储对应焊点位置信息。其具体执行步骤如下：

a)首先RGB三通道的PCB焊板图像转换到HSV色域空间，如下所示：将R，G，B转换到[0，1]空间分别得到

即3个通道的最大值Cmax和最小值Cmin，以及二者之差：Cmin＝min(R′,G′,B′)；Cmax＝max(R′,G′,B′)；Δ＝Cmax-Cmin

色调值(Hue)为：

饱和度(Saturation)为：

明度(Value)即亮度为：V＝Cmax

b)RGB三通道的PCB焊板图像转换到单通道灰度图，如下所示：

Gray_(i，j)＝R_(i，j)*0.299+G_(i，j)*0.587+B_(i，j)*0.114

其(i，j)为图像中对应像素位置坐标点，Gray为对应灰度图像素值；

c)对转换色域的图像进行形态学操作，例如腐蚀、膨胀、开操作和闭操作等，确定焊点位置并去除噪声点。先通过腐蚀去除小的噪声点，腐蚀会通过局部最小值将相对焊点较小的噪声消除掉，腐蚀表达式为：

其中F代表原PCB焊板图像，K表示对原PCB焊板图像进行膨胀运算的结构化要素，这里使用

表示膨胀操作，E表示腐蚀操作之后得到的灰度图像素值。

之后使用膨胀操作还原正常焊点大小，加大正常焊点和噪声点的差别，膨胀表达式为：

其中F代表原PCB焊板图像，K表示对原PCB焊板图像进行膨胀运算的结构化要素，这里使用

表示膨胀操作，D表示膨胀操作之后得到的灰度图像素值。

最后再使用开操作消除正确焊点以外的噪声，即先腐蚀后膨胀，使用闭操作填充焊点空缺，即先膨胀后腐蚀。

以上操作完成可得到基于类似焊点的HSV色域S轴灰度图和基于无用焊点的二值化灰度图，将二者通过OpenCV的掩码操作合并即可得到正确焊点信息，通过轮廓检测算法得到正确焊点信息的位置，提取剩余焊点对应位置并保存。

根据位置对应的最小矩形框，从PCB焊板图像中切分得到逐个焊点的彩色图像。

步骤3：对切分的焊点图像进行数据增强，并归一化处理；

具体的，由于图像的特征平移不变性，使用旋转、随机裁剪、色域变换等方法进行数据增强，将数据量扩充至原先的3倍，提高训练模型的泛化能力和鲁棒性。然后将数据集进行归一化处理，得到统一特征分布的数据；

步骤4：将数据增强后的焊点图像输入多路卷积并进行池化操作，提取出多尺度卷积特征；然后将多尺度卷积特征经过GAP(Global Average Pooling)降维；

具体的，将焊点图像尺寸缩放为112x112，输入卷积神经网络训练，首先对焊点图像做卷积操作，卷积核尺寸为(3x3)*16，3x3是卷积核大小，16为卷积核个数，步长为1，卷积层输出的特征图尺寸为(112x112)*16。再使用平均池化进行一次下采样操作，平均池化卷积核尺寸为(2x2)*16，步长为2，池化之后得到尺寸为(56x56)*16的特征图C1；

使用三路不同操作处理特征图C1：首先使用(1x1)*32卷积对特征图C1升维，之后在进行三路不同的操作提取特征，最右边使用(5x5)卷积操作提取特征，卷积核尺寸为(5x5)*32，步长为1，输出的特征图尺寸为(56x56)*32。中间使用(3x3)卷积操作提取特征，卷积核尺寸为(3x3)*32，步长为1，输出的特征图尺寸为(56x56)*32。最左边使用(2x2)平均池化操作，池化窗口尺寸为(3x3)*32，步长为1，输出的特征图尺寸为(56x56)*32。将三路输出分别使用最大池化下采样，最大池化窗口尺寸为(2x2)*32，步长为1，对三路池化结果通过Concat操作合并，得到尺寸为(28x28)*96的融合特征图；再使用卷积操作对融合特征图进行多尺度特征提取，卷积核尺寸为(3x3)*128，步长为1，得到尺寸为(28x28)*128的特征图C2；

对特征图C2使用卷积操作提取特征，卷积核尺寸为(3x3)*256，步长为1，输出的特征图尺寸为(28x28)*256。再使用池化操作进行下采样，平均池化窗口尺寸为(2x2)*256，步长为2，得到尺寸为(14x14)*256的特征图C3。

对特征图C3使用卷积操作提取特征，卷积核尺寸为(3x3)*512，步长为1，输出的特征图尺寸为(14x14)*512。再使用池化操作进行下采样，最大池化窗口尺寸为(7x7)*512，步长为7，得到尺寸为(2x2)*512的特征图C4。

GAP层主要起到降维作用，代替卷积神经网络原始结构的全连接层，大大减少卷积神经网络的整体参数量，使用的卷积核尺寸为(2x2)*512，每个特征图得到一个向量值，最后输出一个长度维512的一维向量，再使用一个全连接层将长度512的向量映射到对应类别数4。

步骤5：通过分类器输出焊点对应类别，在原PCB焊板图像中显示每个焊点对应类别。

具体的，将步骤4输出的特征向量，经过Softmax函数分类器进行分类，按照正常、少锡、多锡、漏焊四个类别进行分类，并根据步骤2中记录的位置信息使用不同颜色矩形框标注对应类别焊点，得到全部PCB焊点分类结果。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (8)

1.一种基于卷积神经网络的PCB焊点识别方法，其特征在于，包括：

对PCB焊板图像进行基于亮度均衡的阈值分割操作；

分割出的PCB焊板图像通过形态学操作逐个截取焊点；

对切分的焊点图像进行数据增强，并归一化处理；

将数据增强后的焊点图像输入多路卷积并进行池化操作，提取出多尺度卷积特征；然后将多尺度卷积特征经过GAP(Global Average Pooling)降维；

通过分类器输出焊点对应类别，在原PCB焊板图像中显示每个焊点对应类别。

2.根据权利要求1所述一种基于卷积神经网络的PCB焊点识别方法，其特征在于，对PCB焊板图像进行基于亮度均衡的阈值分割操作，具体为：

获取PCB焊板图像的全局平均亮度；

将PCB焊板图像分成大小相同的子块，对每个子块进行扫描得到该块的平均亮度，按照每个子块的分布获得子块平均亮度矩阵，所述子块平均亮度矩阵中每个值都减去全局平均亮度，获得子块亮度差值矩阵；

所述子块亮度差值矩阵通过插值运算扩展到与原PCB焊板图像相同大小，获得全图像亮度差值矩阵；

将原PCB焊板图像各像素亮度值减去全图像亮度差值矩阵中对应的数值，使得图像亮度高的区域同时衰减，而亮度低的区域得到增强；

根据原PCB焊板图像中最低和最高亮度来调节每个子块像素的亮度使之符合整个亮度范围，得到亮度均衡后的PCB焊板图像。

3.根据权利要求1所述一种基于卷积神经网络的PCB焊点识别方法，其特征在于，分割出的PCB焊板图像通过形态学操作逐个截取焊点，具体为：将RGB三通道的PCB焊板图像使用OpenCV转换到HSV空间，然后利用HSV空间的饱和度(S)轴做形态学操作，通过腐蚀、膨胀、二值化、开操作方式确定原PCB焊板图像中类似焊点位置，得到图像Img1；另外对原PCB焊板图像的灰度图使用形态学操作确定焊板中不是焊点的噪声位置，得到图像Img2；将图像Img1与图像Img2使用OpenCV中掩码操作去除噪点位置，确定全部焊点位置，得到图像Img3；对原PCB焊板图像和图像Img3使用掩码操作，确定原PCB焊板图像中焊点位置，使用焊点位置对应的最小矩形框进行图像截取，得到每个焊点对应的RGB彩色图像。

4.根据权利要求1所述一种基于卷积神经网络的PCB焊点识别方法，其特征在于，对切分的焊点图像进行数据增强，并归一化处理，具体为：使用旋转、随机裁剪、色域变换方式进行数据增强，将数据量扩充至原来的N倍，然后进行归一化处理，得到统一特征分布的数据。

5.根据权利要求1所述一种基于卷积神经网络的PCB焊点识别方法，其特征在于，将数据增强后的焊点图像输入多路卷积并进行池化操作，提取出多尺度卷积特征，具体为：

数据增强后的焊点图像经过一层卷积和一层平均池化操作提取特征，得到特征图C1；

所述特征图C1通过两路不同卷积和一路池化进行特征提取，在两路卷积和一路池化的第一层做升维操作，第二层进行特征提取；三路数据通过Concat操作合并，并通过一层卷积完成特征融合，得到特征图C2；

所述特征图C2经过一层卷积和一层平均池化提取特征，得到特征图C3；

所述特征图C3经过一层卷积和一层最大池化提取特征，得到特征图C4。

6.根据权利要求1所述一种基于卷积神经网络的PCB焊点识别方法，其特征在于，通过分类器输出焊点对应类别，在原PCB焊板图像中显示每个焊点对应类别，具体为：多尺度卷积特征经过分类器，按照正常、少锡、多锡、漏焊四个类别进行分类，并在原PCB焊板图像中使用不同颜色矩形框标注。

7.根据权利要求2所述一种基于卷积神经网络的PCB焊点识别方法，其特征在于，将PCB焊板图像分成32x32或64x64大小的相同子块；子块亮度差值矩阵通过bicubic插值运算扩展到与原PCB焊板图像相同大小。

8.根据权利要求5所述一种基于卷积神经网络的PCB焊点识别方法，其特征在于，在两路卷积和一路池化的第一层做升维操作，第二层进行特征提取，具体为：通过三路(1x1)*32卷积核升维，并将三路数据输入至(5x5)*32卷积层、(3x3)*32卷积层、(3x3)*32平均池化层进行处理。

Images