CN111429405A - 基于3d cnn的锡球缺陷检测方法及装置 - Google Patents

Abstract

一种基于3D CNN的锡球缺陷检测方法及装置，该方法包括：1)读取PCB板的三维重建模型，获取锡球平面的横截面并切割出检测的目标区域；2)对目标区域进行二值化与图像分割，得到单个的锡球图像数据；3)将单个锡球图像数据分类为训练、验证和测试集；4)建立基于Focal Loss损失函数和Triplet Loss损失函数的线性组合的3D CNN网络，将所得数据输入建立的CNN进行训练，得到检测网络模型，用以检测PCB锡球缺陷。相比于以往的检测网络，本发明的检测网络模型的体积更小，且具有更好的检测精度。

Description

基于3D CNN的锡球缺陷检测方法及装置

技术领域

本发明涉及计算机视觉领域，特别是一种基于3D CNN的锡球缺陷检测方法及装置。

背景技术

在电子产品生产中，缺陷检测环节对于保证产品质量的可靠性至关重要。其中，印刷电路板(PCB)是电子产品运转的基础，其上的锡球起到连接和导电的作用，因而要求其不能有较明显的形状缺陷以免影响系统性能。PCB锡球的缺陷主要可以分为两类：一是枕状变形效应(Head-In-Pillow Effect)，二是空洞效应(Void Effect)。枕状变形效应是指在焊锡的过程中上下两粒锡珠未充分熔合导致锡球冷却后形成枕头状焊点的现象，这种缺陷是由焊锡时上下锡珠之间存在空气缝隙，以及锡珠表面存在氧化层等因素导致的。空洞效应是指锡球内部存在较大中空区域的现象，如果空洞过大，也将对锡球的导电性不利。这两种常见缺陷均易导致电气连接不稳定从而引起产品的间歇性故障，因而需要在产品检测环节予以检验。然而，一方面，存在枕状变形效应的锡球由于依然与电路板具有物理和电气上的连接，因而容易被传统机器检测方法所忽视，有时甚至只能依赖于人工检验；另一方面，电子产品的电路元件密集度普遍较高，其PCB基本均采用多层设计。在对PCB进行扫描以备检测时，所得图像中元器件存在较为严重的重叠和遮挡现象。基于传统模式识别方法的缺陷检测技术对此难以达到理想的检测效果。

近年来，深度学习理论被广泛应用在计算机视觉领域。在众多深度学习算法中，卷积神经网络(CNN)在图像识别和分类任务中表现出色，藉由三维CNN可以提取出3D图像的高层次复杂特征，有利于应用在缺陷检测任务当中。但是，经典的CNN网络在数据量不足时容易出现过拟合问题，并且当供训练的正反样本数量差异较大时，容易导致模型过多地学习一种样本的特征并忽略另一方的特征(即不平衡学习现象)，从而影响模型的泛化性能。然而对于PCB检测而言，一方面训练模型需要尽可能多的PCB板的三维重建数据，但由于涉及技术保密等因素，供实验使用的PCB三维模型数据数量比较缺乏；另一方面，当下PCB的生产工艺越来越先进，导致板子中的缺陷锡球数目越来越少，过少的缺陷样本也给模型的训练增添了一定的障碍。本发明针对锡球三维样本数据量不足，以及正反样本数目不平衡的实际特点，对经典CNN算法进行了改进，使用Focal Loss和Triplet Loss设计了新的基于3DCNN的检测算法，达到了较为理想的检测效果。

发明内容

本发明的主要目的在于克服上述技术缺陷，提供一种基于3D CNN的锡球缺陷检测方法及装置。

为实现上述目的，本发明采用以下技术方案：

一种基于3D CNN的PCB锡球缺陷检测方法，包括如下步骤：

1)读取PCB板的三维重建模型，获取锡球平面的横截面并切割出检测的目标区域；

2)对目标区域进行二值化与图像分割，得到单个的锡球图像数据；

3)将步骤2)中获得的单个锡球图像数据分类为训练、验证和测试集；

4)建立基于Focal Loss损失函数和Triplet Loss损失函数的线性组合的3D CNN网络，将所得数据输入建立的CNN进行训练，得到检测网络模型，用以检测PCB锡球缺陷。

进一步地：

所述步骤1)在获取锡球分布平面的同时滤除PCB板上的元器件，具体包括：读取PCB板的三维重建模型源文件并截取其中间层部分，检测所得截面片层的边缘清晰度，选取清晰度最高的片层，然后通过基于Radon变换的形状检测切割出该片层集中分布有椭圆状锡球的目标区域。

所述步骤2)针对不同PCB板的背景色计算不同的二值化阈值，采用Otsu自适应二值化方法对PCB灰度图进行二值化；采用连通域检测的方式将目标区域分割为单独的锡球块；去除边缘的不完整锡球块和模糊块后，再次使用连通域检测对锡球块进行标号。

所述步骤3)还包括：对训练集进行基于几何变换和GAN生成对抗网络的数据增强，以增加供训练的正反样本数量。

所述步骤3)对训练集进行基于几何变换和GAN的数据增强，具体包括：对于无缺陷的锡球块，向其中添加高斯噪声和椒盐噪声；对于有缺陷的锡球块，除了添加噪声以外，还对其进行间隔为10°的旋转操作和镜像对称操作；同时将锡球块图像输入训练好的GAN网络生成更多样本图像，以加强网络模型的鲁棒性。

所述步骤4)所建立的3D CNN模型中含有四个密集连接块，每个密集连接块包括两个卷积块，能够在传递特征的同时减少深度卷积路径中的信息损失；采用步幅为2的1×1×1卷积核从而在保持有效信息不变的条件下压缩特征；网络的池化层采用全局平均池化。

所述步骤4)中，所述Focal Loss损失函数为：

式中p为缺陷概率，

为Ground Truth标签，权重系数α代表正负样本的相对数量，指数γ控制调制因子的作用大小。

所述步骤4)中，所述Triplet Loss损失函数为：

TL_cos＝max[m-similar(x，x_p)+similar(x，x_n)，0]

式中m为边界超参数，相似度函数

为

其中x为锚示例，

代表正样本特征x_p或负样本特征x_n，x(i)代表第i个维度的特征。

一种基于3D CNN的PCB锡球缺陷检测装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，所述可执行程序被所述处理器执行时，实现所述的PCB锡球缺陷检测方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，所述可执行程序被处理器执行时，实现所述的PCB锡球缺陷检测方法。。

本发明具有如下有益效果：

本发明提供了一种基于3D CNN的PCB锡球缺陷检测方法及装置，其中，对于PCB板的三维重建模型(可通过CT技术实时重建)，首先读取源文件，截取PCB板的3D模型的中间区域，获取锡球平面的横截面，并对其进行图像分割与二值化。然后将所获得的单个锡球图像数据划分为训练、验证和测试集，将所得数据输入建立的3D CNN进行训练，所采用的CNN网络使用Focal Loss和Triplet Loss损失函数的线性组合作为误差函数，最终得到的网络模型能够在较理想的精度上对PCB板的缺陷锡球进行检测。本发明的优点在于提出了一种3DCNN模型，采用并改进了基于余弦相似度的Tripet Loss和Focal Loss损失函数来解决正反训练样本数目差异较大的问题，避免了不平衡学习效应，进而提高了锡球缺陷检测的准确度。在优选方案中，本发明针对锡球数据集数量较少的特点，对训练集进行基于几何变换和GAN的数据增强，通过对其采用几何变换，混入噪声等数据增强方法，并使用GAN网络产生更多反样本，有效解决了CNN在小样本数目下容易出现的过拟合问题。

相比于其他常用的检测网络，本发明得到的检测网络模型的体积更小，且具有更好的检测精度。

附图说明

图1为本发明一种实施例的基于3D CNN的PCB锡球缺陷检测方法的流程图。

图2a为实施例中获取检测的目标区域示意图。

图2b为实施例中从3D模型中分割锡球的流程图。

图3为实施例中的数据增强示意图。

图4为实施例中的3D CNN模型结构图。

图5为实施例中的卷积层示意图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1至图5，本发明实施例提供一种基于3D CNN的PCB锡球缺陷检测方法，具体流程如下：

1)读取PCB板三维重建模型，获取锡球平面的横截面并切割出检测的目标区域。

本方法在获取锡球分布平面的同时滤除了PCB板上的元器件，其操作包括：读取PCB板三维重建模型源文件并截取其中间层部分，检测所得截面片层的边缘清晰度，选取清晰度最高的片层，然后通过基于Radon变换的形状检测切割出该片层集中分布有锡球的目标区域，即可对分布在边缘的过于模糊的锡球和分布在外围的形状不接近椭圆的电路元器件予以去除，如图2a所示。

2)对目标区域进行二值化与图像分割。

针对不同PCB板的背景色计算不同的二值化阈值，采用Otsu自适应二值化方法对PCB灰度图进行二值化。采用连通域检测的方式将目标区域分割为单独的锡球块。去除边缘的不完整锡球块和模糊块后，再次使用连通域检测对锡球块进行标号。其流程图如图2b所示。

3)将2)中获得的单个锡球图像数据分类为训练、验证和测试集，并对训练集进行基于几何变换和GAN的数据增强。

为了增加供训练的正反样本数量，本方法对数据进行了多种形式的增强，其操作包括：对于无缺陷的锡球块，向其中添加高斯噪声和椒盐噪声，如图3所示；对于有缺陷的锡球块，由于供训练的样本数量较少，除了添加噪声以外，还对其进行间隔为10°的旋转操作和镜像对称操作；同时将锡球块图像输入训练好的生成对抗网络(GAN)生成更多样本图像，以加强网络模型的鲁棒性。

4)建立基于Focal Loss和Triplet Loss的线性组合的3D CNN网络，将所得数据输入建立的CNN进行训练，得到检测网络模型。

本方法所建立的3D CNN模型中含有四个密集连接块，每个密集连接块包括两个卷积块，能够在传递特征的同时减少深度卷积路径中的信息损失，网络结构参见图4。为减少特征图的维度，采用步幅为2的1×1×1卷积核从而在保持有效信息不变的条件下压缩特征。卷积层设计了3条特征学习路径，模型在训练过程中可以选择最佳路径，确保了模型的鲁棒性，其结构如图5所示。网络的池化层采用全局平均池化代替全连接层，能够减少特征图的维度并保持有效信息不丢失，同时全局平均池化还可以降低模型参数量，避免过拟合现象。

本方法所建立的α-平衡Focal Loss损失函数定义为：

式中p为缺陷概率，

为Ground Truth标签。权重系数α代表正负样本的相对数量，可以调节正负训练样本的数量差异，当正样本数多于负样本时，取α＞0.5，本处取α＝0.75。指数γ控制调制因子的作用大小，本处取γ＝2。

所建立的Triplet Loss损失函数定义为：

TL_cos＝max[m-similar(x，x_p)+similar(x，x_n)，0]

式中m为边界超参数，设为0.2。锚示例和正/负样本之间的余弦相似度函数

定义为：

其中x为锚示例，从训练集中随机选取；

代表正样本特征x_p或负样本特征x_n；x(i)代表第i个维度的特征。Triplet Loss将最大化锚示例和正样本之间的余弦相似度，同时最小化锚示例和负样本之间的余弦相似度。

本方法所建立的总损失函数为上述两种损失函数的线性组合，即

Loss＝FL+λTL_cos

其中尺度因子λ＝1。

由于实验可用的PCB三维重建模型数据有限，可由本模型训练的锡球数据只有345个，低于通常深度学习任务所需要的数据量。为避免过拟合问题(尤其是对于全连接层而言)，本方法在模型的测试阶段中引入2个支撑向量机(SVM)模型辅助检验。测试阶段分为两步：首先，将测试集输入3D CNN获取锡球的正常概率P₀和缺陷概率P₁。同时将3D CNN输出的训练集的特征用于训练支撑向量机SVM1，随后，将测试集的特征输入SVM1得到每个数据到超平面的有符号距离d。对于3D CNN而言，P₀＞0.5视为Class 0(正常分类)，P₀≤0.5视为Class 1(缺陷分类)。而对于SVM1而言，d＜0视为Class 0，d≥0视为Class 1。为保证分类准确性，同时考虑3D CNN和SVM1的分类结果。其中，处在二者判定阈值附近的数据定义为不确定数据，将进入第二步测试阶段，与训练集数据共同训练向量机SVM2，对不确定数据进一步预测，得到最终的预测结果。具体而言，不确定数据指如下集合

U＝{x|x∈S，0.4＜P₀(x)＜0.6or|d(x)|＜0.1}

式中S表示测试集。显然，对于x∈S-U，可以得到预测结果为

实验使用了从3块PCB板子三维重建出的原始数据，分别记为PCB1，PCB2和PCB3。PCB1共含264个锡球，其中正常锡球247个，缺陷锡球17个，锡球图像尺寸为48×48×48；PCB2面积较大，为便于实验分割为4张子图，总共含1199个锡球，其中正常锡球1176个，缺陷锡球23个，锡球图像尺寸为48×48×48；PCB3同样分割为4张子图，总共含754个锡球，其中正常锡球732个，缺陷锡球22个，锡球图像尺寸为96×96×96。

将上述3张板子的原始数据分为训练、验证和测试集。训练集包括105个正常样本和10个缺陷样本；验证集包括44个正常样本和3个缺陷样本；训练集包括1708个正常样本和23个缺陷样本。对以上原始数据进行如上节所述的数据增强操作以增加可用数据量，如图3所示。

在训练阶段，设置学习率为0.0001，一次训练的样本数(batch size)为32，迭代次数为100。

定义精度(Precision)和查全率(Recall)作为模型的评价指标，即

式中，TP代表正确检测(True Positive)个数，FP代表虚警(False Positive)个数，FN代表漏检(False Negative)个数。

在所用测试集中，共有锡球1731个，其中正常锡球1708个，缺陷锡球23个。本方法同其他常见CNN检测模型在同一测试集上的精度、查全率以及模型体积等各方面指标的对比如下表所示，可见本方法相比之下达到了更高的检测准确度。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (10)

1.一种基于3D CNN的PCB锡球缺陷检测方法，其特征在于：包括如下步骤：

1)读取PCB板的三维重建模型，获取锡球平面的横截面并切割出检测的目标区域；

2)对目标区域进行二值化与图像分割，得到单个的锡球图像数据；

3)将步骤2)中获得的单个锡球图像数据分类为训练、验证和测试集；

4)建立基于Focal Loss损失函数和Triplet Loss损失函数的线性组合的3D CNN网络，将所得数据输入建立的CNN进行训练，得到检测网络模型，用以检测PCB锡球缺陷。

2.如权利要求1所述的PCB锡球缺陷检测方法，其特征在于：所述步骤1)在获取锡球分布平面的同时滤除PCB板上的元器件，具体包括：读取PCB板的三维重建模型源文件并截取其中间层部分，检测所得截面片层的边缘清晰度，选取清晰度最高的片层，然后通过基于Radon变换的形状检测切割出该片层集中分布有椭圆状锡球的目标区域。

3.如权利要求1或2所述的PCB锡球缺陷检测方法，其特征在于：所述步骤2)针对不同PCB板的背景色计算不同的二值化阈值，采用Otsu自适应二值化方法对PCB灰度图进行二值化；采用连通域检测的方式将目标区域分割为单独的锡球块；去除边缘的不完整锡球块和模糊块后，再次使用连通域检测对锡球块进行标号。

4.如权利要求1至3任一项所述的PCB锡球缺陷检测方法，其特征在于：所述步骤3)还包括：对训练集进行基于几何变换和GAN生成对抗网络的数据增强，以增加供训练的正反样本数量。

5.如权利要求4所述的PCB锡球缺陷检测方法，其特征在于：所述步骤3)对训练集进行基于几何变换和GAN的数据增强，具体包括：对于无缺陷的锡球块，向其中添加高斯噪声和椒盐噪声；对于有缺陷的锡球块，除了添加噪声以外，还对其进行间隔为10°的旋转操作和镜像对称操作；同时将锡球块图像输入训练好的GAN网络生成更多样本图像，以加强网络模型的鲁棒性。

6.如权利要求1至5任一项所述的PCB锡球缺陷检测方法，其特征在于：所述步骤4)所建立的3D CNN模型中含有四个密集连接块，每个密集连接块包括两个卷积块，能够在传递特征的同时减少深度卷积路径中的信息损失；采用步幅为2的1×1×1卷积核从而在保持有效信息不变的条件下压缩特征；网络的池化层采用全局平均池化。

7.如权利要求1至6任一项所述的PCB锡球缺陷检测方法，其特征在于：所述步骤4)中，所述Focal Loss损失函数为：

式中p为缺陷概率，

为Ground Truth标签，权重系数α代表正负样本的相对数量，指数γ控制调制因子的作用大小。

8.如权利要求1所述的PCB锡球缺陷检测方法，其特征在于：所述步骤4)中，所述Triplet Loss损失函数为：

TL_cos＝max[m-similar(x，x_p)+similar(x，x_n)，0]

式中m为边界超参数，相似度函数

为

其中x为锚示例，

代表正样本特征x_p或负样本特征x_n，x(i)代表第i个维度的特征。

9.一种基于3D CNN的PCB锡球缺陷检测装置，包括计算机可读存储介质和处理器，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被所述处理器执行时，实现如权利要求1至8任一项所述的PCB锡球缺陷检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，实现如权利要求1至8任一项所述的PCB锡球缺陷检测方法。

Images