CN111126433A - 一种工厂pcb板缺陷检测中正负样本数据平衡方法 - Google Patents

Abstract

本发明公开了一种工厂PCB板缺陷检测中正负样本数据平衡方法，是一种基于对抗生成网络的PCB板正负样本分类中的数据平衡方法，该方法主要包括如下步骤：采集、整理并分类数据集；设计编码器，由五层卷积层构成，编码器从输入图像中提取特征；设计转换器，由八个残差块构成，将特征向量由源域转换到目标域；设计解码器，由五层反卷积层构成；设计判别器，由七层卷积层构成；设计损失函数，损失函数包括四部分；准备训练集用于模型训练；将得到的权重文件用于测试集，合成需要扩增的负样本。本发明鲁棒性强、适用面广、合成效果优越。借助于循环一致条件，达到规范模型的作用，在一定程度上灵活控制合成图像形状与纹理的生成效果。

Description

一种工厂PCB板缺陷检测中正负样本数据平衡方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于对抗生成网络的工厂 流水线产品中的正负样本平衡方法。

背景技术

印刷电路板(Printed Circuit Board,PCB)焊机主要用于电子行业的设 备上，工业对于PCB板有较高质量要求，因此，需要对PCB板的质量进行检 测。PCB板具有高密度、高精度、高可靠性等特点。随着PCB板层数增加， 密度增加，PCB板体积减小，使得PCB板质量检测更加困难。

在生产线上，由于焊接工艺不成熟、人工操作失误等原因，往往导致出 现焊接缺陷等质量问题，极大影响产品的使用。

在过去，基于视觉检测技术的自动光学检测(Automated Optical Inspection,AOI)技术广泛应用在电路板的生产过程。AOI技术通过相机对 PCB板扫描获取到PCB板焊点区域的图像，提取相应焊点的特征，根据提取 的特征与数据库中的标准特征对比，确定焊接缺陷类型并标示，再等待相关 人员处理。

传统检测方法存在低效问题，人工智能的出现为大规模PCB板缺陷检测 提供了可能，提出采用计算机视觉的方法对PCB板进行缺陷检测。分析输入 的图像的特征，利用卷积神经网络训练，得到具有较高分类准确率的PCB板 分类模型，从而实现快速、准确地判断PCB测试样本是否存在缺陷。

训练样本的正负样本不平衡问题是卷积神经网络应用在生产生活中的常 见问题。正负样本不平衡不仅会影响到神经网络训练时的收敛速度，而且在 训练过程中，模型会侧重于样本数量更多的正样本，而忽视样本数目较少的 负样本，训练得到的模型在测试时的泛化能力也会大大降低。

实际工业中所获取到的PCB数据集里，正负样本存在严重倾斜，完好的 正样本图像与存在缺陷的负样本图像在数量上相差多个数量级，所以解决正 负样本不平衡问题对于获得高精度的PCB缺陷检测模型至关重要。

一般而言，通常解决正负样本不平衡可以从算法层面和数据层面上入手。 若是从算法层面入手，对待正负样本不平衡，可以增加负样本错分的惩罚代 价，并将此惩罚代价体现在目标函数中。由于PCB缺陷检测项目中，没有缺 陷的正样本数量与存在缺陷的负样本在数量上相差多个数量级，调试超参数 时选取一个合适的惩罚参数值困难度很高。

从数据层面出发，利用数据重采样使得训练集样本趋于平衡状态。对负 样本上采样，不断复制负样本，直到达到与正样本一致数目。对正样本下采 样，批处理训练中，对于每批随机抽取的样本，限制正样本数。PCB缺陷检 测项目中，具有缺陷的负样本数量才上千张，而无缺陷的正样本数量达十万 数量级，可见正负样本不平衡问题是很严重的，所以若是仅靠复制负样本以 期待达到数据集平衡，也许会导致模型过拟合。

因此，现有技术需要进一步改进和完善。

发明内容

本发明的目的在于克服现有技术的不足，提供一种解决工厂流水线产品 缺陷检测中正负样本严重不平衡的数据平衡法。

本发明的目的通过下述技术方案实现：

一种工厂PCB板缺陷检测中正负样本数据平衡方法，该平衡方法主要包 括如下具体步骤：

1)采集、整理并分类数据集：采集工厂PCB板的图像数据集，整理数据 集，按照是否存在缺陷人工分类。

具体的，步骤1)数据预处理时需要设定好具体且明晰的分类规则，不 可模糊分类界限。正样本指的无缺陷的PCB图，负样本是存在缺陷的PCB图。

优选的，为了简单起见，输入图像都规整为256*256的尺寸大小。

2)构造解决正负样本不平衡问题的生成对抗网络模型，旨在设计一个基 于两组单向GAN且实现双向生成图像的网络结构。

具体的，步骤2)构建的模型具有完整的循环网络结构，若只有单向的 对抗生成网络，会缺少对偶的部分信息，而对偶信息能在引导模型迁移时保 留图像的固有属性。

3)模型分为生成器和判别器。首先进行生成器模块的设计。生成器包括 编码器、转换器和解码器。

4)设计编码器，由五层卷积层构成，编码器从输入图像中提取特征，编 码器输出特征图的不同通道组合了图像的不同特征。

具体的，步骤4)中编码器由五层卷积层构成。不同大小的卷积核在输 入图像上移动并且提取特征，步幅大小决定图像中卷积核窗口的数量，卷积 层逐层提取更高级的特征。

5)设计转换器，由八个残差块构成，将特征向量由源域转换到目标域。

具体的，步骤5)中转换器结构中的每个子残差块都由四个卷积层组成， 并且将部分数据直接添加到输出，确保先前图层的输入属性也可以用于后面 的图层。子残差模块组合图像的相近特征，将源域图像的特征向量转换为目 标域的特征向量。

6)设计解码器，由五层反卷积层构成。

具体的，步骤6)中解码器解码过程与编码方式完全相反，从特征向量 重新构建低级特征，最后将低级特征转换为目标域中的图像。具体的，以转 换器输出的转换后的特征向量作为输入，从特征向量重新构建低级特征，最 后将低级特征转换为目标域中的图像。

7)设计判别器，由七层卷积层构成，图像作为输入，预测图像是原始图 像还是生成器的输出。

具体的，步骤7)中判别器将解码结果转换为判别输出，判别器由七层 卷积层构成，前六层卷积层用于提取特征，最后一层卷积层用于分类，输出 判别结果。

8)设计损失函数，损失函数包括四部分，训练两对生成器—判别器网络。

具体的，步骤8)中损失函数的第一部分：判别器必须允许所有类别的 原始图像。第二部分：判别器要能够区分生成图像和原始图像。第三部分： 生成器必须使判别器允许通过所有生成图像。第四部分：生成的图像必须保 留原始图像的特性。

9)准备训练集用于模型训练：设置好学习率、迭代次数等参数以及保存 权重文件的路径后，开始训练。

具体的，步骤9)中训练过程中，随着迭代次数的增加，生成器损失和 判别器损失值趋向于平衡状态。

优选的，步骤9)中训练时无需成对数据集条件，两对生成器—判别器 网络构成一个环形网络。

10)将得到的权重文件用于测试集，合成需要扩增的负样本。准备测试 集，测试的目的是为得到由无缺陷PCB图转换而来的有缺陷PCB图像。

具体的，步骤10)中挑选最优迭代次数下的权重文件用于测试，最后得 到逼真的生成结果，利用合成样本解决了正负样本不平衡问题。

具体的，步骤10)在生成器损失与判别器损失值趋向于平衡的稳定状态 时停止训练，分析损失值的变化情况，挑选最优迭代次数下的权重文件用于 测试，得到逼真的合成图像，利用合成样本解决正负样本不平衡问题。

与现有技术相比，本发明还具有以下优点：

(1)本发明所提供的工厂PCB板缺陷检测中正负样本数据平衡方法具 有鲁棒性强、合成效果优越等优点，还具有广泛的市场应用前景。

(2)本发明所提供的工厂PCB板缺陷检测中正负样本数据平衡方法借 助于循环一致条件，达到规范模型的作用，在一定程度上灵活控制合成图像 形状与纹理的生成效果。

附图说明

图1是本发明所提供的正负样本平衡法的图像生成网络生成器中的编码 器的结构示意图；

图2是本发明所提供的正负样本平衡法的图像生成网络生成器中的转换 器的结构示意图；

图3是本发明所提供的正负样本平衡法的图像生成网络转换器中的子残 差块结构示意图；

图4是本发明所提供的正负样本平衡法的图像生成网络生成器中的解码 器的结构示意图；

图5是本发明正负样本平衡法的图像生成网络判别器的结构示意图；

图6、图7、图8是本发明正负样本平衡法的图像生成网络的合成结果(A 域是无缺陷PCB图，B域是有缺陷PCB图)。

图9是本发明所提供的工厂PCB板缺陷检测中正负样本数据平衡方法的 流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并 举实施例对本发明作进一步说明。

本发明的技术术语进行解释与说明：

上采样：扩大特征图，上采样有多种方法，常用的有双线性插值，把特 征图由上采样率插值出更大的特征图，特征图间上采样操作相互独立，所以 通道数不变。

下采样：缩小特征图，卷积过程中的下采样层是为了缩小图像后提取特 征，而池化下采样是为了降低图像维度。

残差块：残差块分为两部分：直接映射部分和残差部分。在残差块中输 入可以通过跨层的数据线路更快地向前传播，将块的输入和输出进行加叠， 不增加额外参数和计算量，却改善了训练速度和效果，解决了模型加深而伴 随的退化问题，即当模型加深时，模型的错误率却增加了。退化问题归结于 优化难题，当模型变复杂时，随机梯度下降的优化变得更加困难。增加一个 恒等映射，将原始需要学习的函数进行转化，使得优化的难度降低，但是不 改变函数所表达的效果。这是因为在图像处理中，残差向量编码可以通过变 形将问题分解，从而起到很好的优化训练的效果。

GAN：对抗生成网络。

实施例1：

如图1至图5所示，本实施例公开了一种工厂PCB板缺陷检测中正负样 本数据平衡方法，该平衡方法主要包括如下具体步骤：

1)采集、整理并分类数据集：采集工厂PCB板的图像数据集，整理数据 集，按照是否存在缺陷人工分类。

具体的，步骤1)数据预处理时需要设定好具体且明晰的分类规则，不 可模糊分类界限。正样本指的无缺陷的PCB图，负样本是存在缺陷的PCB图。

优选的，为了简单起见，输入图像都规整为256*256的尺寸大小。

2)构造解决正负样本不平衡问题的生成对抗网络模型，旨在设计一个基 于两组单向GAN且实现双向生成图像的网络结构。

具体的，步骤2)构建的模型具有完整的循环网络结构，若只有单向的 对抗生成网络，会缺少对偶的部分信息，而对偶信息能在引导模型迁移时保 留图像的固有属性。

3)模型分为生成器和判别器。首先进行生成器模块的设计。生成器包括 编码器、转换器和解码器。

4)设计编码器，由五层卷积层构成，编码器从输入图像中提取特征，编 码器输出特征图的不同通道组合了图像的不同特征。

具体的，步骤4)中编码器由五层卷积层构成。不同大小的卷积核在输 入图像上移动并且提取特征，步幅大小决定图像中卷积核窗口的数量，卷积 层逐层提取更高级的特征。

5)设计转换器，由八个残差块构成，将特征向量由源域转换到目标域。

具体的，步骤5)中转换器结构中的每个子残差块都由四个卷积层组成， 并且将部分数据直接添加到输出，确保先前图层的输入属性也可以用于后面 的图层。子残差模块组合图像的相近特征，将源域图像的特征向量转换为目 标域的特征向量。

6)设计解码器，由五层反卷积层构成。

具体的，步骤6)中解码器解码过程与编码方式完全相反，从特征向量 重新构建低级特征，最后将低级特征转换为目标域中的图像。具体的，以转 换器输出的转换后的特征向量作为输入，从特征向量重新构建低级特征，最 后将低级特征转换为目标域中的图像。

7)设计判别器，由七层卷积层构成，图像作为输入，预测图像是原始图 像还是生成器的输出。

具体的，步骤7)中判别器将解码结果转换为判别输出，判别器由七层 卷积层构成，前六层卷积层用于提取特征，最后一层卷积层用于分类，输出 判别结果。

8)设计损失函数，损失函数包括四部分，训练两对生成器—判别器网络。

具体的，步骤8)中损失函数的第一部分：判别器必须允许所有类别的 原始图像。第二部分：判别器要能够区分生成图像和原始图像。第三部分： 生成器必须使判别器允许通过所有生成图像。第四部分：生成的图像必须保 留原始图像的特性。

9)准备训练集用于模型训练：设置好学习率、迭代次数等参数以及保存 权重文件的路径后，开始训练。

具体的，步骤9)中训练过程中，随着迭代次数的增加，生成器损失和 判别器损失值趋向于平衡状态。

优选的，步骤9)中训练时无需成对数据集条件，两对生成器—判别器 网络构成一个环形网络。

10)将得到的权重文件用于测试集，合成需要扩增的负样本。准备测试 集，测试的目的是为得到由无缺陷PCB图转换而来的有缺陷PCB图像。

具体的，步骤10)中挑选最优迭代次数下的权重文件用于测试，最后得 到逼真的生成结果，利用合成样本解决了正负样本不平衡问题。

具体的，步骤10)在生成器损失与判别器损失值趋向于平衡的稳定状态 时停止训练，分析损失值的变化情况，挑选最优迭代次数下的权重文件用于 测试，得到逼真的合成图像，利用合成样本解决正负样本不平衡问题。

实施例2：

结合图1至图8所示，本实施例公开了一种工厂PCB板缺陷检测中正负 样本数据平衡方法，包括如下具体实施步骤：

1)采集工厂PCB板的图像数据集，整理数据集，按照是否存在缺陷人工 分类。

2)构造解决正负样本不平衡问题的生成对抗网络模型。设想的方法是无 监督图像到图像的翻译，旨在设计一个基于两组单向GAN且实现双向生成图 像的网络结构。

3)模型分为生成器和判别器。首先进行生成器模块的设计。生成器包括 编码器、转换器和解码器。

4)编码器的设计。编码器输出特征图的不同通道组合了图像的不同特征。

5)接着是转换器的设计。转换器由八个残差块组成。编码器输出图像的 不同通道组合了图像的不同特征，根据这些特征将图像的特征向量即编码从 源域转换到目标域。

6)解码器的设计。解码器由五层反卷积层构成。

7)接着是判别器模块的设计。将图像作为输入，并预测图像是原始图像 还是生成器的输出。

8)设计损失函数。损失函数由四部分组成。

9)将没有缺陷的正样本放入到训练集A，将存在缺陷的负样本放入到训 练集B。在训练之前，将负样本复制到具有和正样本一样的数据量。

10)设置好学习率、迭代次数等参数以及保存权重文件的路径后，开始 训练。

11)准备测试集，测试的目的是为得到由无缺陷PCB图转换而来的有缺 陷PCB图像。

步骤1)数据预处理时需要设定好具体且明晰的分类规则，不可模糊分 类界限，为了简单起见，输入图像都规整为256*256的尺寸大小。正样本指 的无缺陷的PCB图像，负样本是存在缺陷的PCB图像。无需配对数据集的限 制，是通过对源域图像进行两步变换：首先尝试将其映射到目标域，然后返 回源域得到二次生成图像，从而消除在目标域中图像配对的要求。

步骤2)中构建的模型具有完整的循环网络结构，若只有单向的对抗生 成网络，会缺少对偶的部分信息，即缺少了重构误差，而对偶重构误差能在 引导模型迁移时保留图像的固有属性。

步骤4)中编码器由五层卷积层构成。假定输入图片大小(256,256,3)， 卷积网络将图像作为输入，不同大小的卷积核在输入图像上移动并且提取特 征，步幅大小决定图像中卷积核窗口的数量，从卷积层中提取特征的数量可 看做是用于提取不同特征的不同滤波器的数量。卷积层逐渐提取更高级的特 征，通过编码器后，输入图像由(256,256,3)变成了输出(64,64,256)。

步骤5)转换器结构中的每个子残差块都由四个卷积层组成，并且将部 分数据直接添加到输出，确保先前图层的输入属性也可以用于后面的图层， 使得它们的输出与原始输入不会出现太大偏差，否则原始图像的特征不会保 留在输出中。子残差模块组合图像的相近特征，基于这些特征，将源域图像 的特征向量(即编码器的输出)转换为目标域的特征向量。

步骤6)中解码器解码过程与编码方式完全相反，以转换器输出的转换 后的特征向量作为输入，从特征向量重新构建低级特征，最后将低级特征转 换为目标域中的图像，大小为(256,256,3)。

步骤7)中判别器由七层卷积层构成，前六层卷积层用于提取特征，最 后一层卷积层用于分类，输出判别真假的一维结果，将解码结果转换为判别 输出。

步骤8)中训练两对生成器—判别器网络。损失函数的第一部分：判别 器必须允许所有类别的原始图像，即对应输出置1。通过训练判别器A，使其 对A域图像的输出接近于1。同样地训练判别器B，使其对B域图像的输出接 近于1。第二部分：判别器要能够区分生成图像和原始图像，所以在处理生 成图像时输出为0。第三部分：生成器必须使判别器允许通过所有生成图像， 也就是说最终生成器要能提高判别器对生成图像的输出值，如果判别器对生 成图像的输出值尽可能接近1，则生成器的作用达到。第四部分：生成的图 像必须保留原始图像的特性，如果A域到B域的生成器生成一张假图，要满 足用B域到A域的生成器得以恢复成原始图像，此过程必须满足循环一致性。 理论上，对抗训练可以学习和产生与目标域相同分布的输出，也即映射。然 而，在足够大样本容量下，网络可以将相同的输入图像集合映射到目标域中 图像的任何随机排列，其中任何学习的映射可以归纳出与目标分布匹配的输 出分布。因此单独的对抗损失不能保证学习函数可以将单个输入映射到期望 的输出。

步骤10)训练过程中，随着迭代次数的增加，生成器损失和判别器损失 值趋向于平衡状态。训练时无需成对数据集条件，两对生成器—判别器网络 构成一个环形网络。由一个A域到B域的单向GAN和一个B域到A域的单向 GAN构成，当对抗生成网络达到平衡时，其中学到的生成器的表达可以认为 是对于任何一个判别器都不可区分，即得到一种不变表示。

步骤11)分析生成器和判别器损失值的变化情况，挑选最优迭代次数下 的权重文件用于测试，最后得到逼真的生成结果，利用合成样本解决了正负 样本不平衡问题。实验过程中，源域是无缺陷的正样本，目标域是有缺陷的 负样本，最后测试完成的合成结果中，第一行是原图即源域的无缺陷PCB图， 第二行是合成的源域无缺陷PCB图的热力图，第三行是生成的无缺陷PCB图， 第四行是合成的有缺陷PCB图的热力图，第五行是合成的有缺陷PCB图，第 六行是由源域到目标域再到源域的合成热力图，第七行是由源域到目标域再 到源域的合成图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述 实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、 修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护 范围之内。

Claims (10)

1.一种工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，包括如下步骤：

步骤S1：采集、整理并分类数据集；

步骤S2：设计编码器，由五层卷积层构成，编码器从输入图像中提取特征；

步骤S3：设计转换器，由八个残差块构成，将特征向量由源域转换到目标域；

步骤S4：设计解码器，由五层反卷积层构成；

步骤S5：设计判别器，由七层卷积层构成；

步骤S6：设计损失函数，损失函数包括四部分；

步骤S7：准备训练集用于模型训练；

步骤S8：将得到的权重文件用于测试集，合成需要扩增的负样本。

2.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S1中对数据预处理的过程中需要设定好具体且明晰的分类规则，不可模糊分类界限。

3.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S2的编码器输出特征图的不同通道组合了图像的不同特征，编码器由五层卷积层构成。

4.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S3的转换器由八个残差块组成；编码器输出图像的不同通道组合了图像的不同特征，根据这些特征将图像的特征向量从源域转换到目标域。

5.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S4的解码器由五层反卷积层构成，以转换器输出的转换后的特征向量作为输入，从特征向量重新构建低级特征，最后将低级特征转换为目标域中的图像。

6.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S5的判别器将解码结果转换为判别输出，判别器由七层卷积层构成，前六层卷积层用于提取特征，最后一层卷积层用于分类，输出一维结果。

7.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S6中的损失函数由四部分组成，训练两对生成器—判别器网络，其中第一部分：判别器要允许所有类别的原始图像；第二部分：判别器要能够区分生成图像和原始图像；第三部分：生成器要使判别器允许通过所有生成图像；第四部分：生成的图像要保留原始图像的特性。

8.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S7中训练时无需成对数据集条件，两对生成器—判别器网络构成一个环形网络。

9.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S8在生成器损失与判别器损失值趋向于平衡的稳定状态时停止训练，分析损失值的变化情况，挑选最优迭代次数下的权重文件用于测试，得到逼真的合成图像，利用合成样本解决正负样本不平衡问题。

10.根据权利要求1所述的工厂PCB板缺陷检测中正负样本数据平衡方法，其特征在于，所述步骤S1中的输入图像都规整为256*256的尺寸大小。

Images