CN111798409A

CN111798409A - 一种基于深度学习的pcb缺陷数据生成方法

Info

Publication number: CN111798409A
Application number: CN202010427234.XA
Authority: CN
Inventors: 杨海东; 黄坤山; 史扬艺
Original assignee: Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute; Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Current assignee: Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute; Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Priority date: 2020-05-19
Filing date: 2020-05-19
Publication date: 2020-10-20

Abstract

本发明公开了一种基于深度学习的PCB缺陷数据生成方法，在生成器和判别器网络中，添加了BatchNorm层，Relu层用于生成器网络，LeakyRelu层用于判别器网络：设计编码器，由三层卷积层构成，编码器从输入图像中提取特征；设计转换器，由六个残差块构成，将特征向量由源域转换到目标域；设计解码器，由三层反卷积层构成；设计判别器，由五层卷积层构成；设计损失函数，损失函数包括四部分；准备训练集用于模型训练，训练网络自动修复缺陷；挑选最优迭代次数下的权重文件用于测试；使用LBP比较复原图像和测试图像，从而更准确地找到缺陷的位置；利用生成样本得到各类缺陷数据集。本发明鲁棒性强、适用面广、生成效果优越。

Description

一种基于深度学习的PCB缺陷数据生成方法

技术领域

本发明涉及PCB缺陷检测领域，尤其涉及一种基于深度学习的PCB缺陷数据生成方法。

背景技术

传统上，表面缺陷由人类目视检测，这是主观的，昂贵的，低效的和不准确的。而目前，基于机器视觉的表面缺陷检测和分类可以显著提高工业生产的效率。机器视觉系统优胜于人类视觉，但在实际生产应用中仍然存在许多问题和挑战。由于用于区分缺陷和非缺陷的传统图像特征是基于经验手动设计的，传统图像特征提取算法的特征通常处于较低的水平，在复杂的生产场景变化下，类似于照明度改变、透视失真、存在部分遮挡、产生物体变形等等，预先所提取的特征通常不足以应对各类实际生产状况，因此许多传统算法在实际生产中不再适用。

利用大量已标记的数据集，基于卷积神经网络的缺陷检测方法能够实现期望的检测效果，已经成为缺陷检测的主流方法之一。实物表面缺陷的研究集中在利用各种主流神经网络框架，包括CNN、YOLO、SSD，甚至到与语义分割相关的FCN。在搭建缺陷检测相关模型时，需要具备一定数量级的缺陷样本用于训练。

稀疏编码、字典学习、稀疏自编码等方法也可以用来检测表面缺陷，这类方法具有局限性，主要是针对那些有周期性背景纹理的图像，比如丝织品、印刷品等。

一直以来，关于缺陷的检测模型是否需要有缺陷样本参与训练，研究上从稀疏自编码、小样本学习，后来再到零样本学习，最终得出结论：大多数的工业产品表面缺陷检测是需要实际缺陷样本的，或者是人为制作的缺陷样本。

使用监督学习来检测缺陷，目前已经实践过的方法包括：将数据集分类，包括一类非缺陷图像以及其他类缺陷图像，然后用DCNN对数据集进行分类。Two-Stage方法也可以用于检测缺陷，把选择性搜索的区域和卷积神经网络结合，检测以及识别所得区域。FCN语义分割网络也可以用于检测缺陷，其中一个用于粗定位，另一个用于精定位，实现准确地绘制缺陷轮廓，并且可以实时完成。但是借助于监督学习进行缺陷检测的瓶颈在于：需要大量预先标记好的缺陷样本集。

在实际生产生活中，缺陷样本通常难以预先收集，在实际的缺陷检测应用中，通常存在许多不同的缺陷，检测标准和质量指标具有差异，这需要手动标记大量训练样本以满足特定的需求，耗费大量人力资源以及时间成本。

训练样本的类别不平衡问题是卷积神经网络应用在生产生活中的常见问题。类别不平衡不仅会影响到神经网络训练时的收敛速度，而且在训练过程中，模型会侧重于样本数量更多的正样本，而忽视样本数目较少的负样本，训练得到的模型在测试时的泛化能力也会大大降低。训练过程中的无缺陷样本和有缺陷样本的数量极不平衡，因此生成的模型可能不稳定甚至无效。

实际工业中所获取到的PCB数据集里，各类样本在数量上存在严重倾斜，无缺陷样本图像数量最充足，铜渣缺陷样本数量次之，数据量最缺乏的是开路缺陷样本，其与无缺陷样本图像在数量上相差多个数量级，在缺陷外观多变且不可预测的场景中，监督学习的检测方法通常无法达到所需的精度，所以解决类别不平衡问题对于获得高精度的PCB缺陷检测模型至关重要。

借助算法可以提升数量有限的类别样本错分的惩罚代价，并且把惩罚代价作用于目标函数中。PCB缺陷检测项目中，无缺陷样本与开路缺陷样本在数量上相差多个数量级，调试超参数时，选取到合适惩罚参数值较困难。

从数据层面出发，利用数据重采样使得训练集样本趋于类别平衡状态。对缺乏数据量的类别样本上采样，直到达到与无缺陷样本一致数目。对无缺陷样本下采样，批处理训练中，限制每批随机抽取的样本中无缺陷样本的数量。PCB缺陷检测项目中，数据量最少的开路样本数量才上千张，而无缺陷的样本数量达十万数量级，类别样本数量严重倾斜，若是仅靠复制数量有限的样本数据集来达到类别平衡，可能会导致模型过拟合。

因此，现有技术需要进一步改进和完善。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度学习的PCB缺陷数据生成方法。

本发明的目的通过下述技术方案实现：

一种基于对抗生成网络的PCB缺陷数据生成方法，该方法主要包括如下具体步骤：

1)采集工厂PCB板的无缺陷图像数据，伪造一批缺陷图，整理数据集。

2)构造解决类别样本不平衡问题的生成对抗网络模型，旨在设计一个基于两组单向GAN且实现双向生成图像的网络结构。

3)模型分为生成器和判别器。首先进行生成器模块的设计。生成器包括编码器、转换器和解码器。

4)编码器的设计。编码器输出特征图的不同通道组合了图像的不同特征。

5)转换器的设计。转换器由六个残差块组成。

6)解码器的设计。解码器由三层反卷积层构成。

7)判别器的设计。图像作为输入，预测图像是原始图像还是生成器的输出。

8)设计损失函数。损失函数由四部分组成。

9)准备模型的训练集。设置好学习率、迭代次数等参数以及保存权重文件的路径后，开始训练。

10)准备测试集，测试的目的是为得到由无缺陷PCB图转换而来的各类有缺陷PCB图像。

进一步的，步骤1)通过修图软件在无缺陷的样本数据集上手动添加一些生产中的实际缺陷，比如开路、短路、毛刺、针孔、线粗、线幼、铜渣等。为了简单起见，输入图像都规整为256*256的尺寸大小。

进一步的，步骤2)中构建的模型具有完整的循环网络结构，若只有单向的对抗生成网络，会缺少对偶的部分信息，而对偶信息能在引导模型迁移时保留图像的固有属性。

进一步的，步骤4)中编码器由三层卷积层构成。不同大小的卷积核在输入图像上移动并且提取特征，步幅大小决定图像中卷积核窗口的数量，卷积层逐层提取更高级的特征。

进一步的，步骤5)转换器结构中的每个子残差块都由两个卷积层组成，并且将部分数据直接添加到输出，确保先前图层的输入属性也可以用于后面的图层。子残差模块组合图像的相近特征，将源域图像的特征向量转换为目标域的特征向量。

进一步的，步骤6)解码器解码过程与编码方式完全相反，从特征向量重新构建低级特征，最后将低级特征转换为目标域中的图像。

进一步的，步骤7)中判别器由五层卷积层构成，前四层卷积层用于提取特征，最后一层卷积层用于分类，输出判别结果。

进一步的，步骤8)损失函数的第一部分：判别器必须允许所有类别的原始图像。第二部分：判别器要能够区分生成图像和原始图像。第三部分：生成器必须使判别器允许通过所有生成图像。第四部分：生成的图像必须保留原始图像的特性。

进一步的，步骤9)训练过程中，随着迭代次数的增加，生成器损失和判别器损失值趋向于平衡状态。

进一步的，步骤10)挑选最优迭代次数下的权重文件用于测试，使用LBP比较复原图像和测试图像，从而更准确地找到缺陷的位置，利用生成样本得到各类缺陷数据集。

本发明的工作过程和原理是：本发明提供一种基于深度学习的PCB缺陷数据生成方法，其模型不需要真实的缺陷样本以及手工标签，只需要人为通过PS技术伪造少量缺陷数据集，是一种基于正样本训练的缺陷检测模型。结合人工缺陷和数据增强方法，模型可以自动复原PCB数据集在生产中的实际缺陷，比较原始图像和复原图像的特征获得缺陷的具体位置。该模型鲁棒性强、生成效果优越，具有广泛的市场应用前景。

与现有技术相比，本发明还具有以下优点：

(1)本发明所提供的基于深度学习的PCB缺陷数据生成方法具有鲁棒性强、适用面广、生成效果优越等优点，并借助于循环一致条件，达到规范模型的作用。

(2)本发明所提供的基于深度学习的PCB缺陷数据生成方法挑选最优迭代次数下的权重文件用于测试并使用LBP比较复原图像和测试图像，从而更准确地找到缺陷的位置。

附图说明

图1是本发明所提供的基于深度学习的PCB缺陷数据生成方法的流程示意图。

图2是本发明所提供的图像生成网络生成器中的编码器的结构示意图。

图3是本发明所提供的图像生成网络生成器中的转换器的结构示意图。

图4是本发明所提供的图像生成网络转换器中的子残差块结构示意图。

图5是本发明所提供的图像生成网络生成器中的解码器的结构示意图。

图6是本发明所提供的图像生成网络判别器的结构示意图。

图7是本发明所提供的无缺陷输入图(左图)和开路生成图(右图)的对比示意图。

图8是本发明所提供的无缺陷输入图(左图)和开路生成图(右图)的对比示意图。

图9是本发明所提供的无缺陷输入图(左图)和开路生成图(右图)的对比示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明作进一步说明。

以下首先就本发明的技术术语进行解释与说明：

自编码器：一种通过无监督学习，将输入复制到输出再用于工作的人工神经网络。输入训练数据、再输出训练数据的任务可以通过不同方式对神经网络增加约束，从而使得这一任务变得极其困难。比如，限制内部表示的尺寸即可实现降维。对训练数据增加噪声，并训练自编码器使数据集能够恢复。编码即输入数据的高效表示是自编码器在限制条件下学习恒等函数的副产品。编码的维度一般远小于输入数据，使得自编码器可用于降维。自编码器可作为特征检测器应用于深度神经网络的预训练，可以随机生成与训练数据类似的数据，称作生成模型。这些添加的限制条件防止自编码器机械地将输入复制到输出，并强制它学习数据的高效表示。

生成器：主要用来学习真实图像分布从而让自身生成的图像更加真实，以“骗过”判别器。

判别器：需要对接收的图片进行真假判别。

动态均衡：生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像，对于给定图像的预测为真的概率基本接近0.5。

残差块：残差块分为两部分：直接映射部分和残差部分。在残差块中输入可以通过跨层的数据线路更快地向前传播，将块的输入和输出进行加叠，解决了模型加深而伴随的退化问题，增加一个恒等映射，将原始需要学习的函数进行转化，使得优化的难度降低。

LBP：Local Binary Pattern(局部二值模式)，具有灰度不变性和旋转不变性等优点。提取的LBP算子在每个像素点都可以得到一个LBP“编码”，记录的是每个像素点的灰度值，提取原始的LBP算子后，得到的原始LBP特征依然是“一幅图片”(记录的是每个像素点的LBP值)。LBP的应用，如纹理分类、人脸分析，一般都不将LBP图谱作为特征向量用于分类识别，而是采用LBP特征谱的统计直方图作为特征向量用于分类识别。

实施例1：

如图1至图9所示，本实施例公开了一种工厂PCB板缺陷检测中基于深度学习的PCB缺陷数据生成方法，包括如下具体实施步骤：

1)采集工厂无缺陷PCB板的图像数据集，整理数据集。

2)构造解决类别样本不平衡问题的生成对抗网络模型。设想的方法是无监督图像到图像的翻译，灵感来自基于GAN的修复和检测模型，旨在设计一个基于两组单向GAN且实现双向生成图像的网络结构。由于缺陷类别具有多种，而每一个模型只会用来生成某种特定的类别，所以需要进行类别迁移，用模型生成所有类别的缺陷数据集。

3)模型分为生成器和判别器。首先进行生成器模块的设计。生成器包括编码器、转换器和解码器。生成器接收高斯随机信号以产生图像。为了生成清晰逼真的图像，在细节和边缘部分获得更好的结果，使用跳跃连接结构来实现缺陷图像到复原图像间的转换。

5)接着是转换器的设计。转换器由六个残差块组成。编码器输出图像的不同通道组合了图像的不同特征，根据这些特征将图像的特征向量即编码从源域转换到目标域。

6)解码器的设计。解码器由三层反卷积层构成。

7)接着是判别器模块的设计。接收真图像或是假图像，判断图像是原始图像还是生成器的输出，并输出概率为真的图像。一次只判断一个N×N的图像块是否为real，类似于分类器在图像上移动，再把针对每个小块得到的结果求平均，作为这张图像的判别结果。相比判断生成的整张图像是否为real，减小了训练中的参数量。

8)设计损失函数。损失函数由四部分组成。使用L1距离表征相似程度。L1距离比L2距离更适合模糊度较小的图像。在某种程度上，GAN损失的引入会和重构误差进行竞争，但是可以改善图像质量以及重要细节。

9)将无缺陷样本放入到训练集来训练GAN模型。

10)设置好学习率、迭代次数等参数以及保存权重文件的路径后，开始训练。模型中，自动编码器只需要将原图修复到最近接近的训练样本，并不需要知道缺陷的具体形式。当训练样本附加上大量的随机缺陷时，模型能够学习重建图像的信息。实际训练过程中，手动随机产生缺陷位置、缺陷大小、灰度值、添加的缺陷块数目等参数值。

11)准备测试集，当恢复测试数据的缺陷时，将测试数据集输入到自动编码器中，获得复原图像。使用LBP算法提取测试图像和复原图像的特征，并比较测试图像每个像素的特征，其中测试图像和复原图像间特征差异很大的位置即为缺陷。

12)使用LBP比较复原图像和原始图像，从而更准确地找到缺陷的位置。

步骤1)在工业现场收集无缺陷样本较容易，可以通过修图软件在无缺陷的样本数据集上手动添加一些生产中的实际缺陷，比如开路、短路、毛刺、针孔、线粗、线幼、铜渣等。为了简单起见，输入图像都规整为256*256的尺寸大小。无需配对数据集的限制，是通过对源域图像进行两步变换：首先尝试将其映射到目标域，然后返回源域得到二次生成图像，从而消除在目标域中图像配对的要求。

步骤2)中构建的模型具有完整的循环网络结构，研究发现，GAN在图像修复和重建上具有很强大的能力，若只有单向的对抗生成网络，会缺少对偶的部分信息，即缺少了重构误差，而对偶重构误差能在引导模型迁移时保留图像的固有属性。

步骤3)中当恢复测试数据的缺陷时，若是采用不断优化生成器的输入，直至找到最佳输入，使得生成器的输出和缺陷图像的正常部分最大程度接近。使用梯度优化找最佳输入，从而进一步恢复原数据集的缺陷，这个过程需要耗费大量时间，是不切实际的。

步骤4)中编码器由三层卷积层构成。卷积网络将图像作为输入，不同大小的卷积核在输入图像上移动并且提取特征，步幅大小决定图像中卷积核窗口的数量，从卷积层中提取特征的数量可看做是用于提取不同特征的不同滤波器的数量。卷积层逐渐提取更高级的特征。

步骤5)转换器结构中的每个子残差块都由两个卷积层组成，并且将部分数据直接添加到输出，确保先前图层的输入属性也可以用于后面的图层，使得它们的输出与原始输入不会出现太大偏差，否则原始图像的特征不会保留在输出中。子残差模块组合图像的相近特征，基于这些特征，将源域图像的特征向量(即编码器的输出)转换为目标域的特征向量。

步骤6)中解码器解码过程与编码方式完全相反，以转换器输出的转换后的特征向量作为输入，从特征向量重新构建低级特征，最后将低级特征转换为目标域中的图像。

步骤7)中判别器由五层卷积层构成，前四层卷积层用于提取特征，最后一层卷积层用于分类，输出判别真假的一维结果，将解码结果转换为判别输出。

步骤8)中训练两对生成器—判别器网络。损失函数的第一部分：判别器必须允许所有类别的原始图像，即对应输出置1。通过训练判别器A，使其对A域图像的输出接近于1。同样地训练判别器B，使其对B域图像的输出接近于1。第二部分：判别器要能够区分生成图像和原始图像，所以在处理生成图像时输出为0。第三部分：生成器必须使判别器允许通过所有生成图像，也就是说最终生成器要能提高判别器对生成图像的输出值，如果判别器对生成图像的输出值尽可能接近1，则生成器的作用达到。第四部分：生成的图像必须保留原始图像的特性，如果A域到B域的生成器生成一张假图，要满足用B域到A域的生成器得以恢复成原始图像，此过程必须满足循环一致性。理论上，对抗训练可以学习和产生与目标域相同分布的输出，也即映射。然而，在足够大样本容量下，网络可以将相同的输入图像集合映射到目标域中图像的任何随机排列，其中任何学习的映射可以归纳出与目标分布匹配的输出分布。因此单独的对抗损失不能保证学习函数可以将单个输入映射到期望的输出。

步骤9)在模型的训练阶段，把人工制作出的缺陷数据集和原始无缺陷数据集一起作为输入样本输入到模型中，用于训练GAN，最终得到一个具有图像修复重建能力的网络。

步骤10)训练过程中，随着迭代次数的增加，生成器损失和判别器损失值趋向于平衡状态。训练时无需成对数据集条件，两对生成器—判别器网络构成一个环形网络。由一个A域到B域的单向GAN和一个B域到A域的单向GAN构成，当对抗生成网络达到平衡时，其中学到的生成器的表达可以认为是对于任何一个判别器都不可区分，即得到一种不变表示。在生成器和鉴别器的连续对抗中，改善生成图像的真实度。

步骤11)分析生成器和判别器损失值的变化情况，挑选最优迭代次数下的权重文件用于测试，最后得到逼真的生成结果，在测试阶段，直接使用训练好的GAN对采集到的图像进行重建修复，如果样本中存在缺陷区域，缺陷区域被训练好的模型重建出来。

步骤12)中若是采用基于图像重建实现缺陷检测，使用中间层的重建误差完成重建模块，再判断出重建图像与原始图像间存在较大差异的区域为缺陷区域。由于重建图像的细节信息上存在误差，不应直接划分重建图像和原始图像来直接得到缺陷的位置。改用LBP算法来提取特征，搜索每个像素周围最匹配的像素。原始图像和生成的复原图像茎干LBP算法处理后，得到对应的特征图。对于原始图像的特征图上每个像素点，找到复原图像的特征图上相应位置处的最近的特征值点，比较两个匹配点的特征值，差值越大，则该点是缺陷的可能性越高。最后再使用固定阈值二值化，就可以得到目标缺陷的位置。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于深度学习的PCB缺陷数据生成方法，其特征在于，包括如下具体步骤：

步骤S1：采集、整理并分类数据集；

步骤S2：设计编码器，由三层卷积层构成，编码器从输入图像中提取特征；

步骤S3：设计转换器，由六个残差块构成，将特征向量由源域转换到目标域；

步骤S4：设计解码器，由三层反卷积层构成；

步骤S5：设计判别器，由五层卷积层构成；

步骤S6：设计损失函数，损失函数包括四部分；

步骤S7：准备训练集用于模型训练，手动随机设置位置、大小、灰度值以及添加的缺陷块数量等参数值，训练网络自动修复缺陷；

步骤S8：挑选最优迭代次数下的权重文件用于测试；使用LBP比较复原图像和测试图像，从而更准确地找到缺陷的位置；利用生成样本得到各类缺陷数据集。

2.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S1还包括：在工业现场收集无缺陷样本，通过修图软件在无缺陷的样本数据集上手动添加生产中的实际缺陷，缺陷形式包括开路、短路、毛刺、针孔、线粗、线幼、铜渣；将输入图像均规整为256*256的尺寸大小；无需限制配对数据集，通过对源域图像进行两步变换获得。

3.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S2还包括：编码器输出特征图的不同通道组合了图像的不同特征，编码器由三层卷积层构成；设输入图片大小(256,256,3)，通过卷积层从图像中提取特征，从卷积层中提取特征的数量可作为用于提取不同特征的不同滤波器的数量；卷积层逐渐提取更高级的特征。

4.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S3还包括：转换器由六个残差块组成。编码器输出图像的不同通道组合了图像的不同特征，根据这些特征将图像的特征向量即编码从源域转换到目标域。

5.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S4还包括：解码器由三层反卷积层构成，以转换器输出的转换后的特征向量作为输入，从特征向量重新构建低级特征，最后将低级特征转换为目标域中的图像。

6.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S5还包括：判别器将解码结果转换为判别输出，判别器由五层卷积层构成，前四层卷积层用于提取特征，最后一层卷积层用于分类，输出一维结果。

7.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S6还包括：损失函数由四部分组成，第一部分：判别器要允许所有类别的原始图像；第二部分：判别器要拒绝所有想忽悠过关的生成图像；第三部分：生成器要使判别器允许通过所有生成图像；第四部分：生成的图像要保留原始图像的特性。

8.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S7还包括：训练时无需成对数据集条件，两对生成器—判别器网络构成一个环形网络；由一个A域到B域的单向GAN和一个B域到A域的单向GAN构成，当对抗生成网络达到平衡时，其中学到的生成器的表达可以认为是对于任何一个判别器都不可区分，即得到一种不变表示。

9.根据权利要求1所述的基于深度学习的PCB缺陷数据生成方法，其特征在于，所述步骤S8还包括：在生成器损失与判别器损失值趋向于平衡的稳定状态时停止训练，分析损失值的变化情况，挑选最优迭代次数下的权重文件用于测试，使用LBP比较复原图像和测试图像，从而更准确地找到缺陷的位置，利用生成样本得到各类缺陷数据集。