CN115661062A - 基于对抗生成网络的工业缺陷样本生成方法及系统 - Google Patents

Abstract

本发明属于深度学习技术领域，公开了一种基于对抗生成网络的工业缺陷样本生成方法，包括：构建对抗生成网络，所述对抗生成网络包括至少一个生成器网络和至少一个判别器网络；生成随机噪声z，将生成的随机噪声z通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实缺陷图像x分别进行缺陷增强得到图像y_f和y′_f；使用缺陷增强后的图像y_f和y′_f训练判别器网络，使其区分缺陷图像的真伪；更新生成器网络，使其不能区分缺陷图像的真伪，得到工业缺陷样本。通过缺陷增强算法可以增强样本数据的缺陷细节，生成具有高清晰度和高多样化的样本。

Description

基于对抗生成网络的工业缺陷样本生成方法及系统

技术领域

本发明属于深度学习样本生成技术领域，具体地涉及一种基于对抗生成网络的工业缺陷样本生成方法及系统。

背景技术

在工业生产和生活中，几乎所有产品都需要进行质检，其中一大部分的质检过程是由质检员用肉眼视觉完成对产品缺陷的检测(以下称为视检)，尤其是一些表面缺陷，比如装饰板材、金属表面、键盘表面等，这种情况在实际工业中十分常见。由于产品的多样性、缺陷的多样性，比如污水管道缺陷有污渍、锈迹、检测不方便等，大大增加了质检员的工作量和工作难度，导致人工视检效率下降且容易由于质检员的疲劳和失误导致漏检、错检等情况。随着深度学习技术的发展，基于深度学习的工业缺陷检测技术被广泛的应用于缺陷检测领域。

深度学习的实质是通过构建具有多隐层的机器学习模型和海量的训练数据，对特征进行学习，从而最终提升分类或预测的准确性和通用性。然而训练一个有效的深度学习模型，需要大量的带标注数据，海量的显卡资源，以及漫长的训练时间，而在很多工业情景中，缺陷图像的获取成本非常高，导致样本数量十分有限，难以直接用来训练深度学习模型。目前，可以利用生成对抗网络技术生成特定类型的目标样本数据，但是经典对抗生成网络生成的样本数据的缺陷细节较模糊，难以满足训练需求。

公告号CN 111127454 A公开了一种基于深度学习生成工业缺陷样本的方法，采集工业缺陷产品图片，并在工业缺陷产品图片上标注缺陷信息；构建对抗生成深度模型；根据标注的缺陷信息，在抗生成深度模型中进行对抗训练；训练获得缺陷样本；对缺陷样本进行筛选，剔除不符合预设的缺陷样本，得到工业缺陷样本。该方法可以使得缺陷特征突出，在一定程度上提高精细结构质量，但是得到的样本数据的缺陷细节仍然有待提高。

发明内容

针对上述存在的技术问题，本发明的目的是提供一种基于对抗生成网络的工业缺陷样本生成方法及系统，通过缺陷增强算法可以增强样本数据的缺陷细节，生成具有高清晰度和高多样化的样本。

本发明的技术方案是：

一种基于对抗生成网络的工业缺陷样本生成方法，包括以下步骤：

S01：构建对抗生成网络，所述对抗生成网络包括至少一个生成器网络和至少一个判别器网络；

S02：生成随机噪声z，将生成的随机噪声z通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实缺陷图像x分别进行缺陷增强得到图像y_f和y′_f；

S03：使用缺陷增强后的图像y_f和y′_f训练判别器网络，使其区分缺陷图像的真伪；

S04：更新生成器网络，使其不能区分缺陷图像的真伪，得到工业缺陷样本。

优选的技术方案中，所述步骤S02中缺陷增强算法包括：

通过傅里叶变换将伪缺陷图像和真实缺陷图像由空域转到频域；

通过带通滤波器对图像数据进行过滤，放大缺陷特征；

利用傅里叶反变换将图像转到空域。

优选的技术方案中，所述生成器网络包括一层或多层的全连接层，以及一个或多个卷积块；

所述全连接层将均匀概率分布或高斯分布映射成某一个特定分布，并生成一张分辨率较符合第一设置范围的工业缺陷图像；

每个卷积块包括一个或多个卷积层，以及一次上采样操作，将输入的分辨率较符合第一设置范围的工业缺陷图像和噪声相加，生成一张分辨率符合第二设置范围的工业缺陷图像，并丰富其上的语义内容；

得到均匀概率分布或高斯分布被生成器网络映射成工业缺陷的高清图像。

优选的技术方案中，所述判别器网络包括一个或多个卷积块，每个卷积块包括一层或多层卷积层，用于区分真实缺陷图像和生成器网络生成的伪缺陷图像。

优选的技术方案中，所述判别器网络和生成器网络采用交替训练的方式训练，目标函数如下：

其中，

表示对真实的数据分布进行采样，然后求函数logD(x)的期望，

表示从高斯噪声中进行采样，并且求log(1-D(G(z))的期望，

表示目标函数实现生成器优化，

表示最大化目标函数实现判别器优化。

优选的技术方案中，所述判别器网络和生成器网络交替训练方法，包括：

S30：固定生成器网络参数，执行判别器优化k次，判别器优化包括：

S31：从先验分布p_(z)随机生成m个随机噪声向量z；

S32：从数据集分布p_(x)里随机获取m个真实缺陷图像x；

S33：将经过数据增强的真实缺陷图像输入到判别器网络D中，计算判别器网络的损失函数时，标签设为真，然后以反向传播算法更新判别器网络；

S34：将生成的伪缺陷图像输入到判别器网络D中，计算判别器网络损失函数时，标签设为假，然后以反向传播算法更新判别器网络；

S35：使用随机梯度上升优化判别器的代价函数：

最大化代价函数；

其中，

表示对应判别器参数的梯度，i表示第i个随机噪声向量；

S40：更新k次判别器网络之后，更新1次生成器，包括以下步骤：

S41：从先验分布p_(z)随机生成m个随机噪声向量z；

S42：使用随机梯度下降优化生成器的代价函数：

最小化代价函数；

其中，

表示生成器G的参数梯度。

本发明又公开了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的基于对抗生成网络的工业缺陷样本生成方法。

本发明还公开了一种基于对抗生成网络的工业缺陷样本生成系统，包括：

对抗生成网络构建模块，构建对抗生成网络，所述对抗生成网络包括至少一个生成器网络和至少一个判别器网络；

缺陷增强模块，生成随机噪声z，将生成的随机噪声z通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实缺陷图像x分别进行缺陷增强得到图像y_f和y′_f；

判别器网络训练模块，使用缺陷增强后的图像y_f和y′_f训练判别器网络，使其区分缺陷图像的真伪；

生成器网络更新模块，更新生成器网络，使其不能区分缺陷图像的真伪，得到工业缺陷样本。

优选的技术方案中，所述缺陷增强算法包括：

通过傅里叶变换将伪缺陷图像和真实缺陷图像由空域转到频域；

通过带通滤波器对图像数据进行过滤，放大缺陷特征；

利用傅里叶反变换将图像转到空域。

优选的技术方案中，所述判别器网络和生成器网络采用交替训练的方式训练，目标函数如下：

其中，

表示对真实的数据分布进行采样，然后求函数logD(x)的期望，

表示从高斯噪声中进行采样，并且求log(1-D(G(z))的期望，

表示目标函数实现生成器优化，

表示最大化目标函数实现判别器优化。

与现有技术相比，本发明的有益效果是：

1、通过缺陷增强算法可以增强样本数据的缺陷细节，生成具有高清晰度和高多样化的样本。

2、判别器和生成器网络采用交替训练的方式，可以降低训练时间。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本实施例基于对抗生成网络的工业缺陷样本生成方法的流程图；

图2为本实施例基于对抗生成网络的工业缺陷样本生成系统的原理框图；

图3为本实施例基于对抗生成网络的工业缺陷样本生成系统的工作流程图；

图4为本实施例对抗生成网络的整体优化过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例

如图1所示，一种基于对抗生成网络的工业缺陷样本生成方法，包括以下步骤：

S01：构建对抗生成网络，所述对抗生成网络包括至少一个生成器网络和至少一个判别器网络；

S02：生成随机噪声z，将生成的随机噪声z通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实缺陷图像x分别进行缺陷增强得到图像y_f和y′_f；

S03：使用缺陷增强后的图像y_f和y′_f训练判别器网络，使其区分缺陷图像的真伪；

S04：更新生成器网络，使其不能区分缺陷图像的真伪，得到工业缺陷样本。

一较佳的实施例，步骤S02中缺陷增强算法包括：

通过傅里叶变换将伪缺陷图像和真实缺陷图像由空域转到频域；

通过带通滤波器对图像数据进行过滤，放大缺陷特征；

利用傅里叶反变换将图像转到空域。

一较佳的实施例，生成器网络包括一层或多层的全连接层，以及一个或多个卷积块；

所述全连接层将均匀概率分布或高斯分布映射成某一个特定分布，并生成一张分辨率较符合第一设置范围的工业缺陷图像；

每个卷积块包括一个或多个卷积层，以及一次上采样操作，将输入的分辨率较符合第一设置范围的工业缺陷图像和噪声相加，生成一张分辨率符合第二设置范围的工业缺陷图像，并丰富其上的语义内容；

得到均匀概率分布或高斯分布被生成器网络映射成工业缺陷的高清图像。

判别器网络包括一个或多个卷积块，每个卷积块包括一层或多层卷积层，用于区分真实缺陷图像和生成器网络生成的伪缺陷图像。

一较佳的实施例，所述判别器网络和生成器网络采用交替训练的方式训练，目标函数如下：

其中，

表示对真实的数据分布进行采样，然后求函数logD(x)的期望，

表示从高斯噪声中进行采样，并且求log(1-D(G(z))的期望，

表示目标函数实现生成器优化，

表示最大化目标函数实现判别器优化。

优选的技术方案中，所述判别器网络和生成器网络交替训练方法，包括：

S30：固定生成器网络参数，执行判别器优化k次，判别器优化包括：

S31：从先验分布p_(z)随机生成m个随机噪声向量z；

S32：从数据集分布p_(x)里随机获取m个真实缺陷图像x；

S33：将经过数据增强的真实缺陷图像输入到判别器网络D中，计算判别器网络的损失函数时，标签设为真，然后以反向传播算法更新判别器网络；

S34：将生成的伪缺陷图像输入到判别器网络D中，计算判别器网络损失函数时，标签设为假，然后以反向传播算法更新判别器网络；

S35：使用随机梯度上升优化判别器的代价函数：

最大化代价函数；

其中，

表示对应判别器参数的梯度，i表示第i个随机噪声向量；

S40：更新k次判别器网络之后，更新1次生成器，包括以下步骤：

S41：从先验分布p_(z)随机生成m个随机噪声向量z；

S42：使用随机梯度下降优化生成器的代价函数：

最小化代价函数；

其中，

表示生成器G的参数梯度。

此过程将更新生成器G的参数，让G(z)的生成结果尽可能的逼真，即D(G(z⁽ⁱ⁾)))越接近1越好，所以对应的log(1-D(G(z⁽ⁱ⁾)))将被最小化，从而最小化代价函数。

综上，通过最大化价值函数优化判别器，最小化代价函数优化生成器，不断的交替训练之后，生成模型生成的数据和真实样本一致，鉴别器D无法准确划分，即

(判别器判断任何一张样本x是否为真实样本的概率均为0.5)。

另一实施例中，一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现上述的基于对抗生成网络的工业缺陷样本生成方法。

另一实施例中，如图2所示，一种基于对抗生成网络的工业缺陷样本生成系统，其特征在于，包括：

对抗生成网络构建模块10，构建对抗生成网络，所述对抗生成网络包括至少一个生成器网络和至少一个判别器网络；

缺陷增强模块20，生成随机噪声z，将生成的随机噪声z通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实缺陷图像x分别进行缺陷增强得到图像y_f和y′_f；

判别器网络训练模块30，使用缺陷增强后的图像y_f和y′_f训练判别器网络，使其区分缺陷图像的真伪；

生成器网络更新模块40，更新生成器网络，使其不能区分缺陷图像的真伪，得到工业缺陷样本。

下面以地下管道缺陷检测为例详细说明基于对抗生成网络的工业缺陷样本生成系统的工作流程，如图3所示，包括以下步骤：

构建对抗生成网络，对抗生成网络包含一个生成器网络和一个判别器网络。

其中，生成器网络包括一层或多层的全连接层，以及一个或多个卷积块。全连接层将均匀概率分布(或高斯分布等)映射成某一个特定分布，并生成一张分辨率较低的工业缺陷图像。每个卷积块包括一个或多个卷积层，以及一次上采样操作，它能够将输入它的低分辨率图像和噪声相加，生成一张分辨率较高的图像，并丰富其上的语义内容。最终，均匀概率分布(或高斯分布等)被生成器网络映射成工业缺陷的高清图像。

其中，判别器网络包括一个或多个卷积块。每个卷积块包括一层或多层卷积层。它们的作用是逐渐降低所输入图像究竟是真实的缺陷图像，还是生成器网络生成的缺陷图像。

如图3所示，z是从高斯分布中抽取的随机噪声，通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实的缺陷图像x分别进行缺陷增强得到图像y_f和y′_f。

具体来说，通过傅里叶变换将缺陷图像和真实图像由空域转到频域，之后构造一个带通滤波器，对图像数据进行过滤。通过带通滤波后获得的频率成分对背景中的纹理有明显的抑制，并且突出缺陷成分。最后利用傅里叶反变换将图像转到空域完成图像增强。

具体的，构造带通滤波器的方法包括：

使用两个高斯滤波器进行相减，得到带通滤波器。

在完成图像增强后，使用缺陷增强后的图像y_f和y′_f训练判别器，使其尽可能区分图像的真假。循环更新k次判别器之后，更新1次生成器，使判别器尽可能区分不了真假。

如图4所示，判别器网络和生成器网络采用交替训练的方式训练，目标函数如下：

表示对真实的数据分布进行采样，然后求函数logD(x)的期望。

表示从高斯噪声中进行采样，并且求log(1-D(G(z))的期望。

上述目标函数优化更新是通过交替迭代优化判别器即生成器来实现，优化方式：

最小化目标函数实现生成器优化，最大化目标函数实现判别器优化，即包含一个最小化生成器代价函数

以及最大化判别器代价函数

的过程。

生成器的优化更新目的为模仿、建模和学习真实数据的分布规律；而判别器则是要判别输入数据是来自于真实的数据分布还是来自于生成器。通过这两个内部模型之间不断的竞争，从而提高两个模型的生成能力和判别能力。当训练完成时，生成器所生成的数据能够使判别器产生混淆，无法正确判断。即生成模型已经学到了真实数据的分布。

不断的交替训练进行之后，判别网络无法区分真实图像及生成图像。

判别器和生成器网络采用交替训练的方式：

一、执行D-step的优化K次

对于作为输入的一组图像(包含生成图y_f和真实图y′_f)，首先训练判别器，此时生成器模型参数固定。训练的目的在于使判别器模型具有可以分辨输入的图像属于真实图像还是生成器生成的图像，训练过程如下：

1)从先验分布p_(z)随机生成m个随机噪声向量z；

2)从数据集分布p_(x)里随机获取m个真实缺陷图像x；

3)把经过数据增强的真实图y′_f输入到判别器网络D中，此时计算判别器网络的损失函数时标签应该为真，然后以反向传播算法更新判别器网络；

4)把生成图输入到判别器网络D中，此时计算判别器网络损失函数时，标签应该设为假，同样地以反向传播算法更新判别器网络。

5)使用随机梯度上升优化判别器的代价函数：

表示对应判别器参数的梯度，i表示第i个随机噪声向量。D(G(z))表示判别器认为生成图像G(z)是真实图像的概率。

此过程将更新判别器D的参数，提高判别器的鉴别能力，可以准确判断输入样本是真实数据还是生成的数据。即当判别器输入为真实图像x的分布时，判别器生成概率D(x⁽ⁱ⁾)越接近1越好，对应的D(G(z⁽ⁱ⁾))越接近0越好，从而最大化代价函数。该过程对应目标函数(公式1)中的

二、执行G-step的minibatch优化1次：

1)固定判别器D的参数，随机生成噪声向量z；

2)使用随机梯度下降优化生成器的代价函数：

表示生成器G的参数梯度。

此过程将更新生成器G的参数，让G(z)的生成结果尽可能的逼真，即D(G(z⁽ⁱ⁾)))越接近1越好，所以对应的log(1-D(G(z⁽ⁱ⁾)))将被最小化，从而最小化代价函数，该过程对应目标函数(公式1)的

综上，通过最大化价值函数优化判别器，最小化代价函数优化生成器，不断的交替训练之后，生成模型生成的数据和真实样本一致，鉴别器D无法准确划分，即

(判别器判断任何一张样本x是否为真实样本的概率均为0.5)。

多次更新迭代后，理想状态下，最终判别器D无法区分图像到底是来自真实的训练样本集合，还是来自生成器G生成的样本即可，从而使模型生成的缺陷图像与真实图像更加的接近。最后，将对抗网络生成的数据与真实的数据按均匀分布进行混合，作为训练样本送入卷积神经网络进行模型训练，实现缺陷的分类与判别。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于对抗生成网络的工业缺陷样本生成方法，其特征在于，包括以下步骤：

S01：构建对抗生成网络，所述对抗生成网络包括至少一个生成器网络和至少一个判别器网络；

S02：生成随机噪声z，将生成的随机噪声z通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实缺陷图像x分别进行缺陷增强得到图像y_f和y′_f；

S03：使用缺陷增强后的图像y_f和y′_f训练判别器网络，使其区分缺陷图像的真伪；

S04：更新生成器网络，使其不能区分缺陷图像的真伪，得到工业缺陷样本。

2.根据权利要求1所述的基于对抗生成网络的工业缺陷样本生成方法，其特征在于，所述步骤S02中缺陷增强算法包括：

通过傅里叶变换将伪缺陷图像和真实缺陷图像由空域转到频域；

通过带通滤波器对图像数据进行过滤，放大缺陷特征；

利用傅里叶反变换将图像转到空域。

3.根据权利要求1所述的基于对抗生成网络的工业缺陷样本生成方法，其特征在于，所述生成器网络包括一层或多层的全连接层，以及一个或多个卷积块；

所述全连接层将均匀概率分布或高斯分布映射成某一个特定分布，并生成一张分辨率较符合第一设置范围的工业缺陷图像；

每个卷积块包括一个或多个卷积层，以及一次上采样操作，将输入的分辨率较符合第一设置范围的工业缺陷图像和噪声相加，生成一张分辨率符合第二设置范围的工业缺陷图像，并丰富其上的语义内容；

得到均匀概率分布或高斯分布被生成器网络映射成工业缺陷的高清图像。

4.根据权利要求3所述的基于对抗生成网络的工业缺陷样本生成方法，其特征在于，所述判别器网络包括一个或多个卷积块，每个卷积块包括一层或多层卷积层，用于区分真实缺陷图像和生成器网络生成的伪缺陷图像。

5.根据权利要求1所述的基于对抗生成网络的工业缺陷样本生成方法，其特征在于，所述判别器网络和生成器网络采用交替训练的方式训练，目标函数如下：

其中，

表示对真实的数据分布进行采样，然后求函数logD(x)的期望，

表示从高斯噪声中进行采样，并且求log(1-D(G(z))的期望，

表示目标函数实现生成器优化，

表示最大化目标函数实现判别器优化。

6.根据权利要求5所述的基于对抗生成网络的工业缺陷样本生成方法，其特征在于，所述判别器网络和生成器网络交替训练方法，包括：

S30：固定生成器网络参数，执行判别器优化k次，判别器优化包括：

S31：从先验分布p_(z)随机生成m个随机噪声向量z；

S32：从数据集分布p_(x)里随机获取m个真实缺陷图像x；

S33：将经过数据增强的真实缺陷图像输入到判别器网络D中，计算判别器网络的损失函数时，标签设为真，然后以反向传播算法更新判别器网络；

S34：将生成的伪缺陷图像输入到判别器网络D中，计算判别器网络损失函数时，标签设为假，然后以反向传播算法更新判别器网络；

S35：使用随机梯度上升优化判别器的代价函数：

最大化代价函数；

其中，

表示对应判别器参数的梯度，i表示第i个随机噪声向量；

S40：更新k次判别器网络之后，更新1次生成器，包括以下步骤：

S41：从先验分布p_(z)随机生成m个随机噪声向量z；

S42：使用随机梯度下降优化生成器的代价函数：

最小化代价函数；

其中，

表示生成器G的参数梯度。

7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-6任一项所述的基于对抗生成网络的工业缺陷样本生成方法。

8.一种基于对抗生成网络的工业缺陷样本生成系统，其特征在于，包括：

对抗生成网络构建模块，构建对抗生成网络，所述对抗生成网络包括至少一个生成器网络和至少一个判别器网络；

缺陷增强模块，生成随机噪声z，将生成的随机噪声z通过生成器生成伪缺陷图像G(z)，通过缺陷增强算法将伪缺陷图像G(z)和真实缺陷图像x分别进行缺陷增强得到图像y_f和y′_f；

判别器网络训练模块，使用缺陷增强后的图像y_f和y′_f训练判别器网络，使其区分缺陷图像的真伪；

生成器网络更新模块，更新生成器网络，使其不能区分缺陷图像的真伪，得到工业缺陷样本。

9.根据权利要求8所述的基于对抗生成网络的工业缺陷样本生成系统，其特征在于，所述缺陷增强算法包括：

通过傅里叶变换将伪缺陷图像和真实缺陷图像由空域转到频域；

通过带通滤波器对图像数据进行过滤，放大缺陷特征；

利用傅里叶反变换将图像转到空域。

10.根据权利要求8所述的基于对抗生成网络的工业缺陷样本生成系统，其特征在于，所述判别器网络和生成器网络采用交替训练的方式训练，目标函数如下：

其中，

表示对真实的数据分布进行采样，然后求函数logD(x)的期望，

表示从高斯噪声中进行采样，并且求log(1-D(G(z))的期望，

表示目标函数实现生成器优化，

表示最大化目标函数实现判别器优化。

Images