CN114022586A - 一种基于对抗生成网络的缺陷图像生成方法 - Google Patents

Abstract

本发明属于图像处理相关技术领域，其公开了一种基于对抗生成网络的缺陷图像生成方法，方法包括以下步骤：(1)采集工件的缺陷图像及无缺陷图像以分别构建缺陷数据集及无缺陷数据集，并对缺陷数据集进行像素级标注；(2)分别构建缺陷掩码输入模块及缺陷生成对抗网络；(3)构建缺陷方向向量模块；(4)构建缺陷注意损失，缺陷注意损失包括缺陷全图损失及缺陷区域损失；(5)训练缺陷生成对抗网络以得到缺陷生成参数模型，采用该缺陷生成参数模型生成缺陷图像。本发明能够生成“以假乱真”且超越现有采样数据空间限制的缺陷图像数据集，生成缺陷图像单张图像质量高，生成缺陷图像数据集缺陷多样性好，具有生成采样数据空间之外数据的能力。

Description

一种基于对抗生成网络的缺陷图像生成方法

技术领域

本发明属于图像处理相关技术领域，更具体地，涉及一种基于对抗生成网络的缺陷图像生成方法。

背景技术

表面质量检测在制造业智能化及自动化的过程控制与质量监控中起到关键作用。近年来深度学习，尤其是卷积神经网络(CNN)的发展，其在基于计算机视觉的表面缺陷检测领域取得了长足发展。但目前工业产线获取的缺陷数据往往存在异常缺陷数据量少，缺陷多样性不足等问题。因此，基于深度学习构建的缺陷检测模型存在识别率低，泛化性差等问题，因此，需要有一种缺陷生成方法以扩充缺陷的数据量和提高缺陷数据集的多样性。

现有的缺陷图像生成方法主要包括三种思路：1.人为破坏无缺陷工件以制造缺陷样本集。2.基于数字图像处理技术对缺陷进行模拟。上述两种方法只能模拟简单缺陷并且生成缺陷的质量较低。3.基于图像生成技术GAN生成缺陷图像，上述方法无法生成采样数据之外的样本，多样性较低。因此，现有的缺陷生成方法无法满足缺陷检测的需求，研究一种新的兼顾生成质量与多样性的缺陷图像生成方法成为本领域中亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于对抗生成网络的缺陷图像生成方法，所述方法将现有缺陷图像输入到对抗生成网络中，利用对抗学习使得生成缺陷图像的分布不断逼近真实缺陷图像的分布，并构建缺陷掩码模块来控制生成缺陷的区域特征以及缺陷方向向量控制缺陷的强度特征，最终生成“以假乱真”且超越现有采样数据空间限制的缺陷图像数据集。

为实现上述目的，按照本发明的一个方面，提供了一种基于对抗生成网络的缺陷图像生成方法，所述方法主要包括以下步骤：

(1)采集工件的缺陷图像及无缺陷图像以分别构建缺陷数据集及无缺陷数据集，并对缺陷数据集进行像素级标注；

(2)分别构建缺陷掩码输入模块及缺陷生成对抗网络；训练过程中，缺陷掩码输入模块基于缺陷像素级标注对缺陷图像上的缺陷区域进行遮挡，并输入到缺陷生成对抗网络的缺陷图像生成器G中以对缺陷图像生成器G进行训练；缺陷掩码输入模块遮挡无缺陷图像的部分区域以使得对应的无缺陷图像上形成缺陷区域，进而得到生成缺陷图像，同时实现了对生成缺陷区域的控制；

(3)构建缺陷方向向量模块；

(4)构建缺陷注意损失，缺陷注意损失包括缺陷全图损失及缺陷区域损失；

(5)训练缺陷生成对抗网络以得到缺陷生成参数模型，采用该缺陷生成参数模型生成缺陷图像。

进一步地，所述缺陷方向向量模块由潜变量空间中检测超曲面的法向量构成。

进一步地，缺陷生成对抗网络包括所述缺陷图像生成器G和缺陷图像鉴别器D，其构建包括以下步骤：

3.1构建缺陷图像生成器G，所述缺陷图像生成器G的输入为被缺陷掩码输入模块进行掩码后的无缺陷图像，输出为生成缺陷图像；缺陷图像生成器G由编码器和解码器组成；

3.2构建缺陷图像鉴别器D，缺陷图像鉴别器D用于鉴别输入的缺陷图像是生成缺陷图像还是真实缺陷图像。

进一步地，缺陷方向向量模块的构建包括以下步骤：

4.1基于逻辑回归构建缺陷图像与无缺陷图像的隐变量与标签之间的映射关系，形成回归参数；

4.2对逻辑回归的参数进行归一化以构建缺陷方向向量V_d，进而得到缺陷方向向量模块。

进一步地，逻辑回归的参数表示的是空间检测超曲面的法向量。

进一步地，缺陷注意损失的构建包括以下步骤：

5.1构建缺陷全图损失，缺陷全图损失使用生成对抗损失和L1损失约束生成缺陷图像和真实缺陷图像之间的相似性；

5.2构建缺陷区域损失，具体为使用生成对抗损失、L1损失和SSIM损失约束生成缺陷区域和真实缺陷区域之间的相似性。

进一步地，步骤5.1包括以下子步骤：

5.1.1构建全图生成对抗损失：

L_image-adv(D；G)＝E(D(X_gen))²+E(1-D(X_ori))²

式中，E表示平均值，D为缺陷图像鉴别器，X_gen为生成缺陷图像，X_ori为真实缺陷图像；

5.1.2构建全图L1损失：

L_image-l1＝|X_gen-X_ori|₁。

进一步地，步骤5.2包括以下子步骤：

5.2.1使用缺陷标签遮挡已生成缺陷图像和真实缺陷图像的无缺陷区域以获取缺陷区域；

5.2.2构建生成对抗损失，对应的公式为：

L_defect-adv(D；G)＝E(D(R_gen))²+E(1-D(R_ori))²

式中，E表示平均值，D为缺陷图像鉴别器，R_gen为生成缺陷区域，R_ori为真实缺陷区域；

5.2.3构建缺陷区域L1损失约束生成图像区域R_gen和真实缺陷区域R_ori的灰度特征；

5.2.4基于SSIM约束生成缺陷区域R_gen和真实缺陷区域R_ori之间的结构相似性。

进一步地，所述缺陷图像生成器G包括输入层、编码器及解码器，编码器包括多个卷积+降采样层，解码器包括若干个卷积+上采样层。

进一步地，步骤(5)包括以下子步骤：

6.1训练缺陷图像生成器G；

6.2训练缺陷图像鉴别器D；

6.3以步骤6.1与步骤6.2进行循环迭代训练直到达到预定的迭代次数，以得到缺陷生成参数模型，并采用缺陷参数生成模型生成缺陷图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于对抗生成网络的缺陷图像生成方法主要具有以下有益效果：

1.缺陷注意损失是基于工业缺陷图像的通用特征(缺陷掩码、缺陷到非缺陷的连续变换，缺陷尺寸不一)进行构建的，只需要在对新工件或者新缺陷的数据集训练即可获取缺陷生成模型，对于不同工件或者不同缺陷的通用性较高。

2.缺陷掩码输入模块遮挡无缺陷图像的部分区域以使得对应的缺陷图像上形成缺陷区域，进而得到生成缺陷图像，同时实现了对生成缺陷区域的控制，即实现了对生成缺陷的区域和强度特征的有效控制，可以按照需求生成缺陷图像，且生成缺陷图像可以用于缺陷数据扩充以提高缺陷检测模型的准确度与鲁棒性，且生成缺陷图像的单张图像质量高，生成缺陷图像数据集的缺陷多样性好，具有生成采样数据空间之外数据的能力。

3.缺陷注意损失包括缺陷全图损失及缺陷区域损失，其是通过组合整个图像和缺陷掩码指定的缺陷区域的损失来构建的，从而在保证整体图像质量的同时提高生成的缺陷区域的质量，更加关注缺陷区域的生成，因此生成的缺陷具有高的质量；同时构建了L1损失关注灰度特征，构建SSIM损失关注结构，因此灰度与结构的分布与真实图像接近。

4.通过缺陷掩码输入模块控制生成极小缺陷，以及通过缺陷方向向量控制生成极弱缺陷，因此本方法生成现有采样数据空间之外的样本，因此生成的缺陷数据集的多样性更高。

5.所述缺陷生成网络采用对抗生成方式，通过编码器和解码器相互对抗训练以提高生成图像质量，同时通过缺陷掩码控制缺陷区域及缺陷方向向量来控制缺陷的强度以提高样本的多样性。

6.所述缺陷方向向量模块由潜变量空间中检测超曲面的法向量构成，实现对生成缺陷强度从强到弱的有效控制，从而显着增加生成缺陷的多样性，并可以生成采样数据之外的弱特征数据。

附图说明

图1是本发明提供的基于对抗生成网络的缺陷图像生成方法的流程示意图；

图2是本发明构建缺陷生成网络的结构示意图；

图3是本发明构建的柱面缺陷图像数据集的部分缺陷示意图；

图4中的(a)、(b)、(c)与(d)、(e)、(f)分别是缺陷方向向量模块的结构示意图，a)缺陷与非缺陷图像通过解码器映射到隐变量空间；(b)训练逻辑回归；(c)归一化逻辑回归参数，为缺陷方向向量；(d-f)为测试过程中基于缺陷方向向量生成新的隐变量；(d)将带有掩码的无缺陷图像映射到隐变量空间中；(e)基于缺陷方向向量测量隐变量到检测面的距离；(f)沿着缺陷方向向量插值；

图5是缺陷注意损失的结构示意图；

图6是本发明实施例构建的钩缺陷图像数据集的部分缺陷示意图，(a)、(b)、(c)与(d)、(e)、(f)分别是强特征训练集缺陷图像与弱特征测试集缺陷图像；

图7是本发明实施例生成的部分钩缺陷图像从强到弱示意图，(a-f)、(i-n)、(0-t)分别为一个生成缺陷图像从强到弱的示例；

图8是本发明实施例基于扩充数据集训练的钩缺陷分割结果，(a)缺陷图像；(b)为标签；(c)无扩充的分割结果；(d)本方法扩充后的分割结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1、图2及图3，本发明提供的基于对抗生成网络的缺陷图像生成方法，所述方法主要包括缺陷数据集构建、缺陷生成网络设计、缺陷特征控制设计、缺陷损失设计及缺陷生成模型训练。所述缺陷生成网络采用对抗生成方式，通过编码器和解码器相互对抗训练以提高生成图像质量。通过缺陷掩码控制缺陷区域及缺陷方向向量来控制缺陷的强度以提高样本的多样性。缺陷损失设计通过对缺陷整张图像和缺陷区域的综合设计损失，以提高生成缺陷质量。

本方法生成缺陷图像不需要对缺陷进行建模且适用于不同类型缺陷生成。本方法生成的缺陷图像数据具有单张缺陷图像质量高，且可以生成弱特征，小面积的边界数据的特点。此外，所述方法生成缺陷图像可以用于缺陷数据扩充以提高缺陷检测模型的准确度与鲁棒性，且生成缺陷图像的单张图像质量高，生成缺陷图像数据集的缺陷多样性好，具有生成采样数据空间之外数据的能力。

所述缺陷图像生成方法主要包括以下步骤：

步骤一，按照预设的缺陷类型采集工件的各种缺陷图像以构建缺陷数据集，并对缺陷数据集进行像素级标注；同时，采集工业现场大量无缺陷图像以构建无缺陷数据集。其中，像素级标注包括缺陷的位置、形状及边界。

步骤二，分别构建缺陷掩码输入模块及缺陷生成对抗网络。其中，训练过程中，缺陷掩码输入模块基于缺陷像素级标注对缺陷图像上的缺陷区域进行遮挡，并输入到缺陷生成对抗网络的缺陷图像生成器G中以对缺陷图像生成器G进行训练。缺陷掩码输入模块遮挡无缺陷图像的部分区域以使得对应的无缺陷图像上形成缺陷区域，由此得到生成缺陷图像，同时实现了对生成缺陷区域的控制。

缺陷生成对抗网络包括缺陷图像生成器G和缺陷图像鉴别器D，其构建步骤如下：

3.1构建缺陷图像生成器G，所述缺陷图像生成器G包括输入层、编码器及解码器，编码器包括多个卷积+降采样层，解码器包括若干个卷积+上采样层。所述缺陷图像生成器G的输入为被缺陷掩码输入模块进行掩码后的无缺陷图像，输出为生成缺陷图像。

3.2构建缺陷图像鉴别器D，其用于鉴别输入的缺陷图像是生成缺陷图像还是真实缺陷图像。所述缺陷图像鉴别器D包括输入层、学习层及输出层。对应的学习层包括若干个卷积+降采样层。当输入缺陷图像为真实缺陷图像时，所述缺陷图像鉴别器D的输出为N*N的全为1的矩阵；输入为生成缺陷图像，输出为N*N的全为0的矩阵。其中，所述缺陷图像鉴别器D保证了生成缺陷图像与真实缺陷图像之间的相似性。

步骤三，构建缺陷方向向量模块，所述缺陷方向向量模块由潜变量空间中检测超曲面的法向量构成。请参阅图4，缺陷方向向量模块的构建主要包括以下步骤：

4.1基于逻辑回归构建缺陷图像与无缺陷图像的隐变量与标签之间的映射关系，形成回归参数，逻辑回归对应的公式为：

式中，y为标签，主要为两类，有缺陷或者无缺陷；x为缺陷或者非缺陷图像的隐变量；w表示逻辑回归的参数，b表示逻辑回归的偏置。其中，逻辑回归的参数w表示的是空间检测超曲面的法向量。

4.2对逻辑回归的参数w进行归一化以构建缺陷方向向量V_d。

V_d＝norm(w)

在其他实施方式中，缺陷方向向量模块的构建包括以下步骤：

4.1训练过程中，构建缺陷方向向量Vd。

4.2测试过程中，基于缺陷方向向量生成新的隐变量。

训练过程包括如下步骤：

4.1.1使用G的编码器将真实缺陷图像X_ori映射到隐变量空间中生成X_lat。

4.1.2基于逻辑回归构建缺陷与非缺陷图像的隐变量与标签之间的映射关系，形成回归参数：

上公式表示逻辑回归。y为标签，主要为两类，有缺陷或者无缺陷；X_lat为缺陷或者非缺陷图像的隐变量。w表示逻辑回归的参数，b表示逻辑回归的偏置。其中，回归参数w表示的是空间检测超曲面的法向量。

4.1.3对逻辑回归的参数w进行归一化，构建缺陷方向向量Vd：

Vd＝norm(w)

测试过程包括如下步骤：

4.2.1将带有掩码的无缺陷图像X_free-mask映射到隐变量空间中生成隐变量X_lat；

4.2.2基于缺陷方向向量测量隐变量X_lat到检测面的距离，公式如下；

为缺陷方向向量Vd的转置，X_lat为隐变量，b为逻辑回归的偏置。

4.2.3沿着缺陷方向向量插值，以生成新的隐变量

η为0到1的随机数，X_lat为隐变量，Dis(X_lat)为隐变量X_lat到检测面的距离，V_d为缺陷方向向量。

步骤四，构建缺陷注意损失，缺陷注意损失包括缺陷全图损失及缺陷区域损失，其可以显著提高模型对缺陷区域的关注程度。请参阅图5，缺陷注意损失的构建主要包括以下步骤：

5.1构建缺陷全图损失，缺陷全图损失使用生成对抗损失和L1损失约束生成缺陷图像X_gen和真实缺陷图像X_ori之间的相似性。具体包括以下步骤：

5.1.1构建全图生成对抗损失：

L_image-adv(D；G)＝E(D(X_gen))²+E(1-D(X_ori))²

式中，E表示平均值，D为缺陷图像鉴别器，X_gen为生成缺陷图像，X_ori为真实缺陷图像。

5.1.2构建全图L1损失：

L_image-l1＝|X_gen-X_ori|₁。

5.2构建缺陷区域损失，具体为使用生成对抗损失、L1损失和SSIM损失约束生成缺陷区域R_gen和真实缺陷区域R_ori之间的相似性。具体包括以下步骤：

5.2.1使用缺陷标签遮挡已生成缺陷图像和真实缺陷图像的无缺陷区域以获取缺陷区域，所采用的公式如下：

式中，R_ori表示真实缺陷区域，X_ori表示真实缺陷图像，X_mask表示缺陷掩码；

R_gen表示真实缺陷区域，X_gen表示生成缺陷图像，X_mask表示缺陷掩码。

5.2.2构建生成对抗损失，

L_defect-adv(D；G)＝E(D(R_gen))²+E(1-D(R_ori))²

式中，E表示平均值，D为缺陷图像鉴别器，R_gen为生成缺陷图像，R_ori为真实缺陷图像。

5.2.3构建缺陷区域L1损失约束生成缺陷区域R_gen和真实缺陷区域R_ori的灰度特征：

L_defect-l1＝|R_gen-R_ori|₁。

5.2.4基于SSIM约束生成缺陷区域R_gen和真实缺陷区域R_ori之间的结构相似性；

L_defect-ssim＝1-SSIM(R_gen，R_ori)

SSIM表示结构相似性计算。

步骤五，训练缺陷生成对抗网络以得到缺陷生成参数模型，采用该缺陷生成参数模型生成缺陷图像。具体包括以下子步骤：

6.1训练缺陷图像生成器G：固定缺陷图像鉴别器D的参数，将带有缺陷掩码的缺陷图像输入到缺陷图像生成器G以生成缺陷图像，并利用反向传播更新缺陷图像生成器G的参数，使得缺陷图像鉴别器D输出为N*N的全为1的矩阵，也就是认为生成的缺陷数据为真实数据。

6.2训练缺陷图像鉴别器D：固定缺陷图像生成器G的参数，将缺陷图像生成器G生成的缺陷数据与原始缺陷图像输入到缺陷图像鉴别器D中，利用反向传播更新缺陷图像鉴别器D的参数，使得缺陷图像鉴别器D输入的数据为真实数据或者生成数据。具体来说，对于缺陷图像鉴别器D，输入为真实缺陷数据，输出为N*N的全为1的矩阵；输入为生成缺陷数据，输出为N*N的全为0的矩阵。

6.3以步骤6.1与步骤6.2进行循环迭代训练直到达到预定的迭代次数，以得到缺陷生成参数模型，并采用缺陷参数生成模型生成缺陷图像。

其中，缺陷图像生成器G的训练与缺陷图像鉴别器D的训练为一组对抗过程，使用零和博弈的思想相互竞争，最终使得缺陷图像鉴别器D无法判断输入图像是为生成缺陷图像还是真实缺陷图像，也就是生成缺陷图像可以“以假乱真”。

采用所述缺陷生成参数模型生成的缺陷图像来测试缺陷检测模型的准确度，其中，在工业现场收集并标记的缺陷图像与无缺陷图像，标记缺陷图像，并构建缺陷检测数据集，将该缺陷检测数据集按照7:3分为训练集与测试集。

具体地，首先，采用缺陷生成参数模型及无缺陷图像生成缺陷图像，接着，利用得到的生成缺陷图像扩充现有的缺陷数据集，并使用扩充后的缺陷数据集训练缺陷检测模型；最后，将测试集中的图像输入到缺陷检测模型中来测试缺陷检测模型的准确性。

本实施方式中，采用缺陷生成参数模型及无缺陷图像生成缺陷图像包括以下具体步骤：首先，构建缺陷掩码随机遮挡无缺陷图像的部分区域以生成带有掩码的无缺陷图像；接着，将带有掩码的无缺陷图像通过编码器映射到隐变量空间中。之后，基于缺陷方向向量判断隐变量到分类面之间的距离，并沿着缺陷方向向量构建全新隐变量。最后，将应变量通过解码器映射到像素空间，以得到生成缺陷图像。

以下以一个具体实施例来对本发明进行进一步的详细说明。

实施例1

请参阅图6、图7及图8，金属钩在生产过程中会产生线状缺陷，但是存在缺陷数量少，缺陷强弱不均的特点，传统的缺陷生成方法无法有效地生成质量很好的缺陷，而我们的发明可以很好的生成缺陷。换向器柱面缺陷生成包含以下步骤：

(1)构建金属钩数据集：采集各种钩缺陷构建缺陷数据集；对缺陷数据集进行像素级标注，像素级标注包括缺陷的位置，形状，边界。同时，采集工业现场大量无缺陷图像，构建无缺陷数据集。其中，对于强特征的钩缺陷放置训练集中，对于弱特征的钩缺陷放置于测试集中。

(2)构建钩缺陷掩码输入模块：训练过程中，钩缺陷掩码输入模块基于钩缺陷像素级标签对钩缺陷图像的钩缺陷区域进行遮挡，并输入到缺陷生成对抗网络的钩缺陷图像生成器G中以对钩缺陷图像生成器G进行训练。钩缺陷掩码输入模块遮挡无缺陷图像的部分区域以使得对应的钩缺陷图像上形成缺陷区域，由此得到生成缺陷钩图像，同时实现了对生成钩缺陷区域的控制。

(3)构建钩缺陷生成对抗网络，钩缺陷生成对抗网络包括钩缺陷图像生成器G和钩缺陷图像鉴别器D，其构建步骤如下：

(3-1)构建钩缺陷图像生成器G，其网络包括输入层、编码器和解码器，其中编码器包括4个卷积+降采样层，解码器包括4个卷积+上采样层。所述钩缺陷图像生成器G的输入为被钩缺陷掩码输入模块进行掩码后的无缺陷图像，输出为生成钩缺陷图像。

(3-2)构建钩缺陷图像鉴别器D，其用于鉴别输入的缺陷图像是生成缺陷图像还是真实缺陷图像。所述缺陷图像鉴别器D包括输入层、学习层及输出层。学习层包括4个卷积+降采样层。当输入为真实钩缺陷图像，输出为N*N的全为1的矩阵；输入为生成钩缺陷图像，输出为N*N的全为0的矩阵。其中，所述钩缺陷图像鉴别器D保证了生成钩缺陷图像与真实钩缺陷图像之间的相似性。

(4)构建钩缺陷方向向量模块，具体包括以下子步骤：

(4-1)基于逻辑回归构建钩缺陷图像与非钩缺陷图像的隐变量与标签之间的映射关系，形成回归参数。

(4-2)对学习到的逻辑回归的参数进行归一化以构建缺陷方向向量。

(5)构建钩缺陷注意损失，具体包括以下步骤：

(5-1)构建钩缺陷全图损失：全图损失使用L1损失约束生成钩缺陷图像和真实钩缺陷图像之间的相似性。

(5-2)构建钩缺陷区域损失，具体包括以下步骤：

(5-2-1)使用钩缺陷标签遮挡生成钩缺陷图像和真实钩缺陷图像的无缺陷区域以获取缺陷区域。

(5-2-2)基于L1和SSIM约束生成钩缺陷图像和真实钩缺陷图像之间的灰度和结构相似性。

(6)训练钩缺陷生成网络以得到缺陷生成参数模型，采用该缺陷生成参数模型生成钩缺陷图像。具体包括以下子步骤：

(6-1)训练钩缺陷图像生成器G：固定钩缺陷图像鉴别器D的参数,将带有钩缺陷掩码的缺陷图像输入至钩缺陷图像生成器G以生成钩缺陷图像，利用反向传播更新钩缺陷图像生成器G的参数，使得钩缺陷图像鉴别器D输出为N*N的全为1的矩阵，也就是认为生成的钩缺陷数据Gb(g)为真实数据。

(6-2)训练钩缺陷图像鉴别器D，固定钩缺陷图像生成器G的参数，将钩缺陷图像生成器G生成的钩缺陷数据Gb(g)与原始钩缺陷图像b输入到钩缺陷图像鉴别器D中，利用反向传播更新钩缺陷图像鉴别器D的参数，使得钩缺陷图像鉴别器D区分输入的数据为真实数据或者生成数据。具体来说，对于钩缺陷图像鉴别器D，输入为真实缺陷数据，输出为N*N的全为1的矩阵；输入为生成缺陷数据，输出为N*N的全为0的矩阵。

以上训练过程中，钩缺陷图像生成器G的训练与钩缺陷图像鉴别器D的训练为一组对抗过程，使用零和博弈的思想相互竞争，最终使得缺陷图像鉴别器D无法判断输入图像是为生成缺陷图像还是真实缺陷图像，也就是生成缺陷图像可以“以假乱真”。以步骤6.1与步骤6.2进行循环迭代训练直到达到预定的迭代次数，以得到缺陷生成参数模型，并采用缺陷参数生成模型生成缺陷图像。

采用所述缺陷生成参数模型生成的钩缺陷图像来测试缺陷检测模型的准确度，其中，在工业现场收集并标记的钩缺陷图像与无缺陷钩图像，标记钩缺陷图像，并构建缺陷检测数据集，将该缺陷检测数据集按照7:3分为训练集与测试集。

具体地，首先，采用缺陷生成参数模型及无缺陷图像生成钩缺陷图像，接着，利用得到的生成钩缺陷图像扩充现有的钩缺陷数据集，并使用扩充后的钩缺陷数据集训练缺陷检测模型；最后，将测试集中的图像输入到缺陷检测模型中来测试缺陷检测模型的准确性。

本实施方式中，采用缺陷生成参数模型及无缺陷图像生成缺陷图像包括以下具体步骤：首先，构建钩缺陷掩码随机遮挡无缺陷钩图像的部分区域以生成带有掩码的无缺陷钩图像；接着，将带有掩码的无缺陷钩图像通过编码器映射到隐变量空间中。之后，基于钩缺陷方向向量判断隐变量到分类面之间的距离，并沿着缺陷方向向量构建全新隐变量。最后，将应变量通过解码器映射到像素空间，以得到生成钩缺陷图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于对抗生成网络的缺陷图像生成方法，其特征在于，所述方法包括以下步骤：

(1)采集工件的缺陷图像及无缺陷图像以分别构建缺陷数据集及无缺陷数据集，并对缺陷数据集进行像素级标注；

(2)分别构建缺陷掩码输入模块及缺陷生成对抗网络；训练过程中，缺陷掩码输入模块基于缺陷像素级标注对缺陷图像上的缺陷区域进行遮挡，并输入到缺陷生成对抗网络的缺陷图像生成器G中以对缺陷图像生成器G进行训练；缺陷掩码输入模块遮挡无缺陷图像的部分区域以使得对应的无缺陷图像上形成缺陷区域，进而得到生成缺陷图像，同时实现了对生成缺陷区域的控制；

(3)构建缺陷方向向量模块；

(4)构建缺陷注意损失，缺陷注意损失包括缺陷全图损失及缺陷区域损失；

(5)训练缺陷生成对抗网络以得到缺陷生成参数模型，采用该缺陷生成参数模型生成缺陷图像。

2.如权利要求1所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：所述缺陷方向向量模块由潜变量空间中检测超曲面的法向量构成。

3.如权利要求1所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：缺陷生成对抗网络包括所述缺陷图像生成器G和缺陷图像鉴别器D，其构建包括以下步骤：

3.1构建缺陷图像生成器G，所述缺陷图像生成器G的输入为被缺陷掩码输入模块进行掩码后的无缺陷图像，输出为生成缺陷图像；

3.2构建缺陷图像鉴别器D，缺陷图像鉴别器D用于鉴别输入的缺陷图像是生成缺陷图像还是真实缺陷图像。

4.如权利要求1所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：缺陷方向向量模块的构建包括以下步骤：

4.1基于逻辑回归构建缺陷图像与无缺陷图像的隐变量与标签之间的映射关系，形成回归参数；

4.2对逻辑回归的参数进行归一化以构建缺陷方向向量V_d，进而得到缺陷方向向量模块。

5.如权利要求4所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：逻辑回归的参数表示的是空间检测超曲面的法向量。

6.如权利要求1所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：缺陷注意损失的构建包括以下步骤：

5.1构建缺陷全图损失，缺陷全图损失使用生成对抗损失和L1损失约束生成缺陷图像和真实缺陷图像之间的相似性；

5.2构建缺陷区域损失，具体为使用生成对抗损失、L1损失和SSIM损失约束生成缺陷区域和真实缺陷区域之间的相似性。

7.如权利要求6所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：步骤5.1包括以下子步骤：

5.1.1构建全图生成对抗损失：

L_image-adv(D；G)＝E(D(X_gen))²+E(1-D(X_ori))²

式中，E表示平均值，D为缺陷图像鉴别器，X_gen为生成缺陷图像，X_ori为真实缺陷图像；

5.1.2构建全图L1损失：

L_image-l1＝|X_gen-X_ori|₁。

8.如权利要求7所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：步骤5.2包括以下子步骤：

5.2.1使用缺陷标签遮挡已生成缺陷图像和真实缺陷图像的无缺陷区域以获取缺陷区域；

5.2.2构建生成对抗损失，对应的公式为：

L_defect-adv(D；G)＝E(D(R_gen))²+E(1-D(R_ori))²

式中，E表示平均值，D为缺陷图像鉴别器，R_gen为生成缺陷区域，R_ori为真实缺陷区域；

5.2.3构建缺陷区域L1损失约束生成图像区域R_gen和真实缺陷区域R_ori的灰度特征；

5.2.4基于SSIM约束生成缺陷区域R_gen和真实缺陷区域R_ori之间的结构相似性。

9.如权利要求1所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：所述缺陷图像生成器G包括输入层、编码器及解码器，编码器包括多个卷积+降采样层，解码器包括若干个卷积+上采样层。

10.如权利要求3所述的基于对抗生成网络的缺陷图像生成方法，其特征在于：步骤(5)包括以下子步骤：

6.1训练缺陷图像生成器G；

6.2训练缺陷图像鉴别器D；

6.3以步骤6.1与步骤6.2进行循环迭代训练直到达到预定的迭代次数，以得到缺陷生成参数模型，并采用缺陷参数生成模型生成缺陷图像。

Images