CN115661578A

CN115661578A - 一种工业缺陷图像生成方法

Info

Publication number: CN115661578A
Application number: CN202211357590.4A
Authority: CN
Inventors: 都卫东; 张中信; 杨飞
Original assignee: Focusight Technology Co Ltd
Current assignee: Focusight Technology Co Ltd
Priority date: 2022-11-01
Filing date: 2022-11-01
Publication date: 2023-01-31

Abstract

本发明涉及一种工业缺陷图像生成方法，包括以下步骤，S1、收集制作FSGAN模型数据集；S2、对数据进行数据增强以及数据归一化预处理；S3、搭建FSGAN模型生成器结构；S4、设置模型的超参数，进行模型的训练；S5、分析实验的结果。本发明能够在正样本图像上生成不同位置、不同大小、不同类别和不同样貌的缺陷，将一个正样本图像转变为一个带有缺陷的图像，可以快速的扩充缺陷样本的数量和丰富度，减少缺陷样本收集的时间。

Description

一种工业缺陷图像生成方法

技术领域

本发明涉及图像视觉处理技术领域，尤其是一种工业缺陷图像生成方法。

背景技术

深度学习模型在计算机视觉主流领域已经发展的非常成熟，但是在工业缺陷检测场景下，深度学习模型表现的并不好。训练一个深度学习模型往往需要大量且丰富的数据，在工业缺陷检测场景下，一些缺陷样貌数量较少，样貌结构单一，数据的不平衡问题制约了深度学习模型性能的提高。采用传统的数据增强方法对缺陷样本进行扩充，如对缺陷样本进行旋转、平移和添加噪声等操作，可以有效扩充缺陷样本的数量，丰富缺陷样貌。但是采用传统的数据增强方法只能在一定程度上扩充缺陷样本的数据量，扩充后的缺陷样貌与原始的缺陷样貌依然比较相似，对提升深度学习模型的性能帮助有限。

近年来，在类不平衡图像的异常检测中，对抗训练尤其是生成对抗模型 (GAN)占据了越来越重要的地位。GAN使用原始数据对生成器进行训练，生成器(Generator)产生新的样本。生成器数据和真实训练数据输入到判别器 (Discriminator)中，训练得到能正确区分数据类型的判别器。判别器和生成器相互对抗，生成器通过学习来产生更逼近真实数据的新样本，用于欺骗判别器，反之判别器也需要更好地区分生成数据与真实数据。

CGAN是在GAN基础上做的一种改进，通过给原始GAN的生成器Generator (下文简记为G)和判别器Discriminator(下文简记为D)添加额外的条件信息 y，实现条件生成模型。CGAN中额外的条件信息可以是类别标签或者其它的辅助信息。因此CGAN的提出使得GAN可以利用图像与对应的标签进行训练，并在测试阶段利用给定标签生成特定图像。

CGAN的核心操作是将条件信息加入到G和D中(其实就是G和D都加入类别标签y)。(1)原始GAN生成器输入是噪声信号，CGAN中类别标签可以和噪声信号组合作为隐空间表示；(2)原始GAN判别器输入是图像数据(真实图像和生成图像)，CGAN中同样需要将类别标签和图像数据进行拼接作为判别器输入。

在CGAN中，生成器的输入是噪声z和条件y，输出是生成样本G(z|y)，判别器的输入是训练样本x和条件y，输出是训练样本属于真实样本的概率D(x|y)。

但是，CGAN模型生成的缺陷图像中背景和缺陷都较模糊。这主要是因为 CGAN中的生成器的网络结构较浅，没有足够的表达能力生成较为真实的图像，导致生成的缺陷图像较为模糊。并且CGAN模型无法控制缺陷生成的大小和位置。CGAN模型生成器在生成缺陷图像时没有加入缺陷的位置和大小信息，仅仅加入了缺陷的类别信息，导致CGAN模型生成器只能根据类别信息生成不同类别的缺陷，但是不能控制生成缺陷的大小和位置。在工业缺陷图像中，一些缺陷出现的位置是在一个相较固定的位置范围，并不会出现在图像中的任意位置，因此这就需要控制生成器生成的缺陷在一个合理的位置，而CGAN模型生成器生成的缺陷位置虽然比较的固定，这个固定的位置可能并不是缺陷应该出现的位置。此外工业缺陷图像中的缺陷具有不同大小，直接使用CGAN模型生成器生成的缺陷大小比较固定，不能生成不同大小的缺陷。

发明内容

本发明要解决的技术问题是：提供一种工业缺陷图像生成方法，解决了在只有少量缺陷样本的情况下，生成较真实的缺陷样本，快速的扩充缺陷样本的数量和丰富度。

本发明解决其技术问题所采用的技术方案是：一种工业缺陷图像生成方法，包括以下步骤，

S1、收集制作FSGAN模型数据集；

S2、对数据进行数据增强以及数据归一化预处理；

S3、搭建FSGAN模型生成器结构；

S4、设置模型的超参数，进行模型的训练；

S5、分析实验的结果。

进一步的说，本发明所述的步骤S1中，收集不同的正样本图像，并为每一张正样本图像提供掩膜图像，每一张掩膜图像中标注了期望缺陷出现的位置和大小信息。

进一步的说，本发明所述的步骤S2中，数据增强方法包括随机的旋转、随机裁剪和高斯模糊；数据归一化方式为：X'_i＝X_i/255.0，其中，X_i是输入特征，X'_i是输出特征。

进一步的说，本发明所述的步骤S3中，FSGAN模型生成器由13个卷积层， 2个反卷积层，11个归一化层和12个激活函数层组成；输入图像送入模型后，经过3个卷归激模块，3个残差模块，2个上采样模块和4个卷归激模块后输出；其中卷归激模块由一个卷积层、一个归一化层和一个激活函数层组成；第一个卷归激模块中的卷积层的卷积核尺寸是7×7，卷积步长为1，用于提取输入特征图的特征，另外两个卷归激模块中的卷积层的卷积核尺寸是3×3，卷积步长为2，用于降采样，增大模型的感受野；残差模块由一个卷归激模块、一个卷积层和一个归一化层组成，卷积核尺寸都是3×3，卷积步长都是1，用于提取输入特征图的特征，获得高级语义特征；上采样模块由一个反卷积、一个归一化层和一个激活函数层组成，反卷积层的卷积核尺寸是4×4，卷积步长为2，用于对输入特征图进行上采样；最后的4个卷归激模块由一个卷积层、一个归一化层和一个激活函数层组成，每一个卷积核的尺寸分别是1×1、3×3、5×5和 7×7，卷积步长都是1，用于提取输入特征图的特征，使模型生成的缺陷图像更清晰。

进一步的说，本发明所述的步骤S4中，使用预训练模型权重进行模型的训练；采用SGD梯度更新策略，学习率更新规则采用固定学习率。

进一步的说，本发明所述的步骤S5中，如果生成的缺陷与真实的缺陷较为相似，则结束训练，如果生成的缺陷与真实的缺陷相差较大，则调整模型的超参数继续训练。

本发明的有益效果是，解决了背景技术中存在的缺陷，

重构了CGAN模型的结构，去掉了CGAN模型中全连接结构，加入了卷归激模块、残差模块和上采样模块，构成FSGAN模型；FSGAN模型拥有更深的网络层数，具备更大的模型容量，生成的缺陷图像更加的清晰；FSGAN模型的输入使用正样本图像、掩膜图像、噪声图像和类别图像，通过FSGAN模型直接在指定的位置生成缺陷，将一个正样本图像转变为一个带有缺陷的图像，生成的缺陷具有不同的位置、不同大小、不同类别和不同样貌，快速的扩充了数据集的数量和丰富度，不用再去生成背景，减少了模型生成缺陷图像的难度，减少了缺陷样本收集的时间。

附图说明

图1是本发明缺陷图像生成流程图；

图2是本发明FSGAN模型生成器结构图；

图3是本发明FSGAN模型的类别位置输入图像示意图。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1-图3所示的一种工业缺陷图像生成方法，包括以下步骤，

S1、收集制作FSGAN模型数据集，收集不同的正样本图像，并为每一张正样本图像提供掩膜图像，每一张掩膜图像中标注了期望缺陷出现的位置和大小信息。为每一张正样本图像提供一张类别图像，类别图像中记录了缺陷的类别。为每一张正样本图像提供一张噪声图像，噪声图像中包含随机产生的高斯噪声。结合正样本图像、掩膜图像、噪声图像和类别图像产生FSGAN模型的类别位置输入图像。产生的类别位置输入图像在送入生成器之前还需做数据预处理操作，数据预处理包括数据增强和数据归一化。产生的类别位置输入图像还需进行数据增强操作，以进一步的扩充输入图像的数量和丰富度，提升FSGAN模型生成缺陷图像的能力。由于不同类别位置输入图像数据分布不一致，还需要对输入图像做归一化操作。

S2、数据预处理包括数据增强、数据的归一化等。FSGAN模型的训练需要大量训练样本，因此采用数据增强的方法扩充FSGAN模型数据集的数量。采用的数据增强方法包括随机的旋转、随机裁剪和高斯模糊等。工业图像中的缺陷一般拥有不同的倾角，在进行数据扩充时，采用旋转的数据增强方式，倾角的取值范围是[-10,10]。工业图像中缺陷具有不同的大小，采用在原始图像上随机的裁剪一个感兴趣区域图像，再将这个感兴趣区域图像缩放到固定的大小，这样图像中的缺陷也进行了缩放。工业图像中缺陷有着不同的清晰度，采用高斯模糊的方式可以对数据集中的缺陷进行不同程度的模糊，有利于FSGAN模型对不同模糊度的缺陷的生成能力。

数据预处理是指将输入图像的取值范围归一化到[0,1]。对输入图片数据进行归一化，归一化按照如下的公式进行：

X'_i＝X_i/255.0

其中，X_i是输入特征，X'_i是输出特征。

如果没有对数据进行归一化处理，那么每一批次训练的数据的分布就有可能不一样。由于每层网络的输入数据在不断的变化，这会导致不容易找到合适的平衡点，最终使得构建的神经网络模型不容易收敛。

S3、搭建FSGAN模型生成器结构，FSGAN模型生成器结构见图2。整个FSGAN模型生成器由13个卷积层，2个反卷积层，11个归一化层和12个激活函数层组成。输入图像送入模型后，经过3个卷归激模块，3个残差模块， 2个上采样模块和4个卷归激模块后输出。其中卷归激模块由一个卷积层、一个归一化层和一个激活函数层组成。第一个卷归激模块中的卷积层的卷积核尺寸是7×7，卷积步长为1，主要用来提取输入特征图的特征，后面两个卷归激模块中的卷积层的卷积核尺寸是3×3，卷积步长为2，主要用来降采样，增大模型的感受野。残差模块由一个卷归激模块、一个卷积层和一个归一化层组成，卷积核尺寸都是3×3，卷积步长都是1，主要用来提取输入特征图的特征，获得高级语义特征。上采样模块由一个反卷积、一个归一化层和一个激活函数层组成，反卷积层的卷积核尺寸是4×4，卷积步长为2，主要用来对输入特征图进行上采样。最后的4个卷归激模块由一个卷积层、一个归一化层和一个激活函数层组成，每一个卷积核的尺寸分别是1×1、3×3、5×5和7×7，卷积步长都是1，主要用来提取输入特征图的特征，使模型生成的缺陷图像更清晰。在图 2中卷归激×3表示3个串行的卷归激模块，残差×3表示3个串行的残差模块，上采样×2表示2个串行的上采样模块，拼接表示将两个不同通道的特征拼接在一起。

FSGAN模型生成器采用了和CGAN模型生成器不一样的输入。FSGAN模型生成器的输入加入了掩膜图像，掩膜图像中标注了期望模型生成缺陷的大小和位置，FSGAN模型可以根据掩膜图像中的大小和位置信息生成缺陷图像。

FSGAN模型生成器拥有更深的网络层数，具备更大的模型容量，生成的缺陷图像更加的清晰。

CGAN模型无法控制缺陷生成的大小和位置。CGAN模型生成器在生成缺陷图像时没有加入缺陷的位置和大小信息，仅仅加入了缺陷的类别信息，导致 CGAN模型生成器只能根据类别信息生成不同类别的缺陷，但是不能控制生成缺陷的大小和位置。在工业缺陷图像中，一些缺陷出现的位置是在一个相较固定的位置范围，并不会出现在图像中的任意位置，因此这就需要控制生成器生成的缺陷在一个合理的位置，而CGAN模型生成器生成的缺陷位置虽然比较的固定，这个固定的位置可能并不是缺陷应该出现的位置。此外工业缺陷图像中的缺陷具有不同大小，直接使用CGAN模型生成器生成的缺陷大小比较固定，不能生成不同大小的缺陷。

为了解决CGAN模型无法控制缺陷生成的大小和位置的问题，FSGAN模型生成器采用了和CGAN模型生成器不一样的输入。FSGAN模型生成器的输入加入了掩膜图像，掩膜图像中标注了期望模型生成缺陷的大小和位置，FSGAN模型生成器可以根据掩膜图像中的大小和位置信息生成缺陷图像。FSGAN模型生成器的输入包括正样本图像、掩膜图像、噪声图像和类别图像，本发明称FSGAN 模型生成器的输入图像为类别位置输入图像。FSGAN模型中的类别位置输入图像结构见图3。

FSGAN模型生成器的类别位置输入图像需要用到正样本图像、掩膜图像、噪声图像和类别图像。其中，正样本图像为不包含缺陷的图像，图像中的每个像素用S_i,j表示，i表示正样本图像的高，j表示正样本图像的宽；掩膜图像为标注了缺陷位置的图像，缺陷所在位置的像素用1表示，背景所在位置的像素用0 表示；噪声图像为随机生成的高斯噪声图像，图像中的每个像素用Z_i,j表示，i 表示正样本图像的高，j表示正样本图像的宽；类别图像为包含缺陷类别的图像，图像中的每个像素用C表示。将正样本图像、掩膜图像、噪声图像和类别图像进行融合得到FSGAN模型生成器的类别位置输入图像，输入图像中的背景区域用S_i,j表示，缺陷区域用C*Z_i.j表示。FSGAN模型生成器在根据类别位置输入图像生成缺陷图像时，只需拟合缺陷区域的特征，无需拟合背景区域的特征，模型生成的缺陷图像更加的清晰，生成的缺陷与真实的缺陷较为相似。同时， FSGAN模型生成器可以根据掩膜图像中提供的缺陷位置和大小生成缺陷图像，可以控制缺陷生成的大小和位置。

S4、设置模型的超参数，进行模型的训练。模型的批处理大小设置为128，迭代次数设置为2000个epoch，学习率设置为0.0002，采用SGD梯度更新策略，学习率更新规则采用固定学习率。使用预训练模型权重进行模型的训练。

S5、分析实验的结果，如果生成的缺陷与真实的缺陷较为相似，则结束训练，如果生成的缺陷与真实的缺陷相差较大，则调整模型的超参数继续训练。

以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims

1.一种工业缺陷图像生成方法，其特征在于：包括以下步骤，

S1、收集制作FSGAN模型数据集；

S2、对数据进行数据增强以及数据归一化预处理；

S3、搭建FSGAN模型生成器结构；

S4、设置模型的超参数，进行模型的训练；

S5、分析实验的结果。

2.如权利要求1所述的一种工业缺陷图像生成方法，其特征在于：所述的步骤S1中，收集不同的正样本图像，并为每一张正样本图像提供掩膜图像，每一张掩膜图像中标注了期望缺陷出现的位置和大小信息。

3.如权利要求1所述的一种工业缺陷图像生成方法，其特征在于：所述的步骤S2中，数据增强方法包括随机的旋转、随机裁剪和高斯模糊；数据归一化方式为：X'_i＝X_i/255.0，其中，X_i是输入特征，X'_i是输出特征。

4.如权利要求1所述的一种工业缺陷图像生成方法，其特征在于：所述的步骤S3中，FSGAN模型生成器由13个卷积层，2个反卷积层，11个归一化层和12个激活函数层组成；输入图像送入模型后，经过3个卷归激模块，3个残差模块，2个上采样模块和4个卷归激模块后输出；其中卷归激模块由一个卷积层、一个归一化层和一个激活函数层组成；第一个卷归激模块中的卷积层的卷积核尺寸是7×7，卷积步长为1，用于提取输入特征图的特征，另外两个卷归激模块中的卷积层的卷积核尺寸是3×3，卷积步长为2，用于降采样，增大模型的感受野；残差模块由一个卷归激模块、一个卷积层和一个归一化层组成，卷积核尺寸都是3×3，卷积步长都是1，用于提取输入特征图的特征，获得高级语义特征；上采样模块由一个反卷积、一个归一化层和一个激活函数层组成，反卷积层的卷积核尺寸是4×4，卷积步长为2，用于对输入特征图进行上采样；最后的4个卷归激模块由一个卷积层、一个归一化层和一个激活函数层组成，每一个卷积核的尺寸分别是1×1、3×3、5×5和7×7，卷积步长都是1，用于提取输入特征图的特征，使模型生成的缺陷图像更清晰。

5.如权利要求4所述的一种工业缺陷图像生成方法，其特征在于：所述的步骤S4中，使用预训练模型权重进行模型的训练；采用SGD梯度更新策略，学习率更新规则采用固定学习率。

6.如权利要求1所述的一种工业缺陷图像生成方法，其特征在于：所述的步骤S5中，如果生成的缺陷与真实的缺陷较为相似，则结束训练，如果生成的缺陷与真实的缺陷相差较大，则调整模型的超参数继续训练。