CN117671431A - 一种工业缺陷图像生成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种工业缺陷图像生成方法、装置、设备及存储介质，涉及图像生成技术领域，包括：采集实际工业生产中产生的缺陷图像得到实际缺陷图像，并将实际缺陷图像输入至预先创建的目标生成对抗网络中，以利用生成器和判别器生成与实际缺陷图像相似的伪造缺陷图像；生成器由多个上采样层、特征提取层和特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，特征提取层采用非对称卷积结构；判别器采用全尺度跳跃连接方式的DenseNet网络。本申请通过采用非对称卷积结构的生成器以及采用全尺度跳跃连接方式的判别器生成与实际缺陷图像相似的伪造缺陷图像，能够生成高质量的工业缺陷图像，并提高图像生成的效率。

Description

一种工业缺陷图像生成方法、装置、设备及存储介质

技术领域

本申请涉及图像生成技术领域，特别涉及一种工业缺陷图像生成方法、装置、设备及存储介质。

背景技术

工业缺陷图像生成技术主要应用于提高计算机视觉系统在工业检测方面的性能，目前通常通过深度学习来模拟和生成工业缺陷图像。然而，由于生产线的良率较高，要采集到大量的缺陷图像是一件很困难的事，因此生成足够多样性和真实的缺陷样本以训练缺陷识别模型是一个重要的挑战。

目前，主流的工业缺陷图像生成方法有以下几种：①基于特征统计的方法：利用机器学习算法对缺陷进行建模，并通过对图像特征的统计描述来生成缺陷。例如，使用支持向量机（SVM，Support Vector Machine）对缺陷进行分类；②基于样本生成的方法：通过对已知缺陷进行建模，然后利用模型生成新的缺陷。例如，使用循环神经网络（RNN，RecurrentNeural Network）对缺陷进行建模，然后通过反向传播算法（BP，Back Propagation）生成新的缺陷。③基于生成对抗网络的方法：使用生成对抗网络（GAN，Generative AdversarialNetworks）来模拟缺陷的生成过程，其中，GAN由两个神经网络组成，一个是生成器，另一个是判别器，生成器的任务是生成与真实数据相似的缺陷图像，而判别器的任务是区分真实图像和生成图像，通过不断调整生成器和判别器的参数，最终可以得到与真实缺陷相似的图像。上述三种工业缺陷图像生成方法中GAN使用的最为广泛，由GAN生成的工业缺陷图像的多样性更加丰富，能够有效缓解数据长尾分布的问题。

然而，上述生成对抗网络的工业缺陷图像生成方法存在图像生成耗时严重的问题，具体原因为：为提高生成图像的质量，生成器的结构非常复杂，如大量使用跳跃连接、分支结构和深度可分离卷积等，虽然这种结构能极大改善图像的质量，但对于CPU（CentralProcessing Unit，中央处理器）/GPU（Graphics Processing Unit，图形处理器）等硬件设备并不友好，会导致负载过高、无法并行运算等问题，使得计算效率低下，无法在短时间内生成所需的工业缺陷图像。

发明内容

有鉴于此，本申请的目的在于提供一种工业缺陷图像生成方法、装置、设备及存储介质，能够生成高质量的工业缺陷图像，并提高图像生成的效率。其具体方案如下：

第一方面，本申请公开了一种工业缺陷图像生成方法，包括：

采集实际工业生产中产生的缺陷图像，得到实际缺陷图像；

将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；

所述方法，还包括：采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

可选的，所述工业缺陷图像生成方法，还包括：

将随机生成的噪点数据依次经过所述生成器中的所述上采样层、所述特征提取层和所述特征门控层中，以生成预设分辨率的图像；

将所述预设分辨率的图像输入至所述判别器中，以对所述预设分辨率的图像进行特征提取得到特征提取结果，并根据所述特征提取结果以及先验知识对所述预设分辨率的图像的真伪进行判别得到判别结果，再将所述判别结果返回至所述生成器，以通过反向传播更新所述生成器的权重参数。

可选的，所述利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像，包括：

利用所述实际缺陷图像对所述目标生成对抗网络中的判别器进行训练，得到训练后的判别器；

通过所述训练后的判别器指导所述目标生成对抗网络中的生成器生成与所述实际缺陷图像相似的伪造缺陷图像。

可选的，所述生成器和所述判别器的对抗目标为价值函数最小化最大值。

可选的，所述生成器中的各个所述上采样层均采用双线性插值法进行上采样。

第二方面，本申请公开了一种工业缺陷图像生成装置，包括：

缺陷图像采集模块，用于采集实际工业生产中产生的缺陷图像，得到实际缺陷图像；

缺陷图像生成模块，用于将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；

所述装置法，还用于采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述的工业缺陷图像生成方法。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述的工业缺陷图像生成方法。

可见，本申请先采集实际工业生产中产生的缺陷图像得到实际缺陷图像，然后将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；并采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。本申请通过预先创建的生成对抗网络生成与实际缺陷图像相似的伪造缺陷图像，该生成对抗网络中的生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，其中，特征提取层采用非对称卷积结构，特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径，并通过结构重参数化方式进行参数重表示，判别器采用全尺度跳跃连接方式的DenseNet网络，另外，模型还采用2×2池化和4×4池化的下采样方式对判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对判别器中尺度一致且不同稠密块的特征图进行拼接，能够生成高质量的工业缺陷图像，并提高图像生成的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种工业缺陷图像生成方法流程图；

图2为本申请公开的一种具体的生成器结构示意图；

图3为本申请公开的一种具体的结构重参数方式计算过程示意图；

图4为本申请公开的一种具体的判别器结构示意图；

图5为本申请公开的一种工业缺陷图像生成装置结构示意图；

图6为本申请公开的一种电子设备结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种工业缺陷图像生成方法，参见图1所示，该方法包括：

步骤S11：采集实际工业生产中产生的缺陷图像，得到实际缺陷图像。

可以理解的是，实际工业生产中产生的缺陷图像良率较高，缺陷图像的多样性相对不足，为了生成足够多样性和真实的缺陷样本以训练缺陷识别模型，本实施例先对实际工业生产中产生的缺陷类型较少的缺陷图像进行采集，得到实际缺陷图像。

步骤S12：将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；并采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

本实施例中，采集到实际工业生产中产生的缺陷图像之后，将上述实际缺陷图像输入至预先创建的包含生成器和判别器的目标生成对抗网络中，从而通过所述目标生成对抗网络中的生成器和判别器生成与上述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化（Structural Re-Parameters）的方式对模型参数进行重新表示，即将原来的模型参数表示转化为一个新的模型参数表示，从而使模型更易于训练和优化；所述特征提取层采用非对称卷积结构，所述判别器采用全尺度跳跃连接方式的DenseNet网络，并且，所述特征门控层采用门控的方法对特征进行重标定，具体包括基于恒等映射的第一路径以及包含全局平均池化层（GAP，Global Average Pooling）、卷积层和权重归一化层（WN，WeightNormalization）的第二路径。例如，参见图2所示，图2示出了一种具体的生成器结构，该结构中包括5个上采样层和4个阶段，其中，每个阶段均包含特征提取层和特征门控层，当输入的实际缺陷图像的像素为1×1时，经过前4个上采样层后输出的图像像素依次为4×4、16×16、64×64、256×256，最终再经过1个上采样层后输出的图像像素为512×512。本实施例中，为了提高生成器的稳定性，特征提取层采用了非对称卷积结构并结合标准的3×3卷积，另外，为了提升生成器在推理时的运行速度，通过结构重参数化的方式对生成器的模型参数进行重新表示。需要指出的是，特征提取层在生成伪造缺陷图像的过程中，由于使用了结构重参数化方式对模型参数进行重新表示，故又可以分为训练阶段和推理阶段，其中，训练阶段在进行训练的过程中，先将输入数据分别发送至4条路径，分别为路径_1、路径_2、路径_3和路径_4，通过路径_1时使用1×1卷积对输入数据进行特征提取得到第一特征提取结果，接着第一特征提取结果又进入两条路径，一条路径直接通往Add层，另一条路径_5则与路径_2的数据进行相加，相加后的结果使用1×3卷积进行特征提取得到第二特征提取结果，第二特征提取结果又进入两条路径，一条路径直接通往Add层，另一条路径_6则与路径_3的数据进行相加，相加后的结果使用3×1卷积进行特征提取得到第三特征提取结果，第三特征提取结果又进入两条路径，一条路径直接通往Add层，另一条路径_7则与路径_4的数据进行相加，相加后的结果直接进入Add层；其中，1×3和3×1卷积是非对称卷积，相比直接使用3×3卷积进行特征提取，加入非对称卷积可以使模型更加稳定的伪造缺陷图像，提高特征的提取能力。最终，Add层将4条路径的数据进行相加，用于融合多尺度信息；可以理解的是，随着数据逐层相加，感受野将不断扩大。在推理阶段，特征提取层中的卷积核权重将会全部融合到3×3卷积上，具体的，参见图3所示，通过结构重参数化对模型参数进行重新表示时会形成一个单分支结构，单分支结构在推理速度上远高于多分支结构。进一步的，为了提高生成的造缺陷图像的丰富性及生成图像的质量，特征门控层采用了无sigmoid函数的特征门控的方法对特征进行重标定，并且该特征门控层中包括两条路径，一条为基于恒等映射的路径，另一条为包含全局平均池化层、卷积层和权重归一化层的路径具体的。具体的，参见图2所示，特征门控层由两条路径组成，其中，路径_1是恒等映射，对数据不做处理；路径_2先将输入数据经过至一层全局平均池化层，用于获取全局性的通道信息，然后进入一层1×1卷积层，用于学习如何识别重要特征，再进入一层权重归一化层，用于筛选出重要特征，接着将筛选出的重要特征与路径_1的数据逐像素相乘，从而获得相对重要的通道。相对于传统的采用sigmiod函数进行特征筛选的方法，由于sigmoid函数中含有指数运算，而指数运算对于CPU/GPU等硬件设备并不友好，它会大大降低计算效率，而本申请未使用sigmiod函数，因此对CPU/GPU等硬件设备更加友好，计算速度更快。其中，权重归一化层（即Norm）的计算公式如下所示：

；

其中，N为归一化层Norm的输出，为第i个通道经过1×1卷积层计算后的值，为第i个通道经过L2范数计算后的值，C为输入的通道总数，/>为所有输入通道L2范数的和。

在一种具体的实施方式中，所述生成器中的各个所述上采样层均采用双线性插值法进行上采样。例如，图2中的5个上采样层均采用双线性插值法（BilinearInterpolation）对图像进行上采样；其中，前4个可以采用4倍上采样，第5个上采样层可以采用2倍上采样。

具体的，所述判别器的结构具体采用的是2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接的，并采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。例如，参见图4所示，图4示出了一种采用全尺度跳跃连接方式的DenseNet网络的判别器结构，通过采用全尺度跳跃连接方式可以将特征重用的对象由稠密块内部扩展到稠密块之间，进而更好地指导生成器获得高质量的缺陷图像。针对不同稠密块的特征图之间因为尺度不一致而无法拼接的问题，本实施例中分别采用2×2池化和4×4池化的下采样方式对判别器中尺度不一致且不同稠密块的特征图进行拼接，并采用恒等映射的方式对判别器中尺度一致且不同稠密块的特征图进行拼接，同时结合全局平均池化层输出全局性的通道特征，完成判别器的深度特征提取，最后将特征提取结果输入Softmax函数得到分类结果。本实施例中的判别器结构通过采用全尺度跳跃连接的方式能够改善DenseNet网络中信息和梯度的流动问题，进而使DenseNet网络更加易于训练，由于全尺度跳跃连接是一种稠密连接方式，这种方式能够实现密集的特征重用，从而使DenseNet网络可以在计算量和参数量更少的情形下实现更优的性能。

具体的，所述利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像，可以包括：利用所述实际缺陷图像对所述目标生成对抗网络中的判别器进行训练，得到训练后的判别器；通过所述训练后的判别器指导所述目标生成对抗网络中的生成器生成与所述实际缺陷图像相似的伪造缺陷图像。本实施例中，为了进一步提高判别器鉴别真伪的能力，可以使用实际缺陷图像训练目标生成对抗网络中的判别器，得到训练后的判别器，然后通过训练后的判别器指导生成器获得高质量的与实际缺陷图像相似的伪造缺陷图像。

本实施例中，在利用所述生成对抗网络生成工业缺陷图像的过程中，具体还包括：将随机生成的噪点数据依次经过所述生成器中的所述上采样层、所述特征提取层和所述特征门控层中，以生成预设分辨率的图像；将所述预设分辨率的图像输入至所述判别器中，以对所述预设分辨率的图像进行特征提取得到特征提取结果，并根据所述特征提取结果以及先验知识对所述预设分辨率的图像的真伪进行判别得到判别结果，再将所述判别结果返回至所述生成器，以通过反向传播更新所述生成器的权重参数。可以理解的是，生成对抗网络中的生成器和判别器是两个对立的存在，在生成器和判别器“动态”博弈的过程中，可以先将随机生成的噪点数据依次经过生成器中的上采样层、特征提取层和特征门控层中，得到一张分辨率为512×512的图像，接着将生成的512×512的图像送入判别器中，判别器再经过层层卷积特征提取，然后根据特征提取结果以及先验知识对512×512的图像进行真伪判别得到判别结果，即判断输入的图像是生成器伪造的还是真实的缺陷图像，再将判别器的判别结果返回至生成器；当生成器接收到判别器返回的判别结果后，可以通过反向传播更新权重参数，从而进一步提高伪造缺陷图像的能力。

在一种具体的实施方式中，所述生成器和所述判别器的对抗目标为价值函数最小化最大值。本实施例中，在生成器和判别器的对抗过程，对抗目标为价值函数最小化最大值，价值函数/>具体可以表示为：

；

其中，D、G分别表示判别器和生成器，x为实际缺陷图像数据，z为噪点数据，为实际缺陷图像数据分布，/>为噪点数据分布，/>为实际缺陷图像数据x的数学期望，/>为噪点数据z的数学期望，/>为x来自实际缺陷图像数据的概率，为噪点数据z经生成器产生的样本被判定为来自实际缺陷图像数据的概率。

可见，本申请实施例先采集实际工业生产中产生的缺陷图像得到实际缺陷图像，然后将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络，所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；并采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。本申请实施例通过预先创建的生成对抗网络生成与实际缺陷图像相似的伪造缺陷图像，该生成对抗网络中的生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，其中，特征提取层采用非对称卷积结构，特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径，并通过结构重参数化方式进行参数重表示，判别器采用全尺度跳跃连接方式的DenseNet网络，另外，模型还采用2×2池化和4×4池化的下采样方式对判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对判别器中尺度一致且不同稠密块的特征图进行拼接，能够生成高质量的工业缺陷图像，并提高图像生成的效率。

相应的，本申请实施例还公开了一种工业缺陷图像生成装置，参见图5所示，该装置包括：

缺陷图像采集模块11，用于采集实际工业生产中产生的缺陷图像，得到实际缺陷图像；

缺陷图像生成模块12，用于将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；

所述装置法，还用于采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

其中，关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本申请实施例中，先采集实际工业生产中产生的缺陷图像得到实际缺陷图像，然后将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络，所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；并采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。本申请实施例通过预先创建的生成对抗网络生成与实际缺陷图像相似的伪造缺陷图像，该生成对抗网络中的生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，其中，特征提取层采用非对称卷积结构，特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径，并通过结构重参数化方式进行参数重表示，判别器采用全尺度跳跃连接方式的DenseNet网络，另外，模型还采用2×2池化和4×4池化的下采样方式对判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对判别器中尺度一致且不同稠密块的特征图进行拼接，能够生成高质量的工业缺陷图像，并提高图像生成的效率。

在一些具体实施例中，所述工业缺陷图像生成装置，还可以包括：

第一图像生成单元，用于将随机生成的噪点数据依次经过所述生成器中的所述上采样层、所述特征提取层和所述特征门控层中，以生成预设分辨率的图像；

图像输入单元，用于将所述预设分辨率的图像输入至所述判别器中，以对所述预设分辨率的图像进行特征提取得到特征提取结果，并根据所述特征提取结果以及先验知识对所述预设分辨率的图像的真伪进行判别得到判别结果，再将所述判别结果返回至所述生成器，以通过反向传播更新所述生成器的权重参数。

在一些具体实施例中，所述缺陷图像生成模块12，具体可以包括：

判别器训练单元，用于利用所述实际缺陷图像对所述目标生成对抗网络中的判别器进行训练，得到训练后的判别器；

第二图像生成单元，用于通过所述训练后的判别器指导所述目标生成对抗网络中的生成器生成与所述实际缺陷图像相似的伪造缺陷图像。

在一些具体实施例中，所述生成器和所述判别器的对抗目标为价值函数最小化最大值。

在一些具体实施例中，所述生成器中的各个所述上采样层均采用双线性插值法进行上采样。

进一步的，本申请实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的工业缺陷图像生成方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的工业缺陷图像生成方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的工业缺陷图像生成方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种工业缺陷图像生成方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种工业缺陷图像生成方法，其特征在于，包括：

采集实际工业生产中产生的缺陷图像，得到实际缺陷图像；

将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；

所述方法，还包括：采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

2.根据权利要求1所述的工业缺陷图像生成方法，其特征在于，还包括：

将随机生成的噪点数据依次经过所述生成器中的所述上采样层、所述特征提取层和所述特征门控层中，以生成预设分辨率的图像；

将所述预设分辨率的图像输入至所述判别器中，以对所述预设分辨率的图像进行特征提取得到特征提取结果，并根据所述特征提取结果以及先验知识对所述预设分辨率的图像的真伪进行判别得到判别结果，再将所述判别结果返回至所述生成器，以通过反向传播更新所述生成器的权重参数。

3.根据权利要求1所述的工业缺陷图像生成方法，其特征在于，所述利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像，包括：

利用所述实际缺陷图像对所述目标生成对抗网络中的判别器进行训练，得到训练后的判别器；

通过所述训练后的判别器指导所述目标生成对抗网络中的生成器生成与所述实际缺陷图像相似的伪造缺陷图像。

4.根据权利要求1所述的工业缺陷图像生成方法，其特征在于，所述生成器和所述判别器的对抗目标为价值函数最小化最大值。

5.根据权利要求1至4任一项所述的工业缺陷图像生成方法，其特征在于，所述生成器中的各个所述上采样层均采用双线性插值法进行上采样。

6.一种工业缺陷图像生成装置，其特征在于，包括：

缺陷图像采集模块，用于采集实际工业生产中产生的缺陷图像，得到实际缺陷图像；

缺陷图像生成模块，用于将所述实际缺陷图像输入至预先创建的目标生成对抗网络中，以便利用所述目标生成对抗网络中的生成器和判别器生成与所述实际缺陷图像相似的伪造缺陷图像；其中，所述生成器由多个上采样层、多个特征提取层和多个特征门控层组成，并通过结构重参数化的方式对模型参数进行重新表示，所述特征提取层采用非对称卷积结构；所述判别器采用全尺度跳跃连接方式的DenseNet网络；所述特征门控层采用门控的方法对特征进行重标定，并包括基于恒等映射的第一路径以及包含全局平均池化层、卷积层和权重归一化层的第二路径；

所述装置法，还用于采用2×2池化和4×4池化的下采样方式对所述判别器中尺度不一致且不同稠密块的特征图进行拼接；采用恒等映射的方式对所述判别器中尺度一致且不同稠密块的特征图进行拼接。

7.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至5任一项所述的工业缺陷图像生成方法。

8.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的工业缺陷图像生成方法。