CN114972323A - 一种用于模型训练的缺陷图片生成方法及系统 - Google Patents

Abstract

本发明公开了一种用于模型训练的缺陷图片生成方法及系统，所述缺陷图片生成方法包括以下步骤：获取初始缺陷图片以及与其配对的语义信息图，构成获得配对数据集；基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片；其中，所述缺陷图片生成模型为轻量级pix2pixHD生成对抗网络。本发明提供的用于模型训练的缺陷图片生成方法，是一种基于轻量级pix2pixHD的缺陷图片生成方法，可解决现有缺陷图片生成方法中存在的模型计算量与参数量过大的技术问题。

Description

一种用于模型训练的缺陷图片生成方法及系统

技术领域

本发明属于图像生成技术领域，特别涉及一种用于模型训练的缺陷图片生成方法及系统。

背景技术

现有传统的检测和分割任务中，往往需要对包含大量数据的数据集进行训练，才能使模型达到良好的效果；然而，在工业场景中往往很难获得大量的标注数据，如何利用图像生成来扩展数据集成为亟需解决的技术问题。

现有的传统缺陷图片生成方法主要包括：Luka等人利用缺陷的语义分割图作为监督，来进行缺陷图片的生成，同时将目标检测的损失引入网络，使得网络生成的图片能更好的应用于目标检测；Yu He等人利用cDCGAN来生成钢材表面缺陷，应用于数据增强，解决了目标检测任务中数据量缺失的问题；Lizhe Liu等人利用编码器解码器结构搭建生成对抗网络，同时利用区域训练策略，优先生成缺陷的部分，再通过小波融合对无缺陷区域进行细化，仅需要少量的缺陷训练样本，可以生成指定形状和类型的缺陷。

分析上述现有传统方法可知，其虽都能够生成质量较高的缺陷图片，但也都包含了大量的卷积操作，使得模型容量十分庞大，模型的参数量与计算量给网络训练带来的计算开销不容忽视，也限制了其在移动端的部署。

发明内容

本发明的目的在于提供一种用于模型训练的缺陷图片生成方法及系统，以解决上述存在的一个或多个技术问题。本发明提供的用于模型训练的缺陷图片生成方法，是一种基于轻量级pix2pixHD的缺陷图片生成方法，可解决现有缺陷图片生成方法中存在的模型计算量与参数量过大的技术问题。

为达到上述目的，本发明采用以下技术方案：

本发明提供的一种用于模型训练的缺陷图片生成方法，包括以下步骤：

获取初始缺陷图片以及与其配对的语义信息图，构成获得配对数据集；

基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片；

其中，所述缺陷图片生成模型为轻量级pix2pixHD生成对抗网络；所述轻量级pix2pixHD生成对抗网络中，将pix2pixHD的生成器中的残差块用ghost模块替换，多尺度判别器保持不变；搭建内外两个生成器，内部生成器是全局特征生成器，外部生成器是局部特征增强生成器；在三个尺度上构建多尺度判别器；网络权重采用随机初始化的方法来定义。

本发明的进一步改进在于，所述预先训练好的缺陷图片生成模型的获取步骤包括：

建立以缺陷语义信息图和缺陷真实图的配对数据为核心的缺陷数据集；

基于所述缺陷数据集对缺陷图片生成模型进行训练，获得所述预先训练好的缺陷图片生成模型；其中包括，利用缺陷语义信息图和缺陷真实图的配对数据训练全局特征生成器，训练好的全局特征生成器能够生成最终分辨率一半的生成图片；基于训练好的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据训练局部特征增强生成器。

本发明的进一步改进在于，所述建立以缺陷语义信息图和缺陷真实图的配对数据为核心的缺陷数据集的步骤包括：

将缺陷真实图进行语义分割的标注，得到标注文件；

将所述标注文件转化为单通道的非彩色mask图片；

基于不同的缺陷种类，将单通道的非彩色mask图片转化为三通道彩色语义信息图，实现缺陷语义信息图与缺陷真实图的配对。

本发明的进一步改进在于，所述基于所述缺陷数据集对缺陷图片生成模型进行训练，获得所述预先训练好的缺陷图片生成模型中，训练时采用的损失函数包括极大极小博弈损失函数和多尺度特征匹配损失函数；其中，所述极大极小博弈损失函数用于指导生成器与判别器的对抗训练；所述多尺度特征匹配损失函数用于指导图片的生成细节与原图片保持一致。

本发明的进一步改进在于，所述利用缺陷语义信息图和缺陷真实图的配对数据训练全局特征生成器，训练好的全局特征生成器能够生成最终分辨率一半的生成图片的步骤包括：

输入原始分辨率缺陷语义信息图和缺陷真实图的配对数据进行因子为2的下采样，使其分辨率减半，获得分辨率减半的配对数据；

利用得到的分辨率减半的配对数据训练全局特征生成器，得到能够生成最终所需分辨率一半的全局特征生成器。

本发明的进一步改进在于，所述基于训练好的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据训练局部特征增强生成器的步骤包括：利用缺陷数据集中的原始分辨率缺陷语义信息图和缺陷真实图的配对数据，在得到的全局特征生成器基础上，训练局部特征增强生成器。

本发明的进一步改进在于，在基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片之后，还包括：

利用生成的缺陷图片，对原始的小样本数据集进行扩充，获得扩充后的数据集；基于扩充后的数据集，对yolov4模型进行训练，获得训练好的yolov4模型。

本发明的进一步改进在于，所述利用生成的缺陷图片，对原始的小样本数据集进行扩充，获得扩充后的数据集的步骤包括：

基于语义分割制作新的语义信息图，利用新的语义信息图生成新的缺陷数据；

将生成的缺陷数据以及原数据集进行混合形成扩充后的数据集。

本发明提供的一种用于模型训练的缺陷图片生成系统，包括：

配对数据集获取模块，用于获取初始缺陷图片以及与其配对的语义信息图，构成获得配对数据集；

缺陷图片生成模块，用于基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片；

其中，所述缺陷图片生成模型为轻量级pix2pixHD生成对抗网络；所述轻量级pix2pixHD生成对抗网络中，将pix2pixHD的生成器中的残差块用ghost模块替换，多尺度判别器保持不变；搭建内外两个生成器，内部生成器是全局特征生成器，外部生成器是局部特征增强生成器；在三个尺度上构建多尺度判别器；网络权重采用随机初始化的方法来定义。

与现有技术相比，本发明具有以下有益效果：

本发明提供的方法中，利用模型参数量与计算量都较小的生成对抗网络来生成缺陷图像，可实现对目标检测任务的数据增强，提高目标检测在小样本数据集下的检测性能。具体解释性的，本发明利用ghost模块搭建轻量级pix2pixHD生成对抗网络；利用缺陷语义信息图和缺陷真实图的配对数据，训练全局特征生成器，能够生成最终分辨率一半的生成图片；根据得到的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据，训练局部特征增强生成器，得到最终的轻量级pix2pixHD生成对抗网络，实现根据缺陷语义信息图生成高分辨率缺陷真实图。本发明利用基于轻量级pix2pixHD的缺陷图片生成，在网络的训练速度以及生成图片的速度方面都得到了提高；利用基于轻量级pix2pixHD的缺陷图片生成方法生成的高分辨率图像。进一步示例性的，利用得到的轻量级pix2pixHD生成对抗网络生成大量新的缺陷数据，用于yolov4模型的训练，解决小样本数据集给yolov4带来的训练困难的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于轻量级pix2pixHD缺陷图片生成的yolov4模型训练方法流程图；

图2为根据本发明实施例的一种基于轻量级pix2pixHD的生成器结构图；

图3为根据本发明实施例的一种基于轻量级pix2pixHD的判别器示意图；

图4为根据本发明实施例的真实缺陷图片示例；

图5为根据本发明实施例的轻量级pix2pixHD的缺陷图片生成结果。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面结合附图对本发明做进一步详细描述：

实施例一

本发明实施例的一种用于模型训练的缺陷图片生成方法，包括以下步骤：

获取缺陷图片以及与其配对的语义信息图，构成缺陷图片生成模型的配对数据集；

将获取到的配对数据集，利用预先训练好的缺陷图片生成模型，实现缺陷图片生成；

利用生成的缺陷图片，对小样本数据集进行扩充，利用扩充得到的数据集，对yolov4模型进行训练。

本发明上述实施例中，所述预先训练好的缺陷图片生成模型的获取步骤包括：

1)建立以缺陷语义信息图和缺陷真实图的配对数据为核心的数据集；

2)利用ghost模块搭建轻量级pix2pixHD生成对抗网络；

3)接受缺陷数据集，训练轻量级pix2pixHD生成对抗网络；利用缺陷语义信息图和缺陷真实图的配对数据训练全局特征生成器，能够生成最终分辨率一半的生成图片；根据得到的全局特征生成器利用缺陷语义信息图和缺陷真实图的配对数据，训练局部特征增强生成器，得到最终的轻量级pix2pixHD生成对抗网络，实现根据缺陷语义信息图生成高分辨率缺陷真实图。

本发明上述实施例的步骤1)中，建立以缺陷语义信息图和缺陷真实图的配对数据为核心的数据集，包括：

(1)采集缺陷图像；

(2)进行语义分割的标注，得到后缀为.json的标注文件；

(3)将标注文件转化为单通道的非彩色mask图片；

(4)按照不同的缺陷种类，将单通道的非彩色mask图片转化为三通道彩色语义信息图。

本发明上述实施例的步骤2)中，利用ghost模块搭建轻量级pix2pixHD生成对抗网络，包括：

(1)将原pix2pixHD的生成器中的残差块(Residual block，Rblock)用ghost模块替换，多尺度判别器保持不变；

(2)搭建内外两个生成器，内部生成器是全局特征生成器，生成图片分辨率是最终分辨率的一半，外部生成器是局部特征增强生成器，生成最后的生成图；

(3)在三个尺度上构建多尺度判别器；

(4)网络权重采用随机初始化的方法来定义。

本发明上述实施例的步骤3)中，接受缺陷数据集，训练轻量级pix2pixHD生成对抗网络，包括：

(1)极大极小博弈损失函数能够指导生成器与判别器的对抗训练；

(2)多尺度特征匹配损失函数能够更好的指导图片的生成细节与原图片保持一致；

(3)基于损失函数，采用反向传播算法训练神经网络。

其中，利用缺陷语义信息图和缺陷真实图的配对数据，训练全局特征生成器，包括：

(1)将输入原始分辨率缺陷语义信息图和缺陷真实图的配对数据进行因子为2的下采样，使其分辨率减半；

(2)利用得到的分辨率减半的配对数据，训练全局特征生成器，得到能够生成最终所需分辨率一半的生成器。

其中，根据训练得到的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据，训练局部特征增强生成器，包括：

利用缺陷数据集中的原始分辨率缺陷语义信息图和缺陷真实图的配对数据，在得到的全局特征生成器基础上，训练局部特征增强生成器。

本发明实施例中，根据最后得到的生成器，生成大量的缺陷数据，扩充原小样本数据集，用于yolov4模型的训练，包括：

利用语义分割软件制作大量新的语义信息图，利用新的语义信息图生成大量新的缺陷数据，扩充原小样本数据集；将生成的缺陷数据以及原数据集进行混合形成新的数据集，用于yolov4的模型训练。

本发明上述实施例公开的技术方案，根据得到的轻量级pix2pixHD生成对抗网络，生成大量新的数据集，实现小样本的扩充，用于yolov4模型的训练，解决小样本数据集给yolov4带来的训练困难的问题，有效提高全类平均精度(mean Average Precision，mAP)；利用基于轻量级pix2pixHD的缺陷图片生成，在网络的训练速度以及生成图片的速度方面都得到了提高；利用基于轻量级pix2pixHD的缺陷图片生成方法生成的高分辨率图像，图片质量相比于pix2pixHD要更好；利用轻量级pix2pixHD缺陷图片生成的yolov4模型训练方法，能有效提高最终yolov4模型的mAP。

实施例二

请参阅图1至图5，图1是本发明实施例的一种基于轻量级pix2pixHD缺陷图像生成的yolov4模型训练方法流程图，该方法包括以下步骤：

步骤S101，利用ghost模块搭建轻量级pix2pixHD生成对抗网络。

具体的，在上述步骤中，网络整体结构与Pix2pixHD保持一致，不同的是利用ghost模块替换掉生成器中的下采样卷积以及残差块，实现整个网络的轻量化，生成器分为了全局特征生成器与局部特征增强生成器，判别器采用三尺度的多尺度判别器，判别器使用网格生成对抗网络(Patch Generative Adversarial Networks，PatchGANs)的设计；示例性的，可参阅图2和图3。

步骤S102，接受缺陷数据集，利用缺陷语义信息图和缺陷真实图的配对数据，训练全局特征生成器，能够生成最终分辨率一半的生成图片。

具体的，在使用缺陷语义信息图和缺陷真实图的配对数据训练全局特征生成器之前，应对输入的缺陷语义信息图和缺陷真实图进行因子为2的下采样使其分辨率减半，然后进行归一化处理使得训练过程更加稳定。

步骤S103，根据得到的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据，训练局部特征增强生成器，得到最终的轻量级pix2pixHD生成对抗网络，实现根据缺陷语义信息图生成高分辨率缺陷真实图；示例性的，可参阅图4和图5。

具体的，局部特征增强生成器的网络结构在全局特征生成器结构一样，局部特征增强生成器接受的缺陷语义信息图和缺陷真实图的分辨率为最终需要生成图片的分辨率，在经过第一个下采样卷积之后，将下采样的结果与步骤S102训练得到的全局特征生成器的生成结果进行特征融合，再进行后续的生成操作，最后得到高分辨率的生成图。

步骤S104，根据得到的轻量级pix2pixHD生成对抗网络，生成大量新的数据集，扩充原小样本数据集，用于yolov4模型训练。

具体的，将轻量级pix2pixHD生成对抗网络的生成器部分提取出来，利用语义标注工具得到大量新的语义信息图，根据得到的新语义信息图，利用轻量级pix2pixHD的生成器生成缺陷图，实现对原小样本数据集的扩充；再将新数据与原数据集融合后，一起用于yolov4模型训练，解决小样本给yolov4带来的难以训练的问题。

本发明实施例上述技术方案中，首先建立以缺陷语义信息图和缺陷真实图的配对数据为核心的数据集，基于生成对抗网络和ghost模块建立轻量级pix2pixHD，构建以极大极小博弈损失函数和多尺度特征匹配损失函数为核心的损失函数；搭建轻量级pix2pixHD，最重要的是利用ghost模块替换Rblock以及下采样卷积，以实现轻量化，网络从头开始训练，权重初始化使用均值为0，标准差为0.02的高斯分布，训练时使用反向传播算法；使用时，首先利用下采样的缺陷语义信息图和缺陷真实图的配对数据，训练全局特征生成器，然后利用训练得到的全局特征生成器和缺陷语义信息图和缺陷真实图的配对数据，训练局部特征增强生成器，实现根据缺陷的语义信息图生成高分辨率的缺陷真实图。本方法的核心是利用ghost模块搭建轻量级pix2pixHD生成对抗网络，解决了pix2pixHD模型容量，参数量以及计算量过大的问题，能够显著减小模型大小，减少计算资源的开销。

可选的，根据本申请上述实施例，基于利用ghost模块搭建轻量级pix2pixHD，包括：

步骤S1011，建立以缺陷语义信息图和缺陷真实图的配对数据为核心的数据集。

具体的，建立起缺陷语义信息图与缺陷真实图两两对应的配对数据集；其中，用于网络训练的缺陷语义信息图应该是三通道的彩色mask图，这样的数据集对训练网络更有效。

步骤S1012，基于生成对抗网络和ghost模块建立轻量级pix2pixHD。

具体的，作为一个实施例，利用ghost模块代替下采样卷积与Resnet残差块。

步骤S1013，构建以极大极小博弈损失函数和多尺度特征匹配损失函数为核心的损失函数。

具体的，可参考生成对抗网络的极大极小博弈损失，但因为存在多尺度判别器，要将原始的极大极小博弈损失在三个尺度上计算；为了能生成更精细的细节，在损失中加入多尺度特征匹配损失。

可选的，根据本申请上述实施例，建立以缺陷语义信息图和缺陷真实图的配对数据为核心的数据集，包括：

步骤S10111，采集缺陷图像。

具体的，一个可选的实施例，采集分辨率为512*512和1024*1024的彩色发动机表面缺陷图像，这批缺陷图像应尽可能多的包含各种我们想要生成的缺陷，且缺陷在发动机表面分布的位置也应该尽可能的多样化。

步骤S10112，进行缺陷的语义分割标注，得到标注文件。

具体的，一个可选的实施例，利用labelme图片标注软件对采集到的缺陷进行语义分割的标注，得到包含有缺陷语义信息的JSON标注文件。

步骤S10113，将标注文件转化为三通道的彩色mask。

具体的，一个可选的实施例，JSON标注文件文法直接用于网络的训练，要将JSON标注文件转化为mask图片，才能利用轻量级pix2pixHD进行训练；首先利用labelme库自带的labelme_shape_to_label函数将JSON标注文件转化为单通道的mask图片；根据单通道mask，利用缺陷的种类将其转化为三通道彩色语义信息图。

可选的，根据本申请上述实施例，基于生成对抗网络和ghost模块建立轻量级pix2pixHD，包括：

步骤S10121，利用ghost模块搭建轻量级pix2pixHD的生成器。

具体的，作为一个实施例，可采用pix2pixHD生成器的整体网络结构，并将生成器中的下采样卷积以及Resnet残差块利用ghost模块替代并实现轻量化；ghost模块包含有步长为1和步长为2的两种模块，分别对应于输出的特征图尺寸不变以及减半。所以可以采用步长为1的ghost模块替换Resnet残差块，步长为2的ghost模块替换下采样卷积，图2为根据本发明的一种基于轻量级pix2pixHD的生成器结构图。

步骤S10122，搭建轻量级pix2pixHD的多尺度判别器。

具体的，作为一个实施例，可采用尺度为3的多尺度判别器，较小尺度的判别器输入为生成器生成图片的下采样结果，且在所有尺度上都采用PatchGANs的形式，图3为根据本发明的一种基于轻量级pix2pixHD的判别器示意图。

步骤S10123，网络权重采用随机初始化的方法来定义。

具体的，作为一个实施例，网络从头开始训练，权重初始化使用均值为0，标准差为0.02的高斯分布。

可选的，根据本申请上述实施例，构建以极大极小博弈损失函数和多尺度特征匹配损失函数为核心的损失函数，包括：

步骤S10131，构建以极大极小博弈损失函数和多尺度特征匹配损失函数为核心的损失函数。

具体的，作为一个实施例，极大极小博弈损失函数在存在多尺度判别器时可采用以下形式：

上述式(1.1)中，L_GAN表示单判别器时极大极小博弈损失函数，D代表判别器，k表示判别器的个数，G代表生成器。为了能更好的指导图片的生成，加入多尺度特征匹配损失函数，从鉴别器的多个层中提取特征，并学习从真实图像和生成图像中匹配这些中间表示，可以采用以下形式：

上述式(1.2)中，T表示选取中间层的总数，D_k表示第k个生成器，G表示生成器，s表示输入的语义信息图，x表示缺陷真实图；将两个损失函数合并到一起，得到最终的损失函数：

上述式(1.3)中，λ表示权重因子，用于控制极大极小博弈损失和多尺度特征匹配损失在最终损失中所占的比重。

可选的，根据本申请上述实施例，接受缺陷数据集，利用缺陷语义信息图和缺陷真实图的配对数据，训练全局特征生成器，能够生成最终分辨率一半的生成图片，包括:

步骤S1021，对输入的缺陷语义信息图和缺陷真实图的配对数据进行下采样和归一化处理。

具体的，作为一个实施例，全局特征生成器是用来生成分辨率为最终分辨率一半的图片，所以要将输入的缺陷语义信息图和缺陷真实图的配对数据进行下采样，才能进行网络的训练，同时，对图片进行归一化处理有助于稳定模型的训练；测试时，也应按相同的均值和方差来进行归一化，可选用于归一化的均值和方差为：均值＝[0.5，0.5，0.5]，方差＝[0.5，0.5，0.5]。

步骤S1022，将处理完的缺陷语义信息图和缺陷真实图的配对数据送入轻量级pix2pixHD，训练得到全局特征生成器。

具体的，作为一个实施例，利用下采样后的配对数据，训练ghost模块搭建的全局特征生成器以及三个尺度下的判别器；训练过程中，批处理BatchSize设置为1，采用Adam优化方法进行反向传播的参数更新，权值衰减系数为1e-6，动量设置为0.999，遍历数据集200轮，学习率可选2e-4；最终将训练好的模型中的生成器部分提取出来，即得到全局特征生成器。

可选的，根据本申请上述实施例，根据得到的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据，训练局部特征增强生成器，得到最终的轻量级pix2pixHD生成对抗网络，实现根据缺陷语义信息图生成高分辨率缺陷真实图，包括：

步骤S1031，对输入的缺陷语义信息图和缺陷真实图的配对数据进行归一化处理。

具体的，作为一个实施例，对图片进行归一化处理有助于稳定模型的训练；测试时，也应按相同的均值和方差来进行归一化，可选用于归一化的均值和方差为：均值＝[0.5，0.5，0.5]，方差＝[0.5，0.5，0.5]。

步骤S1032，将处理完的缺陷语义信息图和缺陷真实图的配对数据送入轻量级pix2pixHD，训练得到最终的轻量级高分辨图像生成器。

具体的，作为一个实施例，利用归一化后的配对数据，训练ghost模块搭建的局部特征增强生成器以及三个尺度下的判别器；训练过程中，批处理BatchSize设置为1，采用Adam优化方法进行反向传播的参数更新，权值衰减系数为1e-6，动量设置为0.999，遍历数据集100轮，学习率可选2e-4；最终将训练好的模型中的生成器部分提取出来，与之前得到的全局特征生成器一起，构成最终的轻量级高分辨率图像生成器。

可选的，根据本申请上述实施例，根据得到的轻量级pix2pixHD生成对抗网络，生成大量新的数据集，扩充原小样本数据集，用于yolov4模型训练，包括:

步骤S1041，制作大量新的语义信息图，并利用语义信息图生成缺陷图。

具体的，作为一个实施例，利用labelme语义标注软件得到新语义信息图的JSON文件，再将JSON文件转化为三通道彩色mask；利用得到的轻量级pix2pixHD的生成器根据新的三通道彩色mask生成大量缺陷图片，实现对原小样本数据集的扩充。

步骤S1042，将生成图片与小样本数据集送入yolov4网络进行训练。

具体的，作为一个实施例，yolov4网络训练的每次迭代，生成图片与小样本数据集都按照3：1的比例混合后送入网络；训练过程中，批处理BatchSize设置为128，采用Adam优化方法进行反向传播的参数更新，权值衰减系数为1e-6，动量设置为0.999，遍历数据集100轮，前五十轮冻结特征提取网络，只训练分类器部分，后五十轮解冻特征提取网络，整个网络一起训练；学习率可选2e-3，学习率可采用指数衰减的形式。

本发明实施例中，以ghost模块搭建的轻量级pix2pixHD生成对抗网络，模型参数量仅为原pix2pixHD模型的20％，模型每秒浮点运算量(Floating point operations persecond，FLOPs)仅为原pix2pixHD模型的30％，模型参数量与计算量都显著降低，结果见表1。

表1.不同模型的参数量与计算量对比

模型	参数	计算量
			Pix2pixHD	182443267	137799532544
轻量级Pix2pixHD	39376003	59132110720

利用基于轻量级pix2pixHD的缺陷图片生成，在网络的训练速度以及生成图片的速度方面都得到了提高；利用基于轻量级pix2pixHD的缺陷图片生成方法生成的高分辨率图像，利用FID指标对生成图片进行质量评估，指标值越低图片质量越高，轻量级pix2pixHD的生成图片质量相比于pix2pixHD要更好，结果见表2。

表2.生成图片质量评估

模型	FID
		Pix2pixHD	5.78
轻量级Pix2pixHD	5.54

利用轻量级pix2pixHD缺陷图片生成的yolov4模型训练方法，能有效提高最终yolov4模型的mAP，结果见表3。

表3.yolov4模型的mAP在不同数据集下的对比

模型	麻点	划痕	mAP
				Pix2pixHD	0.88	0.88	0.82
轻量级Pix2pixHD	0.91	0.94	0.924

综上所述，本发明公开了一种基于轻量级pix2pixHD缺陷图片生成的yolov4模型训练方法，包括：接受缺陷数据集，根据缺陷的语义信息图片训练利用ghost模块搭建的轻量级pix2pixHD生成对抗网络，得到轻量化的生成对抗网络模型，利用得到的生成对抗模型，生成大量数据，用于yolov4的训练。训练好的生成对抗网络模型的生成器能够将缺陷的语义信息图转化为高分辨率的真实缺陷图片，实现基于轻量级pix2pixHD的缺陷图片生成，通过生成大量缺陷数据扩充原小样本数据集，解决小样本给yolov4带来的训练困难的问题。本发明能够根据缺陷语义图生成高分辨率的真实缺陷图像，模型参数量以及计算量都大大降低，但生成图片的质量与原模型相当甚至更好，能有效提升yolov4的全类平均精度(mean Average Precision，mAP)。

实施例三

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。

本发明再一实施例中，提供一种用于模型训练的缺陷图片生成系统，包括：

配对数据集获取模块，用于获取初始缺陷图片以及与其配对的语义信息图，构成获得配对数据集；

缺陷图片生成模块，用于基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片；

其中，所述缺陷图片生成模型为轻量级pix2pixHD生成对抗网络；所述轻量级pix2pixHD生成对抗网络中，将pix2pixHD的生成器中的残差块用ghost模块替换，多尺度判别器保持不变；搭建内外两个生成器，内部生成器是全局特征生成器，外部生成器是局部特征增强生成器；在三个尺度上构建多尺度判别器；网络权重采用随机初始化的方法来定义。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种用于模型训练的缺陷图片生成方法，其特征在于，包括以下步骤：

获取初始缺陷图片以及与其配对的语义信息图，构成获得配对数据集；

基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片；

其中，所述缺陷图片生成模型为轻量级pix2pixHD生成对抗网络；所述轻量级pix2pixHD生成对抗网络中，将pix2pixHD的生成器中的残差块用ghost模块替换，多尺度判别器保持不变；搭建内外两个生成器，内部生成器是全局特征生成器，外部生成器是局部特征增强生成器；在三个尺度上构建多尺度判别器；网络权重采用随机初始化的方法来定义。

2.根据权利要求1所述的一种用于模型训练的缺陷图片生成方法，其特征在于，所述预先训练好的缺陷图片生成模型的获取步骤包括：

建立以缺陷语义信息图和缺陷真实图的配对数据为核心的缺陷数据集；

基于所述缺陷数据集对缺陷图片生成模型进行训练，获得所述预先训练好的缺陷图片生成模型；其中包括，利用缺陷语义信息图和缺陷真实图的配对数据训练全局特征生成器，训练好的全局特征生成器能够生成最终分辨率一半的生成图片；基于训练好的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据训练局部特征增强生成器。

3.根据权利要求2所述的一种用于模型训练的缺陷图片生成方法，其特征在于，所述建立以缺陷语义信息图和缺陷真实图的配对数据为核心的缺陷数据集的步骤包括：

将缺陷真实图进行语义分割的标注，得到标注文件；

将所述标注文件转化为单通道的非彩色mask图片；

基于不同的缺陷种类，将单通道的非彩色mask图片转化为三通道彩色语义信息图，实现缺陷语义信息图与缺陷真实图的配对。

4.根据权利要求2所述的一种用于模型训练的缺陷图片生成方法，其特征在于，所述基于所述缺陷数据集对缺陷图片生成模型进行训练，获得所述预先训练好的缺陷图片生成模型中，训练时采用的损失函数包括极大极小博弈损失函数和多尺度特征匹配损失函数；其中，所述极大极小博弈损失函数用于指导生成器与判别器的对抗训练；所述多尺度特征匹配损失函数用于指导图片的生成细节与原图片保持一致。

5.根据权利要求2所述的一种用于模型训练的缺陷图片生成方法，其特征在于，所述利用缺陷语义信息图和缺陷真实图的配对数据训练全局特征生成器，训练好的全局特征生成器能够生成最终分辨率一半的生成图片的步骤包括：

输入原始分辨率缺陷语义信息图和缺陷真实图的配对数据进行因子为2的下采样，使其分辨率减半，获得分辨率减半的配对数据；

利用得到的分辨率减半的配对数据训练全局特征生成器，得到能够生成最终所需分辨率一半的全局特征生成器。

6.根据权利要求2所述的一种用于模型训练的缺陷图片生成方法，其特征在于，所述基于训练好的全局特征生成器，利用缺陷语义信息图和缺陷真实图的配对数据训练局部特征增强生成器的步骤包括：利用缺陷数据集中的原始分辨率缺陷语义信息图和缺陷真实图的配对数据，在得到的全局特征生成器基础上，训练局部特征增强生成器。

7.根据权利要求1所述的一种用于模型训练的缺陷图片生成方法，其特征在于，在基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片之后，还包括：

利用生成的缺陷图片，对原始的小样本数据集进行扩充，获得扩充后的数据集；基于扩充后的数据集，对yolov4模型进行训练，获得训练好的yolov4模型。

8.根据权利要求7所述的一种用于模型训练的缺陷图片生成方法，其特征在于，所述利用生成的缺陷图片，对原始的小样本数据集进行扩充，获得扩充后的数据集的步骤包括：

基于语义分割制作新的语义信息图，利用新的语义信息图生成新的缺陷数据；

将生成的缺陷数据以及原数据集进行混合形成扩充后的数据集。

9.一种用于模型训练的缺陷图片生成系统，其特征在于，包括：

配对数据集获取模块，用于获取初始缺陷图片以及与其配对的语义信息图，构成获得配对数据集；

缺陷图片生成模块，用于基于所述配对数据集，利用预先训练好的缺陷图片生成模型生成缺陷图片；

其中，所述缺陷图片生成模型为轻量级pix2pixHD生成对抗网络；所述轻量级pix2pixHD生成对抗网络中，将pix2pixHD的生成器中的残差块用ghost模块替换，多尺度判别器保持不变；搭建内外两个生成器，内部生成器是全局特征生成器，外部生成器是局部特征增强生成器；在三个尺度上构建多尺度判别器；网络权重采用随机初始化的方法来定义。

Images