CN115661134B - 基于生成对抗网络的缺陷样本生成系统、方法和存储介质 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的缺陷样本生成系统、方法和存储介质，网络模型包括生成模型以及判别器、逆形变网络、第二生成器，所述生成模型包括形变网络、第一生成器；第一生成器用于生成符合训练数据分布的生成图片，判别器用于区分生成图片的真假；形变网络用于通过形变矩阵对缺陷位置进行指向性形变，逆形变网络用于通过形变逆矩阵对图片的形变位置进行逆形变。网络模型的损失包括判别器的对抗损失以及原图与第二生成图片之间的重建损失，以及原图的裁剪图片与逆形变图片之间的形变重建损失。将待形变的图片输入训练后的生成模型并输出缺陷形变图片。本发明能够对零件缺陷进行形状改变，生成结构相同但是缺陷形状不同的产品图片。

Description

基于生成对抗网络的缺陷样本生成系统、方法和存储介质

技术领域

本发明属于零件缺陷检测的技术领域，具体涉及一种基于生成对抗网络的缺陷样本生成系统、方法和存储介质。

背景技术

随着国家经济的繁荣发展，推动了制造业的快速发展，工业产品自动化生产技术已经成为了一种走向。但是工业产品在生产过程中或多或少会出现各种瑕疵，如玻璃制品上的裂纹，纺织品外观缺陷，零件撕缺鼓泡等不可避免的表面瑕疵，因此催生出了对于瑕疵检测的强烈需求。高效的瑕疵检测技术既可以保证工业产品的质量，也能大幅度提高生产的效率。在此环境中，诸多相对高效的人工智能检测算法随之出现，如faster-rcnn、yolo等。

但是，上述几种基于人工智能的检测方法，对数据集的要求比较高，往往需要百张以上的数据才可以训练出一个良好的检测模型。然而，国内的厂家往往没有做数据储备，瑕疵样本留存的习惯，因此他们需要大量的时间收集所需要的缺陷产品，所以需要数据增强的手段来加速数据集的获取。同时，还有另外一个问题，那就是缺陷的不稳定性，由于厂家的制作工艺和制作环境等因素的影响，生产出来的产品上的缺陷形状具有很大的随机性和不可控性。因此，现在训练好的检测模型在未来可能会遇到超出训练数据集之外的缺陷型状，导致检测效果大幅降低。所以，我们还需要对未来可能产生的缺陷形状进行预判，去生成目前数据集中尚未出现的，但是可能在未来会产生的缺陷形状。将问题提前解决，而不是等问题出现之后再去解决，这样可以减少经济损失，避免重新训练检测模型导致的时间消耗。

目前，已有大量的对抗生成模型已经被提出，但是他们都不适用于解决上述问题，比如风格迁移类的生成对抗模型无法生成未知形状；形变类生成对抗模型往往会对整张图片进行形变操作，破坏了数据集的一致性；随机生成类的模型无法高效率的生成可用的图片，一般100张中，仅有几张可用，随机性过大。同时，如果使用PS技术进行缺陷形变，不仅耗时耗力，而且制作出来的图片看起来很不自然，质量很低。综上所述，本发明提出了一种基于生成对抗网络的指向性形变的缺陷生成方案。

发明内容

本发明的目的在于提供一种基于生成对抗网络的缺陷样本生成系统、方法和存储介质，旨在解决上述问题。本发明解决了工业缺陷检测中缺陷样本少和缺陷形状不稳定性的问题，实现能够生成大量具有指向性缺陷形状的缺陷图片。本发明使用生成对抗网络来获得大量原数据集中不存在的缺陷形状，增加缺陷样本，使数据集能够更好适应缺陷检测的任务，提前预判可能会出现的缺陷形状，缓解了工业缺陷检测上对数据集数量和质量的需求并且大幅提高检测模型的鲁棒性。

本发明主要通过以下技术方案实现：

一种基于生成对抗网络的缺陷样本生成系统，包括数据采集模块、训练模块、生成模块，所述数据采集模块用于收集零件图片数据，并标注出零件图片的缺陷，形成训练数据集；所述训练模块用于采用训练数据集训练网络模型；

所述网络模型包括生成模型以及判别器、逆形变网络、第二生成器，所述生成模型包括从前至后依次设置的形变网络、第一生成器；所述第一生成器用于生成符合训练数据分布的生成图片，所述判别器用于区分生成图片的真假，并给予分数，以进行梯度下降反过来与第一生成器进行对抗；所述形变网络用于通过形变矩阵对缺陷位置进行指向性形变，所述逆形变网络用于通过形变逆矩阵对图片的形变位置进行逆形变；所述形变网络包括从前至后依次设置的前端生成块、形变块、后端生成块，所述形变块包括形变矩阵，所述逆形变网络包括从前至后依次设置的前端生成块、逆形变块、后端生成块，所述逆形变块包括形变逆矩阵；所述前端生成块、后端生成块分别用于特征的提取和通道数的调整；

训练数据集中的图片分别输入到形变网络、判别器、第一生成器，所述形变网络用于输出形变图片并输入到第一生成器，所述第一生成器用于输出生成图片并分别输入到判别器、逆形变网络、第二生成器；所述逆形变网络用于生成逆形变图片并输入到第二生成器，所述第二生成器用于输出第二生成图片；所述网络模型的损失包括判别器的对抗损失以及原图与第二生成图片之间的重建损失，以及原图的裁剪图片与逆形变图片之间的形变重建损失；所述生成模块用于将待形变的图片输入训练后的网络模型的生成模型并输出缺陷形变图片；

将原图的裁剪图片输入到形变网络并输出形变图片，所述形变图片、原图以及噪声合成并输入到第一生成器，所述第一生成器输出生成图片，原图、生成图片、噪声合成并输出到判别器，以计算对抗损失；裁剪后的生成图片输入到逆形变网络并输出逆形变图片，所述逆形变图片、生成图片以及噪声合成并输出到第二生成器并输出第二生成图片。

为了更好地实现本发明，进一步地，所述第一生成器和第二生成器的结构相同，所述第一生成器包括从前至后依次设置的前端生成块、下采样块、瓶颈块、上采样块、后端生成块，所述前端生成块、下采样块用于提取图片特征信息；所述瓶颈块由若干个残差块串联组成；所述上采样块、后端生成块用于还原图片分辨率，以输入判别器中；所述上采样块与下采样块之间采用跳跃连接，用于将下采样块中保存的特征图按顺序分别加入到对应上采样块的输出中，作为下一次上采样的输入。

为了更好地实现本发明，进一步地，所述前端生成块包括从前至后依次设置的卷积层，批归一化层和leakyrelu激活函数；所述后端生成块包括从前至后依次设置的卷积层和tanh激活函数。

为了更好地实现本发明，进一步地，所述下采样块包括从前至后依次设置的卷积层、频谱归一化层、批归一化层、leakyrelu激活函数、最大池化层；所述上采样块包括从前至后依次设置的上采样层、卷积层、频谱归一化层、批归一化层、leakyrelu激活函数。

为了更好地实现本发明，进一步地，所述判别器的输入端的输入图像基于分块技术分割为若干个分块，且输入图像拆分的块数为N²，其中N为分块级别。

为了更好地实现本发明，进一步地，所述判别器包括从前至后依次设置的四个卷积块，且前三个卷积块包括从前至后依次设置的卷积层、频谱归一化层、批归一化层、leakyrelu激活函数；且最后一个卷积块包括从前至后依次设置的卷积层、频谱归一化层、sigmoid激活函数；且第二个卷积块步长为2，用于下采样。

本发明主要通过以下技术方案实现：

一种基于生成对抗网络的缺陷样本生成方法，采用上述的系统进行，包括以下步骤：

步骤S100：收集包含缺陷的缺陷图片数据，形成训练数据集；

步骤S200：在每轮训练中，对训练数据集中缺陷标注部分进行裁剪，并将裁剪部分传入形变网络，通过形变网络的形变矩阵进行指向性形变；将形变后的图片加回到原图上，并在图片上加入噪声后输入第一生成器；

步骤S300：在每轮训练中，首先训练一次第一生成器，然后将第一生成器输出的生成图片输入到判别器中进行一次训练，所述判别器给生成图片进行打分，计算对抗损失；

步骤S400：将步骤S300中生成图片的形变位置进行裁剪并通过逆形变网络的形变逆矩阵进行逆形变得到逆形变图片，然后，将逆形变图片、噪声加入到生成图片上，将其传入第二生成器，生成第二生成图片，计算原图与第二生成图片之间的重建损失，以及步骤S200中原图的裁剪图片与逆形变图片之间的形变重建损失，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数，即可得到训练后的网络模型；

步骤S500：随机挑选目标图片，对缺陷位置进行标注，并输入训练后的生成模型中，即可生成缺陷形变图片。

为了更好地实现本发明，进一步地，所述步骤S400中重建损失的计算公式如下：

所述步骤S400中形变重建损失的计算公式如下：

其中：

G ₁ 为第一生成器，

G ₂ 为第二生成器，

x是输入的原始图片，即原图，

I _out 是经过形变矩阵输出的形变缺陷，

I ^-1 _out 是经过形变逆矩阵输出的逆形变缺陷，

I _in 是原图裁剪图片的缺陷。

为了更好地实现本发明，进一步地，所述形变块首先将图片每个像素的坐标保存成一个尺寸为(N,H,W,2)的矩阵，其中图片的高H作为X轴，宽W作为Y轴，并将X和Y的坐标归一化到(-1,1)之间，形成的矩阵可以看成是一个索引图，之后要通过映射去输入图片上的对应坐标处的邻域上采点取值；设计各种不同形状的形变矩阵，通过原始形状和形变后形状的点之间的对应关系，以图片中心点为原点，对其若干个象限独立的向内压缩或者向外拉伸其坐标，计算其对应坐标的形变矩阵，然后使用此形变矩阵和输入图片的坐标矩阵做乘积，就可以获得目标形变图片的各个像素点的坐标矩阵，最后使用此坐标矩阵和双线性插值函数对输入图片进行形变，公式如下：

其中：

θ是形变矩阵，

I _input 是输入的裁剪图片，

I _output 是输出的形变图片，

H _input 是输入的裁剪图片的归一化坐标矩阵，

F是双线性插值函数。

一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的方法。

在模型训练中，只使用对抗损失对生成结果进行控制，可能会出现模式崩溃的情况，丢失部分信息，比如第一次生成的图片中，因为缺陷部分的形变合成，可能会覆盖原有图片上的除缺陷位置以外的其他关键细节信息。但又由于判别器对于部分信息的丢失不是很敏感，因此，加入了逆形变结构，计算重构损失进行约束。此结构是对之前形变过的缺陷位置，使用逆矩阵，进行逆形变，再输入到生成器中进行生成获得生成图片。将生成的图片与原始图片使用均方根误差进行计算损失，对其中图片细节信息的完整性，以及图片上各个目标的相对位置进行更好的约束。

本发明的有益效果：

（1）本发明改善了工业检测行业中缺陷样本数量不充足导致检测效率低下的问题；改善了工业检测行业中由于产品生产过程中造成的缺陷形状不稳定而导致的过去训练的检测模型失效的问题。本发明通过设计的各种形状的形变算法，可以对缺陷形状进行各种变化的预判，提高检测模型的鲁棒性；

（3）本发明能够针对采样设备中的零件缺陷进行形状的改变，生成结构相同但是缺陷形状不同的产品图片，生成的大量原数据集中不具有的缺陷形状的缺陷样本供企业做缺陷件储备，降低开发人工成本和时间成本，同时一定程度上缓解了训练数据较少的问题，具有较好的实用性；

（4）本发明通过在原始对抗生成网络的结构上设计了使用分块技术的判别器结构和形变网络，使得生成图片具有多样性的同时，生成的形变图片看来十分自然，生成质量较高，具有较好的实用性。

附图说明

图1为第一生成器的结构示意图；

图2为判别器的结构示意图；

图3为形变网络的结构示意图；

图4为本发明网络模型的结构示意图；

图5为本发明的流程图。

具体实施方式

实施例1：

一种基于生成对抗网络的缺陷样本生成系统，包括数据采集模块、训练模块、生成模块，所述数据采集模块用于收集零件图片数据，并标注出零件图片的缺陷，形成训练数据集；所述训练模块用于采用训练数据集训练网络模型；

如图4所示，所述网络模型包括生成模型以及判别器、逆形变网络、第二生成器，所述生成模型包括从前至后依次设置的形变网络、第一生成器；所述第一生成器用于生成符合训练数据分布的生成图片，所述判别器用于区分生成图片的真假，并给予分数，以进行梯度下降反过来与第一生成器进行对抗；所述形变网络用于通过形变矩阵对缺陷位置进行指向性形变，所述逆形变网络用于通过形变逆矩阵对图片的形变位置进行逆形变；

如图3所示，所述形变网络包括从前至后依次设置的前端生成块、形变块、后端生成块，所述形变块包括形变矩阵，所述逆形变网络包括从前至后依次设置的前端生成块、逆形变块、后端生成块，所述逆形变块包括形变逆矩阵；所述前端生成块、后端生成块分别用于特征的提取和通道数的调整；

训练数据集中的图片分别输入到形变网络、判别器、第一生成器，所述形变网络用于输出形变图片并输入到第一生成器，所述第一生成器用于输出生成图片并分别输入到判别器、逆形变网络、第二生成器；所述逆形变网络用于生成逆形变图片并输入到第二生成器，所述第二生成器用于输出第二生成图片；所述网络模型的损失包括判别器的对抗损失以及原图与第二生成图片之间的重建损失，以及原图的裁剪图片与逆形变图片之间的形变重建损失；所述生成模块用于将待形变的图片输入训练后的网络模型的生成模型并输出缺陷形变图片。

优选地，将原图的裁剪图片输入到形变网络并输出形变图片，所述形变图片、原图以及噪声合成并输入到第一生成器，所述第一生成器输出生成图片，原图、生成图片、噪声合成并输出到判别器，以计算对抗损失；裁剪后的生成图片输入到逆形变网络并输出逆形变图片，所述逆形变图片、生成图片以及噪声合成并输出到第二生成器并输出第二生成图片。

优选地，如图1所示，所述第一生成器包括从前至后依次设置的前端生成块、下采样块、瓶颈块、上采样块、后端生成块，所述前端生成块、下采样块用于提取图片特征信息；所述瓶颈块由若干个残差块串联组成；所述上采样块、后端生成块用于还原图片分辨率，以输入判别器中；所述上采样块与下采样块之间采用跳跃连接，用于将下采样块中保存的特征图按顺序分别加入到对应上采样块的输出中，作为下一次上采样的输入。优选地，所述第一生成器和第二生成器的结构相同。

优选地，所述前端生成块包括从前至后依次设置的卷积层，批归一化层和leakyrelu激活函数；所述后端生成块包括从前至后依次设置的卷积层和tanh激活函数。

优选地，所述下采样块包括从前至后依次设置的卷积层、频谱归一化层、批归一化层、leakyrelu激活函数、最大池化层；所述上采样块包括从前至后依次设置的上采样层、卷积层、频谱归一化层、批归一化层、leakyrelu激活函数。

优选地，如图2所示，所述判别器的输入端的输入图像基于分块技术分割为若干个分块，且输入图像拆分的块数为N²，其中N为分块级别。

优选地，所述判别器包括从前至后依次设置的四个卷积块，且前三个卷积块包括从前至后依次设置的卷积层、频谱归一化层、批归一化层、leakyrelu激活函数；且最后一个卷积块包括从前至后依次设置的卷积层、频谱归一化层、sigmoid激活函数；且第二个卷积块步长为2，用于下采样。

本发明能够针对采样设备中的零件缺陷进行形状的改变，生成结构相同但是缺陷形状不同的产品图片，生成的大量原数据集中不具有的缺陷形状的缺陷样本供企业做缺陷件储备，降低开发人工成本和时间成本，同时一定程度上缓解了训练数据较少的问题，具有较好的实用性。

实施例2：

一种基于生成对抗网络的缺陷样本生成系统，包括数据采集模块、训练模块、生成模块，所述数据采集模块用于收集缺陷产品图片，制作成数据集，所述数据集中加入缺陷位置的标注文件；所述训练模块采用数据集训练网络模型得到训练后的网络模型；所述生成模块用于将图片输入训练后的网络模型的生成模型并输出大量形变后的图片。

如图4所示，所述网络模型包括生成模型以及判别器、逆形变网络、第二生成器，所述生成模型包括从前至后依次设置的形变网络、第一生成器；所述第一生成器用于生成符合训练数据分布的生成图片，将生成图片、真实图片分别输入判别器进行训练，所述判别器用于给生成图片打分，以进行梯度下降训练生成器。本发明能够对缺陷图片上的缺陷进行各种指向性的形变，生成结构相同但是形状与原数据集中的缺陷形状不同的产品图片，生成的各种形状的缺陷产品图片提供给企业做缺陷产品图片的储备，降低开发人工成本和时间成本，同时一定程度上缓解了训练数据较少和缺陷形状不稳定的问题，具有较好的实用性。

优选地，如图1所示，所述的第一生成器包括从前至后依次连接的前端生成块，3个下采样块，瓶颈块，3个上采样块，后端生成块。所述前端生成块和下采样块，用于图片特征信息的提取，然后通过瓶颈块稳定训练，防止网络退化，加快训练速度，然后通过上采样块和后端生成块还原图片分辨率，使得生成图片较为自然，最后传入到判别器中。

如图1所示，所述前端生成块主要由卷积层，批归一化层和leakyrelu激活函数组成，所述后端生成块主要由卷积层和tanh激活函数组成。这两个模块主要用于特征的提取和通道数的调整，其输入和输出的特征尺寸没有变化。

所述下采样块包括从前至后依次连接的卷积层，频谱归一化层，批归一化层，leakyrelu激活函数，最大池化层。下采样块主要用于提取特征，设计这样的结构，主要是为了保留更多纹理信息，学习到更加全面的特征信息的同时，减少计算量，使得最后生成图片更加自然。上述下采样块，一共执行三次，并且将三次输出的特征图进行保存。

所述上采样块包括从前至后依次连接的使用插值方法的上采样层，卷积层，频谱归一化层，批归一化层，leakyrelu激活函数。上采样块主要用于放大图像，还原图像的分辨率。上述上采样块同样执行三次，并且上采样块和下采样块之间使用了跳跃连接，将下采样块中保存的特征图，按顺序分别加入到对应上采样块的输出中，作为下一次上采样的输入，这种操作保留了更加详细的图片详细，大幅提高生成质量，降低了由于分辨率提高而导致的模式崩溃的风险。

所述瓶颈块由8个残差块组成，所述残差块的主干部分结构包括从前至后依次连接的卷积层，频谱归一化层，批归一化层，Leakyrelu激活函数，上述结构一共重复3次，最后将输出和输入相加。使用残差结构，可以防止网络退化，加快训练速度。

优选地，上述第一生成器、第二生成器的输入端会在输入图片上加入噪声，提高最终生成图片的质量并提升一定的多样性。首先获取一个尺寸和输入图片的尺寸一致的随机张量，并且使得此张量服从(0,1)之间的均匀分布，然后对此张量减去0.5，并除以255，最后取绝对值，使其分布在(0,1/255)之间，由此得到所需的噪声。此时，噪声张量的均值和标准差都趋近于0，而且数据值很小。因为我们的数据集只需要一张图片就可以开展训练，所以我们的训练方式和其他的GAN模型不同的是，我们并不是将噪声投入生成器中进行生成，而是将噪声加入输入的图片，然后将其投入生成器中，因此我们既需要噪声因素来提高生成图片的质量，同时也要限制噪声的影响，不能让噪声过多的干扰图片的生成，因此需要对噪声数据做出上述的操作，使其数据值非常的小。

优选地，如图2所示，上述判别器主要由四个卷积块组成，前面三个卷积块结构相同，从前到后分别为卷积层，频谱归一化层，批归一化层，leakyrelu激活函数。上述第二个卷积块设置步长为2，用作下采样。其他卷积块用于提取特征，调整通道，图片尺寸基本维持不变。最后一个卷积块，去掉了批归一化层，并将激活函数替换成sigmoid，因此最后输出的张量会被压缩到(0,1)之间，以便后期求解损失。

上述判别器使用了分块技术，将输入图片拆分为的块数是N²，N∈(1,2,3...)，N的数量由图片大小决定。如果N=3，那么就会将图片分为1整块，4块和9块，一共14块进行计算，每一个分块级别分别计算一次，分块越小，给与的权重就越小，最后各级别相加，得到最后的判别损失。分块结构用以提升生成图片的细节特征，减少生成图片的不自然特征。

上述判别器在图片输入端同样加入了噪声，噪声的处理方式和生成器里的方式相同，主要是为了增加区别，防止判别器过拟合。

优选地，如图3所示，上述形变网络的结构从前往后依次为前端生成块，形变块，后端生成块。其中前端生成块和后端生成块与上述生成器中的模块结构一致。形变块是用于对框取的缺陷位置进行指向性形状的拉伸。所述形变块包括两个卷积块和位于卷积块之间的形变矩阵。

上述形变块中使用的是基于双线性插值思想设计的形变算法。此方法首先将图片每个像素的坐标保存成一个尺寸为(N,H,W,2)的矩阵，其中图片的高H作为X轴，图片的宽W作为Y轴，将其长和宽的坐标归一化到(-1,1)之间(比如长H值为11，那么X轴坐标就变成(-1,-0.9,-0.8...,0...,0.8,0.9,1.0))，这样形成的矩阵可以看成是一个索引图，代表着之后要通过映射去输入图片上的对应坐标处的邻域上去采点取值。接下来设计各种不同形状的形变矩阵，比如从矩形形变成梯形的形变矩阵，通过矩形的四个点和形变后梯形的四个点之间的对应关系，以图片中心点为原点，对其四个象限独立的向内压缩或者向外拉伸其坐标，计算其对应坐标的形变矩阵，然后使用此形变矩阵和输入图片的坐标矩阵做乘积，就可以获得目标形变图片的各个像素点的坐标矩阵，最后使用此坐标矩阵和双线性插值函数对输入图片进行形变，减少由于转换的坐标值非整数，导致的图片失真。此方法可以通过参数范围的设置，来控制形变的程度，比如从锐角形变成钝角，以及控制形变的尺寸大小。此算法的公式为：

其中H _input 是输入图片的归一化坐标矩阵，θ是形变矩阵，I _input 是输入图片，I _output 是输出的形变图片，函数F是应用双线性插值的函数。

优选地，逆形变网络用于通过形变逆矩阵对图片的形变位置进行逆形变。本发明还使用了逆形变的思想，即在上述的形变算法中，对形变矩阵求逆矩阵，利用此逆形变矩阵可以用同样的方式将输入和输出换位，使得图片逆形变回去。

实施例3：

一种基于生成对抗网络的缺陷样本生成方法，如图5所示，采用上述的系统进行，包括以下步骤：

步骤S100：收集包含缺陷的缺陷图片数据，一张即可开始训练，形成数据集；

步骤S200：每轮训练中对数据集缺陷标注部分进行裁剪，将裁剪部分传入形变网络，进行指向性形变，形变的尺寸，程度和种类，都可以通过参数来调节。将形变后的图片加回到原图上，传入到生成器网络中。

步骤S300：每轮训练中首先训练一次第一生成器，然后将第一生成器输出的生成图片输入到判别器中进行一次训练，所述判别器给生成图片进行打分，计算对抗损失；

步骤S400：将上述生成的图片的形变位置进行裁剪通过逆形变网络进行逆形变，然后将噪声、逆形变的图片加入到生成图片上，将其传入第二生成器，生成第二生成图片，计算原图和第二生成图片之间的重建损失，以及计算第一次裁剪图片与逆形变图片之间的形变重建损失，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数，即可得到训练好的网络模型；

步骤S500：随机挑选目标图片，对缺陷位置进行标注，并输入训练好的生成模型中，即可生成大量各种尺度，各种形状的缺陷的图片。

为了更好地实现本发明，进一步地，所述步骤S300中的对抗损失公式如下：

其中x为输入的原始图片，x’为形变的原始图片并加入了取值范围在[0,1/255]之间的噪声。G为生成器，D为判别器，n为分块级别，λ_n是不同分块级别的权重，N∈(1,2,3...)。

为了更好地实现本发明，进一步地，所述步骤S400中的重建损失和形变重建损失的公式如下：

其中，G ₁ 为第一生成器，G ₂ 为第二生成器，x是输入的原始图片，I _out 是经过形变矩阵θ输出的形变缺陷，I _out ^-1 是经过形变逆矩阵θ ^-1 输出的逆形变缺陷。

最终整个形变损失公式为：

其中，α，β为可调节因子。

由于工厂生产技术和生产环境的影响，产生缺陷的形状具有很大的不确定性，因此用现有收集的数据集训练的检测模型，往往在未来的检测中效果不佳，就是因为在未来的生产过程中出现了原本数据集中不存在的，没有训练过的缺陷形状。这种情况下，就需要重新收集数据集，并重新训练检测模型，造成了时间和经济上的损失。本发明通过训练好的模型，可以生成大量缺陷形变的产品图片，这些图片上的缺陷都是原本数据集中没有出现过的，也就是目前生产过程中还没有出现过的缺陷形状。因此，本方法可以预判未来可能出现的缺陷形状，从而提高数据集的质量。因此，本方法可以让训练出来的检测模型具有更强的鲁棒性。

本发明通过对缺陷进行指向性形变，然后将形变图片传入到生成器中，设置相关的损失项，指导生成器来生成同一批零件但是具有原本数据集中不存在的各种不同形状的指向性缺陷的产品图片，一定程度上缓解了工业生产中缺陷数据少和缺陷形状不稳定的问题，节约了时间，提高了检测效果。同时，本发明只需要一张图片既可以展开训练，而且只需要对缺陷位置进行简单的标记，因此，使用难度低不需要额外的培训开销。

实施例4：

一种基于生成对抗网络的缺陷样本生成系统，如图4所示，所述网络模型包括生成模型以及判别器、逆形变网络、第二生成器，所述生成模型包括第一生成器和形变网络。所述形变网络用于对缺陷形状进行指向性的形变，比如从圆形形变成三角形；所述第一生成器负责生成形变后的图片，所述判别器负责鉴别图片是真实的还是生成的。两者相互训练相互对抗，直到判别器无法区分图片的真实性。

如图4所示，本发明会在上述第一生成器和判别器的输入图片上加入噪声，提高最终生成图片的质量并提升一定的多样性，防止过拟合。首先获取一个尺寸和输入图片的尺寸一致的随机张量，并且使得此张量服从(0,1/255)之间的均匀分布。此时，噪声张量的均值和标准差都趋近于0，数据值很小。因为我们的数据集只需要一张图片就可以开展训练，所以本发明的训练方式和其他的GAN模型不同的是，我们并不是将噪声投入生成器中进行生成，而是将噪声加入输入的图片，然后将其投入生成器中，因此我们既需要噪声因素来提高生成图片的质量，同时也要限制噪声的影响，不能让噪声过多的干扰图片的生成。

一种基于生成对抗网络的缺陷样本生成方法，采用上述系统进行，如图5所示，包括以下步骤：

步骤1：收集缺陷产品图片，将多余的白色边框裁剪，提高训练速度，对收集到的缺陷图片进行标注，将其作为数据集。

步骤2：为了生成指定形状的缺陷产品图片，需要提前设计形变矩阵，比如三角形形变矩阵，可以将目标缺陷形状向三角形拟合拉伸。通过设置参数，控制形变的尺寸大小和形变程度，例如从锐角到钝角的变化。

步骤3：设置好训练相关的超参数。初始化第一生成器输入和权重参数。关键是设置形变算法里的参数，控制形变的形状的种类，大小和程度。

步骤4：采用步骤1中收集到的数据集对网络模型进行训练，每轮训练中首先对缺陷进行形变，然后训练判别器，然后用生成器生成的图片输入到判别器中给出分数得出对抗的损失，最后，用逆形变方式，二次生成产品图片和缺陷图片，与原始图片和原始缺陷图片进行重建对比，使用对比损失进行约束，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数。

步骤5：为了生成指定形状的缺陷产品图片，将带有缺陷的同种产品图片和缺陷位置的标注文件输入训练好的生成模型，最后输出生成图片。

优选地，最终网络模型的损失公式为：

其中，α，β为可调节因子。

其中对抗损失的公式如下：

其中x为输入的原始图片，x′为形变的原始图片并加入了取值范围在[0,1/255]之间的噪声。G ₁ 为第一生成器，D为判别器，n为分块级别，λ_n是不同分块级别的权重，N∈(1,2,3...)。

其中重建损失和形变重建损失的公式如下：

其中，G ₁ 为第一生成器，G ₂ 为第二生成器，x是输入的原始图片，I _out 是经过形变矩阵θ输出的形变缺陷，I _out ^-1 是经过形变逆矩阵θ ^-1 输出的逆形变缺陷。

本发明旨在解决工业检测行业中缺陷数据少而且缺陷由于制作工艺不成熟导致缺陷形状不稳定的问题。本发明将缺陷形状指向性形变后，投入到生成对抗网络中，其中使用了逆形变的方式，使得逆形变的图片和原始图片之间应该保持一致，我们通过计算均方差的方式来计算二者之间的距离，二者之间均方差越小说明形变的效果越平滑，图片的完整性越好。同时本发明使用设计的形变矩阵对输入的缺陷图片进行形变，会导致出现白色区域，白色部分的像素值为0，加回到图片上，不会对原本图片造成影响，只有形变区域会出现在原图上，但是这种拉伸形变毕竟会使得原图不自然，于是需要使用生成对抗网络提高生成的形变图片的质量，看起来自然平滑。

本发明将缺陷图片和形变的缺陷图片投入到生成器中，设置相关的损失项，指导生成器生成出在具有原数据集中不存在的形状的缺陷图片，一定程度上缓解了工业生产中缺陷数据少和缺陷形状不稳定的问题，提高了检测模型的效率。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种基于生成对抗网络的缺陷样本生成系统，其特征在于，包括数据采集模块、训练模块、生成模块，所述数据采集模块用于收集零件图片数据，并标注出零件图片的缺陷，形成训练数据集；所述训练模块用于采用训练数据集训练网络模型；所述生成模块用于将待形变的图片输入训练后的网络模型的生成模型并输出缺陷形变图片；

所述网络模型包括生成模型以及判别器、逆形变网络、第二生成器，所述生成模型包括从前至后依次设置的形变网络、第一生成器；所述第一生成器用于生成符合训练数据分布的生成图片，所述判别器用于区分生成图片的真假，并给予分数，以进行梯度下降反过来与第一生成器进行对抗；所述形变网络用于通过形变矩阵对缺陷位置进行指向性形变，所述逆形变网络用于通过形变逆矩阵对图片的形变位置进行逆形变；所述形变网络包括从前至后依次设置的前端生成块、形变块、后端生成块，所述形变块包括形变矩阵，所述逆形变网络包括从前至后依次设置的前端生成块、逆形变块、后端生成块，所述逆形变块包括形变逆矩阵；所述前端生成块、后端生成块分别用于特征的提取和通道数的调整；

所述网络模型的损失包括判别器的对抗损失以及原图与第二生成图片之间的重建损失，以及原图的裁剪图片与逆形变图片之间的形变重建损失；

将原图的裁剪图片输入到形变网络并输出形变图片，所述形变图片、原图以及噪声合成并输入到第一生成器，所述第一生成器输出生成图片，原图、生成图片、噪声合成并输出到判别器，以计算对抗损失；裁剪后的生成图片输入到逆形变网络并输出逆形变图片，所述逆形变图片、生成图片以及噪声合成并输出到第二生成器并输出第二生成图片。

2.根据权利要求1所述的一种基于生成对抗网络的缺陷样本生成系统，其特征在于，所述第一生成器包括从前至后依次设置的前端生成块、下采样块、瓶颈块、上采样块、后端生成块，所述前端生成块、下采样块用于提取图片特征信息；所述瓶颈块由若干个残差块串联组成；所述上采样块、后端生成块用于还原图片分辨率，以输入判别器中；所述上采样块与下采样块之间采用跳跃连接，用于将下采样块中保存的特征图按顺序分别加入到对应上采样块的输出中，作为下一次上采样的输入。

3.根据权利要求2所述的一种基于生成对抗网络的缺陷样本生成系统，其特征在于，所述前端生成块包括从前至后依次设置的卷积层，批归一化层和leakyrelu激活函数；所述后端生成块包括从前至后依次设置的卷积层和tanh激活函数。

4.根据权利要求2所述的一种基于生成对抗网络的缺陷样本生成系统，其特征在于，所述下采样块包括从前至后依次设置的卷积层、频谱归一化层、批归一化层、leakyrelu激活函数、最大池化层；所述上采样块包括从前至后依次设置的上采样层、卷积层、频谱归一化层、批归一化层、leakyrelu激活函数。

5.根据权利要求1所述的一种基于生成对抗网络的缺陷样本生成系统，其特征在于，所述判别器的输入端的输入图像基于分块技术拆分的块数为N²，其中N为分块级别。

6.根据权利要求1或5所述的一种基于生成对抗网络的缺陷样本生成系统，其特征在于，所述判别器包括从前至后依次设置的四个卷积块，且前三个卷积块包括从前至后依次设置的卷积层、频谱归一化层、批归一化层、leakyrelu激活函数；且最后一个卷积块包括从前至后依次设置的卷积层、频谱归一化层、sigmoid激活函数；且第二个卷积块步长为2，用于下采样。

7.一种基于生成对抗网络的缺陷样本生成方法，采用权利要求1-6任一项所述的系统进行，其特征在于，包括以下步骤：

步骤S100：收集包含缺陷的缺陷图片数据，形成训练数据集；

步骤S200：在每轮训练中，对训练数据集中缺陷标注部分进行裁剪，并将裁剪部分传入形变网络，通过形变网络的形变矩阵进行指向性形变；将形变后的图片加回到原图上，并在图片上加入噪声后输入第一生成器；

步骤S300：在每轮训练中，首先训练一次第一生成器，然后将第一生成器输出的生成图片输入到判别器中进行一次训练，所述判别器给生成图片进行打分，计算对抗损失；

步骤S400：将步骤S300中生成图片的形变位置进行裁剪并通过逆形变网络的形变逆矩阵进行逆形变得到逆形变图片，然后，将逆形变图片、噪声加入到生成图片上，将其传入第二生成器，生成第二生成图片，计算原图与第二生成图片之间的重建损失，以及步骤S200中原图的裁剪图片与逆形变图片之间的形变重建损失，使用优化器优化总损失值，直到训练迭代次数达到最大迭代次数，即可得到训练后的网络模型；

步骤S500：随机挑选目标图片，对缺陷位置进行标注，并输入训练后的生成模型中，即可生成缺陷形变图片。

8.根据权利要求7所述的一种基于生成对抗网络的缺陷样本生成方法，其特征在于，所述步骤S400中重建损失的计算公式如下：

所述步骤S400中形变重建损失的计算公式如下：

其中：

G ₁ 为第一生成器，

G ₂ 为第二生成器，

x是输入的原始图片，即原图，

I _out 是经过形变矩阵输出的形变缺陷，

I ^-1 _out 是经过形变逆矩阵输出的逆形变缺陷，

I _in 是原图裁剪图片的缺陷。

9.根据权利要求7所述的一种基于生成对抗网络的缺陷样本生成方法，其特征在于，所述形变块首先将图片每个像素的坐标保存成一个尺寸为(N,H,W,2)的矩阵，其中图片的高H作为X轴，宽W作为Y轴，并将X和Y的坐标归一化到(-1,1)之间，形成的矩阵是一个索引图，之后要通过映射去输入图片上的对应坐标处的邻域上采点取值；设计各种不同形状的形变矩阵，通过原始形状和形变后形状的点之间的对应关系，以图片中心点为原点，对其若干个象限独立的向内压缩或者向外拉伸其坐标，计算其对应坐标的形变矩阵，然后使用此形变矩阵和输入图片的坐标矩阵做乘积，获得目标形变图片的各个像素点的坐标矩阵，最后使用此坐标矩阵和双线性插值函数对输入图片进行形变，公式如下：

其中：

θ是形变矩阵，

I _input 是输入的裁剪图片，

I _output 是输出的形变图片，

H _input 是输入的裁剪图片的归一化坐标矩阵，

F是双线性插值函数。

10.一种计算机可读存储介质，存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求7-9任一项所述的方法。

Images