CN115311526A - 基于改进的Cycle GAN网络的缺陷样本生成方法和系统 - Google Patents

Abstract

本发明提供了一种基于改进的Cycle GAN网络的缺陷样本生成方法和系统，其中，该方法包括：获取良品工件的良品图像；通过第一生成器和第二生成器根据良品图像生成第一特征图像和第二特征图像；通过综合判别器根据第一特征图像和第二特征图像判定第一判别器的第三得分，并判定第二判别器的第四得分；根据第三得分获取第一判别器的第一权重，并根据第四得分获取第二判别器的第二权重；通过第一生成器根据第一权重和良品图像生成第一目标特征图像，并通过第二生成器根据第二权重和良品图像生成第二目标特征图像；对第一目标特征图像和第二目标特征图像进行图像融合，以获取目标缺陷图像。由此，增加了生成缺陷样本图像的多样性。

Description

基于改进的Cycle GAN网络的缺陷样本生成方法和系统

技术领域

本发明涉及缺陷检测技术领域，具体涉及一种基于改进的Cycle GAN网络的缺陷样本生成方法和一种基于改进的Cycle GAN网络的缺陷样本生成系统。

背景技术

工业计算机视觉任务主要有：定位、检测、分割和分类，通常采用软硬件相结合的方式。不妨以工业质检为例，硬件部分通过机械臂或者其他抓取工具将待检测物体放在固定位置，然后通过光学相机进行采图，再通过软件进行识别。然而，在采图过程中，通常由于待检测的缺陷数据分布不均匀，导致软件识别效果不佳。

发明内容

本发明为解决上述技术问题，提供了一种基于改进的Cycle GAN网络的缺陷样本生成方法，采用两个生成器进行特征图像生成，并对生成后的特征图像进行特征融合，从而增加了生成缺陷样本图像的多样性，使得缺陷数据分布更加均匀。

本发明采用的技术方案如下：

一种基于改进的Cycle GAN网络的缺陷样本生成方法，所述改进的Cycle GAN网络包括：第一生成器、第二生成器、第一判别器、第二判别器和综合判别器，其中，所述第一生成器的输出端与所述第一判别器的输入端相连，所述第二生成器的输出端与所述第二判别器的输入端相连，所述第一判别器的输出端和所述第二判别器的输出端分别与所述综合判别器的输入端相连，所述缺陷样本生成方法包括以下步骤：获取良品工件的良品图像；通过所述第一生成器根据所述良品图像生成第一特征图像，并通过所述第二生成器根据所述良品图像生成第二特征图像；通过所述第一判别器根据所述第一特征图像判定所述第一特征图像的第一得分，并通过所述第二判别器根据所述第二特征图像判定所述第二特征图像的第二得分；通过综合判别器根据所述第一特征图像判定所述第一判别器的第三得分，并通过所述综合判别器根据所述第二特征图像判定所述第二判别器的第四得分；根据所述第三得分获取所述第一判别器的第一权重，并根据所述第四得分获取所述第二判别器的第二权重；通过所述第一生成器根据所述第一权重和所述良品图像生成第一目标特征图像，并通过所述第二生成器根据所述第二权重和所述良品图像生成第二目标特征图像；对所述第一目标特征图像和所述第二目标特征图像进行图像融合，以获取目标缺陷图像。

在本发明的一个实施例中，通过所述第一判别器根据所述第一特征图像判定所述第一特征图像的第一得分，包括：将所述第一特征图像与第一缺陷图像进行特征比对，并根据特征比对结果对所述第一特征图像进行打分，以获取所述第一得分；通过所述第二判别器根据所述第二特征图像判定所述第二特征图像的第二得分，包括：将所述第二特征图像与所述第一缺陷图像进行特征比对，并根据特征比对结果对所述第二特征图像进行打分，以获取所述第二得分。

在本发明的一个实施例中，根据特征图的结构相似性或者峰值信噪比进行特征比对。

一种基于改进的Cycle GAN网络的缺陷样本生成系统，所述改进的Cycle GAN网络包括：第一生成器、第二生成器、第一判别器、第二判别器和综合判别器，其中，所述第一生成器的输出端与所述第一判别器的输入端相连，所述第二生成器的输出端与所述第二判别器的输入端相连，所述第一判别器的输出端和所述第二判别器的输出端分别与所述综合判别器的输入端相连，所述缺陷样本生成系统包括：第一获取模块，所述第一获取模块用于获取良品工件的良品图像；第一生成模块，所述第一生成模块用于通过所述第一生成器根据所述良品图像生成第一特征图像，并通过所述第二生成器根据所述良品图像生成第二特征图像；第一判定模块，所述第一判定模块用于通过所述第一判别器根据所述第一特征图像判定所述第一特征图像的第一得分，并通过所述第二判别器根据所述第二特征图像判定所述第二特征图像的第二得分；第二判定模块，所述第二判定模块用于通过综合判别器根据所述第一特征图像判定所述第一判别器的第三得分，并通过所述综合判别器根据所述第二特征图像判定所述第二判别器的第四得分；第二获取模块，所述第二获取模块用于根据所述第三得分获取所述第一判别器的第一权重，并根据所述第四得分获取所述第二判别器的第二权重；第二生成模块，所述第二生成模块用于通过所述第一生成器根据所述第一权重和所述良品图像生成第一目标特征图像，并通过所述第二生成器根据所述第二权重和所述良品图像生成第二目标特征图像；第三获取模块，所述第三获取模块用于对所述第一目标特征图像和所述第二目标特征图像进行图像融合，以获取目标缺陷图像。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于改进的Cycle GAN网络的缺陷样本生成方法。

一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于改进的Cycle GAN网络的缺陷样本生成方法。

本发明的有益效果：

本发明采用两个生成器进行特征图像生成，并对生成后的特征图像进行特征融合，从而增加了生成缺陷样本图像的多样性，使得缺陷数据分布更加均匀。

附图说明

图1为本发明实施例的基于改进的Cycle GAN网络的缺陷样本生成方法的流程图

图2为本发明一个实施例的改进的Cycle GAN网络的结构示意图；

图3为本发明实施例的基于改进的Cycle GAN网络的缺陷样本生成系统的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明实施例的基于改进的Cycle GAN网络的缺陷样本生成方法的流程图。

目前，Cycle GAN网络中的两组生成器分别用于实现两类图像的相互转换，例如，通过一组生成器将斑马转换成马，通过另一组生成器将马转换成斑马，然而，采用该方式生成的图像数据比较单一。为此本发明对Cycle GAN网络进行改进，增加一组生成器对图像进行单向转换，例如，通过两组生成器将斑马转换成马，或者通过两组生成器将马转换成斑马，以增加生成样本图像的多样性。

具体而言，本发明可基于改进的Cycle GAN网络实现缺陷样本生成方法，其中，如图2所示，改进的Cycle GAN网络可包括：第一生成器Y1、第二生成器Y2、第一判别器D1、第二判别器D2和综合判别器D3，其中，第一生成器Y1的输出端与第一判别器D1的输入端相连，第二生成器Y2的输出端与第二判别器D2的输入端相连，第一判别器D1的输出端和第二判别器D2的输出端分别与综合判别器D3的输入端相连。

如图1所示，本发明实施例的基于改进的Cycle GAN网络的缺陷样本生成方法可包括以下步骤：

S1，获取良品工件的良品图像。

其中，可通过工业相机对良品工件进行拍摄，以获取良品工件的良品图像。

S2，通过第一生成器根据良品图像生成第一特征图像，并通过第二生成器根据良品图像生成第二特征图像。

具体而言，在良品图像输入第一生成器Y1时，良品图像依次经过网络层的卷积、池化、全连接以及softmax后，输出第一特征图像；在良品图像输入第二生成器Y2时，良品图像依次经过网络层的卷积、池化、全连接以及softmax后，输出第二特征图像。

S3，通过第一判别器根据第一特征图像判定第一特征图像的第一得分，并通过第二判别器根据第二特征图像判定第二特征图像的第二得分。

在本发明的一个实施例，可将第一特征图像与第一缺陷图像进行特征对比，并根据特征比对结果对第一特征图像进行打分，以获取第一得分。可将第二特征图像与第一缺陷图像进行特征比对，并根据特征比对结果对第二特征图像进行打分，以获取第二得分。其中，第一缺陷图像可为用户选取的缺陷图像，可预先储存，以便于在就行打分时调用。

其中，可根据特征图的结构相似性或者峰值信噪比进行特征比对。具体地，可根据特征图的结构相似性或者峰值信噪比将第一特征图像与第一缺陷图像进行特征对比，以及根据特征图的结构相似性或者峰值信噪比将第二特征图像与第一缺陷图像进行特征比对。

S4，通过综合判别器根据第一特征图像判定第一判别器的第三得分，并通过综合判别器根据第二特征图像判定第二判别器的第四得分。

具体而言，可通过综合判别器根据特征图的结构相似性或者峰值信噪比将第一特征图像与第一缺陷图像进行特征对比，并根据特征比对结果与第一得分对第一判别器进行打分，以获取第三得分。可通过综合判别器根据特征图的结构相似性或者峰值信噪比将第二特征图像与第一缺陷图像进行特征比对，并根据特征比对结果还与第二得分对第二判别器进行打分，以获取第四得分。

S5，根据第三得分获取第一判别器的第一权重，并根据第四得分获取第二判别器的第二权重。

具体而言，第一判别器和第二判别器的每个得分均对应着不同的权重，可预先通过训练样本集对改进的Cycle GAN网络进行训练以获取第一判别器和第二判别器的每个具体得分所对应的权重。

因此，在获取第三得分和第四得分后，可根据第三得分获取第一判别器的第一权重，并根据第四得分获取第二判别器的第二权重。

S6，通过第一生成器根据第一权重和良品图像生成第一目标特征图像，并通过第二生成器根据第二权重和良品图像生成第二目标特征图像。

S7，对第一目标特征图像和第二目标特征图像进行图像融合，以获取目标缺陷图像。

具体而言，根据第一权重和第二权重对第一生成器和第二生成器中生成特征图的通道权重进行增强或抑制，并采用通道权重增强或抑制后的第一生成器根据良品图像生成第一目标特征图像，以及采用通道权重增强或抑制后的第二生成器根据良品图像生成第二目标特征图像。最后，对第一目标特征图像和第二目标特征图像进行图像融合，以获取目标缺陷图像。

由此，本发明采用两个生成器进行特征图像生成，并对生成后的特征图像进行特征融合，从而增加了生成缺陷样本图像的多样性，使得缺陷数据分布更加均匀。

综上所述，根据本发明实施例的基于改进的Cycle GAN网络的缺陷样本生成方法，获取良品工件的良品图像，以及通过第一生成器根据良品图像生成第一特征图像，并通过第二生成器根据良品图像生成第二特征图像，以及通过第一判别器根据第一特征图像判定第一特征图像的第一得分，并通过第二判别器根据第二特征图像判定第二特征图像的第二得分，以及通过综合判别器根据第一特征图像判定第一判别器的第三得分，并通过综合判别器根据第二特征图像判定第二判别器的第四得分，以及根据第三得分获取第一判别器的第一权重，并根据第四得分获取第二判别器的第二权重，以及通过第一生成器根据第一权重和良品图像生成第一目标特征图像，并通过第二生成器根据第二权重和良品图像生成第二目标特征图像，以及对第一目标特征图像和第二目标特征图像进行图像融合，以获取目标缺陷图像。由此，采用两个生成器进行特征图像生成，并对生成后的特征图像进行特征融合，从而增加了生成缺陷样本图像的多样性，使得缺陷数据分布更加均匀。

对应上述实施例的基于改进的Cycle GAN网络的缺陷样本生成方法，本发明还提出了一种基于改进的Cycle GAN网络的缺陷样本生成系统。

其中，改进的Cycle GAN网络可包括：第一生成器Y1、第二生成器Y2、第一判别器D1、第二判别器D2和综合判别器D3，其中，第一生成器Y1的输出端与第一判别器D1的输入端相连，第二生成器Y2的输出端与第二判别器D2的输入端相连，第一判别器D1的输出端和第二判别器D2的输出端分别与综合判别器D3的输入端相连。

如图3所示，本发明实施例的缺陷样本生成系统可包括：第一获取模块100、第一生成模块200、第一判定模块300、第二判定模块400、第二获取模块500、第二生成模块600和第三获取模块700。

其中，所述第一获取模块100用于获取良品工件的良品图像；所述第一生成模块200用于通过所述第一生成器根据所述良品图像生成第一特征图像，并通过所述第二生成器根据所述良品图像生成第二特征图像；所述第一判定模块300用于通过所述第一判别器根据所述第一特征图像判定所述第一特征图像的第一得分，并通过所述第二判别器根据所述第二特征图像判定所述第二特征图像的第二得分；所述第二判定模块400用于通过综合判别器根据所述第一特征图像判定所述第一判别器的第三得分，并通过所述综合判别器根据所述第二特征图像判定所述第二判别器的第四得分；所述第二获取模块500用于根据所述第三得分获取所述第一判别器的第一权重，并根据所述第四得分获取所述第二判别器的第二权重；所述第二生成模块600用于通过所述第一生成器根据所述第一权重和所述良品图像生成第一目标特征图像，并通过所述第二生成器根据所述第二权重和所述良品图像生成第二目标特征图像；所述第三获取模块700用于对所述第一目标特征图像和所述第二目标特征图像进行图像融合，以获取目标缺陷图像。

在本发明的一个实施例中，第一判定模块300具体用于：将所述第一特征图像与第一缺陷图像进行特征比对，并根据特征比对结果对所述第一特征图像进行打分，以获取所述第一得分；将所述第二特征图像与所述第一缺陷图像进行特征比对，并根据特征比对结果对所述第二特征图像进行打分，以获取所述第二得分。

在本发明的一个实施例中，第一判定模块300具体用于：根据特征图的结构相似性或者峰值信噪比进行特征比对。

需要说明的是，本发明实施例的基于改进的Cycle GAN网络的缺陷样本生成系统更具体的实施方式可参照上述基于改进的Cycle GAN网络的缺陷样本生成方法的实施例，在此不再赘述。

根据本发明实施例的基于改进的Cycle GAN网络的缺陷样本生成系统，通过第一获取模块获取良品工件的良品图像，以及通过第一生成模块通过第一生成器根据良品图像生成第一特征图像，并通过第二生成器根据良品图像生成第二特征图像，以及通过第一判定模块通过第一判别器根据第一特征图像判定第一特征图像的第一得分，并通过第二判别器根据第二特征图像判定第二特征图像的第二得分，以及通过第二判定模块通过综合判别器根据第一特征图像判定第一判别器的第三得分，并通过综合判别器根据第二特征图像判定第二判别器的第四得分，以及通过第二获取模块根据第三得分获取第一判别器的第一权重，并根据第四得分获取第二判别器的第二权重，以及通过第二生成模块通过第一生成器根据第一权重和良品图像生成第一目标特征图像，并通过第二生成器根据第二权重和良品图像生成第二目标特征图像，以及通过第三获取模块对第一目标特征图像和第二目标特征图像进行图像融合，以获取目标缺陷图像。由此，采用两个生成器进行特征图像生成，并对生成后的特征图像进行特征融合，从而增加了生成缺陷样本图像的多样性，使得缺陷数据分布更加均匀。

对应上述实施例，本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述的基于改进的Cycle GAN网络的缺陷样本生成方法。

根据本发明实施例的计算机设备，采用两个生成器进行特征图像生成，并对生成后的特征图像进行特征融合，从而增加了生成缺陷样本图像的多样性，使得缺陷数据分布更加均匀。

对应上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于改进的Cycle GAN网络的缺陷样本生成方法。

根据本发明实施例的非临时性计算机可读存储介质，采用两个生成器进行特征图像生成，并对生成后的特征图像进行特征融合，从而增加了生成缺陷样本图像的多样性，使得缺陷数据分布更加均匀。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于改进的Cycle GAN网络的缺陷样本生成方法，其特征在于，所述改进的Cycle GAN网络包括：第一生成器、第二生成器、第一判别器、第二判别器和综合判别器，其中，所述第一生成器的输出端与所述第一判别器的输入端相连，所述第二生成器的输出端与所述第二判别器的输入端相连，所述第一判别器的输出端和所述第二判别器的输出端分别与所述综合判别器的输入端相连，所述缺陷样本生成方法包括以下步骤：

获取良品工件的良品图像；

通过所述第一生成器根据所述良品图像生成第一特征图像，并通过所述第二生成器根据所述良品图像生成第二特征图像；

通过所述第一判别器根据所述第一特征图像判定所述第一特征图像的第一得分，并通过所述第二判别器根据所述第二特征图像判定所述第二特征图像的第二得分；

通过综合判别器根据所述第一特征图像判定所述第一判别器的第三得分，并通过所述综合判别器根据所述第二特征图像判定所述第二判别器的第四得分；

根据所述第三得分获取所述第一判别器的第一权重，并根据所述第四得分获取所述第二判别器的第二权重；

通过所述第一生成器根据所述第一权重和所述良品图像生成第一目标特征图像，并通过所述第二生成器根据所述第二权重和所述良品图像生成第二目标特征图像；

对所述第一目标特征图像和所述第二目标特征图像进行图像融合，以获取目标缺陷图像。

2.根据权利要求1所述的基于改进的Cycle GAN网络的缺陷样本生成方法，其特征在于，通过所述第一判别器根据所述第一特征图像判定所述第一特征图像的第一得分，包括：

将所述第一特征图像与第一缺陷图像进行特征比对，并根据特征比对结果对所述第一特征图像进行打分，以获取所述第一得分；

通过所述第二判别器根据所述第二特征图像判定所述第二特征图像的第二得分，包括：

将所述第二特征图像与所述第一缺陷图像进行特征比对，并根据特征比对结果对所述第二特征图像进行打分，以获取所述第二得分。

3.根据权利要求2所述的基于改进的Cycle GAN网络的缺陷样本生成方法，其特征在于，包括：

根据特征图的结构相似性或者峰值信噪比进行特征比对。

4.一种基于改进的Cycle GAN网络的缺陷样本生成系统，其特征在于，所述改进的Cycle GAN网络包括：第一生成器、第二生成器、第一判别器、第二判别器和综合判别器，其中，所述第一生成器的输出端与所述第一判别器的输入端相连，所述第二生成器的输出端与所述第二判别器的输入端相连，所述第一判别器的输出端和所述第二判别器的输出端分别与所述综合判别器的输入端相连，所述缺陷样本生成系统包括：

第一获取模块，所述第一获取模块用于获取良品工件的良品图像；

第一生成模块，所述第一生成模块用于通过所述第一生成器根据所述良品图像生成第一特征图像，并通过所述第二生成器根据所述良品图像生成第二特征图像；

第一判定模块，所述第一判定模块用于通过所述第一判别器根据所述第一特征图像判定所述第一特征图像的第一得分，并通过所述第二判别器根据所述第二特征图像判定所述第二特征图像的第二得分；

第二判定模块，所述第二判定模块用于通过综合判别器根据所述第一特征图像判定所述第一判别器的第三得分，并通过所述综合判别器根据所述第二特征图像判定所述第二判别器的第四得分；

第二获取模块，所述第二获取模块用于根据所述第三得分获取所述第一判别器的第一权重，并根据所述第四得分获取所述第二判别器的第二权重；

第二生成模块，所述第二生成模块用于通过所述第一生成器根据所述第一权重和所述良品图像生成第一目标特征图像，并通过所述第二生成器根据所述第二权重和所述良品图像生成第二目标特征图像；

第三获取模块，所述第三获取模块用于对所述第一目标特征图像和所述第二目标特征图像进行图像融合，以获取目标缺陷图像。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-3中任一项所述的基于改进的Cycle GAN网络的缺陷样本生成方法。

6.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-3中任一项所述的基于改进的Cycle GAN网络的缺陷样本生成方法。

Images