CN114820469A - 基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备 - Google Patents

基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备 Download PDF

Info

Publication number
CN114820469A
CN114820469A CN202210360506.8A CN202210360506A CN114820469A CN 114820469 A CN114820469 A CN 114820469A CN 202210360506 A CN202210360506 A CN 202210360506A CN 114820469 A CN114820469 A CN 114820469A
Authority
CN
China
Prior art keywords
defect
sample
image
generation
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210360506.8A
Other languages
English (en)
Inventor
尹宏鹏
易旻晗
李莉建
唐琪淋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202210360506.8A priority Critical patent/CN114820469A/zh
Publication of CN114820469A publication Critical patent/CN114820469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种基于生成对抗网络的缺陷图像样本生成方法，所述方法包括获取真实缺陷样本和无缺陷样本；构建并训练第一生成对抗网络模型；将所述真实缺陷样本和所述无缺陷样本输入所述第一生成对抗网络模型，生成缺陷块图像；根据所述缺陷块图像和所述无缺陷样本，生成粗合成缺陷样本；构建并训练第二生成对抗网络模型；将所述粗合成缺陷样本输入和所述真实缺陷样本输入所述第二生成对抗网络模型，生成缺陷图像样本。本发明针对工业场景下缺陷检测任务生成样本不具备有意义的新分布和特征、背离真实分布、图像质量差、对监督信息的支持较差等不足，采用多阶段生成对抗网络结构生成数量可控的、带有缺陷种类及坐标监督信息的缺陷图像样本，适用于任意缺陷检测模型，大大提高了模型的适用性。

Description

基于生成对抗网络的缺陷图像样本生成方法、系统、介质及 设备
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备。
背景技术
产品表面缺陷检测一直是制造业所面临的重难点问题，缺陷检测环节直接影响着产品的质量水平和有效产能，对工厂提高效率和降低成本具有重要意义。缺陷检测的训练样本生成方法，可用于解决工业装备制造的生产制造、成品质检等实际运作流程中缺陷检测任务中，容易出现的例如缺陷出现频率低、类内差异大，无法获取到足够的、涵盖全部形态的缺陷图像作为有效训练样本，以及缺陷图像采集和监督信息标注带来大量人力物力消耗等训练样本问题。因此，训练样本问题得到了广泛关注，并有大量样本生成方法被提出和应用，以生成足量训练样本作为支撑，指导模型训练达到所需检测标准。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备，用于解决现有技术中的至少一个缺陷。
为实现上述目的及其他相关目的，本发明提供一种基于生成对抗网络的缺陷图像样本生成方法，包括：
获取真实缺陷样本和无缺陷样本，所述真实缺陷样本带有缺陷信息标签；
构建并训练第一生成对抗网络模型；
将所述真实缺陷样本和所述无缺陷样本输入所述第一生成对抗网络模型，生成缺陷块图像，其中，所述缺陷块图像包含缺陷种类信息；
根据所述缺陷块图像和所述无缺陷样本，生成粗合成缺陷样本，其中，所述粗合成缺陷样本带有缺陷信息标签；
构建并训练第二生成对抗网络模型；
将所述粗合成缺陷样本输入和所述真实缺陷样本输入所述第二生成对抗网络模型，生成缺陷图像样本，所述缺陷图像样本带有缺陷信息标签，
其中，所述缺陷信息标签包含缺陷种类信息和缺陷坐标信息。
可选地，所述的基于生成对抗网络的缺陷图像样本生成方法还包括对所述真实缺陷样本进行裁剪，包括：获取所述真实缺陷样本的缺陷坐标信息；获取待裁剪的输入尺寸；利用所述真实缺陷样本的缺陷块坐标信息和所述待裁剪的输入尺寸，对所述真实缺陷样本进行裁剪，得到所述真实缺陷样本的真实缺陷块，其中，所述真实缺陷样本的真实缺陷块包含缺陷种类信息。
可选地，所述训练第一生成对抗网络模型包括用所述真实缺陷块对所述第一生成对抗网络模型进行训练。
可选地，所述第一生成对抗网络模型包含一个生成器和一个判别器，所述将所述真实缺陷样本和所述无缺陷样本输入所述第一生成对抗网络模型，生成缺陷块图像包括：获取种类标签和高斯随机噪声；将所述种类标签和所述高斯随机噪声输入到所述第一生成对抗网络模型的生成器中，生成所述缺陷块图像。
可选地，所述利用所述缺陷块图像和所述无缺陷样本，生成粗合成缺陷样本包括：获取融合ROI区域坐标和缩放倍数；将所述缺陷块图像按照所述缩放倍数进行缩放；根据所述融合ROI区域，将缩放后的缺陷块图像叠加至所述无缺陷样本，生成所述粗合成缺陷样本。
可选地，所述第一生成对抗网络模型是CGAN模型。
可选地，所述第二生成对抗网络模型是CGAN模型。
为实现上述目的及其他相关目的，本发明提供一种基于生成对抗网络的缺陷图像样本生成系统，包括：
样本获取模块，用于获取真实缺陷样本和无缺陷样本，所述真实缺陷样本带有缺陷信息标签；
第一生成对抗网络模型确定模块，用于构建并训练第一生成对抗网络模型；
缺陷块图像确定模块，用于将所述真实缺陷样本和所述无缺陷样本输入所述第一生成对抗网络模型，生成缺陷块图像，所述缺陷块图像包含缺陷种类信息；
粗合成缺陷样本确定模块，用于根据所述缺陷块图像和所述无缺陷样本，生成粗合成缺陷样本，其中，所述粗合成缺陷样本带有缺陷信息标签；
第二生成对抗网络模型确定模块，用于构建并训练第二生成对抗网络模型；
缺陷图像样本确定模块，用于将所述粗合成缺陷样本输入和所述真实缺陷样本输入所述第二生成对抗网络模型，生成缺陷图像样本，所述缺陷图像样本带有缺陷信息标签，其中，所述缺陷信息标签包含缺陷种类信息和缺陷坐标信息。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述缺陷图像样本生成方法的步骤。
为实现上述目的及其他相关目的，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述缺陷图像样本生成方法的步骤。
如上所述，本发明的一种基于生成对抗网络的缺陷图像样本生成方法、系统、计算机可读存储介质以及计算机设备，具有以下有益效果：
本发明针对缺陷检测任务中生成样本不具备有意义的新分布和特征、背离真实分布、图像质量差、对监督信息的支持较差等不足，采用多阶段生成对抗网络结构，提供一种缺陷检测训练样本的生成方法，同时支持多个缺陷种类，能够生成数量可控的、带有缺陷种类及坐标监督信息的缺陷图像样本。本发明能够保证较大的样本覆盖率，大大提升模型检测性能，适用于任意缺陷检测模型，具有较强适用性。
附图说明
图1是根据本发明的一个实施例所示的一种基于生成对抗网络的缺陷图像样本生成方法的流程图；
图2是根据本发明的一个实施例所示的缺陷图像样本生成的系统模块图；
图3是根据本发明的一个实施例所示的真实缺陷样本示意图；
图4A是根据本发明的一个实施例所示的第一生成对抗网络模型示意图；
图4B是根据本发明的一个实施例所示的第二生成对抗网络模型示意图；
图5是根据本发明的一个实施例所示的粗合成缺陷样本示意图；
图6是根据本发明的一个实施例所示的生成缺陷样本图像及标签示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请以生成数量可控的、带有缺陷种类及坐标监督信息的缺陷图像样本为目的，以解决现有方法中生成样本不具备有意义的新分布和特征、背离真实分布、图像质量差、对监督信息的支持较差等问题，从而保证之后的缺陷检测的准确性。本申请提出一种基于生成对抗网络的样本生成方法，能适用于任意缺陷检测模型，具有良好的应用前景和十分重要的现实意义。
本申请的总体构思为以全阶段融入深度学习的方式来生成缺陷图像样本。具体地，在生成阶段，首先对少量真实的缺陷样本和无缺陷样本作预处理，输入到Resnet为主干的生成对抗网络训练，并嵌入类条件训练模型；训练后生成种类数量可控的缺陷块图像，获取粗合成缺陷样本，并自动标注监督标签；随后的融合阶段中，粗合成缺陷样本和真实缺陷样本输入到Resnet为主干的生成对抗网络及编码器训练；粗合成缺陷样本经编码器嵌入潜变量空间，通过生成器融合重建前景背景，最终得到足量有效的生成缺陷样本及监督标签。
图1是根据本申请的实施例所示的一种基于生成对抗网络的缺陷图像样本生成方法的流程图。
在步骤101，可以采集真实缺陷样本和无缺陷样本。步骤101可以由样本获取模块201完成。
在一些实施例中，真实样本可以通过批量获取工业缺陷检测公开数据图像得到。图3是根据本申请的一个实施例所示的真实缺陷样本示意图。在本申请中，选取数据集为热轧钢带表面缺陷公开数据集NEU-DET，共1800个缺陷样本图像，图像像素大小为200x200，图像格式为.png格式。图3示出了6中缺陷类型的样本，每种缺陷类型都有300个缺陷样本。
真实样本根据缺陷的有无可以分为真实缺陷样本和无缺陷样本(Defect Free)。真实缺陷样本根据缺陷的种类可以分为龟裂(Crazing)、夹杂物(Inclusion)、斑点(Patches)、麻面(Pitted Surface)、轧屑(Rolled-in Scale)和划痕(Scratches)。需要注意的是，以上示出的缺陷类型只是示例性的，在其他实施例中，缺陷种类还可以包含其他类型。
在本申请的实施例中，真实缺陷样本和无缺陷样本在存储设备中以.png的图片文件形式存储，并使用缺陷种类+编号的命名格式进行区分，以便后续数据的读取。
将不同种类的缺陷样本及无缺陷样本分别归类于Crazing、Inclusion、Patches、Pitted Surface、Rolled-in Scale、Scratches以及Defect Free的文件夹下，并标明类别，同一目录中的图像名种类相同，编号互异。例如，龟裂类型的缺陷样本可以存储在文件名为Crazing的文件夹中，该文件夹中的图像可以分别命名为Crazing1、Crazing2、Crazing3、Crazing4等。再例如，夹杂物类型的缺陷样本可以存储在文件名为Inclusion的文件夹中，该文件夹中的图像可以分别命名为Inclusion1、Inclusion2、Inclusion3、Inclusion4等。Patches、Pitted Surface、Rolled-in Scale、Scratches以及Defect Free的文件夹中的图像的命名方式与Crazing文件夹和Inclusion文件夹中的图像命名方式相同，这里不再赘述。
需要说明的是，以上示出的样本图像格式、文件夹的命名格式以及文件夹中图像的命名方式只是示例性的。在一些实施例中，样本图像还可以其他图片文件形式存储，例如.jpg格式、.jpeg格式、.gif格式、.bmp格式等。在一些实施例中，文件夹的命名可以是中文的，例如文件夹的名称可以分别是龟裂、夹杂物、斑点、麻面、轧屑、划痕和无缺陷。在一些实施例中，文件夹的命名还可以使用其他名称，只要能够区分缺陷的有无以及缺陷的种类即可。在一些实施例中，各个文件夹中的图像还可用其他方式命名。例如，图像的缺陷种类中文名称+数字编号、图像的缺陷种类中文名称+字母编号、图像的缺陷种类英文名称+字母编号等。其中，在使用图像的缺陷种类英文名称+数字编号(或字母编号)时，种类名称和编号之间可以加空格也可以不加空格，空格的数量也可以任意设置(例如，1、2、3)；英文名称可以全部使用大写字母或部分使用大写字母(例如首字母大写)或全部使用小写；种类名称和编号之间可以加任意连接符(例如“-”、“～”等)。在一些实施例中，各个文件夹中的图像还可以用编号+缺陷种类的方式，具体的命名方式与缺陷种类+编号的命名方式类似，这里不再赘述。
在步骤102，可以构建并训练第一生成对抗网络模型。步骤102可以由第一生成对抗网络模型确定模块202完成。
工业缺陷通常存在多个种类，因此生成阶段的生成对抗网络采用CGAN(Conditional Generative Adversarial Network)模型嵌入条件信息。生成阶段生成对抗网络模型也可称为第一生成对抗网络模型。图4A是根据本申请的实施例所示的第一生成对抗网络模型的示意图。第一生成对抗网络模型400可以包含一个生成器401和一个判别器402。在一些实施例中，生成器401可以将Resnet作为主干网络，视实际缺陷图像的纹理复杂程度高低，可增减残差块数量来提高网络特征复用能力。在一些实施例中，判别器402可以引入Minibatch Discrimination结构，计算并维持minibatch中所有图像在判别器中某一层特征图之间的差异，以缓解CGAN中的模式坍塌现象，增强生成缺陷块的多样性。在一些实施例中，判别器402可以使用Leaky RELU函数，以增强网络的稳定性。
在一些实施例转中，在训练第一生成对抗网络模型前，还需要对真实缺陷样本进行裁剪预处理，包括：获取真实缺陷样本的缺陷坐标信息。真实缺陷样本具有缺陷信息标签的，可直接使用该标签作为参考，读取标签中真实样本的缺陷类以及坐标。NEU-DET数据集带有缺陷种类和坐标信息的xml标签，其坐标格式为：预测框最左端xmin、预测框最上端ymax、预测框最右端xmax、预测框最下端ymin，由此得到缺陷块图像对应的需裁剪的区域坐标。
由于裁剪的真实缺陷块会输入到后续生成阶段生成对抗网络，需要对输入的缺陷块的尺寸进行设置，因此对真实缺陷样本进行裁剪预处理还包括获取待裁剪的输入尺寸。
对真实缺陷样本进行裁剪预处理还包括利用所述真实缺陷样本的缺陷块坐标信息和所述待裁剪的输入尺寸，对所述真实缺陷样本进行裁剪，得到真实缺陷样本的真实缺陷块。
具体地，对于裁剪区域小于输入尺寸的缺陷样本图像，以缺陷中心坐标为中心，作输入尺寸大小的方形框裁剪，得到真实缺陷样本的真实缺陷块。本申请的实施例中设置的待裁剪的输入尺寸为64x64。
对于裁剪区域大于输入尺寸的缺陷样本图像，可以直接按照裁剪区域进行剪裁，得到刚好框柱缺陷块的图像块，即真实缺陷样本的真实缺陷块。
真实缺陷块可以作为生成阶段判别器402的真实输入，训练生成阶段生成器401。
裁剪得到的真实缺陷块，以其对应缺陷种类和编号命名，例如“crazing-1.png”的形式，来保留其缺陷种类信息。按照实际工程情况和训练样本特征可作预处理操作，例如统一图像尺寸大小、对比度等。本申请的实施例中输入的图像大小为64x64，输出的图像大小也为64x64。
训练时，裁剪得到的真实缺陷块作为网络的图像输入，同时读取其图片名中缺陷种类名称，例如“crazing-1.png”中的“crazing”，其缺陷种类对应的one-hot编码作为网络的条件输入，输入到网络进行训练。
工业缺陷通常存在多个种类，因此生成阶段的生成对抗网络采用CGAN的形式来引入条件信息，并以Resnet作为主干网络，视实际缺陷图像的纹理复杂程度高低，可增减残差块数量来提高网络特征复用能力。故生成阶段生成对抗网络模型的目标函数表示为：
Figure BDA0003584938430000071
上式中，G和D分别表示生成器和判别器的输出，Pdata和PZ分别表示真实数据和高斯随机噪声的分布，x表示真实图像数据，z表示随机采样的高斯噪声，c表示缺陷种类的条件信息。
在步骤103，可以将真实缺陷样本和无缺陷样本输入第一生成对抗网络模型，生成缺陷块图像。步骤103可以由缺陷块图像确定模块203完成。
完成生成阶段训练后，输入种类标签和高斯随机噪声到生成阶段生成器401，生成的缺陷块图像保存并命名为缺陷种类和编号的形式，以保留缺陷种类信息。
在步骤104，根据缺陷块图像和无缺陷样本，生成粗合成缺陷样本。步骤104可以由粗合成缺陷样本确定模块204完成。
根据缺陷块图像和无缺陷样本生成粗合成缺陷样本可以包括：
获取融合ROI区域坐标和缩放倍数；
将所述缺陷块图像按照所述缩放倍数进行缩放；
根据所述融合ROI区域，将缩放后的缺陷块图像叠加至所述无缺陷样本，生成所述粗合成缺陷样本。
在一些实施例中，可以通过随机自动的方式，若干次选取生成的缺陷块图像和无缺陷样本图像、缩放倍数以及融合ROI区域，将生成的缺陷块图像叠加至无缺陷图像上，从而获得粗合成缺陷样本。图5是根据本发明的实施例所示的粗合成缺陷样本示意图。在本申请的实施中，真实数据中的无缺陷样本图像大小为200x200，因此粗合成缺陷样本图像大小也为200x200。
粗合成缺陷样本保留了的缺陷种类及缺陷坐标信息。缺陷种类信息和缺陷坐标信息以标签的形式储存于另一文件目录。根据检测模型读取标签方式的不同，标签形式也不同，例如.xml或.txt的格式。
在一些实施中，后续的检测模型为YOLO V5，粗合成缺陷样本的标签的坐标格式为：中心横坐标相对值xc、中心纵坐标相对值yc、预测框相对宽度w_box、预测框相对高度h_box。
设无缺陷图像的宽和高分别为w_free和h_free，缩放后缺陷块图像的宽和高分别为w_def和h_def，预选取的融合框中心的横坐标和纵坐标分别为x_fus和y_fus，则粗合成时粗合成缺陷样本坐标自动标注如下：
Figure BDA0003584938430000081
Figure BDA0003584938430000082
Figure BDA0003584938430000083
Figure BDA0003584938430000084
在步骤105，构建并训练第二生成对抗网络模型。步骤105可以由第二生成对抗网络模型训练模块205完成。
第二生成对抗网络模型也称为融合阶段生成对抗网络模型。图4B是根据本申请的一个实施例所示的第二生成对抗网络模型示意图。第二生成对抗网络模型450包含一个生成器451、一个判别器452和一个编码器453。生成器451和判别器452构成第二生成对抗网络的结构。编码器453可以将图像编码嵌入到潜变量空间，以潜变量形式输入到生成器451。
对第二生成对抗网络模型可以分为两个阶段。第一个阶段可以先单独训练生成器451和判别器452。第二阶段，冻结生成器451和判别器452的网络权重参数，独立训练编码器453，更新编码器453的参数。
在生成对抗网络原有对抗损失lossadv的基础上，使用判别器中间层的特征值计算重构损失lossrec，并引入SSIM损失函数lossSSIM。从亮度、对比度和结构全面衡量重构图像于原图的相似性，进一步提升生成样本的真实度。
lossfus＝lossadv+lossrec+lossSSIM
其中，
lossrec＝DKL(q(z|x)||p(z))+Eq(z|x)[logp(x|z)]
Figure BDA0003584938430000091
上式中，μx和μy分别表示输入图像x和重构输出图像y的均值，σx和σy分别表示输入图像x和重构输出图像y的方差，σxy表示输入图像x和重构输出图像y的协方差，c1和c2可以设置为与图像动态范围有关的常数值。
融合阶段通过重构粗合成缺陷样本图像，让叠加的生成缺陷块的像素分布接近背景区域，获得更真实的缺陷样本。此阶段的生成器451、判别器452和编码器453均采用Resnet的网络主干，引入对重构的缺陷样本图像与输入的真实缺陷图像的图像层和特征层重构损失，在保留输入图像缺陷特征的条件下，重构缺陷的融合边缘接近背景区域，生成更真实的缺陷样本图像。
在步骤106，将粗合成缺陷样本和真实缺陷样本输入第二生成对抗网络模型，生成缺陷图像样本。步骤106可以由缺陷图像样本确定模块206完成。
第二生成对抗网络模型训练完成之后，输入的粗合成缺陷样本可以通过编码器453和生成器452生成缺陷样本及标签。在融合阶段，输入图像通过Torchvision的transforms变换大小为192x192，输出图像大小也为192x192。
标签中包含了生成的缺陷样本的缺陷种类信息和缺陷坐标信息，从而解决了训练样本不足以及监督信息标注的问题。在该融合阶段，输入了未裁剪的真实缺陷样本，即保持源数据的像素大小。在一些实施例中，根据实际应用情况，还可以作对比度等增强操作以提升生成样本的图像质量。图6是根据本申请的一个实施例所示的生成的缺陷样本图像及标签示意图。
图2是根据本申请的一个实施例所示的缺陷图像样本生成的系统模块图。如图2所示，缺陷图像样本生成系统200包含样本获取模块201、第一生成对抗网络模型确定模块202、缺陷块图像确定模块203、粗合成缺陷样本确定模块204、第二生成对抗网络模型确定模块205和缺陷图像样本确定模块206。
样本获取模块201可以用于采集真实缺陷样本和无缺陷样本。
第一生成对抗网络模型确定模块202可以用于构建并训练第一生成对抗网络模型400。第一生成对抗网络模型400可以是CGAN模型。
缺陷块图像确定模块203可以用于将真实缺陷样本和无缺陷样本输入第一生成对抗网络模型400，生成缺陷块图像。缺陷块图像确定模块203可以获取真实缺陷样本的缺陷坐标信息。缺陷块图像确定模块203还可以获取待裁剪的输入尺寸，缺陷块图像确定模块203还可以利用真实缺陷样本的缺陷块坐标信息和待裁剪的输入尺寸，对真实缺陷样本进行裁剪，得到真实缺陷样本的真实缺陷块。
具体地，对于裁剪区域小于输入尺寸的缺陷样本图像，缺陷块图像确定模块203可以以缺陷中心坐标为中心，作输入尺寸大小的方形框裁剪，得到真实缺陷样本的真实缺陷块。对于裁剪区域大于输入尺寸的缺陷样本图像，缺陷块图像确定模块203可以直接按照裁剪区域进行剪裁，得到刚好框住缺陷块的图像块，即真实缺陷样本的真实缺陷块。
粗合成缺陷样本确定模块204可以用于根据缺陷块图像和无缺陷样本，生成粗合成缺陷样本。具体地，粗合成缺陷样本确定模块204可以获取融合ROI区域坐标和缩放倍数。粗合成缺陷样本确定模块204可以将所述缺陷块图像按照所述缩放倍数进行缩放。粗合成缺陷样本确定模块204可以根据所述融合ROI区域，将缩放后的缺陷块图像叠加至所述无缺陷样本，生成所述粗合成缺陷样本。
在一些实施例中，粗合成缺陷样本确定模块204可以通过随机自动的方式，若干次选取生成的缺陷块图像和无缺陷样本图像、缩放倍数以及融合ROI区域，将生成的缺陷块图像叠加至无缺陷图像上，从而获得粗合成缺陷样本。
第二生成对抗网络模型确定模块205可以用于构建并训练第二生成对抗网络模型450。第二生成对抗网络模型450可以是CGAN模型。第二生成对抗网络模型450可以先单独训练生成器451和判别器452，再冻结生成器451和判别器452的网络权重参数，独立训练编码器453，更新编码器453的参数。
缺陷图像样本确定模块206可以用于将粗合成缺陷样本和真实缺陷样本输入第二生成对抗网络模型450，生成缺陷图像样本。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述缺陷样本生成方法的步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述缺陷样本生成方法的步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于生成对抗网络的缺陷图像样本生成方法，其特征在于，包括：
获取真实缺陷样本和无缺陷样本，所述真实缺陷样本带有缺陷信息标签；
构建并训练第一生成对抗网络模型；
将所述真实缺陷样本和所述无缺陷样本输入所述第一生成对抗网络模型，生成缺陷块图像，其中，所述缺陷块图像包含缺陷种类信息；
根据所述缺陷块图像和所述无缺陷样本，生成粗合成缺陷样本，其中，所述粗合成缺陷样本带有缺陷信息标签；
构建并训练第二生成对抗网络模型；
将所述粗合成缺陷样本输入和所述真实缺陷样本输入所述第二生成对抗网络模型，生成缺陷图像样本，所述缺陷图像样本带有缺陷信息标签，
其中，所述缺陷信息标签包含缺陷种类信息和缺陷坐标信息。
2.根据权利要求1所述的基于生成对抗网络的缺陷图像样本生成方法，其特征在于，还包括对所述真实缺陷样本进行裁剪，包括：
获取所述真实缺陷样本的缺陷坐标信息；
获取待裁剪的输入尺寸；
利用所述真实缺陷样本的缺陷块坐标信息和所述待裁剪的输入尺寸，对所述真实缺陷样本进行裁剪，得到所述真实缺陷样本的真实缺陷块，
其中，所述真实缺陷样本的真实缺陷块包含缺陷种类信息。
3.根据权利要求2所述的基于生成对抗网络的缺陷图像样本生成方法，其特征在于，所述训练第一生成对抗网络模型包括：
用所述真实缺陷块对所述第一生成对抗网络模型进行训练。
4.根据权利要求1所述的基于生成对抗网络的缺陷图像样本生成方法，其特征在于，所述第一生成对抗网络模型包含一个生成器和一个判别器，所述将所述真实缺陷样本和所述无缺陷样本输入所述第一生成对抗网络模型，生成缺陷块图像包括：
获取种类标签和高斯随机噪声；
将所述种类标签和所述高斯随机噪声输入到所述第一生成对抗网络模型的生成器中，生成所述缺陷块图像。
5.根据权利要求1所述的基于生成对抗网络的缺陷图像样本生成方法，其特征在于，所述利用所述缺陷块图像和所述无缺陷样本，生成粗合成缺陷样本包括：
获取融合ROI区域坐标和缩放倍数；
将所述缺陷块图像按照所述缩放倍数进行缩放；
根据所述融合ROI区域，将缩放后的缺陷块图像叠加至所述无缺陷样本，生成所述粗合成缺陷样本。
6.根据权利要求1所述的基于生成对抗网络的缺陷图像样本生成方法，其特征在于，所述第一生成对抗网络模型是CGAN模型。
7.根据权利要求1所述的基于生成对抗网络的缺陷图像样本生成方法，其特征在于，所述第二生成对抗网络模型是CGAN模型。
8.一种基于生成对抗网络的缺陷图像样本生成系统，其特征在于，包括：
样本获取模块，用于获取真实缺陷样本和无缺陷样本，所述真实缺陷样本带有缺陷信息标签，所述；
第一生成对抗网络模型确定模块，用于构建并训练第一生成对抗网络模型；
缺陷块图像确定模块，用于将所述真实缺陷样本和所述无缺陷样本输入所述第一生成对抗网络模型，生成缺陷块图像，所述缺陷块图像包含缺陷种类信息；
粗合成缺陷样本确定模块，用于根据所述缺陷块图像和所述无缺陷样本，生成粗合成缺陷样本，其中，所述粗合成缺陷样本带有缺陷信息标签；
第二生成对抗网络模型确定模块，用于构建并训练第二生成对抗网络模型；
缺陷图像样本确定模块，用于将所述粗合成缺陷样本输入和所述真实缺陷样本输入所述第二生成对抗网络模型，生成缺陷图像样本，所述缺陷图像样本带有缺陷信息标签，其中，所述缺陷信息标签包含缺陷种类信息和缺陷坐标信息。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于生成对抗网络的缺陷图像样本生成方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述基于生成对抗网络的缺陷图像样本生成方法的步骤。
CN202210360506.8A 2022-04-07 2022-04-07 基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备 Pending CN114820469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210360506.8A CN114820469A (zh) 2022-04-07 2022-04-07 基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210360506.8A CN114820469A (zh) 2022-04-07 2022-04-07 基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN114820469A true CN114820469A (zh) 2022-07-29

Family

ID=82533790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210360506.8A Pending CN114820469A (zh) 2022-04-07 2022-04-07 基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN114820469A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690090A (zh) * 2022-11-16 2023-02-03 北京阿丘科技有限公司 缺陷样本图像生成方法、装置、设备及存储介质
CN116229218A (zh) * 2023-05-09 2023-06-06 之江实验室 一种模型训练、图像配准方法及装置
CN117635537A (zh) * 2023-10-24 2024-03-01 上海贝特威自动化科技有限公司 一种基于视觉ai大模型的锂电池外观缺陷生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690090A (zh) * 2022-11-16 2023-02-03 北京阿丘科技有限公司 缺陷样本图像生成方法、装置、设备及存储介质
CN116229218A (zh) * 2023-05-09 2023-06-06 之江实验室 一种模型训练、图像配准方法及装置
CN116229218B (zh) * 2023-05-09 2023-08-04 之江实验室 一种模型训练、图像配准方法及装置
CN117635537A (zh) * 2023-10-24 2024-03-01 上海贝特威自动化科技有限公司 一种基于视觉ai大模型的锂电池外观缺陷生成方法

Similar Documents

Publication Publication Date Title
CN114820469A (zh) 基于生成对抗网络的缺陷图像样本生成方法、系统、介质及设备
CN111767801B (zh) 一种基于深度学习的遥感影像水域自动提取方法及系统
JP5008572B2 (ja) 画像処理方法、画像処理装置およびコンピュータ可読媒体
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
JP2000137804A (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
CN101226631A (zh) 一种超分辨率图像重构方法和装置
CN110598784A (zh) 基于机器学习的建筑垃圾分类方法及装置
CN112883900B (zh) 遥感影像裸地反演可视图的方法及装置
Chen et al. Extracting contour lines from common-conditioned topographic maps
CN113689434B (zh) 一种基于条带池化的图像语义分割方法
CN115497010B (zh) 一种基于深度学习的地理信息的识别方法及系统
CN115272330A (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN112906614A (zh) 基于注意力指导的行人重识别方法、装置及存储介质
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Mostafa et al. Corresponding regions for shadow restoration in satellite high-resolution images
CN115731198A (zh) 一种皮革表面缺陷智能检测系统
CN113627288B (zh) 一种面向海量影像的智能化信息标签获取方法
CN117437519B (zh) 一种无水尺水位识别方法及装置
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
CN113743300A (zh) 基于语义分割的高分遥感图像云检测方法和装置
CN112784806A (zh) 一种基于全卷积神经网络的含锂伟晶岩脉提取方法
Bello-Pineda et al. Using aerial video to train the supervised classification of Landsat TM imagery for coral reef habitats mapping
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
CN115761223A (zh) 一种利用数据合成的遥感影像实例分割方法
CN104881669A (zh) 一种基于颜色对比度的局部区域检测子提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination