CN116188917B - 缺陷数据生成模型训练方法、缺陷数据生成方法及装置 - Google Patents

缺陷数据生成模型训练方法、缺陷数据生成方法及装置 Download PDF

Info

Publication number
CN116188917B
CN116188917B CN202310443918.2A CN202310443918A CN116188917B CN 116188917 B CN116188917 B CN 116188917B CN 202310443918 A CN202310443918 A CN 202310443918A CN 116188917 B CN116188917 B CN 116188917B
Authority
CN
China
Prior art keywords
image
defect
original
model
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310443918.2A
Other languages
English (en)
Other versions
CN116188917A (zh
Inventor
蔡利冰
林鹏
黄冠杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Suyingshi Image Software Technology Co ltd
Original Assignee
Suzhou Suyingshi Image Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Suyingshi Image Software Technology Co ltd filed Critical Suzhou Suyingshi Image Software Technology Co ltd
Priority to CN202310443918.2A priority Critical patent/CN116188917B/zh
Publication of CN116188917A publication Critical patent/CN116188917A/zh
Application granted granted Critical
Publication of CN116188917B publication Critical patent/CN116188917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种缺陷数据生成模型训练方法、缺陷数据生成方法及装置。该方法包括：获取原始缺陷图像、与原始缺陷图像关联的原始掩膜图像以及原始背景图像；根据原始掩膜图像获取生成掩膜图像，并将生成掩膜图像输入至生成器，获得生成缺陷图像；将图像输入至待训练模型中的增强序列模块，得到增强图像集合；根据增强图像集合和预设类型的损失函数对待训练模型训练，得到训练完成的缺陷数据生成模型。通过运行本发明实施例所提供的技术方案，可以解决收集或人为仿造出的数张缺陷图片用以模型训练，易导致模型训练在稳定性与泛化性上表现不足，致使需要长时间重复迭代才能满足检测需求的问题，提高缺陷数据生成模型训练的有效性和稳定性。

Description

缺陷数据生成模型训练方法、缺陷数据生成方法及装置
技术领域
本发明涉及计算机技术，尤其涉及缺陷数据生成模型训练方法、缺陷数据生成方法及装置。
背景技术
在工业制造缺陷检测等领域，由于行业特点，缺陷的出现在时间与形态上不具备可控性，为了对缺陷进行检测需要对缺陷数据进行收集，而缺陷数据的收集通常需要花费大量的人工成本和时间。
现有技术中，为了检测某一特定的缺陷，往往通过收集或人为仿造出的数张缺陷图片用以深度学习模型训练，然而训练样本数量及种类较少，易导致模型训练在稳定性与泛化性上表现不足，致使需要长时间的重复迭代才能满足检测需求。
发明内容
本发明提供缺陷数据生成模型训练方法、缺陷数据生成方法及装置，以实现提高缺陷数据生成模型训练的有效性和稳定性。
根据本发明的一方面，提供了一种缺陷数据生成模型训练方法，该方法包括：
获取原始缺陷图像、与所述原始缺陷图像关联的原始掩膜图像以及与所述原始缺陷图像关联的场景的原始背景图像；
根据所述原始掩膜图像获取生成掩膜图像，并将所述生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像；其中，所述待训练模型基于生成对抗网络构建；
将所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，以及所述生成掩膜图像和所述生成缺陷图像，输入至所述待训练模型中的增强序列模块，得到增强图像集合；
根据所述增强图像集合和预设类型的损失函数对所述待训练模型训练，得到训练完成的缺陷数据生成模型。
根据本发明的另一方面，提供了一种缺陷数据生成方法，该方法包括：
获取待处理缺陷图像、与所述待处理缺陷图像关联的待处理掩膜图像以及与所述待处理缺陷图像关联的场景的待处理背景图像；
将所述待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至预先训练的缺陷数据生成模型中，生成目标缺陷图像和目标掩膜图像；其中，所述缺陷数据生成模型基于本发明任一实施例所述的缺陷数据生成模型训练方法训练得到。
根据本发明的另一方面，提供了一种缺陷数据生成模型训练装置，该装置包括：
原始图像获取模块，用于获取原始缺陷图像、与所述原始缺陷图像关联的原始掩膜图像以及与所述原始缺陷图像关联的场景的原始背景图像；
生成图像获取模块，用于根据所述原始掩膜图像获取生成掩膜图像，并将所述生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像；其中，所述待训练模型基于生成对抗网络构建；
图像增强模块，用于将所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，以及所述生成掩膜图像和所述生成缺陷图像，输入至所述待训练模型中的增强序列模块，得到增强图像集合；
模型训练模块，用于根据所述增强图像集合和预设类型的损失函数对所述待训练模型训练，得到训练完成的缺陷数据生成模型。
根据本发明的另一方面，提供了一种缺陷数据生成装置，该装置包括：
待处理图像获取模块，用于获取待处理缺陷图像、与所述待处理缺陷图像关联的待处理掩膜图像以及与所述待处理缺陷图像关联的场景的待处理背景图像；
图像生成模块，用于将所述待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至预先训练的缺陷数据生成模型中，生成目标缺陷图像和目标掩膜图像；其中，所述缺陷数据生成模型基于本发明任一实施例所述的缺陷数据生成模型训练方法训练得到。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的缺陷数据生成模型训练方法和/或缺陷数据生成方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的缺陷数据生成模型训练方法和/或缺陷数据生成方法。
本发明实施例的技术方案，待训练模型基于生成对抗网络构建，结合其多样的空间扰动方式，提供丰富的缺陷特征，解决现有技术中采用几何变换，添加噪声等方式对数据进行增强，但因缺陷形态变换多样，很难对缺陷特征进行实质性拓展，导致训练得到模型的泛化性较差的问题。待训练模型中生成器能有效利用原始掩膜图像，对图像中的缺陷部分数据整体生成，使得生成的缺陷图像更关注缺陷部分，解决现有技术中对缺陷图像全图信息进行生成导致生成数据仅能适用于分类任务，应用范围较窄，且需要大量的前期工作确保图像内容仅包含单类信息，降低数据生成效率的问题。并且对生成缺陷图像中的缺陷形态通过原始掩膜图像中的掩膜信息进行了形态规范，保证了缺陷图像生成的合理性。将原始背景图像、原始缺陷图像和原始掩膜图像，以及生成掩膜图像和生成缺陷图像，输入至待训练模型中的增强序列模块，得到增强图像集合，对原始图像进行有效扩充，解决现有模型训练中初始需要采集大量数据进行模型训练，模型才具备可接受的生成能力的问题，降低了缺陷数据生成模型的训练门槛，增加了训练的稳定性。同时解决收集或人为仿造出的数张缺陷图片用以模型训练，易导致模型训练在稳定性与泛化性上表现不足，致使需要长时间重复迭代才能满足检测需求的问题，提高模型训练效率。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
图1为本发明实施例一提供的一种缺陷数据生成模型训练方法的流程图；
图2为本发明实施例二提供的一种缺陷数据生成模型训练方法的流程图；
图3为本发明实施例二提供的一种缺陷数据生成模型的示意图；
图4为本发明实施例三提供的一种缺陷数据生成方法的流程图；
图5为本发明实施例四提供的一种缺陷数据生成模型训练装置的结构示意图；
图6为本发明实施例四提供的一种缺陷数据生成装置的结构示意图；
图7为用来实施本发明实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“原始”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种缺陷数据生成模型训练方法的流程图，本实施例可适用于训练可生成缺陷数据的模型的情况，该方法可以由本发明实施例所提供的缺陷数据生成模型训练装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的缺陷数据生成模型训练方法，包括：
步骤110、获取原始缺陷图像、与原始缺陷图像关联的原始掩膜图像以及与原始缺陷图像关联的场景的原始背景图像。
原始缺陷图像为可直接获取的缺陷图像，例如通过采集得到的缺陷图像；与原始缺陷图像关联的原始掩膜图像，为对原始缺陷图像进行分割标注后得到的以掩膜（Mask）形态显示的图像；与原始缺陷图像关联的场景的原始背景图像为与原始缺陷图像对应的场景中无缺陷图像，例如原始缺陷图像为场景中产品A的缺陷图像，则原始背景图像为场景中产品A的无缺陷图像，也可通过采集得到。
本实施例中，可选的，获取原始缺陷图像、与原始缺陷图像关联的原始掩膜图像以及与原始缺陷图像关联的场景的原始背景图像，包括：
获取候选产品图像，并从候选产品图像中确定原始缺陷图像，以及原始背景图像；
根据原始缺陷图像对应产品的产品标识，将所原始缺陷图像添加至预设产品缺陷数据库；
对预设产品缺陷数据库中的各原始缺陷图像执行缺陷标注操作，得到原始掩膜图像。
其中，候选产品图像可为对全部产品拍摄的图像，从候选产品图像中确定原始缺陷图像和原始背景图像，可通过人工选取也可通过计算机识别，本实施例对此不进行限制。可将同一产品的中无缺陷的图像确定为原始缺陷图像对应的原始背景图像。可选的，候选产品图像采集完成后，可根据需求利用传统算法对检测区域进行裁剪，以排除背景干扰提高后续图像处理的效率。
原始缺陷图像对应产品的产品标识，可为原始缺陷图像对应的产品的UID，本实施例对此不进行限制；预设产品缺陷数据库为先构建的记录同一产品的缺陷数据的数据库，预设产品缺陷数据库可与产品标识绑定，当存在原始缺陷图像时，可通过扫描对应产品上的产品二维码获得产品标识，以将原始缺陷图像添加至产品标识关联的预设产品缺陷数据库。
将预设产品缺陷数据库中的图像可导入到常见图像标注工具中，按照标注规则完成缺陷像素级标注，得到原始掩膜图像，将原始掩膜图像可同样添加至预设产品缺陷数据库。可选的，在标注规则未确定前，可预先通过记号笔圈注缺陷区域，当标注规则完善后，取消记号笔圈注，以提高后续缺陷标注的效率。
通过根据原始缺陷图像对应产品的产品标识，将所原始缺陷图像添加至预设产品缺陷数据库，可通过该产品标识与产品建立一一映射关系，便于后续对产品数据回溯。对预设产品缺陷数据库中的各原始缺陷图像统一执行缺陷标注操作，得到原始掩膜图像，提高标注效率。
步骤120、根据原始掩膜图像获取生成掩膜图像，并将生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像；其中，待训练模型基于生成对抗网络构建。
生成掩膜图像为基于原始掩膜图像生成的掩膜图像，可通过对原始掩膜图像进行旋转操作、放大缩写操作等预设变换操作得到，本实施例对此不进行限制。
待训练模型基于生成对抗网络构建，因此包括生成器和判别器，生成器用于生成非真实图像，判别器用于判别原始图像和生成图像的真假；将生成掩膜图像输入至待训练模型中的生成器，其中，生成器为类似于自动编码器的结构，将生成掩膜图像输入生成器后可获得生成缺陷图像。
本实施例中，可选的，根据原始掩膜图像获取生成掩膜图像，并将生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像，包括：
对原始掩膜图像进行随机变换处理；
将随机变换处理后的原始掩膜图像和随机噪声输入至生成器，获得生成缺陷图像；其中，生成器基于U-net网络构建。
其中，随机变换处理可为放大处理、缩小处理、旋转处理等预设变换处理的中的一种，随机噪声例如为均值为0、方差为1的噪声，本实施例对此不进行限制。
生成器基于U-net网络构建，采用了U-net网络作为主干，对U-net网络的输入输出进行适应性调整，例如将单输入调整为双输入，使得生成器的输入为随机变换处理后的原始掩膜图像和随机噪声，输出为生成缺陷图像。此时U-net网络作为带有残差连接的自动编码器，可根据输入的随机变换处理后的原始掩膜图像和随机噪声生成出合理的缺陷图像，获得生成缺陷图像的过程可体现为如下公式：
（公式1）
（公式2）
其中X为原始缺陷图像,Y为生成缺陷图像，分别为原始掩膜图像以及生成掩膜图像，F为随机变换，/>为随机噪声，G为生成器，例如为基于掩膜信息的U-net的生成器。
通过原始掩膜图像进行随机变换处理，提高原始掩膜图像的随机性，从而丰富与随机噪声共同得到的生成缺陷图像的多样性，并且由于原始掩膜图像为实际缺陷对应的掩膜图像，因此在原始掩膜图像的基础上进行变换，提高生成缺陷图像的合理性；同时生成器基于U-net网络构建并适应性调整，在满足生成需求的同时，保留残差连接的优点，提高缺陷数据生成模型训练的有效性。
步骤130、将原始背景图像、原始缺陷图像和原始掩膜图像，以及生成掩膜图像和生成缺陷图像，输入至待训练模型中的增强序列模块，得到增强图像集合。
将缺陷图像与对应掩膜数据成对输入至待训练模型中的增强序列模块，例如将原始缺陷图像和原始掩膜图像输入至增强序列模块，将生成掩膜图像和生成缺陷图像成对输入至增强序列模块。将原始背景图像输入至增强序列模块。
其中，序列增强模块用于通过可逆增强序列对输入数据进行增强，从而增强输入数据的图像复杂度，其中可逆增强指在整体数据空间上，数据变换的进程是可逆的，数据变换并不会丢失原有的缺陷特征分布，用以确保生成器在训练过程中可学习到真实的特征分布，不会产生意外的生成效果。因此无需限定单一图像数据变换可逆。可逆增强序列可包含一个或多个概率产生的增强变换，例如为几何变换、颜色变换，本实施例对此不进行限制。
通过序列增强模块处理得到的图像构成增强图像集合，增强图像集合包括增强后的原始背景图像、原始缺陷图像、原始掩膜图像、生成掩膜图像和生成缺陷图像。
本实施例中，可选的，将原始背景图像、原始缺陷图像和原始掩膜图像，以及生成掩膜图像和生成缺陷图像，输入至待训练模型中的增强序列模块，得到增强图像集合，包括：
将原始背景图像输入至增强序列模块；
将原始缺陷图像和关联的原始掩膜图像，成对输入至增强序列模块；
将生成掩膜图像和关联的生成缺陷图像，成对输入至增强序列模块；
根据预设执行概率从候选变换处理中确定目标变换处理；
对原始背景图像、原始缺陷图像和原始掩膜图像，生成掩膜图像和生成缺陷图像，执行目标变换处理，得到增强图像集合。
将原始背景图像、原始缺陷图像和关联的原始掩膜图像、原始缺陷图像和关联的原始掩膜图像均输入至增强序列模块，其中，原始缺陷图像关联的原始掩膜图像为原始缺陷图像对应的掩膜图像；生成掩膜图像关联的生成缺陷图像，为生成缺陷图像对应的掩膜图像。
根据预设执行概率从候选变换处理中确定目标变换处理，例如为像素块扰动、几何变换、颜色变换、图像过滤、图像剪切等。根据预设执行概率从候选变换处理中确定目标变换处理，可为对于候选变换处理中的各变换都以固定的概率P选择执行，或以1-P的概率跳过，目标变换处理即为选择执行的变换处理。
对原始背景图像，原始缺陷图像和原始掩膜图像，生成掩膜图像和生成缺陷图像，均执行目标变换处理，得到增强图像集合。
获得增强后的原始缺陷图像、原始掩膜图像、生成掩膜图像和生成缺陷图像的过程可体现为如下公式：
（公式3）
（公式4）
其中X’为增强后的原始缺陷图像，Y’为增强后的生成缺陷图像，为增强后的原始掩膜图像，/>为增强后的生成掩膜图像，S为增强序列模块。
通过将缺陷图像与对应的掩膜图像成对输入至增强序列模块，保证在执行目标变换处理时缺陷图像以及对应的掩膜图像采用同样的变换处理，实现同步变化。通过对原始背景图像、原始缺陷图像和原始掩膜图像，生成掩膜图像和生成缺陷图像，执行根据预设执行概率确定的目标变换处理，增加得到的增强图像的复杂程度，提高后续判别器通过增强图像集合训练时的稳定性，并且使得在输入数据的整体数据空间上数据变换的进程可逆，确保生成器能够不受增强变换影响，仅学习正确的缺陷分布，提高生成器训练的有效性。
步骤140、根据增强图像集合和预设类型的损失函数对待训练模型训练，得到训练完成的缺陷数据生成模型。
预设类型的损失函数例如为结构化损失函数、对抗损失函数等，本实施例对此不进行限制。
根据增强图像集合通过预设类型的损失函数进行计算，并通过计算结果调整待训练模型中的模型参数，直至模型损失满足预设条件，得到训练完成的缺陷数据生成模型。
本实施例所提供的技术方案，待训练模型基于生成对抗网络构建，结合其多样的空间扰动方式，提供丰富的缺陷特征，解决现有技术中采用几何变换，添加噪声等方式对数据进行增强，但因缺陷形态变换多样，很难对缺陷特征进行实质性拓展，导致训练得到模型的泛化性较差的问题。
待训练模型中生成器能有效利用原始掩膜图像，对图像中的缺陷部分数据整体生成，使得生成的缺陷图像更关注缺陷部分，解决现有技术中对缺陷图像全图信息进行生成导致生成数据仅能适用于分类任务，应用范围较窄，且需要大量的前期工作确保图像内容仅包含单类信息，降低数据生成效率的问题。并且对生成缺陷图像中的缺陷形态通过原始掩膜图像中的掩膜信息进行了形态规范，保证了缺陷图像生成的合理性。
将原始背景图像、原始缺陷图像和原始掩膜图像，以及生成掩膜图像和生成缺陷图像，输入至待训练模型中的增强序列模块，得到增强图像集合，对原始图像进行有效扩充，解决现有模型训练中初始需要采集大量数据进行模型训练，模型才具备可接受的生成能力的问题，降低了缺陷数据生成模型的训练门槛，增加了训练的稳定性。同时解决收集或人为仿造出的数张缺陷图片用以模型训练，易导致模型训练在稳定性与泛化性上表现不足，致使需要长时间重复迭代才能满足检测需求的问题，提高模型训练效率。
实施例二
图2为本发明实施例二提供的一种缺陷数据生成模型训练方法的流程图，本技术方案是针对根据增强图像集合和预设类型的损失函数对待训练模型训练，得到训练完成的缺陷数据生成模型的过程进行补充说明的，且本发明实施例二中的公式参数定义与本发明实施例一中相同，重复部分不再赘述。与上述方案相比，本方案具体优化为，根据增强图像集合和预设类型的损失函数对待训练模型训练，得到训练完成的缺陷数据生成模型，包括：
根据增强图像集合和各预设类型的损失函数得到各损失计算结果；其中，预设类型包括相似度损失、结构损失和对抗损失；对抗损失的损失函数对应的损失计算结果根据待训练模型中的图像判别器确定；
根据各损失计算结果确定训练损失计算结果，并根据训练损失计算结果对待训练模型中的生成器和图像判别器训练，得到训练完成的缺陷数据生成模型。具体的，缺陷数据生成模型训练方法的流程图如图2所示：
步骤210、获取原始缺陷图像、与原始缺陷图像关联的原始掩膜图像以及与原始缺陷图像关联的场景的原始背景图像。
步骤220、根据原始掩膜图像获取生成掩膜图像，并将生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像；其中，待训练模型基于生成对抗网络构建。
步骤230、将原始背景图像、原始缺陷图像和原始掩膜图像，以及生成掩膜图像和生成缺陷图像，输入至待训练模型中的增强序列模块，得到增强图像集合。
步骤240、根据增强图像集合和各预设类型的损失函数得到各损失计算结果；其中，预设类型包括相似度损失、结构损失和对抗损失；对抗损失的损失函数对应的损失计算结果根据待训练模型中的图像判别器确定。
若损失函数为相似度损失函数，可根据增强图像集合以及可表示图像间相似度的参数，例如为KL散度（Kullback-Leibler divergence），共同得到相似度损失计算结果，具体可体现为如下公式：
（公式5）
其中，为相似度损失计算结果，KL（函数）为KL散度，z为像素点。
若损失函数为对抗损失函数，可根据增强图像集合以及生成器和图像判别器，共同得到对抗损失计算结果，具体可体现为如下公式：
（公式6）
其中，为对抗损失计算结果，D为图像判别器，G为生成器，E为总体训练缺陷图像的期望。
其中，图像判别器用于判别生成器生成的生成缺陷图像是否为真实图像。
若损失函数为结构损失函数，则可根据增强图像集合以及任意可计算增强后的原始缺陷图像与增强后的生成缺陷图像的结构关联的函数，例如为结构相似性 (StructuralSimilarity，SSIM) 函数，本实施例对此不进行限制，共同得到结构损失函数。
本实施例中，可选的，根据增强图像集合和各预设类型的损失函数得到各损失计算结果，包括：
若预设类型包括对抗损失和结构损失，则根据原始缺陷图像和原始掩膜图像确定原始图像缺陷区域，以及根据生成掩膜图像和生成缺陷图像确定生成图像缺陷区域；
根据原始图像缺陷区域、生成图像缺陷区域和结构损失的损失函数，确定结构损失计算结果；
根据原始图像缺陷区域、生成图像缺陷区域、待训练模型中的缺陷区域判别器和对抗损失的损失函数，确定对抗损失计算结果。
原始图像缺陷区域为原始缺陷图像中的缺陷区域，生成图像缺陷区域为生成缺陷图像中的缺陷区域，根据原始缺陷图像和原始掩膜图像确定原始图像缺陷区域，以及根据生成掩膜图像和生成缺陷图像确定生成图像缺陷区域，可体现为如下公式：
（公式7）
（公式8）
其中，为原始图像缺陷区域，/>为生成图像缺陷区域。
根据原始图像缺陷区域、生成图像缺陷区域和结构损失的损失函数，确定结构损失计算结果，可体现为如下公式：
（公式9）
其中，为结构损失计算结果，SSIM为结构相似性函数。
根据原始图像缺陷区域、生成图像缺陷区域、待训练模型中的缺陷区域判别器和对抗损失的损失函数，确定对抗损失计算结果，可体现为如下公式：
（公式10）
其中，为对抗损失计算结果，/>为缺陷区域判别器。
其中，缺陷区域判别器用于判别生成器生成的生成缺陷图像中的缺陷区域是否为真实缺陷区域。
相应的，根据训练损失计算结果对待训练模型中的生成器和缺陷区域判别器训练，得到训练完成的缺陷数据生成模型。
通过根据原始缺陷图像和原始掩膜图像确定原始图像缺陷区域，以及根据生成掩膜图像和生成缺陷图像确定生成图像缺陷区域，引入缺陷区域注意力机制，将关注点放在缺陷区域，提高结构损失计算结果和对抗损失计算结果确定的准确性和针对性，从而提高缺陷数据生成模型训练的有效性，以及后续通过缺陷数据生成模型生成缺陷图像的准确性。
步骤250、根据各损失计算结果确定训练损失计算结果，并根据训练损失计算结果对待训练模型中的生成器和图像判别器训练，得到训练完成的缺陷数据生成模型。
根据各损失计算结果确定训练损失计算结果，例如为将各损失计算结果与对应的权重相乘后的总和确定为训练损失计算结果，本实施例对此不进行限制。
根据训练损失计算结果调整生成器和图像判别器的参数，直至训练损失计算结果满足预设条件，得到训练完成的缺陷数据生成模型。
本发明实施例通过根据增强图像集合和各预设类型的损失函数得到各损失计算结果，以确定训练损失计算结果，丰富了训练损失计算结果包含的信息，提高了训练损失结果确定的有效性；并且根据训练损失结果对待训练模型中的生成器和图像判别器训练，提高缺陷数据生成模型训练的有效性，以及后续通过缺陷数据生成模型生成缺陷图像的准确性。
为了让本领域技术人员更加清楚的了解本方案，本发明实施例还提供了一种具体的实现方式。
图3为本发明实施例二提供的一种缺陷数据生成模型的示意图，如图3所示，缺陷数据生成模型包括生成器、增强序列模块和损失计算模块。
通过数据收集获取原始缺陷图像、与原始缺陷图像关联的原始掩膜图像以及与原始缺陷图像关联的场景的原始背景图像。
对原始掩膜图像进行随机变换处理；将随机变换处理后的原始掩膜图像和随机噪声输入至基于掩膜信息的生成器，获得生成缺陷图像。
将原始背景图像、原始缺陷图像和原始掩膜图像，以及生成掩膜图像和生成缺陷图像，输入至待训练模型中的增强序列模块，根据预设执行概率从候选变换处理中确定目标变换处理，对原始背景图像、原始缺陷图像和原始掩膜图像，生成掩膜图像和生成缺陷图像，执行目标变换处理，得到增强图像集合。
损失计算模块用于根据增强图像集合和各预设类型的损失函数得到各损失计算结果；其中，预设类型包括相似度损失、结构损失和对抗损失；对抗损失的损失函数对应的损失计算结果根据待训练模型中的图像判别器确定；根据各损失计算结果确定训练损失计算结果，并根据训练损失计算结果对待训练模型中的生成器和图像判别器训练，得到训练完成的缺陷数据生成模型。
实施例三
图4为本发明实施例三提供的一种缺陷数据生成方法的流程图，本实施例可适用于对生成数据量较少的缺陷数据的情况，该方法可以由本发明实施例所提供的缺陷数据生成装置来执行，该装置可以由软件和/或硬件的方式实现。参见图4，本实施例提供的缺陷数据生成方法，包括：
步骤410、获取待处理缺陷图像、与所述待处理缺陷图像关联的待处理掩膜图像以及与所述待处理缺陷图像关联的场景的待处理背景图像。
其中，待处理缺陷图像为需要根据该图像生成更多缺陷图像的图像，例如为直接采集的缺陷图像，本实施例对此不进行限制。待处理缺陷图像关联的待处理掩膜图像为对待处理缺陷图像进行标注后得到的图像；待处理背景图像为待处理缺陷图像对应的场景内的无缺陷图像。
步骤420、将所述待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至预先训练的缺陷数据生成模型中，生成目标缺陷图像和目标掩膜图像。
将所述待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至预先训练的缺陷数据生成模型中，生成目标缺陷图像和目标掩膜图像，其中目标缺陷图像和目标掩膜图像为生成的新的缺陷图像以及与目标缺陷图像对应的掩膜图像
其中，所述缺陷数据生成模型基于本发明任意实施例的缺陷数据生成模型训练方法训练得到。
通过将待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至基于本发明任意实施例的缺陷数据生成模型训练方法训练得到的缺陷数据生成模型中，得到目标缺陷图像和目标掩膜图像，实现通过少量缺陷图像输入可生产大量缺陷图像，对稀缺数据进行扩充，提高缺陷图像生成的有效性；并且提高生成缺陷图像的准确性，便于后续使用生成缺陷图像进行缺陷检测等相关数据处理时，提高数据处理的准确性。还可通过生成的目标掩膜后续实现定位、分割等检测需求，解决现有技术中仅生成缺陷图像，导致图像生成数据适用场景有限的问题。
实施例四
图5为本发明实施例四提供的一种缺陷数据生成模型训练装置的结构示意图。该装置可以由硬件和/或软件的方式来实现，可执行本发明任意实施例所提供的一种缺陷数据生成模型训练方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置包括：
原始图像获取模块510，用于获取原始缺陷图像、与所述原始缺陷图像关联的原始掩膜图像以及与所述原始缺陷图像关联的场景的原始背景图像；
生成图像获取模块520，用于根据所述原始掩膜图像获取生成掩膜图像，并将所述生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像；其中，所述待训练模型基于生成对抗网络构建；
图像增强模块530，用于将所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，以及所述生成掩膜图像和所述生成缺陷图像，输入至所述待训练模型中的增强序列模块，得到增强图像集合；
模型训练模块540，用于根据所述增强图像集合和预设类型的损失函数对所述待训练模型训练，得到训练完成的缺陷数据生成模型。
在上述各技术方案的基础上，可选的，所述生成图像获取模块，包括：
图像随机变换处理单元，用于对所述原始掩膜图像进行随机变换处理；
生成图像获取单元，用于将所述随机变换处理后的所述原始掩膜图像和随机噪声输入至所述生成器，获得所述生成缺陷图像；其中，所述生成器基于U-net网络构建。
在上述各技术方案的基础上，可选的，所述图像增强模块，包括：
第一图像输入单元，用于将所述原始背景图像输入至所述增强序列模块；
第二图像输入单元，用于将所述原始缺陷图像和关联的所述原始掩膜图像，成对输入至所述增强序列模块；
第三图像输入单元，用于将所述生成掩膜图像和关联的所述生成缺陷图像，成对输入至所述增强序列模块；
目标变换处理确定单元，用于根据预设执行概率从候选变换处理中确定目标变换处理；
目标变换处理执行单元，用于对所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，所述生成掩膜图像和所述生成缺陷图像，执行所述目标变换处理，得到所述增强图像集合。
在上述各技术方案的基础上，可选的，所述模型训练模块，包括：
损失计算单元，用于根据所述增强图像集合和各预设类型的损失函数得到各损失计算结果；其中，所述预设类型包括相似度损失、结构损失和对抗损失；所述对抗损失的损失函数对应的所述损失计算结果根据所述待训练模型中的图像判别器确定；
模型训练单元，用于根据各所述损失计算结果确定训练损失计算结果，并根据所述训练损失计算结果对所述待训练模型中的所述生成器和所述图像判别器训练，得到训练完成的所述缺陷数据生成模型。
在上述各技术方案的基础上，可选的，所述模型训练单元，包括：
缺陷区域确定子单元，用于若所述预设类型包括所述对抗损失和所述结构损失，则根据所述原始缺陷图像和所述原始掩膜图像确定原始图像缺陷区域，以及根据所述生成掩膜图像和所述生成缺陷图像确定生成图像缺陷区域；
结构损失计算结果确定子单元，用于根据所述原始图像缺陷区域、所述生成图像缺陷区域和所述结构损失的损失函数，确定结构损失计算结果；
对抗损失计算结果确定子单元，用于根据所述原始图像缺陷区域、所述生成图像缺陷区域、所述待训练模型中的缺陷区域判别器和所述对抗损失的损失函数，确定对抗损失计算结果。
在上述各技术方案的基础上，可选的，所述原始图像获取模块包括：
原始图像确定单元，用于获取候选产品图像，并从所述候选产品图像中确定所述原始缺陷图像，以及所述原始背景图像；
图像添加单元，用于根据所述原始缺陷图像对应产品的产品标识，将所原始缺陷图像添加至预设产品缺陷数据库；
图像标注单元，用于对所述预设产品缺陷数据库中的各所述原始缺陷图像执行缺陷标注操作，得到所述原始掩膜图像。
图6为本发明实施例四提供的一种缺陷数据生成装置的结构示意图。该装置可以由硬件和/或软件的方式来实现，可执行本发明任意实施例所提供的一种缺陷数据生成方法，具备执行方法相应的功能模块和有益效果。如图6所示，该装置包括：
待处理图像获取模块610，用于获取待处理缺陷图像、与所述待处理缺陷图像关联的待处理掩膜图像以及与所述待处理缺陷图像关联的场景的待处理背景图像；
图像生成模块620，用于将所述待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至预先训练的缺陷数据生成模型中，生成目标缺陷图像和目标掩膜图像；其中，所述缺陷数据生成模型基于本发明任一实施例所述的缺陷数据生成模型训练方法训练得到。
实施例五
图7示出了可以用来实施本发明实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如缺陷数据生成模型训练方法和/或缺陷数据生成方法。
在一些实施例中，缺陷数据生成模型训练方法和/或缺陷数据生成方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的缺陷数据生成模型训练方法和/或缺陷数据生成方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行缺陷数据生成模型训练方法和/或缺陷数据生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种缺陷数据生成模型训练方法，其特征在于，包括：
获取原始缺陷图像、与所述原始缺陷图像关联的原始掩膜图像以及与所述原始缺陷图像关联的场景的原始背景图像；
根据所述原始掩膜图像获取生成掩膜图像，并将所述生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像；其中，所述待训练模型基于生成对抗网络构建；
将所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，以及所述生成掩膜图像和所述生成缺陷图像，输入至所述待训练模型中的增强序列模块，得到增强图像集合；
根据所述增强图像集合和预设类型的损失函数对所述待训练模型训练，得到训练完成的缺陷数据生成模型，包括：
根据所述增强图像集合和各预设类型的损失函数得到各损失计算结果；其中，所述预设类型包括相似度损失、结构损失和对抗损失；所述对抗损失的损失函数对应的所述损失计算结果根据所述待训练模型中的图像判别器确定；
根据各所述损失计算结果确定训练损失计算结果，并根据所述训练损失计算结果对所述待训练模型中的所述生成器和所述图像判别器训练，得到训练完成的所述缺陷数据生成模型。
2.根据权利要求1所述的方法，其特征在于，根据所述原始掩膜图像获取生成掩膜图像，并将所述生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像，包括：
对所述原始掩膜图像进行随机变换处理；
将所述随机变换处理后的所述原始掩膜图像和随机噪声输入至所述生成器，获得所述生成缺陷图像；其中，所述生成器基于U-net网络构建。
3.根据权利要求1所述的方法，其特征在于，将所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，以及所述生成掩膜图像和所述生成缺陷图像，输入至所述待训练模型中的增强序列模块，得到增强图像集合，包括：
将所述原始背景图像输入至所述增强序列模块；
将所述原始缺陷图像和关联的所述原始掩膜图像，成对输入至所述增强序列模块；
将所述生成掩膜图像和关联的所述生成缺陷图像，成对输入至所述增强序列模块；
根据预设执行概率从候选变换处理中确定目标变换处理；
对所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，所述生成掩膜图像和所述生成缺陷图像，执行所述目标变换处理，得到所述增强图像集合。
4.根据权利要求1所述的方法，其特征在于，根据所述增强图像集合和各预设类型的损失函数得到各损失计算结果，包括：
若所述预设类型包括所述对抗损失和所述结构损失，则根据所述原始缺陷图像和所述原始掩膜图像确定原始图像缺陷区域，以及根据所述生成掩膜图像和所述生成缺陷图像确定生成图像缺陷区域；
根据所述原始图像缺陷区域、所述生成图像缺陷区域和所述结构损失的损失函数，确定结构损失计算结果；
根据所述原始图像缺陷区域、所述生成图像缺陷区域、所述待训练模型中的缺陷区域判别器和所述对抗损失的损失函数，确定对抗损失计算结果。
5.根据权利要求1-4任一项所述的方法，其特征在于，获取原始缺陷图像、与所述原始缺陷图像关联的原始掩膜图像以及与所述原始缺陷图像关联的场景的原始背景图像，包括：
获取候选产品图像，并从所述候选产品图像中确定所述原始缺陷图像，以及所述原始背景图像；
根据所述原始缺陷图像对应产品的产品标识，将所原始缺陷图像添加至预设产品缺陷数据库；
对所述预设产品缺陷数据库中的各所述原始缺陷图像执行缺陷标注操作，得到所述原始掩膜图像。
6.一种缺陷数据生成方法，其特征在于，包括：
获取待处理缺陷图像、与所述待处理缺陷图像关联的待处理掩膜图像以及与所述待处理缺陷图像关联的场景的待处理背景图像；
将所述待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至预先训练的缺陷数据生成模型中，生成目标缺陷图像和目标掩膜图像；其中，所述缺陷数据生成模型基于权利要求1-5任一项所述的缺陷数据生成模型训练方法训练得到。
7.一种缺陷数据生成模型训练装置，其特征在于，包括：
原始图像获取模块，用于获取原始缺陷图像、与所述原始缺陷图像关联的原始掩膜图像以及与所述原始缺陷图像关联的场景的原始背景图像；
生成图像获取模块，用于根据所述原始掩膜图像获取生成掩膜图像，并将所述生成掩膜图像输入至待训练模型中的生成器，获得生成缺陷图像；其中，所述待训练模型基于生成对抗网络构建；
图像增强模块，用于将所述原始背景图像、所述原始缺陷图像和所述原始掩膜图像，以及所述生成掩膜图像和所述生成缺陷图像，输入至所述待训练模型中的增强序列模块，得到增强图像集合；
模型训练模块，用于根据所述增强图像集合和预设类型的损失函数对所述待训练模型训练，得到训练完成的缺陷数据生成模型；
所述模型训练模块，包括：
损失计算单元，用于根据所述增强图像集合和各预设类型的损失函数得到各损失计算结果；其中，所述预设类型包括相似度损失、结构损失和对抗损失；所述对抗损失的损失函数对应的所述损失计算结果根据所述待训练模型中的图像判别器确定；
模型训练单元，用于根据各所述损失计算结果确定训练损失计算结果，并根据所述训练损失计算结果对所述待训练模型中的所述生成器和所述图像判别器训练，得到训练完成的所述缺陷数据生成模型。
8.一种缺陷数据生成装置，其特征在于，包括：
待处理图像获取模块，用于获取待处理缺陷图像、与所述待处理缺陷图像关联的待处理掩膜图像以及与所述待处理缺陷图像关联的场景的待处理背景图像；
图像生成模块，用于将所述待处理缺陷图像、所述待处理掩膜图像以及所述待处理背景图像输入至预先训练的缺陷数据生成模型中，生成目标缺陷图像和目标掩膜图像；其中，所述缺陷数据生成模型基于权利要求1-5任一项所述的缺陷数据生成模型训练方法训练得到。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的缺陷数据生成模型训练方法和/或权利要求6所述的缺陷数据生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的缺陷数据生成模型训练方法和/或权利要求6所述的缺陷数据生成方法。
CN202310443918.2A 2023-04-24 2023-04-24 缺陷数据生成模型训练方法、缺陷数据生成方法及装置 Active CN116188917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310443918.2A CN116188917B (zh) 2023-04-24 2023-04-24 缺陷数据生成模型训练方法、缺陷数据生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310443918.2A CN116188917B (zh) 2023-04-24 2023-04-24 缺陷数据生成模型训练方法、缺陷数据生成方法及装置

Publications (2)

Publication Number Publication Date
CN116188917A CN116188917A (zh) 2023-05-30
CN116188917B true CN116188917B (zh) 2023-07-18

Family

ID=86434802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310443918.2A Active CN116188917B (zh) 2023-04-24 2023-04-24 缺陷数据生成模型训练方法、缺陷数据生成方法及装置

Country Status (1)

Country Link
CN (1) CN116188917B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635537A (zh) * 2023-10-24 2024-03-01 上海贝特威自动化科技有限公司 一种基于视觉ai大模型的锂电池外观缺陷生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898177B (zh) * 2022-05-09 2023-08-04 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN115240023A (zh) * 2022-06-13 2022-10-25 浙江大华技术股份有限公司 一种缺陷检测网络的训练方法、缺陷检测方法及相关设备

Also Published As

Publication number Publication date
CN116188917A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN112597837B (zh) 图像检测方法、装置、设备、存储介质和计算机程序产品
CN112949767B (zh) 样本图像增量、图像检测模型训练及图像检测方法
CN112989995B (zh) 文本检测方法、装置及电子设备
CN114092963B (zh) 关键点检测及模型训练方法、装置、设备和存储介质
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN116188917B (zh) 缺陷数据生成模型训练方法、缺陷数据生成方法及装置
CN112651953B (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
CN114677565A (zh) 特征提取网络的训练方法和图像处理方法、装置
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113269280A (zh) 文本检测方法、装置、电子设备及计算机可读存储介质
CN115082598B (zh) 文本图像生成、训练、文本图像处理方法以及电子设备
CN114724144B (zh) 文本识别方法、模型的训练方法、装置、设备及介质
CN113792849B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN113903071A (zh) 人脸识别方法、装置、电子设备和存储介质
CN114093006A (zh) 活体人脸检测模型的训练方法、装置、设备以及存储介质
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置
CN117746069B (zh) 以图搜图的模型训练方法、和以图搜图方法
CN112991451B (zh) 图像识别方法、相关装置及计算机程序产品
CN116229209B (zh) 目标模型的训练方法、目标检测方法及装置
CN116486144A (zh) 噪声标签检测器的生成方法、噪声标签检测方法和装置
CN116129243A (zh) 一种雷达图像的物体检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant