CN114972375A - 图像生成模型的训练方法及装置、设备和存储介质 - Google Patents

图像生成模型的训练方法及装置、设备和存储介质 Download PDF

Info

Publication number
CN114972375A
CN114972375A CN202210499917.5A CN202210499917A CN114972375A CN 114972375 A CN114972375 A CN 114972375A CN 202210499917 A CN202210499917 A CN 202210499917A CN 114972375 A CN114972375 A CN 114972375A
Authority
CN
China
Prior art keywords
image
model
defect
training
defective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210499917.5A
Other languages
English (en)
Other versions
CN114972375B (zh
Inventor
洪恺临
阳鑫
林俊
丁有爽
邵天兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN202210499917.5A priority Critical patent/CN114972375B/zh
Publication of CN114972375A publication Critical patent/CN114972375A/zh
Application granted granted Critical
Publication of CN114972375B publication Critical patent/CN114972375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种图像生成模型的训练方法及装置、设备和存储介质，涉及图像缺陷检测技术。该图像生成模型的训练方法包括：获取多组训练图像，每组训练图像包括无缺陷图像和与所述无缺陷图像相对应的有缺陷图像；根据所述多组训练图像对循环生成式对抗网络进行训练，其中，在训练过程中，所述有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重；在所述循环生成式对抗网络训练完成后，根据所述循环生成式对抗网络中的生成模型得到图像生成模型。本申请至少可以提升模拟的缺陷区域或无缺陷区域的质量，以提升缺陷检测模型的训练效果。

Description

图像生成模型的训练方法及装置、设备和存储介质
技术领域
本公开涉及图像缺陷检测技术，尤其涉及一种图像生成模型的训练方法及装置、设备和存储介质。
背景技术
图像的缺陷检测指的是将图像输入至缺陷检测模型后输出图像以及模拟出图像上的缺陷。图像的缺陷检测广泛应用在各个领域，例如在工业生产中，图像的缺陷检测常用来检测产品表面的缺陷，以提升产品质量。在对图像的缺陷检测模型进行训练时，需要收集大量的训练数据(包括无缺陷的图像和有缺陷的图像)，但是仍然存在训练数据不足的情况。因此，需要进行图像的缺陷生成和无缺陷生成，以扩充训练数据的数据量和提高训练数据的多样性。
现有技术一般是对真实的图像进行例如二值化转换、仿射变换等处理来模拟出缺陷区域或无缺陷区域。但是这种方法主要是为了快速、批量得模拟生成具有缺陷区域的图像或具有无缺陷区域的图像，模拟的缺陷区域或无缺陷区域的质量比较差。以这些质量较差的图像作为训练数据来训练图像的缺陷检测模型会降低缺陷检测模型的训练效果。
因此，如何提升模拟的缺陷区域或无缺陷区域的质量，以提升缺陷检测模型的训练效果，仍然是亟待解决的。
发明内容
本公开提供一种图像生成模型的训练方法及装置、设备和存储介质，用以提升模拟的缺陷区域或无缺陷区域的质量，以提升缺陷检测模型的训练效果。
一方面，本公开提供一种图像生成模型的训练方法，包括：
获取多组训练图像，每组训练图像包括无缺陷图像和与所述无缺陷图像相对应的有缺陷图像；
根据所述多组训练图像对循环生成式对抗网络进行训练，其中，在训练过程中，所述有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重；
在所述循环生成式对抗网络训练完成后，根据所述循环生成式对抗网络中的生成模型得到图像生成模型。
在一个可选的实施例中，所述循环生成式对抗网络的损失函数包括循环一致性损失，所述循环一致性损失的损失权重在训练过程中逐渐增大。
在一个可选的实施例中，当所述循环一致性损失大于预设阈值时，增大所述循环一致性损失的损失权重；或者，
当每增加预设数量的训练次数时，增大所述循环一致性损失的损失权重。
在一个可选的实施例中，所述循环一致性损失包括第一循环损失和第二循环损失，所述第一循环损失为循环生成的无缺陷图像和所述训练图像中的无缺陷图像的损失，所述第二循环损失为循环生成的有缺陷图像和所述训练图像中的有缺陷图像的损失。
在一个可选的实施例中，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型和所述第二生成模型共用第一编码器；
所述第一编码器用于从输入的所述无缺陷图像中提取第一特征向量，以及从输入的所述有缺陷图像中提取第二特征向量。
在一个可选的实施例中，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；
所述第一判别模型包括所述第一编码器中的至少部分卷积层和第一卷积神经网络，所述第一编码器中的至少部分卷积层的输出为所述第一卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器从所述第一特征向量解码得到的图像；
所述第二判别模型包括所述第一编码器中的至少部分卷积层和第二卷积神经网络，所述第二判别模型用于输出伪无缺陷图像的判别结果，所述伪无缺陷图像是所述第二生成模型的第二解码器从所述第二特征向量解码得到的图像。
在一个可选的实施例中，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型包括第二编码器，所述第二生成模型包括第三编码器；
所述第二编码器用于从输入的所述无缺陷图像中提取第一特征向量；
所述第三编码器用于从输入的所述有缺陷图像中提取第二特征向量。
在一个可选的实施例中，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；
所述第一判别模型包括所述第二编码器的至少部分卷积层和第三卷积神经网络，所述第二编码器的至少部分卷积层的输出为所述第三卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器从所述第一特征向量解码得到的图像；
所述第二判别模型包括所述第三编码器中的至少部分卷积层和第四卷积神经网络，所述第三编码器的至少部分卷积层的输出为所述第四卷积神经网络的输入；所述第二判别模型用于输出伪无缺陷图像的判别结果，所述伪无缺陷图像是所述第二生成模型的第二解码器从所述第二特征向量解码得到的图像。
另一方面，本公开提供一种缺陷图像生成方法，包括：
获取待处理图像，并通过缺陷生成模型处理所述待处理图像，得到生成了缺陷区域的图像；其中，所述缺陷生成模型采用如第一方面所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型。
另一方面，本公开提供一种无缺陷图像生成方法，包括：
获取有缺陷图像，并通过无缺陷生成模型处理所述有缺陷图像，得到无缺陷的图像；其中，所述无缺陷生成模型采用如第一方面所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
另一方面，本公开提供一种图像生成装置，包括缺陷生成模块和/或无缺陷生成模块；
缺陷生成模块，用于获取待处理图像，并通过缺陷生成模型处理所述待处理图像，得到生成了缺陷区域的图像；其中，所述缺陷生成模型采用如第一方面所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型；
无缺陷生成模块，用于获取有缺陷图像，并通过无缺陷生成模型处理所述有缺陷图像，得到无缺陷的图像；其中，所述无缺陷生成模型采用如第一方面所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
另一方面，本公开提供一种图像判别装置，包括第一判别模块和/或第二判别模块；
第一判别模块，用于获取待判断图像，并通过第一判别模型处理所述待判断图像，得到所述待判断图像中是否存在缺陷的判别结果，所述第一判别模型是在如第一方面所述的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第一判别模型；
第二判别模块，用于获取待判断图像，并通过第二判别模型处理所述待判断图像，得到所述待判断图像中的缺陷是否为真缺陷的判别结果，所述第二判别模型是在如第一方面所述的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第二判别模型。
另一方面，本公开提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的图像生成模型的训练方法，或，如第二方面所述的缺陷图像生成方法，或，如第三方面所述的无缺陷图像生成方法。
另一方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如第一方面所述的图像生成模型的训练方法，或，如第二方面所述的缺陷图像生成方法，或，如第三方面所述的无缺陷图像生成方法。
另一方面，本公开提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像生成模型的训练方法，或，如第二方面所述的缺陷图像生成方法，或，如第三方面所述的无缺陷图像生成方法。
本公开的实施例提供的该图像生成模型的训练方法，先获取多组训练图像，该每组训练图像包括无缺陷图像和与该图缺陷图像对应的有缺陷图像。再根据该多组训练图像对循环生成式对抗网络(CycleGan)进行训练，在训练过程中，该有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重。在所述循环生成式对抗网络训练完成后，根据所述循环生成式对抗网络中的生成模型得到图像生成模型，该图像生成模型用于生成缺陷区域或无缺陷区域。如此，由于缺陷区域对应的损失权重更大，使得该CycleGan网络更加关注缺陷区域，则在CycleGan网络应用时可以更好得对缺陷区域进行处理，至少提升CycleGan网络的训练效果，提升模拟的缺陷区域或无缺陷区域的质量，进而提升缺陷检测模型的训练效果。除此之外，应用本实施例提供的该图像生成模型可以扩充缺陷检测模型所需的训练数据。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开提供的图像生成模型的训练方法的一种应用场景示意图；
图2为本公开的一个实施例提供的图像生成模型的训练方法的流程示意图；
图3(a)为本公开的一个实施例提供的训练图像的实物示意图；
图3(b)为本公开的一个实施例提供的训练图像的示意图；
图4为本公开的一个实施例提供的CycleGan网络的训练示意图；
图5为本公开的一个实施例提供的CycleGan网络的一个结构示意图；
图6为本公开的一个实施例提供的CycleGan网络的又一个结构示意图；
图7为本公开的一个实施例提供的CycleGan网络的另一个结构示意图；
图8为本公开的一个实施例提供的缺陷图像生成方法的流程示意图；
图9为本公开的一个实施例提供的缺陷图像生成方法的流程示意图；
图10为本公开的一个实施例提供的图像判断方法的流程示意图；
图11为本公开的一个实施例提供的图像生成装置的示意图；
图12为本公开的一个实施例提供的图像判别装置的示意图；
图13为本公开的一个实施例提供的电子设备的示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图像的缺陷检测指的是将图像输入至缺陷检测模型后输出图像以及模拟出图像上的缺陷。图像的缺陷检测广泛应用在各个领域，例如在工业生产中，图像的缺陷检测常用来检测产品表面的缺陷，以提升产品质量。再例如在摄影摄像行业中，图像的缺陷检测常用来滤除一些拍摄不合格的图像。在对图像的缺陷检测的模型进行训练时，需要收集大量的训练数据(包括无缺陷的图像和有缺陷的图像)，但是仍然存在训练数据不足的情况。因此，需要进行图像的缺陷生成和无缺陷生成，以扩充训练数据的数据量和提高训练数据的多样性。
现有技术一般是对真实的图像进行例如二值化转换、仿射变换等处理来模拟出缺陷区域或无缺陷区域。但是这种方法主要是为了快速、批量得模拟生成具有缺陷区域的图像或具有无缺陷区域的图像，模拟的缺陷区域或无缺陷区域的质量比较差。以这些质量较差的图像作为训练数据来训练图像的缺陷检测模型会降低缺陷检测模型的训练效果。
为了提升模拟的缺陷区域或无缺陷区域的质量，研究人员开始训练图像生成模型来模拟缺陷区域和无缺陷区域，即，将图像输入至图像生成模型后得到模拟出缺陷的图像或去除了缺陷的图像。如何提升图像生成模型的训练效果，以提升模拟的缺陷区域或无缺陷区域的质量，进而提升缺陷检测模型的训练效果，仍然是需要解决的问题。
本公开提供一种图像生成模型的训练方法及装置、设备和存储介质，能够升图像生成模型的训练效果，以提升模拟的缺陷区域或无缺陷区域的质量，进而提升缺陷检测模型的训练效果。
该图像生成模型的训练方法是先获取多组训练图像，该每组训练图像包括无缺陷图像和与该图缺陷图像对应的有缺陷图像。再根据该多组训练图像对循环生成式对抗网络(CycleGan)进行训练，在训练过程中，该有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重。在该循环生成式对抗网络训练完成后，根据该循环生成式对抗网络中的生成模型得到图像生成模型，该图像生成模型用于生成缺陷区域或无缺陷区域。如此，由于缺陷区域对应的损失权重更大，使得该CycleGan网络更加关注缺陷区域，则在CycleGan网络应用时可以更好得对缺陷区域进行处理，至少提升CycleGan网络的训练效果，提升CycleGan网络生成图像的质量，进而提升缺陷检测模型的训练效果。
本公开提供的图像生成模型的训练方法应用于电子设备，该电子设备例如计算机、实验室使用的服务器等。图1为本公开提供的图像生成模型的训练方法的应用示意图，图中，该电子设备获取多组训练图像，每组训练图像包括无缺陷图像和与该无缺陷图像相对应的有缺陷图像，再根据该多组训练图像对CycleGan网络进行训练。并预设CycleGan网络训练中有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重。在训练完成后，根据训练后的该CycleGan网络中的生成模型得到图像生成模型。
请参见图2，本公开的一个实施例提供一种图像生成模型的训练方法，包括：
S210，获取多组训练图像，每组训练图像包括无缺陷图像和与该无缺陷图像相对应的有缺陷图像。
循环生成式对抗网络(Generative Adversarial Nets、简称CycleGan网络)包含G生成式模型和D判别式模型。其中G生成式模型用于生成假的无缺陷图像或假的有缺陷图像，D判别式模型用于辅助提升G生成式模型的图像生成效果。
CycleGan网络包括两个生成模型和两个判别模型，分别对应两种图像风格的相互生成和鉴别，在对CycleGan网络进行训练时，也是使用两个数据域(X域和Y域)进行训练。在本实施例中，一个该无缺陷图像代表该两个数据域中一个数据域(X域)中的一个数据，与该无缺陷图像相对应的一个有缺陷图像代表的是两个数据域中的另一个数据域(Y域)中的一个数据。
与该无缺陷图像相对应的有缺陷图像可以理解为增加了缺陷区域的该无缺陷图像。如图3(a)所示为三组该训练图像的实物示意图，图3(b)所示为三组该训练图像的示意图，由图3(a)和图3(b)可以看出，在该无缺陷图像上增加了缺陷区域后得到与该无缺陷图像相对应的有缺陷图像。增加缺陷区域的过程可以由该电子设备执行。
S220，根据该多组训练图像对循环生成式对抗网络进行训练，其中，在训练过程中，该有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重。
如步骤S210中所描述的，在对CycleGan网络进行训练时，使用两个数据域X、Y进行训练。通俗得说，CycleGan网络中的生成模型G负责把X域中的数据拿过来拼命得伪造成真实数据并把它们藏在真实数据中，而判别模型D就拼命地要把伪造的数据和真实数据分开。经过生成模型G和判别模型D的博弈以后，生成模型G的伪造技术越来越厉害，判别模型D的鉴别技术也越来越厉害，直到D再也分不出数据是真实的还是生成模型G伪造的数据的时候，生成模型G和判别模型D之间的对抗的过程就达到一个动态的平衡。
CycleGan网络本质上是两个镜像对称的GAN，构成了一个环形网络。两个GAN共享两个生成模型，并各自带一个判别模型，即共有两个判别模型和两个生成模型。如图4所示为两个单向GAN的示意图。
在图4中，用Real_A代表与该无缺陷图像相对应的有缺陷图像，用Real_B代表该无缺陷图像。CycleGan网络包括第一生成模型G_BA和第二生成模型G_AB，G_BA用于基于无缺陷图像生成伪有缺陷图像，G_AB用于基于有缺陷图像生成伪无缺陷图像。CycleGan网络还包括第一判别模型D-A和第二判别模型D_B。
Real_A由第一生成模型G_BA和第二生成模型G_AB处理后输出，其中，第二生成模型G_AB基于Real_A生成伪无缺陷图像，该第二判别模型D_B用于输出该伪无缺陷图像的判别结果。Real_B由第一生成模型G_BA和第二生成模型G_AB处理后输出，其中，第一生成模型G_AB基于Real_B生成伪有缺陷图像，该第一判别模型D_A用于输出该伪无缺陷图像的判别结果。
该CycleGan网络具有损失函数，损失函数包含生成模型(包括第一生成模型G_BA和第二生成模型G_AB)在进行图像生成时产生的循环一致性损失和判别模型(包括第一判别模型D_A和第二判别模型D_B)产生的对抗损失，该循环一致性损失中又包括缺陷区域的损失和非缺陷区域的损失。在计算整个CycleGan网络的损失函数对应的损失时，每类损失都对应有损失权重，损失权重，一类损失的损失权重越大，则CycleGan网络训练过程中更关注该一类损失。
为了使得CycleGan网络训练过程更关注缺陷区域的损失，在CycleGan网络训练之前设置程序，在训练开始时触发该程序，使得在训练过程中，该有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重。
该CycleGan网络中的生成模型包括编码器，该编码器用于提取出图像中的特征向量，在一个可选的实施例中，根据该编码器提取的特征向量可以确定出该有缺陷图像中的缺陷区域。或者还可以使用其他方法确定出该有缺陷图像中的缺陷区域，本实施例不做限定。
在一个可选的实施例中，该循环一致性损失是动态可调整的，在调整时，可以是使得该循环一致性损失的损失权重在训练过程中逐渐增大。逐渐增大的原因是在CycleGan网络训练一开始，损失权重如果增幅过大，可能会导致整体训练崩溃，因此需要逐渐增大该循环一致性损失的损失权重。
可选的，可以设置当该循环一致性损失大于预设阈值时，增大该循环一致性损失的损失权重，或者，当每增加预设数量的训练次数时，增大该循环一致性损失的损失权重。设置该预设阈值和该预设数量的训练次数的目的是使得CycleGan网络训练达到一定程度后才开始调整该循环一致性损失的损失权重，防止整体训练崩溃。
例如设置该预设阈值为0.2，当该循环一致性损失大于0.2时，增大一次该循环一致性损失的损失权重，该CycleGan网络继续收敛训练。在该CycleGan网络收敛训练后得到的该循环一致性损失仍然是大于0.2时，再增大一次该循环一致性损失的损失权重，该CycleGan网络继续收敛训练。在该CycleGan网络收敛训练后得到的该循环一致性损失小于或等于0.2时，不增大该循环一致性损失的损失权重。如此不断迭代训练，直到达到训练终止条件时停止训练(例如训练次数达标和/或训练时长达标)。该预设阈值可以动态调整或一直是固定值，具体可以根据实际需要设置，本实施例不做限定。
再例如设置每增加两次训练次数时，增大一次该循环一致性损失的损失权重，该CycleGan网络继续收敛训练。在该CycleGan网络收敛训练两次后再增大一次该循环一致性损失的损失权重，该CycleGan网络继续收敛训练。如此不断迭代训练，直到达到训练终止条件时停止训练(例如训练次数达标和/或训练时长达标)。设置的训练次数可以动态调整或一直是固定值，具体可以根据实际需要设置，本实施例不做限定。
如图4所示，该循环一致性损失至少包括第一循环损失(Loss-cycle-B)和第二循环损失(Loss-cycle-A)。该第一循环损失为循环生成的无缺陷图像(Recov_B)和该训练图像中的无缺陷图像(Real_B)的损失。其中，循环生成的无缺陷图像(Recov_B)是该第二生成模型(G_AB)基于伪有缺陷图像(Fake_A)生成的，也是一种伪图像。该第二循环损失为循环生成的有缺陷图像和该训练图像中的有缺陷图像的损失。其中，循环生成的有缺陷图像(Recov_A)是该第一生成模型(G_BA)基于伪无缺陷图像(Fake_B)生成的，也是一种伪图像。在训练过程中调整该循环一致性损失的损失权重指的是增大该第一循环损失的损失权重和增大该第二循环损失的损失权重。
增大该循环一致性损失的损失权重的目的是为了使得该第一生成模型(G_BA)和该第二生成模型(G_AB)的生成效果更好，使得为有缺陷图像(Fake_A)和该伪无缺陷图像(Fake_B)更接近真实。在该CycleGan网络的训练过程中，首先调整该循环一致性损失的损失权重，以训练该第一生成模型(G_BA)和该第二生成模型(G_AB)的生成效果。
如图4所示，在该CycleGan网络的训练过程中，生成模型的循环一致性损失还包括Loss_id_B、Loss_id_A，在进行该循环一致性损失的调整时，优先调整该第一循环损失和该第二循环损失。判别模型的对抗损失例如包括图4所示的Loss_GAN_BA和Loss_GAN_AB，还包括Loss_fake和Loss_real。在该CycleGan网络的训练过程中，还可以根据实际需要设置调整Loss_id_B、Loss_id_A、Loss_GAN_BA、Loss_GAN_AB、Loss_fake和Loss_real等，本实施例不做限定。
S230，在该循环生成式对抗网络训练完成后，根据该循环生成式对抗网络中的生成模型得到图像生成模型。
该CycleGan网络的训练是循环迭代训练，训练完成的终止条件例如是训练次数达到预设次数、训练时长达到预设时长，或者其他条件，具体可以根据实际需求设置，本实施例不做限定。
在该CycleGan网络训练完后，根据该CycleGan网络中的生成模型得到图像生成模型，该图像生成模型在应用时可以在待生成缺陷区域的图像上生成缺陷区域，以及在待生成无缺陷区域的图像上生成无缺陷区域。
综上，本实施例提供的该图像生成模型的训练方法，先获取多组训练图像，该每组训练图像包括无缺陷图像和与该图缺陷图像对应的有缺陷图像。再根据该多组训练图像对循环生成式对抗网络(CycleGan)进行训练，在训练过程中，该有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重。在该循环生成式对抗网络训练完成后，根据该循环生成式对抗网络中的生成模型得到图像生成模型，该图像生成模型用于生成缺陷区域或无缺陷区域。如此，由于缺陷区域对应的损失权重更大，使得该CycleGan网络更加关注缺陷区域，则在CycleGan网络应用时可以更好得对缺陷区域进行处理，至少提升CycleGan网络的训练效果，提升模拟的缺陷区域或无缺陷区域的质量，进而提升缺陷检测模型的训练效果。除此之外，应用本实施例提供的该图像生成模型可以扩充缺陷检测模型所需的训练数据。
请参见图5，在一个可选的实施例中，该第一生成模型(G_BA)和该第二生成模型(G_AB)共用第一编码器。该第一生成模型(G_BA)还包括第一解码器，该第一解码器的输入是该第一编码器的输出，该第一编码器用于从输入的该无缺陷图像(Real_B)中提取第一特征向量，该第一解码器用于从该第一特征向量解码得到伪有缺陷图像(Fake_A)。该第二生成模型(G_AB)还包括第二解码器，该第二解码器的输入是该第一编码器的输出，该第一编码器用于从输入的该有缺陷图像(Real_A)中提取第二特征向量，该第二解码器从该第二特征向量解码得到伪无缺陷图像(Fake_B)。
该第一判别模型(D_B)的输入为该第一解码器的输出，该第一判别模型(D_B)用于输出伪有缺陷图像(Real_A)的判别结果。该第二判别模型(D_A)的输入为该第二解码器的输出，该第二判别模型(D_A)用于输出伪无缺陷图像(Fake_B)的判别结果。
该第一生成模型(G_BA)和该第二生成模型(G_AB)共用第一编码器可以减少该CycleGan网络的网络参数，使得该CycleGan网络的训练速度更快。
请参见图6，在一个可选的实施例中，该第一判别模型(D_B)包括该第一编码器中的至少部分卷积层和第一卷积神经网络，该第一编码器的至少部分卷积层的输出为该第一卷积神经网络的输入。此时，该第一编码器中的至少部分卷积层和该第一卷积神经网络一起承担判别的功能，该第一卷积神经网络输出该伪有缺陷图像(Fake_A)的判别结果。
在一个可选的实施例中，该第二判别模型(D_A)包括该第一编码器中的至少部分卷积层和第二卷积神经网络，该第一编码器的至少部分卷积层的输出为该第二卷积神经网络的输入。此时，该第一编码器中的至少部分卷积层和该第二卷积神经网络一起承担判别的功能，该第二卷积神经网络输出该伪无缺陷图像(Fake_B)的判别结果。
该第一生成模型(G_BA)、该第二生成模型(G_AB)、该第一判别模型(D_B)和该第二判别模型(D_A)共用该第一编码器，进一步得减少了该CycleGan网络的网络参数，使得该CycleGan网络的训练速度更快。除此之外，该第一判别模型(D_B)和该第二判别模型(D_A)由编码器和卷积神经网络构成，相对于传统的判别模型而言，判别效果会更好。
请参见图7，在一个可选的实施例中，该第一生成模型(G_BA)包括第二编码器和第一解码器，该第二编码器用于从输入的该无缺陷图像(Real_B)中提取第一特征向量，该第一解码器从该第一特征向量解码得到该伪有缺陷图像(Fake_A)。
该第二生成模型(G_AB)包括第三编码器和第二解码器，该第三编码器用于从输入的该有缺陷图像(Real_A)中提取第二特征向量，该第二解码器从该第二特征向量解码得到该伪无缺陷图像(Fake_B)。
该第一生成模型和该第二生成模型中的编码器不同。
但是，该第一判别模型(D_B)包括该第二编码器的至少部分卷积层和第三卷积神经网络，该第一判别模型(D_B)与该第一生成模型(G_BA)共用一个编码器。该第二编码器的至少部分卷积层的输出为该第三卷积神经网络的输入。此时，该第二编码器中的至少部分卷积层和该第三卷积神经网络一起承担判别的功能，该第三卷积神经网络输出该伪无缺陷图像(Fake_B)的判别结果。
可选的，该第二判别模型(D_A)包括该第三编码器中的至少部分卷积层和第四卷积神经网络，该第二判别模型(D_A)与该第二生成模型(G_AB)共用一个编码器。此时，该第三编码器中的至少部分卷积层和该第四卷积神经网络一起承担判别的功能，该第四卷积神经网络输出该伪有缺陷图像(Fake_A)的判别结果。
该第一生成模型(G_BA)和该第一判别模型(D_B)共用该第二编码器，该第二生成模型(G_AB)和该第二判别模型(D_A)共用该第三编码器，进一步得减少了该CycleGan网络的网络参数，使得该CycleGan网络的训练速度更快。除此之外，该第一判别模型(D_B)和该第二判别模型(D_A)由编码器和卷积神经网络构成，相对于传统的判别模型而言，判别效果会更好。
该CycleGan网络中的编码器的共用还可以根据实际需要调整，本实施例不做限定，进一步的，还可以根据实际需要设置调整该CycleGan网络中解码器的共用以及判别模型的共用等。
请参见图8，本公开的一个实施例还提供一种缺陷图像生成方法，包括：
S810，获取待处理图像，并通过缺陷生成模型处理该待处理图像，得到生成了缺陷区域的图像；其中，该缺陷生成模型采用如以上任一项实施例提供的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型。
该缺陷生成模型采用如上任一项实施例提供的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型，如图4所示的训练后的第一生成模型(G_BA)。
在经过如上任一项实施例提供的图像生成模型的训练方法训练后，该第一生成模型(G_BA)生成的有缺陷图像接近真实的有缺陷图像。如此，将大量的待生成缺陷区域的图像输入至该第一生成模型(G_BA)后可以得到大量的具有无限真实的缺陷的图像，扩充了图像的缺陷检测模型的训练数据的数据量和提高了训练数据的多样性。
请参见图9，本公开的一个实施例还提供一种缺陷图像生成方法，包括：
S910，获取有缺陷图像，并通过无缺陷生成模型处理该有缺陷图像，得到无缺陷的图像；其中，该无缺陷生成模型采用如上任一项实施例提供的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
该无缺陷生成模型采用如上任一项实施例提供的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型，如图4所示的训练后的第二生成模型(G_AB)。
在经过如上任一项实施例提供的图像生成模型的训练方法训练后，该第二生成模型(G_AB)生成的无缺陷图像接近真实的无缺陷图像。如此，将大量的待处理的有缺陷图像输入至该第二生成模型(G_AB)后可以得到大量的具有无限真实的无缺陷区域的图像，扩充了图像的缺陷检测模型的训练数据的数据量和提高了训练数据的多样性。
请参见图10，本公开的一个实施例还提供一种图像判断方法，包括：
S1010，获取待判断图像，并通过第一判别模型处理该待判断图像，得到该待判断图像中是否存在缺陷的判别结果，和/或，通过第二判别模型处理该待判断图像，得到该待判断图像中的缺陷是否为真缺陷的判别结果。
该第一判别模型是在如上任一项实施例提供的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第一判别模型；该第二判别模型是在如上任一项实施例提供的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第二判别模型。
该待判断图像可以是真实的无缺陷图像、有缺陷图像，或者是由该CycleGan网络或其他图像生成网络生成的伪无缺陷图像、伪有缺陷图像。
在如上任一项实施例描述的该图像生成模型的训练方法中，有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重。对应的，该循环生成式对抗网络中的第一判别模型在训练过程中也会更关注缺陷区域，由此增强了该第一判别模型的训练效果，提升了给第一图像判别模型的判断效果。如此，使用该第一图像判别模型进行图像的判别时，输出的图像的判别结果更加准确和可靠。
同理，该循环生成式对抗网络中的第二判别模型在训练过程中也会更关注缺陷区域，由此增强了该第二判别模型的训练效果，提升了给第二图像判别模型的判断效果。如此，使用该第二图像判别模型进行图像的判别时，输出的图像的判别结果更加准确和可靠。
请参见图11，本公开的一个实施例还提供一种图像生成装置10，包括缺陷生成模块11和/或无缺陷生成模块12。
缺陷生成模块11，用于获取待处理图像，并通过缺陷生成模型处理该待处理图像，得到生成了缺陷区域的图像；其中，该缺陷生成模型采用如上任一项实施例提供的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型；
无缺陷生成模块12，用于获取有缺陷图像，并通过无缺陷生成模型处理该有缺陷图像，得到无缺陷的图像；其中，该无缺陷生成模型采用如上任一项实施例提供的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
请参见图12，本公开的一个实施例还提供一种图像判别装置20，包括第一判别模块21和/或第二判别模块22；
第一判别模块21，用于获取待判断图像，并通过第一判别模型处理该待判断图像，得到该待判断图像中是否存在缺陷的判别结果，该第一判别模型是在如上任一项实施例提供的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第一判别模型；
第二判别模块22，用于获取待判断图像，并通过第二判别模型处理该待判断图像，得到该待判断图像中的缺陷是否为真缺陷的判别结果，该第二判别模型是在如上任一项实施例提供的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第二判别模型。
请参见图13，本公开的一个实施例还提供一种电子设备30，该电子设备30包括处理器31和存储器32。该存储器32与该处理器31通信连接。该存储器32存储计算机执行指令，该处理器31执行该存储器存储的计算机执行指令，以实现如上任一项实施例提供的图像生成模型的训练方法，或，如上任一项实施例提供的缺陷图像生成方法，或，如上任一项实施例提供的无缺陷图像生成方法，或，如上任一项实施例提供的图像判断方法。
本公开还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当该指令被执行时，使得计算机执行指令被处理器执行时用于实现如上任一项实施例提供的图像生成模型的训练方法，或，如上任一项实施例提供的缺陷图像生成方法，或，如上任一项实施例提供的无缺陷图像生成方法，或，如上任一项实施例提供的图像判断方法。
本公开还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一项实施例提供的图像生成模型的训练方法，或，如上任一项实施例提供的缺陷图像生成方法，或，如上任一项实施例提供的无缺陷图像生成方法，或，如上任一项实施例提供的图像判断方法。
需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所描述的方法。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本公开的优选实施例，并非因此限制本公开的专利范围，凡是利用本公开说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本公开的专利保护范围内。

Claims (14)

1.一种图像生成模型的训练方法，其特征在于，包括：
获取多组训练图像，每组训练图像包括无缺陷图像和与所述无缺陷图像相对应的有缺陷图像；
根据所述多组训练图像对循环生成式对抗网络进行训练，其中，在训练过程中，所述有缺陷图像中缺陷区域对应的损失权重大于非缺陷区域对应的损失权重；
在所述循环生成式对抗网络训练完成后，根据所述循环生成式对抗网络中的生成模型得到图像生成模型。
2.根据权利要求1所述的方法，其特征在于，所述循环生成式对抗网络的损失函数包括循环一致性损失，所述循环一致性损失的损失权重在训练过程中逐渐增大。
3.根据权利要求2所述的方法，其特征在于，当所述循环一致性损失大于预设阈值时，增大所述循环一致性损失的损失权重；或者，
当每增加预设数量的训练次数时，增大所述循环一致性损失的损失权重。
4.根据权利要求2所述的方法，其特征在于，所述循环一致性损失包括第一循环损失和第二循环损失，所述第一循环损失为循环生成的无缺陷图像和所述训练图像中的无缺陷图像的损失，所述第二循环损失为循环生成的有缺陷图像和所述训练图像中的有缺陷图像的损失。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型和所述第二生成模型共用第一编码器；
所述第一编码器用于从输入的所述无缺陷图像中提取第一特征向量，以及从输入的所述有缺陷图像中提取第二特征向量。
6.根据权利要求5所述的方法，其特征在于，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；
所述第一判别模型包括所述第一编码器中的至少部分卷积层和第一卷积神经网络，所述第一编码器中的至少部分卷积层的输出为所述第一卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器从所述第一特征向量解码得到的图像；
所述第二判别模型包括所述第一编码器中的至少部分卷积层和第二卷积神经网络，所述第二判别模型用于输出伪无缺陷图像的判别结果，所述伪无缺陷图像是所述第二生成模型的第二解码器从所述第二特征向量解码得到的图像。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述生成模型包括第一生成模型和第二生成模型，所述第一生成模型包括第二编码器，所述第二生成模型包括第三编码器；
所述第二编码器用于从输入的所述无缺陷图像中提取第一特征向量；
所述第三编码器用于从输入的所述有缺陷图像中提取第二特征向量。
8.根据权利要求7所述的方法，其特征在于，所述循环生成式对抗网络中的判别模型包括第一判别模型和第二判别模型；
所述第一判别模型包括所述第二编码器的至少部分卷积层和第三卷积神经网络，所述第二编码器的至少部分卷积层的输出为所述第三卷积神经网络的输入；所述第一判别模型用于输出伪有缺陷图像的判别结果，所述伪有缺陷图像是所述第一生成模型的第一解码器从所述第一特征向量解码得到的图像；
所述第二判别模型包括所述第三编码器中的至少部分卷积层和第四卷积神经网络，所述第三编码器的至少部分卷积层的输出为所述第四卷积神经网络的输入；所述第二判别模型用于输出伪无缺陷图像的判别结果，所述伪无缺陷图像是所述第二生成模型的第二解码器从所述第二特征向量解码得到的图像。
9.一种缺陷图像生成方法，其特征在于，包括：
获取待处理图像，并通过缺陷生成模型处理所述待处理图像，得到生成了缺陷区域的图像；其中，所述缺陷生成模型采用如权利要求1-8任一项所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型。
10.一种无缺陷图像生成方法，其特征在于，包括：
获取有缺陷图像，并通过无缺陷生成模型处理所述有缺陷图像，得到无缺陷的图像；其中，所述无缺陷生成模型采用如权利要求1-8任一项所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
11.一种图像生成装置，其特征在于，包括缺陷生成模块和/或无缺陷生成模块；
缺陷生成模块，用于获取待处理图像，并通过缺陷生成模型处理所述待处理图像，得到生成了缺陷区域的图像；其中，所述缺陷生成模型采用如权利要求1-8任一项所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成缺陷图像的生成模型；
无缺陷生成模块，用于获取有缺陷图像，并通过无缺陷生成模型处理所述有缺陷图像，得到无缺陷的图像；其中，所述无缺陷生成模型采用如权利要求1-8任一项所述的图像生成模型的训练方法训练生成的循环生成式对抗网络中的用于生成无缺陷图像的生成模型。
12.一种图像判别装置，其特征在于，包括第一判别模块和/或第二判别模块；
第一判别模块，用于获取待判断图像，并通过第一判别模型处理所述待判断图像，得到所述待判断图像中是否存在缺陷的判别结果，所述第一判别模型是在如权利要求1-8所述的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第一判别模型；
第二判别模块，用于获取待判断图像，并通过第二判别模型处理所述待判断图像，得到所述待判断图像中的缺陷是否为真缺陷的判别结果，所述第二判别模型是在如权利要求1-8所述的图像生成模型的训练方法对循环生成式对抗网络进行训练后，得到的第二判别模型。
13.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8中任一项所述的图像生成模型的训练方法，或，如权利要求9所述的缺陷图像生成方法，或，如权利要求10所述的无缺陷图像生成方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如权利要求1至8中任一项所述的图像生成模型的训练方法，或，如权利要求9所述的缺陷图像生成方法，或，如权利要求10所述的无缺陷图像生成方法。
CN202210499917.5A 2022-05-09 2022-05-09 图像生成模型的训练方法及装置、设备和存储介质 Active CN114972375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210499917.5A CN114972375B (zh) 2022-05-09 2022-05-09 图像生成模型的训练方法及装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210499917.5A CN114972375B (zh) 2022-05-09 2022-05-09 图像生成模型的训练方法及装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114972375A true CN114972375A (zh) 2022-08-30
CN114972375B CN114972375B (zh) 2023-08-04

Family

ID=82981122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210499917.5A Active CN114972375B (zh) 2022-05-09 2022-05-09 图像生成模型的训练方法及装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114972375B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342952A (zh) * 2023-03-29 2023-06-27 北京西清能源科技有限公司 一种变压器套管异常识别方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340785A (zh) * 2020-02-27 2020-06-26 广州大学 模型训练方法、产品表面缺陷检测方法和存储介质
CN113674263A (zh) * 2021-08-27 2021-11-19 浙江捷瑞电力科技有限公司 一种基于生成式对抗网络的小样本缺陷检测方法
CN114022586A (zh) * 2021-10-25 2022-02-08 华中科技大学 一种基于对抗生成网络的缺陷图像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340785A (zh) * 2020-02-27 2020-06-26 广州大学 模型训练方法、产品表面缺陷检测方法和存储介质
CN113674263A (zh) * 2021-08-27 2021-11-19 浙江捷瑞电力科技有限公司 一种基于生成式对抗网络的小样本缺陷检测方法
CN114022586A (zh) * 2021-10-25 2022-02-08 华中科技大学 一种基于对抗生成网络的缺陷图像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342952A (zh) * 2023-03-29 2023-06-27 北京西清能源科技有限公司 一种变压器套管异常识别方法与系统
CN116342952B (zh) * 2023-03-29 2024-01-23 北京西清能源科技有限公司 一种变压器套管异常识别方法与系统

Also Published As

Publication number Publication date
CN114972375B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN107330956B (zh) 一种漫画手绘图无监督上色方法及装置
JP2005156334A (ja) 疑似不良画像自動作成装置及び画像検査装置
CN108665005A (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN110136052B (zh) 一种图像处理方法、装置和电子设备
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN114972375A (zh) 图像生成模型的训练方法及装置、设备和存储介质
JP2019191973A (ja) 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法
CN110795623B (zh) 一种图像增强训练方法及其系统、计算机可读存储介质
CN115631192B (zh) 一种阀门试压机的控制方法、装置、设备及介质
CN110378852A (zh) 图像增强方法、装置、计算机设备和存储介质
CN112465037B (zh) 目标检测方法、装置、计算机设备及存储介质
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
JP7454568B2 (ja) 情報処理方法、情報処理装置及びプログラム
CN109756494B (zh) 一种负样本变换方法及装置
CN114549932A (zh) 数据增强处理方法、装置、计算机设备及存储介质
Wang et al. Multi-Feature Fusion based Image Steganography using GAN
CN116416486A (zh) 图像识别方法及系统
CN113469955A (zh) 一种光伏组件故障区图像检测方法及系统
CN111814534A (zh) 视觉任务的处理方法、装置和电子系统
CN111524060A (zh) 一种实时人像背景虚化的系统、方法、存储介质和设备
CN111582446B (zh) 用于神经网络剪枝的系统和神经网络的剪枝处理方法
CN111314161A (zh) 一种流量识别方法和装置
CN116029942B (zh) 一种深度学习图像边缘强化的方法、相关装置及存储介质
CN115796242B (zh) 一种电子数字信息反取证方法
CN114821203B (zh) 基于一致性损失的细粒度图像模型训练及识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1100, 1st Floor, No. 6 Chuangye Road, Shangdi Information Industry Base, Haidian District, Beijing 100085

Applicant after: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD.

Address before: 100085 1001, floor 1, building 3, No.8 Chuangye Road, Haidian District, Beijing

Applicant before: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant