CN113627538B - 训练非对称生成对抗网络产生图像的方法及电子装置 - Google Patents

训练非对称生成对抗网络产生图像的方法及电子装置 Download PDF

Info

Publication number
CN113627538B
CN113627538B CN202110926075.2A CN202110926075A CN113627538B CN 113627538 B CN113627538 B CN 113627538B CN 202110926075 A CN202110926075 A CN 202110926075A CN 113627538 B CN113627538 B CN 113627538B
Authority
CN
China
Prior art keywords
image
generator
discriminator
real image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110926075.2A
Other languages
English (en)
Other versions
CN113627538A (zh
Inventor
马翊翔
陈思玮
林祐弘
刘安城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Phison Electronics Corp
Original Assignee
Phison Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Phison Electronics Corp filed Critical Phison Electronics Corp
Priority to CN202110926075.2A priority Critical patent/CN113627538B/zh
Publication of CN113627538A publication Critical patent/CN113627538A/zh
Application granted granted Critical
Publication of CN113627538B publication Critical patent/CN113627538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种训练非对称生成对抗网络产生图像的方法及使用此方法的电子装置。所述方法包括：输入属于第一类别的第一真实图像、属于第二类别的第二真实图像以及属于第三类别的第三真实图像至非对称生成对抗网络以训练非对称生成对抗网络，其中非对称生成对抗网络包括第一生成器、第二生成器、第一鉴别器以及第二鉴别器；以及输入属于第二类别的第四真实图像至训练出的非对称生成对抗网络中的第一生成器以产生瑕疵图像。

Description

训练非对称生成对抗网络产生图像的方法及电子装置
技术领域
本发明涉及一种生成对抗网络(generative adversarial network,GAN)，尤其涉及一种训练非对称GAN产生图像的方法以及使用此方法的电子装置。
背景技术
近年来，训练神经网络(neural network)模型进行图像识别在计算机视觉领域受到大量的关注。例如，可训练瑕疵分类模型对元件的图像进行瑕疵检测来检测多个元件中具有瑕疵的元件。神经网络模型的效能取决于训练数据的质量、多样性及数量。然而，真实世界中异常数据(例如，瑕疵样本或负样本)通常难以预先收集。由于异常数据的稀缺性，将降低训练出的模型在应用面上的识别效能。因此为了取得多样性的训练数据集，往往需要花费时间及人力收集更多稀缺的异常数据。如此，将耗费大量的时间及人力成本。
GAN即是通过真实数据及生成器所产生的伪数据之间的差异来训练生成器，以使得训练出的生成器可根据真实数据产生大量的伪数据来补足神经网络模型所缺少的异常数据。一般来说，GAN为包括生成器(generator)与鉴别器(discriminator)的机器学习模型。
然而，在制造初期时，通常缺少新元件的实际异常元件。旧有的GAN无法在训练数据集中缺少新元件的异常数据时训练出能产生伪异常数据的生成器。因此，对于本领域技术人员来说，存在着改良产生伪数据的方法的需求。
发明内容
本发明提供一种训练非对称生成对抗网络产生图像的方法及使用此方法的电子装置，能够提升非对称GAN中生成器的图像转换的效能。
本发明提出一种训练非对称生成对抗网络产生图像的方法，适用于包括处理器的电子装置。所述方法包括：输入属于第一类别的第一真实图像、属于第二类别的第二真实图像以及属于第三类别的第三真实图像至非对称生成对抗网络以训练所述非对称生成对抗网络，其中所述非对称生成对抗网络包括第一生成器、第二生成器、第一鉴别器以及第二鉴别器；以及输入属于所述第二类别的第四真实图像至训练出的所述非对称生成对抗网络中的所述第一生成器以产生瑕疵图像。所述第一生成器接收所述第二真实图像并据以产生第二生成图像，并且所述第二生成器接收所述第二生成图像并据以产生第二重建图像。并且，所述第一生成器依据所述第二真实图像及所述第二重建图像执行运算以产生第二数值，并依据所述第二数值更新所述第一生成器的参数。其中所述第一真实图像及所述第三真实图像不具有瑕疵特征，所述第二真实图像及所述第四真实图像具有瑕疵特征。其中所述瑕疵图像属于第四类别，且所述第四类别不具有训练样本。
在本发明的一实施例中，所述第一生成器接收所述第一真实图像并据以产生第一生成图像，所述第二生成器接收所述第一生成图像并据以产生第一重建图像。并且所述第一生成器依据所述第一真实图像及所述第一重建图像执行运算以产生第一数值，并依据所述第一数值更新所述第一生成器的参数。
在本发明的一实施例中，所述第一鉴别器在所述第一生成图像与属于第三类别的第三真实图像之间进行区分来产生第一鉴别值。并且，所述第一生成器依据所述第一鉴别值更新所述第一生成器的参数。
在本发明的一实施例中，所述第一鉴别器表征为多个第三神经网络权重，并且所述第一鉴别器依据所述第一鉴别值更新所述第一鉴别器的参数。
在本发明的一实施例中，所述第一生成器将所述第一真实图像及所述第一重建图像相减以产生所述第一数值，将所述第二真实图像及所述第二重建图像相减以产生所述第二数值。
在本发明的一实施例中，所述第一生成器表征为多个第一神经网络权重，其中更新所述第一生成器的参数的步骤包括：在使第一生成损失函数最小化的情况下更新所述多个第一神经网络权重。
在本发明的一实施例中，所述第二生成器接收所述第三真实图像并据以产生第三生成图像，并且所述第一生成器接收所述第三生成图像并据以产生第三重建图像。所述第二鉴别器在所述第三生成图像与所述第一真实图像之间进行区分来产生第二鉴别值。并且，所述第二生成器依据所述第三真实图像及所述第三重建图像执行运算以产生第三数值，并依据所述第二鉴别值以及所述第三数值至少其中之一更新所述第二生成器的参数。
在本发明的一实施例中，所述第二鉴别器表征为多个第四神经网络权重，并且所述第二鉴别器依据所述第二鉴别值更新所述第二鉴别器的参数。
在本发明的一实施例中，所述第二生成器表征为多个第二神经网络权重，其中更新所述第二生成器的参数的步骤包括：在使第二生成损失函数最小化的情况下更新所述第二神经网络权重。
在本发明的一实施例中，所述第二生成器将所述第三真实图像及所述第三重建图像相减以产生所述第三数值。
在本发明的一实施例中，所述非对称生成对抗网络执行多次迭代操作以训练所述第一生成器、所述第二生成器、所述第一鉴别器以及所述第二鉴别器。
在本发明的一实施例中，所述多个迭代操作包括：在执行第一迭代操作时依据所述第一真实图像更新所述第一鉴别器及所述第一生成器；在执行第二迭代操作时依据所述第二真实图像更新所述第一生成器；以及在执行第三迭代操作时依据所述第三真实图像更新所述第二鉴别器及所述第二生成器。
本发明提出一种使用训练非对称生成对抗网络产生图像的电子装置。所述电子装置包括存储装置以及处理器。所述存储装置经配置以存储真实图像数据集及一或多个指令。所述处理器耦接所述存储装置，经配置以执行所述多个指令：输入属于第一类别的第一真实图像、属于第二类别的第二真实图像以及属于第三类别的第三真实图像至非对称生成对抗网络训练所述非对称生成对抗网络，其中所述非对称生成对抗网络包括第一生成器、第二生成器、第一鉴别器以及第二鉴别器；以及输入属于所述第二类别的第四真实图像至训练出的所述非对称生成对抗网络中的所述第一生成器以产生瑕疵图像。所述第一生成器接收所述第二真实图像并据以产生第二生成图像，并且所述第二生成器接收所述第二生成图像并据以产生第二重建图像。所述第一生成器依据所述第二真实图像及所述第二重建图像执行运算以产生第二数值，并依据所述第二数值更新所述第一生成器的参数。其中所述第一真实图像及所述第三真实图像不具有瑕疵特征，所述第二真实图像及所述第四真实图像具有瑕疵特征。其中所述瑕疵图像属于第四类别，且所述第四类别不具有训练样本。
在本发明的一实施例中，所述第一生成器接收所述第一真实图像并据以产生第一生成图像，所述第二生成器接收所述第一生成图像并据以产生第一重建图像。并且，所述第一生成器依据所述第一真实图像及所述第一重建图像执行运算以产生第一数值，并依据所述第一数值更新所述第一生成器的参数。
在本发明的一实施例中，所述第一鉴别器在所述第一生成图像与属于第三类别的第三真实图像之间进行区分来产生第一鉴别值。并且，所述第一生成器依据所述第一鉴别值更新所述第一生成器的参数。
在本发明的一实施例中，所述第一鉴别器表征为多个第三神经网络权重，并且所述第一鉴别器依据所述第一鉴别值更新所述第一鉴别器的参数。
在本发明的一实施例中，所述第一生成器将所述第一真实图像及所述第一重建图像相减以产生所述第一数值，将所述第二真实图像及所述第二重建图像相减以产生所述第二数值。
在本发明的一实施例中，所述第一生成器表征为多个第一神经网络权重，其中更新所述第一生成器的参数的运作包括：在使第一生成损失函数最小化的情况下更新所述多个第一神经网络权重。
在本发明的一实施例中，所述第二生成器接收所述第三真实图像并据以产生第三生成图像，并且所述第一生成器接收所述第三生成图像并据以产生第三重建图像。所述第二鉴别器在所述第三生成图像与所述第一真实图像之间进行区分来产生第二鉴别值。并且，所述第二生成器依据所述第三真实图像及所述第三重建图像执行运算以产生第三数值，并依据所述第二鉴别值以及所述第三数值至少其中之一更新所述第二生成器的参数。
在本发明的一实施例中，所述第二鉴别器表征为多个第四神经网络权重，并且所述第二鉴别器依据所述第二鉴别值更新所述第二鉴别器的参数。
在本发明的一实施例中，所述第二生成器表征为多个第二神经网络权重，其中更新所述第二生成器的参数的运作包括：在使第二生成损失函数最小化的情况下更新所述第二神经网络权重。
在本发明的一实施例中，所述第二生成器将所述第三真实图像及所述第三重建图像相减以产生所述第三数值。
在本发明的一实施例中，所述非对称生成对抗网络执行多次迭代操作以训练所述第一生成器、所述第二生成器、所述第一鉴别器以及所述第二鉴别器。
在本发明的一实施例中，所述迭代操作包括：在执行第一迭代操作时依据所述第一真实图像更新所述第一鉴别器及所述第一生成器；在执行第二迭代操作时依据所述第二真实图像更新所述第一生成器；以及在执行第三迭代操作时依据所述第三真实图像更新所述第二鉴别器及所述第二生成器。
基于上述，本范例实施例提出的训练非对称生成对抗网络产生图像的方法及使用此方法的电子装置，能够共同执行机器学习训练非对称GAN，以更新第一生成器、第二生成器、第一鉴别器以及第二鉴别器的参数。藉此，训练后的非对称GAN能够将元件的缺陷特征转移至另一元件的图像上以产生缺陷图像，从而提升生成器的图像转换的效能。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据一范例实施例所示出的电子装置的方块图；
图2是根据一范例实施例所示出的训练非对称GAN的机制的示意图；
图3是根据一范例实施例所示出的训练非对称GAN产生图像的方法的流程图；
图4是根据一范例实施例所示出的非对称GAN的迭代过程的流程图；
图5是根据一范例实施例所示出的真实图像的范例；
图6是根据一范例实施例所示出的第二真实图像及第一生成器的输出结果的范例。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
本案说明书全文(包括权利要求书)中提及的“第一”、“第二”等用语是用以命名元件(element)的名称，或区别不同实施例或范围，而并非用来限制元件数量的上限或下限，亦非用来限制元件的次序。
在本案说明书之附图及实施方式中使用相同标号的元件/构件/步骤代表相同或类似部分。不同实施方式中使用相同标号或使用相同用语的元件/构件/步骤可以相互参照相关说明。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。
图1是根据一范例实施例所示出的电子装置的方块图。请参照图1，电子装置10包括处理器110以及存储装置120。
处理器110耦接存储装置120并执行存储于存储装置120的指令。处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可编程的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可编程控制器、专用集成电路(application specificintegrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、算术逻辑部件(arithmetic logic unit，ALU)、复杂可编程逻辑器件(complex programmable logicdevice，CPLD)、现场可编程门阵列(field programmable gate array，FPGA)或其他类似元件或上述元件的组合。
存储装置120例如是任何型态的固定式或可移动式的随机存储器(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、闪速存储器(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合，而用于存储多种数据及可由处理器110执行的一或多个计算机可读指令。
这些计算机可读指令可包括以任何程序设计语言编写的逻辑或算法。程序设计语言可以是可由处理器104直接执行的机器语言(machine language)或可被编译(compile)或组译(assemble)成计算机可读指令并存储在存储装置120中的组合语言(assemblylanguage)、面向对象程序设计(object-oriented programming,OOP)、脚本语言(scripting language)、微代码(microcode)等，本发明不在此限制。另一方面，计算机可读指令亦可以硬件描述语言(hardware description language,HDL)进行编写，其例如是可通FPGA配置、ASIC或其他等效物实施的逻辑。因此，本范例实施例描述的功能可以任何传统的计算机程式语言、预编程的硬件元件或硬件与软件元件的组合来实施训练非对称(asymmetric)GAN的方法，本发明不在此限制。
在本范例实施例中，存储装置120中可存储真实图像数据集121。真实图像数据集121包括的图像可以是利用摄像装置拍摄元件来获得。真实图像数据集121可包括多个真实图像(real image)，且每个真实图像属于不同类别。举例来说，第一类别可以是“第一元件的无瑕图像(亦称为第一真实图像)”类别，第二类别可以是“第一元件的瑕疵图像(亦称为第二真实图像)”类别，第三类别可以是“第二元件的无瑕图像(亦称为第三真实图像)”类别。需注意的是，本范例实施例中代表性不足的类别不具有训练样本，即真实图像数据集121中不包括任何属于第四类别(例如，“第二元件的瑕疵图像”类别)的真实图像。在本范例实施例中，第一元件与第二元件为真实世界中的不同元件。属于无瑕图像类别的图像表示该图像中不具有瑕疵特征，因此该图像包括的元件会被判定为良好。而属于瑕疵图像类别的图像表示该图像具有瑕疵特征，因此该图像包括的元件会被判定为损坏(例如，元件具有破损或偏移)。
图2是根据一范例实施例所示出的训练非对称GAN的机制的示意图。请参照图2，非对称GAN 200是一种对抗学习系统，用于在基于循环生成对抗网络(cycle GAN)的无监督模型中学习从未配对的真实世界的图像数据中产生逼真的合成图像。
在本范例实施例中，非对称GAN 200包括第一生成器G1、第二生成器G2、第一鉴别器DB以及第二鉴别器DA。第一生成器G1、第二生成器G2、第一鉴别器DB以及第二鉴别器DA皆为神经网络。该第一生成器G1与第二生成器G2可执行图像转换，并可与第一鉴别器DB以及第二鉴别器DA共同执行类似cycle GAN学习以更新参数。举例来说，第一生成器G1以及第二生成器G2可包括卷积神经网络(convolutional neural network，CNN)。第一鉴别器DB以及第二鉴别器DA可实施为基于CNN的分类器，例如包括卷积层(convolution layer)与全连接层(fully connected layer)。
图3是根据一范例实施例所示出的训练非对称GAN产生图像的方法的流程图。参考图3，本范例实施例的方法适用于由用于训练图2的非对称GAN200的训练系统(例如，图1的处理器110)执行。以下即通过使用图2作为实施例来说明本实施例的训练非对称GAN产生图像的方法的详细步骤。
在一范例实施例中，非对称GAN 200执行的训练非对称GAN产生图像的方法在执行前，处理器110可对各第一生成器G1、第二生成器G2、第一鉴别器DB以及第二鉴别器DA先执行初始化参数设定。而训练非对称GAN产生图像的方法利用学习运算更新第一生成器G1、第二生成器G2、第一鉴别器DB以及第二鉴别器DA的参数，以优化非对称GAN 200的转换效能。
大致上来说，生成器会学习从真实图像产生生成图像(generated image)以使得鉴别器判断生成图像为真(即，判断为真实图像)。鉴别器会学习从真实图像辨别出生成图像。换句话说，鉴别器会通过与生成器相互对抗直到达成平衡点，以学习区分生成图像与真实图像。
在步骤S302中，第一生成器G1可接收属于第一类别的第一真实图像并据以产生第一生成图像，并且可接收属于第二类别的第二真实图像并据以产生第二生成图像。参照图2，真实图像数据集121中的第一真实图像及第二真实图像分别以A1及A2表示，而第一生成器G1产生的第一生成图像及第二生成图像分别以B1’及B2’表示。
具体来说，第一类别及第二类别具有可用的训练样本，且此两个类别包括的图像分别为对应至相同的第一元件的瑕疵图像及无瑕图像。在一范例实施例中，第一真实图像A1与第二真实图像A2例如是以矩阵的方式表示并输入第一生成器G1。
在步骤S304中，第二生成器G2可接收第一生成图像B1’并据以产生第一重建图像(reconstructed image)，并且可接收第二生成图像B2’并据以产生第二重建图像。参照图2，第二生成器G2产生的第一重建图像及第二重建图像分别以A1”及A2”表示。
举例来说，可将第一生成图像B1’视为由第一生成器G1基于第一真实图像A1而产生的伪图像，若以数学式则可表示为G1(A1)。并且可将第一重建图像A1’’视为由第二生成器G2基于第一生成图像B1’而产生的伪图像，若以数学式则可表示为G2(G1(A1))。类似地，可将第二生成图像B2’视为由第一生成器G1基于第二真实图像A2而产生的伪图像，若以数学式则可表示为G1(A2)。并且可将第二重建图像A2”视为由第二生成器G2基于第二生成图像B2’而产生的伪图像，若以数学式则可表示为G2(G1(A2))。
在步骤S306中，第一鉴别器DB可在第一生成图像B1’与属于第三类别的第三真实图像之间进行区分来产生第一鉴别值。参照图2，真实图像数据集121中的第三真实图像以B1表示。具体来说，第三类别具有可用的训练样本，此第三类别包括的图像对应至不同于第一元件的第二元件且为无瑕图像。
在一范例实施例中，第一鉴别器DB可经配置以在第一生成图像B1’与第三真实图像B1之间进行区分。换言之，第一鉴别器DB是用以鉴别第一生成图像B1’与第三真实图像B1间相似或差异，并且该第一鉴别值是表示图像之间的相似或差异程度的信息，其中该第一鉴别值可以数学式表示为DB(G1(A1))。举例来说，此第一鉴别值可以是介于0至1之间的数值，表示第一生成图像B1’被判断为第三真实图像B1的机率。当第一鉴别值越大则表示第一生成图像B1’与第三真实图像B1间越相似，当第一鉴别值越小则表示第一生成图像B1’与第三真实图像B1间差异越大。然而，第一鉴别值的定义不以此为限，可依据运算需求调整数值的定义。
在一范例实施例中，第一鉴别器DB的鉴别结果(例如，第一鉴别值)可进一步用于更新第一鉴别器DB的参数。举例来说，第一鉴别器DB可表征为多个第三神经网络权重。第一鉴别器DB可以是将第一生成图像B1’和/或真实图像数据集121中对应第三类别的第三真实图像B1输入第一鉴别器DB并输出鉴别结果。接着，第一鉴别器DB基于鉴别结果及第一鉴别损失函数计算第一鉴别损失函数值，并依据第一鉴别损失函数值更新第一鉴别器DB的第三神经网络权重。第一鉴别器DB的第一鉴别损失函数可基于交叉熵(cross-entropy)或其他适当误差函数，本发明不在此限制。举例来说，用于训练第一鉴别器DB的第一鉴别损失函数可以数学式表示为：
其中，表示第一鉴别器DB的鉴别损失函数，E为期望值，pdata(b1)为第三真实图像所属的第三真实图像数据集的机率分布，b1～pdata(b1)表示从第三真实图像所属的第三真实图像数据集中随机选取的第三真实图像b1，而DB(b1)为第三真实图像b1的鉴别结果。第一鉴别器DB的训练目标可以是在使第一鉴别损失函数最小化的情况下更新第一鉴别器DB的第三神经网络权重。本发明不在此限制更新第一鉴别器DB的神经网络权重的方法。
在步骤S308中，第一生成器G1可依据第一真实图像A1及第一重建图像A1”执行运算以产生第一数值，可依据第二真实图像A2及第二重建图像A2”执行运算以产生第二数值，并可依据第一鉴别值、第一数值和/或第二数值更新第一生成器G1的参数。
具体来说，第一生成器G1是依据第一鉴别值、第一数值和/或第二数值，且基于第一生成损失函数来计算第一生成损失函数值，并进一步基于此计算出的第一生成损失函数值来调整与更新第一生成器G1的参数。通过利用第一数值及第二数值作为损失函数，可避免第一生成器G1不断产生同一张生成图像来试图骗过第一鉴别器DB。
在一范例实施例中，用于训练第一生成器G1的第一生成损失函数可以数学式表示为：
其中，表示第一生成损失函数，E为期望值，pdata(a1)为第一真实图像所属的第一真实图像数据集的机率分布，a1～pdata(a1)表示从第一真实图像所属的第一真实图像数据集中随机选取的第一真实图像a1，DB(G1(a1))表示第一鉴别值，G2(G1(a1))表示第一重建图像，pdata(a2)为第二真实图像所属的第二真实图像数据集的机率分布，a2～pdata(a2)表示从第二真实图像所属的第二真实图像数据集中随机选取的第二真实图像a2，G2(G1(a2))表示第二重建图像。本范例实施例的第一生成损失函数值可以是介于0至1之间的数值。当此第一生成损失函数值越低，表示非对称GAN 200越接近理想状态。然而，各数值的定义不以此为限，可依据运算需求调整数值的定义。
在本范例实施例中，第一生成器G1可表征为多个第一神经网络权重，而第二生成器G2可表征为多个第二神经网络权重。也就是说，第一生成器G1和第二生成器G2为不同的生成器。在本范例实施例中，第一生成器G1可将第一真实图像A1及第一重建图像A1”相减以产生第一数值，并将第二真实图像A2及第二重建图像A2”相减以产生第二数值。而第一生成器G1的训练目标可以是在使第一生成损失函数最小化(即，使第一鉴别损失函数最小化、使第一数值及第二数值最小化)的情况下更新第一生成器G1的第一神经网络权重。例如，第一生成器G1可采用梯度下降法(gradient descent)进行反向传播学习来调整第一神经网络权重，以达到第一生成损失函数最小化。然而，本发明不在此限制更新第一生成器G1的第一神经网络权重的方法，可依需求采用其他方法更新权重。
值得注意的是，通过步骤S302～S308，第一生成器G1学习将第一真实图像A1映射(map)至第一生成图像B1’，并学习将第二真实图像A2映射至第二生成图像B2’，以使得第一鉴别器DB无法辨别第一生成图像B1’与第三真实图像B1。换言之，第一生成器G1的训练目标是增加第一鉴别器DB的错误率，即试图欺骗第一鉴别器DB而使得第一鉴别器DB判断第一生成图像B1’属于第三真实图像B1。而第一鉴别器DB的训练目标则是减少其自身的错误率，即试图区分第一生成图像B1’与第三真实图像B1。
在步骤S310中，第二生成器G2可接收第三真实图像B1并据以产生第三生成图像，并且第一生成器G1可接收第三生成图像并据以产生第三重建图像。参照图2，第二生成器G2产生的第三生成图像以A1’表示，第一生成器G1产生的第三重建图像以B1”表示。其中，第二生成器G2产生的第三生成图像以A1’表示，而第一生成器G1产生的第三重建图像以B1”表示。
具体来说，真实图像数据集121中不包括任何属于第四类别的真实图像，因此步骤S310只转换了第三类别的真实图像。此与步骤S302转换了两个类别的真实图像有所差异。在一范例实施例中，第三真实图像B1例如是以矩阵的方式表示并输入第二生成器G2。
举例来说，可将第三生成图像以A1’视为由第二生成器G2基于第三真实图像B1而产生的伪图像，若以数学式则可表示为G2(B1)。并且可将第三重建图像B1”视为由第一生成器G1基于第三生成图像A1’而产生的伪图像，若以数学式则可表示为G1(G2(B1))。
在步骤S312中，第二鉴别器DA可在第三生成图像A1’与第一真实图像A1之间进行区分来产生第二鉴别值。具体来说，第二鉴别器DA可经配置以在第三生成图像A1’与第一真实图像A1之间进行区分。换言之，第二鉴别器DA是用以鉴别第三生成图像A1’与第一真实图像A1间相似或差异，并且该第二鉴别值是表示图像之间的相似或差异程度的信息，其中该第二鉴别值可以数学式表示为DA(G2(B1))。举例来说，此第二鉴别值可以是介于0至1之间的数值，表示第三生成图像A1’被判断为第一真实图像A1的机率。当第二鉴别值越大则表示第三生成图像A1’与第一真实图像A1间越相似，当第二鉴别值越小则表示第三生成图像A1’与第一真实图像A1间差异越大。然而，第二鉴别值的定义不以此为限，可依据运算需求调整数值的定义。
在一范例实施例中，第二鉴别器DA的训练方式类似于前述第一鉴别器DB。具体来说，第二鉴别器DA的鉴别结果(例如，第二鉴别值)可进一步用于更新第二鉴别器DA的参数。举例来说，第二鉴别器DA可表征为多个第四神经网络权重。第二鉴别器DA可以是将第三生成图像A1’和/或真实图像数据集121中对应第一类别的第一真实图像A1输入第二鉴别器DA并输出鉴别结果。接着，第二鉴别器DA基于鉴别结果及第二鉴别损失函数计算第二鉴别损失函数值，并依据第二鉴别损失函数值更新第二鉴别器DA的第四神经网络权重。第二鉴别器DA的第二鉴别损失函数可基于交叉熵或其他适当误差函数，本发明不在此限制。举例来说，用于训练第二鉴别器DA的第二鉴别损失函数可以数学式表示为：
其中，表示第二鉴别器DA的鉴别损失函数，E为期望值，pdata(a1)为第一真实图像所属的第一真实图像数据集的机率分布，a1～pdata(a1)表示从第一真实图像所属的第一真实图像数据集中随机选取的第一真实图像a1，而DA(a1)为第一真实图像a1的鉴别结果。第二鉴别器DA的训练目标可以是在使第二鉴别损失函数最小化的情况下更新第二鉴别器DA的第四神经网络权重。本发明不在此限制更新第二鉴别器DA的神经网络权重的方法。
在步骤S314中，第二生成器G2可依据第三真实图像B1及第三重建图像B1”执行运算以产生第三数值，并可依据第二鉴别值和/或第三数值更新第二生成器G2的参数。
具体来说，第二生成器G2是依据第二鉴别值和/或第三数值，且基于第二生成损失函数来计算第二生成损失函数值，并进一步基于此计算出的第二生成损失函数值来调整与更新第二生成器G2的参数。在一范例实施例中，用于训练第二生成器G2的第二生成损失函数可以数学式表示为：
其中，表示第二生成损失函数，E为期望值，pdata(b1)为第三真实图像所属的第三真实图像数据集的机率分布，b1～pdata(b1)表示从第三真实图像所属的第三真实图像数据集中随机选取的第三真实图像b1，DA(G2(b1))表示第二鉴别值，G1(G2(b1))表示第三重建图像。本范例实施例的第二生成损失函数值可以是介于0至1之间的数值。当此第二生成损失函数值越低，表示非对称GAN 200越接近理想状态。然而，各数值的定义不以此为限，可依据运算需求调整数值的定义。
在本范例实施例中，第二生成器G2可表征为多个第二神经网络权重。第二生成器G2可将第三真实图像B1及第三重建图像B1”相减以产生第三数值。而第二生成器G2的训练目标可以是在使第二生成损失函数最小化(即，使第二鉴别损失函数最小化、使第三数值最小化)的情况下更新第二生成器G2的第二神经网络权重。例如，第二生成器G2可采用梯度下降法进行反向传播学习来调整第二神经网络权重，以达到第二生成损失函数最小化。然而，本发明不在此限制更新第二生成器G2的第二神经网络权重的方法，可依需求采用其他方法更新权重。
值得注意的是，通过步骤S310～S314，第二生成器G2学习将第三真实图像B1映射至第三生成图像A1’，以使得第二鉴别器DA无法辨别第三生成图像A1’与第一真实图像A1。换言之，第二生成器G2的训练目标是增加第二鉴别器DA的错误率，即试图欺骗第二鉴别器DA而使得第二鉴别器DA判断第三生成图像A1’属于第一真实图像A1。而第二鉴别器DA的训练目标则是减少其自身的错误率，即试图区分第三生成图像A1’与第一真实图像A1。
在一范例实施例中，上述具有非对称架构的非对称GAN 200可通过执行多次迭代训练第一生成器G1、第二生成器G2、第一鉴别器DB以及第二鉴别器DA，以调整与更新第一生成器G1、第二生成器G2、第一鉴别器DB以及第二鉴别器DA的参数，直到达成最佳化目标。换言之，本范例实施例的训练非对称GAN产生图像的方法通过在最小化第一生成器G1的第一生成损失函数与最大化第一鉴别器DB的第一鉴别损失函数之间相互对抗，并在最小化第二生成器G2的第二生成损失函数与最大化第二鉴别器DA的第二鉴别损失函数之间相互对抗，直到达成平衡点以达成最佳化目标。于此，在达成最佳化目标后可判断非对称GAN 200完成学习。
另一方面，可以设置一预设阈值来判断非对称GAN 200是否完成学习，此预设阈值关联于迭代次数。具体来说，假设本范例实施例的第一迭代操作包括依据第一真实图像A1更新第一鉴别器DB及第一生成器G1，第二迭代操作包括依据第二真实图像A2更新第一生成器G1，第三迭代操作依据第三真实图像B1更新第二鉴别器DA及第二生成器G2。非对称GAN200执行一次迭代操作时可将累积迭代操作的计数值，并在此计数值达到预设阈值时判断非对称GAN 200完成学习。在其他范例实施例中，也可以用第一生成损失函数值、第二生成损失函数值、第一鉴别损失函数值及第二鉴别损失函数值是否皆小于或等于预设阈值或是否皆收敛来判断非对称GAN 200是否完成学习，本发明不在此限制。
值得注意的是，本范例实施例的步骤S302～S308、步骤S310～S314之间的执行顺序可互换。也就是在其他实施例中，可在依序执行S310～S314之后依序执行S302～S308，因此步骤执行顺序不以本范例实施例为限。
图4是根据一范例实施例所示出的非对称GAN的迭代过程的流程图。参考图4，本范例实施例的方法适用于由用于训练图2的非对称GAN 200的训练系统(例如，图1的处理器110)执行。以下即通过使用图2作为实施例来说明本实施例训练非对称GAN的迭代过程的详细步骤。
首先，处理器110执行指令以判断输入图像至非对称GAN 200中的哪个生成器进行迭代。参照图4，在步骤S41中，处理器110载入真实图像数据集121，并取得一真实图像。接着，处理器110在步骤S42判断真实图像对应至第一元件或第二元件，并在步骤S43判断真实图像对应至瑕疵图像或无瑕图像。具体来说，若处理器110判断真实图像对应至第一元件与无瑕图像(即判断真实图像属于第一类别)，则在步骤S51将真实图像作为第一真实图像输入第一生成器G1并执行步骤S52～S55的第一迭代操作。若处理器110判断真实图像对应至第一元件与瑕疵图像(即判断真实图像属于第二类别)，则在步骤S61将真实图像作为第二真实图像输入第一生成器G1并执行步骤S62～S64的第二迭代操作。并且，若处理器110判断真实图像对应至第二元件与瑕疵图像(即判断真实图像属于第三类别)，则在步骤S71将真实图像作为第三真实图像输入第二生成器G2并执行步骤S72～S75的第三迭代操作。值得注意的是，本范例实施例不限制第一迭代操作、第二迭代操作及第三迭代操作的执行顺序，其可同时地或依序地执行。
在步骤S81中，处理器110会在迭代过程中会判断迭代是否完成。若迭代尚未完成(即步骤S81判断为否)，则处理器110在步骤S82等待迭代完成。若迭代已完成(即步骤S81判断为是)，则处理器110在步骤S83将计数值加1，并在步骤S84判断计数值是否已达到预设阈值。若计数值未达到预设阈值(即步骤S84判断为否)，则处理器110执行前述步骤S41取得下一个真实图像并继续执行判断与迭代操作。若计数值已达到预设阈值(即步骤S84判断为是)，则处理器110可判断非对称GAN 200的完成学习。
更具体来说，在步骤S52～S55的第一迭代操作中，非对称GAN 200会前向传递第一真实图像A1，即第一生成器G1接收第一真实图像A1并据以产生第一生成图像B1’，第二生成器G2接收第一生成图像B1’并据以产生第一重建图像A1”。接着，第一生成器G1计算第一生成损失函数。非对称GAN 200依据第一生成图像B1’与第一重建图像A1”更新第一鉴别器DB，并依据第一生成损失函数更新第一生成器G1。
另一方面，在步骤S62～S64的第二迭代操作中，非对称GAN 200会前向传递第二真实图像A2，即第一生成器G1接收第二真实图像A2并据以产生第二生成图像B2’，第二生成器G2接收第二生成图像B2’并据以产生第一重建图像A2”。接着，第一生成器G1计算第一生成损失函数，并依据第一生成损失函数更新第一生成器G1。
另一方面，在步骤S72～S75的第三迭代操作中，非对称GAN 200会前向传递第三真实图像B1，即第二生成器G2接收第三真实图像B1并据以产生第三生成图像A1’，第一生成器G1接收第三生成图像A1’并据以产生第三重建图像B1”。接着，第二生成器G2计算第二生成损失函数。非对称GAN 200依据第三生成图像A1’与第三重建图像B1”更新第二鉴别器DA，并依据第二生成损失函数更新第二生成器G2。
请再次参照图3。在步骤S316中，输入属于第二类别的第四真实图像至训练出的非对称GAN 200中的第一生成器G1以产生瑕疵图像。其中该瑕疵图像属于第四类别的图像。在上述范例实施例中，系统依据真实图像和伪图像(生成图像与重建图像)训练非对称GAN200的非对称架构以学习第一生成器G1与第二生成器G2采用的神经网络权重，使得属于第二类别的真实图像通过第一生成器G1映射的生成图像接近第四类别的真实图像。
图5是根据一范例实施例所示出的真实图像的范例。图6是根据一范例实施例所示出的第二真实图像及第一生成器的输出结果的范例。请参图5，本范例实施例的真实图像数据集121包括但不限于图像数据集501、图像数据集502以及图像数据集503。图像数据集501包括对应至第一类别的真实图像，此些真实图像为第一元件的无瑕图像，图像数据集502包括对应至第二类别的真实图像，此些真实图像为第一元件的瑕疵图像，图像数据集503包括对应至第三类别的真实图像，此些真实图像为第二元件的无瑕图像。在本范例实施例中，训练系统可使用图像数据集501、图像数据集502以及图像数据集503中的图像训练非对称GAN200。具体来说，图像数据集501、图像数据集502及图像数据集503中的真实图像可分别作为图2中的第一真实图像A1、第二真实图像A2及第三真实图像B1来对非对称GAN 200进行训练。
接着请参图6，训练出的非对称GAN 200可用于将属于第二类别的真实图像转换为属于第四类别的伪图像，亦即，此伪图像可视为第二元件的瑕疵图像。如图6所示，通过本范例实施例提供的训练非对称GAN产生图像的方法训练出的第一生成器G1，可将属于第二类别的真实图像5021、5022及5023分别映射产生伪图像5041、5042及5043，并且此些伪图像5041、5042及5043即为第二元件的瑕疵图像。
综上所述，本范例实施例提出的训练非对称生成对抗网络产生图像的方法及使用此方法的电子装置通过属于第一类别、第二类别及第三类别的图像，能够执行机器学习训练非对称GAN以更新第一生成器、第二生成器、第一鉴别器以及第二鉴别器的参数。藉此，训练后的非对称GAN包括的第一生成器能够将元件的缺陷特征转移至另一元件的图像上以产生属于第四类别的缺陷图像，从而提升第一生成器的图像转换的效能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (24)

1.一种训练非对称生成对抗网络产生图像的方法，适用于包括处理器的电子装置，所述方法包括：
输入属于第一类别的第一真实图像、属于第二类别的第二真实图像以及属于第三类别的第三真实图像至非对称生成对抗网络以训练所述非对称生成对抗网络，其中所述非对称生成对抗网络包括第一生成器、第二生成器、第一鉴别器以及第二鉴别器，其中，
所述第一生成器接收所述第一真实图像，并且所述第二鉴别器接收所述第一真实图像，
所述第二生成器接收所述第三真实图像，并且所述第一鉴别器接收所述第三真实图像，
所述第一生成器接收所述第二真实图像并据以产生第二生成图像，并且所述第二生成器接收所述第二生成图像并据以产生第二重建图像，并且
所述第一生成器依据所述第二真实图像及所述第二重建图像执行运算以产生第二数值，并依据所述第二数值更新所述第一生成器的参数；以及
输入属于所述第二类别的第四真实图像至训练出的所述非对称生成对抗网络中的所述第一生成器以产生瑕疵图像，
其中所述第一真实图像及所述第三真实图像不具有瑕疵特征，所述第二真实图像及所述第四真实图像具有瑕疵特征，
其中所述瑕疵图像属于第四类别，且所述第四类别不具有训练样本。
2.根据权利要求1所述的训练非对称生成对抗网络产生图像的方法，其中所述第一生成器接收所述第一真实图像并据以产生第一生成图像，所述第二生成器接收所述第一生成图像并据以产生第一重建图像，并且
所述第一生成器依据所述第一真实图像及所述第一重建图像执行运算以产生第一数值，并依据所述第一数值更新所述第一生成器的参数。
3.根据权利要求2所述的训练非对称生成对抗网络产生图像的方法，其中所述第一鉴别器在所述第一生成图像与属于第三类别的第三真实图像之间进行区分来产生第一鉴别值，并且
所述第一生成器依据所述第一鉴别值更新所述第一生成器的参数。
4.根据权利要求3所述的训练非对称生成对抗网络产生图像的方法，其中所述第一鉴别器表征为多个第三神经网络权重，并且所述第一鉴别器依据所述第一鉴别值更新所述第一鉴别器的参数。
5.根据权利要求2所述的训练非对称生成对抗网络产生图像的方法，其中所述第一生成器将所述第一真实图像及所述第一重建图像相减以产生所述第一数值，将所述第二真实图像及所述第二重建图像相减以产生所述第二数值。
6.根据权利要求1所述的训练非对称生成对抗网络产生图像的方法，其中所述第一生成器表征为多个第一神经网络权重，其中更新所述第一生成器的参数的步骤包括：
在使第一生成损失函数最小化的情况下更新所述多个第一神经网络权重。
7.根据权利要求1所述的训练非对称生成对抗网络产生图像的方法，其中所述第二生成器接收所述第三真实图像并据以产生第三生成图像，并且所述第一生成器接收所述第三生成图像并据以产生第三重建图像，
所述第二鉴别器在所述第三生成图像与所述第一真实图像之间进行区分来产生第二鉴别值，并且
所述第二生成器依据所述第三真实图像及所述第三重建图像执行运算以产生第三数值，并依据所述第二鉴别值以及所述第三数值至少其中之一更新所述第二生成器的参数。
8.根据权利要求7所述的训练非对称生成对抗网络产生图像的方法，其中所述第二鉴别器表征为多个第四神经网络权重，并且所述第二鉴别器依据所述第二鉴别值更新所述第二鉴别器的参数。
9.根据权利要求7所述的训练非对称生成对抗网络产生图像的方法，其中所述第二生成器表征为多个第二神经网络权重，其中更新所述第二生成器的参数的步骤包括：
在使第二生成损失函数最小化的情况下更新所述第二神经网络权重。
10.根据权利要求7所述的训练非对称生成对抗网络产生图像的方法，其中所述第二生成器将所述第三真实图像及所述第三重建图像相减以产生所述第三数值。
11.根据权利要求1所述的训练非对称生成对抗网络产生图像的方法，其中所述非对称生成对抗网络执行多次迭代操作以训练所述第一生成器、所述第二生成器、所述第一鉴别器以及所述第二鉴别器。
12.根据权利要求11所述的训练非对称生成对抗网络产生图像的方法，其中所述迭代操作包括：
在执行第一迭代操作时依据所述第一真实图像更新所述第一鉴别器及所述第一生成器；
在执行第二迭代操作时依据所述第二真实图像更新所述第一生成器；以及
在执行第三迭代操作时依据所述第三真实图像更新所述第二鉴别器及所述第二生成器。
13.一种使用训练非对称生成对抗网络产生图像的电子装置，包括：
存储装置，经配置以存储真实图像数据集及一或多个指令；以及
处理器，耦接所述存储装置，经配置以执行所述多个指令：
输入属于第一类别的第一真实图像、属于第二类别的第二真实图像以及属于第三类别的第三真实图像至非对称生成对抗网络训练所述非对称生成对抗网络，其中所述非对称生成对抗网络包括第一生成器、第二生成器、第一鉴别器以及第二鉴别器，其中
所述第一生成器接收所述第一真实图像，并且所述第二鉴别器接收所述第一真实图像，
所述第二生成器接收所述第三真实图像，并且所述第一鉴别器接收所述第三真实图像，
所述第一生成器接收所述第二真实图像并据以产生第二生成图像，并且所述第二生成器接收所述第二生成图像并据以产生第二重建图像，并且
所述第一生成器依据所述第二真实图像及所述第二重建图像执行运算以产生第二数值，并依据所述第二数值更新所述第一生成器的参数；以及
输入属于所述第二类别的第四真实图像至训练出的所述非对称生成对抗网络中的所述第一生成器以产生瑕疵图像，
其中所述第一真实图像及所述第三真实图像不具有瑕疵特征，所述第二真实图像及所述第四真实图像具有瑕疵特征，
其中所述瑕疵图像属于第四类别，且所述第四类别不具有训练样本。
14.根据权利要求13所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第一生成器接收所述第一真实图像并据以产生第一生成图像，所述第二生成器接收所述第一生成图像并据以产生第一重建图像，并且
所述第一生成器依据所述第一真实图像及所述第一重建图像执行运算以产生第一数值，并依据所述第一数值更新所述第一生成器的参数。
15.根据权利要求14所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第一鉴别器在所述第一生成图像与属于第三类别的第三真实图像之间进行区分来产生第一鉴别值，并且
所述第一生成器依据所述第一鉴别值更新所述第一生成器的参数。
16.根据权利要求15所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第一鉴别器表征为多个第三神经网络权重，并且所述第一鉴别器依据所述第一鉴别值更新所述第一鉴别器的参数。
17.根据权利要求14所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第一生成器将所述第一真实图像及所述第一重建图像相减以产生所述第一数值，将所述第二真实图像及所述第二重建图像相减以产生所述第二数值。
18.根据权利要求13所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第一生成器表征为多个第一神经网络权重，其中更新所述第一生成器的参数的运作包括：
在使第一生成损失函数最小化的情况下更新所述多个第一神经网络权重。
19.根据权利要求13所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第二生成器接收所述第三真实图像并据以产生第三生成图像，并且所述第一生成器接收所述第三生成图像并据以产生第三重建图像，
所述第二鉴别器在所述第三生成图像与所述第一真实图像之间进行区分来产生第二鉴别值，并且
所述第二生成器依据所述第三真实图像及所述第三重建图像执行运算以产生第三数值，并依据所述第二鉴别值以及所述第三数值至少其中之一更新所述第二生成器的参数。
20.根据权利要求19所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第二鉴别器表征为多个第四神经网络权重，并且所述第二鉴别器依据所述第二鉴别值更新所述第二鉴别器的参数。
21.根据权利要求19所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第二生成器表征为多个第二神经网络权重，其中更新所述第二生成器的参数的运作包括：
在使第二生成损失函数最小化的情况下更新所述第二神经网络权重。
22.根据权利要求19所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述第二生成器将所述第三真实图像及所述第三重建图像相减以产生所述第三数值。
23.根据权利要求13所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述非对称生成对抗网络执行多次迭代操作以训练所述第一生成器、所述第二生成器、所述第一鉴别器以及所述第二鉴别器。
24.根据权利要求23所述的使用训练非对称生成对抗网络产生图像的电子装置，其中所述迭代操作包括：
在执行第一迭代操作时依据所述第一真实图像更新所述第一鉴别器及所述第一生成器；
在执行第二迭代操作时依据所述第二真实图像更新所述第一生成器；以及
在执行第三迭代操作时依据所述第三真实图像更新所述第二鉴别器及所述第二生成器。
CN202110926075.2A 2021-08-12 2021-08-12 训练非对称生成对抗网络产生图像的方法及电子装置 Active CN113627538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110926075.2A CN113627538B (zh) 2021-08-12 2021-08-12 训练非对称生成对抗网络产生图像的方法及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110926075.2A CN113627538B (zh) 2021-08-12 2021-08-12 训练非对称生成对抗网络产生图像的方法及电子装置

Publications (2)

Publication Number Publication Date
CN113627538A CN113627538A (zh) 2021-11-09
CN113627538B true CN113627538B (zh) 2024-03-01

Family

ID=78385208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110926075.2A Active CN113627538B (zh) 2021-08-12 2021-08-12 训练非对称生成对抗网络产生图像的方法及电子装置

Country Status (1)

Country Link
CN (1) CN113627538B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742346A3 (en) * 2019-05-23 2021-06-16 HTC Corporation Method for training generative adversarial network (gan), method for generating images by using gan, and computer readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术
CN109544656A (zh) * 2018-11-23 2019-03-29 南京信息工程大学 一种基于生成对抗网络的压缩感知图像重建方法及系统
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN111753980A (zh) * 2019-03-26 2020-10-09 罗伯特·博世有限公司 将第一图像的特征转移到第二图像的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042803B2 (en) * 2019-02-14 2021-06-22 General Electric Company Method and apparatus for using generative adversarial networks in magnetic resonance image reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术
CN109544656A (zh) * 2018-11-23 2019-03-29 南京信息工程大学 一种基于生成对抗网络的压缩感知图像重建方法及系统
CN111753980A (zh) * 2019-03-26 2020-10-09 罗伯特·博世有限公司 将第一图像的特征转移到第二图像的方法
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法

Also Published As

Publication number Publication date
CN113627538A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
JP6798619B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
CN106290378B (zh) 缺陷分类方法和缺陷检查系统
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6646234B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
US20210224647A1 (en) Model training apparatus and method
KR20220038907A (ko) 생성적 대립 신경망(gan) 기반의 데이터 예측 방법, 그리고 이를 구현하기 위한 장치
CN112115967B (zh) 一种基于数据保护的图像增量学习方法
CN108877947B (zh) 基于迭代均值聚类的深度样本学习方法
CN108229675A (zh) 神经网络的训练方法、物体检测方法、装置和电子设备
CN113963165A (zh) 一种基于自监督学习的小样本图像分类方法及系统
CN111178446A (zh) 一种基于神经网络的目标分类模型的优化方法、装置
WO2023116565A1 (zh) 智能设计网络安全架构图的方法
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
CN113627538B (zh) 训练非对称生成对抗网络产生图像的方法及电子装置
CN115690534A (zh) 一种基于迁移学习的图像分类模型的训练方法
US12001952B2 (en) Electronic device and method for controlling electronic device
CN113541985A (zh) 物联网故障诊断方法、模型的训练方法及相关装置
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
TWI825461B (zh) 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN114462558A (zh) 一种数据增广的监督学习图像缺陷分类方法与系统
CN114677535A (zh) 域适应图像分类网络的训练方法、图像分类方法及装置
WO2022162839A1 (ja) 学習装置、学習方法、及び、記録媒体
CN114742127A (zh) 一种基于改进原型网络的小样本图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant