CN113902029A - 图像标注方法、装置、电子设备及存储介质 - Google Patents

图像标注方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113902029A
CN113902029A CN202111241892.0A CN202111241892A CN113902029A CN 113902029 A CN113902029 A CN 113902029A CN 202111241892 A CN202111241892 A CN 202111241892A CN 113902029 A CN113902029 A CN 113902029A
Authority
CN
China
Prior art keywords
image
training
processed
sample image
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111241892.0A
Other languages
English (en)
Inventor
方慕园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111241892.0A priority Critical patent/CN113902029A/zh
Publication of CN113902029A publication Critical patent/CN113902029A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像标注方法、装置、电子设备及存储介质，所述方法包括：获取包含有待标注对象的待处理图像；将所述待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；所述处理后图像为所述第一生成器将所述待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；所述第一形态与所述第二形态为所述待标注对象的不同形态；根据所述处理后图像与所述待处理图像之间的形态差异，生成所述待标注对象在所述待处理图像中的标注结果。采用本公开可以提高图像标注的速度和准确度。

Description

图像标注方法、装置、电子设备及存储介质
技术领域
本公开涉及机器学习技术领域，尤其涉及一种图像标注方法、装置、电子设备及存储介质。
背景技术
在机器学习技术领域中，人们常常会采用标注过的样本图像对深度学习模型进行训练，以使训练后的深度学习模型可以完成一定的任务(例如，人脸识别、车辆识别、行人追踪、图像分割等)。
相关技术在获取标注过的样本图像的过程中，往往需要消耗大量的专业人员和时间进行手工标注，且标注的错误率高，复合工作繁琐。
然而，目前的图像标注方法存在效率不高的问题。
发明内容
本公开提供一种图像标注方法、装置、电子设备及存储介质，以至少解决相关技术中图像标注效率不高的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像标注方法，包括：
获取包含有待标注对象的待处理图像；
将所述待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；所述处理后图像为所述第一生成器将所述待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；所述第一形态与所述第二形态为所述待标注对象的不同形态；
根据所述处理后图像与所述待处理图像之间的形态差异，生成所述待标注对象在所述待处理图像中的标注结果。
在一种可能实现方式，所述预训练的生成对抗网络采用的训练方法包括：
获取第一训练样本集和第二训练样本集；所述第一训练样本集的每张第一样本图像中的待标注对象均为所述第一形态；所述第二训练样本集的每张第二样本图像中的待标注对象均为所述第二形态；
采用所述第一训练样本集和所述第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到所述预训练的生成对抗网络。
在一种可能实现方式，所述采用所述第一训练样本集和所述第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到所述预训练的生成对抗网络，包括：
将所述第一样本图像输入至所述待训练的生成对抗网络中的第一生成器，得到第一处理后样本图像；所述第一处理后样本图像为所述待训练的生成对抗网络中的第一生成器将所述第一样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；
将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第二生成器，得到第一复原样本图像；所述第一复原样本图像为所述待训练的生成对抗网络中的第二生成器将所述第一处理后样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；
根据所述第一样本图像、所述第一处理后样本图像和所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器、所述待训练的生成对抗网络中的第二生成器和所述待训练的生成对抗网络中的第一判别器进行训练，直至训练后的生成对抗网络满足预设的第一训练终止条件，得到第一训练后生成对抗网络；
将所述第二样本图像输入至所述第一训练后生成对抗网络中的第二生成器，得到第二处理后样本图像；所述第二处理后样本图像为所述第一训练后生成对抗网络中的第二生成器将所述第二样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；
将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第一生成器，得到第二复原样本图像；所述第二复原样本图像为所述第一训练后生成对抗网络中的第一生成器将所述第二处理后样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；
根据所述第二样本图像、所述第二处理后样本图像和所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器、所述第一训练后生成对抗网络中的第二生成器和所述第一训练后生成对抗网络中的第二判别器进行训练，直至训练后的生成对抗网络满足预设的第二训练终止条件，得到第二训练后生成对抗网络；
重复执行上述步骤，直至所述第二训练后生成对抗网络满足预设的第三训练终止条件，得到所述预训练的生成对抗网络。
在一种可能实现方式，所述根据所述第一样本图像、所述第一处理后样本图像和所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器、所述待训练的生成对抗网络中的第二生成器和所述待训练的生成对抗网络中的第一判别器进行训练，包括：
基于所述第一样本图像与所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器和所述待训练的生成对抗网络中的第二生成器进行训练，直至所述第一样本图像与所述第一复原样本图像间的差异小于预设差异阈值；
将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第一判别器，得到第一判别结果，并基于所述第一判别结果，对所述待训练的生成对抗网络中的第一生成器进行训练，直至所述第一判别结果为所述第一处理后样本图像来源于所述第二训练样本集；
对所述待训练的生成对抗网络中的第一判别器进行训练，直至所述第一判别结果为所述第一处理后样本图像不来源于所述第二训练样本集。
在一种可能实现方式，所述根据所述第二样本图像、所述第二处理后样本图像和所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器、所述第一训练后生成对抗网络中的第二生成器和所述第一训练后生成对抗网络中的第二判别器进行训练，包括：
基于所述第二样本图像与所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器和所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二样本图像与所述第二复原样本图像间的差异小于预设差异阈值；
将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第二判别器，得到第二判别结果，并基于所述第二判别结果，对所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二判别结果为所述第二处理后样本图像来源于所述第一训练样本集；
对所述第一训练后生成对抗网络中的第二判别器进行训练，直至所述第二判别结果为所述第二处理后样本图像不来源于所述第一训练样本集。
在一种可能实现方式，所述根据所述处理后图像与所述待处理图像之间的差异，生成所述待标注对象在所述待处理图像中的标注结果，包括：
将所述待处理图像与所述处理后图像之间相对应像素点进行像素值减法运算，得到各所述像素点的像素差值；
根据各所述像素点的像素差值，生成所述待标注对象在所述待处理图像中的标注结果。
在一种可能实现方式，所述根据各所述像素点的像素差值，生成所述待标注对象在所述待处理图像中的标注结果，包括：
将所述像素差值大于预设阈值的像素点所组成的区域，作为目标标注区域；
对所述目标标注区域进行标注处理，得到所述标注结果。
根据本公开实施例的第二方面，提供一种图像标注装置，包括：
获取单元，被配置为执行获取包含有待标注对象的待处理图像；
生成单元，被配置为执行将所述待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；所述处理后图像为所述第一生成器将所述待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；所述第一形态与所述第二形态为所述待标注对象的不同形态；
标注单元，被配置为执行根据所述处理后图像与所述待处理图像之间的形态差异，生成所述待标注对象在所述待处理图像中的标注结果。
在一种可能实现方式，所述装置还包括：样本获取单元，被配置为执行获取第一训练样本集和第二训练样本集；所述第一训练样本集的每张第一样本图像中的待标注对象均为所述第一形态；所述第二训练样本集的每张第二样本图像中的待标注对象均为所述第二形态；训练单元，被配置为执行采用所述第一训练样本集和所述第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到所述预训练的生成对抗网络。
在一种可能实现方式，所述训练单元，具体被配置为执行将所述第一样本图像输入至所述待训练的生成对抗网络中的第一生成器，得到第一处理后样本图像；所述第一处理后样本图像为所述待训练的生成对抗网络中的第一生成器将所述第一样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第二生成器，得到第一复原样本图像；所述第一复原样本图像为所述待训练的生成对抗网络中的第二生成器将所述第一处理后样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；根据所述第一样本图像、所述第一处理后样本图像和所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器、所述待训练的生成对抗网络中的第二生成器和所述待训练的生成对抗网络中的第一判别器进行训练，直至训练后的生成对抗网络满足预设的第一训练终止条件，得到第一训练后生成对抗网络；将所述第二样本图像输入至所述第一训练后生成对抗网络中的第二生成器，得到第二处理后样本图像；所述第二处理后样本图像为所述第一训练后生成对抗网络中的第二生成器将所述第二样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第一生成器，得到第二复原样本图像；所述第二复原样本图像为所述第一训练后生成对抗网络中的第一生成器将所述第二处理后样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；根据所述第二样本图像、所述第二处理后样本图像和所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器、所述第一训练后生成对抗网络中的第二生成器和所述第一训练后生成对抗网络中的第二判别器进行训练，直至训练后的生成对抗网络满足预设的第二训练终止条件，得到第二训练后生成对抗网络；重复执行上述步骤，直至所述第二训练后生成对抗网络满足预设的第三训练终止条件，得到所述预训练的生成对抗网络。
在一种可能实现方式，所述训练单元，具体被配置为执行基于所述第一样本图像与所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器和所述待训练的生成对抗网络中的第二生成器进行训练，直至所述第一样本图像与所述第一复原样本图像间的差异小于预设差异阈值；将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第一判别器，得到第一判别结果，并基于所述第一判别结果，对所述待训练的生成对抗网络中的第一生成器进行训练，直至所述第一判别结果为所述第一处理后样本图像来源于所述第二训练样本集；对所述待训练的生成对抗网络中的第一判别器进行训练，直至所述第一判别结果为所述第一处理后样本图像不来源于所述第二训练样本集。
在一种可能实现方式，所述训练单元，具体被配置为执行基于所述第二样本图像与所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器和所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二样本图像与所述第二复原样本图像间的差异小于预设差异阈值；将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第二判别器，得到第二判别结果，并基于所述第二判别结果，对所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二判别结果为所述第二处理后样本图像来源于所述第一训练样本集；对所述第一训练后生成对抗网络中的第二判别器进行训练，直至所述第二判别结果为所述第二处理后样本图像不来源于所述第一训练样本集。
在一种可能实现方式，所述标注单元，具体被配置为执行将所述待处理图像与所述处理后图像之间相对应像素点进行像素值减法运算，得到各所述像素点的像素差值；根据各所述像素点的像素差值，生成所述待标注对象在所述待处理图像中的标注结果。
在一种可能实现方式，所述标注单元，具体被配置为执行将所述像素差值大于预设阈值的像素点所组成的区域，作为目标标注区域；对所述目标标注区域进行标注处理，得到所述标注结果。
根据本公开实施例的第三方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任一种可能实现方式所述的图像标注方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任一种可能实现方式所述的图像标注方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一种可能实现方式所述的图像标注方法。
本公开的实施例提供的技术方案至少带来以下有益效果：通过获取包含有待标注对象的待处理图像；并将待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；处理后图像为第一生成器将待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；第一形态与第二形态为待标注对象的不同形态；最后，再根据处理后图像与待处理图像之间的差异，生成待标注对象在待处理图像中的标注结果，能够实现基于预训练的生成对抗网络中的第一生成器将待处理图像中的待标注区域由第一形态转化为第二形态；然后，再基于第一形态与第二形态之间的差异，对待处理图像中的待标注区域进行自动标注，整个过程预先人工干预，在保障标注准确度的同时，避免了需要消耗大量的专业人员和时间进行手工标注，提高了图像标注方法的标注效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像标注方法的流程图。
图2是根据一示例性实施例示出的一种图像标注方法的效果示意图。
图3是根据一示例性实施例示出的一种生成对抗网络的训练流程示意图。
图4是根据一示例性实施例示出的另一种图像标注方法的流程图。
图5是根据一示例性实施例示出的一种图像标注装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
图1是根据一示例性实施例示出的一种图像标注方法的流程图，如图1所示，该方法可以用于电子设备中，包括以下步骤。
在步骤S210中，获取包含有待标注对象的待处理图像。
其中，待标注对象可以是指需要在待处理图像中被标注处理的对象。实际应用中，待标注对象可以满足以下条件：被标注对象需要有常见的两种或多种形态，比如眼皮的单/双，头发的黑色/黄色/棕色，卧蚕有/无，皱纹有/无。以待标注对象为人眼眼皮为例，人眼眼皮可以包括第一形态和第二形态。其中，若第一形态为双眼皮形态，则第二形态为单眼皮形态；若第一形态为单眼皮形态，则第二形态为双眼皮形态。即第一形态与第二形态为待标注对象的不同形态。
具体实现中，电子设备获取包含有待标注对象的待处理图像。例如，电子设备可以获取需要标注双眼皮区域的图像、需要标注头发区域的图像。
在步骤S220中，将待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；处理后图像为第一生成器将待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；
具体实现中，电子设备在获取到待处理图像后，电子设备则将待处理图像输入至预训练的生成对抗网络中的第一生成器，通过该第一生成器将待处理图像中的待标注对象由第一形态转化为第二形态，生成处理后图像。
例如，假设待处理图像为需要标注双眼皮区域的双眼皮图像，电子设备在将该双眼皮图像输入至预训练的生成对抗网络中的第一生成器，该预训练的生成对抗网络中的第一生成器则会将双眼皮图像中的眼皮区域由双眼皮形态转化为单眼皮形态，得到第一生成器虚拟(伪造)出来的单眼皮图像。实际应用中，该单眼皮图像除了该眼皮区域为单眼皮形态外，其他细节与待处理图像保持相似。，
在步骤S230中，根据处理后图像与待处理图像之间的差异，生成待标注对象在待处理图像中的标注结果。
具体实现中，电子设备可以将处理后图像与待处理图像进行图像相减处理，得到处理后图像与待处理图像之间的差异；最后，电子设备可以基于该差异，生成待标注对象在待处理图像中的标注结果。实际应用中，标注结果可以是指携带有该目标标注区域在待处理图像中的位置信息的区域标注Mask(掩码图)，也可以是分割标签。实际应用中，电子设备可以将该标注结果与待处理图像，作为配对的原图和区域标注mask，进而用于对之后用于分割任务的深度学习网络进行训练。为了便于本领域技术人员的理解，图2实例性地提供了一种图像标注方法的效果示意图；其中，210为待处理图片，220为处理后图片，230为标注结果。
上述图像标注方法中，通过获取包含有待标注对象的待处理图像；并将待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；处理后图像为第一生成器将待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；第一形态与第二形态为待标注对象的不同形态；最后，再根据处理后图像与待处理图像之间的差异，生成待标注对象在待处理图像中的标注结果，能够实现基于预训练的生成对抗网络中的第一生成器将待处理图像中的待标注区域由第一形态转化为第二形态；然后，再基于第一形态与第二形态之间的差异，对待处理图像中的待标注区域进行自动标注，整个过程预先人工干预，在保障标注准确度的同时，避免了需要消耗大量的专业人员和时间进行手工标注，提高了图像标注方法的标注效率。
在一示例性实施例中，在获取包含有待标注对象的待处理图像的步骤之前，方法还包括：获取第一训练样本集和第二训练样本集；第一训练样本集的每张第一样本图像中的待标注对象均为第一形态；第二训练样本集的每张第二样本图像中的待标注对象均为第二形态；采用第一训练样本集和第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到预训练的生成对抗网络。
具体实现中，电子设备可以获取第一训练样本集和第二训练样本集。其中，第一训练样本集的每张第一样本图像中的待标注对象均为第一形态；第二训练样本集的每张第二样本图像中的待标注对象均为第二形态。实际应用中，电子设备可以采集大量的包含待标注区域的图片。以待标注对象为人眼眼皮，人眼眼皮的第一形态为双眼皮，人眼眼皮的第二形态为单眼皮为例，电子设备可以采集大量的原始人像图片。这些图片来自于手机、摄像机采集，互联网公开图片的下载等渠道。然后，电子设备按照待标注区域的特点，将该区域总结为两个不同类别A，B，如单眼皮/双眼皮。将待标注区域按照定下的分类标注A，B，将所有图片分类两类。将该区域裁剪下来，整理成特定大小。组成分类好的A，B数据集。
本实施例的技术方案，通过采用每张第一样本图像中的待标注对象均为第一形态的第一训练样本集，以及，每张第二样本图像中的待标注对象均为第二形态的第二训练样本集；对待训练的生成对抗网络进行迭代训练，实现了仅需要标注图片的分类，不需要进行复杂度区域/边缘标注，大大提升了效率。
在一示例性实施例中，采用第一训练样本集和第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到预训练的生成对抗网络，包括：将第一样本图像输入至待训练的生成对抗网络中的第一生成器，得到第一处理后样本图像；第一处理后样本图像为待训练的生成对抗网络中的第一生成器将第一样本图像中的待标注对象由第一形态转化为第二形态后生成的图像；将第一处理后样本图像输入至待训练的生成对抗网络中的第二生成器，得到第一复原样本图像；第一复原样本图像为待训练的生成对抗网络中的第二生成器将第一处理后样本图像中的待标注对象由第二形态转化为第一形态后生成的图像；根据第一样本图像、第一处理后样本图像和第一复原样本图像，对待训练的生成对抗网络中的第一生成器、待训练的生成对抗网络中的第二生成器和待训练的生成对抗网络中的第一判别器进行训练，直至训练后的生成对抗网络满足预设的第一训练终止条件，得到第一训练后生成对抗网络；将第二样本图像输入至第一训练后生成对抗网络中的第二生成器，得到第二处理后样本图像；第二处理后样本图像为第一训练后生成对抗网络中的第二生成器将第二样本图像中的待标注对象由第二形态转化为第一形态后生成的图像；将第二处理后样本图像输入至第一训练后生成对抗网络中的第一生成器，得到第二复原样本图像；第二复原样本图像为第一训练后生成对抗网络中的第一生成器将第二处理后样本图像中的待标注对象由第一形态转化为第二形态后生成的图像；根据第二样本图像、第二处理后样本图像和第二复原样本图像，对第一训练后生成对抗网络中的第一生成器、第一训练后生成对抗网络中的第二生成器和第一训练后生成对抗网络中的第二判别器进行训练，直至训练后的生成对抗网络满足预设的第二训练终止条件，得到第二训练后生成对抗网络；重复执行上述步骤，直至第二训练后生成对抗网络满足预设的第三训练终止条件，得到预训练的生成对抗网络。
在一示例性实施例中，根据第一样本图像、第一处理后样本图像和第一复原样本图像，对待训练的生成对抗网络中的第一生成器、待训练的生成对抗网络中的第二生成器和待训练的生成对抗网络中的第一判别器进行训练，包括：基于第一样本图像与第一复原样本图像，对待训练的生成对抗网络中的第一生成器和待训练的生成对抗网络中的第二生成器进行训练，直至第一样本图像与第一复原样本图像间的差异小于预设差异阈值；将第一处理后样本图像输入至待训练的生成对抗网络中的第一判别器，得到第一判别结果，并基于第一判别结果，对待训练的生成对抗网络中的第一生成器进行训练，直至第一判别结果为第一处理后样本图像来源于第二训练样本集；对待训练的生成对抗网络中的第一判别器进行训练，直至第一判别结果为第一处理后样本图像不来源于第二训练样本集。
在一示例性实施例中，根据第二样本图像、第二处理后样本图像和第二复原样本图像，对第一训练后生成对抗网络中的第一生成器、第一训练后生成对抗网络中的第二生成器和第一训练后生成对抗网络中的第二判别器进行训练，包括：基于第二样本图像与第二复原样本图像，对第一训练后生成对抗网络中的第一生成器和第一训练后生成对抗网络中的第二生成器进行训练，直至第二样本图像与第二复原样本图像间的差异小于预设差异阈值；将第二处理后样本图像输入至第一训练后生成对抗网络中的第二判别器，得到第二判别结果，并基于第二判别结果，对第一训练后生成对抗网络中的第二生成器进行训练，直至第二判别结果为第二处理后样本图像来源于第一训练样本集；对第一训练后生成对抗网络中的第二判别器进行训练，直至第二判别结果为第二处理后样本图像不来源于第一训练样本集。
其中，以待标注对象为人眼眼皮为例，第一训练样本集A为包含大量双眼皮图片A1，A2，A3……的图像集合；第二训练样本集B为包含大量单眼皮图片B1，B2，B3……的图像集合。
其中，生成对抗网络中的第一生成器G、第二生成器F、第一判别器D_G和第二判别器D_F均可以是待训练的深度神经网络D_F。具体来说，第一生成器G可以是指用于将图片A1(双眼皮)转化为A1’(对应的单眼皮)的神经网络G。第二生成器F可以是指用于将图片B1(单眼皮)转化为B1’(对应的双眼皮)的神经网络F。第一判别器D_G可以是指用于区分真实B1与生成的假A1’的判别器D_G。第二判别器可以是指用于区分真实A1与生成的假B1’的判别器D_G。
具体实现中，以待标注对象为人眼眼皮为例，电子设备可以将第一样本图像A1输入至待训练的生成对抗网络中的第一生成器G，得到第一处理后样本图像A1’；第一处理后样本图像A1’为第一生成器G将第一样本图像A1中的待标注对象由第一形态(即，双眼皮)转化为第二形态(即，单眼皮)后生成的图像；将第一处理后样本图像A1’输入至待训练的生成对抗网络中的第二生成器F，得到第一复原样本图像A1”；第一复原样本图像A1”为第二生成器F将第一处理后样本图像A1’中的待标注对象由第二形态转化为第一形态后生成的图像。如此，通过采用每张第一样本图像中的待标注对象均为第一形态的第一训练样本集，以及，每张第二样本图像中的待标注对象均为第二形态的第二训练样本集；对待训练的生成对抗网络进行迭代训练，实现了仅需要标注图片的分类，无需人工干预，不需要进行复杂度边缘标注，同时提高了模型的识别准确率。
电子设备将第一处理后样本图像A1’输入至待训练的生成对抗网络中的第一判别器DG，得到第一判别结果；第一判别结果为第一判别器DG判别第一处理后样本图像是否来源于第二训练样本集B得到的结果；将第二样本图像B1输入至待训练的生成对抗网络中的第一判别器DG，得到第二判别结果；第二判别结果为第一判别器DG判别第二样本图像B1是否来源于第二训练样本集B得到的结果；然后，电子设备则基于第一样本图像A1与第一复原样本图像A”间的差异、第一判别结果，以及第二判别结果，对待训练的生成对抗网络中的第一生成器G、第二生成器F和第一判别器DG进行迭代训练，直至训练后的生成对抗网络满足预设的训练终止条件。
具体来说，电子设备可以采用随机梯度下降方法，先固定第一判别器DG的网络参数，对第一生成器G和第二生成器F的网络参数进行优化，直至A1”与A1趋于一致，即图像A1”与图像A1之间的相似度小于预设的相似度阈值。然后，电子设备采用随机梯度下降方法，固定第一判别器DG的网络参数，对第一生成器G的网络参数进行优化，使得第一生成器G生成的A1’在第一判别器DG的判别下被误判成来源于B数据集。然后，电子设备再采用随机梯度下降方法，固定第一生成器G的网络参数，对第一判别器DG的网络参数进行优化，使得第一生成器G生成的A1’在第一判别器DG的判别下被正确的判别成来源于非B数据集。
如此，通过采用每张第一样本图像中的待标注对象均为第一形态的第一训练样本集，以及，每张第二样本图像中的待标注对象均为第二形态的第二训练样本集；对待训练的生成对抗网络进行迭代训练，实现了仅需要标注图片的分类，不需要进行复杂度区域标注，节省了人工标注的成本，同时提高了模型的识别准确率。
电子设备将第二样本图像Bi输入至待训练的生成对抗网络中的第二生成器F，得到第二处理后样本图像Bi’；第二处理后样本图像Bi’为第二生成器F将第二样本图像Bi中的待标注对象由第二形态(即，单眼皮)转化为第一形态(即，双眼皮)后生成的图像；然后，电子设备将第二处理后样本图像Bi’输入至待训练的生成对抗网络中的第一生成器G，得到第二复原样本图像Bi”；第二复原样本图像Bi”为第一生成器G将第二处理后样本图像Bi’中的待标注对象由第一形态(即，双眼皮)转化为第二形态(即，单眼皮)后生成的图像；然后，电子设备将第二处理后样本图像Bi’输入至待训练的生成对抗网络中的第二判别器D_F，得到第三判别结果；第三判别结果为第二判别器D_F判别第二处理后样本图像Bi’是否来源于第一训练样本集A得到的结果；将第一样本图像Ai输入至待训练的生成对抗网络中的第二判别器D_F，得到第四判别结果；第四判别结果为第二判别器D_F判别第一样本图像Ai是否来源于第一训练样本集A得到的结果；然后，电子设备基于第二样本图像与第二复原样本图像间的差异、第三判别结果，以及第四判别结果，对待训练的生成对抗网络中的第一生成器G、第二生成器F和第二判别器D_F进行迭代训练，直至训练后的生成对抗网络满足预设的训练终止条件。具体来说，电子设备采用随机梯度下降方法，先固定第二判别器DF的网络参数，对第一生成器G和第二生成器F的网络参数进行优化，直至B1”与B1趋于一致，即图像B1”与图像B1之间的相似度小于预设的相似度阈值。
然后，电子设备采用随机梯度下降方法，固定第二判别器DF的网络参数，对第二生成器F的网络参数进行优化，使得第二生成器F生成的B1’在第二判别器DF的判别下被误判成来源于A数据集。
然后，电子设备再采用随机梯度下降方法，固定第二生成器F的网络参数，对第二判别器DF的网络参数进行优化，使得第二生成器F生成的B1’在第二判别器DF的判别下被正确的判别成来源于非A数据集。为了便于本领域技术人员的理解，图3还实例性地提供了一种生成对抗网络的训练流程示意图。
本实施例的技术方案，通过采用每张第一样本图像中的待标注对象均为第一形态的第一训练样本集，以及，每张第二样本图像中的待标注对象均为第二形态的第二训练样本集；对待训练的生成对抗网络进行迭代训练，实现了仅需要标注图片的分类，不需要进行复杂度区域/边缘标注，大大提升了模型的训练效率。
在一示例性实施例中，根据处理后图像与待处理图像之间的差异，生成待标注对象在待处理图像中的标注结果，包括：将待处理图像与处理后图像间对应像素点的像素值做减法运算，得到各像素点的像素差值；根据各像素点的像素差值，生成待标注对象在待处理图像中的标注结果。
具体实现中，电子设备在根据处理后图像与待处理图像之间的差异，生成待标注对象在待处理图像中的标注结果的过程中，电子设备可以将待处理图像与处理后图像间对应像素点的像素值做减法运算，得到各像素点的像素差值；然后，电子设备可以根据各像素点的像素差值，快速且准确地生成待标注对象在待处理图像中的标注结果。
例如，电子设备在确定待处理图像Ai和处理后图像Ai’后，电子设备则计算待处理图像Ai与处理后图像Ai’的图像插值，将|Ai-Ai’|>T的区域对应的像素集合作为待处理图像Ai的待标注对象Ai_m。
本实施例的技术方案，通过将待处理图像与处理后图像间对应像素点的像素值做减法运算，得到各像素点的像素差值；根据各像素点的像素差值，生成待标注对象在待处理图像中的标注结果，从而可以实现快速确定待处理图像与处理后图像间的差异，并基于该差异确定出标注结果。
在一示例性实施例中，根据各像素点的像素差值，生成待标注对象在待处理图像中的标注结果，包括：将像素差值大于预设阈值的像素点所组成的区域，作为目标标注区域；对目标标注区域进行标注处理，得到标注结果。
具体实现中，电子设备在根据各像素点的像素差值，生成待标注对象在待处理图像中的标注结果的过程中，电子设备可以分别判断各个像素点的是否大于预设阈值T；电子设备确定出像素差值T大于预设阈值的像素点，并将这些像素点所组成的区域，作为目标标注区域；最后，电子设备对对目标标注区域进行标注处理，进而得到标注结果。例如，生成携带有该目标标注区域在待处理图像中的位置信息的区域标注Mask(掩码图)，作为标注结果。
本实施例的技术方案，通过将像素差值大于预设阈值的像素点所组成的区域，目标标注区域进行标注处理，可以实现准确地基于待处理图像与处理后图像间的差异，在待处理图像中标注出待标注对象。
图4是根据一示例性实施例示出的另一种图像标注方法的流程图，如图4所示，包括以下步骤。
在步骤S410中，获取包含有待标注对象的待处理图像。
在步骤S420中，将所述待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；所述处理后图像为所述第一生成器将所述待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；所述第一形态与所述第二形态为所述待标注对象的不同形态。
在步骤S430中，将所述待处理图像与所述处理后图像间对应像素点的像素值做减法运算，得到各所述像素点的像素差值。
在步骤S440中，将像素差值大于预设阈值的像素点所组成的区域，作为目标标注区域。
在步骤S450中，对所述目标标注区域进行标注处理，生成所述待标注对象在所述待处理图像中的标注结果。
需要说明的是，上述步骤的具体限定可以参见上文对一种图像标注方法的具体限定，在此不再赘述。
应该理解的是，虽然图1和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
图5是根据一示例性实施例示出的一种图像标注装置框图。参照图5，该图像标注装置，包括：
获取单元510，被配置为执行获取包含有待标注对象的待处理图像；
生成单元520，被配置为执行将所述待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；所述处理后图像为所述第一生成器将所述待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；所述第一形态与所述第二形态为所述待标注对象的不同形态；
标注单元530，被配置为执行根据所述处理后图像与所述待处理图像之间的形态差异，生成所述待标注对象在所述待处理图像中的标注结果。
在一种可能实现方式，所述装置还包括：样本获取单元，被配置为执行获取第一训练样本集和第二训练样本集；所述第一训练样本集的每张第一样本图像中的待标注对象均为所述第一形态；所述第二训练样本集的每张第二样本图像中的待标注对象均为所述第二形态；训练单元，被配置为执行采用所述第一训练样本集和所述第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到所述预训练的生成对抗网络。
在一种可能实现方式，所述训练单元，具体被配置为执行将所述第一样本图像输入至所述待训练的生成对抗网络中的第一生成器，得到第一处理后样本图像；所述第一处理后样本图像为所述待训练的生成对抗网络中的第一生成器将所述第一样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第二生成器，得到第一复原样本图像；所述第一复原样本图像为所述待训练的生成对抗网络中的第二生成器将所述第一处理后样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；根据所述第一样本图像、所述第一处理后样本图像和所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器、所述待训练的生成对抗网络中的第二生成器和所述待训练的生成对抗网络中的第一判别器进行训练，直至训练后的生成对抗网络满足预设的第一训练终止条件，得到第一训练后生成对抗网络；将所述第二样本图像输入至所述第一训练后生成对抗网络中的第二生成器，得到第二处理后样本图像；所述第二处理后样本图像为所述第一训练后生成对抗网络中的第二生成器将所述第二样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第一生成器，得到第二复原样本图像；所述第二复原样本图像为所述第一训练后生成对抗网络中的第一生成器将所述第二处理后样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；根据所述第二样本图像、所述第二处理后样本图像和所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器、所述第一训练后生成对抗网络中的第二生成器和所述第一训练后生成对抗网络中的第二判别器进行训练，直至训练后的生成对抗网络满足预设的第二训练终止条件，得到第二训练后生成对抗网络；重复执行上述步骤，直至所述第二训练后生成对抗网络满足预设的第三训练终止条件，得到所述预训练的生成对抗网络。
在一种可能实现方式，所述训练单元，具体被配置为执行基于所述第一样本图像与所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器和所述待训练的生成对抗网络中的第二生成器进行训练，直至所述第一样本图像与所述第一复原样本图像间的差异小于预设差异阈值；将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第一判别器，得到第一判别结果，并基于所述第一判别结果，对所述待训练的生成对抗网络中的第一生成器进行训练，直至所述第一判别结果为所述第一处理后样本图像来源于所述第二训练样本集；对所述待训练的生成对抗网络中的第一判别器进行训练，直至所述第一判别结果为所述第一处理后样本图像不来源于所述第二训练样本集。
在一种可能实现方式，所述训练单元，具体被配置为执行基于所述第二样本图像与所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器和所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二样本图像与所述第二复原样本图像间的差异小于预设差异阈值；将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第二判别器，得到第二判别结果，并基于所述第二判别结果，对所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二判别结果为所述第二处理后样本图像来源于所述第一训练样本集；对所述第一训练后生成对抗网络中的第二判别器进行训练，直至所述第二判别结果为所述第二处理后样本图像不来源于所述第一训练样本集。
在一种可能实现方式，所述标注单元530，具体被配置为执行将所述待处理图像与所述处理后图像之间相对应像素点进行像素值减法运算，得到各所述像素点的像素差值；根据各所述像素点的像素差值，生成所述待标注对象在所述待处理图像中的标注结果。
在一种可能实现方式，所述标注单元530，具体被配置为执行将所述像素差值大于预设阈值的像素点所组成的区域，作为目标标注区域；对所述目标标注区域进行标注处理，得到所述标注结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种用于执行图像标注的电子设备600的框图。例如，电子设备600可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图6，电子设备600可以包括以下一个或多个组件：处理组件602、存储器604、电源组件606、多媒体组件608、音频组件610、输入/输出(I/O)的接口612、传感器组件614以及通信组件616。
处理组件602通常控制电子设备600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述电子设备600和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600组件的位置改变，用户与电子设备600接触的存在或不存在，设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备600的处理器620执行以完成上述方法。
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像标注方法，其特征在于，包括：
获取包含有待标注对象的待处理图像；
将所述待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；所述处理后图像为所述第一生成器将所述待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；所述第一形态与所述第二形态为所述待标注对象的不同形态；
根据所述处理后图像与所述待处理图像之间的形态差异，生成所述待标注对象在所述待处理图像中的标注结果。
2.根据权利要求1所述的图像标注方法，其特征在于，所述预训练的生成对抗网络采用的训练方法包括：
获取第一训练样本集和第二训练样本集；所述第一训练样本集的每张第一样本图像中的待标注对象均为所述第一形态；所述第二训练样本集的每张第二样本图像中的待标注对象均为所述第二形态；
采用所述第一训练样本集和所述第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到所述预训练的生成对抗网络。
3.根据权利要求2所述的图像标注方法，其特征在于，所述采用所述第一训练样本集和所述第二训练样本集，对待训练的生成对抗网络进行迭代训练，得到所述预训练的生成对抗网络，包括：
将所述第一样本图像输入至所述待训练的生成对抗网络中的第一生成器，得到第一处理后样本图像；所述第一处理后样本图像为所述待训练的生成对抗网络中的第一生成器将所述第一样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；
将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第二生成器，得到第一复原样本图像；所述第一复原样本图像为所述待训练的生成对抗网络中的第二生成器将所述第一处理后样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；
根据所述第一样本图像、所述第一处理后样本图像和所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器、所述待训练的生成对抗网络中的第二生成器和所述待训练的生成对抗网络中的第一判别器进行训练，直至训练后的生成对抗网络满足预设的第一训练终止条件，得到第一训练后生成对抗网络；
将所述第二样本图像输入至所述第一训练后生成对抗网络中的第二生成器，得到第二处理后样本图像；所述第二处理后样本图像为所述第一训练后生成对抗网络中的第二生成器将所述第二样本图像中的待标注对象由所述第二形态转化为所述第一形态后生成的图像；
将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第一生成器，得到第二复原样本图像；所述第二复原样本图像为所述第一训练后生成对抗网络中的第一生成器将所述第二处理后样本图像中的待标注对象由所述第一形态转化为所述第二形态后生成的图像；
根据所述第二样本图像、所述第二处理后样本图像和所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器、所述第一训练后生成对抗网络中的第二生成器和所述第一训练后生成对抗网络中的第二判别器进行训练，直至训练后的生成对抗网络满足预设的第二训练终止条件，得到第二训练后生成对抗网络；
重复执行上述步骤，直至所述第二训练后生成对抗网络满足预设的第三训练终止条件，得到所述预训练的生成对抗网络。
4.根据权利要求3所述的图像标注方法，其特征在于，所述根据所述第一样本图像、所述第一处理后样本图像和所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器、所述待训练的生成对抗网络中的第二生成器和所述待训练的生成对抗网络中的第一判别器进行训练，包括：
基于所述第一样本图像与所述第一复原样本图像，对所述待训练的生成对抗网络中的第一生成器和所述待训练的生成对抗网络中的第二生成器进行训练，直至所述第一样本图像与所述第一复原样本图像间的差异小于预设差异阈值；
将所述第一处理后样本图像输入至所述待训练的生成对抗网络中的第一判别器，得到第一判别结果，并基于所述第一判别结果，对所述待训练的生成对抗网络中的第一生成器进行训练，直至所述第一判别结果为所述第一处理后样本图像来源于所述第二训练样本集；
对所述待训练的生成对抗网络中的第一判别器进行训练，直至所述第一判别结果为所述第一处理后样本图像不来源于所述第二训练样本集。
5.根据权利要求3所述的图像标注方法，其特征在于，所述根据所述第二样本图像、所述第二处理后样本图像和所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器、所述第一训练后生成对抗网络中的第二生成器和所述第一训练后生成对抗网络中的第二判别器进行训练，包括：
基于所述第二样本图像与所述第二复原样本图像，对所述第一训练后生成对抗网络中的第一生成器和所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二样本图像与所述第二复原样本图像间的差异小于预设差异阈值；
将所述第二处理后样本图像输入至所述第一训练后生成对抗网络中的第二判别器，得到第二判别结果，并基于所述第二判别结果，对所述第一训练后生成对抗网络中的第二生成器进行训练，直至所述第二判别结果为所述第二处理后样本图像来源于所述第一训练样本集；
对所述第一训练后生成对抗网络中的第二判别器进行训练，直至所述第二判别结果为所述第二处理后样本图像不来源于所述第一训练样本集。
6.根据权利要求1所述的图像标注方法，其特征在于，所述根据所述处理后图像与所述待处理图像之间的差异，生成所述待标注对象在所述待处理图像中的标注结果，包括：
将所述待处理图像与所述处理后图像之间相对应像素点进行像素值减法运算，得到各所述像素点的像素差值；
根据各所述像素点的像素差值，生成所述待标注对象在所述待处理图像中的标注结果。
7.一种图像标注装置，其特征在于，包括：
获取单元，被配置为执行获取包含有待标注对象的待处理图像；
生成单元，被配置为执行将所述待处理图像输入至预训练的生成对抗网络中的第一生成器，得到处理后图像；所述处理后图像为所述第一生成器将所述待处理图像中的待标注对象由第一形态转化为第二形态后生成的图像；所述第一形态与所述第二形态为所述待标注对象的不同形态；
标注单元，被配置为执行根据所述处理后图像与所述待处理图像之间的形态差异，生成所述待标注对象在所述待处理图像中的标注结果。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像标注方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像标注方法。
10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6任一项所述的图像标注方法。
CN202111241892.0A 2021-10-25 2021-10-25 图像标注方法、装置、电子设备及存储介质 Pending CN113902029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111241892.0A CN113902029A (zh) 2021-10-25 2021-10-25 图像标注方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111241892.0A CN113902029A (zh) 2021-10-25 2021-10-25 图像标注方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113902029A true CN113902029A (zh) 2022-01-07

Family

ID=79026670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111241892.0A Pending CN113902029A (zh) 2021-10-25 2021-10-25 图像标注方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113902029A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
CN109871883A (zh) * 2019-01-24 2019-06-11 北京市商汤科技开发有限公司 神经网络训练方法及装置、电子设备和存储介质
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
CN110163230A (zh) * 2018-06-15 2019-08-23 腾讯科技（深圳）有限公司 一种图像标注方法和装置
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
US20190378263A1 (en) * 2018-06-08 2019-12-12 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111325786A (zh) * 2020-02-18 2020-06-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111402133A (zh) * 2020-03-13 2020-07-10 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN112232293A (zh) * 2020-11-09 2021-01-15 腾讯科技（深圳）有限公司 图像处理模型训练、图像处理方法及相关设备
CN112258381A (zh) * 2020-09-29 2021-01-22 北京达佳互联信息技术有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN113095346A (zh) * 2020-01-08 2021-07-09 华为技术有限公司 数据标注的方法以及数据标注的装置
CN113139906A (zh) * 2021-05-13 2021-07-20 平安国际智慧城市科技股份有限公司 一种生成器的训练方法、装置与存储介质
CN113378835A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 标注模型训练、样本标注方法及相关装置
CN113393544A (zh) * 2020-09-30 2021-09-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
US20190378263A1 (en) * 2018-06-08 2019-12-12 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium
CN110163230A (zh) * 2018-06-15 2019-08-23 腾讯科技（深圳）有限公司 一种图像标注方法和装置
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
CN109871883A (zh) * 2019-01-24 2019-06-11 北京市商汤科技开发有限公司 神经网络训练方法及装置、电子设备和存储介质
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN113095346A (zh) * 2020-01-08 2021-07-09 华为技术有限公司 数据标注的方法以及数据标注的装置
CN111325786A (zh) * 2020-02-18 2020-06-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111402133A (zh) * 2020-03-13 2020-07-10 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN112258381A (zh) * 2020-09-29 2021-01-22 北京达佳互联信息技术有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN113393544A (zh) * 2020-09-30 2021-09-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及介质
CN112232293A (zh) * 2020-11-09 2021-01-15 腾讯科技（深圳）有限公司 图像处理模型训练、图像处理方法及相关设备
CN113139906A (zh) * 2021-05-13 2021-07-20 平安国际智慧城市科技股份有限公司 一种生成器的训练方法、装置与存储介质
CN113378835A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 标注模型训练、样本标注方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIYUN LI等: "Label generation system based on generative adversarial network for medical image", 《AIPR \'19: PROCEEDINGS OF THE 2ND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND PATTERN RECOGNITION》, 31 August 2019 (2019-08-31), pages 78 - 82, XP058444389, DOI: 10.1145/3357254.3357256 *
孙旭等: "基于Lighten CNN的自动人脸分类模型的优化方法", 《计算机应用》, vol. 38, no. 1, 30 June 2018 (2018-06-30), pages 32 - 35 *

Similar Documents

Publication Publication Date Title
CN110084775B (zh) 图像处理方法及装置、电子设备和存储介质
CN110602527B (zh) 视频处理方法、装置及存储介质
CN110517185B (zh) 图像处理方法、装置、电子设备及存储介质
CN109871883B (zh) 神经网络训练方法及装置、电子设备和存储介质
US20210103733A1 (en) Video processing method, apparatus, and non-transitory computer-readable storage medium
EP3179408A2 (en) Picture processing method and apparatus, computer program and recording medium
EP3855360A1 (en) Method and device for training image recognition model, and storage medium
CN105654039B (zh) 图像处理的方法和装置
CN107025419B (zh) 指纹模板录入方法及装置
CN107944447B (zh) 图像分类方法及装置
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
CN110781957A (zh) 图像处理方法及装置、电子设备和存储介质
CN104077597B (zh) 图像分类方法及装置
EP3040884A1 (en) Method and device for classifying pictures
US11961278B2 (en) Method and apparatus for detecting occluded image and medium
CN111783517B (zh) 图像识别方法、装置、电子设备及存储介质
CN110717399A (zh) 人脸识别方法和电子终端设备
CN106547850B (zh) 表情注释方法及装置
CN110909203A (zh) 视频分析方法及装置、电子设备和存储介质
CN109034106B (zh) 人脸数据清洗方法及装置
CN112188091B (zh) 人脸信息识别方法、装置、电子设备及存储介质
CN111582383A (zh) 属性识别方法及装置、电子设备和存储介质
CN111526287A (zh) 图像拍摄方法、装置、电子设备、服务器、系统及存储介质
CN110135349A (zh) 识别方法、装置、设备及存储介质
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination