CN113221794B - 一种训练数据集生成方法、装置、设备及存储介质 - Google Patents

一种训练数据集生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113221794B
CN113221794B CN202110563522.2A CN202110563522A CN113221794B CN 113221794 B CN113221794 B CN 113221794B CN 202110563522 A CN202110563522 A CN 202110563522A CN 113221794 B CN113221794 B CN 113221794B
Authority
CN
China
Prior art keywords
face image
initial
hidden variable
difference information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110563522.2A
Other languages
English (en)
Other versions
CN113221794A (zh
Inventor
李少辉
皮成祥
严鑫毅
王晓晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202110563522.2A priority Critical patent/CN113221794B/zh
Publication of CN113221794A publication Critical patent/CN113221794A/zh
Application granted granted Critical
Publication of CN113221794B publication Critical patent/CN113221794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种训练数据集生成方法、装置、设备及存储介质，涉及计算机视觉技术领域。该方法包括基于图像生成模型以及初始隐变量，获取该初始隐变量对应的初始人脸图像；对该初始人脸图像进行目标属性的变换，得到参考人脸图像；将第一隐变量以及该初始人脸图像输入图像生成模型中，得到中间人脸图像；根据初始人脸图像、中间人脸图像以及参考人脸图像，分别确定第一差异信息以及第二差异信息；根据第一差异信息以及第二差异信息，对该初始隐变量进行调整，得到调整后隐变量；基于调整后隐变量，得到该初始人脸图像对应的目标人脸图像，并将该初始人脸图像和该目标人脸图像作为训练数据集中的一个配对数据。这样可以获取具有目标属性的配对数据。

Description

一种训练数据集生成方法、装置、设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，具体而言，涉及一种训练数据集生成方法、装置、设备及存储介质。
背景技术
随着计算机视觉技术以及图形学的快速发展，人脸属性编辑模型可用来修改人脸图像中特定的人脸属性。
其中，人脸属性编辑模型的精确度和训练该人脸属性编辑模型时的训练数据集的特性有直接关系。在对初始人脸属性编辑模型进行训练前，需要构建具有特定的人脸属性的配对数据作为训练数据集，并使用该训练数据集训练高精确度的人脸属性编辑模型。其中，特定的人脸属性的配对数据指的是在同一张图像下，将属性变化之前的图像和属性变化之后的图像组成的配对数据。
因此，如何构建具有特定的人脸属性的配对数据是目前亟待解决的技术问题。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种训练数据集确定方法、装置、设备及存储介质，可以获取具有特定的人脸属性(目标属性)的配对数据。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种训练数据集生成方法，所述方法包括：
基于图像生成模型以及初始隐变量，获取所述初始隐变量对应的初始人脸图像；
对所述初始人脸图像进行目标属性的变换，得到参考人脸图像；
将第一隐变量以及所述初始人脸图像输入所述图像生成模型，得到中间人脸图像；
根据所述初始人脸图像以及所述中间人脸图像，确定第一差异信息；
根据所述参考人脸图像以及所述中间人脸图像，确定第二差异信息；
根据所述第一差异信息以及所述第二差异信息，对所述第一隐变量进行调整，得到调整后隐变量；
基于所述调整后隐变量以及所述图像生成模型，得到所述初始人脸图像对应的目标人脸图像，并将所述初始人脸图像和所述目标人脸图像作为训练数据集中的一个配对数据，其中，所述目标人脸图像中包括所述目标属性的预期变换值。
可选地，所述方法还包括：
根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量；
基于所述新的初始隐变量以及所述图像生成模型，得到具有融合初始值的目标属性的人脸图像；
根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量；
基于所述新的隐变量以及所述图像生成模型，得到具有融合预期变换值的目标属性的人脸图像。
可选地，所述多个初始人脸图像对应的初始隐变量包括：第一初始隐变量和第二初始隐变量；
所述根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量，包括：
根据所述第一初始隐变量、所述第二初始隐变量以及预设插值系数，生成新的初始隐变量；
可选地，所述多个目标人脸图像对应的调整后隐变量，包括：第一调整后隐变量和第二调整后隐变量；
所述根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量，包括：
根据所述第一调整后隐变量、所述第二调整后隐变量以及预设插值系数，生成新的隐变量。
可选地，所述根据所述初始人脸图像以及所述中间人脸图像，确定第一差异信息，包括：
以所述初始人脸图像以及所述中间人脸图像作为第一损失函数的输入参数，确定所述第一损失函数的计算结果；
将所述第一损失函数的计算结果作为所述第一差异信息。
可选地，所述根据所述参考人脸图像以及所述中间人脸图像，确定第二差异信息，包括：
对所述参考人脸图像进行降采样处理，得到第一人脸图像；
对所述中间人脸图像进行降采样处理，得到第二人脸图像；
根据所述第一人脸图像和所述第二人脸图像，确定第二差异信息。
可选地，所述根据所述第一人脸图像和所述第二人脸图像，确定第二差异信息，包括：
以所述第一人脸图像以及所述第二人脸图像作为第二损失函数的输入参数，确定所述第二损失函数的计算结果；
将所述第二损失函数的计算结果作为所述第二差异信息。
可选地，所述根据所述第一差异信息以及所述第二差异信息，对所述第一隐变量进行调整，得到调整后隐变量，包括：
根据所述第一差异信息、所述第二差异信息、所述第一差异信息的权重、所述第二差异信息的权重，对所述第一隐变量进行迭代调整，得到所述调整后隐变量。
第二方面，本申请实施例还提供了一种训练数据集生成装置，所述装置包括：
获取模块，用于基于图像生成模型以及初始隐变量，获取所述初始隐变量对应的初始人脸图像；
变换模块，用于对所述初始人脸图像进行目标属性的变换，得到参考人脸图像；
第一确定模块，用于将第一隐变量以及所述初始人脸图像输入所述图像生成模型，得到中间人脸图像；
第二确定模块，用于根据所述初始人脸图像以及所述中间人脸图像，确定第一差异信息；
第三确定模块，用于根据所述参考人脸图像以及所述中间人脸图像，确定第二差异信息；
调整模块，用于根据所述第一差异信息以及所述第二差异信息，对所述第一隐变量进行调整，得到调整后隐变量；
第四确定模块，用于基于所述调整后隐变量以及所述图像生成模型，得到所述初始人脸图像对应的目标人脸图像，并将所述初始人脸图像和所述目标人脸图像作为训练数据集中的一个配对数据，其中，所述目标人脸图像中包括所述目标属性的预期变换值。
可选地，所述装置还包括：
第一生成模块，用于根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量；
第五确定模块，用于基于所述新的初始隐变量以及所述图像生成模型，得到具有融合初始值的目标属性的人脸图像；
第二生成模块，用于根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量；
第六确定模块，用于基于所述新的隐变量以及所述图像生成模型，得到具有融合预期变换值的目标属性的人脸图像。
可选地，所述多个初始人脸图像对应的初始隐变量包括：第一初始隐变量和第二初始隐变量；
相应地，所述第一生成模块，具体用于根据所述第一初始隐变量、所述第二初始隐变量以及预设插值系数，生成新的初始隐变量；
可选地，所述多个目标人脸图像对应的调整后隐变量，包括：第一调整后隐变量和第二调整后隐变量；
相应地，所述第二生成模块，具体用于根据所述第一调整后隐变量、所述第二调整后隐变量以及预设插值系数，生成新的隐变量。
可选地，所述第二确定模块，具体用于以所述初始人脸图像以及所述中间人脸图像作为第一损失函数的输入参数，确定所述第一损失函数的计算结果；将所述第一损失函数的计算结果作为所述第一差异信息。
可选地，所述第三确定模块，具体用于对所述参考人脸图像进行降采样处理，得到第一人脸图像；对所述中间人脸图像进行降采样处理，得到第二人脸图像；根据所述第一人脸图像和所述第二人脸图像，确定第二差异信息。
可选地，所述第三确定模块，还具体用于以所述第一人脸图像以及所述第二人脸图像作为第二损失函数的输入参数，确定所述第二损失函数的计算结果；将所述第二损失函数的计算结果作为所述第二差异信息。
可选地，所述调整模块，具体用于根据所述第一差异信息、所述第二差异信息、所述第一差异信息的权重、所述第二差异信息的权重，对所述第一隐变量进行迭代调整，得到所述调整后隐变量。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的所述训练数据集生成方法的步骤。
第四方面，本申请实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的所述训练数据集生成方法的步骤。
本申请的有益效果是：
本申请实施例提供一种训练数据集生成方法、装置、设备及存储介质，该方法包括：基于图像生成模型以及初始隐变量，获取该初始隐变量对应的初始人脸图像；对该初始人脸图像进行目标属性的变换，得到参考人脸图像；将第一隐变量以及初始人脸图像输入图像生成模型，得到中间人脸图像；根据该初始人脸图像以及该中间人脸图像，确定第一差异信息；根据该参考人脸图像以及该中间人脸图像，确定第二差异信息；根据该第一差异信息以及该第二差异信息，对该第一隐变量进行调整，得到调整后隐变量；基于调整后隐变量以及该图像生成模型，得到该初始人脸图像对应的目标人脸图像，并将该初始人脸图像和该目标人脸图像作为训练数据集中的一个配对数据，其中，该目标人脸图像中包括所述目标属性的预期变换值。
采用本申请实施例提供的训练数据集生成方法，可以将初始人脸图像、中间人脸图像以及参考人脸图像进行结合，使图像生成模型生成的目标人脸图像包含有该初始人脸图像的图像信息以及该参考人脸图像的图像信息，特别的，该目标人脸图像中包含有目标属性的预期变化值，这样可得到具有目标属性的配对数据，该配对数据中包括初始人脸图像以及目标人脸图像。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种训练数据集生成方法的流程示意图；
图2为本申请实施例提供的多种类型配对数据的示意图；
图3为本申请实施例提供的一种配对数据生成系统的结构示意图；
图4为本申请实施例提供的另一种训练数据集生成方法的流程示意图；
图5为本申请实施例提供的一种采用插值采样法生成多个配对数据的示意图；
图6为本申请实施例提供的又一种训练数据集生成方法的流程示意图；
图7为本申请实施例提供的再一种训练数据集生成方法的流程示意图；
图8为本申请实施例提供的另一种训练数据集生成方法的流程示意图；
图9为本申请实施例提供的一种训练数据集生成装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在对本申请实施例进行解释之前，首先对本申请的应用场景进行介绍。该应用场景可以为生成人脸图像的场景，基于该场景可得到具有目标属性的图像配对数据，进而根据多个目标属性的图像配对数据得到具有目标属性的训练数据集。该具有目标属性的训练数据集可用于训练初始人脸属性编辑模型，得到训练好的人脸属性编辑模型，该人脸属性编辑模型可用来修改人脸图像中特征的人脸属性。人脸属性编辑模型的精确度和训练该人脸属性编辑模型时的训练数据集的特性有直接关系，可通过下述实施例获取具有配对特征的训练数据集。
如下结合附图对本申请所提到的训练数据集生成方法进行示例说明。图1为本申请实施例提供的一种训练数据集生成方法的流程示意图。如图1所示，该方法可包括：
S101、基于图像生成模型以及初始隐变量，获取所述初始隐变量对应的初始人脸图像。
其中，该图像生成模型为风格生成性对抗网络(Style Generative AdversarialNetworks，StyleGAN)模型，将该初始隐变量输入StyleGAN模型后，该StyleGAN模型可生成一张初始人脸图像。在有多个初始隐变量时，可将各初始隐变量以及各初始隐变量对应的初始人脸图像相关联存储在数据库中。
初始人脸图像中可包括多个人脸属性，如发色、肤色等，初始人脸图像对应的初始隐向量可以理解成在隐空间对该初始人脸图像的初始描述，即对该初始人脸图像中各人脸属性特征的初始描述。
S102、对该初始人脸图像进行目标属性的变换，得到参考人脸图像。
其中，可利用图像处理技术对该初始人脸图像中的目标属性进行处理，该目标属性可为该初始人脸图像中任何一种人脸属性(如发色、肤色等)，本申请不对目标属性的类别进行限定。
举例来说，假设该目标属性为发色，对该初始人脸图像进行目标属性的变换可指是将该初始人脸图像中人物(如人物A)的头发的初始发色进行染色，如可将人物在该初始人脸图像中的初始发色变成目标发色。具体的，可先用头发分割技术，获取该初始人脸图像中的头发区域，然后将该初始人脸图像中的头发区域的RGB值全部设置为目标发色对应的固定数值，基于此，可将该初始人脸图像变换为参考人脸图像，该参考人脸图像中人物的发色为目标发色。需要说明的是，对初始人脸图像进行目标属性的变换一般都为粗略编辑，如将该初始人脸图像中的头发区域用同一颜色色块进行覆盖，这个可以提高获取参考人脸图像的效率，进而整体上提高生成训练数据集的效率。
S103、将第一隐变量以及该初始人脸图像输入图像生成模型，得到中间人脸图像。
其中，在一种可实现的实施例中，该第一隐变量可为上述提到的初始隐变量，也就是说，不同的初始人脸图像对应不同的第一隐变量。在另一种可实现的实施例中，该第一隐变量可为随机隐变量，也就是说，不同的初始人脸图像可对应相同的第一隐变量，需要说明的是，本申请不对第一隐变量进行具体限定。
可将作为特征的第一隐变量以及作为标签的初始人脸图像输入该图像生成模型中，该图像生成模型输出该第一隐变量对应的中间人脸图像。
S104、根据该初始人脸图像以及该中间人脸图像，确定第一差异信息。
S105、根据该参考人脸图像以及该中间人脸图像，确定第二差异信息。
其中，可将该中间人脸图像分别与该初始人脸图像、该参考人脸图像进行比较，确定该中间人脸图像与该初始人脸图像的图像差异信息，即第一差异信息，以及确定该中间人脸图像与该参考人脸图像的图像差异信息，即第二差异信息。可根据该第一差异信息将该中间人脸图像向该初始人脸图像的方向调整，根据该第二差异信息将该中间人脸图像向该参考人脸图像的方向调整。
S106、根据该第一差异信息以及该第二差异信息，对该第一隐变量进行调整，得到调整后隐变量。
其中，结合该第一差异信息、该第二差异信息以及预设的停止生成图像条件，可对该第一隐变量中的学习参数进行多次调整，得到调整后隐变量，在满足预设的停止生成图像条件时，可将此时对应的调整后隐变量作为目标隐变量，该目标隐变量对应的中间人脸图像可称为目标人脸图像。
S107、基于调整后隐变量以及该图像生成模型，得到该初始人脸图像对应的目标人脸图像，并将该初始人脸图像和该目标人脸图像作为训练数据集中的一个配对数据。
其中，该目标人脸图像中包括该目标属性的预期变换值，也就是说，该目标人脸图像中具有初始人脸图像中目标属性变换后的特征，即参考人脸图像中目标属性的特征。继续上述举例来说，若初始人脸图像中目标属性(发色)变换后的特征为头发区域的发色为目标发色，则该目标人脸图像中包含的该目标属性的预期变换值为该目标发色对应的RGB值。
如上所述，在满足预设的停止生成图像条件时，输入到该图像生成模型中的隐变量就是目标隐变量，对应输出该图像生成模型的图像就为目标人脸图像，可将初始隐变量对应的初始人脸图像以及该目标隐变量对应的目标人脸图像组成该训练数据集中的一个配对数据，继续上述举例，该配对数据可为有无染发的配对数据。需要说明的是，根据目标属性的不同，该配对数据可为高低发际线的配对数据、有无刘海的配对数据以及头发蓬松的配对数据，各配对数据中的人脸图像可如图2所示。
同理，可选取包含有其他人物(如人物B)的初始人脸图像，参照上述描述，对人物B的初始人脸图像中的目标属性(如发色)进行变换，通过图像生成模型得到训练数据集中的另一个配对数据，也就是说，该训练数据集中包括目标属性是发色的多个配对数据。
图3为本申请实施例提供的一种配对数据生成系统的结构示意图。如图3所示实线部分所示，第一隐向量W201大小可为(18×512)，将第一隐向量W201输入StyleGAN模型202中，StyleGAN模型可用G表示，StyleGAN模型G202可输出中间人脸图像G(W)203；将初始人脸图像y204编辑为参考人脸图像y'205；将中间人脸图像G(W)203与初始人脸图像y204进行比较，可得到第一差异信息，将中间人脸图像G(W)203与参考人脸图像y'205进行比较，可得到第二差异信息，结合该第一差异信息和第二差异信息对第一隐向量W201进行调整，最后可得到目标隐向量，进而StyleGAN模型G202输出的中间人脸图像G(W)203就为目标人脸图像，其他内容可参考上述描述，此处不再进行赘述。
需要说明的是，为了简要描述，下述提到的第一隐向量W就为第一隐向量W201，其他类似。
综上所述，本申请提供的训练数据集生成方法中，可以将初始人脸图像、中间人脸图像以及参考人脸图像进行结合，使图像生成模型生成的目标人脸图像包含有该初始人脸图像的图像信息以及该参考人脸图像的图像信息，特别的，该目标人脸图像中包含有目标属性的预期变化值，这样可得到具有目标属性的配对数据，该配对数据中包括初始人脸图像以及目标人脸图像。
图4为本申请实施例提供的另一种训练数据集生成方法的流程示意图。如图4所示，该方法还可以包括：
S401、根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量。
其中，上述提到的配对数据为图像配对数据，根据该图像配对数据可得到对应的隐向量配对数据，可将该隐向量配对数据以及该图像配对数据相关联存储在数据库中。若通过多个初始人脸图像生成至少两个图像配对数据，可相应得到至少两个隐向量配对数据，可从各隐向量配对数据中提取出初始隐向量，利用插值算法，将各初始隐向量进行插值，可得到新的初始隐变量。
S402、基于该新的初始隐变量以及该图像生成模型，得到具有融合初始值的目标属性的人脸图像。
其中，根据插值算法中插值系数的不同，可得到多个新的初始隐变量，可分别将各新的初始隐变量输入图像生成模型中，得到多个具有融合初始值的目标属性的人脸图像。此处以一个新的初始隐变量来说，该图像生成模型输出的人脸图像中可包括各初始人脸图像中人脸属性的特征，该人脸图像中可显示出各初始人脸图像中人脸属性的特征进行融合后的最终人脸属性的特征。具体的，该人脸图像中的目标属性(如发色)的特征为将各初始人脸图像中的目标属性的特征(初始发色)进行融合后的结果。
S403、根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量。
其中，图像配对数据可对应隐向量配对数据，根据多个图像配对数据中的目标人脸图像可从对应的隐向量配对数据中提取出调整后隐变量(目标隐变量)，利用插值算法，将各目标隐变量进行插值，可得到新的隐变量。
S404、基于该新的隐变量以及该图像生成模型，得到具有融合预期变换值的目标属性的人脸图像。
其中，根据插值算法中插值系数的不同，可得到多个新的隐变量，可分别将各新的隐变量输入图像生成模型中，得到多个具有融合预期变换值的目标属性的人脸图像。此处以一个新的隐变量来说，该图像生成模型输出的人脸图像中可包括各目标人脸图像中人脸属性的特征，该人脸图像中可显示出各目标人脸图像中人脸属性的特征进行融合后的最终人脸属性的特征。具体的，该人脸图像中的目标属性(如发色)的特征为将各目标人脸图像中的目标属性的特征(目标发色)进行融合后的结果。
最后可将各新的初始隐变量对应的各人脸图像以及各新的隐变量对应的各人脸图像组成多个图像配对数据，也就是说，只要通过附图1中的方法生成至少两个配对数据，就可根据各配对数据插值生成多个配对数据，这样可以提高训练数据集生成的效率，大大降低获取训练数据集的成本。
可选地，多个初始人脸图像对应的初始隐变量包括：第一初始隐变量和第二初始隐变量。
上述根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量，包括：根据该第一初始隐变量、该第二初始隐变量以及预设插值系数，生成新的初始隐变量。
举例来说，假设包含有人物A人脸区域的初始人脸图像A对应的隐向量配对数据为(Wa，Wb)，包含有人物B人脸区域的初始人脸图像B对应的隐向量配对数据为(Wc，Wd)，其中，初始人脸图像A对应的第一初始隐向量为Wa，初始人脸图像B对应的第二初始隐变量为Wc，预设插值系数为α，则可通过下式计算得到新的初始隐变量W1：
W1＝αWa+(1-α)Wc
其中，α∩(0，1)，具体取值可包括0.8、0.6、0.4、0.2等。α的数值越大，新的初始隐变量W1对应的人脸图像越接近初始人脸图像A；α的数值越小，新的初始隐变量W1对应的人脸图像越接近初始人脸图像B。
需要说明的是，本申请不对α的取值进行限定，并且，也不对生成新的初始隐变量的初始隐变量的个数进行限定，也就是说，可将两个初始人脸图像合成新的初始人脸图像，也可将多个初始人脸图像合成新的初始人脸图像。
可选地，多个目标人脸图像对应的调整后隐变量，包括：第一调整后隐变量和第二调整后隐变量。
上述根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量，包括：根据该第一调整后隐变量、该第二调整后隐变量以及预设插值系数，生成新的隐变量。
继续上述举例来说，初始人脸图像A对应的第一调整后隐变量为Wb，初始人脸图像B对应的第二初始隐变量为Wd，预设插值系数为α，则可通过下式计算得到新的隐变量W2：
W2＝αWb+(1-α)Wd
其中，α∈(0，1)，具体取值可包括0.8、0.6、0.4、0.2等。α的数值越大，新的隐变量W2对应的人脸图像就越接近初始人脸图像A对应的目标人脸图像；α的数值越小，新的隐变量W2对应的人脸图像就越接近初始人脸图像B对应的目标人脸图像。
需要说明的是，本申请不对生成新的隐变量的调整后隐变量的个数进行限定，也就是说，可将两个目标人脸图像合成新的目标人脸图像，也可将多个目标人脸图像合成新的目标人脸图像。在将一个新的初始隐变量以及一个新的隐向量作为一个隐向量配对数据时，两者对应的α的取值相同。
图5为本申请实施例提供的一种采用插值采样法生成多个配对数据的示意图。如图5所示，第一列图像和第六列图像分别为得到的包含有人物A的图像配对数据、包含有人物B的图像配对数据，包含人物A的图像配对数据以及包含人物B的图像配对数据中的目标属性均为发际线，图像配对数据可称为高低发际线的配对数据。可根据第一列的人物A的高低发际线的配对数据以及第六列的人物B的高低发际线的配对数据，可得到中间列的高低发际线的配对数据，需要说明的是，中间列的列数与插值系数的取值个数相关，本申请不对其进行限定。可以看出，通过插值采样最终可得到大量的配对数据，可以避免每个配对数据都需要采用图1中的方法获取的现象，提高效率，节省资源。
图6为本申请实施例提供的又一种训练数据集生成方法的流程示意图。可选地，如图6所示，上述根据该初始人脸图像以及该中间人脸图像，确定第一差异信息，包括：
S601、以该初始人脸图像以及该中间人脸图像作为第一损失函数的输入参数，确定该第一损失函数的计算结果。
S602、将该第一损失函数的计算结果作为该第一差异信息。
其中，确定初始人脸图像(y)与中间人脸图像(G(W))之间的图像差异信息可用第一损失函数进行表示，该第一损失函数可包括多个子损失函数，如L1损失函数、L2损失函数、LLPIPS损失函数等，其中，LLPIPS损失函数用于表示LPIPS(Learned Perceptual Image PatchSimilarity，学习感知图像块相似性)损失函数。这里以仅包含L2损失函数以及LLPIPS损失函数为例进行说明，分别将初始人脸图像(y)以及中间人脸图像(G(W))作为L2损失函数以及LLPIPS损失函数的输入参数，可得到第一损失函数的计算结果：
Loss＝L2(W)+LLPIPS(W)
其中，L2(W)＝||y-G(W)||，LLPIPS(W)＝||F(y)-F(G(W))||，第一损失函数的计算结果(Loss)可用来表示该第一差异信息。
图7为本申请实施例提供的再一种训练数据集生成方法的流程示意图。可选地，如图7所示，上述根据该参考人脸图像以及该中间人脸图像，确定第二差异信息，包括：
S701、对该参考人脸图像进行降采样处理，得到第一人脸图像。
S702、对该中间人脸图像进行降采样处理，得到第二人脸图像。
S703、根据该第一人脸图像和该第二人脸图像，确定第二差异信息。
其中，初始人脸图像(y)的大小一般为(1024×1024)，在对初始人脸图像(y)中的目标属性进行变换后，可得到大小为(1024×1024)参考人脸图像(y')，然后利用图像双线性插值法将参考人脸图像(y')进行降采样处理，得到如大小为(64×64)的第一人脸图像(y'↓)，其中，↓用于表示降采样处理，同理，可对图像生成模型输出的中间人脸图像(G(W))进行同等程度(如64尺度)的降采样处理，得到大小为(64×64)的第二人脸图像(G(W)↓)，可将第一人脸图像(y'↓)与第二人脸图像(G(W)↓)进行比较，得到第一人脸图像(y'↓)与第二人脸图像(G(W)↓)之间的图像差异信息，即第二差异信息，上述图2中虚线部分表示分别对参考人脸图像y'以及中间人脸图像G(W)进行降采样处理。
在另一种可实现的实施例中，可首先对大小为(1024×1024)的初始人脸图像(y)进行降采样处理，得到大小为(64×64)的初始人脸图像，然后再对降采样处理后的初始人脸图像中的目标属性的变换，得到大小为(64×64)的参考人脸图像，需要说明的是，本申请不对其降采样的顺序进行限定，并且也不对降采样的程度进行限定。
图8为本申请实施例提供的另一种训练数据集生成方法的流程示意图。可选地，如图8所示，上述根据该第一人脸图像和该第二人脸图像，确定第二差异信息，包括：
S801、以该第一人脸图像以及该第二人脸图像作为第二损失函数的输入参数，确定该第二损失函数的计算结果。
S802、将该第二损失函数的计算结果作为该第二差异信息。
其中，确定第一人脸图像(y'↓)与第二人脸图像(G(W)↓)之间的图像差异信息可用第二损失函数进行表示，该第二损失函数可包括多个子损失函数，如L1损失函数、L2损失函数等，本申请不对其进行限定。这里以第二损失函数中包含一个损失函数为例进行说明，为了清楚表示L2损失函数为降采样处理后对应的损失函数，用L2↓表示L2损失函数。将第一人脸图像(y'↓)与第二人脸图像(G(W)↓)作为L2↓损失函数的输入参数，可得到第二损失函数的计算结果：
Loss'＝L2↓(W)
其中，L2↓(W)＝||y′↓-G(W)↓||，第二损失函数的计算结果(Loss')可用来表示第二差异信息。
可选地，上述根据该第一差异信息以及该第二差异信息，对该初始隐变量进行调整，得到调整后隐变量，包括：根据该第一差异信息、该第二差异信息、该第一差异信息的权重、该第二差异信息的权重，对该第一隐变量进行迭代调整，得到该调整后隐变量。
其中，第一差异信息的权重指的是第一损失函数的权重，第二差异信息的权重指的是第二损失函数的权重。若第一损失函数包括多个子损失函数，那么第一损失函数的权重可包括多个，可为不同的子损失函数配置相同的权重，也可为不同的子损失函数配置不同的权重，本申请不对其进行限定。如上述提到的L2损失函数以及LLPIPS损失函数，假设为L2损失函数配置的权重为λ1，为LLPIPS损失函数配置的权重为λ2，那么第一损失函数的计算结果为：
Loss＝λ1L2(W)+λ2LLLPIPS(W)
若第二损失函数包括多个子损失函数，那么第二损失函数的权重可包括多个，可为不同的子损失函数配置相同的权重，也可为不同的子损失函数配置不同的权重，本申请不对其进行限定。这里以第二损失函数中包含一个损失函数为例进行说明，如上述提到的L2↓损失函数，假设为L2↓损失函数配置的权重为λ3，那么第二损失函数的计算结果为：
Loss'＝λ3L2↓(W)
最后结合第一损失函数的计算结果(Loss)以及第二损失函数的计算结果(Loss')得到总的差异信息：
L(W)＝Loss+Loss'＝λ1L2(W)+λ2LLPIPS(W)+λ3L2↓(W)
根据总的差异信息L(W)以及预设停止生成图像条件，可对第一隐变量(W)进行迭代调整。预设停止生成图像条件可包括总的差异信息L(W)满足最小值或者迭代次数达到预先设置的迭代次数。在总的差异信息L(W)达到最小值时，可将得到的调整后隐变量作为目标隐变量，与该目标隐变量对应的中间人脸图像为目标人脸图像；在迭代调整次数达到预先设置的迭代次数时，可将得到的调整后隐变量作为目标隐变量，与该目标隐变量对应的中心人脸图像为目标人脸图像。
图9为本申请实施例提供的一种训练数据集生成装置的结构示意图。
如图9所示，该装置包括：
获取模块901，用于获取初始人脸图像以及该初始人脸图像对应的初始隐变量；
变换模块902，用于对该初始人脸图像进行目标属性的变换，得到参考人脸图像；
第一确定模块903，用于将第一隐变量以及该初始人脸图像输入图像生成模型，得到中间人脸图像；
第二确定模块904，用于根据该初始人脸图像以及该中间人脸图像，确定第一差异信息；
第三确定模块905，用于根据该参考人脸图像以及该中间人脸图像，确定第二差异信息；
调整模块906，用于根据该第一差异信息以及该第二差异信息，对该初始隐变量进行调整，得到调整后隐变量；
第四确定模块907，用于基于调整后隐变量以及该图像生成模型，得到该初始人脸图像对应的目标人脸图像，并将该初始人脸图像和该目标人脸图像作为训练数据集中的一个配对数据。
可选地，该装置还包括：
第一生成模块，用于根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量；
第五确定模块，用于基于新的初始隐变量以及图像生成模型，得到具有融合初始值的目标属性的人脸图像；
第二生成模块，用于根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量；
第六确定模块，用于基于新的隐变量以及图像生成模型，得到具有融合预期变换值的目标属性的人脸图像。
可选地，多个初始人脸图像对应的初始隐变量包括：第一初始隐变量和第二初始隐变量；
相应地，该第一生成模块，具体用于根据第一初始隐变量、第二初始隐变量以及预设插值系数，生成新的初始隐变量；
可选地，多个目标人脸图像对应的调整后隐变量，包括：第一调整后隐变量和第二调整后隐变量；
相应地，该第二生成模块，具体用于根据第一调整后隐变量、第二调整后隐变量以及预设插值系数，生成新的隐变量。
可选地，第二确定模块903，具体用于以初始人脸图像以及中间人脸图像作为第一损失函数的输入参数，确定第一损失函数的计算结果；将第一损失函数的计算结果作为第一差异信息。
可选地，第三确定模块905，具体用于对参考人脸图像进行降采样处理，得到第一人脸图像；对中间人脸图像进行降采样处理，得到第二人脸图像；根据第一人脸图像和第二人脸图像，确定第二差异信息。
可选地，第三确定模块905，还具体用于以第一人脸图像以及第二人脸图像作为第二损失函数的输入参数，确定第二损失函数的计算结果；将第二损失函数的计算结果作为第二差异信息。
可选地，调整模块906，具体用于根据第一差异信息、第二差异信息、第一差异信息的权重、第二差异信息的权重，对第一隐变量进行迭代调整，得到调整后隐变量。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图10为本申请实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器1001、存储介质1002和总线1003，存储介质1002存储有处理器1001可执行的机器可读指令，当该电子设备运行时，处理器1001与存储介质1002之间通过总线1003通信，处理器1001执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种训练数据集生成方法，其特征在于，所述方法包括：
基于图像生成模型以及初始隐变量，获取所述初始隐变量对应的初始人脸图像；
对所述初始人脸图像进行目标属性的变换，得到参考人脸图像；
将第一隐变量以及所述初始人脸图像输入所述图像生成模型，得到中间人脸图像；
根据所述初始人脸图像以及所述中间人脸图像，确定第一差异信息；
根据所述参考人脸图像以及所述中间人脸图像，确定第二差异信息；
根据所述第一差异信息以及所述第二差异信息，对所述第一隐变量进行调整，得到调整后隐变量；
基于所述调整后隐变量以及所述图像生成模型，得到所述初始人脸图像对应的目标人脸图像，并将所述初始人脸图像和所述目标人脸图像作为训练数据集中的一个配对数据，其中，所述目标人脸图像中包括所述目标属性的预期变换值。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量；
基于所述新的初始隐变量以及所述图像生成模型，得到具有融合初始值的目标属性的人脸图像；
根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量；
基于所述新的隐变量以及所述图像生成模型，得到具有融合预期变换值的目标属性的人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述多个初始人脸图像对应的初始隐变量包括：第一初始隐变量和第二初始隐变量；
所述根据多个初始人脸图像对应的初始隐变量，生成新的初始隐变量，包括：
根据所述第一初始隐变量、所述第二初始隐变量以及预设插值系数，生成新的初始隐变量。
4.根据权利要求2所述的方法，其特征在于，所述多个目标人脸图像对应的调整后隐变量，包括：第一调整后隐变量和第二调整后隐变量；
所述根据多个目标人脸图像对应的调整后隐变量，生成新的隐变量，包括：
根据所述第一调整后隐变量、所述第二调整后隐变量以及预设插值系数，生成新的隐变量。
5.根据权利要求1所述的方法，其特征在于，所述根据所述初始人脸图像以及所述中间人脸图像，确定第一差异信息，包括：
以所述初始人脸图像以及所述中间人脸图像作为第一损失函数的输入参数，确定所述第一损失函数的计算结果；
将所述第一损失函数的计算结果作为所述第一差异信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所述参考人脸图像以及所述中间人脸图像，确定第二差异信息，包括：
对所述参考人脸图像进行降采样处理，得到第一人脸图像；
对所述中间人脸图像进行降采样处理，得到第二人脸图像；
根据所述第一人脸图像和所述第二人脸图像，确定第二差异信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一人脸图像和所述第二人脸图像，确定第二差异信息，包括：
以所述第一人脸图像以及所述第二人脸图像作为第二损失函数的输入参数，确定所述第二损失函数的计算结果；
将所述第二损失函数的计算结果作为所述第二差异信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述第一差异信息以及所述第二差异信息，对所述第一隐变量进行调整，得到调整后隐变量，包括：
根据所述第一差异信息、所述第二差异信息、所述第一差异信息的权重、所述第二差异信息的权重，对所述第一隐变量进行迭代调整，得到所述调整后隐变量。
9.一种训练数据集生成装置，其特征在于，所述装置包括：
获取模块，用于基于图像生成模型以及初始隐变量，获取所述初始隐变量对应的初始人脸图像；
变换模块，用于对所述初始人脸图像进行目标属性的变换，得到参考人脸图像；
第一确定模块，用于将第一隐变量以及所述初始人脸图像输入所述图像生成模型，得到中间人脸图像；
第二确定模块，用于根据所述初始人脸图像以及所述中间人脸图像，确定第一差异信息；
第三确定模块，用于根据所述参考人脸图像以及所述中间人脸图像，确定第二差异信息；
调整模块，用于根据所述第一差异信息以及所述第二差异信息，对所述第一隐变量进行调整，得到调整后隐变量；
第四确定模块，用于基于所述调整后隐变量以及所述图像生成模型，得到所述初始人脸图像对应的目标人脸图像，并将所述初始人脸图像和所述目标人脸图像作为训练数据集中的一个配对数据，其中，所述目标人脸图像中包括所述目标属性的预期变换值。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一项所述训练数据集生成方法的步骤。
11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一项所述训练数据集生成方法的步骤。
CN202110563522.2A 2021-05-24 2021-05-24 一种训练数据集生成方法、装置、设备及存储介质 Active CN113221794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563522.2A CN113221794B (zh) 2021-05-24 2021-05-24 一种训练数据集生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563522.2A CN113221794B (zh) 2021-05-24 2021-05-24 一种训练数据集生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113221794A CN113221794A (zh) 2021-08-06
CN113221794B true CN113221794B (zh) 2024-05-03

Family

ID=77098034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563522.2A Active CN113221794B (zh) 2021-05-24 2021-05-24 一种训练数据集生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113221794B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902671B (zh) * 2021-08-31 2024-08-16 北京影谱科技股份有限公司 一种基于随机纹理的图像隐写方法和系统
CN115100088B (zh) * 2022-05-11 2024-07-19 清华大学 可控人脸合成方法、装置、电子设备及存储介质
CN116630147B (zh) * 2023-07-24 2024-02-06 北京隐算科技有限公司 一种基于强化学习的人脸图像编辑方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260754A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 人脸图像编辑方法、装置和存储介质
CN111652828A (zh) * 2020-05-27 2020-09-11 北京百度网讯科技有限公司 人脸图像生成方法、装置、设备和介质
CN111652049A (zh) * 2020-04-17 2020-09-11 北京三快在线科技有限公司 人脸图像处理模型训练方法、装置、电子设备及存储介质
CN111951153A (zh) * 2020-08-12 2020-11-17 杭州电子科技大学 基于生成对抗网络隐空间解构的人脸属性精细化编辑方法
CN112232281A (zh) * 2020-11-04 2021-01-15 深圳大学 一种人脸属性编辑方法、装置、智能终端及存储介质
CN112364745A (zh) * 2020-11-04 2021-02-12 北京瑞莱智慧科技有限公司 一种对抗样本的生成方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126895B2 (en) * 2019-05-22 2021-09-21 Lawrence Livermore National Security, Llc Mimicking of corruption in images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652049A (zh) * 2020-04-17 2020-09-11 北京三快在线科技有限公司 人脸图像处理模型训练方法、装置、电子设备及存储介质
CN111260754A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 人脸图像编辑方法、装置和存储介质
CN111652828A (zh) * 2020-05-27 2020-09-11 北京百度网讯科技有限公司 人脸图像生成方法、装置、设备和介质
CN111951153A (zh) * 2020-08-12 2020-11-17 杭州电子科技大学 基于生成对抗网络隐空间解构的人脸属性精细化编辑方法
CN112232281A (zh) * 2020-11-04 2021-01-15 深圳大学 一种人脸属性编辑方法、装置、智能终端及存储介质
CN112364745A (zh) * 2020-11-04 2021-02-12 北京瑞莱智慧科技有限公司 一种对抗样本的生成方法、装置及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing;Hyunsu Kim 等;《arXiv》;20210430;1-25 *
LOHO：Latent Optimization of Hairstyles via Orthogonalization;Rohit Saha 等;《arXiv》;20210310;1-18 *
基于生成对抗网络的图像多样性生成方法研究;熊风;《中国优秀硕士学位论文全文数据库信息科技辑》;20210515;I138-776 *
生成对抗网络图像类别标签跨模态识别系统设计;刘尚争;刘斌;;《现代电子技术》;20200415;第43卷(第08期);173-175 *

Also Published As

Publication number Publication date
CN113221794A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113221794B (zh) 一种训练数据集生成方法、装置、设备及存储介质
Natsume et al. Rsgan: face swapping and editing using face and hair representation in latent spaces
EP4044106A1 (en) Image processing method and apparatus, device, and computer readable storage medium
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
US11977604B2 (en) Method, device and apparatus for recognizing, categorizing and searching for garment, and storage medium
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
Rustamov et al. Interior distance using barycentric coordinates
CN113763366B (zh) 一种换脸方法、装置、设备及存储介质
CN109447897B (zh) 一种真实场景图像合成方法及系统
Chacón et al. UNCONSTRAINED PILOT SELECTORS FOR SMOOTHED CROSS‐VALIDATION
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
JP2023503732A (ja) ポイントクラウド補完方法、ネットワーク訓練方法、装置、機器及び記憶媒体
CN113392791A (zh) 一种皮肤预测处理方法、装置、设备及存储介质
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
Dinesh et al. Point cloud sampling via graph balancing and Gershgorin disc alignment
Zhang et al. Satellite image super-resolution based on progressive residual deep neural network
CN112069412A (zh) 信息推荐方法、装置、计算机设备及存储介质
Lu et al. Parallel region-based deep residual networks for face hallucination
Zhou et al. Personalized and occupational-aware age progression by generative adversarial networks
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
CN118229632A (zh) 显示屏缺陷检测方法、模型训练方法、装置、设备及介质
CN116612288B (zh) 一种多尺度轻量级实时语义分割方法、系统
CN112926543A (zh) 图像生成、三维模型生成方法、装置、电子设备及介质
Xiao et al. Three-stage generative network for single-view point cloud completion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant