CN112734634B - 换脸方法、装置、电子设备和存储介质 - Google Patents

换脸方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112734634B
CN112734634B CN202110337402.0A CN202110337402A CN112734634B CN 112734634 B CN112734634 B CN 112734634B CN 202110337402 A CN202110337402 A CN 202110337402A CN 112734634 B CN112734634 B CN 112734634B
Authority
CN
China
Prior art keywords
face
image
generator
target
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110337402.0A
Other languages
English (en)
Other versions
CN112734634A (zh
Inventor
李琦
孙哲南
王卫宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110337402.0A priority Critical patent/CN112734634B/zh
Publication of CN112734634A publication Critical patent/CN112734634A/zh
Application granted granted Critical
Publication of CN112734634B publication Critical patent/CN112734634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种换脸方法、装置、电子设备和存储介质，其中方法包括：确定源人脸图像和目标人脸图像；将源人脸图像和目标人脸图像输入至人脸生成器中，得到人脸生成器输出的换脸图像；人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，人脸判别器用于对样本图像对及其样本换脸图像进行真伪判别，样本换脸图像是人脸生成器基于样本图像对进行换脸得到的。本发明提供的方法、装置、电子设备和存储介质，结合人脸判别器训练所得的人脸生成器，具有较强的泛化性能，可以适配任意人脸图像，无身份限制。且人脸生成器的训练样本也不需要大量相同身份的人脸图像，能够有效降低样本获取难度和获取成本，进一步提高换脸方法的适用范畴。

Description

换脸方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种换脸方法、装置、电子设备和存储介质。
背景技术
换脸是指将人脸从源人脸图像转移到目标人脸图像，同时保留目标人脸图像的属性，如姿态、表情、光照等。
近年来，随着人脸合成技术的快速发展，换脸技术取得了巨大进展。换脸需要将身份信息与属性信息分离，然后将它们重组以得到交换后的人脸图像。
目前的换脸方法通常需要大量相同身份的人脸图像进行建模，才能实现身份信息与属性信息的解耦，如此以来导致目前的换脸方法极难适用于任意的人脸图像，直接影响了换脸技术的应用。
发明内容
本发明提供一种换脸方法、装置、电子设备和存储介质，用以解决现有技术中换脸需要大量相同身份的人脸图像，实用性差的缺陷。
本发明提供一种换脸方法，包括：
确定源人脸图像和目标人脸图像；
将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；
所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的。
根据本发明提供的一种换脸方法，所述人脸生成器包括解耦表示模块和语义融合模块；
所述将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像，包括：
将所述源人脸图像和目标人脸图像输入至所述解耦表示模块，得到所述解耦表示模块输出的所述源人脸图像的身份编码和所述目标人脸图像的属性编码；
将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，得到所述语义融合模块输出的所述换脸图像。
根据本发明提供的一种换脸方法，所述语义信息包括人脸语义分割图和/或人脸关键点图。
根据本发明提供的一种换脸方法，所述将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，得到所述语义融合模块输出的所述换脸图像，包括：
将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于反归一化方式顺次将所述目标人脸图像的人脸语义分割图的编码、所述源人脸图像的身份编码，以及所述目标人脸图像的人脸关键点图的编码，注入所述目标人脸图像的属性编码，得到所述语义融合模块输出的换脸图像。
根据本发明提供的一种换脸方法，所述人脸生成器是基于如下步骤确定的：
将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对；
将所述样本图像对及其换脸图像对中的各图像分别输入至所述人脸判别器中，得到所述人脸判别器的判别结果；
基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值；
基于所述损失函数值更新所述初始生成器，得到所述人脸生成器。
根据本发明提供的一种换脸方法，所述将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对，包括：
将所述样本图像对输入至初始生成器中，由所述初始生成器分别提取所述样本图像对中两张样本图像的身份编码和属性编码，并基于同一样本图像的身份编码和属性编码重建图像，基于不同样本图像的身份编码和属性编码合成图像，得到所述初始生成器输出的重建图像对和换脸图像对。
根据本发明提供的一种换脸方法，所述基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值，包括：
基于身份保持损失值、属性保持损失值和重建损失值中的至少一种，以及对抗损失值，确定所述损失函数值；
其中，所述身份保持损失值是基于所述样本图像对和所述换脸图像对中各图像的身份编码确定的；
所述属性保持损失值是基于所述样本图像对和所述换脸图像对中各图像的属性编码确定的；
所述重建损失值是基于所述样本图像对和所述重建图像对确定的；
所述对抗损失值是基于所述判别结果确定的。
本发明还提供一种换脸装置，包括：
图像确定单元，用于确定源人脸图像和目标人脸图像；
换脸单元，用于将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；
所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述换脸方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述换脸方法的步骤。
本发明提供的换脸方法、装置、电子设备和存储介质，结合人脸判别器训练所得的人脸生成器，具有较强的泛化性能，可以适配任意人脸图像，无身份限制。且人脸生成器的训练样本也不需要大量相同身份的人脸图像，能够有效降低样本获取难度和获取成本，进一步提高换脸方法的适用范畴。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的换脸方法的流程示意图；
图2是本发明提供的人脸生成器的运行流程示意图；
图3是本发明提供的残差块的结构示意图；
图4是本发明提供的语义融合模块的结构示意图；
图5是本发明提供的人脸生成器的确定方法的流程示意图；
图6是本发明提供的人脸生成器的训练结构示意图；
图7是本发明提供的人脸生成器的结构示意图；
图8是本发明提供的换脸装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的换脸方法的流程示意图，如图1所示，该方法包括：
步骤110，确定源人脸图像和目标人脸图像。
此处，源人脸图像和目标人脸图像均为包含人脸的图像，在换脸操作时，源人脸图像中人脸需要转移到目标人脸图像中，同时保留目标人脸图像中的姿态、表情、光照等属性，换而言之，由此得到的换脸图像应对具有源人脸图像中人脸的身份，以及目标人脸图像中人脸的姿态、表情、光照等属性。
步骤120，将源人脸图像和目标人脸图像输入至人脸生成器中，得到人脸生成器输出的换脸图像；
人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，人脸判别器用于对样本图像对及其样本换脸图像进行真伪判别，样本换脸图像是人脸生成器基于样本图像对进行换脸得到的。
具体地，步骤120中可以通过人脸生成器实现结合源人脸图像和目标人脸图像的换脸操作。而为了降低人脸生成器的训练成本，拓宽人脸生成器的应用范畴，本发明实施例中将人脸生成器与人脸判别器进行对抗训练，通过对抗生成网络（GenerativeAdversarial Networks，GANs）思想的应用，实现具有较强泛化能力，可适应于任意人脸图像的人脸生成器的构建和训练：
人脸生成器与人脸判别器可以构成生成对抗网络，其中人脸生成器即生成对抗网络框架下的生成模型（Generative Model），人脸判别器即生成对抗网络框架下的判别模型（Discriminative Model）。人脸生成器用于生成结合了源人脸图像的身份信息和目标人脸图像的属性信息的换脸图像，人脸判别器用于区分输入的图像中包含的人脸是合成的人脸还是直接采集得到的真实人脸。
在人脸生成器的训练过程中，人脸生成器与人脸判别器之间相互博弈学习，从而在提高人脸生成器输出的换脸图像中人脸的逼真度和自然度的同时，提高人脸判别器对于合成人脸和真实人脸的区分能力。具体可以在模型训练过程中，将样本图像对输入到人脸生成器中，得到人脸生成器输出的预测换脸图像，将样本图像对中的图像和预测换脸图像混合后输入人脸判别器，得到人脸判别器输出的各图像的判别结果，基于预测换脸图像中的身份信息与样本图像对中的源人脸图像中的身份信息之间的差异，以及预测换脸图像中的属性信息与样本图像对中的目标人脸图像中的属性信息之间的差异构建生成损失函数，基于各图像的判别结果与各图像的实际真伪情况之间的差异构建判别损失函数，结合生成损失函数和判别损失函数对人脸生成器和人脸判别器进行联合训练。
需要说明的是，在上述训练过程中可以将大量样本图像对作为训练样本，此处任一组样本图像对中包含两张不同身份的人脸图像即可，每个身份的人脸图像仅需一张即可，人脸生成器的构建无需大量相同身份的人脸图像，有效降低了样本获取难度和成本。
本发明实施例提供的方法，结合人脸判别器训练所得的人脸生成器，具有较强的泛化性能，可以适配任意人脸图像，无身份限制。且人脸生成器的训练样本也不需要大量相同身份的人脸图像，能够有效降低样本获取难度和获取成本，进一步提高换脸方法的适用范畴。
进一步地，本发明实施例中的人脸生成器，无论是训练还是测试阶段，针对每个身份仅需一张人脸图像，即本发明实施例可实现单样本的换脸方法。
基于上述实施例，人脸生成器包括解耦表示模块和语义融合模块。
其中，解耦表示模块用于分离输入的人脸图像中的身份信息和属性信息，语义融合模块用于在人脸图像的语义信息的引导下，融合需要合成人脸的身份信息和属性信息。此处，用于进行融合引导的语义信息，与需要合成人脸的属性信息来自同一张人脸图像，进一步地，语义信息可以表征人脸图像的语义。
解耦表示模块和语义融合模块呈编码-解码结构，解耦表示模块属于编码器，语义融合模块属于解码器。
进一步地，图2是本发明提供的人脸生成器的运行流程示意图，如图2所示，步骤120包括：
步骤121，将所述源人脸图像和目标人脸图像输入至所述解耦表示模块，得到所述解耦表示模块输出的所述源人脸图像的身份编码和所述目标人脸图像的属性编码。
具体地，解耦表示模块可用于分离输入的人脸图像中的身份信息和属性信息，当解耦表示模块的输入包括源人脸图像和目标人脸图像两张图像时，解耦表示模块可以分别分离源人脸图像和目标人脸图像中的身份信息和属性信息。考虑到针对源人脸图像和目标人脸图像进行换脸，仅需要源人脸图像的身份信息和目标人脸图像的属性信息，解耦表示模块也可以在分离图像的身份信息和属性信息时仅提取源人脸图像的身份信息和目标人脸图像的属性信息，由此得到并输出源人脸图像的身份编码和所述目标人脸图像的属性编码。
此处所指的身份编码和属性编码即人脸图像身份信息和属性信息的特征编码。
步骤122，将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，得到所述语义融合模块输出的所述换脸图像。
具体地，语义信息反映了对应人脸图像的语义，例如对应人脸图像中反映人脸所处环境和位置的人脸语义分割图，又例如对应人脸图像中反映人脸表情的人脸关键点图。
在应用语义融合模块进行源人脸图像的身份编码和目标人脸图像的属性编码的融合时，可以将目标人脸图像的语义信息作为引导，此处所指的引导可以是基于目标人脸图像的语义信息调整源人脸图像的身份编码和目标人脸图像的属性编码的融合权重，也可以是基于目标人脸图像的语义信息引导反归一化层，对融合过程中的源人脸图像的身份编码和目标人脸图像的属性编码进行反归一化。
本发明实施例提供的方法，充分应用图像的语义信息引导特征融合，有助于提高合成图像的可靠性、
基于上述任一实施例，解耦表示模块具体可以包括属性编码器和身份编码器。属性编码器和身份编码器分别用于提取输入人脸图像的属性信息和身份信息，并分别编码得到属性编码和身份编码。
进一步地，属性编码器和身份编码器可以采用相同或者不同的网络结构。例如，属性编码器和身份编码器均可采用由残差块组成的网络结构，通常残差块中包含有批归一化层，在实际应用属性编码器和身份编码器时，可以保留残差块中的批归一化层，也可以将批归一化层替换为实例归一化层，例如图3示出的残差块中归一化应用的是实例归一化层Inst.Norm。
例如，属性编码器可以包括5个下采样残差块和2个瓶颈残差块，身份编码器可以包括6个下采样残差块、1个卷积层和1个全连接层。
基于上述任一实施例，语义信息包括人脸语义分割图和/或人脸关键点图。
具体地，人脸语义分割图即人脸mask图，人脸语义分割图的获取可以通过预先训练的目标检测模型实现，可以通过预先标注好人脸区域的样本人脸图像训练目标检测模型，使得目标检测模型能够识别输入的人脸图像中的人脸区域，并输出标记有人脸区域的人脸mask图。例如可以通过人脸分割算法生成二值人脸图像作为人脸mask图。
人脸关键点图用于标记人脸图形中人脸的各个关键点的位置，可以通过经典的人脸关键点检测算法检测人脸关键点得到，还可以使用不同的颜色连接不同的面部组件，生成多通道的人脸关键点图，例如可以设置人眼关键点、唇部外轮廓点、唇部内轮廓点采用不同的颜色，由此得到三通道的人脸关键点图。
基于上述任一实施例，步骤122包括：
将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于反归一化方式顺次将所述目标人脸图像的人脸语义分割图的编码、所述源人脸图像的身份编码，以及所述目标人脸图像的人脸关键点图的编码，注入所述目标人脸图像的属性编码，得到所述语义融合模块输出的换脸图像。
具体地，语义融合模块用于将目标人脸图像的语言信息的编码和源人脸图像的身份编码注入到目标人脸图像的属性编码中，从而实现基于语言信息引导的源人脸图像的身份编码和目标人脸图像的属性编码的融合。
进一步地，语义融合模块也是由残差块构成的。为了实现目标人脸图像的语言信息的编码和源人脸图像的身份编码的注入，应用反归一化层替换了语义融合模块中残差块的归一化层，从而通过反归一化的形式顺次将目标人脸图像的人脸语义分割图的编码、源人脸图像的身份编码，以及目标人脸图像的人脸关键点图的编码注入目标人脸图像的属性编码，得到注入结果，即换脸图像。
基于上述任一实施例，图4是本发明提供的语义融合模块的结构示意图，如图4所示，语义融合模块的运行流程如下：
假设将B个样本作为一批输入，记语义引导反归一化层的第i层输入，即第i层的目 标人脸图像的属性编码为
Figure 683630DEST_PATH_IMAGE001
，记目标人脸图像的人脸语义分割图为
Figure 295877DEST_PATH_IMAGE002
，记目标人脸图像的人脸关键点图为
Figure 973983DEST_PATH_IMAGE003
；
首先，将人脸语义分割图缩放到与
Figure 329878DEST_PATH_IMAGE004
具有相同的空间分辨率，即
Figure 544084DEST_PATH_IMAGE005
，并重 复
Figure 999336DEST_PATH_IMAGE006
次，生成第
Figure 227055DEST_PATH_IMAGE007
层的人脸语义分割图的编码，记为
Figure 58745DEST_PATH_IMAGE008
，然后基于
Figure 891572DEST_PATH_IMAGE009
对
Figure 580042DEST_PATH_IMAGE004
进行实例归一化，具体公式为：
Figure 748854DEST_PATH_IMAGE010
其中，
Figure 649813DEST_PATH_IMAGE011
，
Figure 868305DEST_PATH_IMAGE012
表示
Figure 930939DEST_PATH_IMAGE004
的第
Figure 867671DEST_PATH_IMAGE013
个元素，
Figure 572322DEST_PATH_IMAGE014
表示
Figure 350047DEST_PATH_IMAGE009
的第
Figure 645899DEST_PATH_IMAGE013
个元素，
Figure 7611DEST_PATH_IMAGE015
表示
Figure 47111DEST_PATH_IMAGE016
（即
Figure 177878DEST_PATH_IMAGE004
的归一化结果）的第
Figure 2221DEST_PATH_IMAGE013
个元素，
Figure 647966DEST_PATH_IMAGE017
表示元素乘法，
Figure 428840DEST_PATH_IMAGE018
和
Figure 243475DEST_PATH_IMAGE019
表示每个样本和每个通道在空间维度的均值和标准差，具体为：
Figure 818812DEST_PATH_IMAGE020
其次，通过反归一化
Figure 217433DEST_PATH_IMAGE016
将身份编码
Figure 536419DEST_PATH_IMAGE021
注入属性编码
Figure 907357DEST_PATH_IMAGE022
中，具体公式为：
Figure 220308DEST_PATH_IMAGE023
其中，
Figure 778328DEST_PATH_IMAGE024
表示通道乘法，
Figure 963322DEST_PATH_IMAGE025
表示反归一化后结果，
Figure 188767DEST_PATH_IMAGE026
与
Figure 105907DEST_PATH_IMAGE027
为可学习参数，是维度为
Figure 479120DEST_PATH_IMAGE006
的一维向量，可以通过使用两个简单的全连接层实现；
接着，将人脸关键点图缩放到与
Figure 641373DEST_PATH_IMAGE004
具有相同的空间分辨率，即
Figure 518062DEST_PATH_IMAGE005
，生成第
Figure 137262DEST_PATH_IMAGE007
层的人脸关键点图的编码，记为
Figure 669875DEST_PATH_IMAGE028
，然后使用空间自适应反归一化方法将
Figure 196671DEST_PATH_IMAGE029
注入
Figure 131129DEST_PATH_IMAGE030
，具体公式为：
Figure 154186DEST_PATH_IMAGE031
其中，
Figure 236412DEST_PATH_IMAGE032
为反归一化结果，
Figure 504582DEST_PATH_IMAGE033
与
Figure 293547DEST_PATH_IMAGE034
为可学习参数，其维度与
Figure 51287DEST_PATH_IMAGE030
相同，可以使用两 个简单的卷积层实现；
最后，通过简单的融合操作将人脸区域与背景区域结合起来，具体公式为：
Figure 558492DEST_PATH_IMAGE035
由此所得的各层
Figure 866239DEST_PATH_IMAGE036
可以通过反卷积得到最终的换脸图像。
基于上述任一实施例，图5是本发明提供的人脸生成器的确定方法的流程示意图，如图5所示，所述人脸生成器是基于如下步骤确定的：
步骤510，将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对；
具体地，初始生成器可以是任意结构的神经网络模型，在基于初始生成器进行人脸生成器的模型训练阶段，可以将样本图像对作为输入到初始生成器中的训练样本。
针对于具备身份信息和属性信息的解耦功能的初始生成器，输入的样本图像对中的两张人脸图像可以互为源人脸图像和目标人脸图像，对两张人脸图像分别进行信息解耦所得的身份信息和属性信息可以任意形式组合，从而得到重建图像对和换脸图像对。
其中，重建图像对是分别基于两张人脸图像的身份信息和属性信息进行重建得到的，换脸图像对是交叉两张人脸图像的身份信息和属性信息进行合成得到的。
步骤520，将所述样本图像对及其换脸图像对中的各图像分别输入至所述人脸判别器中，得到所述人脸判别器的判别结果。
具体地，人脸判别器具备区分输入的图像中包含的人脸是合成的人脸还是直接采集得到的真实人脸的能力，将样本图像对及其换脸图像对中的各图像分别输入到人脸判别器中，由人脸判别器分别进行判别，即可得到各图像的判别结果。
步骤530，基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值；
步骤540，基于所述损失函数值更新所述初始生成器，得到所述人脸生成器。
此处，在确定损失函数值时，可以考量样本图像对及其重建图像对之间的差异性，此两者差异越小，则说明初始生成器在拆分人脸图像的属性信息和身份信息，并据此重建图像时的精度越高。此外，还可以考量样本图像对中图像的属性编码和换脸图像对中对应图像的属性编码之间的差异性，此两者差异越小，则说明初始生成器在合成图像时对于图像属性信息保持得越好，同样地，可以考量样本图像对中图像的身份编码和换脸图像对中对应图像的身份编码之间的差异性，此两者差异越小，则说明初始生成器在合成图像时对于图像身份信息保持得越好；再者，还可以根据人脸判别器输出的判别结果，衡量初始生成器合成图像是否逼真。
在得到损失函数值之后，即可据此更新初始生成器，例如利用梯度反向传播算法迭代调整初始生成器的权值，或者可以一并调整初始生成器和人脸判别器的权值，直至收敛。收敛后的初始生成器即人脸生成器。
基于上述任一实施例，步骤510包括：
将所述样本图像对输入至初始生成器中，由所述初始生成器分别提取所述样本图像对中两张样本图像的身份编码和属性编码，并基于同一样本图像的身份编码和属性编码重建图像，基于不同样本图像的身份编码和属性编码合成图像，得到所述初始生成器输出的重建图像对和换脸图像对。
具体地，在初始生成器内部应用解耦表示模块针对两张样本图像分别进行身份和 属性解耦，得到其对应的身份编码和属性编码之后，可以应用语义融合模块分别进行不同 身份编码和属性编码组合下的图像合成，例如两张样本图像分别为
Figure 40868DEST_PATH_IMAGE037
和
Figure 703930DEST_PATH_IMAGE038
，两者的身份编 码分别为
Figure 698431DEST_PATH_IMAGE039
和
Figure 105142DEST_PATH_IMAGE040
，两者的属性编码分别为
Figure 868699DEST_PATH_IMAGE041
和
Figure 195338DEST_PATH_IMAGE042
，基于
Figure 677135DEST_PATH_IMAGE039
和
Figure 90799DEST_PATH_IMAGE041
可以实现图像重建，即得到重建图像
Figure 771179DEST_PATH_IMAGE043
，基于
Figure 979306DEST_PATH_IMAGE040
和
Figure 246602DEST_PATH_IMAGE042
可以实现图像重建，即得到重建图像
Figure 932798DEST_PATH_IMAGE044
，基于
Figure 733264DEST_PATH_IMAGE039
和
Figure 846713DEST_PATH_IMAGE042
可以合成换脸图像
Figure 303103DEST_PATH_IMAGE045
， 基于
Figure 855307DEST_PATH_IMAGE040
和
Figure 946497DEST_PATH_IMAGE041
可以合成换脸图像
Figure 762006DEST_PATH_IMAGE046
。
基于上述任一实施例，图6是本发明提供的人脸生成器的训练结构示意图，如图6 所示，人脸生成器中，Attribute Encoder表示属性编码器，Identity Encoder表示身份编 码器，Attribute Encoder和Identity Encoder构成解耦表示模块，用于分别对样本图像
Figure 502429DEST_PATH_IMAGE037
和
Figure 530428DEST_PATH_IMAGE038
进行身份和属性信息的解耦，从而得到两者的身份编码和属性编码。在此基础上，属性 编码器Attribute Encoder可以后接残差块Residual Block，身份编码器Identity Encoder可以后接全局池化层Global Pooling作特征提取。
Semantic-guided Fusion Module表示基于语义信息引导的语义融合模块，在此基础上结合解码器Decoder即可实现不同身份编码和属性编码组合下的图像合成。
Discriminator表示人脸判别器，可以将图像输入人脸判别器中，判别输入图像的真假（Real or Fake）。
进一步地，在图像合成阶段，假设两张样本图像
Figure 243169DEST_PATH_IMAGE037
和
Figure 26317DEST_PATH_IMAGE038
分别为源人脸图像和目标 人脸图像，可以是将源人脸图像的身份编码、源人脸图像的属性编码、源人脸图像的人脸 mask图和源人脸图像的人脸关键点图输入语义融合模块，生成源人脸图像的重建图像，如 图6中
Figure 693184DEST_PATH_IMAGE043
；
将源人脸图像的身份编码、目标人脸图像的属性编码、目标人脸图像的人脸mask 图和目标人脸图像的人脸关键点图输入语义融合模块，生成具有源图像身份和目标图像属 性的换脸图像，如图6中
Figure 790453DEST_PATH_IMAGE045
；
将目标人脸图像的身份编码、目标人脸图像的属性编码、目标人脸图像的人脸 mask图和目标人脸图像的人脸关键点图输入语义融合模块，生成目标人脸图像的重建图 像，如图6中
Figure 888859DEST_PATH_IMAGE044
；
将目标人脸图像的身份编码、源人脸图像的属性编码、源人脸图像的人脸mask图 和源人脸图像的人脸关键点图输入语义融合模块，生成具有目标图像身份和源图像属性的 换脸图像，如图6中
Figure 46171DEST_PATH_IMAGE046
。
基于上述任一实施例，步骤530包括：
基于身份保持损失值、属性保持损失值和重建损失值中的至少一种，以及对抗损失值，确定所述损失函数值；
其中，所述身份保持损失值是基于所述样本图像对和所述换脸图像对中各图像的身份编码确定的；
所述属性保持损失值是基于所述样本图像对和所述换脸图像对中各图像的属性编码确定的；
所述重建损失值是基于所述样本图像对和所述重建图像对确定的；
所述对抗损失值是基于所述判别结果确定的。
具体地，假设样本图像对中的两张人脸图像分别为源人脸图像和目标人脸图像， 则身份保持损失值
Figure 761186DEST_PATH_IMAGE047
可以包括源人脸图像身份保持损失值
Figure 396567DEST_PATH_IMAGE048
和目标人脸图像身份保 持损失值
Figure 322716DEST_PATH_IMAGE049
：
其中，源人脸图像身份保持损失值
Figure 447667DEST_PATH_IMAGE048
即源人脸图像与具有源图像身份和目标 图像属性的换脸图像的身份保持损失，目标人脸图像身份保持损失值
Figure 587661DEST_PATH_IMAGE049
即目标人脸图 像与具有目标图像身份和源图像属性的换脸图像的身份保持损失。
例如，源人脸图像身份保持损失值
Figure 26732DEST_PATH_IMAGE048
的计算公式可以是：
Figure 365310DEST_PATH_IMAGE050
其中，
Figure 864424DEST_PATH_IMAGE037
表示源人脸图像，
Figure 727600DEST_PATH_IMAGE045
表示具有源图像身份和目标图像属性的换脸图 像，
Figure 501521DEST_PATH_IMAGE051
表示预训练人脸识别模型的人脸特征提取操作，
Figure 897868DEST_PATH_IMAGE052
表示
Figure 567883DEST_PATH_IMAGE053
范数；
类似地，目标人脸图像身份保持损失值
Figure 479208DEST_PATH_IMAGE049
的计算公式可以是:
Figure 260082DEST_PATH_IMAGE054
其中，
Figure 9470DEST_PATH_IMAGE038
表示目标人脸图像，
Figure 647124DEST_PATH_IMAGE046
表示具有目标图像身份和源图像属性的换脸图 像。
由此可以得到身份保持损失值
Figure 983428DEST_PATH_IMAGE047
的计算公式为：
Figure 567993DEST_PATH_IMAGE055
属性保持损失值
Figure 735669DEST_PATH_IMAGE056
可以包括源人脸图像属性保持损失值
Figure 481908DEST_PATH_IMAGE057
和目标人脸属 性保持损失
Figure 603710DEST_PATH_IMAGE058
：
源人脸图像属性保持损失值
Figure 991966DEST_PATH_IMAGE057
即目标人脸图像与具有源图像身份和目标图像 属性的换脸图像的属性保持损失，目标人脸属性保持损失
Figure 951832DEST_PATH_IMAGE058
即源人脸图像与具有目标 图像身份和源图像属性的换脸图像的属性保持损失。
例如，源人脸图像属性保持损失值
Figure 931289DEST_PATH_IMAGE057
的计算公式可以是：
Figure 507764DEST_PATH_IMAGE059
其中，
Figure 168553DEST_PATH_IMAGE060
表示语义融合模块的多层次特征图提取操作，T是语义引导的融合模 块中特征图的总数量，
Figure 373855DEST_PATH_IMAGE061
表示第
Figure 727476DEST_PATH_IMAGE061
个的特征图，
Figure 525668DEST_PATH_IMAGE062
表示第
Figure 786885DEST_PATH_IMAGE061
个的缩放后的人脸mask图；
类似地，目标人脸属性保持损失
Figure 721343DEST_PATH_IMAGE058
的计算公式可以是：
Figure 511444DEST_PATH_IMAGE063
由此可以得到属性保持损失值
Figure 829555DEST_PATH_IMAGE056
的计算公式为：
Figure 97726DEST_PATH_IMAGE064
重建损失值
Figure 949007DEST_PATH_IMAGE065
可以包括源人脸图像的重建损失
Figure 644431DEST_PATH_IMAGE066
，以及目标人脸图像的重 建损失
Figure 151635DEST_PATH_IMAGE067
：
其中， 源人脸图像的重建损失
Figure 518769DEST_PATH_IMAGE066
即源人脸图像与具有源图像身份和源图像属 性的重建图像的图像损失，目标人脸图像的重建损失
Figure 427819DEST_PATH_IMAGE067
即目标人脸图像与具有目标图像 身份和目标图像属性的重建图像的图像损失。
例如，源人脸图像的重建损失的计算公式可以是：
Figure 294144DEST_PATH_IMAGE068
其中，
Figure 85383DEST_PATH_IMAGE021
表示身份编码器，
Figure 960935DEST_PATH_IMAGE022
表示属性编码器，
Figure 724492DEST_PATH_IMAGE069
表示解码器，即语义融合 模块；
类似地，目标人脸图像的重建损失值的计算公式可以是：
Figure 59920DEST_PATH_IMAGE070
由此可以得到重建损失值的计算公式为：
Figure 807296DEST_PATH_IMAGE071
对抗损失值
Figure 955381DEST_PATH_IMAGE072
可以包括目标对抗损失值
Figure 635761DEST_PATH_IMAGE073
和源对抗损失值
Figure 578309DEST_PATH_IMAGE074
：
其中，目标对抗损失值
Figure 547402DEST_PATH_IMAGE073
即目标人脸图像与具有源图像身份和目标图像属性 的换脸图像的对抗损失
Figure 65889DEST_PATH_IMAGE073
，源对抗损失值
Figure 538459DEST_PATH_IMAGE074
即源人脸图像与具有目标图像身份与 源图像属性的换脸图像的对抗损失
Figure 183067DEST_PATH_IMAGE074
。
例如，目标对抗损失值
Figure 436194DEST_PATH_IMAGE073
的计算公式可以是：
Figure 926081DEST_PATH_IMAGE075
Figure 784315DEST_PATH_IMAGE076
表示图像
Figure 898027DEST_PATH_IMAGE037
和
Figure 310554DEST_PATH_IMAGE038
及关键点图像
Figure 869711DEST_PATH_IMAGE077
都是从相应的真实 图像的分布中采样得到。
其中，
Figure 379190DEST_PATH_IMAGE078
，D表示判别器，；
类似地，源对抗损失值
Figure 100021DEST_PATH_IMAGE074
的计算公式可以是：
Figure 531003DEST_PATH_IMAGE079
其中，
Figure 923544DEST_PATH_IMAGE080
。
由此可以得到对抗损失值的计算公式为：
Figure 225213DEST_PATH_IMAGE081
进一步地，结合上述各损失值，可以通过对各损失值进行加权求和的方式，确定损 失函数值
Figure 382525DEST_PATH_IMAGE082
，具体公式可以是：
Figure 831960DEST_PATH_IMAGE083
其中，
Figure 467341DEST_PATH_IMAGE084
、
Figure 154674DEST_PATH_IMAGE085
、
Figure 781090DEST_PATH_IMAGE086
分别为对应损失的权重。
对应地，步骤540中，可以以损失函数值
Figure 655505DEST_PATH_IMAGE082
为目标函数，根据
Figure 891315DEST_PATH_IMAGE087
进 行迭代优化；利用梯度反向传播算法更新人脸生成器与人脸判别器的权值直至收敛。
基于上述任一实施例，图7是本发明提供的人脸生成器的结构示意图，图7中，斜线填充的方框表示下采样残差块或者上采样残差块，方格填充的方框表示瓶颈残差块。
进一步地，属性编码器可以包括5个下采样残差块和2个瓶颈残差块，即图7中目标人脸图像Traget Image箭头所指的部分。身份编码器Identity Encoder即图7中源人脸图像Source Image箭头所指的部分，身份编码器可以包括6个下采样残差块、1个卷积层和1个全连接层，身份编码器还可以后接全局池化层Global Pooling，得到身份编码Eid，身份编码Eid后接的同样可以是全局池化层。
此外，图7示出的虚线框表示的是语义融合模块，其中包括2个瓶颈语义引导换脸模块和5个上采样语义引导换脸模块，瓶颈语义引导换脸模块即瓶颈残差块与语义引导融合部分Semantic-guided Face Swapping Blocks的结合，上采样语义引导换脸模块即上采样残差块与语义引导融合部分Semantic-guided Face Swapping Blocks的结合。图7中的S和L分别为目标人脸图像的人脸mask图和人脸关键点图。
此外，在图7示出的人脸生成器中，属性编码器和语义融合模块中的解码器之间添加有跳连接，通过跳连接实现编码器与解码器中不同分辨率的特征图的直接连接，有助于提高编解码的可靠性和图像的合成精度。
基于上述任一实施例，基于人脸生成器得到的换脸图像，会随着人脸生成器自身的训练迭代次数的不同而不同，具体表现为：
首先，在开始阶段，生成的图像趋向于重建图像，在损失值上表现为，属性保持损失迅速下降，而身份保持损失稍有上升，记为第一阶段，又称重建阶段；
然后，身份保持损失上升到一定值后开始下降，同时属性保持损失开始上升，期间生成的图像趋向于合成换脸图像，记为第二阶段，又称合成阶段；
最后，所有损失值趋于稳定，模型收敛，生成换脸图像，因此称为渐进的换脸方法。
下面对本发明提供的换脸装置进行描述，下文描述的换脸装置与上文描述的换脸方法可相互对应参照。
图8是本发明提供的换脸装置的结构示意图，如图8所示，该装置包括：
图像确定单元810，用于确定源人脸图像和目标人脸图像；
换脸单元820，用于将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；
所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的。
本发明实施例提供的装置，结合人脸判别器训练所得的人脸生成器，具有较强的泛化性能，可以适配任意人脸图像，无身份限制。且人脸生成器的训练样本也不需要大量相同身份的人脸图像，能够有效降低样本获取难度和获取成本，进一步提高换脸方法的适用范畴。
进一步地，本发明实施例中的人脸生成器，无论是训练还是测试阶段，针对每个身份仅需一张人脸图像，即本发明实施例可实现单样本的换脸方法。
基于上述任一实施例，所述人脸生成器包括解耦表示模块和语义融合模块；
所述换脸单元820包括：
解耦表示子单元，用于将所述源人脸图像和目标人脸图像输入至所述解耦表示模块，得到所述解耦表示模块输出的所述源人脸图像的身份编码和所述目标人脸图像的属性编码；
语义融合子单元，用于将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，得到所述语义融合模块输出的所述换脸图像。
基于上述任一实施例，所述语义信息包括人脸语义分割图和/或人脸关键点图。
基于上述任一实施例，所述语义融合子单元用于：
将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于反归一化方式顺次将所述目标人脸图像的人脸语义分割图的编码、所述源人脸图像的身份编码，以及所述目标人脸图像的人脸关键点图的编码，注入所述目标人脸图像的属性编码，得到所述语义融合模块输出的换脸图像。
基于上述任一实施例，该装置还包括：
生成训练单元，用于将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对；
对抗训练单元，用于将所述样本图像对及其换脸图像对中的各图像分别输入至所述人脸判别器中，得到所述人脸判别器的判别结果；
损失评估单元，用于基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值；
参数更新单元，用于基于所述损失函数值更新所述初始生成器，得到所述人脸生成器。
基于上述任一实施例，所述生成训练单元用于：
将所述样本图像对输入至初始生成器中，由所述初始生成器分别提取所述样本图像对中两张样本图像的身份编码和属性编码，并基于同一样本图像的身份编码和属性编码重建图像，基于不同样本图像的身份编码和属性编码合成图像，得到所述初始生成器输出的重建图像对和换脸图像对。
基于上述任一实施例，所述损失评估单元用于：
基于身份保持损失值、属性保持损失值和重建损失值中的至少一种，以及对抗损失值，确定所述损失函数值；
其中，所述身份保持损失值是基于所述样本图像对和所述换脸图像对中各图像的身份编码确定的；
所述属性保持损失值是基于所述样本图像对和所述换脸图像对中各图像的属性编码确定的；
所述重建损失值是基于所述样本图像对和所述重建图像对确定的；
所述对抗损失值是基于所述判别结果确定的。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行换脸方法，该方法包括：确定源人脸图像和目标人脸图像；将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的换脸方法，该方法包括：确定源人脸图像和目标人脸图像；将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的换脸方法，该方法包括：确定源人脸图像和目标人脸图像；将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种换脸方法，其特征在于，包括：
确定源人脸图像和目标人脸图像；
将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；
所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的；
所述人脸生成器包括解耦表示模块和语义融合模块；
所述将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像，包括：
将所述源人脸图像和目标人脸图像输入至所述解耦表示模块，得到所述解耦表示模块输出的所述源人脸图像的身份编码和所述目标人脸图像的属性编码；
将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，得到所述语义融合模块输出的所述换脸图像；
所述语义信息包括人脸语义分割图和人脸关键点图；
所述基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，包括：
应用反归一化层替换所述语义融合模块中残差块的归一化层，通过反归一化的形式顺次将目标人脸图像的人脸语义分割图的编码、源人脸图像的身份编码，以及目标人脸图像的人脸关键点图的编码注入目标人脸图像的属性编码。
2.根据权利要求1所述的换脸方法，其特征在于，所述人脸生成器是基于如下步骤确定的：
将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对；
将所述样本图像对及其换脸图像对中的各图像分别输入至所述人脸判别器中，得到所述人脸判别器的判别结果；
基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值；
基于所述损失函数值更新所述初始生成器，得到所述人脸生成器。
3.根据权利要求2所述的换脸方法，其特征在于，所述将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对，包括：
将所述样本图像对输入至初始生成器中，由所述初始生成器分别提取所述样本图像对中两张样本图像的身份编码和属性编码，并基于同一样本图像的身份编码和属性编码重建图像，基于不同样本图像的身份编码和属性编码合成图像，得到所述初始生成器输出的重建图像对和换脸图像对。
4.根据权利要求2所述的换脸方法，其特征在于，所述基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值，包括：
基于身份保持损失值、属性保持损失值和重建损失值中的至少一种，以及对抗损失值，确定所述损失函数值；
其中，所述身份保持损失值是基于所述样本图像对和所述换脸图像对中各图像的身份编码确定的；
所述属性保持损失值是基于所述样本图像对和所述换脸图像对中各图像的属性编码确定的；
所述重建损失值是基于所述样本图像对和所述重建图像对确定的；
所述对抗损失值是基于所述判别结果确定的。
5.一种换脸装置，其特征在于，包括：
图像确定单元，用于确定源人脸图像和目标人脸图像；
换脸单元，用于将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；
所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的；
所述人脸生成器包括解耦表示模块和语义融合模块；
所述将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像，包括：
将所述源人脸图像和目标人脸图像输入至所述解耦表示模块，得到所述解耦表示模块输出的所述源人脸图像的身份编码和所述目标人脸图像的属性编码；
将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，得到所述语义融合模块输出的所述换脸图像；
所述语义信息包括人脸语义分割图和人脸关键点图；
所述基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，包括：
应用反归一化层替换所述语义融合模块中残差块的归一化层，通过反归一化的形式顺次将目标人脸图像的人脸语义分割图的编码、源人脸图像的身份编码，以及目标人脸图像的人脸关键点图的编码注入目标人脸图像的属性编码。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述换脸方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述换脸方法的步骤。
CN202110337402.0A 2021-03-30 2021-03-30 换脸方法、装置、电子设备和存储介质 Active CN112734634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110337402.0A CN112734634B (zh) 2021-03-30 2021-03-30 换脸方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110337402.0A CN112734634B (zh) 2021-03-30 2021-03-30 换脸方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112734634A CN112734634A (zh) 2021-04-30
CN112734634B true CN112734634B (zh) 2021-07-27

Family

ID=75596023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110337402.0A Active CN112734634B (zh) 2021-03-30 2021-03-30 换脸方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112734634B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486944A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 人脸融合方法、装置、设备及存储介质
CN113609960B (zh) * 2021-08-03 2023-07-28 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
CN113592982B (zh) * 2021-09-29 2022-09-27 北京奇艺世纪科技有限公司 身份迁移模型构建方法、装置、电子设备及可读存储介质
CN114187624B (zh) * 2021-11-09 2023-09-22 北京百度网讯科技有限公司 图像生成方法、装置、电子设备及存储介质
CN114187165A (zh) * 2021-11-09 2022-03-15 阿里巴巴云计算(北京)有限公司 图像处理方法和装置
CN114445877A (zh) * 2021-12-27 2022-05-06 厦门市美亚柏科信息股份有限公司 一种智能换脸方法、装置以及计算机存储介质
CN114581612B (zh) * 2022-04-28 2022-08-02 南京理工大学 混合动作表示的高保真人脸重现方法
CN114926322B (zh) * 2022-05-12 2024-03-15 北京百度网讯科技有限公司 图像生成方法、装置、电子设备和存储介质
CN114972016A (zh) * 2022-06-02 2022-08-30 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品
CN115713680B (zh) * 2022-11-18 2023-07-25 山东省人工智能研究院 一种基于语义引导的人脸图像身份合成方法
CN115578779B (zh) * 2022-11-23 2023-03-10 腾讯科技（深圳）有限公司 一种换脸模型的训练、基于视频的换脸方法和相关装置
CN115984094B (zh) * 2022-12-05 2023-11-10 中南大学 基于多损失约束视角一致性保持人脸安全生成方法及设备
CN117201874B (zh) * 2023-11-08 2024-01-23 北京远鉴信息技术有限公司 一种人脸图像替换方法、装置、电子设备及存储介质
CN117854159A (zh) * 2023-12-13 2024-04-09 中国科学院自动化研究所 人脸防伪识别方法及装置
CN117893642B (zh) * 2024-03-15 2024-06-28 南昌市小核桃科技有限公司 一种面部形状重塑与五官交换的换脸方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446364A (zh) * 2021-01-29 2021-03-05 中国科学院自动化研究所 高清人脸替换视频生成方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN108846793B (zh) * 2018-05-25 2022-04-22 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN111428667A (zh) * 2020-03-31 2020-07-17 天津中科智能识别产业技术研究院有限公司 一种基于解耦表达学习生成对抗网络的人脸图像转正方法
CN111598818B (zh) * 2020-04-17 2023-04-28 北京百度网讯科技有限公司 人脸融合模型训练方法、装置及电子设备
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN112541966A (zh) * 2020-12-09 2021-03-23 南京航空航天大学 一种基于重建和生成网络的人脸替换方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446364A (zh) * 2021-01-29 2021-03-05 中国科学院自动化研究所 高清人脸替换视频生成方法及系统

Also Published As

Publication number Publication date
CN112734634A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112734634B (zh) 换脸方法、装置、电子设备和存储介质
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
Jiang et al. A deep evaluator for image retargeting quality by geometrical and contextual interaction
CN116721334B (zh) 图像生成模型的训练方法、装置、设备及存储介质
KR102117654B1 (ko) 자연어 기반의 비디오 생성 방법 및 장치
US20220335685A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN112861805B (zh) 一种基于内容特征和风格特征的人脸图像生成方法
CN116704079B (zh) 图像生成方法、装置、设备及存储介质
WO2023231182A1 (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN113140020A (zh) 一种基于伴随监督生成对抗网络的文本生成图像的方法
CN111402365A (zh) 一种基于双向架构对抗生成网络的由文字生成图片的方法
CN113361646A (zh) 基于语义信息保留的广义零样本图像识别方法及模型
CN117788629B (zh) 一种具有风格个性化的图像生成方法、装置及存储介质
CN117557689B (zh) 图像处理方法、装置、电子设备及存储介质
WO2022096944A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
CN114332565A (zh) 一种基于分布估计的条件生成对抗网络文本生成图像方法
CN116721176B (zh) 一种基于clip监督的文本到人脸图像生成方法及装置
CN117496099A (zh) 三维图像编辑方法、系统、电子设备及存储介质
CN116958712A (zh) 基于先验概率分布的图像生成方法、系统、介质及设备
CN116959109A (zh) 人体姿态图像的生成方法、装置、设备和存储介质
JP7479507B2 (ja) 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
Kasi et al. A deep learning based cross model text to image generation using DC-GAN
CN117011416A (zh) 一种图像处理方法、装置、设备、介质及程序产品
CN115878391A (zh) 磁盘异常的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant