CN112560758A - 一种人脸属性编辑方法、系统、电子设备及存储介质 - Google Patents

一种人脸属性编辑方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN112560758A
CN112560758A CN202011549216.5A CN202011549216A CN112560758A CN 112560758 A CN112560758 A CN 112560758A CN 202011549216 A CN202011549216 A CN 202011549216A CN 112560758 A CN112560758 A CN 112560758A
Authority
CN
China
Prior art keywords
face
editing
image
attribute editing
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011549216.5A
Other languages
English (en)
Inventor
李安
李玉乐
项伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202011549216.5A priority Critical patent/CN112560758A/zh
Publication of CN112560758A publication Critical patent/CN112560758A/zh
Priority to PCT/CN2021/133021 priority patent/WO2022135013A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种人脸属性编辑方法、系统、电子设备及存储介质。本申请实施例提供的技术方案，通过将原始人脸图像输入生成模型的生成器，由生成器的编码器将原始人脸图像转换为多个编码向量，将多个编码向量分别输入生成器的解码器，解码器基于多路仿射变换模块和风格转换模块分别对多个编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路属性编辑结果输出对应原始人脸图像的人脸属性编辑图像。采用上述技术手段，通过多路编码向量进行多路人脸属性编辑，可以避免属性纠缠，优化人脸属性编辑效果。并通过引入随机噪声，增强人脸属性编辑图像的真实性，提升图像质量，进而提升人脸属性编辑的泛化性能。

Description

一种人脸属性编辑方法、系统、电子设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种人脸属性编辑方法、系统、电子设备及存储介质。
背景技术
人脸属性编辑是计算机视觉领域的一种具有挑战性和趣味性的技术。人脸属性编辑通过给定一张带有人脸的图像以及想要改变的人脸属性，从而生成对应属性的人脸图像，同时使原有人脸的其他属性保持不变。例如，给定A的人脸照片，以及人脸属性“变老”，基于人脸属性编辑即可得到A变老的人脸照片。目前人脸属性编辑技术已经在短视频、电影制作和图片编辑等领域得到广泛的应用。但是，现有的人脸属性编辑技术生成的图像存在不自然，泛化性能弱等问题，其对进行编辑的图像质量要求相对较高，且对于低质量图像的属性编辑而言，其输出图像的效果相对较差。
发明内容
本申请实施例提供一种人脸属性编辑方法、系统、电子设备及存储介质，能够对人脸图像进行人脸属性编辑，提升泛化性能，并优化人脸图像的人脸属性编辑效果。
在第一方面，本申请实施例提供了一种人脸属性编辑方法，包括：
将原始人脸图像输入生成模型的生成器，所述生成器包括编码器和解码器，由所述编码器将所述原始人脸图像转换为多个编码向量，将多个所述编码向量分别输入所述解码器；
所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路所述属性编辑结果输出对应所述原始人脸图像的人脸属性编辑图像。
进一步的，所述生成模型的训练流程包括：
以训练样本图像作为模型输入，以所述训练样本图像的人脸属性编辑图像作为模型输出训练所述生成器；
使用所述生成模型的判别器验证所述训练样本图像的人脸属性编辑图像，并根据所述生成模型的损失函数调整所述生成器的人脸属性编辑参数，直至所述损失函数收敛。
进一步的，所述损失函数包括：生成式对抗网络损失、感知损失和属性分类损失；
所述生成式对抗网络损失用于约束所述人脸属性编辑图像的人脸属性编辑结果；
所述感知损失用于约束所述原始人脸图像和所述人脸属性编辑图像的人脸特征和姿态信息；
所述属性分类损失用于约束所述人脸属性编辑图像的属性纠缠。
进一步的，所述生成式对抗网络损失包括生成器损失和判别器损失。所述生成式对抗网络损失计算公式为：
Loss_G＝E(D(G(x)-1)2)
Loss_D＝E((D(x)-1)2+D(G(x))2)
其中，D为判别器，G为生成器，x为模型输入的特征图，E表示求取均值，G(x)表示所述生成器生成的人脸属性编辑图像，D(x)表示所述判别器对所述人脸属性编辑图像的验证结果，LOSS_G表示生成器损失，LOSS_D表示判别器损失。
进一步的，所述感知损失的计算公式为：
Perceptual Loss＝E((VGG(x)-VGG(G(x))2)
其中，Perceptual Loss为感知损失，E表示求取均值，x为模型输入的特征图，G(x)表示所述生成器生成的人脸属性编辑图像，VGG表示网络模型最后一个卷积层输出。
进一步的，所述属性分类损失基于预先训练的属性分类模型确定。所述属性分类损失计算公式为：
attr_Loss＝E((resnet(x)-resnet(G(x))2)
其中，attr_Loss表示属性分类损失，E表示求取均值，x为模型输入的特征图，G(x)表示所述生成器生成的人脸属性编辑图像，resnet表示预先训练的属性分类模型。
进一步的，所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，包括：
将所述编码向量输入仿射变换模块生成对应的偏置因子和缩放因子，将所述偏置因子和所述缩放因子输入风格转换模块；
所述风格转换模块基于所述原始人脸图像的特征图、偏置因子和缩放因子进行人脸属性编辑，并引入随机噪声生成对应的属性编辑结果。
进一步的，将所述编码向量输入仿射变换模块生成对应的偏置因子和缩放因子，包括：
将所述编码向量扩大两倍转换为输出向量，并将所述输出向量转换为对应的偏置因子和缩放因子。
进一步的，所述风格转换模块的计算公式为：
Figure BDA0002856625390000031
其中，AdaIN(x，y)为属性编辑结果，y_s为缩放因子，y_b为偏置因子，x为模型输入的特征图，σ表示求取标准差，u表示求取均值。
在第二方面，本申请实施例提供了一种人脸属性编辑系统，包括：
编码模块，用于将原始人脸图像输入生成模型的生成器，所述生成器包括编码器和解码器，由所述编码器将所述原始人脸图像转换为多个编码向量，将多个所述编码向量分别输入所述解码器；
编辑模块，用于通过所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路所述属性编辑结果输出对应所述原始人脸图像的人脸属性编辑图像。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的人脸属性编辑方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的人脸属性编辑方法。
本申请实施例通过将原始人脸图像输入生成模型的生成器，由生成器的编码器将原始人脸图像转换为多个编码向量，将多个编码向量分别输入生成器的解码器，解码器基于多路仿射变换模块和风格转换模块分别对多个编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路属性编辑结果输出对应原始人脸图像的人脸属性编辑图像。采用上述技术手段，通过多路编码向量进行多路人脸属性编辑，可以避免属性纠缠，优化人脸属性编辑效果。并通过引入随机噪声，增强人脸属性编辑图像的真实性，提升图像质量，进而提升人脸属性编辑的泛化性能。
附图说明
图1是本申请实施例一提供的一种人脸属性编辑方法的流程图；
图2是本申请实施例一中的生成器的网络架构示意图；
图3是本申请实施例一中生成模型的训练流程图；
图4是本申请实施例一中残差模块的架构示意图；
图5是本申请实施例一中解码器人脸属性编辑流程图；
图6是本申请实施例一中解码器人脸属性编辑架构示意图；
图7是本申请实施例一中反射变换模块的编码向量转换流程图；
图8是本申请实施例二提供的一种人脸属性编辑系统的结构示意图；
图9是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种人脸属性编辑方法，旨在通过生成模型将原始图像进行人脸属性编辑，得到对应的人脸属性编辑图像。并在人脸属性编辑过程中，通过将原始图像转换为多个编码向量进行多路人脸属性编辑，通过引入随机噪声，以此来增加人脸属性编辑图像的真实性，提升图像质量，优化人脸图像编辑效果。对于传统的3D贴图技术进行人脸属性编辑时，其需要预先处理设计好的3D纹理，并根据人脸关键点信息，直接贴到脸部的特定区域，这种方法依赖人脸关键点，其多样性差，生成图像不自然，存在一定局限性。而采用传统生成式对抗网络模型进行人脸图像编辑时，一般是从原始图像中提取人脸的信息，再将属性标签注入，从而通过属性标签控制生成人脸的属性，达到属性编辑的目的。这种方法虽然生成的图像相对自然，可拓展性强。但是也存在属性纠缠的问题，并且，其对低质图像的人脸属性编辑效果相对较差。基于此，提供本申请实施例的人脸属性编辑方法，以解决现有人脸属性编辑的属性纠缠及图像质量问题。
实施例一：
图1给出了本申请实施例一提供的一种人脸属性编辑方法的流程图，本实施例中提供的人脸属性编辑方法可以由人脸属性编辑设备执行，该人脸属性编辑设备可以通过软件和/或硬件的方式实现，该人脸属性编辑设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该人脸属性编辑设备可以是电脑等计算机设备。
下述以人脸属性编辑设备为执行人脸属性编辑方法的主体为例，进行描述。参照图1，该人脸属性编辑方法具体包括：
S110、将原始人脸图像输入生成模型的生成器，所述生成器包括编码器和解码器，由所述编码器将所述原始人脸图像转换为多个编码向量，将多个所述编码向量分别输入所述解码器；
S120、所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路所述属性编辑结果输出对应所述原始人脸图像的人脸属性编辑图像。
本申请实施例采用一个端对端的生成模型进行人脸属性编辑，该生成模型为基于生成式对抗网络的生成模型，使用生成式对抗网络模型的架构，通过生成模型的生成器实现属性编辑。
在此之前，需要预先训练该生成模型，以用于后续进行人脸属性编辑。需要说明的是，本申请实施例基于生成式对抗网络的生成模型在训练时主要对其生成器进行训练，以使生成器能够进行人脸属性编辑。而对于判别器而言，则需要对生成器完成编辑的人脸属性编辑图像进行验证，判断其是否准确。可以理解的是，基于生成式对抗网络的原理，生成器和判别器互相博弈学习，当判别器无法辨认生成器生成的人脸属性编辑图像与真实样本图像的差异时，则生成器训练完成，可以用于进行人脸属性编辑。
具体的，参照图2，提供本申请实施例生成器的网络架构示意图。如图2所示，生成器包括编码器和解码器两个部分，其中，编码器的目的是将任意一张图像编码为编码向量w，再将w注入到解码器中，解码器基于Stylegan模型(一种可以生成高分辨率图像的生成式对抗网络模型)的结构构建，基于解码器将编码向量转换为人脸属性编辑图像，在图像转换过程中，还进一步引入随机噪声信息(如人脸雀斑特征等信息)，可以使生成的人脸属性编辑图像逼真且高清，进而提升本申请实施例生成模型的泛化性能，优化人脸属性编辑效果。
进一步的，该编码器采用残差模块(Resblock)的结构，由5个残差模块和一个全连接层(FC)组成。编码器的输入为原始人脸图像，编码器的输出为N*512的编码向量w(当输入图像为256时，N为14，当输入图像大小为1024，N为18)。不同于传统生成模型的编码器只输出1*512维的向量，本申请实施例编码器采用输出N个不同的1*512维向量，可以更好地控制属性纠缠的问题，通过输出N路编码向量w，将N路编码向量w采用AdaIN的注入方式注入解码器中，进行图像转化得到对应的人脸属性编辑图像。解码器基于Stylegan模型(一种可以生成高分辨率图像的生成式对抗网络模型)的结构构建，Stylegan模型是一种基于样式的生成网络，其借鉴风格迁移的方法，以生成高清的人脸属性编辑图像，并能够在一定程度上将人脸图像不同的属性解缠出来，从而有利于属性编辑。解码器的常量限定符“const 4×4×512”是可以学习的参数，其作用是学到一个均脸。“A”表示仿射变换模块，“AdaIN”表示风格转换模块，仿射变换模块为可学习的仿射变换，其包括一个全连接层。对于输入的一路编码向量w(1*512)，仿射变换模块将其维度扩大为两倍，输出为(2*512)的向量。然后将输出的向量转化为偏置因子和缩放因子。风格转换模块则通过偏置因子和缩放因子结合原始人脸图像的特征图进行风格转换，得到对应的人脸属性编辑结果。由于编码向量为多路，通过多路仿射变换模块和风格转换模块进行编码向量的仿射变换和风格转换，进而得到对应的人脸属性编辑结果，以此可以将人脸图像的不同属性解缠出来，避免人脸属性纠缠的问题。进而通过综合各个人脸属性编辑结果输出最终的人脸属性编辑图像，完成人脸属性编辑。更进一步的，解码器在将编码向量转换为人脸属性编辑图像时，还对应各路人脸属性编辑结果添加相应的随机噪声(如人脸雀斑特征等信息)，将随机噪声(B)注入解码器，以此可以使生成的人脸属性编辑图像更具真实性。
在进行本申请实施例生成模型的训练时，参照图3，生成模型的训练流程包括：
S101、以训练样本图像作为模型输入，以所述训练样本图像的人脸属性编辑图像作为模型输出训练所述生成器；
S102、使用所述生成模型的判别器验证所述训练样本图像的人脸属性编辑图像，并根据所述生成模型的损失函数调整所述生成器的人脸属性编辑参数，直至所述损失函数收敛。
基于生成式对抗网络模型的特性，在训练生成模型时，使用多样性强、不同肤色、不同人种、不同年龄的人脸图像作为训练样本图像，将训练样本图像输入编码器进行编码后将多路编码向量注入解码器，生成对应的人脸属性编辑图像。基于该人脸属性编辑图像由判别器进行验证，判断解码器生成的人脸属性编辑图像与真实样本图像的差异，并不断基于损失函数调整生成器的人脸属性编辑参数，其中主要对解码器的人脸属性编辑参数进行调整。当损失函数收敛，判别器无法辨别解码器生成的人脸属性编辑图像与真实样本图像时，则该生成器训练完成。
具体的，所述损失函数包括：生成式对抗网络损失、感知损失和属性分类损失；所述生成式对抗网络损失用于约束所述人脸属性编辑图像的人脸属性编辑结果；所述感知损失用于约束所述原始人脸图像和所述人脸属性编辑图像的人脸特征和姿态信息；所述属性分类损失用于约束所述人脸属性编辑图像的属性纠缠。生成式对抗网络损失采用最小二乘损失，主要用于约束生成的人脸属性编辑图像的属性为模型实际想要的人脸属性，以及属性编辑后生成图像的真实性。属性分类损失主要是用来约束人脸属性编辑图像各个属性纠缠的问题，避免属性纠缠影响人脸图像编辑效果。
更具体的，生成式对抗网络损失包括生成器损失和判别器损失，所述生成式对抗网络损失计算公式为：
Loss_G＝E(D(G(x)-1)2)
Loss_D＝E((D(x)-1)2+D(G(x))2)
其中，D为判别器，G为生成器，x为模型输入的特征图，E表示求取均值，G(x)表示所述生成器生成的人脸属性编辑图像，D(x)表示所述判别器对所述人脸属性编辑图像的验证结果，LOSS_G表示生成器损失，LOSS_D表示判别器损失。生成式对抗网络损失标识了生成的图像的真实性以及生成的图像属性编辑的准确性，通过不断调整人脸属性参数至生成式对抗网络损失收敛时，则生成器生成的人脸属性编辑图像更符合生成模型的人脸属性编辑需求，其人脸属性编辑图像更加真实。
所述感知损失的计算公式为：
Perceptual Loss＝E((VGG(x)-VGG(G(x))2)
其中，Perceptual Loss为感知损失，E表示求取均值，x为模型输入的特征图，G(x)表示所述生成器生成的人脸属性编辑图像，VGG表示网络模型最后一个卷积层输出。感知损失标识了原始人脸图像和人脸属性编辑图像在人脸特征和姿势的差异。通过不断调整人脸属性参数至感知损失收敛时，可以确保原始人脸图像和人脸属性编辑图像的人脸特征和姿势相近，符合人脸属性的编辑需求，使指定的人脸属性发生改变的同时保证其他属性保持不变。
属性分类损失基于预先训练的属性分类模型确定，所述属性分类损失计算公式为：
attr_Loss＝E((resnet(x)-resnet(G(x))2)
其中，attr_Loss表示属性分类损失，E表示求取均值，x为模型输入的特征图，G(x)表示所述生成器生成的人脸属性编辑图像，resnet表示预先训练的属性分类模型。属性分类损失标识了人脸属性编辑图像的属性纠缠情况，通过不断调整人脸属性参数至属性分类损失收敛，可以解决人脸属性纠缠的问题，确保生成的人脸属性编辑图像效果更好。
通过上述生成模型的训练构建后，即可将其生成器用于人脸图像属性编辑。其中，通过将原始图像输入生成器的编码器，编码器通过5个残差模块和一个全连接层(FC)将原始图像转换为多路编码向量。残差模块(Resblock)如图4所示，残差模块采用的结构通过跨连的方式连接各个卷积层和relu层，以此可以有效地防止训练过程中梯度消失的问题。基于编码器生成多路编码向量之后，即可将编码向量输入解码器，解码器通过仿射变换模块和风格转换模块进行图像转换生成人脸属性编辑图像。
参照图5，解码器人脸属性编辑流程包括：
S1201、将所述编码向量输入仿射变换模块生成对应的偏置因子和缩放因子，将所述偏置因子和所述缩放因子输入风格转换模块；
S1202、所述风格转换模块基于所述原始人脸图像的特征图、偏置因子和缩放因子进行人脸属性编辑，并引入随机噪声生成对应的属性编辑结果。
具体的，如图6所示，提供本申请实施例解码器人脸属性编辑架构示意图。解码器通过仿射变换模块(A)和风格转换模块(AdaIN)构成基于样式的生成网络，以此来基于编码向量进行转换得到人脸属性编辑结果。其中，参照图7，仿射变换模块进行编码向量转换时，将所述编码向量扩大两倍转换为输出向量，并将所述输出向量转换为对应的偏置因子和缩放因子。将偏置因子和缩放因子注入风格转换模块(AdaIN)，风格转换模块(AdaIN)基于原始人脸图像的特征图、偏置因子和缩放因子进行人脸属性编辑，并引入随机噪声，输出人脸属性编辑结果。
其中，所述风格转换模块的计算公式为：
Figure BDA0002856625390000091
其中，AdaIN(x，y)为属性编辑结果，y_s为缩放因子，y_b为偏置因子，x为模型输入的特征图，σ表示求取标准差，u表示求取均值。
基于上述风格转换模块的计算公式即可通过图像转换得到对应的人脸属性编辑结果。并且，考虑到人脸属性编辑图像的真实性编辑需求，进一步通过引入随机噪声，以使生成的人脸属性编辑图像自然且具备真实性。最终，通过综合各路人脸属性编辑结果，生成人脸属性编辑图像并输出，完成该原始人脸图像的编辑。
示例性的，基于上述生成模型，在进行人脸属性编辑时，通过给定一张人脸图片和指定改变的属性标签，基于属性标签设定生成器对应的人脸属性编辑参数，将目标人脸图片输入生成器，生成器将人脸图片上的对应人脸属性变换为指定的属性，并保持人脸的其他属性不改变，以此完成一张人脸图片的人脸属性变换。例如，输入一张大人的人脸图片，基于“变年轻”的相关属性标签构建生成器，将人脸图片输入生成器进行人脸属性编辑，输出一张小孩的人脸图片；输入一张小孩的人脸图片，基于“变老”的相关属性标签构建生成器，将人脸图片输入生成器进行人脸属性编辑，输出一张老人的人脸图片。在一些实施例中，通过设置不同的属性标签，可以适应性改变原始人脸图像的指定人脸属性，例如，输入一张真实的人脸图片，基于“卡通化”的相关属性标签构建生成器，将人脸图片输入生成器进行人脸属性编辑，输出一张卡通人脸图片。需要说明的是，本申请实施例基于不同的人脸属性标签，根据上述生成模型的训练方式训练生成一个用于人脸属性编辑的生成器，以此即可将输入生成器的原始人脸头像编辑为需求指定人脸属性的人脸属性编辑图像，并保持其他属性不变，以此来优化人脸属性编辑效果。
此外，在一个实施例中，通过给定一段源视频和视频中人脸需要改变的人脸属性标签，基于相关属性标签训练构建生成器后，将视频中每一帧的人脸图片逐帧输入生成器进行人脸属性编辑，将对应人脸属性改变为指定的属性，并保证其他的属性不变，逐帧输出人脸属性编辑图像，进一步按照时间戳将各帧人脸属性编辑图像合并即可构成人脸属性编辑后的视频，以此完成一段源视频的人脸属性编辑。
上述，通过将原始人脸图像输入生成模型的生成器，由生成器的编码器将原始人脸图像转换为多个编码向量，将多个编码向量分别输入生成器的解码器，解码器基于多路仿射变换模块和风格转换模块分别对多个编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路属性编辑结果输出对应原始人脸图像的人脸属性编辑图像。采用上述技术手段，通过多路编码向量进行多路人脸属性编辑，可以避免属性纠缠，优化人脸属性编辑效果。并通过引入随机噪声，增强人脸属性编辑图像的真实性，提升图像质量，进而提升人脸属性编辑的泛化性能。
实施例二：
在上述实施例的基础上，图8为本申请实施例二提供的一种人脸属性编辑系统的结构示意图。参考图8，本实施例提供的人脸属性编辑系统具体包括：编码模块21、编辑模块22。
其中，编码模块21用于将原始人脸图像输入生成模型的生成器，所述生成器包括编码器和解码器，由所述编码器将所述原始人脸图像转换为多个编码向量，将多个所述编码向量分别输入所述解码器；
编辑模块22用于通过所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路所述属性编辑结果输出对应所述原始人脸图像的人脸属性编辑图像。
上述，通过将原始人脸图像输入生成模型的生成器，由生成器的编码器将原始人脸图像转换为多个编码向量，将多个编码向量分别输入生成器的解码器，解码器基于多路仿射变换模块和风格转换模块分别对多个编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路属性编辑结果输出对应原始人脸图像的人脸属性编辑图像。采用上述技术手段，通过多路编码向量进行多路人脸属性编辑，可以避免属性纠缠，优化人脸属性编辑效果。并通过引入随机噪声，增强人脸属性编辑图像的真实性，提升图像质量，进而提升人脸属性编辑的泛化性能。
本申请实施例二提供的人脸属性编辑系统可以用于执行上述实施例一提供的人脸属性编辑方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图9，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的人脸属性编辑方法对应的程序指令/模块(例如，人脸属性编辑系统的编码模块和编辑模块)。通信模块33用于进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人脸属性编辑方法。输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的电子设备可用于执行上述实施例一提供的人脸属性编辑方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述一种人脸属性编辑方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的人脸属性编辑方法，还可以执行本申请任意实施例所提供的人脸属性编辑方法中的相关操作。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种人脸属性编辑方法，其特征在于，包括：
将原始人脸图像输入生成模型的生成器，所述生成器包括编码器和解码器，由所述编码器将所述原始人脸图像转换为多个编码向量，将多个所述编码向量分别输入所述解码器；
所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路所述属性编辑结果输出对应所述原始人脸图像的人脸属性编辑图像。
2.根据权利要求1所述的人脸属性编辑方法，其特征在于，所述生成模型的训练流程包括：
以训练样本图像作为模型输入，以所述训练样本图像的人脸属性编辑图像作为模型输出训练所述生成器；
使用所述生成模型的判别器验证所述训练样本图像的人脸属性编辑图像，并根据所述生成模型的损失函数调整所述生成器的人脸属性编辑参数，直至所述损失函数收敛。
3.根据权利要求2所述的人脸属性编辑方法，其特征在于，所述损失函数包括：生成式对抗网络损失、感知损失和属性分类损失；
所述生成式对抗网络损失用于约束所述人脸属性编辑图像的人脸属性编辑结果；
所述感知损失用于约束所述原始人脸图像和所述人脸属性编辑图像的人脸特征和姿态信息；
所述属性分类损失用于约束所述人脸属性编辑图像的属性纠缠。
4.根据权利要求3所述的人脸属性编辑方法，其特征在于，所述生成式对抗网络损失包括生成器损失和判别器损失。
5.根据权利要求3所述的人脸属性编辑方法，其特征在于，所述属性分类损失基于预先训练的属性分类模型确定。
6.根据权利要求1所述的人脸属性编辑方法，其特征在于，所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，包括：
将所述编码向量输入仿射变换模块生成对应的偏置因子和缩放因子，将所述偏置因子和所述缩放因子输入风格转换模块；
所述风格转换模块基于所述原始人脸图像的特征图、偏置因子和缩放因子进行人脸属性编辑，并引入随机噪声生成对应的属性编辑结果。
7.根据权利要求6所述的人脸属性编辑方法，其特征在于，将所述编码向量输入仿射变换模块生成对应的偏置因子和缩放因子，包括：
将所述编码向量扩大两倍转换为输出向量，并将所述输出向量转换为对应的偏置因子和缩放因子。
8.一种人脸属性编辑系统，其特征在于，包括：
编码模块，用于将原始人脸图像输入生成模型的生成器，所述生成器包括编码器和解码器，由所述编码器将所述原始人脸图像转换为多个编码向量，将多个所述编码向量分别输入所述解码器；
编辑模块，用于通过所述解码器基于多路仿射变换模块和风格转换模块分别对多个所述编码向量进行属性编辑，并引入随机噪声生成对应的属性编辑结果，基于各路所述属性编辑结果输出对应所述原始人脸图像的人脸属性编辑图像。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的人脸属性编辑方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的人脸属性编辑方法。
CN202011549216.5A 2020-12-24 2020-12-24 一种人脸属性编辑方法、系统、电子设备及存储介质 Pending CN112560758A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011549216.5A CN112560758A (zh) 2020-12-24 2020-12-24 一种人脸属性编辑方法、系统、电子设备及存储介质
PCT/CN2021/133021 WO2022135013A1 (zh) 2020-12-24 2021-11-25 一种人脸属性编辑方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011549216.5A CN112560758A (zh) 2020-12-24 2020-12-24 一种人脸属性编辑方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112560758A true CN112560758A (zh) 2021-03-26

Family

ID=75033297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011549216.5A Pending CN112560758A (zh) 2020-12-24 2020-12-24 一种人脸属性编辑方法、系统、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN112560758A (zh)
WO (1) WO2022135013A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991160A (zh) * 2021-05-07 2021-06-18 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN113536991A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 训练集生成、人脸图像处理方法、装置及电子设备
CN113706663A (zh) * 2021-08-27 2021-11-26 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN114549283A (zh) * 2022-01-14 2022-05-27 同济大学 图像生成模型的训练方法及图像生成方法
WO2022135013A1 (zh) * 2020-12-24 2022-06-30 百果园技术(新加坡)有限公司 一种人脸属性编辑方法、系统、电子设备及存储介质
WO2023072067A1 (zh) * 2021-10-25 2023-05-04 百果园技术(新加坡)有限公司 人脸属性编辑模型的训练以及人脸属性编辑方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051705B (zh) * 2022-09-21 2023-10-27 北京数字力场科技有限公司 模型训练方法、3d服装渲染方法、电子设备及存储介质
CN115393183B (zh) * 2022-10-28 2023-02-07 腾讯科技（深圳）有限公司 图像编辑方法、装置、计算机设备和存储介质
CN116630147B (zh) * 2023-07-24 2024-02-06 北京隐算科技有限公司 一种基于强化学习的人脸图像编辑方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368662A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种人脸图像属性编辑方法、装置、存储介质及设备
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489287B (zh) * 2020-04-10 2024-02-09 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN112560758A (zh) * 2020-12-24 2021-03-26 百果园技术(新加坡)有限公司 一种人脸属性编辑方法、系统、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368662A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种人脸图像属性编辑方法、装置、存储介质及设备
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KARRAS, TERO 等: "A Style-Based Generator Architecture for Generative Adversarial Networks", ARXIV:1812.04948V3, pages 1 - 12 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022135013A1 (zh) * 2020-12-24 2022-06-30 百果园技术(新加坡)有限公司 一种人脸属性编辑方法、系统、电子设备及存储介质
CN112991160A (zh) * 2021-05-07 2021-06-18 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN112991160B (zh) * 2021-05-07 2021-08-20 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN113536991A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 训练集生成、人脸图像处理方法、装置及电子设备
CN113536991B (zh) * 2021-06-29 2023-06-23 北京百度网讯科技有限公司 训练集生成、人脸图像处理方法、装置及电子设备
CN113706663A (zh) * 2021-08-27 2021-11-26 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN113706663B (zh) * 2021-08-27 2024-02-02 脸萌有限公司 图像生成方法、装置、设备及存储介质
WO2023072067A1 (zh) * 2021-10-25 2023-05-04 百果园技术(新加坡)有限公司 人脸属性编辑模型的训练以及人脸属性编辑方法
CN114549283A (zh) * 2022-01-14 2022-05-27 同济大学 图像生成模型的训练方法及图像生成方法

Also Published As

Publication number Publication date
WO2022135013A1 (zh) 2022-06-30

Similar Documents

Publication Publication Date Title
CN112560758A (zh) 一种人脸属性编辑方法、系统、电子设备及存储介质
US11055828B2 (en) Video inpainting with deep internal learning
CN111489287B (zh) 图像转换方法、装置、计算机设备和存储介质
Ye et al. Deep joint depth estimation and color correction from monocular underwater images based on unsupervised adaptation networks
CN112651915B (zh) 一种人脸图像合成方法、系统、电子设备及存储介质
CN110246209B (zh) 图像处理方法及装置
CN113963409A (zh) 一种人脸属性编辑模型的训练以及人脸属性编辑方法
CN115914505B (zh) 基于语音驱动数字人模型的视频生成方法及系统
CN112419455B (zh) 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN114863533A (zh) 数字人生成方法和装置及存储介质
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
CN114782596A (zh) 语音驱动的人脸动画生成方法、装置、设备及存储介质
CN115393480A (zh) 基于动态神经纹理的说话人合成方法、装置和存储介质
US20240095999A1 (en) Neural radiance field rig for human 3d shape and appearance modelling
CN115100707A (zh) 模型的训练方法、视频信息生成方法、设备以及存储介质
KR102470866B1 (ko) 3d 캐릭터의 얼굴 표정 리타게팅 방법 및 이를 위해 신경망을 학습하는 방법
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN111508024A (zh) 一种基于深度学习估计机器人位姿的方法
CN115578298A (zh) 一种基于内容感知的深度肖像视频合成方法
Sun et al. Robust pose transfer with dynamic details using neural video rendering
CN115035219A (zh) 表情生成方法、装置和表情生成模型的训练方法、装置
CN114187173A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
CN113486787A (zh) 一种脸部驱动和直播方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination