CN111783603A - 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 - Google Patents

生成对抗网络训练方法、图像换脸、视频换脸方法及装置 Download PDF

Info

Publication number
CN111783603A
CN111783603A CN202010592443.XA CN202010592443A CN111783603A CN 111783603 A CN111783603 A CN 111783603A CN 202010592443 A CN202010592443 A CN 202010592443A CN 111783603 A CN111783603 A CN 111783603A
Authority
CN
China
Prior art keywords
face
image
network
original image
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010592443.XA
Other languages
English (en)
Inventor
李玉乐
陈德健
项伟
颜乐驹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Peninsula Beijing Information Technology Co ltd
Original Assignee
You Peninsula Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Peninsula Beijing Information Technology Co ltd filed Critical You Peninsula Beijing Information Technology Co ltd
Priority to CN202010592443.XA priority Critical patent/CN111783603A/zh
Publication of CN111783603A publication Critical patent/CN111783603A/zh
Priority to PCT/CN2021/094257 priority patent/WO2021258920A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种生成对抗网络训练方法、图像换脸、视频换脸方法及装置，包括：获取原图像和目标图像；初始化生成对抗网络的生成器和判别器；将原图像和目标图像输入生成器中训练获得换脸图像，其中，生成器从原图像提取第一人脸的属性特征图，从目标图像中提取第二人脸的身份特征，身份特征注入属性特征图中生成混合特征图，根据身份特征和属性特征图对混合特征图进行解码得到第二人脸替换第一人脸后的换脸图像；将原图像和换脸图像输入判别器训练得到判定值；根据判定值、换脸图像、原图像和目标图像对生成器和判别器进行调整。采用训练好的生成器来生成换脸图像，换脸效果真实自然，能够保持原图像的属性特征和目标图像的身份特征。

Description

生成对抗网络训练方法、图像换脸、视频换脸方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种生成对抗网络训练方法、图像换脸方法、视频换脸方法及装置。
背景技术
随着短视频、直播等视频应用的普及，换脸是计算机视觉领域的一项重要技术，换脸被广泛用于内容生产、电影制作、娱乐视频制作等。
换脸是指给定一张原图像和目标图像，将目标图像中的身份特征迁移到原图像中得到换脸图像，使得该换脸图像既保持目标图像的身份特征，同时又具有原图像的脸部姿态、脸部表情等属性特征，另外需求换脸图像真实自然，现有技术中包括以下三种换脸方式：
1)基于脸部关键点的脸部融合换脸，该方式先获取原图像和目标图像的脸部关键点，然后通过原图像关键点提取原图像的脸部区域，再根据目标图像的关键点将原图像的脸部区域融合到目标图像中，此方式容易造成换脸图像的脸部不真实自然。
2)基于3D脸部建模换脸，该方式分别对原图像和目标图像重建3D模型，然后从目标图像的3D模型中提取身份特征，并结合原图像的3D模型的属性特征来生成换脸图像，该方式生成的换脸图像同样不真实自然。
3)基于对抗生成网络换脸，该方式通过神经网络从原图像中提取属性特征，从目标图像中提取身份特征，然后将两个特征结合后，通过解码器来解码结合后的特征得到换脸图像，该方法生成的换脸图像真实自然，但是比较难同时保持原图像的属性特征和目标图像的身份特征。
综上所述，现有换脸技术难以获得真实自然的换脸图像，并且换脸图像中无法同时保持原图像的属性特征和目标图像的身份特征。
发明内容
本发明实施例提供一种生成对抗网络训练方法、图像换脸方法、视频换脸方法、装置、电子设备和存储介质，以解决现有换脸技术中无法获得真实自然的换脸图像，且换脸图像中无法同时保持原图像的属性特征和目标图像的身份特征的问题。
第一方面，本发明实施例提供了一种生成对抗网络训练方法，包括：
获取包含第一人脸的原图像和包含第二人脸的目标图像；
初始化生成对抗网络的生成器和判别器；
将所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像，所述生成器用于从所述原图像提取第一人脸的属性特征图，从所述目标图像中提取第二人脸的身份特征，并将所述身份特征注入所述属性特征图中生成混合特征图，以及根据所述身份特征和所述属性特征图对所述混合特征图进行解码得到所述第二人脸替换所述第一人脸后的换脸图像；
将所述原图像和所述换脸图像输入所述判别器进行训练得到判定值；
根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整。
第二方面，本发明实施例提供了一种图像换脸方法，包括：
获取包含第一人脸的原图像和包含第二人脸的目标图像；
将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
其中，所述生成器通过本发明任一实施例所述的生成对抗网络训练方法所训练。
第三方面，本发明实施例提供了一种视频换脸方法，包括：
获取待换脸视频数据；
从所述视频数据中提取包含第一人脸的视频图像作为原图像；
获取包含第二人脸的目标图像；
将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
基于所述换脸图像生成换脸后的视频数据；
其中，所述生成器通过本发明任一实施例所述的生成对抗网络训练方法所训练。
第四方面，本发明实施例提供了一种生成对抗网络训练装置，包括：
原图像和目标图像获取模块，用于获取包含第一人脸的原图像和包含第二人脸的目标图像；
生成对抗网络初始化模块，用于初始化生成对抗网络的生成器和判别器；
生成器训练模块，用于将所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像，所述生成器用于从所述原图像提取第一人脸的属性特征图，从所述目标图像中提取第二人脸的身份特征，并将所述身份特征注入所述属性特征图中生成混合特征图，以及根据所述身份特征和所述属性特征图对所述混合特征图进行解码得到所述第二人脸替换所述第一人脸后的换脸图像；
判别器训练模块，用于采用所述原图像和所述换脸图像训练所述判别器得到判定值；
参数调整模块，用于根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整。
第五方面，本发明实施例提供了一种图像换脸装置，包括：
原图像和目标图像获取模块，用于获取包含第一人脸的原图像和包含第二人脸的目标图像；
图像换脸模块，用于将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
其中，所述生成器通过本发明任一实施例所述的生成对抗网络训练方法所训练。
第六方面，本发明实施例提供了一种视频换脸装置，包括：
待换脸视频数据获取模块，用于获取待换脸视频数据；
原图像提取模块，用于从所述视频数据中提取包含第一人脸的视频图像作为原图像；
目标图像获取模块，用于获取包含第二人脸的目标图像；
视频换脸模块，用于将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
换脸视频数据生成模块，用于基于所述换脸图像生成换脸后的视频数据；
其中，所述生成器通过本发明任一实施例所述的生成对抗网络训练方法所训练。
第七方面，本发明实施例提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的生成对抗网络训练方法，和/或，图像换脸方法，和/或，视频换脸方法。
第八方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的生成对抗网络训练方法，和/或，图像换脸方法，和/或，视频换脸方法。
本发明实施例在训练生成器时，生成器从原图像提取第一人脸的属性特征图，从目标图像中提取第二人脸的身份特征，并将身份特征注入属性特征图中生成混合特征图，以及根据身份特征和属性特征图对混合特征图进行解码得到第二人脸替换第一人脸后的换脸图像，并将原图像和换脸图像输入判别器进行训练得到判定值；根据判定值、换脸图像、原图像和目标图像对生成器和判别器的参数进行调整获得训练好的生成对抗网络，实现了解码过程中结合属性特征和身份特征对混合特征图进行解码，使得换脸图像更好的保持原图像的人脸姿态、人脸表情等属性特征，同时目标图像中的身份特征也更好的融合到换脸图像中，增强了目标图像的身份特征的迁移能力，采用训练好的生成器对图像或者视频换脸时，得到的换脸图像或者视频真实自然，并且能够保持原图像的属性特征和目标图像的身份特征。
附图说明
图1是本发明实施例一提供的一种生成对抗网络训练方法的步骤流程图；
图2A是本发明实施例二提供的一种生成对抗网络训练方法的步骤流程图；
图2B是本发明实施例的生成器的示意图；
图3是本发明实施例三提供的一种图像换脸方法的步骤流程图；
图4是本发明实施例四提供的一种视频换脸方法的步骤流程图；
图5是本发明实施例五提供的一种生成对抗网络训练装置的结构框图；
图6是本发明实施例六提供的一种图像换脸装置的结构框图；
图7是本发明实施例七提供的一种视频换脸装置的结构框图；
图8是本发明实施例八提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
实施例一
图1为本发明实施例一提供的一种生成对抗网络训练方法的步骤流程图，本发明实施例可适用于训练生成对抗网络，以通过训练好的生成对抗网络的生成器以对图像或者视频进行换脸的情况，该方法可以由本发明实施例的生成对抗网络训练装置来执行，该生成对抗网络训练装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图1所示，本发明实施例的生成对抗网络训练方法可以包括如下步骤：
S101、获取包含第一人脸的原图像和包含第二人脸的目标图像。
本发明实施例中，原图像和目标图像为包括人脸的图像，其中，原图像是需要更换人脸的图像，目标图像是用来对原图像进行换脸的图像。在本发明的一个示例中，原图像可以是视频数据中提取的包含第一人脸的图像，目标图像可以是包含第二人脸的图像，第一人脸和第二人脸为不同人脸，在实际应用中，可以获取大量不同人脸的图像，从中随机抽取两张图像作为原图像和目标图像，由原图像和目标图像构成一个图像对作为训练样本。
S102、初始化生成对抗网络的生成器和判别器。
本发明实施例中，生成对抗网络(Generative Adversarial Networks，GANs)包括生成器(Generator)和判别器(Discriminator)，生成器用于输入数据后生成新图像，判别器用于判别新图像是否真实的概率。在本发明实施例中，生成器和判别器可以是神经网络，则可以初始化生成对抗网络的生成器和判别器的网络参数。
在本发明的可选实施例中，生成器可以包括编码网络、解码网络、身份提取网络和残差网络，其中，身份提取网络和残差网络可以是预先训练好的网络，初始化生成器可以是初始化生成器的编码网络和解码网络的网络参数。
S103、将所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像。
在本发明实施例中，生成器可以包括编码网络、解码网络、身份提取网络和残差网络，在生成器中，可以通过编码网络从原图像提取第一人脸的属性特征图，通过身份提取网络从目标图像中提取第二人脸的身份特征，并采用残差网络将身份特征注入属性特征图中生成混合特征图，以及在解码网络中根据身份特征和属性特征图对混合特征图进行解码，得到第二人脸替换第一人脸后的换脸图像，其中，属性特征图可以是表达第一人脸的人脸姿态、人脸表情等属性的特征图，身份特征可以是能够识别第二人脸的身份的信息。
S104、将所述原图像和所述换脸图像输入所述判别器进行训练得到判定值。
在对抗生成网络的训练过程中，生成器的目的是尽量生成真实的图像去欺骗判别器，判别器的目的把生成器生成的图像和真实的图像区分，通过交替训练生成器和判别器，使得训练生成器和判别器构成动态的“博弈过程”，最终训练好的生成器生成的图像足以“以假乱真”，即无限接近真实的图像。具体到本发明实施例中，将原图像和换脸图像输入判别器来训练判别器，每次输入后均获得换脸图像的判定值，其中，判定值可以是换脸图像属于真实图像的概率。
S105、根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整。
具体地，可以根据判定值、换脸图像、原图像和目标图像计算总损失，在总损失小于预设值时停止对生成器和判别器进行训练，否则，根据总损失调整判别器和生成器的网络参数，然后开始新一轮的训练迭代更新直到总损失小于预设值为止，停止训练后得到训练好的对抗生成网络，在将原图像和目标图像输入对抗生成网络的生成器后，生成器自动输出换脸图像。
在本发明的可选实施例中，可以根据判定值、原图像和换脸图像计算对抗损失和关键点损失，根据目标图像和换脸图像计算身份特征损失，将两张原图像输入生成器中获得原图像的自换脸图像后，根据原图像和自换脸图像计算重构损失，计算对抗损失、重构损失、关键点损失和身份特征损失的和值得到总损失，并根据总损失求梯度以对生成器的编码网络和解码网络的参数进行调整，以及根据对抗损失求梯度以对判别器的参数进行调整。
本发明实施例的生成对抗网络包括生成器和判别器，生成器从原图像提取第一人脸的属性特征图，从目标图像中提取第二人脸的身份特征，并将身份特征注入属性特征图中生成混合特征图，以及根据身份特征和属性特征图对混合特征图进行解码得到第二人脸替换第一人脸后的换脸图像，在将原图像和换脸图像输入判别器进行训练得到判定值；根据判定值、换脸图像、原图像和目标图像对生成器和判别器的参数进行调整直到获得训练好的生成对抗网络，实现了解码过程中结合原图像的属性特征和目标图像的身份特征对混合特征图进行解码，使得换脸图像更好的保持原图像的人脸姿态、人脸表情等属性特征，同时目标图像中的身份特征也更好的融合到换脸图像中，增强了目标图像的身份特征的迁移能力，采用训练好的生成对抗网络的生成器对图像或者视频换脸时，得到的换脸图像或者视频真实自然，并且能够保持原图像的属性特征和目标图像的身份特征。
实施例二
图2A为本发明实施例二提供的一种生成对抗网络训练方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，本发明实施例的生成对抗网络训练方法可以包括如下步骤：
S201、获取包含第一人脸的原图像和包含第二人脸的目标图像。
S202、初始化生成对抗网络的判别器的参数、生成器的编码网络和解码网络的参数，以及获取训练好的用于所述生成器中的残差网络和身份提取网络。
本发明实施例中，生成对抗网络包括判别器和生成器，生成器可以包括编码网络、解码网络、残差网络和身份提取网络，其中，残差网络和身份提取网络可以是预先训练好的各种神经网络。本发明实施例所指的初始化可以是初始化判别器、编码网络和解码网络的参数，具体地，可以是构建判别器、编码网络和解码网络的网络结构，并设置网络结构的网络参数。在本发明实施例中，判别器、编码网络和解码网络可以是各种神经网络。
如图2B所示为生成器的示意图，在图2B中，生成器30包括编码网络301、解码网络302、身份提取网络303、残差模块304，其中编码网络301和解码网络302可以是对称的卷积神经网络和反卷积神经网络，残差模块304连接在编码网络301和解码网络302之间，原图像10和目标图像20输入生成器30后可以获得换脸图像40。
S203、采用所述编码网络对所述原图像进行编码处理得到所述第一人脸的属性特征图。
在本发明实施例中，可以先对原图像进行预处理，获得预处理后的原图像，再将预处理后的原图像输入编码网络中，获得每个下采样卷积层输出的下采样特征图。其中，预处理包括调整图像尺寸，编码网络的最后一层下采样卷积层输出的下采样特征图即为第一人脸的属性特征图。
示例性地，如图2B所示，编码网络301可以是一个包括多个下采样卷积层的网络，在将原图像10裁剪为指定大小尺寸的图像后，将裁剪后的原图像输入到下采样卷积层，每层下采样卷积层对裁剪后的原图像进行采样编码处理输出下采样特征图，并将该下采样特征图输入到下一下采样卷积层中，编码网络最后一层下采样卷积层输出的下采样特征图即为第一人脸的属性特征图FH×W×D，H和W分别为属性特征图的高和宽，D为通道数，而对于每个下采样卷积层均输出一个下采样特征图
Figure BDA0002556162970000111
如图2B所示，编码网络301最终输出第一人脸的属性特征图50。
S204、将所述目标图像输入所述身份提取网络中提取所述第二人脸的身份特征。
在本发明实施例中，身份特征可以是指能够区分两个人脸属于不同人物的身份的信息，身份提取网络可以是预先训练好的网络，例如，可以是预先训练好的卷积神经网络CNN、循环神经网络RNN、深度神经网络DNN等。将目标图像输入该身份提取网络后可以提取第二人脸的身份特征FID，身份特征FID可以是一个一维向量，该一维向量包含了人脸的身份信息，如图2B所示，目标图像20输入身份提取网络303后得到身份特征60。
S205、采用所述残差网络将所述身份特征注入所述属性特征图中得到混合特征图。
在本发明的可选实施例中，可以先对身份特征进行转换，获得身份特征的身份特征均值和身份特征方差，将身份特征均值、身份特征方差以及属性特征图输入残差网络中，以通过残差网络将身份特征迁移到属性特征图上得到混合特征图。
如图2B所示，身份特征60可以经过一个全连接层305后输出身份特征均值μ和身份特征方差σ，身份特征均值μ、身份特征方差σ以及属性特征50一起输入到残差网络304中得到混合特征图70。
在本发明的可选实施例中，残差网络可以是自适应实例归一化的残差模块(AdaINResBlk)，残差网络可以将一个风格图片描述成特征图的均值、方差，通过改变内容图片特征图的均值、方差，从而实现风格注入，以x表示内容特征图，y表示风格图片，则残差网络的公式为：
Figure BDA0002556162970000121
上述公式中，μ_y1，σ_y1为需要注入的身份特征均值和身份特征方差，具体到本发明实施例中，x为身份特征，y为属性特征图，AdaIN(x，y)为混合特征图。
本发明实施例通过残差网络可以将第二人脸的身份特征注入到第一人脸的属性特征图中，从而采用第二人脸的身份特征替换掉第一人脸的身份特征，能够保留原图像中第一人脸的姿态、表情等信息，实现原图像中第一人脸的属性特征和目标图像中第二人脸的身份特征的结合。
S206、基于所述属性特征和所述身份特征，采用所述解码网络对所述混合特征图进行解码，获得采用所述第二人脸替换所述第一人脸后的换脸图像。
在本发明的可选实施例中，在得到混合特征图后，将混合特征图和身份特征拼接得到拼接特征，将拼接特征输入到解码网络中通过多层上采样卷积层进行采样处理得到换脸图像，其中，针对解码网络中的每个上采样卷积层，确定上采样卷积层在编码网络中对应的下采样卷积层，获取下采样卷积层输出的下采样特征图，以及获取上采样卷积层的前一上采样卷积层输出的上采样特征，拼接下采样特征图和上采样特征作为上采样卷积层的解码对象。
具体地，如图2B所示，通过残差网络304输出混合特征图70后，将身份提取网络303提取的身份特征拼接到该混合特征图70得到拼接特征，从而提高第二人脸的身份特征的迁移能力，解码网络302对该拼接特征进行解码后能够更好地保持第二人脸的身份信息。
更优选的，如图2B所示，通过跨连，将解码网络的中间特征通过跨连的方式连接到解码网络的特征层上，具体地，解码网络和编码网络为对称的上采样卷积神经网络和下采样卷积神经网络，在编码网络中，每个下采样卷积层均输出下采样特征
Figure BDA0002556162970000131
在解码网络中，每个上采样卷积层均输入上采样特征
Figure BDA0002556162970000132
对于解码网络中的某一个上采样卷积层i，可以确定该上采样卷积层i在编码网络中对应的下采样卷积层，并获得该下采样卷积层输出的下采样特征
Figure BDA0002556162970000133
将
Figure BDA0002556162970000134
和
Figure BDA0002556162970000135
进行相加后进行上采样输出上采样特征
Figure BDA0002556162970000136
作为下一上采样卷积层的输入。
本发明实施例在解码过程中，通过跨连操作将编码网络的下采样卷积层输出的中间特征输入到解码网络的上采样卷积层中，使得原图像中第一人脸的属性特征更好地融入到换脸图像中，换脸图像更真实自然。
S207、将所述原图像和所述换脸图像输入所述判别器进行训练得到判定值。
本发明实施例对生成器和判别器交替训练，先训练生成器得到换脸图像，然后采用换脸图像和原图像训练判别器，然后训练生成器，如此交替训练生成对抗网络，其中，训练一次生成器和一次判别器为一轮训练，每轮训练后生成器生成一个换脸图像，判别器对该换脸图像进行判别得到判定值，该判定值可以是换脸图像属于真实图像的概率。
S208、根据所述判定值、所述换脸图像、所述原图像和所述目标图像计算总损失。
在本发明实施例中，总损失可以是对抗损失、重构损失、关键点损失和身份特征损失的总和，可以先分别计算对抗损失、重构损失、关键点损失和身份特征损失，然后对对抗损失、重构损失、关键点损失和身份特征损失求和得到总损失，具体地可以包括以下子步骤：
S2081、根据判定值、原图像和换脸图像计算对抗损失和关键点损失。
具体地，可以根据判定值和预设对抗损失函数计算对抗损失，获取原图像和换脸图像中人脸的关键点，计算原图像和换脸图像中人脸的关键点的距离得到关键点损失。
示例性地，对抗损失gan_loss为：
gan_loss＝∑-log D(G(Xi))
上述公式中，G(Xi)为生成器生成的换脸图像，D(G(Xi))为判别器判别换脸图像G(Xi)为真实图像的判定值。
示例性地，对于关键点损失，可以通过预先训练好的脸部姿态评估网络提取原图像的脸部关键点和换脸图像的脸部关键点，然后约束换脸图像的脸部关键点和原图像的脸部关键点相似，具体地，可以获取换脸图像的脸部关键点坐标lmks_gen和原图像的脸部关键点坐标lmks_src，则关键点损失lmks_loss为：
lmks_loss＝||lmks_gen-lmks_target||2
本发明实施例通过计算关键点损失来对换脸图像进行约束，使得换脸图像的脸部关键点和原图像的脸部关键点相似，从而使得换脸图像更好地保持原图像的人脸表情、人脸姿态等属性特征。
S2082、根据所述目标图像和所述换脸图像计算身份特征损失。
在本发明的可选实施例中，身份提取网络为预先训练好的网络，可以将目标图像和换脸图像分别输入身份提取网络中，以通过身份提取网络提取目标图像中人脸的身份特征和换脸图像中人脸的身份特征，并计算目标图像中人脸的身份特征和换脸图像中人脸的身份特征的距离得到身份特征损失，示例性地，可以记换脸图像的身份特征为FeatIDgen，记目标图像的身份特征为FeatIDtarget，则身份特征损失ID_loss为：
ID_loss＝||FeatIDgen-FeatIDtarget||2
在本发明实施例中，通过计算目标图像和所述换脸图像的身份特征损失，可以约束换脸图像的身份特征与目标图像的身份特征更为相似，使得换脸图像更好地保持目标图像的身份特征。
S2083、将两张所述原图像输入所述生成器中获得所述原图像的自换脸图像，并根据所述原图像和所述自换脸图像计算重构损失。
具体地，可以将原图像同时输入生成器的编码网络和身份提取网络中，通过生成器生成原图像的自换脸图像，即通过生成器生成采用一张原图像的人脸替换另一原图像的人脸的换脸图像，然后计算该重构原图像的重构损失，示例性地，记采用两张原图像为original_img，所生成的自换脸图像为src_img，则重构损失recon_loss为：
recon_loss＝||srcimg-originalimg||2
上述公式为对原图像和自换脸图像中相同位置的像素点的像素值的差值，通过计算生成器的重构损失来约束调整生成器的参数，使得生成器生成的换脸图像更好地保持原图像的属性特征，换脸图像更为真实自然。
S2084、计算所述对抗损失、所述重构损失、所述关键点损失和所述身份特征损失的和值得到总损失。
具体地，总损失为对抗损失、重构损失、关键点损失和身份特征损失的总和，即总损失total_loss为：
total_loss＝recon_loss+ID_loss+gan_loss+lmks_loss
当然，在实际应用中，还可以为对抗损失、重构损失、关键点损失和身份特征损失设置权重，计算权重和损失的乘积得到各个损失的权值，求权值和作为总损失，本领域技术人员还可以通过计算各个损失的加权平均值等来作为总损失，本发明实施例对计算总损失的方式不加以限制。
S209、根据所述总损失对所述生成器和所述判别器的参数进行调整。
在本发明实施例中，生成对抗网络包括生成器和判别器，可以通过交替训练生成器和判别器来训练生成对抗网络，最终通过计算总损失来对生成器和判别器的参数进行调整，可选地，在一轮交替训练结束后计算得到总损失，判断总损失是否小于预设阈值，如果总损失小于预设阈值，说明生成器的精度足够高，生成器生成的换脸图像足以欺骗过判别器，可以停止对生成器和判别器进行训练，如果总损失大于预设阈值，说明生成器的精度不足，判别器仍然可以识别出生成器生成换脸图像的真假，则可以根据对抗损失调整判别器的参数，以及根据总损失调整生成器中编码器和解码器的参数，并返回S203以交替训练生成器和判别器，直到满足停止迭代训练条件。
具体地，对判别器、编码器或者解码器的参数进行调整，可以是通过梯度下降算法对参数进行更新，其中，梯度下降算法可以是随机梯度下降法SGD或者其他梯度下降法，本发明实施例对梯度算法和对参数调整更新的方法不加以限制。
本发明实施例训练生成器时，采用编码网络对原图像进行编码处理得到第一人脸的属性特征图，将目标图像输入身份提取网络中提取第二人脸的身份特征，采用残差网络将身份特征注入属性特征图中得到混合特征图，并基于属性特征和身份特征，采用解码网络对混合特征图进行解码得到换脸图像，将原图像和换脸图像输入判别器进行训练得到判定值，根据判定值、换脸图像、原图像和目标图像计算总损失，根据总损失对生成器和判别器的参数进行调整，实现了解码过程中结合原图像的属性特征和目标图像的身份特征对混合特征图进行解码，使得换脸图像更好的保持原图像的人脸姿态、人脸表情等属性特征，同时目标图像中的身份特征也更好的融合到换脸图像中，增强了目标图像的身份特征的迁移能力，采用训练好的生成对抗网络的生成器对图像或者视频换脸时，得到的换脸图像或者视频真实自然，并且能够保持原图像的属性特征和目标图像的身份特征。
进一步地，总损失包括关键点损失，通过关键点损失约束换脸图像的脸部关键点和原图像的脸部关键点相似，使得换脸图像更好地保持原图像的人脸表情、人脸姿态等属性特征。
更进一步地，总损失包括身份特征损失，通过身份特征损失约束换脸图像的身份特征与目标图像的身份特征更为相似，使得换脸图像更好地保持目标图像的身份特征。
实施例三
图3为本发明实施例三提供的一种图像换脸方法的步骤流程图，本发明实施例可适用于更换图像中的人脸的情况，该方法可以由本发明实施例的图像换脸装置来执行，该图像换脸装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图3所示，本发明实施例的图像换脸方法可以包括如下步骤：
S301、获取包含第一人脸的原图像和包含第二人脸的目标图像。
在本发明的一个示例中，用户采用目标图像中的第二人脸替换原图像中的第一人脸，使得换脸后的图像能够保持第二人脸的身份特征和第一人脸的姿态、表情等属性，在一个应用场景中，原图像为用户需要换脸的图像，目标图像可以是包含用户脸部的图像。
在本发明实施例中，可以提供一交互界面，该交互界面中提供用户确定原图像和目标图像的操作，用户可以在交互界面中指定原图像和目标图像，示例性地，交互界面可以提供图像上传操作，用户可以在交互界面中上传原图像和目标图像，例如交互界面先提示用户上传原图像，再提示用户上传目标图像，当然，还可以通过其他交互操作获取用户指定的原图像和目标图像，本发明实施例对此不加以限制。
S302、将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像。
本发明实施例中，生成器可以是将原图像中第一人脸替换为目标图像中的第二人脸的神经网络，该生成器可以通过训练生成对抗网络获得，其中，生成器可以通过实施例一或者实施例二所提供的生成对抗网络训练方法所训练，具体训练详情可参考实施例一或实施例二，在此不再详述。
对于训练好的生成器，可以将原图像输入生成器的编码网络提取第一人脸的属性特征图，将目标图像输入生成器的身份提取网络提取第二人脸的身份特征，并通过生成器的残差网络将身份特征注入属性特征图中生成混合特征图，生成器的编码网络根据身份特征和属性特征图对混合特征图进行解码得到第二人脸替换第一人脸后的换脸图像。
本发明实施例获取包含第一人脸的原图像和包含第二人脸的目标图像后，将原图像和目标图像输入生成对抗网络的生成器中，得到采用第二人脸替换第一人脸后原图像的换脸图像，本发明实施例的生成器实现了解码过程中结合原图像的属性特征和目标图像的身份特征对混合特征图进行解码，使得换脸图像更好的保持原图像的人脸姿态、人脸表情等属性特征，同时目标图像中的身份特征也更好的融合到换脸图像中，增强了目标图像的身份特征的迁移能力，采用训练好的生成对抗网络的生成器对图像换脸时，得到的换脸图像真实自然，并且能够保持原图像的属性特征和目标图像的身份特征。
实施例四
图4为本发明实施例四提供的一种视频换脸方法的步骤流程图，本发明实施例可适用于更换视频中的人脸的情况，该方法可以由本发明实施例的视频换脸装置来执行，该视频换脸装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图4所示，本发明实施例的视频换脸方法可以包括如下步骤：
S401、获取待换脸视频数据。
在本发明实施例中，待换脸视频数据可以是包含人脸的短视频数据、直播视频数据、影片视频数据等，该待换脸视频数据可以包括一个或者一个以上的人脸，在实际应用中，用户可以在提供的换脸编辑交互界面中指定待换脸视频数据，例如，上传待换脸视频数据或者输入待换脸视频数据的地址，该地址可以是待换脸视频数据的本地存储地址，还可以是待换脸视频数据的网络地址。
S402、从所述视频数据中提取包含第一人脸的视频图像作为原图像。
具体地，可以在视频数据解码的过程中，对视频数据中的人脸进行人脸检测，当检测到第一人脸时，提取该视频图像作为原图像，其中，第一人脸可以是用户指定的人脸，例如，在获取视频数据时，可以提示用户指定视频数据中的一个人脸作为第一人脸。
S403、获取包含第二人脸的目标图像。
本发明实施例中，目标图像为用于替换原图像中人脸的图像，该目标图像包含第二人脸，示例性地，目标图像可以是用户的自拍图像，当然还可以是用户指定的其他包含第二人脸的图像，优选地，第一人脸和第二人脸为不同的人脸。
S404、将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像。
本发明实施例中，生成器可以是将原图像中第一人脸替换为目标图像中的第二人脸的神经网络，该生成器可以通过训练生成对抗网络获得，其中，生成器可以通过实施例一或者实施例二所提供的生成对抗网络训练方法所训练，具体训练详情可参考实施例一或实施例二，在此不再详述。
对于训练好的生成器，可以将原图像输入生成器的编码网络提取第一人脸的属性特征图，将目标图像输入生成器的身份提取网络提取第二人脸的身份特征，并通过生成器的残差网络将身份特征注入属性特征图中生成混合特征图，生成器的编码网络根据身份特征和属性特征图对混合特征图进行解码得到第二人脸替换第一人脸后的换脸图像。
S405、基于所述换脸图像生成换脸后的视频数据。
在获得原图像的换脸图像后，可以按照预设的帧率、码率对各个原图像换脸后的换脸图像进行视频编码得到换脸后的视频数据，该换脸后的视频数据中的人脸保持了第二人脸的身份特征和第一人脸的姿态、表情等属性特征。
本发明实施例获取待换脸视频数据后，从视频数据中提取包含第一人脸的原图像，并获取包含第二人脸的目标图像，将原图像和目标图像输入生成对抗网络的生成器中，得到采用第二人脸替换第一人脸后原图像的换脸图像，基于该换脸图像生成换脸后的视频数据。本发明实施例的生成器实现了解码过程中结合原图像的属性特征和目标图像的身份特征对混合特征图进行解码，使得换脸图像更好的保持原图像的人脸姿态、人脸表情等属性特征，同时目标图像中的身份特征也更好的融合到换脸图像中，增强了目标图像的身份特征的迁移能力，采用训练好的生成对抗网络的生成器对视频数据换脸时，得到的换脸后的视频数据真实自然，并且能够保持视频数据中人脸的属性特征和目标图像中人脸的身份特征。
实施例五
图5是本发明实施例五提供的一种生成对抗网络训练装置的结构框图，如图5所示，本发明实施例的生成对抗网络训练装置具体可以包括如下模块：
原图像和目标图像获取模块501，用于获取包含第一人脸的原图像和包含第二人脸的目标图像；
生成对抗网络初始化模块502，用于初始化生成对抗网络的生成器和判别器；
生成器训练模块503，用于将所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像，所述生成器用于从所述原图像提取第一人脸的属性特征图，从所述目标图像中提取第二人脸的身份特征，并将所述身份特征注入所述属性特征图中生成混合特征图，以及根据所述身份特征和所述属性特征图对所述混合特征图进行解码得到所述第二人脸替换所述第一人脸后的换脸图像；
判别器训练模块504，用于采用所述原图像和所述换脸图像训练所述判别器得到判定值；
参数调整模块505，用于根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整。
本发明实施例所提供的生成对抗网络训练装置可执行本发明实施例一、实施例二所提供的生成对抗网络训练方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6是本发明实施例六提供的一种图像换脸装置的结构框图，如图6所示，本发明实施例的图像换脸装置具体可以包括如下模块：
原图像和目标图像获取模块601，用于获取包含第一人脸的原图像和包含第二人脸的目标图像；
图像换脸模块602，用于将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
其中，所述生成器通过本发明实施例一或实施例二所述的生成对抗网络训练方法所训练。
本发明实施例所提供的图像换脸装置可执行本发明实施例三所提供的图像换脸方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7是本发明实施例七提供的一种视频换脸装置的结构框图，如图7所示，本发明实施例的视频换脸装置具体可以包括如下模块：
待换脸视频数据获取模块701，用于获取待换脸视频数据；
原图像提取模块702，用于从所述视频数据中提取包含第一人脸的视频图像作为原图像；
目标图像获取模块703，用于获取包含第二人脸的目标图像；
视频换脸模块704，用于将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
换脸视频数据生成模块705，用于基于所述换脸图像生成换脸后的视频数据；
其中，所述生成器通过本发明实施例一或实施例二所述的生成对抗网络训练方法所训练。
本发明实施例所提供的视频换脸装置可执行本发明实施例四所提供的视频换脸方法，具备执行方法相应的功能模块和有益效果。
实施例八
参照图8，示出了本发明一个示例中的一种电子设备的结构示意图。如图8所示，该电子设备具体可以包括：处理器801、存储装置802、具有触摸功能的显示屏803、输入装置804、输出装置805以及通信装置806。该设备中处理器801的数量可以是一个或者多个，图8中以一个处理器801为例。该设备的处理器801、存储装置802、显示屏803、输入装置804、输出装置805以及通信装置806可以通过总线或者其他方式连接，图8中以通过总线连接为例。所述设备用于执行如本发明任一实施例提供的生成对抗网络训练方法，和/或，图像换脸方法，和/或，视频换脸方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述方法实施例所述的生成对抗网络训练方法，和/或，图像换脸方法，和/或，视频换脸方法。
需要说明的是，对于装置、电子设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变换、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (18)

1.一种生成对抗网络训练方法，其特征在于，包括：
获取包含第一人脸的原图像和包含第二人脸的目标图像；
初始化生成对抗网络的生成器和判别器；
将所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像，所述生成器用于从所述原图像提取第一人脸的属性特征图，从所述目标图像中提取第二人脸的身份特征，并将所述身份特征注入所述属性特征图中生成混合特征图，以及根据所述身份特征和所述属性特征图对所述混合特征图进行解码得到所述第二人脸替换所述第一人脸后的换脸图像；
将所述原图像和所述换脸图像输入所述判别器进行训练得到判定值；
根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整。
2.根据权利要求1所述的方法，其特征在于，所述初始化生成对抗网络的生成器和判别器，包括：
初始化生成对抗网络的判别器的参数、生成器的编码网络和解码网络的参数，以及获取训练好的用于所述生成器中的残差网络和身份提取网络。
3.根据权利要求2所述的方法，其特征在于，所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像，包括：
采用所述编码网络对所述原图像进行编码处理得到所述第一人脸的属性特征图；
将所述目标图像输入所述身份提取网络中提取所述第二人脸的身份特征；
采用所述残差网络将所述身份特征注入所述属性特征图中得到混合特征图；
基于所述属性特征和所述身份特征，采用所述解码网络对所述混合特征图进行解码，获得采用所述第二人脸替换所述第一人脸后的换脸图像。
4.根据权利要求3所述的方法，其特征在于，所述编码网络包括多层下采样卷积层，所述采用所述编码网络对所述原图像进行编码处理得到所述第一人脸的属性特征图，包括：
对所述原图像进行预处理，获得预处理后的原图像；
将所述预处理后的原图像输入所述编码网络中，获得每个下采样卷积层输出的下采样特征图；
其中，所述预处理包括调整图像尺寸，所述编码网络的最后一层下采样卷积层输出的下采样特征图为所述第一人脸的属性特征图。
5.根据权利要求3所述的方法，其特征在于，所述采用所述残差网络将所述身份特征注入所述属性特征图中得到混合特征图，包括：
对所述身份特征进行转换，获得所述身份特征的身份特征均值和身份特征方差；
将所述身份特征均值、身份特征方差以及所述属性特征图输入所述残差网络中，以通过所述残差网络将所述身份特征迁移到所述属性特征图上得到混合特征图。
6.根据权利要求3或4所述的方法，其特征在于，所述编码网络包括多层下采样卷积层，所述解码网络包括多层上采样卷积层，所述基于所述属性特征和所述身份特征，采用所述解码网络对所述混合特征图进行解码，获得采用所述第二人脸替换所述第一人脸后的换脸图像，包括：
将所述混合特征图和所述身份特征拼接得到拼接特征；
将所述拼接特征输入到所述解码网络中通过多层上采样卷积层进行采样处理得到换脸图像；
其中，针对所述解码网络中的每个上采样卷积层，确定所述上采样卷积层在所述编码网络中对应的下采样卷积层，获取所述下采样卷积层输出的下采样特征图，以及获取所述上采样卷积层的前一上采样卷积层输出的上采样特征，拼接所述下采样特征图和所述上采样特征作为所述上采样卷积层的解码对象。
7.根据权利要求2所述的方法，其特征在于，所述根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整，包括：
根据所述判定值、所述换脸图像、所述原图像和所述目标图像计算总损失；
根据所述总损失对所述生成器和所述判别器的参数进行调整。
8.根据权利要求7所述的方法，其特征在于，所述根据所述判定值、所述换脸图像、所述原图像和所述目标图像计算总损失，包括：
根据所述判定值、所述原图像和所述换脸图像计算对抗损失和关键点损失；
根据所述目标图像和所述换脸图像计算身份特征损失；
将两张所述原图像输入所述生成器中获得所述原图像的自换脸图像；
根据所述原图像和所述自换脸图像计算重构损失；
计算所述对抗损失、所述重构损失、所述关键点损失和所述身份特征损失的和值得到总损失。
9.根据权利要求8所述的方法，其特征在于，所述根据所述判定值、所述原图像和所述换脸图像计算对抗损失和关键点损失，包括：
根据所述判定值和预设对抗损失函数计算对抗损失；
获取所述原图像和所述换脸图像中人脸的关键点；
计算所述原图像和所述换脸图像中人脸的关键点的距离得到关键点损失。
10.根据权利要求8所述的方法，其特征在于，所述根据所述目标图像和所述换脸图像计算身份特征损失，包括：
将所述目标图像和所述换脸图像分别输入所述身份提取网络中，得到所述目标图像中人脸的身份特征和所述换脸图像中人脸的身份特征；
计算所述目标图像中人脸的身份特征和所述换脸图像中人脸的身份特征的距离得到身份特征损失。
11.根据权利要求7所述的方法，其特征在于，所述根据所述总损失对所述生成器和所述判别器的参数进行调整，包括：
判断所述总损失是否小于预设阈值；
若是，停止对所述生成器和所述判别器进行训练；
若否，根据所述对抗损失调整所述判别器的参数，以及根据所述总损失调整所述生成器中编码器和解码器的参数，返回采用所述编码网络对所述原图像进行编码处理得到所述第一人脸的属性特征图的步骤。
12.一种图像换脸方法，其特征在于，包括：
获取包含第一人脸的原图像和包含第二人脸的目标图像；
将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
其中，所述生成器通过权利要求1-11任一项所述的生成对抗网络训练方法所训练。
13.一种视频换脸方法，其特征在于，包括：
获取待换脸视频数据；
从所述视频数据中提取包含第一人脸的视频图像作为原图像；
获取包含第二人脸的目标图像；
将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
基于所述换脸图像生成换脸后的视频数据；
其中，所述生成器通过权利要求1-11任一项所述的生成对抗网络训练方法所训练。
14.一种生成对抗网络训练装置，其特征在于，包括：
原图像和目标图像获取模块，用于获取包含第一人脸的原图像和包含第二人脸的目标图像；
生成对抗网络初始化模块，用于初始化生成对抗网络的生成器和判别器；
生成器训练模块，用于将所述原图像和所述目标图像输入所述生成器中进行训练获得换脸图像，所述生成器用于从所述原图像提取第一人脸的属性特征图，从所述目标图像中提取第二人脸的身份特征，并将所述身份特征注入所述属性特征图中生成混合特征图，以及根据所述身份特征和所述属性特征图对所述混合特征图进行解码得到所述第二人脸替换所述第一人脸后的换脸图像；
判别器训练模块，用于采用所述原图像和所述换脸图像训练所述判别器得到判定值；
参数调整模块，用于根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器和所述判别器的参数进行调整。
15.一种图像换脸装置，其特征在于，包括：
原图像和目标图像获取模块，用于获取包含第一人脸的原图像和包含第二人脸的目标图像；
图像换脸模块，用于将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
其中，所述生成器通过权利要求1-11任一项所述的生成对抗网络训练方法所训练。
16.一种视频换脸装置，其特征在于，包括：
待换脸视频数据获取模块，用于获取待换脸视频数据；
原图像提取模块，用于从所述视频数据中提取包含第一人脸的视频图像作为原图像；
目标图像获取模块，用于获取包含第二人脸的目标图像；
视频换脸模块，用于将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到采用所述第二人脸替换所述第一人脸后所述原图像的换脸图像；
换脸视频数据生成模块，用于基于所述换脸图像生成换脸后的视频数据；
其中，所述生成器通过权利要求1-11任一项所述的生成对抗网络训练方法所训练。
17.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一项所述的生成对抗网络训练方法，和/或，权利要求12所述的图像换脸方法，和/或，权利要求13所述的视频换脸方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一项所述的生成对抗网络训练方法，和/或，权利要求12所述的图像换脸方法，和/或，权利要求13所述的视频换脸方法。
CN202010592443.XA 2020-06-24 2020-06-24 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 Pending CN111783603A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010592443.XA CN111783603A (zh) 2020-06-24 2020-06-24 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
PCT/CN2021/094257 WO2021258920A1 (zh) 2020-06-24 2021-05-18 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010592443.XA CN111783603A (zh) 2020-06-24 2020-06-24 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Publications (1)

Publication Number Publication Date
CN111783603A true CN111783603A (zh) 2020-10-16

Family

ID=72759820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010592443.XA Pending CN111783603A (zh) 2020-06-24 2020-06-24 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Country Status (2)

Country Link
CN (1) CN111783603A (zh)
WO (1) WO2021258920A1 (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102461A (zh) * 2020-11-03 2020-12-18 北京智源人工智能研究院 一种人脸渲染方法、装置、电子设备和存储介质
CN112529159A (zh) * 2020-12-09 2021-03-19 北京百度网讯科技有限公司 网络训练方法、装置及电子设备
CN112734631A (zh) * 2020-12-31 2021-04-30 北京深尚科技有限公司 基于微调模型的视频图像换脸方法、装置、设备及介质
CN112734634A (zh) * 2021-03-30 2021-04-30 中国科学院自动化研究所 换脸方法、装置、电子设备和存储介质
CN112766160A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN112785495A (zh) * 2021-01-27 2021-05-11 驭势科技(南京)有限公司 图像处理模型训练方法、图像生成方法、装置和设备
CN112800869A (zh) * 2021-01-13 2021-05-14 网易（杭州）网络有限公司 图像人脸表情迁移方法、装置、电子设备及可读存储介质
CN112991152A (zh) * 2021-03-04 2021-06-18 网易（杭州）网络有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113077379A (zh) * 2021-03-23 2021-07-06 深圳数联天下智能科技有限公司 特征潜码的提取方法及装置、设备及存储介质
CN113205449A (zh) * 2021-05-21 2021-08-03 珠海金山网络游戏科技有限公司 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN113240792A (zh) * 2021-04-29 2021-08-10 浙江大学 一种基于人脸重建的图像融合生成式换脸方法
CN113361490A (zh) * 2021-07-14 2021-09-07 网易（杭州）网络有限公司 图像生成、网络训练方法、装置、计算机设备和存储介质
CN113486785A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 基于深度学习的视频换脸方法、装置、设备及存储介质
CN113486694A (zh) * 2020-10-26 2021-10-08 青岛海信电子产业控股股份有限公司 一种人脸图像处理方法及终端设备
CN113609960A (zh) * 2021-08-03 2021-11-05 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
CN113627404A (zh) * 2021-10-12 2021-11-09 中国科学院自动化研究所 基于因果推断的高泛化人脸替换方法、装置和电子设备
CN113763366A (zh) * 2021-09-10 2021-12-07 网易（杭州）网络有限公司 一种换脸方法、装置、设备及存储介质
CN113762148A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN114007099A (zh) * 2021-11-04 2022-02-01 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN114140320A (zh) * 2021-12-09 2022-03-04 北京百度网讯科技有限公司 图像迁移方法和图像迁移模型的训练方法、装置
CN114187624A (zh) * 2021-11-09 2022-03-15 北京百度网讯科技有限公司 图像生成方法、装置、电子设备及存储介质
CN114387656A (zh) * 2022-01-14 2022-04-22 平安科技（深圳）有限公司 基于人工智能的换脸方法、装置、设备及存储介质
CN114663539A (zh) * 2022-03-09 2022-06-24 东南大学 一种基于音频驱动的口罩下2d人脸还原技术
WO2022179401A1 (zh) * 2021-02-26 2022-09-01 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质和程序产品
WO2022252372A1 (zh) * 2021-06-03 2022-12-08 腾讯云计算（北京）有限责任公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN115565238A (zh) * 2022-11-22 2023-01-03 腾讯科技（深圳）有限公司 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN115578779A (zh) * 2022-11-23 2023-01-06 腾讯科技（深圳）有限公司 一种换脸模型的训练、基于视频的换脸方法和相关装置
WO2023016137A1 (zh) * 2021-08-10 2023-02-16 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、设备以及存储介质
WO2023020358A1 (zh) * 2021-08-20 2023-02-23 腾讯科技（深圳）有限公司 面部图像处理方法、面部图像处理模型的训练方法、装置、设备、存储介质及程序产品
WO2023116744A1 (zh) * 2021-12-21 2023-06-29 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质
CN116740540A (zh) * 2023-08-11 2023-09-12 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及计算机可读存储介质
WO2023231182A1 (zh) * 2022-06-02 2023-12-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品
CN117196937A (zh) * 2023-09-08 2023-12-08 天翼爱音乐文化科技有限公司 一种基于人脸识别模型的视频换脸方法、设备及存储介质
JP7479507B2 (ja) 2022-03-30 2024-05-08 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
WO2024099004A1 (zh) * 2022-11-09 2024-05-16 腾讯科技（深圳）有限公司 一种图像处理模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989509B2 (en) * 2021-09-03 2024-05-21 International Business Machines Corporation Generative adversarial network implemented digital script modification
CN114419702B (zh) * 2021-12-31 2023-12-01 南京硅基智能科技有限公司 数字人生成模型、模型的训练方法以及数字人生成方法
CN114936377A (zh) * 2022-03-10 2022-08-23 腾讯科技（深圳）有限公司 模型训练和身份匿名化方法、装置、设备及存储介质
CN114693940B (zh) * 2022-03-22 2023-04-28 电子科技大学 基于深度学习的特征混合可分解性增强的图像描述方法
CN114677566B (zh) * 2022-04-08 2023-10-17 北京百度网讯科技有限公司 深度学习模型的训练方法、对象识别方法和装置
CN114663199B (zh) * 2022-05-17 2022-08-30 武汉纺织大学 一种动态展示的实时三维虚拟试衣系统及方法
CN115187446A (zh) * 2022-05-26 2022-10-14 北京健康之家科技有限公司 换脸视频的生成方法、装置、计算机设备及可读存储介质
CN115278297B (zh) * 2022-06-14 2023-11-28 北京达佳互联信息技术有限公司 基于驱动视频的数据处理方法、装置、设备及存储介质
CN114973382A (zh) * 2022-06-15 2022-08-30 平安科技（深圳）有限公司 基于人工智能的人脸替换方法、装置、设备及存储介质
CN114782291B (zh) * 2022-06-23 2022-09-06 中国科学院自动化研究所 图像生成器的训练方法、装置、电子设备和可读存储介质
CN115239857B (zh) * 2022-07-05 2023-03-28 阿里巴巴达摩院(杭州)科技有限公司 图像生成方法以及电子设备
CN115205903B (zh) * 2022-07-27 2023-05-23 华中农业大学 一种基于身份迁移生成对抗网络的行人重识别方法
CN115272534B (zh) * 2022-07-29 2024-02-02 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN115171198B (zh) * 2022-09-02 2022-11-25 腾讯科技（深圳）有限公司 模型质量评估方法、装置、设备及存储介质
CN115171199B (zh) * 2022-09-05 2022-11-18 腾讯科技（深圳）有限公司 图像处理方法、装置及计算机设备、存储介质
CN117079313A (zh) * 2022-11-07 2023-11-17 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN115426506B (zh) * 2022-11-07 2023-02-03 北京鲜衣怒马文化传媒有限公司 替换人脸部眼睛样式并跟随眼睛动作的方法、系统和介质
CN115713680B (zh) * 2022-11-18 2023-07-25 山东省人工智能研究院 一种基于语义引导的人脸图像身份合成方法
CN115984094B (zh) * 2022-12-05 2023-11-10 中南大学 基于多损失约束视角一致性保持人脸安全生成方法及设备
CN115994983B (zh) * 2023-03-24 2023-06-02 湖南大学 一种基于快照式编码成像系统的医药高光谱重构方法
CN116828129B (zh) * 2023-08-25 2023-11-03 小哆智能科技(北京)有限公司 一种超清2d数字人生成方法及系统
CN117315354B (zh) * 2023-09-27 2024-04-02 南京航空航天大学 基于多判别器复合编码gan网络的绝缘子异常检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN110517185B (zh) * 2019-07-23 2024-02-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110796111B (zh) * 2019-11-05 2020-11-10 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN111275057B (zh) * 2020-02-13 2023-06-20 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN113486694A (zh) * 2020-10-26 2021-10-08 青岛海信电子产业控股股份有限公司 一种人脸图像处理方法及终端设备
CN112102461A (zh) * 2020-11-03 2020-12-18 北京智源人工智能研究院 一种人脸渲染方法、装置、电子设备和存储介质
CN112102461B (zh) * 2020-11-03 2021-04-09 北京智源人工智能研究院 一种人脸渲染方法、装置、电子设备和存储介质
CN112529159A (zh) * 2020-12-09 2021-03-19 北京百度网讯科技有限公司 网络训练方法、装置及电子设备
CN112529159B (zh) * 2020-12-09 2023-08-04 北京百度网讯科技有限公司 网络训练方法、装置及电子设备
CN112734631A (zh) * 2020-12-31 2021-04-30 北京深尚科技有限公司 基于微调模型的视频图像换脸方法、装置、设备及介质
CN112800869B (zh) * 2021-01-13 2023-07-04 网易（杭州）网络有限公司 图像人脸表情迁移方法、装置、电子设备及可读存储介质
CN112800869A (zh) * 2021-01-13 2021-05-14 网易（杭州）网络有限公司 图像人脸表情迁移方法、装置、电子设备及可读存储介质
CN112766160A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN112766160B (zh) * 2021-01-20 2023-07-28 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN112785495A (zh) * 2021-01-27 2021-05-11 驭势科技(南京)有限公司 图像处理模型训练方法、图像生成方法、装置和设备
WO2022179401A1 (zh) * 2021-02-26 2022-09-01 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质和程序产品
CN112991152A (zh) * 2021-03-04 2021-06-18 网易（杭州）网络有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113077379B (zh) * 2021-03-23 2024-03-22 深圳数联天下智能科技有限公司 特征潜码的提取方法及装置、设备及存储介质
CN113077379A (zh) * 2021-03-23 2021-07-06 深圳数联天下智能科技有限公司 特征潜码的提取方法及装置、设备及存储介质
CN112734634A (zh) * 2021-03-30 2021-04-30 中国科学院自动化研究所 换脸方法、装置、电子设备和存储介质
CN113240792A (zh) * 2021-04-29 2021-08-10 浙江大学 一种基于人脸重建的图像融合生成式换脸方法
CN113240792B (zh) * 2021-04-29 2022-08-16 浙江大学 一种基于人脸重建的图像融合生成式换脸方法
CN113205449A (zh) * 2021-05-21 2021-08-03 珠海金山网络游戏科技有限公司 表情迁移模型的训练方法及装置、表情迁移方法及装置
WO2022252372A1 (zh) * 2021-06-03 2022-12-08 腾讯云计算（北京）有限责任公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN113486785A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 基于深度学习的视频换脸方法、装置、设备及存储介质
CN113361490A (zh) * 2021-07-14 2021-09-07 网易（杭州）网络有限公司 图像生成、网络训练方法、装置、计算机设备和存储介质
CN113609960A (zh) * 2021-08-03 2021-11-05 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
WO2023016137A1 (zh) * 2021-08-10 2023-02-16 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、设备以及存储介质
WO2023020358A1 (zh) * 2021-08-20 2023-02-23 腾讯科技（深圳）有限公司 面部图像处理方法、面部图像处理模型的训练方法、装置、设备、存储介质及程序产品
CN113762148A (zh) * 2021-09-07 2021-12-07 京东科技信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
CN113762148B (zh) * 2021-09-07 2023-12-08 京东科技信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
CN113763366B (zh) * 2021-09-10 2023-07-25 网易（杭州）网络有限公司 一种换脸方法、装置、设备及存储介质
CN113763366A (zh) * 2021-09-10 2021-12-07 网易（杭州）网络有限公司 一种换脸方法、装置、设备及存储介质
CN113627404A (zh) * 2021-10-12 2021-11-09 中国科学院自动化研究所 基于因果推断的高泛化人脸替换方法、装置和电子设备
CN114007099A (zh) * 2021-11-04 2022-02-01 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN114187624B (zh) * 2021-11-09 2023-09-22 北京百度网讯科技有限公司 图像生成方法、装置、电子设备及存储介质
CN114187624A (zh) * 2021-11-09 2022-03-15 北京百度网讯科技有限公司 图像生成方法、装置、电子设备及存储介质
CN114140320A (zh) * 2021-12-09 2022-03-04 北京百度网讯科技有限公司 图像迁移方法和图像迁移模型的训练方法、装置
CN114140320B (zh) * 2021-12-09 2023-09-01 北京百度网讯科技有限公司 图像迁移方法和图像迁移模型的训练方法、装置
WO2023116744A1 (zh) * 2021-12-21 2023-06-29 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质
CN114387656A (zh) * 2022-01-14 2022-04-22 平安科技（深圳）有限公司 基于人工智能的换脸方法、装置、设备及存储介质
CN114663539B (zh) * 2022-03-09 2023-03-14 东南大学 一种基于音频驱动的口罩下2d人脸还原技术
CN114663539A (zh) * 2022-03-09 2022-06-24 东南大学 一种基于音频驱动的口罩下2d人脸还原技术
JP7479507B2 (ja) 2022-03-30 2024-05-08 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
WO2023231182A1 (zh) * 2022-06-02 2023-12-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品
WO2024099004A1 (zh) * 2022-11-09 2024-05-16 腾讯科技（深圳）有限公司 一种图像处理模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN115565238A (zh) * 2022-11-22 2023-01-03 腾讯科技（深圳）有限公司 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN115578779B (zh) * 2022-11-23 2023-03-10 腾讯科技（深圳）有限公司 一种换脸模型的训练、基于视频的换脸方法和相关装置
CN115578779A (zh) * 2022-11-23 2023-01-06 腾讯科技（深圳）有限公司 一种换脸模型的训练、基于视频的换脸方法和相关装置
CN116740540B (zh) * 2023-08-11 2023-10-27 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及计算机可读存储介质
CN116740540A (zh) * 2023-08-11 2023-09-12 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及计算机可读存储介质
CN117196937A (zh) * 2023-09-08 2023-12-08 天翼爱音乐文化科技有限公司 一种基于人脸识别模型的视频换脸方法、设备及存储介质
CN117196937B (zh) * 2023-09-08 2024-05-14 天翼爱音乐文化科技有限公司 一种基于人脸识别模型的视频换脸方法、设备及存储介质

Also Published As

Publication number Publication date
WO2021258920A1 (zh) 2021-12-30

Similar Documents

Publication Publication Date Title
CN111783603A (zh) 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN111862274A (zh) 生成对抗网络训练方法、图像风格迁移方法及装置
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
WO2022205760A1 (zh) 三维人体重建方法、装置、设备及存储介质
CN113420719B (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
CN111583399B (zh) 图像处理方法、装置、设备、介质和电子设备
WO2022205755A1 (zh) 纹理生成方法、装置、设备及存储介质
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
Sun et al. Masked lip-sync prediction by audio-visual contextual exploitation in transformers
CN116843834A (zh) 一种三维人脸重建及六自由度位姿估计方法、装置及设备
CN115100707A (zh) 模型的训练方法、视频信息生成方法、设备以及存储介质
CN117557689B (zh) 图像处理方法、装置、电子设备及存储介质
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN114783017A (zh) 基于逆映射的生成对抗网络优化方法及装置
CN106056040A (zh) 一种掌静脉识别方法和装置
CN116958306A (zh) 图像合成方法和装置、存储介质及电子设备
Bourbia et al. No-reference point clouds quality assessment using transformer and visual saliency
CN115035219A (zh) 表情生成方法、装置和表情生成模型的训练方法、装置
Wang et al. [Retracted] Convolution‐Based Design for Real‐Time Pose Recognition and Character Animation Generation
CN115965839A (zh) 图像识别方法、存储介质及设备
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
CN116958451B (zh) 模型处理、图像生成方法、装置、计算机设备和存储介质
CN116596752B (zh) 脸部图像替换方法、装置、设备及存储介质
CN116704588B (zh) 面部图像的替换方法、装置、设备及存储介质
US20240169701A1 (en) Affordance-based reposing of an object in a scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination