CN116739893A - 一种换脸方法及装置 - Google Patents
一种换脸方法及装置 Download PDFInfo
- Publication number
- CN116739893A CN116739893A CN202311017229.1A CN202311017229A CN116739893A CN 116739893 A CN116739893 A CN 116739893A CN 202311017229 A CN202311017229 A CN 202311017229A CN 116739893 A CN116739893 A CN 116739893A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- changing
- model
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 186
- 238000010606 normalization Methods 0.000 claims abstract description 53
- 238000009877 rendering Methods 0.000 claims abstract description 50
- 230000008859 change Effects 0.000 claims description 119
- 238000012549 training Methods 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 24
- 230000006872 improvement Effects 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 40
- 239000004973 liquid crystal related substance Substances 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种换脸方法及装置，涉及人工智能技术领域，可以获得待换脸人物的第一人脸图像和替换人物的第二人脸图像，并输入至训练好的换脸模型中，获得换脸模型输出的换脸后人脸区域图像。本发明可以通过换脸模型进行三维特征拼接处理，有效融合三维特征，对人脸进行三维特征重构，完整还原人脸的三维信息，并可以在三维特征重构的基础上生成换脸后人脸区域图像，使得换脸后人脸区域图像可以高度一致的保持第二人脸图像的人脸标识特征和第一人脸图像的表情特征，有效实现换脸效果的提升。通过换脸模型，在三维特征重构的基础上进行的二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，可以有效保障在复杂场景下的换脸效果。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种换脸方法及装置。
背景技术
随着人工智能的发展，换脸技术不断提高。
其中，换脸技术即为人脸替换技术，具体指将人物A的人脸图像中的人脸标识特征替换成人物B的人脸标识特征，同时尽量保持人物A的表情特征，比如嘴部和眼睛的张开幅度，再比如头部的姿态等。其中，人脸标识特征可以用于标识某人是某人，具体可以包括脸型、五官间距等。可以理解的是，人物A即为需换脸人物，人物B即为替换人物。
但是，当前换脸技术生成的换脸后人脸图像，可能无法有效保持替换人物的人脸标识特征和需换脸人物的表情特征，导致换脸效果较差。
发明内容
本发明提供一种换脸方法及装置，用以解决现有技术中换脸技术无法有效保持替换人物的人脸标识特征和需换脸人物的表情特征，导致换脸效果较差的缺陷，使得换脸后人脸区域图像可以高度一致的保持第二人脸图像的人脸标识特征和第一人脸图像的表情特征，有效实现换脸效果的提升。
本发明提供一种换脸方法，包括：
获得待换脸人物的第一人脸图像；
获得替换人物的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
可选的，所述将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像，包括：
将所述第一人脸图像和所述第二人脸图像输入至所述换脸模型中进行三维特征提取处理，获得所述换脸模型提取出的所述第一人脸图像中的人脸特征数据集和所述第二人脸图像中的人脸标识特征数据；所述人脸特征数据集包括至少一个人脸特征数据，所述至少一个人脸特征数据均为非人脸标识特征数据；
将所述人脸特征数据集和所述人脸标识特征数据输入至所述换脸模型中进行三维特征拼接处理，获得所述换脸模型生成的拼接特征数据；
将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中依次进行二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，获得所述换脸模型生成的所述换脸后人脸区域图像。
可选的，所述将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中依次进行二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，获得所述换脸模型生成的所述换脸后人脸区域图像，包括：
将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中进行二维图像渲染处理，获得所述换脸模型生成的初步换脸后人脸图像；
将所述初步换脸后人脸图像和所述拼接特征数据输入至所述换脸模型中进行自适应实例归一化处理，获得所述换脸模型生成的换脸后图像集，所述换脸后图像集包括换脸后人脸图像和换脸后人脸遮罩图像；
将所述换脸后人脸图像和所述换脸后人脸遮罩图像输入所述换脸模型中进行人脸区域图像生成处理，获得所述换脸模型生成的所述换脸后人脸区域图像。
可选的，所述将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中进行二维图像渲染处理，获得所述换脸模型生成的初步换脸后人脸图像，包括：
将所述拼接特征数据输入至所述换脸模型中进行二维图像生成处理，获得所述换脸模型生成的人脸区域图像；
将所述人脸区域图像与所述第一人脸图像输入至所述换脸模型中进行图像融合处理，获得所述换脸模型生成的所述初步换脸后人脸图像。
可选的，所述换脸模型包括三维特征提取网络、三维特征拼接网络、二维图像渲染网络、自适应实例归一化处理网络和人脸区域图像生成网络；其中：
所述三维特征提取网络用于进行三维特征提取处理；
所述三维特征拼接网络用于进行三维特征拼接处理；
所述二维图像渲染网络用于进行二维图像渲染处理；
所述自适应实例归一化网络用于进行自适应实例归一化处理；
所述人脸区域图像生成网络用于进行人脸区域图像生成处理。
可选的，所述换脸模型的训练过程包括以下步骤：
确定所述待换人脸样本图像和所述替换人脸样本图像；
将所述待换人脸样本图像和所述替换人脸样本图像输入至所述预训练模型，获得所述预训练模型输出的目标换脸后人脸区域图像；
基于所述待换人脸样本图像、所述替换人脸样本图像和所述目标换脸后人脸区域图像，分别确定所述预设损失函数中各类损失的损失值；其中，所述预设损失函数包括至少一类损失；
基于所述预设损失函数中各类损失的损失值，确定整体损失值；
基于所述预设损失函数中各类损失的损失值和所述整体损失值，更新所述预训练模型。
可选的，所述确定所述待换人脸样本图像和所述替换人脸样本图像，包括：
获得两个不同人物的人脸图像；
将所述两个不同人物的人脸图像，分别确定为所述待换人脸样本图像和所述替换人脸样本图像；其中，所述预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失和/或人脸真实度损失。
可选的，所述确定所述待换人脸样本图像和所述替换人脸样本图像，包括：
获得同一人物的多个人脸图像；
从所述同一人物的多个人脸图像中，确定所述待换人脸样本图像和所述替换人脸样本图像；其中，所述预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失、人脸真实度损失和/或一致性损失。
可选的，所述获得待换脸人物的第一人脸图像，包括：
在目标视频中，确定所述待换脸人物；
从所述目标视频中，获得所述待换脸人物的一张人脸图像并确定为所述第一人脸图像；
在所述获得所述换脸模型输出的换脸后人脸区域图像之后，所述换脸方法还包括：
基于所述换脸后人脸区域图像，对所述目标视频中的所述第一人脸图像进行换脸；
返回执行所述从所述目标视频中，获得所述待换脸人物的一张人脸图像并确定为所述第一人脸图像的步骤，直至完成对所述目标视频中所述待换脸人物的所有人脸图像的换脸。
本发明还提供一种换脸装置，包括：第一获得单元、第二获得单元、第一输入单元和第三获得单元；其中：
所述第一获得单元，用于获得待换脸人物的第一人脸图像；
所述第二获得单元，用于获得替换人物的第二人脸图像；
所述第一输入单元，用于将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中；
所述第三获得单元，用于获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
本发明提供的换脸方法及装置，可以获得待换脸人物的第一人脸图像；获得替换人物的第二人脸图像；将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像。本发明可以通过换脸模型，进行三维特征拼接处理，有效融合三维特征，对人脸进行三维特征重构，完整还原人脸的三维信息，并可以在三维特征重构的基础上生成换脸后人脸区域图像，使得换脸后人脸区域图像可以高度一致的保持第二人脸图像的人脸标识特征和第一人脸图像的表情特征，有效实现换脸效果的提升。并且，本发明通过换脸模型，在三维特征重构的基础上进行的二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，可以有效保障在复杂场景下的换脸效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的换脸方法的流程示意图之一；
图2是本发明提供的换脸方法的流程示意图之二；
图3是本发明提供的换脸模型的训练流程示意图；
图4是本发明提供的换脸方法的流程示意图之三；
图5是本发明提供的换脸装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的换脸方法。
如图1所示，本发明提出第一种换脸方法，该方法可以包括以下步骤：
S101、获得待换脸人物的第一人脸图像；
其中，待换脸人物即为需要进行换脸的人物。
其中，第一人脸图像即为待换脸人物的一张人脸图像。
需要说明的是，人脸图像中可以包括人脸区域和背景区域。
S102、获得替换人物的第二人脸图像；
其中，第二人脸图像即为替换人物的一张人脸图像。
可选的，替换人物可以为真实人物；
可选的，替换认为可以为虚拟人物。
可选的，本发明可以先行获得用户输入的想要挑选的虚拟人描述文本，比如虚拟人风格名称和虚拟人性别等，之后本发明可以基于已有的CLIP技术，利用编码网络将描述文本编码成网络可理解的特征数据，并基于特征数据查找或者生成相应的虚拟人脸图像，供用户从中选择确定出第二人脸图像。
S103、将第一人脸图像和第二人脸图像输入至训练好的换脸模型中；
其中，换脸模型用于基于第一人脸图像和第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成换脸后人脸区域图像；
其中，换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
具体的，本发明可以在获得第一人脸图像和第二人脸图像后，将第一人脸图像和第二人脸图像输入至训练好的换脸模型中，由换脸模型基于第一人脸图像和第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成换脸后人脸区域图像。具体的，该换脸后人脸区域图像中同时包括有第二人脸图像的人脸标识特征和第一人脸图像的表情特征。
其中，待换人脸样本图像即是需进行换脸的人脸样本图像，替换人脸样本图像即是提供替换人脸的人脸样本图像。
其中，预训练模型可以为具有一定换脸能力的模型。可以理解的是，预训练模型可以进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理。
其中，预设损失函数为本发明的发明人根据换脸模型的具体处理过程和实际想要取得的效果所设计的损失函数。可以理解的是，预设损失函数可以包括至少一种类别的损失。
具体的，本发明可以将待换人脸样本图像输入至预训练模型，由预训练模型依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成相应的换脸后人脸区域图像。之后，本发明可以基于待换人脸样本图像、替换人脸样本图像和换脸后人脸区域图像进行损失计算，分别计算出预设损失函数中各类损失的损失值，进而计算出整体损失值，基于各类损失的损失值和整体损失值，对预训练模型进行更新。
S104、获得换脸模型输出的换脸后人脸区域图像。
具体的，本发明可以获得换脸模型基于第一人脸图像和第二人脸图像生成并输出的换脸后人脸区域图像。
需要说明的是，现有的换脸技术通常是使用人脸识别算法，从替换人物的人脸图像中提取替换人物的人脸标识特征数据，此时，人脸标识特征数据的提取会局限于人脸识别的特定任务，提取出的人脸标识特征数据不够完整，不能百分百的描述一个人的身份信息；且，现有的换脸通常是使用一个图像分类的预训练模型来从需换脸人物的人脸图像中提取表情特征数据，此时，提取出的表情特征数据中很可能会包含人脸标识特征数据，不能对表情特征数据进行很好的约束，导致最终生成的换脸图像中会既包含替换人物的人脸标识特征数据，还包含需换脸人物的人脸标识特征数据，此时换脸图像中的人脸会既像替换人物，也像需换脸人物，不符合只与替换人物相像的目的。
具体的，本发明换脸模型可以通过三维特征提取处理，分别从第一人脸图像和第二人脸图像中提取出表情特征数据和人脸标识特征数据，利用三维特征拼接处理对表情特征数据和人脸标识特征数据进行拼接，实现三维特征融合；并可以基于融合后三维特征和二维图像渲染处理，得到初步换脸结果；之后，可以进一步利用自适应实例归一化处理和人脸区域图像生成处理对初步换脸结果进行优化，提升图像质量，获得最终换脸结果，即换脸后人脸区域图像。
需要说明的是，本发明通过三维特征提取处理，可以从第二人脸图像中提取出更充分且更完整的人脸标识特征数据，从第一人脸图像中提取出更充分、更完整且不包含人脸标识特征数据的表情特征数据，并可以通过三维特征拼接处理，对三维特征进行有效融合，进行人脸的三维特征重构，完整还原人脸的三维信息，并可以在三维特征重构的基础上生成换脸后人脸区域图像，使得换脸后人脸区域图像可以高度一致的保持第二人脸图像的人脸标识特征和第一人脸图像的表情特征，有效实现换脸效果的提升。并且，在三维特征重构的基础上生成换脸后人脸区域图像通过二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，可以有效保障在复杂场景（比如面部有遮挡物和大角度夸张表情等）下的换脸效果。
本发明提出的换脸方法，可以获得待换脸人物的第一人脸图像；获得替换人物的第二人脸图像；将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像。本发明可以通过换脸模型，进行三维特征拼接处理，有效融合三维特征，对人脸进行三维特征重构，完整还原人脸的三维信息，并可以在三维特征重构的基础上生成换脸后人脸区域图像，使得换脸后人脸区域图像可以高度一致的保持第二人脸图像的人脸标识特征和第一人脸图像的表情特征，有效实现换脸效果的提升。并且，本发明通过换脸模型，在三维特征重构的基础上进行的二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，可以有效保障在复杂场景下的换脸效果。
基于图1，本发明提出第二种换脸方法。在该方法中，步骤S103和S104可以包括S201、S202、S203、S204、S205和S206，其中：
S201、将第一人脸图像和第二人脸图像输入至换脸模型中进行三维特征提取处理；
S202、获得换脸模型提取出的第一人脸图像中的人脸特征数据集和第二人脸图像中的人脸标识特征数据；人脸特征数据集包括至少一个人脸特征数据，至少一个人脸特征数据均为非人脸标识特征数据；
其中，人脸标识特征数据即为可以标识人脸身份的人脸特征数据。比如，从张三的人脸图像中提取出的人脸标识特征数据，可以用于标识张三的人脸是张三的。
具体的，换脸模型可以从第二人脸图像中提取出人脸标识特征数据，以及从第一人脸图像中提取出不包括人脸标识特征数据的人脸特征数据集。
具体的，人脸标识特征数据可以包括人脸纹理特征；人脸特征数据集可以包括人脸角度特征数据、表情特征数据和光照特征数据等。
S203、将人脸特征数据集和人脸标识特征数据输入至换脸模型中进行三维特征拼接处理；
S204、获得换脸模型生成的拼接特征数据；
具体的，拼接特征数据即为换脸模型将人脸特征数据集中的所有人脸特征数据与人脸标识特征数据进行拼接处理而生成的拼接特征数据。
S205、将拼接特征数据和第一人脸图像输入至换脸模型中依次进行二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理；
S206、获得换脸模型生成的换脸后人脸区域图像。
具体的，本发明可以在获得拼接特征数据后，将拼接特征数据和第一人脸图像输入至换脸模型，获得换脸模型生成并输出的换脸后人脸区域图像。
可选的，在本发明提出的其他换脸方法中，步骤S205和S206可以包括步骤S301、S302、S303、S304、S305和S306，其中：
S301、将拼接特征数据和第一人脸图像输入至换脸模型中进行二维图像渲染处理；
S302、获得换脸模型生成的初步换脸后人脸图像；
具体的，换脸模型可以基于拼接特征数据和第一人脸图像进行二维图像渲染处理，生成初步换脸结果，即初步换脸后人脸图像。
可选的，步骤S301和S302可以包括：
将拼接特征数据输入至换脸模型中进行二维图像生成处理，获得换脸模型生成的人脸区域图像；
将人脸区域图像与第一人脸图像输入至换脸模型中进行图像融合处理，获得换脸模型生成的初步换脸后人脸图像。
具体的，换脸模型可以先行基于拼接特征数据，生成相应的人脸区域图像，之后对该人脸区域图像和第一人脸图像进行图像融合，比如进行泊松融合，可以使得该人脸区域图像与第一人脸图像中的人脸区域图像进行融合，生成初步换脸后人脸图像。
需要说明的是，本发明在获得初步换脸后人脸图像之后，可以继续通过换脸模型进行自适应实例归一化处理和人脸区域图像生成处理，以增强换脸结果的真实度和清晰度，提升换脸结果的图像质量。
S303、将初步换脸后人脸图像和拼接特征数据输入至换脸模型中进行自适应实例归一化处理；
具体的，本发明可以基于公式（1），对初步换脸后人脸图像和拼接特征数据进行自适应实例归一化处理。其中，公式（1）可以为：
；
其中，x为与初步换脸后人脸图像对应的数据，y为拼接特征数据，和/>分别表示均值和标准差。需要说明的是，y对应的/>和/>可以由换脸模型生成。
需要说明的是，本发明将初步换脸后人脸图像和拼接特征数据输入至换脸模型进行自适应实例归一化处理，初步换脸后人脸图像与拼接特征数据可以在自适应实例归一化处理过程中起到相互约束的作用，在不损失表情和姿态等特征的情况下，进一步优化换脸效果。
S304、获得换脸模型生成的换脸后图像集，换脸后图像集包括换脸后人脸图像和换脸后人脸遮罩图像；
其中，换脸后人脸遮罩图像为可以标识人脸区域的图像。具体的，换脸后人脸遮罩图像中人脸区域的像素值可以为255，其余区域的像素值为0。
具体的，换脸模型可以在基于公式（1）进行处理后获得相应的数据，并可以基于获得的数据生成相应的换脸后人脸图像和换脸后人脸遮罩图像。
需要说明的是，换脸模型进行的自适应实例归一化处理，对于换脸后人脸区域图的生成具有清晰逼真的约束作用。
S305、将换脸后人脸图像和换脸后人脸遮罩图像输入换脸模型中进行人脸区域图像生成处理；
S306、获得换脸模型生成的换脸后人脸区域图像。
具体的，换脸模型可以在获得换脸后人脸图像和换脸后人脸遮罩图像后，先行获得换脸后人脸图像对应的矩阵数据和换脸后人脸遮罩图像对应的矩阵数据，之后再对换脸后人脸图像对应的矩阵数据和换脸后人脸遮罩图像对应的矩阵数据进行相乘，来进行人脸区域图像生成处理，生成换脸后人脸区域图像。
本发明提出的换脸方法，可以通过利用换脸模型依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，有效保障换脸模型对于换脸后人脸区域图像的生成性能，进而有效实现换脸模型对于换脸效果的提升，以及保障换脸模型在复杂场景下的换脸效果。
基于上述换脸方法，本发明提出第三种换脸方法，在该第三种换脸方法中，换脸模型包括三维特征提取网络、三维特征拼接网络、二维图像渲染网络、自适应实例归一化处理网络和人脸区域图像生成网络；其中：
三维特征提取网络用于进行三维特征提取处理；
三维特征拼接网络用于进行三维特征拼接处理；
二维图像渲染网络用于进行二维图像渲染处理；
自适应实例归一化网络用于进行自适应实例归一化处理；
人脸区域图像生成网络用于进行人脸区域图像生成处理。
为更好的说明各网络之间的数据流向，本发明提出图2并结合图2进行介绍。
在图2中，I t 为第一人脸图像，I s 为第二人脸图像；3D Net为三维特征提取网络，Render为二维图像渲染网络，Decoder为自适应实例归一化网络；具体的，自适应实例归一化网络可以为用于进行自适应实例归一化处理的编码网络。
如图2所示，本发明可以将I t 和I s 分别输入至3D Net中进行三维特征提取处理，获得3D Net分别生成并输出的人脸特征数据集和人脸标识特征数据；将人脸特征数据集和人脸标识特征数据输入至三维特征拼接网络进行三维特征拼接处理，获得三维特征拼接网络生成并输出的拼接特征数据；
具体的，本发明可以将拼接特征数据和I t 输入至Render进行二维图像渲染处理，获得Render生成并输出的初步换脸后人脸图像；将初步换脸后人脸图像和拼接特征数据输入至Decoder进行自适应实例归一化处理，获得Decoder生成并输出的换脸后人脸图像I o 和换脸后人脸遮罩图像mask；将I o 和mask输入至人脸区域图像生成网络进行人脸区域图像生成处理，获得换脸后人脸区域图像I g 。
本发明提出的换脸方法，可以通过三维特征提取网络、三维特征拼接网络、二维图像渲染网络、自适应实例归一化处理网络和人脸区域图像生成网络的设置，以及各网络的处理能力，有效实现对换脸模型的构建和处理能力，进而有效保障换脸模型对于换脸后人脸区域图像的生成性能，进而有效实现换脸模型对于换脸效果的提升，以及保障换脸模型在复杂场景下的换脸效果。
基于图1，本发明提出第四种换脸方法，在该方法中，换脸模型的训练过程可以包括以下步骤：
确定待换人脸样本图像和替换人脸样本图像；
将待换人脸样本图像和替换人脸样本图像输入至预训练模型，获得预训练模型输出的目标换脸后人脸区域图像；
基于待换人脸样本图像、替换人脸样本图像和目标换脸后人脸区域图像，分别确定预设损失函数中各类损失的损失值；其中，预设损失函数包括至少一类损失；
基于预设损失函数中各类损失的损失值，确定整体损失值；
基于预设损失函数中各类损失的损失值和整体损失值，更新预训练模型。
其中，目标换脸后人脸区域图像即为预训练模型基于待换人脸样本图像和替换人脸样本图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理而生成的换脸后人脸区域图像。
可选的，上述确定待换人脸样本图像和替换人脸样本图像，包括：
获得两个不同人物的人脸图像；
将两个不同人物的人脸图像，分别确定为待换人脸样本图像和替换人脸样本图像；其中，预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失和/或人脸真实度损失。
其中，人脸标识特征损失即为目标换脸后人脸区域图像相对于替换人脸样本图像的人脸标识特征损失；具体计算公式可以为：
；
其中，为人脸标识特征损失，I s 为替换人脸样本图像，I g 为目标换脸后人脸区域图像，/>即为替换人脸样本图像的人脸标识特征数据，/>即为目标换脸后人脸区域图像的人脸标识特征数据；
其中，表情特征损失即为目标换脸后人脸区域图像相对于待换人脸样本图像的表情特征损失；具体计算公式可以为：
；
其中，为表情特征损失；I t 为替换人脸样本图像；/>即为基于三维特征提取处理，从待换人脸样本图像中提取出的表情特征数据；/>即为即为基于三维特征提取处理，从目标换脸后人脸区域图像中提取出的表情特征数据；
其中，人脸区域损失即为目标换脸后人脸区域图像相对于替换人脸样本图像的人脸未遮挡区域损失；具体计算公式可以为：
；
其中，为人脸区域损失，mask为目标换脸后人脸区域图像经过预训练的人脸分割网络得到的人脸部分遮罩，mask t 为待换人脸样本图像经过预训练的人脸分割网络得到的人脸部分遮罩。需要说明的是，在上述第三种换脸方法中，mask即可以为基于自适应实例归一化处理网络生成的与目标换脸后人脸区域图像对应的人脸部分遮罩。
其中，人脸遮挡区域损失即为目标换脸后人脸区域图像相对于待换人脸样本图像的人脸遮挡区域损失；具体计算公式为：
；
其中，为人脸遮挡区域损失，I t 为待换人脸样本图像，/>为换脸模型基于I t 和I g 生成的换脸后人脸区域图像。
其中，人脸外部轮廓关键点损失即为二维图像渲染处理后的人脸外部轮廓关键点，相对于三维特征拼接处理后的人脸外部轮廓关键点的损失；具体计算公式为：
；
其中，为人脸外部轮廓关键点损失，/>即为三维特征拼接处理后的人脸外部轮廓关键点，/>即为二维图像渲染处理后的人脸外部轮廓关键点。
其中，人脸真实度损失为现有的生成对抗网络常用的损失函数。
具体的，本发明可以对各类损失分配权重，基于各类损失的损失值和相应的权重进行加权求和，获得整体损失值。具体计算公式为：
。
其中，和/>分别为和/>的权重。
可以理解的是，本发明可以通过优化和/>来保证换脸后人脸区域图像的人脸标识特征和脸型，与/>保持高度一致；通过优化/>来保证换脸后人脸区域图像的表情和/>保持一致；通过优化/>和/>来使得换脸后人脸区域图像可以保留人脸有遮挡的部位；通过优化/>来保证人脸生成的真实性。最后本发明可以通过优化整体损失值，使其最小从而使得模型的性能达到最优性能。
可选的，上述确定待换人脸样本图像和替换人脸样本图像，包括：
获得同一人物的多个人脸图像；
从同一人物的多个人脸图像中，确定待换人脸样本图像和替换人脸样本图像；其中，预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失、人脸真实度损失和/或一致性损失。
其中，一致性损失可以为目标换脸后人脸区域图像相对于待换人脸样本图像的一致性损失；具体计算公式为：
；
其中，即为一致性损失。
可以理解的是，本发明在计算整体损失值时，也可以给一致性损失分配权重；之后，同样可以基于各类损失的损失值和相应的权重进行加权求和，获得整体损失值。
可以理解的是，本发明可以在收集样本图像的过程中，通过网页爬虫，爬取大量图像和视频数据；从这些图像和视频数据中，通过人工组合出成对图像和非成对图像。其中，成对图像即为同一人物的不同图像；非成对图像即为不同人物的图像。在训练数据中，成对图像和非成对图像可以各占一半。
为更好的说明基于预设损失函数对换脸模型进行训练的过程，本发明提出并结合图3进行介绍。
如图3所示，换脸模型的训练过程可以包括以下步骤：
S310、收集人脸图片和视频数据；
S320、从人脸图片和视频数据中确定出待换人脸样本图像和替换人脸样本图像；
S330、将待换人脸样本图像和替换人脸样本图像输入预训练模型，获得预训练模型输出的目标换脸后人脸区域图像；
S340、计算损失函数；
具体的，本发明即可以在获得目标换脸后人脸区域图像后，计算出预设损失函数中各类损失的损失值和整体损失值；
S350、确定损失函数是否不可下降，如果是，则执行S360；否则执行S370。
具体的，本发明通过确定损失函数是否不可下降，可以确定模型性能是否达到最优。
S360、将当前的预训练模型确定为训练好的换脸模型；
S370、根据最小化损失函数的方向，更新当前的预训练模型的模型参数，并返回执行步骤S330。此时，本发明可以获得新的样本图像，即新的待换人脸样本图像和新的替换人脸样本图像，来对当前的预训练模型进行下一次训练；当然，本发明也可以基于之前使用的待换人脸样本图像和替换人脸样本图像来对当前的预训练模型进行下一次训练。
本发明提出的换脸方法，可以通过预设损失函数中各类损失的设计，有效保障换脸模型对于换脸后人脸区域图像的生成性能，使得换脸模型生成的换脸后人脸区域图像能够实现人脸标识特征的高度一致性，且对于大角度夸张表情以及脸部有遮挡情况等复杂场景下，均具有较高的还原度，具有较好的换脸效果。
如图4所示，本发明提出第五种换脸方法。在该方法中，步骤S101可以包括步骤S401和S402，其中：
S401、在目标视频中，确定待换脸人物；
可以理解的是，本发明可以于视频人物换脸的应用场景。其中，本发明对视频中某个人物的全部人脸图像进行换脸。
具体的，本发明可以先行由用户在目标视频中确定待换脸人物。
S402、从目标视频中，获得待换脸人物的一张人脸图像并确定为第一人脸图像；
此时，在步骤S104之后，该换脸方法还可以包括步骤S403，其中：
S403、基于换脸后人脸区域图像，对目标视频中的第一人脸图像进行换脸，并返回执行步骤S402，直至完成对目标视频中待换脸人物的所有人脸图像的换脸。
需要说明的是，在如图4所示的视频换脸的整体执行过程中，每一次执行步骤S102所获得的第二人脸图像可以是替换人物的同一张人脸图像，即图4中每一次输入至换脸模型的第二人脸图像为替换人物的同一人脸图像。此时，本发明仅需要替换人物的一张人脸图像即可实现视频换脸。
可以理解的是，在如图4所示的视频换脸的整体执行过程中，每一次执行步骤S102所获得的第二人脸图像也可以是变化的。
具体的，在视频换脸的整体执行过程中，每一次执行步骤S102所获得的第二人脸图像可以是相同的，也可以是不相同的，当然也可以是不完全相同的（比如，第二次执行步骤S102与第一次执行步骤S102所获得的第二人脸图像是相同的，而第三次与执行步骤S102与第一次执行步骤S102所获得的第二人脸图像是不相同的）。
其中，本发明可以通过人脸检测、人脸标识信息比对和人脸追踪，实现对目标视频中待换脸人物的所有人脸图像的锁定，有效提高对于待换脸人物的人脸图像的检测效率。之后，本发明可以从目标视频中，将锁定的待换脸人物的所有人脸图像裁剪出来进行换脸处理，待换脸后人脸区域图像生成后，再进行视频融合既可以实现视频换脸。
可选的，在视频换脸中，本发明也可以通过从目标视频中，将锁定的待换脸人物的所有人脸图像裁剪出来一并进行换脸处理，获得相应的所有换脸后人脸区域图像，之后再将所有换脸后人脸区域图像与目标视频进行视频融合，来实现视频换脸。
需要说明的是，现有的视频换脸方法，对于大角度的夸张表情和脸部有遮挡的情况，换脸效果会较差，且为了保证视频换脸中人脸的稳定性，通常需要替换人物的多张图像进行训练和生成。对于只有替换人物的一张人物图像的换脸，换脸后的人脸标识特征保持会更差且不稳定。
而本发明通过预设损失函数的设计和换脸模型的构建，使用预设损失函数对换脸模型进行训练，可以使得在使用换脸模型进行换脸时，能够快捷高效的生成人脸标识特征稳定的换脸视频，可以全自动的应用于虚拟人换脸技术，而且可以保证人脸标识特征的高度一致性，对于大角度夸张表情以及脸部有遮挡情况，都能取得很好的换脸效果。
且，相对于现有的视频换脸方法，本发明只需要替换人物的一张人脸图像，就可以对目标视频的中之人（即需换脸人物）的所有人脸图像进行换脸，生成人脸标识特征和替换人物高度一致，表情特征和中之人高度一致，且对于脸部遮挡等复杂情况均可以高度还原的换脸视频。
需要说明的是，本发明可以通过使用虚拟人物时作为替换人物实现虚拟人视频的生产。具体的，本发明可以由用户拍摄中之人视频和通过简单筛选确定虚拟人物，之后即可以利用本发明换脸方法对已拍摄视频中的中之人进行换脸，即可以完成虚拟人视频的生产。其中，在拍摄中之人视频时，只需证视频中的中之人的脸部不与其他人重叠即可。
可以理解的是，当使用虚拟人物作为替换人物对视频中的中之人换脸时，因为换脸技术只替换中之人的人脸标识特征，所以虚拟人的发型、身型和装束等都完全来自于中之人，挑选中之人时最好挑选身材与虚拟人身材一致的，装束通过后期装扮可以达到预设效果的。
具体的，当使用虚拟人物作为替换人物对视频中的中之人换脸时，本发明可以大大降低拍摄选片的难度，也给后期带来了很大的方便。针对虚拟人场景下的换脸流程更是极大减少了人工环节。此时，用户只需输入心中所想的虚拟人形象的几个关键字，本发明即可以由相应的虚拟人生成网络自动生成相应风格虚拟人图片以供筛选。当用户确定好虚拟人形象就可以直接应用换脸技术，进行视频换脸，完成虚拟视频的内容生成。
本发明提出的换脸方法，可以通过预设损失函数的设计和换脸模型的构建，使用预设损失函数对换脸模型进行训练，使得在使用换脸模型进行换脸时，能够快捷高效的生成人脸标识特征稳定的换脸视频，可以全自动的应用于虚拟人换脸技术，而且可以保证人脸标识特征的高度一致性，对于大角度夸张表情以及脸部有遮挡情况，都能取得很好的换脸效果。
下面对本发明提供的换脸装置进行描述，下文描述的换脸装置与上文描述的换脸方法可相互对应参照。
如图5所示，本发明提出一种换脸装置。该装置可以包括：第一获得单元501、第二获得单元502、第一输入单元503和第三获得单元504；其中：
所述第一获得单元501，用于获得待换脸人物的第一人脸图像；
所述第二获得单元502，用于获得替换人物的第二人脸图像；
所述第一输入单元503，用于将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中；
所述第三获得单元504，用于获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
可选的，所述第一输入单元503，用于将所述第一人脸图像和所述第二人脸图像输入至所述换脸模型中进行三维特征提取处理；
所述第三获得单元504，包括：第一数据获得单元、第二输入单元、第二数据获得单元、第三输入单元和第四获得单元；
所述第一数据获得单元，用于获得所述换脸模型提取出的所述第一人脸图像中的人脸特征数据集和所述第二人脸图像中的人脸标识特征数据所述人脸特征数据集包括至少一个人脸特征数据，所述至少一个人脸特征数据均为非人脸标识特征数据；
所述第二输入单元，用于将所述人脸特征数据集和所述人脸标识特征数据输入至所述换脸模型中进行三维特征拼接处理；所述第二数据获得单元，用于获得所述换脸模型生成的拼接特征数据；所述第三输入单元，用于将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中依次进行二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理；所述第四获得单元，用于获得所述换脸模型生成的所述换脸后人脸区域图像。
可选的，所述第三输入单元，用于将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中进行二维图像渲染处理；
所述第四获得单元，包括：第五获得单元、第四输入单元、第六获得单元、第五输入单元和第七获得单元；
所述第五获得单元，用于获得所述换脸模型生成的初步换脸后人脸图像；所述第四输入单元，用于将所述初步换脸后人脸图像和所述拼接特征数据输入至所述换脸模型中进行自适应实例归一化处理；所述第六获得单元，用于获得所述换脸模型生成的换脸后图像集，所述换脸后图像集包括换脸后人脸图像和换脸后人脸遮罩图像；所述第五输入单元，用于将所述换脸后人脸图像和所述换脸后人脸遮罩图像输入所述换脸模型中进行人脸区域图像生成处理；所述第七获得单元，用于获得所述换脸模型生成的所述换脸后人脸区域图像。
可选的，所述第三输入单元，用于将所述拼接特征数据输入至所述换脸模型中进行二维图像生成处理；
所述第五获得单元，包括第一图像获得单元、第六输入单元和第二图像获得单元；
所述第一图像获得单元，用于获得所述换脸模型生成的人脸区域图像；
所述第六输入单元，用于将所述人脸区域图像与所述第一人脸图像输入至所述换脸模型中进行图像融合处理；
所述第二图像获得单元，用于获得所述换脸模型生成的所述初步换脸后人脸图像。
可选的，所述换脸模型包括三维特征提取网络、三维特征拼接网络、二维图像渲染网络、自适应实例归一化处理网络和人脸区域图像生成网络；其中：
所述三维特征提取网络用于进行三维特征提取处理；
所述三维特征拼接网络用于进行三维特征拼接处理；
所述二维图像渲染网络用于进行二维图像渲染处理；
所述自适应实例归一化网络用于进行自适应实例归一化处理；
所述人脸区域图像生成网络用于进行人脸区域图像生成处理。
可选的，所述换脸模型的训练过程包括以下步骤：
确定所述待换人脸样本图像和所述替换人脸样本图像；
将所述待换人脸样本图像和所述替换人脸样本图像输入至所述预训练模型，获得所述预训练模型输出的目标换脸后人脸区域图像；
基于所述待换人脸样本图像、所述替换人脸样本图像和所述目标换脸后人脸区域图像，分别确定所述预设损失函数中各类损失的损失值；其中，所述预设损失函数包括至少一类损失；
基于所述预设损失函数中各类损失的损失值，确定整体损失值；
基于所述预设损失函数中各类损失的损失值和所述整体损失值，更新所述预训练模型。
可选的，所述定所述待换人脸样本图像和所述替换人脸样本图像，设置为：
获得两个不同人物的人脸图像；
将所述两个不同人物的人脸图像，分别确定为所述待换人脸样本图像和所述替换人脸样本图像；其中，所述预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失和/或人脸真实度损失。
可选的，所述确定所述待换人脸样本图像和所述替换人脸样本图像，设置为：
获得同一人物的多个人脸图像；
从所述同一人物的多个人脸图像中，确定所述待换人脸样本图像和所述替换人脸样本图像；其中，所述预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失、人脸真实度损失和/或一致性损失。
可选的，所述第一获得单元501，包括第一确定单元和第二确定单元；所述换脸装置还包括换脸单元；
所述第一确定单元，用于在目标视频中，确定所述待换脸人物；
所述第二确定单元，用于从所述目标视频中，获得所述待换脸人物的一张人脸图像并确定为所述第一人脸图像；
所述换脸单元，用于在所述获得所述换脸模型输出的换脸后人脸区域图像之后，基于所述换脸后人脸区域图像，对所述目标视频中的所述第一人脸图像进行换脸，触发所述第二确定单元，直至完成对所述目标视频中所述待换脸人物的所有人脸图像的换脸。
本发明提出的换脸装置，可以获得待换脸人物的第一人脸图像；获得替换人物的第二人脸图像；将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像。本发明可以通过换脸模型，进行三维特征拼接处理，有效融合三维特征，对人脸进行三维特征重构，完整还原人脸的三维信息，并可以在三维特征重构的基础上生成换脸后人脸区域图像，使得换脸后人脸区域图像可以高度一致的保持第二人脸图像的人脸标识特征和第一人脸图像的表情特征，有效实现换脸效果的提升。并且，本发明通过换脸模型，在三维特征重构的基础上进行的二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，可以有效保障在复杂场景下的换脸效果。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行换脸方法，该方法包括：
获得待换脸人物的第一人脸图像；
获得替换人物的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的换脸方法，该方法包括：
获得待换脸人物的第一人脸图像；
获得替换人物的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的换脸方法，该方法包括：
获得待换脸人物的第一人脸图像；
获得替换人物的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种换脸方法，其特征在于，包括：
获得待换脸人物的第一人脸图像；
获得替换人物的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
2.根据权利要求1所述的换脸方法，其特征在于，所述将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中，获得所述换脸模型输出的换脸后人脸区域图像，包括：
将所述第一人脸图像和所述第二人脸图像输入至所述换脸模型中进行三维特征提取处理，获得所述换脸模型提取出的所述第一人脸图像中的人脸特征数据集和所述第二人脸图像中的人脸标识特征数据；所述人脸特征数据集包括至少一个人脸特征数据，所述至少一个人脸特征数据均为非人脸标识特征数据；
将所述人脸特征数据集和所述人脸标识特征数据输入至所述换脸模型中进行三维特征拼接处理，获得所述换脸模型生成的拼接特征数据；
将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中依次进行二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，获得所述换脸模型生成的所述换脸后人脸区域图像。
3.根据权利要求2所述的换脸方法，其特征在于，所述将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中依次进行二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，获得所述换脸模型生成的所述换脸后人脸区域图像，包括：
将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中进行二维图像渲染处理，获得所述换脸模型生成的初步换脸后人脸图像；
将所述初步换脸后人脸图像和所述拼接特征数据输入至所述换脸模型中进行自适应实例归一化处理，获得所述换脸模型生成的换脸后图像集，所述换脸后图像集包括换脸后人脸图像和换脸后人脸遮罩图像；
将所述换脸后人脸图像和所述换脸后人脸遮罩图像输入所述换脸模型中进行人脸区域图像生成处理，获得所述换脸模型生成的所述换脸后人脸区域图像。
4.根据权利要求3所述的换脸方法，其特征在于，所述将所述拼接特征数据和所述第一人脸图像输入至所述换脸模型中进行二维图像渲染处理，获得所述换脸模型生成的初步换脸后人脸图像，包括：
将所述拼接特征数据输入至所述换脸模型中进行二维图像生成处理，获得所述换脸模型生成的人脸区域图像；
将所述人脸区域图像与所述第一人脸图像输入至所述换脸模型中进行图像融合处理，获得所述换脸模型生成的所述初步换脸后人脸图像。
5.根据权利要求1至4任一所述的换脸方法，其特征在于，所述换脸模型包括三维特征提取网络、三维特征拼接网络、二维图像渲染网络、自适应实例归一化处理网络和人脸区域图像生成网络；其中：
所述三维特征提取网络用于进行三维特征提取处理；
所述三维特征拼接网络用于进行三维特征拼接处理；
所述二维图像渲染网络用于进行二维图像渲染处理；
所述自适应实例归一化网络用于进行自适应实例归一化处理；
所述人脸区域图像生成网络用于进行人脸区域图像生成处理。
6.根据权利要求1所述的换脸方法，其特征在于，所述换脸模型的训练过程包括以下步骤：
确定所述待换人脸样本图像和所述替换人脸样本图像；
将所述待换人脸样本图像和所述替换人脸样本图像输入至所述预训练模型，获得所述预训练模型输出的目标换脸后人脸区域图像；
基于所述待换人脸样本图像、所述替换人脸样本图像和所述目标换脸后人脸区域图像，分别确定所述预设损失函数中各类损失的损失值；其中，所述预设损失函数包括至少一类损失；
基于所述预设损失函数中各类损失的损失值，确定整体损失值；
基于所述预设损失函数中各类损失的损失值和所述整体损失值，更新所述预训练模型。
7.根据权利要求6所述的换脸方法，其特征在于，所述确定所述待换人脸样本图像和所述替换人脸样本图像，包括：
获得两个不同人物的人脸图像；
将所述两个不同人物的人脸图像，分别确定为所述待换人脸样本图像和所述替换人脸样本图像；其中，所述预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失和/或人脸真实度损失。
8.根据权利要求6所述的换脸方法，其特征在于，所述确定所述待换人脸样本图像和所述替换人脸样本图像，包括：
获得同一人物的多个人脸图像；
从所述同一人物的多个人脸图像中，确定所述待换人脸样本图像和所述替换人脸样本图像；其中，所述预设损失函数包括人脸标识特征损失、表情特征损失、人脸区域损失、人脸遮挡区域损失、人脸外部轮廓关键点损失、人脸真实度损失和/或一致性损失。
9.根据权利要求1所述的换脸方法，其特征在于，所述获得待换脸人物的第一人脸图像，包括：
在目标视频中，确定所述待换脸人物；
从所述目标视频中，获得所述待换脸人物的一张人脸图像并确定为所述第一人脸图像；
在所述获得所述换脸模型输出的换脸后人脸区域图像之后，所述换脸方法还包括：
基于所述换脸后人脸区域图像，对所述目标视频中的所述第一人脸图像进行换脸；
返回执行所述从所述目标视频中，获得所述待换脸人物的一张人脸图像并确定为所述第一人脸图像的步骤，直至完成对所述目标视频中所述待换脸人物的所有人脸图像的换脸。
10.一种换脸装置，其特征在于，包括：第一获得单元、第二获得单元、第一输入单元和第三获得单元；其中：
所述第一获得单元，用于获得待换脸人物的第一人脸图像；
所述第二获得单元，用于获得替换人物的第二人脸图像；
所述第一输入单元，用于将所述第一人脸图像和所述第二人脸图像输入至训练好的换脸模型中；
所述第三获得单元，用于获得所述换脸模型输出的换脸后人脸区域图像；
其中，所述换脸模型用于基于所述第一人脸图像和所述第二人脸图像，依次进行三维特征提取处理、三维特征拼接处理、二维图像渲染处理、自适应实例归一化处理和人脸区域图像生成处理，生成所述换脸后人脸区域图像；
其中，所述换脸模型是基于待换人脸样本图像、替换人脸样本图像和预设损失函数对预训练模型进行训练得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311017229.1A CN116739893A (zh) | 2023-08-14 | 2023-08-14 | 一种换脸方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311017229.1A CN116739893A (zh) | 2023-08-14 | 2023-08-14 | 一种换脸方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116739893A true CN116739893A (zh) | 2023-09-12 |
Family
ID=87902960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311017229.1A Pending CN116739893A (zh) | 2023-08-14 | 2023-08-14 | 一种换脸方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116739893A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660037A (zh) * | 2018-06-29 | 2020-01-07 | 京东方科技集团股份有限公司 | 图像间脸部交换的方法、装置、系统和计算机程序产品 |
| CN112734890A (zh) * | 2020-12-22 | 2021-04-30 | 上海影谱科技有限公司 | 基于三维重建的人脸替换方法及装置 |
| WO2021103698A1 (zh) * | 2019-11-29 | 2021-06-03 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
| CN115565238A (zh) * | 2022-11-22 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 换脸模型的训练方法、装置、设备、存储介质和程序产品 |
-
2023
- 2023-08-14 CN CN202311017229.1A patent/CN116739893A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660037A (zh) * | 2018-06-29 | 2020-01-07 | 京东方科技集团股份有限公司 | 图像间脸部交换的方法、装置、系统和计算机程序产品 |
| WO2021103698A1 (zh) * | 2019-11-29 | 2021-06-03 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
| CN112734890A (zh) * | 2020-12-22 | 2021-04-30 | 上海影谱科技有限公司 | 基于三维重建的人脸替换方法及装置 |
| CN115565238A (zh) * | 2022-11-22 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 换脸模型的训练方法、装置、设备、存储介质和程序产品 |
Non-Patent Citations (2)
| Title |
|---|
| XUN HUANG 等: "Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization", HTTPS://ARXIV.ORG/ABS/1703.06868, pages 1 - 11 * |
| YUHAN WANG 等: "HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping", HTTPS://ARXIV.ORG/ABS/2106.09965, pages 1 - 10 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070483B (zh) | 一种基于生成式对抗网络的人像卡通化方法 | |
| CN113569789A (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| Li et al. | Deepfacepencil: Creating face images from freehand sketches | |
| WO2022179401A1 (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
| CN116109798A (zh) | 图像数据处理方法、装置、设备及介质 | |
| CN113838176A (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| CN115565238B (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN111598051B (zh) | 一种脸部验证方法、装置、设备及可读存储介质 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN115171199B (zh) | 图像处理方法、装置及计算机设备、存储介质 | |
| WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| US20230237630A1 (en) | Image processing method and apparatus | |
| CN112819689A (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
| CN116739893A (zh) | 一种换脸方法及装置 | |
| Teng et al. | Unimodal face classification with multimodal training | |
| CN115546011A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN112990123B (zh) | 图像处理方法、装置、计算机设备和介质 | |
| Wang et al. | Diverse image inpainting with disentangled uncertainty | |
| Zhang et al. | FlowFace++: Explicit semantic flow-supervised end-to-end face swapping | |
| Durall et al. | Local facial attribute transfer through inpainting | |
| CN113343931A (zh) | 生成对抗网络的训练方法、图像视线校正方法与装置 | |
| CN114943799A (zh) | 一种面部图像处理方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |