CN115330980A - 表情迁移方法、装置、电子设备及存储介质 - Google Patents
表情迁移方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115330980A CN115330980A CN202210981919.8A CN202210981919A CN115330980A CN 115330980 A CN115330980 A CN 115330980A CN 202210981919 A CN202210981919 A CN 202210981919A CN 115330980 A CN115330980 A CN 115330980A
- Authority
- CN
- China
- Prior art keywords
- coefficient
- face
- dimensional
- driving
- affine transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 112
- 238000013508 migration Methods 0.000 title claims abstract description 94
- 230000005012 migration Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 79
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 164
- 230000009466 transformation Effects 0.000 claims abstract description 135
- 230000008921 facial expression Effects 0.000 claims abstract description 84
- 238000010586 diagram Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000013519 translation Methods 0.000 claims description 28
- 230000001815 facial effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 11
- 230000036544 posture Effects 0.000 description 43
- 210000003128 head Anatomy 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000353135 Psenopsis anomala Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本公开提供了一种表情迁移方法、装置、电子设备及存储介质，该方法包括：通过使用源人脸图像的源人脸外貌标识系数、驱动人脸图像的驱动表情系数和驱动姿态系数对平均三维人脸模型进行变形处理，得到目标三维人脸模型，使得目标三维人脸模型具有源人脸图像的外貌信息和驱动人脸图像的表情与姿态信息，通过采样该模型上的关键点，并将关键点的位置信息体现在二维热力图中，再通过该二维热力图和源人脸图像各特征层对应的仿射变换系数对源人脸图像进行仿射变换，得到人脸表情迁移图像。采用本公开可以提升表情迁移效果。
Description
技术领域
本公开涉及图像迁移技术领域，尤其是涉及一种表情迁移方法、装置、电子设备及存储介质。
背景技术
随着图像迁移领域的发展，人脸表情迁移在人脸伪造、人脸表情数据库生成，人脸编辑、影视、动漫等艺术设计领域有着较为广泛的应用。人脸表情迁移技术，是指给定一段驱动人脸视频或者驱动人脸图像，一张源人脸图像，其中，驱动人脸ID和源人脸ID是不一致的，即驱动人脸图像中的人物和源人脸图像中的人物不是同一个人，然后将驱动人脸图像中的人脸表情与头部姿态(也称人脸姿态)迁移到源人脸图像中，合成新的源人脸图像或视频，在合成的图像或视频中源人脸的表情和头部姿态与驱动人脸一致。
现有的人脸表情迁移技术中，对于驱动人脸视频的所有帧，使用三维人脸重建技术重建出驱动人脸的人脸表情系数、人脸姿态系数以及人脸ID系数(也称人脸外貌标识系数，即体现人脸外貌形变方面的数据)，然后将重建出来的人脸表情系数、人脸姿态系数以及人脸ID系数输入到一个神经网络中，计算出稠密运动场，将稠密运动场作用于源人脸图像，再经过一个神经网络，合成最终的人脸表情迁移的图像或视频。其中，上述稠密运动场描述的是图像中每一个像素的位移。
上述使用稠密运动场来实现人脸表情迁移的方式，在大的头部姿态下，稠密运动场会变得非常复杂(因为稠密运动场描述的是像素的空间位移，当头部姿态变大时，整幅图像中需要移位的像素就增多，例如，人脸微笑只有嘴部的像素有位移，但是甩头发就会整个人脸的像素有位移)，这种复杂性导致神经网络的输出产生较大的误差，合成的人脸面部会产生形变，影响了表情迁移效果。
发明内容
本公开的目的在于提供一种表情迁移方法、装置、电子设备及存储介质，以提升表情迁移效果。
第一方面，本公开实施例提供一种表情迁移方法，通过电子设备提供驱动人脸图像和源人脸图像，所述方法包括：对所述驱动人脸图像进行三维人脸重建，得到驱动调整系数；其中，所述驱动调整系数包含有用于驱动人脸表情调整的驱动表情系数和用于驱动人脸姿态调整的驱动姿态系数；对所述源人脸图像进行所述三维人脸重建，得到用于表征所述源人脸图像中的人脸外貌特征的源人脸外貌标识系数；应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，得到目标三维人脸模型；从所述目标三维人脸模型上采样预设数量的关键点，获取所述关键点对应的二维热力图；其中，所述二维热力图包含有所述关键点在所述目标三维人脸模型中的位置以及所述位置对应的表情信息、姿态信息和外貌信息；根据所述源人脸图像和所述二维热力图确定仿射变换系数，并根据所述仿射变换系数对所述源人脸图像进行仿射变换，得到人脸表情迁移图像。
在一些实施方式中，应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，包括：应用所述源人脸外貌标识系数对预设的平均三维人脸模型的外貌特征进行形变处理；应用所述驱动调整系数中的驱动表情系数对所述平均三维人脸模型的表情特征进行形变处理；应用所述驱动调整系数中的驱动姿态系数对所述平均三维人脸模型的头部姿态特征进行形变处理。
在一些实施方式中，应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，包括：通过以下公式进行变形处理：
M＝Rd.(M0+sps.Vsp+epd.Vep)+td，其中，M表示目标三维人脸模型，M0表示预设的平均三维人脸模型，Vsp表示预设的人脸形状基，sps表示源人脸外貌标识系数，Vep表示预设的人脸表情基，epd表示驱动表情系数；Rd和td表示驱动姿态系数中的旋转参数和平移参数。
在一些实施方式中，通过以下公式获取所述关键点对应的二维热力图：
在一些实施方式中，所述仿射变换系数包括缩放参数、旋转参数和平移参数。
在一些实施方式中，根据所述源人脸图像和所述二维热力图确定仿射变换系数，包括：通过纹理编码器对所述源人脸图像和所述二维热力图进行卷积处理，得到第一数量的特征层分别对应的特征图；其中，不同的特征层的特征图对应不同的区域特征；通过变换编码器确定每个特征层分别对应的特征图的仿射变换系数。
在一些实施方式中，根据所述仿射变换系数对所述源人脸图像进行仿射变换，得到人脸表情迁移图像的步骤，包括：对于每个特征层对应的特征图，均通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理，得到该特征图的仿射变换图；通过纹理解码器对每个特征层对应的仿射变换图解码，得到人脸表情迁移图像。
在一些实施方式中，通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理包括：将该特征图的仿射变换系数和该特征图输入仿射变换器；通过仿射变换器内的下述公式进行仿射变换处理：
第二方面，本公开实施例还提供一种表情迁移装置，通过电子设备提供驱动人脸图像和源人脸图像，所述装置包括：第一系数获取模块，用于获取所述驱动人脸图像的驱动调整系数；其中，所述驱动调整系数包含有用于驱动人脸表情调整的驱动表情系数和用于驱动人脸姿态调整的驱动姿态系数；第二系数获取模块，用于获取所述源人脸图像的源人脸外貌标识系数，所述源人脸外貌标识系数得到用于表征所述源人脸图像中的人脸外貌特征的；处理模块，用于应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，得到目标三维人脸模型；热力图获取模块，用于从所述目标三维人脸模型上采样预设数量的关键点，获取所述关键点对应的二维热力图；其中，所述二维热力图包含有所述关键点在所述目标三维人脸模型中的位置以及所述位置对应的表情信息、姿态信息和外貌信息；仿射变换模块，用于根据所述源人脸图像和所述二维热力图确定仿射变换系数，并根据所述仿射变换系数对所述源人脸图像进行仿射变换，得到人脸表情迁移图像。
第三方面，本公开实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述表情迁移方法。
第四方面，本公开实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述表情迁移方法。
本公开实施例提供一种表情迁移方法、装置、电子设备及存储介质，通过使用源人脸图像的源人脸外貌标识系数、驱动人脸图像的驱动表情系数和驱动姿态系数对平均三维人脸模型进行变形处理，得到目标三维人脸模型，使得目标三维人脸模型具有源人脸图像的外貌信息和驱动人脸图像的表情与姿态信息，通过采样该模型上的关键点，并将关键点的位置信息体现在二维热力图中，再通过该二维热力图和源人脸图像各特征层对应的仿射变换系数对源人脸图像进行仿射变换，得到人脸表情迁移图像，这种方式得到的人脸表情迁移图像的人脸表情和人脸姿态为驱动人脸图像包含的人脸表情和人脸姿态，外貌为源人脸图像包含的人脸外貌，缓解了基于稠密运动场的表情迁移技术中的人脸形变问题，提升了表情迁移效果。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例中一种实施环境的示意图；
图2为本公开实施例中一种表情迁移方法的流程示意图；
图3为本公开实施例中另一种表情迁移方法的示例图；
图4为本公开实施例中自适应仿射变换模块的示例图；
图5为本公开实施例中一种表情迁移装置的结构示意图；
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在三维人脸重建技术中，通常通过重建出的驱动人脸的人脸表情系数、人脸姿态系数以及人脸ID系数(也称人脸外貌标识系数，即体现人脸外貌形变方面的数据)，获取稠密运动场，再将稠密运动场作用于源人脸图像合成最终的人脸表情迁移的图像或视频。这种使用稠密运动场来实现人脸表情迁移的方式中，因为稠密运动场描述的是像素的空间位移，当头部姿态变大时，整幅图像中需要移位的像素就增多，使合成的人脸面部产生形变，影响了表情迁移效果。基于上述问题，本公开实施例提供一种表情迁移方法、装置、电子设备及存储介质，可以提升表情迁移效果。
在本公开其中一种实施例中的表情迁移法，该方法可以运行于电子设备(如终端设备或者服务器)。其中，终端设备可以为本地终端设备。当表情迁移方法运行于服务器时，该方法则可以基于云交互系统来实现与执行，其中，云交互系统包括服务器和客户端设备。
在一可选的实施方式中，云交互系统下可以运行各种云应用，例如：云游戏。以云游戏为例，云游戏是指以云计算为基础的游戏方式。在云游戏的运行模式下，游戏程序的运行主体和游戏画面呈现主体是分离的，表情迁移方法的储存与运行是在云游戏服务器上完成的，客户端设备的作用用于数据的接收、发送以及游戏画面的呈现，举例而言，客户端设备可以是靠近用户侧的具有数据传输功能的显示设备，如，移动终端、电视机、计算机、掌上电脑、游戏主机等；但是进行信息处理的终端设备为云端的云游戏服务器。在进行游戏时，玩家操作客户端设备向云游戏服务器发送操作指令，云游戏服务器根据操作指令运行游戏，将游戏画面等数据进行编码压缩，通过网络返回客户端设备，最后，通过客户端设备进行解码并输出游戏画面。
在一可选的实施方式中，终端设备可以为本地终端设备。以游戏为例，本地终端设备存储有游戏程序并用于呈现游戏画面。本地终端设备用于通过图形用户界面与玩家进行交互，即，常规的通过电子设备下载安装游戏程序并运行。该本地终端设备将图形用户界面提供给玩家的方式可以包括多种，例如，可以渲染显示在终端的显示屏上，或者，通过全息投影提供给玩家。举例而言，本地终端设备可以包括显示屏和处理器，该显示屏用于呈现图形用户界面，该图形用户界面包括游戏画面，该处理器用于运行该游戏、生成图形用户界面以及控制图形用户界面在显示屏上的显示。
在一种可能的实施方式中，本公开实施例提供了一种表情迁移方法，通过终端设备提供一图形用户界面，其中，终端设备可以是前述提到的本地终端设备，也可以是前述提到的云交互系统中的客户端设备。通过该终端设备提供一图形用户界面，该图形用户界面可以包括驱动人脸图像(或者包含有驱动人脸图像的视频帧)和源人脸图像。
本公开实施例提供了图1所示实施环境的示意图。该实施环境可以包括：第一终端设备、服务器和第二终端设备。第一终端设备和第二终端设备分别与服务器进行通信，以实现数据通信。在本实施方式中，第一终端设备和第二终端设备分别安装有执行本公开的提供的表情迁移方法的客户端，服务器为执行本公开的提供的表情迁移方法的服务器端。通过客户端，使得第一终端设备和第二终端设备分别可以与服务器进行通信。
本公开实施例提供了一种表情迁移方法，该方法应用于电子设备(如手机、电脑、Pad等)，通过电子设备提供驱动人脸图像和源人脸图像。
将上述表情迁移方法应用于游戏中，可以通过摄像头实时采集玩家脸部的视频帧，以采集到的视频帧中的脸部图像作为驱动人脸图像，将游戏中的玩家角色的脸部图像作为源人脸图像，进而应用上述方法，可以对玩家角色的表情进行迁移，使玩家角色的表情和脸部姿态与真实世界的玩家表情和姿态一致。这里的玩家角色是指可以受玩家操控在游戏环境中活动的虚拟对象，在一些电子游戏中也可以称为式神角色、英雄角色。玩家角色可以是虚拟人物、虚拟动漫人物等不同形式中的至少一种。
上述电子设备可以是具有触控功能的触控设备，也可以是非触控设备，对于触控设备，可以通过触控显示屏进行操作，对于非触控设备，可以通过非触控设备的鼠标、键盘或者手柄等外部设备进行操作。参见图2所示的一种表情迁移方法的流程示意图，该方法的执行主体为上述电子设备，该方法包括以下步骤：
步骤S202，获取驱动人脸图像的驱动调整系数；其中，驱动调整系数包含有用于驱动人脸表情调整的驱动表情系数和用于驱动人脸姿态调整的驱动姿态系数。
上述驱动人脸图像可以是通过图像采集设备(如相机等)直接获取的人脸图像，也可以是通过视频采集设备(如摄像头等)实时采集的视频帧序列中的人脸图像，还可以是通过网络爬取到的人脸图像，对此不进行限定。
可基于3DMM(3D Morphable Model，三维形变模型)技术对驱动人脸图像进行三维人脸重建，得到上述驱动表情系数(也可称为驱动人脸表情系数)和上述驱动姿态系数(也可以称为驱动人脸姿态系数)，除此之外，还可以得到驱动人脸外貌标识系数，或者简称为驱动人脸ID系数。其中，驱动表情系数中的表情可以包括喜怒哀乐等具有感情色彩方面的表情对应的系数，也可以包括沉思、呆滞、困倦等方面的表情系数。上述驱动姿态系数通常指头部姿态信息，如抬头，左转、右转或者低头等姿态方面的系数。
步骤S204，获取源人脸图像的源人脸外貌标识系数，所述源人脸外貌标识系数用于表征源人脸图像中的人脸外貌特征。
上述源人脸图像可以是通过图像采集设备(如相机等)直接获取的人脸图像，也可以是通过视频采集设备(如摄像头等)实时采集的视频帧序列中的人脸图像，还可以是通过网络爬取到的人脸图像，或者是作品中待处理对象的人脸图像，对此不进行限定。可基于与上述驱动人脸图像的三维人脸重建相同的3DMM技术对源人脸图像进行三维人脸重建，得到上述源人脸外貌标识系数，该源人脸外貌标识系数也可以简称为源人脸ID系数，除了该系数之外，三维人脸重建过程中，还可以得到源人脸表情系数和上述源人脸姿态系数。
上述驱动调整系数和源人脸外貌标识系数除了可以采用三维人脸重建技术获取之外，还可以采用神经网络模型确定，例如，将上述驱动人脸图像和上述源人脸图像分别输入预先训练好的神经网络模型，该神经网络模型输出驱动人脸图像的驱动调整系数和源人脸图像的源人脸外貌标识系数。
步骤S206，应用源人脸外貌标识系数和驱动调整系数对预设的平均三维人脸模型进行变形处理，得到目标三维人脸模型。
可应用源人脸外貌标识系数和驱动调整系数对上述3DMM中预设的平均三维人脸模型进行变形处理，得到目标三维人脸模型；其中，应用源人脸外貌标识系数对平均三维人脸模型的外貌特征进行形变处理，应用驱动调整系数中的驱动表情系数对平均三维人脸模型的表情特征进行形变处理，应用驱动调整系数中的驱动姿态系数对平均三维人脸模型的头部姿态特征进行形变处理。其中，对平均三维人脸模型的外貌特征、表情特征和头部姿态特征的形变处理顺序不固定，可以依次进行，也可以同时进行。
步骤S208，从目标三维人脸模型上采样预设数量的关键点，获取关键点对应的二维热力图；其中，二维热力图包含有关键点在目标三维人脸模型中的位置以及位置对应的表情信息、姿态信息和外貌信息。
上述目标三维人脸模型是一个包含大量顶点的mesh网格，由于每个顶点具有各自的顶点序号，可预先选择出预设数量的顶点序号，并将预先选择出的顶点序号作为采样函数的采样参数，之后通过该采样函数从目标三维人脸模型上采样预设数量的关键点。在表情迁移过程中，通常选取五官位置对应的顶点序号，对这些顶点序号进行采样，能够使采样到的关键点表征出目标三维人脸模型的表情信息和外貌信息，因此上述采样得到的关键点对应的三维信息包括人脸的表情信息和外貌信息。
上述获取关键点对应的二维热力图的步骤，可以包括以下操作方式：将关键点投影至二维平面，得到关键点二维图像；其中，关键点二维图像中的关键点对应的像素值为255，其余像素值为0；使用预设的高斯卷积核对关键点二维图像进行卷积处理，得到二维热力图。在将关键点投影至二维平面时，可以根据人脸的姿态信息对关键点进行旋转和平移，因此上述二维热力图中与关键点对应的点包括人脸的表情信息、外貌信息和姿态信息，这里的人脸的表情信息具体为上述驱动表情系数对应的信息，这里的人脸的姿态信息具体为上述驱动姿态系数对应的信息，而人脸的外貌信息具体为上述源人脸外貌标识系数对应的信息。
步骤S210，根据源人脸图像和二维热力图确定仿射变换系数，并根据仿射变换系数对源人脸图像进行仿射变换，得到人脸表情迁移图像。
具体实现时，可根据上述源人脸图像以及上述二维热力图所包含的人脸的表情信息、外貌信息和姿态信息，确定出相应的仿射变换系数；之后用确定的仿射变换系数对源人脸图像进行仿射变换，得到人脸表情迁移图像。由于上述二维热力图所包含的人脸的表情信息、外貌信息和姿态信息分别来自上述驱动表情系数、上述源人脸外貌标识系数和上述驱动姿态系数，因此，上述人脸表情迁移图像的人脸表情和人脸姿态与上述驱动人脸图像包含的人脸表情和人脸姿态相同，上述人脸表情迁移图像的外貌与源人脸图像包含的人脸外貌相同。
本公开实施例提供一种表情迁移方法，通过使用源人脸图像的源人脸外貌标识系数、驱动人脸图像的驱动表情系数和驱动姿态系数对平均三维人脸模型进行变形处理，得到目标三维人脸模型，使得目标三维人脸模型具有源人脸图像的外貌信息和驱动人脸图像的表情与姿态信息，通过采样该模型上的关键点，并将关键点的位置信息体现在二维热力图中，再通过该二维热力图和源人脸图像各特征层对应的仿射变换系数对源人脸图像进行仿射变换，得到人脸表情迁移图像，这种方式得到的人脸表情迁移图像的人脸表情和人脸姿态为驱动人脸图像包含的人脸表情和人脸姿态，外貌为源人脸图像包含的人脸外貌，缓解了基于稠密运动场的表情迁移技术中的人脸形变问题，提升了表情迁移效果。
上述仿射变换过程中，可以对源人脸图像以及上述二维热力图进行卷积处理，得到不同的特征层对应的特征图，本实施例中，不同的特征层编码了不同的区域特征，仿射变换过程中对不同的特征层做不同的仿射变换，即，利用不同特征层对应的仿射变换系数对该特征层对应的特征图进行仿射变换处理，所有的特征图均完成仿射变换处理后，通过解码，即可得到人脸表情迁移图像。这种方式可以实现更复杂的空间形变，因此对于人脸姿态变动较大的应用场景，也能够实现使人脸表情迁移图像中的人脸外貌与源人脸的外貌一致。
作为一种可能的实施方式，上述应用源人脸外貌标识系数和驱动调整系数对预设的平均三维人脸模型进行变形处理的步骤，可以包括以下操作方式：通过以下公式进行变形处理：M＝Rd.(M0+sps.Vsp+epd.Vep)+td，其中，M表示目标三维人脸模型，M0表示预设的平均三维人脸模型，Vsp表示预设的人脸形状基，sps表示源人脸外貌标识系数，Vep表示预设的人脸表情基，epd表示驱动表情系数；Rd和td表示驱动姿态系数中的旋转参数和平移参数。
该人脸形状基可以是一张基准的人脸形状图像，如椭圆形人脸、瓜子型人脸等外貌形状。该基准的人脸形状图像可以从多张人脸图像的统计结果中确定出来，也可以人为指定一种人脸形状图像作为人脸形状基。
上述人脸表情基可以是指具有显著特征的典型的面部表情，例如眨眼、皱眉、扯动嘴角、眯眼等。上述驱动表情系数可以是在重构人脸表情时，与各个人脸表情基进行线性组合所采用的系数。上述公式中，预设的人脸形状基Vsp在源人脸外貌标识系数sps的作用下产生形变，得到形变后的人脸形状sps.Vsp；预设的人脸表情基Vep在上述驱动表情系数epd的作用下产生形变，得到形变后的人脸表情epd.Vep；将形变后的人脸形状sps.Vsp和形变后的人脸表情epd.Vep作用在预设的平均三维人脸模型M0上，得到形状和表情形变后的人脸模型(M0+sps.Vsp+epd.Vep)；形状和表情形变后的人脸模型(M0+sps.Vsp+epd.Vep)经过旋转参数Rd进行旋转操作和经过平移参数td进行平移操作后，得到形变后的三维人脸模型(也即上述目标三维人脸模型)。作为一种可能的实施方式，上述应用源人脸外貌标识系数和驱动调整系数对预设的平均三维人脸模型进行变形处理的步骤，可以包括以下操作方式：通过以下公式进行变形处理：M＝Rd.M0+td+sps.RdVsp+epd.RdVep，其中，M表示目标三维人脸模型，M0表示预设的平均三维人脸模型，Vsp表示预设的人脸形状基，sps表示源人脸外貌标识系数，Vep表示预设的人脸表情基，epd表示驱动表情系数；Rd和td表示驱动姿态系数中的旋转参数和平移参数。
通过上述公式，可以利用源人脸外貌标识系数和驱动调整系数对平均三维人脸模型进行形变，得到具有源人脸图像中的外貌以及驱动人脸图像中的表情和姿态的目标三维人脸模型，模型达到的预期效果较好。
作为一种可能的实施方式，可通过以下公式获取上述关键点对应的二维热力图：
其中，
表示正交投影矩阵，用于将上述关键点投影至二维平面，ss表示上述源人脸图像的投影比例系数，G(.)表示高斯模糊函数，Mn表示从上述目标三维人脸模型上采样n个关键点，H为生成的二维热力图，n为预设值，例如为68。
通过上述公式得到的二维热力图比较简单，通过高斯模糊函数可以对关键点的影响范围进行扩展，使表情迁移的效果更准确，本公开实施例对上述H的具体公式形式不进行限定，根据实际应用，可以灵活确定。
作为一种可能的实施方式，上述根据源人脸图像和二维热力图确定仿射变换系数的步骤，可以包括以下操作方式：通过纹理编码器对上述源人脸图像和上述二维热力图进行卷积处理，得到第一数量的特征层分别对应的特征图；其中，不同的特征层的特征图对应不同的区域特征；通过变换编码器确定每个特征层分别对应的特征图的仿射变换系数；其中，仿射变换系数包括缩放参数、旋转参数和平移参数。
例如，源人脸图像为RGB三通道彩色图像，热力图为单通道灰度图像，可将源人脸图像和热力图堆叠在一起，即将源人脸图像的RGB三个通道和热力图的灰度通道叠放在一起从而形成一个四通道图像；之后将该四通道图像输入到纹理编码器中，通过纹理编码器对该四通道图像进行卷积处理，并输出得到大小为C×H×W的特征图F(即上述第一数量的特征层分别对应的特征图)，其中C表示特征图的个数(即上述第一数量，例如512)，H和W分别表示特征图的高和宽；之后将每个特征图F输入到变换编码器中，通过变换编码器对每个特征层的特征图分别计算出相应的仿射变换系数，并输出得到每个特征层分别对应的特征图的仿射变换系数。
采用上述对每个特征层的特征图分别计算仿射变换系数的操作方式，能够保证运算量小，进而使运算结果更准确，有效提升表情迁移的准确性。
作为一种可能的实施方式，上述根据仿射变换系数对源人脸图像进行仿射变换，得到人脸表情迁移图像的步骤，可以包括以下操作方式：对于每个特征层对应的特征图，均通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理，得到该特征图的仿射变换图；通过纹理解码器对每个特征层对应的仿射变换图解码，得到人脸表情迁移图像。
接续前例，在变换编码器输出得到每个特征层分别对应的特征图的仿射变换系数之后，对于每个特征层对应的特征图，均将该特征图的仿射变换系数；对于每个特征层对应的特征图，均通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理，并输出得到该特征图的仿射变换图；对于每个特征层对应的仿射变换图，均将该仿射变换图输入到纹理解码器中；通过纹理解码器对每个特征层对应的仿射变换图解码，并将解码后的全部仿射变换图合成人脸表情迁移图像，之后输出得到人脸表情迁移图像。
采用上述根据每个特征层的仿射变换系数对该特征层的特征图进行仿射变换处理的操作方式，不同特征层的仿射变换系数通常不同，不同特征层的特征图也不同，因此对不同特征层对应的特征图进行的仿射变换也不同，因此该方式可以处理复杂的空间形变，通过每个特征层对应的特征图分别进行仿射变换，每次的运算量小，进而使运算结果更准确，有效提升了表情迁移的准确性，即使在大的头部姿态下进行表情迁移，也不会发生人脸的外貌变形。
作为一种可能的实施方式，上述通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理，可以包括以下操作方式：将该特征图的仿射变换系数和该特征图输入仿射变换器；
通过仿射变换器内的下述公式进行仿射变换处理：
采用上述公式，可以保证计算的准确性和合理性，除了上述公式的方式之外，也可以采用与上述公式类似的方式进行仿射变换处理，或者出于实际应用场景需要，上述缩放参数、旋转参数或者平移参数中的至少之一可以加上预设的常量，以降低图像采集或处理过程中的误差，提升仿射变换效果。
作为一种可能的实施方式，上述对驱动人脸图像进行三维人脸重建和对源人脸图像进行三维人脸重建的步骤，可以包括以下操作方式：
(1)采用相同的人脸关键点检测算法，分别检测得到上述驱动人脸图像中的第一关键点和上述源人脸图像中相同数量的第二关键点；其中，第一关键点、第二关键点和上述从目标三维人脸模型上采样的关键点各自的数量相等。
上述人脸关键点检测算法可根据实际需要自行确定，例如采用openface、dlib等，对此不进行限定。
(2)利用预设的三维人脸模型，通过优化目标
计算出驱动人脸图像的驱动人脸ID系数(即表征驱动人脸图像中的人脸外貌特征的源人脸外貌标识系数)spd、驱动人脸表情系数(即上述驱动表情系数)epd和驱动人脸姿态系数(即上述驱动姿态系数，包含投影比例系数sd、旋转参数Rd和平移参数td)，以及计算出源人脸图像的源人脸ID系数(即表征源人脸图像中的人脸外貌特征的源人脸外貌标识系数)sps、源人脸表情系数eps和源人脸姿态系数(包含投影比例系数ss、旋转参数Rs和平移参数ts)。
上述公式中，sp表示二维图像的人脸ID系数，ep表示二维图像的人脸表情系数，s、R和t分别表示二维图像的人脸姿态系数(也即头部姿态系数)中的投影比例系数、旋转参数和平移参数，n表示二维图像(驱动人脸图像或源人脸图像)中检测得到的关键点(第一关键点或第二关键点)的数量，l表示二维图像中检测得到的关键点的序号，pl表示二维图像中检测得到的第l个关键点，
表示二维图像中检测得到的第l个关键点对应在三维人脸模型上的关键点。
上述优化目标的数值越小，说明三维人脸重建结果越准确。上述人脸ID系数sp是指具有显著特征的典型的面部形状，例如眼睛、眉毛、嘴巴、鼻子、耳朵、下巴、额头、脸型等。上述人脸表情系数ep是指具有显著特征的典型的面部表情，例如眨眼、皱眉、扯动嘴角、眯眼等。上述投影比例系数s用于表征人脸离相机的远近程度，其数值与人脸离相机远近，以及二维图像尺寸大小有关。由于三维人脸模型是相对于一定方位处的虚拟相机进行构建的，而投影比例系数s是在三维人脸模型中对应的值，因此，一旦三维人脸模型固定，相应的投影比例系数s就是固定值。
为了便于理解，在此以图3和图4为例对上述表情迁移方法进行示例性描述如下：
给定一张源人脸图像和一段驱动人脸视频，需要合成一段人脸视频，合成的这段人脸视频中人脸的外貌为源人脸图像包含的人脸外貌，合成的这段人脸视频中人脸的表情和头部姿态是驱动人脸视频中人脸的表情和头部姿态。为了实现上述目的，上述表情迁移方法可按照三个阶段进行，这三个阶段分别为三维人脸重建阶段、人脸关键点投影阶段和人脸图像生成阶段。
(一)三维人脸重建阶段
三维人脸重建阶段使用通用的三维人脸重建算法计算出源人脸图像和驱动人脸图像中的人脸表情系数、人脸姿态系数和人脸ID系数。参见图3所示，三维人脸重建的具体过程包括以下几个部分：
(1)截取驱动人脸视频B1中包含人脸的视频帧图像，并将截取到的每个视频帧图像作为一个驱动人脸图像；采用相同的人脸关键点检测算法，分别检测出每个驱动人脸图像所包含的人脸中的68个第一关键点和源人脸图像A1所包含的人脸中的68个的第二关键点。
(2)参见图3所示，利用3DMM，即三维人脸重建，通过优化目标
计算出每个驱动人脸图像的驱动人脸ID系数spd、驱动人脸表情系数epd和驱动人脸姿态系数(包含投影比例系数sd、旋转参数Rd和平移参数td)，以及计算出源人脸图像A1的源人脸ID系数sps、源人脸表情系数eps和源人脸姿态系数(包含投影比例系数ss、旋转参数Rs和平移参数ts)。上述公式中符号的含义与前述相关内容相同，对此不再赘述。
(二)人脸关键点投影阶段
参见图3所示，人脸关键点投影阶段的主要工作包括以下几个部分：
(1)将源人脸ID系数sps、驱动人脸表情系数epd和驱动人脸姿态系数作用于3DMM中预设的平均三维人脸模型，通过以下公式进行变形处理：M＝Rd.(M0+sps.Vsp+epd.Vep)+td，得到形变后的三维人脸M，即上述目标三维人脸模型。上述公式中符号的含义与前述相关内容相同，对此不再赘述。
(2)从形变后的三维人脸C1采样关键点，通过以下公式在形变后的三维人脸M上采样得到68个关键点：M68＝S(M)，其中，M68表示在形变后的三维人脸M上采样得到68个关键点，S(.)表示采样函数。
(3)三维投影到二维，通过以下公式将在形变后的三维人脸上采样得到的68个关键点投影到二维平面上，并生成对应的热力图H：H＝
其中，H为热力图，
表示正交投影矩阵，ss表示源人脸的投影比例系数，G(.)表示高斯模糊。
(三)人脸图像生成阶段
参见图3所示，人脸图像生成阶段的主要目标是输入源人脸图像A1和热力图H，经过自适应仿射变换模块T仿射变换，合成最终的人脸表情迁移结果C1。
参见图4所示，自适应仿射变换模块的基本结构包括一个纹理编码器Eapp、一个变换编码器Etrans、一个仿射变换器Ttrans、一个纹理解码器Dapp。首先，源人脸图像和热力图堆叠在一起输入到纹理编码器Eapp中，计算出大小为C×H×W的特征图F；然后将特征图F输入到变换编码器Etrans中，对于每一个特征图，均通过变换编码器Etrans计算出该特征图对应的缩放参数ps、旋转参数pθ、x轴平移参数
和y轴平移参数
其中，该变换编码器具体可以为卷积神经网络。
对于每一个特征图，均将该特征图对应的缩放参数ps、旋转参数pθ、x轴平移参数
和y轴平移参数
以及该特征图输入到仿射变换器中，以通过仿射变换器使用以下公式对该特征图进行仿射变换处理：
得到该特征图对应的仿射变换图；之后进一步将每个特征图对应的仿射变换图将输入到纹理解码器Dapp中，通过纹理解码器Dapp对每个特征图对应的仿射变换图解码，并将解码后的全部仿射变换图合成人脸表情迁移图像，之后输出得到最终的合成结果(即人脸表情迁移结果)。该合成结果为多个合成图像，每个合成图像各自在合成的人脸视频中的时刻与每个驱动人脸图像各自在驱动人脸视频中的时刻对应，这样便合成得到一段人脸视频。
基于上述方法实施例，本公开实施例还提供一种表情迁移装置，参见图5所示，该装置可以包括以下模块：
第一系数获取模块502，用于获取所述驱动人脸图像的驱动调整系数；其中，所述驱动调整系数包含有用于驱动人脸表情调整的驱动表情系数和用于驱动人脸姿态调整的驱动姿态系数。
第二系数获取模块504，用于获取所述源人脸图像的源人脸外貌标识系数，所述源人脸外貌标识系数用于表征所述源人脸图像中的人脸外貌特征。
处理模块506，用于应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，得到目标三维人脸模型。
热力图获取模块508，用于从所述目标三维人脸模型上采样预设数量的关键点，获取所述关键点对应的二维热力图；其中，所述二维热力图包含有所述关键点在所述目标三维人脸模型中的位置以及所述位置对应的表情信息、姿态信息和外貌信息。
仿射变换模块510，用于根据所述源人脸图像和所述二维热力图确定仿射变换系数，并根据所述仿射变换系数对所述源人脸图像进行仿射变换，得到人脸表情迁移图像；其中，所述人脸表情迁移图像的人脸表情和人脸姿态与所述驱动人脸图像包含的人脸表情和人脸姿态相同，所述人脸表情迁移图像的外貌与所述源人脸图像包含的人脸外貌相同。
本公开实施例提供一种表情迁移装置，通过使用源人脸图像的源人脸外貌标识系数、驱动人脸图像的驱动表情系数和驱动姿态系数对平均三维人脸模型进行变形处理，得到目标三维人脸模型，使得目标三维人脸模型具有源人脸图像的外貌信息和驱动人脸图像的表情与姿态信息，通过采样该模型上的关键点，并将关键点的位置信息体现在二维热力图中，再通过该二维热力图和源人脸图像各特征层对应的仿射变换系数对源人脸图像进行仿射变换，得到人脸表情迁移图像，这种方式得到的人脸表情迁移图像的人脸表情和人脸姿态为驱动人脸图像包含的人脸表情和人脸姿态，外貌为源人脸图像包含的人脸外貌，缓解了基于稠密运动场的表情迁移技术中的人脸形变问题，提升了表情迁移效果。
上述处理模块506还可以用于：应用所述源人脸外貌标识系数对预设的平均三维人脸模型的外貌特征进行形变处理；应用所述驱动调整系数中的驱动表情系数对所述平均三维人脸模型的表情特征进行形变处理；应用所述驱动调整系数中的驱动姿态系数对所述平均三维人脸模型的头部姿态特征进行形变处理。例如：通过以下公式进行变形处理：M＝Rd.(M0+sps.Vsp+epd.Vep)+td，其中，M表示目标三维人脸模型，M0表示预设的平均三维人脸模型，Vsp表示预设的人脸形状基，sps表示源人脸外貌标识系数，Vep表示预设的人脸表情基，epd表示驱动表情系数；Rd和td表示驱动姿态系数中的旋转参数和平移参数。
上述热力图获取模块508还可以用于：通过以下公式获取所述关键点对应的二维热力图：
其中，
表示正交投影矩阵，用于将所述关键点投影至二维平面，ss表示所述源人脸图像的投影比例系数，G(.)表示高斯模糊函数，Mn表示从所述目标三维人脸模型上采样n个关键点，H为生成的二维热力图，n为预设值。
上述仿射变换系数包括缩放参数、旋转参数和平移参数。
上述仿射变换模块510还可以用于：通过纹理编码器对所述源人脸图像和所述二维热力图进行卷积处理，得到第一数量的特征层分别对应的特征图；其中，不同的特征层的特征图对应不同的区域特征；通过变换编码器确定每个特征层分别对应的特征图的仿射变换系数。
上述仿射变换模块510还可以用于：对于每个特征层对应的特征图，均通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理，得到该特征图的仿射变换图；通过纹理解码器对每个特征层对应的仿射变换图解码，得到人脸表情迁移图像。
上述通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理包括：将该特征图的仿射变换系数和该特征图输入仿射变换器；通过仿射变换器内的下述公式进行仿射变换处理：
其中，xc、yc表示特征图上的像素点坐标，
表示所述像素点仿射变换后的坐标，
表示由仿射变换系数组成的仿射变换矩阵，其中，ps为所述仿射变换系数中的缩放参数，pθ为所述仿射变换系数中的旋转参数，
为所述仿射变换系数中的x轴平移参数，
为所述仿射变换系数中的y轴平移参数。
第一系数获取模块502还用于对所述驱动人脸图像进行三维人脸重建，得到驱动调整系数；
第二系数获取模块504还用于对所述源人脸图像进行所述三维人脸重建，得到源人脸外貌标识系数。
本公开实施例提供的表情迁移装置，其实现原理及产生的技术效果和前述表情迁移方法实施例相同，为简要描述，表情迁移装置的实施例部分未提及之处，可参考前述表情迁移方法实施例中相应内容。
本公开实施例还提供了一种电子设备，如图6所示，为该电子设备的结构示意图，其中，该电子设备包括处理器61和存储器60，该存储器60存储有能够被该处理器61执行的计算机可执行指令，该处理器61执行该计算机可执行指令以实现上述表情迁移方法。
在图6示出的实施方式中，该电子设备还包括总线62和通信接口63，其中，处理器61、通信接口63和存储器60通过总线62连接。
其中，存储器60可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线62可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器61读取存储器中的信息，结合其硬件完成前述实施例的表情迁移方法的步骤。
本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述表情迁移方法，具体实现可参见前述方法实施例，在此不再赘述。
本公开实施例所提供的表情迁移方法、装置、电子设备及存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本公开的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种表情迁移方法，其特征在于，通过电子设备提供驱动人脸图像和源人脸图像，所述方法包括：
获取所述驱动人脸图像的驱动调整系数；其中，所述驱动调整系数包含有用于驱动人脸表情调整的驱动表情系数和用于驱动人脸姿态调整的驱动姿态系数；
获取所述源人脸图像的源人脸外貌标识系数，所述源人脸外貌标识系数用于表征所述源人脸图像中的人脸外貌特征；
应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，得到目标三维人脸模型；
从所述目标三维人脸模型上采样预设数量的关键点，获取所述关键点对应的二维热力图；其中，所述二维热力图包含有所述关键点在所述目标三维人脸模型中的位置以及所述位置对应的表情信息、姿态信息和外貌信息；
根据所述源人脸图像和所述二维热力图确定仿射变换系数，并根据所述仿射变换系数对所述源人脸图像进行仿射变换，得到人脸表情迁移图像。
2.根据权利要求1所述的方法，其特征在于，应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，包括：
应用所述源人脸外貌标识系数对预设的平均三维人脸模型的外貌特征进行形变处理；
应用所述驱动调整系数中的驱动表情系数对所述平均三维人脸模型的表情特征进行形变处理；
应用所述驱动调整系数中的驱动姿态系数对所述平均三维人脸模型的头部姿态特征进行形变处理。
3.根据权利要求1所述的方法，其特征在于，应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，包括：
通过以下公式进行变形处理：M＝Rd.(M0+sps.Vsp+epd.Vep)+td，其中，M表示目标三维人脸模型，M0表示预设的平均三维人脸模型，Vsp表示预设的人脸形状基，sps表示源人脸外貌标识系数，Vep表示预设的人脸表情基，epd表示驱动表情系数；Rd和td表示驱动姿态系数中的旋转参数和平移参数。
4.根据权利要求1所述的方法，其特征在于，通过以下公式获取所述关键点对应的二维热力图：
5.根据权利要求1所述的方法，其特征在于，所述仿射变换系数包括缩放参数、旋转参数和平移参数。
6.根据权利要求1所述的方法，其特征在于，根据所述源人脸图像和所述二维热力图确定仿射变换系数，包括：
通过纹理编码器对所述源人脸图像和所述二维热力图进行卷积处理，得到第一数量的特征层分别对应的特征图；其中，不同的特征层的特征图对应不同的区域特征；
通过变换编码器确定每个特征层分别对应的特征图的仿射变换系数。
7.根据权利要求6所述的方法，其特征在于，根据所述仿射变换系数对所述源人脸图像进行仿射变换，得到人脸表情迁移图像的步骤，包括：
对于每个特征层对应的特征图，均通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理，得到该特征图的仿射变换图；
通过纹理解码器对每个特征层对应的仿射变换图解码，得到人脸表情迁移图像。
8.根据权利要求7所述的方法，其特征在于，通过仿射变换器根据该特征图的仿射变换系数对该特征图进行仿射变换处理包括：
将该特征图的仿射变换系数和该特征图输入仿射变换器；
通过仿射变换器内的下述公式进行仿射变换处理：
9.根据权利要求1所述的方法，其特征在于，获取所述驱动人脸图像的驱动调整系数包括：对所述驱动人脸图像进行三维人脸重建，得到驱动调整系数；
获取所述源人脸图像的源人脸外貌标识系数包括：对所述源人脸图像进行所述三维人脸重建，得到源人脸外貌标识系数。
10.一种表情迁移装置，其特征在于，通过电子设备提供驱动人脸图像和源人脸图像，所述装置包括：
第一系数获取模块，用于获取所述驱动人脸图像的驱动调整系数；其中，所述驱动调整系数包含有用于驱动人脸表情调整的驱动表情系数和用于驱动人脸姿态调整的驱动姿态系数；
第二系数获取模块，用于获取所述源人脸图像的源人脸外貌标识系数，所述源人脸外貌标识系数得到用于表征所述源人脸图像中的人脸外貌特征的；
处理模块，用于应用所述源人脸外貌标识系数和所述驱动调整系数对预设的平均三维人脸模型进行变形处理，得到目标三维人脸模型；
热力图获取模块，用于从所述目标三维人脸模型上采样预设数量的关键点，获取所述关键点对应的二维热力图；其中，所述二维热力图包含有所述关键点在所述目标三维人脸模型中的位置以及所述位置对应的表情信息、姿态信息和外貌信息；
仿射变换模块，用于根据所述源人脸图像和所述二维热力图确定仿射变换系数，并根据所述仿射变换系数对所述源人脸图像进行仿射变换，得到人脸表情迁移图像。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至9任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210981919.8A CN115330980A (zh) | 2022-08-16 | 2022-08-16 | 表情迁移方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210981919.8A CN115330980A (zh) | 2022-08-16 | 2022-08-16 | 表情迁移方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115330980A true CN115330980A (zh) | 2022-11-11 |
Family
ID=83923470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210981919.8A Pending CN115330980A (zh) | 2022-08-16 | 2022-08-16 | 表情迁移方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115330980A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115564642A (zh) * | 2022-12-05 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 图像变换方法、装置、电子设备、存储介质及程序产品 |
| WO2024108552A1 (zh) * | 2022-11-25 | 2024-05-30 | 广州酷狗计算机科技有限公司 | 虚拟模型的面部驱动方法、装置、设备及存储介质 |
-
2022
- 2022-08-16 CN CN202210981919.8A patent/CN115330980A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024108552A1 (zh) * | 2022-11-25 | 2024-05-30 | 广州酷狗计算机科技有限公司 | 虚拟模型的面部驱动方法、装置、设备及存储介质 |
| CN115564642A (zh) * | 2022-12-05 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 图像变换方法、装置、电子设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Semantic-aware implicit neural audio-driven video portrait generation | |
| CN109859296B (zh) | Smpl参数预测模型的训练方法、服务器及存储介质 | |
| US11727617B2 (en) | Single image-based real-time body animation | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US11508107B2 (en) | Additional developments to the automatic rig creation process | |
| CN115330980A (zh) | 表情迁移方法、装置、电子设备及存储介质 | |
| US20220398797A1 (en) | Enhanced system for generation of facial models and animation | |
| US11887232B2 (en) | Enhanced system for generation of facial models and animation | |
| US20220398795A1 (en) | Enhanced system for generation of facial models and animation | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| WO2024098685A1 (zh) | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 | |
| CN115984447B (zh) | 图像渲染方法、装置、设备和介质 | |
| CN114429518B (zh) | 人脸模型重建方法、装置、设备和存储介质 | |
| US10803677B2 (en) | Method and system of automated facial morphing for eyebrow hair and face color detection | |
| CN114359453A (zh) | 一种三维特效渲染方法、装置、存储介质及设备 | |
| Purps et al. | Reconstructing facial expressions of hmd users for avatars in vr | |
| CN112150608B (zh) | 一种基于图卷积神经网络的三维人脸重建方法 | |
| WO2012082077A2 (en) | Pose-independent 3d face reconstruction from a sample 2d face image | |
| Sun et al. | Generation of virtual digital human for customer service industry | |
| CN113223103A (zh) | 素描画生成的方法、装置、电子设备及介质 | |
| US20190340806A1 (en) | Noise reduction on g-buffers for monte carlo filtering | |
| US20240233230A9 (en) | Automated system for generation of facial animation rigs | |
| CN115714888B (zh) | 视频生成方法、装置、设备与计算机可读存储介质 | |
| CN117237570A (zh) | 一种虚拟头部化身构造方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |