CN116092164B - 人脸图像重演方法、装置、电子设备及存储介质 - Google Patents
人脸图像重演方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116092164B CN116092164B CN202310109275.8A CN202310109275A CN116092164B CN 116092164 B CN116092164 B CN 116092164B CN 202310109275 A CN202310109275 A CN 202310109275A CN 116092164 B CN116092164 B CN 116092164B
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- face
- determining
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000011159 matrix material Substances 0.000 claims abstract description 322
- 230000009466 transformation Effects 0.000 claims abstract description 114
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 95
- 230000003287 optical effect Effects 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 230000008439 repair process Effects 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000013604 expression vector Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 125000003275 alpha amino acid group Chemical group 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人脸图像重演方法、装置、电子设备及存储介质，涉及图像处理技术领域，其中方法包括：对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分；基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。本发明实现了源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的，大幅提高了人脸重演的精准性和适用性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸图像重演方法、装置、电子设备及存储介质。
背景技术
众所周知，人脸重演技术是指利用一段视频来驱动一张图像，使图像中的人脸能够模仿视频中人物的面部姿态、表情和动作，实现静态图像视频化的效果，并由于重演的人脸图像及能够保留原图像中的身份信息，同时也能够包含驱动图像中人物的表情和姿态，因此，人脸重演技术可广泛应用于媒体、娱乐、虚拟现实等方面。
相关技术中的人脸重演方法，首先基于源图像的不同参数集生成不同模拟图像，再估计不同模拟图像的运动向量，然后基于驱动图像和运动向量进行人脸重演，确定人脸图像对应的重演图像。
然而，虽然现有人脸重演方法也可以用于人脸图像重演，但却仅适用于源图像和驱动图像之间的位姿差异并不大的人脸重演情况，并不适用于源图像和驱动图像之间存在较大差异时的人脸重演情况，从而导致人脸重演的精准性和适用性不高。
发明内容
本发明提供一种人脸图像重演方法、装置、电子设备及存储介质，用以解决现有技术仅适用源图像和驱动图像之间的位姿差异并不大的人脸重演情况所导致的人脸重演的精准性和适用性不高的缺陷，通过从人脸关键点中选取薄板样条插值关键点确定更加灵活的密集光流的方式，实现源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的，从而大幅提高了人脸重演的精准性和适用性。
本发明提供一种人脸图像重演方法，包括：
对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
基于所述目标人脸薄板样条插值关键点矩阵和所述背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，所述多尺度掩码图像用于标识所述源图像中扭曲重建的部分和上下文修复的部分；
基于所述密集光流和所述多尺度掩码图像进行人脸重演，确定所述源图像和所述驱动图像对应的重建图像；所述人脸重演包括所述扭曲重建和所述上下文修复。
根据本发明提供的一种人脸图像重演方法，所述对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，包括：
采用Resnet18网络和注意力机制，确定源图像中人脸关键点注意力的第一初始得分矩阵和驱动图像中所述人脸关键点注意力的第二初始得分矩阵；
对所述第一初始得分矩阵和所述第二初始得分矩阵分别进行Gumbel-softmax采样，确定第一采样得分矩阵和第二采样得分矩阵；
基于所述第一采样得分矩阵和所述第二采样得分矩阵，确定第一人脸薄板样条插值关键点矩阵和第二人脸薄板样条插值关键点矩阵；
基于全连接层，对所述源图像和所述驱动图像分别进行自监督学习，确定第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵；
基于所述第一人脸薄板样条插值关键点矩阵、所述第二人脸薄板样条插值关键点矩阵、所述第三人脸薄板样条插值关键点矩阵和所述第四人脸薄板样条插值关键点矩阵，确定所述目标人脸薄板样条插值关键点矩阵；
采用所述Resnet18网络对所述源图像和所述驱动图像进行背景检测，确定背景仿射变换参数矩阵。
根据本发明提供的一种人脸图像重演方法，所述基于所述目标人脸薄板样条插值关键点矩阵和所述背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像，包括：
基于所述目标人脸薄板样条插值关键点矩阵，确定热图；所述热图表征所述源图像与所述驱动图像之间的差异；
确定所述目标人脸薄板样条插值关键点矩阵对应的目标薄板样条插值变换矩阵以及所述背景仿射变换参数矩阵对应的目标背景仿射变换矩阵；
对所述目标薄板样条插值变换矩阵和所述目标背景仿射变换矩阵进行双线性插值，确定所述源图像经扭曲后所得的扭曲编码特征图；
基于所述热图和所述扭曲编码特征图进行光流和掩码预测，确定所述密集光流和所述多尺度掩码图像。
根据本发明提供的一种人脸图像重演方法，在所述确定所述源图像和所述驱动图像对应的重建图像之后，所述方法还包括：
基于所述源图像、所述驱动图像、所述目标人脸薄板样条插值关键点矩阵和所述重建图像，确定混合空间域损失；
基于所述混合空间域损失和预设损失需求的匹配成功结果，确定所述重建图像为符合重演需求的目标重演图像；
基于所述混合空间域损失和所述预设损失需求的匹配失败结果，获取新的源图像和/或新的驱动图像，然后执行所述对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵的步骤；直至确定出所述符合重演需求的目标重演图像。
根据本发明提供的一种人脸图像重演方法，所述基于所述源图像、所述驱动图像、所述目标人脸薄板样条插值关键点矩阵和所述重建图像，确定混合空间域损失，包括：
确定所述驱动图像和所述重建图像之间的二维重建损失；
基于所述源图像和所述目标人脸薄板样条插值关键点矩阵，确定二维等方差损失；
基于所述源图像和所述驱动图像，确定二维背景损失；
基于所述源图像的扭曲编码特征图以及所述驱动图像，确定二维扭曲损失；
基于所述二维重建损失、所述二维等方差损失、所述二维背景损失和所述二维扭曲损失，确定二维空间域损失；
基于所述驱动图像和所述重建图像，确定三维空间域损失；
基于所述二维空间域损失和所述三维空间域损失，确定混合空间域损失。
根据本发明提供的一种人脸图像重演方法，所述基于所述驱动图像和所述重建图像，确定三维空间域损失，包括：
基于所述驱动图像对预训练的人脸重建网络进行表情系数回归，确定第一表情系数向量；
基于所述重建图像对所述预训练的人脸重建网络进行表情系数回归，确定第二表情系数向量；
基于所述第一表情系数向量和所述第二表情系数向量，确定所述三维空间域损失。
根据本发明提供的一种人脸图像重演方法，所述基于所述源图像和所述驱动图像，确定二维背景损失，包括：
基于所述源图像和所述驱动图像的第一级联顺序，确定第一背景仿射变换矩阵；
基于所述源图像和所述驱动图像的第二级联顺序，确定第二背景仿射变换矩阵；
基于所述第一背景仿射变换矩阵和所述第二背景仿射变换矩阵，确定所述二维背景损失。
本发明还提供一种人脸图像重演装置，包括：
确定模块，用于对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
运动转换模块，用于基于所述目标人脸薄板样条插值关键点矩阵和所述背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，所述多尺度掩码图像用于标识所述源图像中扭曲重建的部分和上下文修复的部分；
人脸重演模块，用于基于所述密集光流和所述多尺度掩码图像进行人脸重演，确定所述源图像和所述驱动图像对应的重建图像；所述人脸重演包括所述扭曲重建和所述上下文修复。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸图像重演方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸图像重演方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸图像重演方法。
本发明提供的人脸图像重演方法、装置、电子设备及存储介质，其中人脸重演方法，终端设备通过先对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，再基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；后基于密集光流和多尺度掩码图像进行人脸重演的方式，确定源图像和驱动图像对应的重建图像。由于其多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分，人脸重演包括扭曲重建和上下文修复，因此能够结合从人脸关键点中选取薄板样条插值关键点确定更加灵活的密集光流，实现源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的，从而大幅提高了人脸重演的精准性和适用性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的人脸图像重演方法的流程示意图；
图2是本发明提供的人脸图像重演方法的总体架构示意图；
图3是本发明提供的确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵的网络结构示意图；
图4是本发明提供的确定密集光流和多尺度掩码图像的网络结构示意图；
图5是本发明提供的确定混合空间域损失的网络结构示意图；
图6是本发明提供的确定三维空间域损失的网络结构示意图；
图7是本发明提供的人脸图像重演装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图8描述本发明的人脸图像重演方法、装置、电子设备及存储介质，其中人脸图像重演方法的执行主体，可以为终端设备，也可以为服务器；终端设备可以为个人计算机(Personal Computer，PC)、便携式设备、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等其它电子设备；服务器可以是指一台服务器，也可以是由多台服务器构成的服务器集群、云计算中心等等；本发明对终端设备或服务器的具体形式不做限定。下述方法实施例以执行主体为终端设备为例进行说明。
参照图1，为本发明实施例提供的人脸图像重演方法的流程示意图，如图1所示，该人脸图像重演方法，包括以下步骤：
步骤110、对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵。
其中，源图像可以为含有给定人脸的图像，驱动图像可以为驱动视频中携带被替换给定人脸的帧图像。并且，人脸关键点检测中的人脸关键点可以包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。此处不作具体限定。
具体的，终端设备针对源图像和驱动图像，可以采用以给定人脸的关键点主导的薄板样条插值方法进行薄板样条插值关键点提取，从而确定目标人脸薄板样条插值关键点矩阵；以及针对源图像和驱动图像，可以采用以给定人脸的关键点的背景为主导的仿射变换方法，进行背景参数提取，从而确定背景仿射变换参数矩阵。进一步的，终端设备确定的目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，可以为采用预设的稀疏轨迹估计方法对源图像和驱动图像进行稀疏轨迹估计后的结果，为后续进行人脸重演奠定基础。
步骤120、基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分。
具体的，终端设备可以采用预设的密集运动转换方法，对目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；并在多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分的情况下，密集光流可以用于对多尺度掩码图像中标识的源图像中扭曲重建的部分进行扭曲重建；此处多尺度掩码图像标识的源图像中上下文修复的部分，也即为源图像中不能通过扭曲重建进行人脸重演的部分，不能通过扭曲重建进行人脸重演的部分则进行上下文修复进行人脸重演，比如鼻子为不能通过扭曲重建进行人脸重演的部分时，可以利用鼻子周围的皮肤、毛孔等上下文进行上下文修复。
步骤130、基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。
具体的，终端设备基于密集光流和多尺度掩码图像进行人脸重演，可以采用预设的重建图像生成方法对源图像进行人脸重演，也即针对多尺度掩码图像中标识的源图像中扭曲重建的部分，可以先使用密集光流对源图像进行扭曲重建，再使用多尺度掩码图像对扭曲重建后的图像进行掩码，实现了针对源图像中不能扭曲重建的部分进行上下文修复的目的。以此确定出源图像和驱动图像对应的重建图像。
需要说明的是，步骤110～步骤130的执行过程可以参照如图2所示的总体架构示意图，也即将源图像和驱动图像作为数据对先输入至稀疏轨迹估计单元进行关键点检测及背景预测，确定进行目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，再将目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵输入至密集运动生成单元进行密集运动转换和重建图像生成，从而确定源图像和驱动图像对应的重建图像。
本发明提供的人脸图像重演方法，终端设备通过先对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，再基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；后基于密集光流和多尺度掩码图像进行人脸重演的方式，确定源图像和驱动图像对应的重建图像。由于其多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分，人脸重演包括扭曲重建和上下文修复，因此能够结合从人脸关键点中选取薄板样条插值关键点确定更加灵活的密集光流，实现源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的，从而大幅提高了人脸重演的精准性和适用性。
可选的，步骤110的具体实现过程可以包括：
首先，采用Resnet18网络和注意力机制，确定源图像中人脸关键点注意力的第一初始得分矩阵和驱动图像中人脸关键点注意力的第二初始得分矩阵；再进一步对第一初始得分矩阵和第二初始得分矩阵分别进行Gumbel-softmax采样，确定第一采样得分矩阵和第二采样得分矩阵；然后，基于第一采样得分矩阵和第二采样得分矩阵，确定第一人脸薄板样条插值关键点矩阵和第二人脸薄板样条插值关键点矩阵；进一步基于全连接层，对源图像和驱动图像分别进行自监督学习，确定第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵；最后，基于第一人脸薄板样条插值关键点矩阵、第二人脸薄板样条插值关键点矩阵、第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵，确定目标人脸薄板样条插值关键点矩阵；以及采用Resnet18网络对源图像和驱动图像进行背景检测，确定背景仿射变换参数矩阵。
具体的，如图3所示，终端设备确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵的过程通过以下子步骤确定：
步骤1101：将源图像和驱动图像分别输入至Resnet18网络，得到Resnet18网络的最后一层全连接层输出的源图像对应的512维向量L0以及驱动图像对应的512维向量L0’。
步骤1102：针对512维向量L0和512维向量L0’，分别采用注意力机制计算源图像中人脸关键点注意力的第一初始得分矩阵L1和驱动图像中人脸关键点注意力的第二初始得分矩阵L2，第一初始得分矩阵L1可以为K1×106维的得分矩阵，第二初始得分矩阵L2可以为K1×106维的得分矩阵。
步骤1103：对第一初始得分矩阵L1和第二初始得分矩阵L2分别进行Gumbel-softmax采样，确定分别进行第一采样得分矩阵z1和第二采样得分矩阵z2，其计算公式为：
式(1)中，§为自变量且可以取值为1或者2；τ为温度函数；为符合Gumble分布的噪声值，G＝-log(-log(u))，u～U[0,1]表示u在[0,1]上服从均匀分布。进一步的，第一采样得分矩阵z1和第二采样得分矩阵z2分别为K1×106维的0-1矩阵，0代表进行Gumbel-softmax采样时softmax未选值，1代表进行Gumbel-softmax采样softmax选择值。
步骤1104：针对第一采样得分矩阵z1和第二采样得分矩阵z2，将第一采样得分矩阵z1和第二采样得分矩阵z2分别与106个人脸关键点相乘、再将相乘所得的两个矩阵中的0值均剔除，从而确定第一人脸薄板样条插值关键点矩阵K1和第二人脸薄板样条插值关键点矩阵K2。其中，第一人脸薄板样条插值关键点矩阵K1和第二人脸薄板样条插值关键点矩阵K2均为K1×N维，N为小于106的正整数。其中，图2中Landmark为106个人脸关键点。
步骤1105：基于全连接层，对源图像和驱动图像分别进行自监督学习，分别确定第三人脸薄板样条插值关键点矩阵K3和第四人脸薄板样条插值关键点矩阵K4。其中，全连接层可以为两层，第三人脸薄板样条插值关键点矩阵K3和第四人脸薄板样条插值关键点矩阵K4分别为K2×N。
步骤1106：在目标人脸薄板样条插值关键点矩阵包括源图像对应的第一目标人脸薄板样条插值关键点矩阵和驱动图像对应的第二目标人脸薄板样条插值关键点矩阵的情况下，将第一人脸薄板样条插值关键点矩阵K1和第三人脸薄板样条插值关键点矩阵K3拼接为源图像对应的第一目标人脸薄板样条插值关键点矩阵，将第二人脸薄板样条插值关键点矩阵K2和第四人脸薄板样条插值关键点矩阵K4拼接为驱动图像对应的第二目标人脸薄板样条插值关键点矩阵。其中，第一目标人脸薄板样条插值关键点矩阵和第二目标人脸薄板样条插值关键点矩阵分别为K×N维，K＝K1+K2。
步骤1107：采用Resnet18网络对源图像S和驱动图像D进行背景检测，确定背景仿射变换参数矩阵，背景仿射变换参数矩阵可以为2×3的仿射变换参数矩阵Abg。
本发明提供的人脸图像重演方法，终端设备通过采用Resnet18网络、注意力机制、Gumbel-softmax采样和薄板样条插值对源图像和驱动图像进行人脸关键点检测的方式，确定目标人脸薄板样条插值关键点矩阵，以及通过采用Resnet18网络对源图像和驱动图像进行背景检测的方式确定背景仿射变换参数矩阵，以此结合Resnet18网络、注意力机制、Gumbel-softmax采样和薄板样条插值技术提高人脸关键点检测的精准性和可靠性，并且结合Resnet18网络技术提高背景检测的准确性和可靠性。
可选地，步骤120的具体实现过程可以包括：
首先，基于目标人脸薄板样条插值关键点矩阵，确定热图；热图表征源图像与驱动图像之间的差异；再确定目标人脸薄板样条插值关键点矩阵对应的目标薄板样条插值变换矩阵以及背景仿射变换参数矩阵对应的目标背景仿射变换矩阵；进一步对目标薄板样条插值变换矩阵和目标背景仿射变换矩阵进行双线性插值，确定源图像经扭曲后所得的扭曲编码特征图；然后，基于热图和扭曲编码特征图进行光流和掩码预测，确定密集光流和多尺度掩码图像。
具体的，参照图4，终端设备确定密集光流和多尺度掩码图像的过程通过以下子步骤确定；
步骤1201：在目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵包括源图像对应的第一目标人脸薄板样条插值关键点矩阵和驱动图像对应的第二目标人脸薄板样条插值关键点矩阵的情况下，首先确定第一目标人脸薄板样条插值关键点矩阵对应的高斯图以及第二目标人脸薄板样条插值关键点矩阵对应的高斯图，再分析两个高斯图之间的差异，并基于分析两个高斯图所得的差异确定热图，也即分析两个高斯图所得的差异即为源图像与驱动图像之间的差异。
步骤1202：将背景仿射变换参数矩阵与源图像相乘所得的结果，确定为背景仿射变换参数矩阵对应的目标背景仿射变换矩阵。
步骤1203：对第一目标人脸薄板样条插值关键点矩阵和第二目标人脸薄板样条插值关键点矩阵分别进行薄板样条插值变换，确定源图像对应的第一目标薄板样条插值变换矩阵以及驱动图像对应的第二目标薄板样条插值变换矩阵，再将第一目标薄板样条插值变换矩阵和第二目标薄板样条插值变换矩阵拼接为目标薄板样条插值变换矩阵。
步骤1204：对目标薄板样条插值变换矩阵和目标背景仿射变换矩阵进行双线性插值，确定源图像经扭曲后所得的扭曲编码特征图，并将热图和扭曲编码特征图拼接后输入至含有编码器和解码器的密集运动转换器中进行光流和掩码预测，确定密集光流和多尺度掩码图像。其中，密集运动转换器可以为沙漏架构网络。
由于第一目标人脸薄板样条插值关键点矩阵和第二目标人脸薄板样条插值关键点矩阵分别为K×N维，因此第一目标薄板样条插值变换矩阵和第二目标薄板样条插值变换矩阵也为K×N维，从而可以确定K个扭曲编码特征图，同时目标背景仿射变换矩阵也能经扭曲后确定1个扭曲编码特征图，由此基于确定的K+1个扭曲编码特征图确定密集光流的过程可以通过式(2)～(4)确定。
式(2)～(4)中，p为像素点，Tk(p)为第一目标薄板样条插值变换矩阵和第二目标薄板样条插值变换矩阵的第k维中第p个像素点；Ak为预先为第k个扭曲编码特征图设置的扭曲系数矩阵，wki为扭曲系数矩阵Ak中第i个扭曲系数，扭曲系数矩阵Ak和扭曲系数wki为由最小化对应曲面扭曲的能量函数得到；U为径向基函数，Pki为源图像对应的第一目标人脸薄板样条插值关键点矩阵的第k维中第i个像素点或者驱动图像对应的第二目标人脸薄板样条插值关键点矩阵的第k维中第i个像素点，N为源图像对应的第一目标人脸薄板样条插值关键点矩阵或者驱动图像对应的第二目标人脸薄板样条插值关键点矩阵中像素点总个数；Tbg(p)为目标背景仿射变换矩阵经扭曲后确定的1个扭曲编码特征图中第p个像素点，Abg为2×3的仿射变换参数矩阵；Tbg(p)为目标背景仿射变换矩阵中第p个像素点；M0(p)为目标背景仿射变换矩阵经扭曲后确定的1个扭曲编码特征图中第p个像素点，Mk(p)为第k个扭曲编码特征图中第p个像素点。
需要说明的是，将热图和扭曲编码特征图拼接后输入至含有编码器和解码器的沙漏型网络中进行光流预测的同时还能通过解码器的每一层卷积层进行掩码预测，从而确定多尺度掩码图像，多尺度掩码图像中包含的多个分辨率分别为256×256、128×128、64×64和32×32，多个分辨率指示重建图像的哪些部分可以通过源图像的变形来重建，哪些部分应从上下文修复。
步骤1205：将密集光流和多尺度掩码图像输入至含有编码器和解码器的重建图像生成器中进行人脸重演，也即重建图像生成器使用密集光流扭曲源图像在编码器中每一层的特征图，然后使用多尺度遮挡掩码图像对扭曲的特征图进行掩码，并将掩码结果分别连接到解码器对应的部分，即可得到重建图像生成器输出的重建图像，重建图像生成器中的掩码修复主要通过两个残差块和上采样来修复源图像中被遮挡的图像部分。其中，重建图像生成器也可以为沙漏架构网络。
本发明提供的人脸图像重演方法，终端设备先确定源图像与驱动图像之间差异的热图、再通过薄板样条插值变换和仿射变换确定目标薄板样条插值变换矩阵和目标背景仿射变换矩阵、后通过热图和经由双线性插值确定的扭曲编码特征图确定密集光流和多尺度掩码图像，提高了确定密集光流和多尺度掩码图像的灵活可靠性和精准稳健性。
可选的，在步骤130之后，本发明提供的人脸图像重演方法还可以包括：
基于源图像、驱动图像、目标人脸薄板样条插值关键点矩阵和重建图像，确定混合空间域损失；基于混合空间域损失和预设损失需求的匹配成功结果，确定重建图像为符合重演需求的目标重演图像；基于混合空间域损失和预设损失需求的匹配失败结果，获取新的源图像和/或新的驱动图像，然后执行对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵的步骤；直至确定出符合重演需求的目标重演图像。
具体的，终端设备将源图像、驱动图像、目标人脸薄板样条插值关键点矩阵和重建图像输入至预先设置的混合空间域损失单元中，确定混合空间域损失单元输出的混合空间域损失，并且可以在确定混合空间域损失满足预设损失需求的情况下，即可确定目标重演图像；也可以在确定混合空间域损失不满足预设损失需求的情况下，针对新的源图像和/或新的驱动图像返回步骤110；直至确定出符合重演需求的目标重演图像。
本发明提供的人脸图像重演方法，终端设备通过确定人脸重演过程中的混合空间损失是否满足预测损失需求的方式，确定本次人脸重建所得的重建图像是否为目标重演图像，提高了人脸重演的稳健度和精准度。
可选的，基于源图像、驱动图像、目标人脸薄板样条插值关键点矩阵和重建图像，确定混合空间域损失，其具体实现过程可以包括：
确定驱动图像和重建图像之间的二维重建损失；基于源图像和目标人脸薄板样条插值关键点矩阵，确定二维等方差损失；基于源图像和驱动图像，确定二维背景损失；基于源图像的扭曲编码特征图以及驱动图像，确定二维扭曲损失；基于二维重建损失、二维等方差损失、二维背景损失和二维扭曲损失，确定二维空间域损失；基于驱动图像和重建图像，确定三维空间域损失；基于二维空间域损失和三维空间域损失，确定混合空间域损失。
具体的，终端设备可以将驱动图像D和重建图像输入到重建损失单元Lrec，重建损失单元Lrec通过预训练的VGG-19网络计算驱动图像D和重建图像/>在每一层的多分辨率(分辨率分别为256×256、128×128、64×64和32×32)特征图之间的损失，从而得到二维重建损失/>其计算公式为：
式(5)中，为重建图像/>在预训练的VGG-19网络中第i′层的多分辨率特征图，Vi′(D)为驱动图像D在预训练的VGG-19网络中第i′层的多分辨率特征图。
终端设备还可以将针对目标人脸薄板样条插值关键点矩阵经过薄板样条插值变换后所得的目标薄板样条插值变换矩阵以及源图像输入到等方差损失单元Keq，等方差损失单元Leq通过使用随机薄板样条插值变换Tran进行空间扰动的方式计算二维等方差损失Leq(S)，其计算公式为：
Leq(S)＝|Ekp(Tran(S))-Tran(Ekp(S))| (6)
式(6)中，S为源图像，Ekp(Tran(S))为对源图像S进行旋转、平移等空间扰动后确定的目标薄板样条插值变换矩阵，Tran(Ekp(S))为针对源图像S确定目标薄板样条插值变换矩阵后再进行旋转、平移等空间扰动后的矩阵。
终端设备将源图像S的扭曲编码特征图和驱动图像D输入至密集运动转换器的编码器中，计算二维扭曲损失Lwarp(S)，使源图像S的扭曲编码特征图更接近驱动图像D的特征域，其计算公式为：
式(7)中，为源图像S的扭曲编码特征图在驱动图像密集运动转换器的编码器中第i″层的特征图，Ei″(D)为驱动图像D在驱动图像密集运动转换器的编码器中第i″层的特征图。
终端设备基于源图像和驱动图像确定的二维背景损失Lbg，以及确定的二维重建损失二维重建损失二维等方差损失Leq(S)和二维扭曲损失Lwarp(S)，确定二维空间域损失L2-D，其计算公式为：
此时，如图5所示，终端设备基于二维空间域损失L2-D和确定的三维空间域损失L3-D，确定混合空间域损失，其计算公式为：
L＝L2-D+L3-D (8)
本发明提供的人脸图像重演方法，终端设备通过基于二维重建损失、二维等方差损失、二维背景损失和二维扭曲损失以及三维空间域损失确定混合空间域损失的方式，提高了验证重建图像质量的可靠性和稳健性。
可选的，基于驱动图像和重建图像，确定三维空间域损失，其具体实现过程可以包括：
基于驱动图像对预训练的人脸重建网络进行表情系数回归，确定第一表情系数向量；基于重建图像对所述预训练的人脸重建网络进行表情系数回归，确定第二表情系数向量；基于第一表情系数向量和第二表情系数向量，确定三维空间域损失。
具体的，参照图6所示，将重建图像和驱动图像D输入3-D空间域损失单元，计算重建图像/>和驱动图像D在预训练的MobileNet V1网络输出的3DMM人脸模型表情系数和MV1(D)之间的损失；以此计算得到三维空间域损失L3-D，其计算公式为：
需要说明的是，将重建图像输入预训练的MobileNet V1网络回归3DMM人脸模型的表情系数，生成第一表情系数向量，第一表情系数向量可以为10维表情向量/>同时将驱动图像D输入预训练的MobileNet V1网络回归3DMM人脸模型的表情系数，生成第二表情系数向量，第二表情系数向量为10维表情向量/>然后将第一表情系数向量和第二表情系数向量之间的差值确定为三维空间域损失。
本发明提供的人脸图像重演方法，终端设备通过基于驱动图像和重建图像分别对预训练的人脸重建网络进行表情系数回归的方式，确定第一表情系数向量和第二表情系数向量，从而基于第一表情系数向量和第二表情系数向量之间的差值实现确定三维空间域损失的目的。以此结合预训练的人脸重建网络回归表情系数的技术有效提高了确定三维空间损失的可靠性和准确性。
可选的，基于源图像和驱动图像，确定二维背景损失，其具体实现过程可以包括：
基于源图像和驱动图像的第一级联顺序，确定第一背景仿射变换矩阵；基于源图像和驱动图像的第二级联顺序，确定第二背景仿射变换矩阵；基于第一背景仿射变换矩阵和第二背景仿射变换矩阵，确定二维背景损失。
其中，第一级联顺序表征将源图像和驱动图像以正向顺序级联，第二级联顺序表征将源图像和驱动图像以反向顺序级联。
具体的，在第一背景仿射变换参数矩阵Abg是源图像和驱动图像以第一级联顺序确定的情况下，终端设备可以确定源图像和驱动图像以第二级联顺序确定第二背景仿射变换矩阵A′ bg，然后将第一背景仿射变换参数矩阵Abg和第二背景仿射变换矩阵A′ bg输入至背景损失单元Lbg中计算二维背景损失Lbg，其计算公式为：
式(10)中，I为单位矩阵。
本发明提供的人脸图像重演方法，终端设备提高基于源图像和驱动图像的不同级联顺序确定不同背景仿射变换矩阵的方式，确定二维背景损失，提高了确定二维背景损失的准确性和可靠性，为后续确定目标重演图像的精准性奠定基础。
下面对本发明提供的人脸图像重演装置进行描述，下文描述的人脸图像重演装置与上文描述的人脸图像重演方法可相互对应参照。
参照图7，为本发明提供的人脸图像重演装置的结构示意图，如图7所示，该人脸图像重演装置700，包括：
确定模块710，用于对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
运动转换模块720，用于基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分；
人脸重演模块730，用于基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。
可选的，确定模块710，具体可以用于采用Resnet18网络和注意力机制，确定源图像中人脸关键点注意力的第一初始得分矩阵和驱动图像中人脸关键点注意力的第二初始得分矩阵；对第一初始得分矩阵和第二初始得分矩阵分别进行Gumbel-softmax采样，确定第一采样得分矩阵和第二采样得分矩阵；基于第一采样得分矩阵和第二采样得分矩阵，确定第一人脸薄板样条插值关键点矩阵和第二人脸薄板样条插值关键点矩阵；基于全连接层，对源图像和驱动图像分别进行自监督学习，确定第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵；基于第一人脸薄板样条插值关键点矩阵、第二人脸薄板样条插值关键点矩阵、第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵，确定目标人脸薄板样条插值关键点矩阵；采用Resnet18网络对源图像和驱动图像进行背景检测，确定背景仿射变换参数矩阵。
可选的，运动转换模块720，具体可以基于目标人脸薄板样条插值关键点矩阵，确定热图；热图表征源图像与驱动图像之间的差异；确定目标人脸薄板样条插值关键点矩阵对应的目标薄板样条插值变换矩阵以及背景仿射变换参数矩阵对应的目标背景仿射变换矩阵；对目标薄板样条插值变换矩阵和目标背景仿射变换矩阵进行双线性插值，确定源图像经扭曲后所得的扭曲编码特征图；基于热图和扭曲编码特征图进行光流和掩码预测，确定密集光流和多尺度掩码图像。
可选的，人脸重演模块730，具体还可以用于基于源图像、驱动图像、目标人脸薄板样条插值关键点矩阵和重建图像，确定混合空间域损失；基于混合空间域损失和预设损失需求的匹配成功结果，确定重建图像为符合重演需求的目标重演图像；基于混合空间域损失和预设损失需求的匹配失败结果，获取新的源图像和/或新的驱动图像，然后执行对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵的步骤；直至确定出符合重演需求的目标重演图像。
可选的，人脸重演模块730，具体还可以用于确定驱动图像和重建图像之间的二维重建损失；基于源图像和目标人脸薄板样条插值关键点矩阵，确定二维等方差损失；基于源图像和驱动图像，确定二维背景损失；基于源图像的扭曲编码特征图以及驱动图像，确定二维扭曲损失；基于二维重建损失、二维等方差损失、二维背景损失和二维扭曲损失，确定二维空间域损失；基于驱动图像和重建图像，确定三维空间域损失；基于二维空间域损失和三维空间域损失，确定混合空间域损失。
可选的，人脸重演模块730，具体还可以用于基于驱动图像对预训练的人脸重建网络进行表情系数回归，确定第一表情系数向量；基于重建图像对预训练的人脸重建网络进行表情系数回归，确定第二表情系数向量；基于第一表情系数向量和第二表情系数向量，确定三维空间域损失。
可选的，人脸重演模块730，具体还可以用于基于源图像和驱动图像的第一级联顺序，确定第一背景仿射变换矩阵；基于源图像和驱动图像的第二级联顺序，确定第二背景仿射变换矩阵；基于第一背景仿射变换矩阵和第二背景仿射变换矩阵，确定二维背景损失。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(CommunicationsInterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行人脸图像重演方法，该方法包括：
对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分；
基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸图像重演方法，该方法包括：
对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分；
基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸图像重演方法，该方法包括：
对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分；
基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种人脸图像重演方法，其特征在于，包括：
对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
基于所述目标人脸薄板样条插值关键点矩阵和所述背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，所述多尺度掩码图像用于标识所述源图像中扭曲重建的部分和上下文修复的部分；
基于所述密集光流和所述多尺度掩码图像进行人脸重演，确定所述源图像和所述驱动图像对应的重建图像；所述人脸重演包括所述扭曲重建和所述上下文修复；
其中，所述对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，具体包括：
采用Resnet18网络和注意力机制，确定源图像中人脸关键点注意力的第一初始得分矩阵和驱动图像中所述人脸关键点注意力的第二初始得分矩阵；
对所述第一初始得分矩阵和所述第二初始得分矩阵分别进行Gumbel-softmax采样，确定第一采样得分矩阵和第二采样得分矩阵；
将所述第一采样得分矩阵和所述第二采样得分矩阵分别与预设数量个人脸关键点相乘、再将相乘所得的两个矩阵中的0值均剔除，确定第一人脸薄板样条插值关键点矩阵和第二人脸薄板样条插值关键点矩阵；
基于全连接层，对所述源图像和所述驱动图像分别进行自监督学习，确定第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵；
将所述第一人脸薄板样条插值关键点矩阵和所述第三人脸薄板样条插值关键点矩阵拼接为所述源图像对应的第一目标人脸薄板样条插值关键点矩阵，将所述第二人脸薄板样条插值关键点矩阵和所述第四人脸薄板样条插值关键点矩阵拼接为所述驱动图像对应的第二目标人脸薄板样条插值关键点矩阵，并确定所述目标人脸薄板样条插值关键点矩阵包括所述第一目标人脸薄板样条插值关键点矩阵和所述第二目标人脸薄板样条插值关键点矩阵；
采用所述Resnet18网络对所述源图像和所述驱动图像进行背景检测，确定背景仿射变换参数矩阵。
2.根据权利要求1所述的人脸图像重演方法，其特征在于，所述基于所述目标人脸薄板样条插值关键点矩阵和所述背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像，包括：
基于所述目标人脸薄板样条插值关键点矩阵，确定热图；所述热图表征所述源图像与所述驱动图像之间的差异；
确定所述目标人脸薄板样条插值关键点矩阵对应的目标薄板样条插值变换矩阵以及所述背景仿射变换参数矩阵对应的目标背景仿射变换矩阵；
对所述目标薄板样条插值变换矩阵和所述目标背景仿射变换矩阵进行双线性插值，确定所述源图像经扭曲后所得的扭曲编码特征图；
基于所述热图和所述扭曲编码特征图进行光流和掩码预测，确定所述密集光流和所述多尺度掩码图像。
3.根据权利要求1或2所述的人脸图像重演方法，其特征在于，在所述确定所述源图像和所述驱动图像对应的重建图像之后，所述方法还包括：
基于所述源图像、所述驱动图像、所述目标人脸薄板样条插值关键点矩阵和所述重建图像，确定混合空间域损失；
基于所述混合空间域损失和预设损失需求的匹配成功结果，确定所述重建图像为符合重演需求的目标重演图像；
基于所述混合空间域损失和所述预设损失需求的匹配失败结果，获取新的源图像和/或新的驱动图像，然后执行所述对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵的步骤；直至确定出所述符合重演需求的目标重演图像。
4.根据权利要求3所述的人脸图像重演方法，其特征在于，所述基于所述源图像、所述驱动图像、所述目标人脸薄板样条插值关键点矩阵和所述重建图像，确定混合空间域损失，包括：
确定所述驱动图像和所述重建图像之间的二维重建损失；
基于所述源图像和所述目标人脸薄板样条插值关键点矩阵，确定二维等方差损失；
基于所述源图像和所述驱动图像，确定二维背景损失；
基于所述源图像的扭曲编码特征图以及所述驱动图像，确定二维扭曲损失；
基于所述二维重建损失、所述二维等方差损失、所述二维背景损失和所述二维扭曲损失，确定二维空间域损失；
基于所述驱动图像和所述重建图像，确定三维空间域损失；
基于所述二维空间域损失和所述三维空间域损失，确定混合空间域损失。
5.根据权利要求4所述的人脸图像重演方法，其特征在于，所述基于所述驱动图像和所述重建图像，确定三维空间域损失，包括：
基于所述驱动图像对预训练的人脸重建网络进行表情系数回归，确定第一表情系数向量；
基于所述重建图像对所述预训练的人脸重建网络进行表情系数回归，确定第二表情系数向量；
基于所述第一表情系数向量和所述第二表情系数向量，确定所述三维空间域损失。
6.根据权利要求4所述的人脸图像重演方法，其特征在于，所述基于所述源图像和所述驱动图像，确定二维背景损失，包括：
基于所述源图像和所述驱动图像的第一级联顺序，确定第一背景仿射变换矩阵；
基于所述源图像和所述驱动图像的第二级联顺序，确定第二背景仿射变换矩阵；
基于所述第一背景仿射变换矩阵和所述第二背景仿射变换矩阵，确定所述二维背景损失。
7.一种人脸图像重演装置，其特征在于，包括：
确定模块，用于对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；
运动转换模块，用于基于所述目标人脸薄板样条插值关键点矩阵和所述背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，所述多尺度掩码图像用于标识所述源图像中扭曲重建的部分和上下文修复的部分；
人脸重演模块，用于基于所述密集光流和所述多尺度掩码图像进行人脸重演，确定所述源图像和所述驱动图像对应的重建图像；所述人脸重演包括所述扭曲重建和所述上下文修复；
其中，所述对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵，具体包括：
采用Resnet18网络和注意力机制，确定源图像中人脸关键点注意力的第一初始得分矩阵和驱动图像中所述人脸关键点注意力的第二初始得分矩阵；
对所述第一初始得分矩阵和所述第二初始得分矩阵分别进行Gumbel-softmax采样，确定第一采样得分矩阵和第二采样得分矩阵；
将所述第一采样得分矩阵和所述第二采样得分矩阵分别与预设数量个人脸关键点相乘、再将相乘所得的两个矩阵中的0值均剔除，确定第一人脸薄板样条插值关键点矩阵和第二人脸薄板样条插值关键点矩阵；
基于全连接层，对所述源图像和所述驱动图像分别进行自监督学习，确定第三人脸薄板样条插值关键点矩阵和第四人脸薄板样条插值关键点矩阵；
将所述第一人脸薄板样条插值关键点矩阵和所述第三人脸薄板样条插值关键点矩阵拼接为所述源图像对应的第一目标人脸薄板样条插值关键点矩阵，将所述第二人脸薄板样条插值关键点矩阵和所述第四人脸薄板样条插值关键点矩阵拼接为所述驱动图像对应的第二目标人脸薄板样条插值关键点矩阵，并确定所述目标人脸薄板样条插值关键点矩阵包括所述第一目标人脸薄板样条插值关键点矩阵和所述第二目标人脸薄板样条插值关键点矩阵；
采用所述Resnet18网络对所述源图像和所述驱动图像进行背景检测，确定背景仿射变换参数矩阵。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述人脸图像重演方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人脸图像重演方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310109275.8A CN116092164B (zh) | 2023-02-01 | 2023-02-01 | 人脸图像重演方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310109275.8A CN116092164B (zh) | 2023-02-01 | 2023-02-01 | 人脸图像重演方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116092164A CN116092164A (zh) | 2023-05-09 |
| CN116092164B true CN116092164B (zh) | 2023-12-26 |
Family
ID=86211876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310109275.8A Active CN116092164B (zh) | 2023-02-01 | 2023-02-01 | 人脸图像重演方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116092164B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310146B (zh) * | 2023-05-16 | 2023-10-27 | 北京邃芒科技有限公司 | 人脸图像重演方法、系统、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239857A (zh) * | 2021-05-27 | 2021-08-10 | 京东科技控股股份有限公司 | 视频合成方法及其装置 |
| CN114550217A (zh) * | 2022-02-28 | 2022-05-27 | 清华大学 | 对抗图像生成方法及装置、以及目标覆盖物加工方法 |
| CN115205949A (zh) * | 2022-09-05 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 图像生成方法以及相关设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340819B (zh) * | 2020-02-10 | 2023-09-12 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置和存储介质 |
-
2023
- 2023-02-01 CN CN202310109275.8A patent/CN116092164B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239857A (zh) * | 2021-05-27 | 2021-08-10 | 京东科技控股股份有限公司 | 视频合成方法及其装置 |
| CN114550217A (zh) * | 2022-02-28 | 2022-05-27 | 清华大学 | 对抗图像生成方法及装置、以及目标覆盖物加工方法 |
| CN115205949A (zh) * | 2022-09-05 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 图像生成方法以及相关设备 |
Non-Patent Citations (6)
| Title |
|---|
| Combining Kernel-driven and fusion-based methods to generate daily high-spatial-resolution land surface temperatures;Xia HP等;《Remote Sensing of Environment》;259-274 * |
| Gumbel-softmax-based optimization: a simple general framework for optimization problems on graphs;Yaoxin Li等;《Computational Social Networks》;1-16 * |
| Jian Zhao等.Thin-Plate Spline Motion Model for Image Animation.《https://arxiv.org/pdf/2203.14367.pdf》.2022,第3节、第3.1节、第3.2节、第3.3节、图2、图3. * |
| Multi-View 3D Object Retrieval With Deep Embedding Network;Guo Haiyun等;《IEEE Transactions on Image Processing》;5526-5537 * |
| Thin-Plate Spline Motion Model for Image Animation;Jian Zhao等;《https://arxiv.org/pdf/2203.14367.pdf》;第3节、第3.1节、第3.2节、第3.3节、图2、图3 * |
| 基于十字感受野网络的场景文本检测;赵朝阳等;《无线电通信技术》;363-368 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116092164A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| Johnson et al. | Conditional generative adversarial network for 3D rigid‐body motion correction in MRI | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| Park et al. | An example-based face hallucination method for single-frame, low-resolution facial images | |
| Wang et al. | Laplacian pyramid adversarial network for face completion | |
| Kim et al. | Recurrent temporal aggregation framework for deep video inpainting | |
| CN112800869B (zh) | 图像人脸表情迁移方法、装置、电子设备及可读存储介质 | |
| CN112767534B (zh) | 视频图像处理方法、装置、电子设备及存储介质 | |
| CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
| CN116092164B (zh) | 人脸图像重演方法、装置、电子设备及存储介质 | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| CN114648613A (zh) | 基于可变形神经辐射场的三维头部模型重建方法及装置 | |
| CN111488810A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN115147426A (zh) | 基于半监督学习的模型训练与图像分割方法和系统 | |
| CN115331259A (zh) | 一种三维人体姿态估计方法、系统及存储介质 | |
| CN115082300A (zh) | 图像生成模型的训练方法、图像生成方法及装置 | |
| Ren et al. | Hr-net: a landmark based high realistic face reenactment network | |
| CN111445496A (zh) | 一种水下图像识别跟踪系统及方法 | |
| WO2024174645A1 (zh) | 一种基于深度学习的失真图像重建方法及相关装置 | |
| CN116310146B (zh) | 人脸图像重演方法、系统、电子设备、存储介质 | |
| US20240013464A1 (en) | Multimodal disentanglement for generating virtual human avatars | |
| CN113269754A (zh) | 用于运动估计的神经网络系统和方法 | |
| CN117911477A (zh) | 一种基于扩散模型的单目深度估计与视觉里程计方法 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| Liu et al. | A 3D mesh-based lifting-and-projection network for human pose transfer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |