CN113689538B - 一种视频生成方法、装置、电子设备及存储介质 - Google Patents
一种视频生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113689538B CN113689538B CN202010420064.2A CN202010420064A CN113689538B CN 113689538 B CN113689538 B CN 113689538B CN 202010420064 A CN202010420064 A CN 202010420064A CN 113689538 B CN113689538 B CN 113689538B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- dimensional
- processed
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000001815 facial effect Effects 0.000 claims abstract description 170
- 238000010276 construction Methods 0.000 claims abstract description 3
- 210000000214 mouth Anatomy 0.000 claims description 76
- 230000014509 gene expression Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供一种视频生成方法、装置、电子设备及存储介质，涉及计算机技术领域，用于简化根据二维人脸图像生成动态的人脸视频的过程。该方法包括：对待处理二维人脸图像进行关键点识别及三维重建，得到待处理二维人脸图像的包括人脸形状参数和面部特征信息的3DMM参数；根据人脸视频模板中每帧图像的面部特征参数分别对待处理二维人脸图像的面部特征参数进行调整，获得与每帧图像对应的调整后的待处理二维人脸图像的面部特征参数；基于与每帧图像对应的调整后的待处理二维人脸图像的面部特征参数、待处理二维人脸图像的人脸形状参数和面部特征参数进行三维模型构建，得到与每帧图像对应的目标帧人脸图像；基于目标帧人脸图像获得目标人脸视频。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种视频生成方法、装置、电子设备及存储介质。
背景技术
相关技术中，在基于一个二维人脸图像生成有表情变化的人脸视频时，常通过手动调整二维人脸图像或者由设计人员使用动画制作工具制作多帧人脸表情图像，进而基于多帧人脸表情图像生成一个有表情变化的人脸视频，一方面由于过程复杂且消耗较大的人力，无法规模性生成有表情变化的人脸视频，另一方面由于生成的人脸视频依赖于设计人员的技术，不能保证生成的人脸视频的质量。
发明内容
本公开实施例提供一种视频生成方法、装置、电子设备及存储介质，用于简化根据二维人脸图像生成动态的人脸视频的过程。
本公开第一方面，提供一种视频生成方法，包括：
对待处理二维人脸图像进行关键点识别以及三维重建，得到所述待处理二维人脸图像的三维人脸形变3DMM参数，所述3DMM参数包括人脸形状参数和面部特征参数；
针对人脸视频模板中每帧图像，根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数；以及基于与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数、所述待处理二维人脸图像的人脸形状参数以及所述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与所述每帧图像对应的目标帧人脸图像；
基于与所述每帧图像对应的目标帧人脸图像，获得所述待处理人脸二维图像对应的目标人脸视频。
在一种可能的实现方式中，所述面部特征参数包括人脸的表情参数和姿态角信息，所述根据所述每帧图像的面部特征参数分别对所述待处理二维人脸的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数的步骤，包括：
基于每帧图像的姿态角信息调整所述待处理二维人脸图像的姿态角信息，得到与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息；
分别将所述每帧图像的表情参数、与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息，确定为与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数。
在一种可能的实现方式中，所述姿态角信息包括俯仰角、偏航角和翻滚角中的至少一个姿态角参数，所述基于每帧图像的姿态角信息调整所述待处理二维人脸图像的姿态角信息，得到所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息的步骤，包括：
针对所述至少一个姿态角参数中每个姿态角参数，确定人脸视频模板中所有帧图像的所述每个姿态角参数的平均姿态角参数；
确定所述每帧图像的所述每个姿态角参数对应的偏差角，所述偏差角为所述每个姿态角参数与对应的平均姿态角参数的偏差值；
基于所述待处理二维人脸图像中所述每个姿态角参数和所述每帧图像中所述每个姿态角参数对应的偏差角，确定所述每帧图像对应的调整后的每个姿态角信息。
在一种可能的实现方式中，所述基于与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数、所述待处理二维人脸图像的人脸形状参数以及所述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与所述每帧图像对应的目标帧人脸图像的步骤，包括：
针对所述每帧图像，根据所述待处理二维图像的面部特征参数和所述待处理二维图像的人脸形状参数进行三维模型构建，得到调整前的三维网格模型；
根据所述每帧图像对应的调整后的面部特征参数和所述待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整后的三维网格模型；
分别将所述调整前的三维网格模型和所述调整后的三维网格模型投影至同一平面，获得调整前的二维网格模型和调整后的二维网格模型；
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像。
在一种可能的实现方式中，所述将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，还包括：
对所述每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述每帧图像对应的二维网格模型中的口腔区域调整所述每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
在一种可能的实现方式中，所述将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，还包括：
若检测出所述每帧图像中存在口腔区域未闭合的图像，则对口腔区域未闭合的每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述口腔区域未闭合的每帧图像对应的二维网格模型中的口腔区域调整所述口腔区域未闭合的每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
在一种可能的实现方式中，所述根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数的步骤之前，还包括：
对所述每帧图像进行关键点识别；
根据关键点识别结果对所述每帧图像进行三维重建，得到所述每帧图像的3DMM参数中的面部特征参数。
本公开第二方面，提供一种视频生成装置，包括：
参数获取单元，被配置为执行对待处理二维人脸图像进行关键点识别以及三维重建，得到所述待处理二维人脸图像的三维人脸形变3DMM参数，所述3DMM参数包括人脸形状参数和面部特征参数；
目标帧人脸图像获取单元，被配置为执行针对人脸视频模板中每帧图像，根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数；以及基于与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数、所述待处理二维人脸图像的人脸形状参数以及所述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与所述每帧图像对应的目标帧人脸图像；
视频生成单元，被配置为执行基于与所述每帧图像对应的目标帧人脸图像，获得所述待处理人脸二维图像对应的目标人脸视频。
在一种可能的实现方式中，所述面部特征信息包括人脸的表情参数和姿态角参数，所述目标帧人脸图像获取单元具体被配置为执行：
基于每帧图像的姿态角信息调整所述待处理二维人脸图像的姿态角信息，得到与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息；
分别将所述每帧图像的表情参数、与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息，确定为与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数。
在一种可能的实现方式中，所述姿态角信息包括俯仰角、偏航角和翻滚角中的至少一个姿态角参数，所述目标帧人脸图像获取单元具体被配置为执行：
针对所述至少一个姿态角参数中每个姿态角参数，确定人脸视频模板中所有帧图像的所述每个姿态角参数的平均姿态角参数；
确定所述每帧图像的所述每个姿态角参数对应的偏差角，所述偏差角为所述每个姿态角参数与对应的平均姿态角参数的偏差值；
基于所述待处理二维人脸图像中所述每个姿态角参数和所述每帧图像中所述每个姿态角参数对应的偏差角，确定所述每帧图像对应的调整后的每个姿态角信息。
在一种可能的实现方式中，所述目标帧人脸图像获取单元具体被配置为执行：
针对所述每帧图像，根据所述待处理二维图像的面部特征参数和所述待处理二维图像的人脸形状参数进行三维模型构建，得到调整前的三维网格模型；
根据所述每帧图像对应的调整后的面部特征参数和所述待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整后的三维网格模型；
分别将所述调整前的三维网格模型和所述调整后的三维网格模型投影至同一平面，获得调整前的二维网格模型和调整后的二维网格模型；
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像。
在一种可能的实现方式中，所述目标帧人脸图像获取单元还被配置为执行：
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，对所述每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述每帧图像对应的二维网格模型中的口腔区域调整所述每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
在一种可能的实现方式中，所述目标帧人脸图像获取单元具体被配置为执行：
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，若检测出所述每帧图像中存在口腔区域未闭合的图像，则对口腔区域未闭合的每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述口腔区域未闭合的每帧图像对应的二维网格模型中的口腔区域调整所述口腔区域未闭合的每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
在一种可能的实现方式中，所述目标帧人脸图像获取单元还被配置为执行：
根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数的步骤之前，对所述每帧图像进行关键点识别；
根据关键点识别结果对所述每帧图像进行三维重建，得到所述每帧图像的3DMM参数中的面部特征参数。
本公开第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器被配置为执行如下本公开第一方面及可能的实现方式中任意一项所述的过程。
本公开第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面及一种可能的实施方式中任一所述的方法。
本公开的方案至少带来以下的有益效果：
本公开中能直接基于人脸视频模板中每帧图像的面部特征参数调整待处理二维人脸图像的面部特征参数，进而基于与人脸视频模板中每帧图像对应的调整后的待处理二维人脸图像的面部特征参数、待处理二维人脸图像的人脸形状参数以及待处理二维人脸图像的面部特征参数进行三维模型构建，得到与人脸视频模板中每帧图像对应的目标帧人脸图像，针对待处理二维人脸图像生成与人脸视频模板的面部特征信息一致的目标人脸视频，简化了根据待处理二维人脸图像生成动态的目标人脸视频的过程，且提升了生成目标人脸视频的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1为本公开示例性实施例提供的一种视频生成方法的流程示意图；
图2为本公开示例性实施例提供的一种二维网格模型的示意图；
图3为本公开示例性实施例提供的一种获取人脸视频模板中每帧图像的面部特征参数的流程示意图；
图4为本公开示例性实施例提供的一种姿态角信息的示意图；
图5为本公开示例性实施例提供的一个目标帧人脸图像的调整后的口腔区域的示意图；
图6为本公开示例性实施例提供的一种获取人脸视频模板中任意帧图像对应的目标帧人脸图像的过程示意图；
图7为本公开示例性实施例提供的一种待处理二维人脸图像的示意图；
图8为本公开示例性实施例提供的人脸视频模板中一帧图像的示意图；
图9为本公开示例性实施例提供的一种目标帧人脸图像的示意图；
图10为本公开示例性实施例提供的一种视频生成装置的结构示意图；
图11为本公开示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
为了便于本领域技术人员更好地理解本公开的技术方案，下面对本公开涉及的技术名词进行说明。
巴塞尔人脸模型2009版本(base face model 2009，bfm2009)：一种用于姿态和光照不变的人脸识别的三维网格模型(3D face model)。
三维人脸形变模型(3D Morphable Models，3DMM)：是一个三维人脸形变模型，这个模型由一系列参数定义，这些参数分为：形状、反照、投影、身份等，通过给定一组这样的参数，生成一个三维模型，当然也可以生成二维图片；也可以使用二维图片，去预测这样一组3DMM参数，从而预测该二维图片对应的三维模型。
下面对本公开的设计思想进行说明。
相关技术中，在一些场景中需要给用户上传的二维人脸图像添加动态的表情以形成动态表情包，但在基于一个二维人脸图像生成有表情变化的人脸视频时，常由设计人员通过手动调整二维人脸图像或者使用动画制作工具制作多帧人脸表情图像，进而生成一个有表情变化的人脸视频，其过程复杂且消耗较大的人力，无法规模性生成，且生成的人脸视频的质量依赖于设计人员的技术。
随着技术的发展，出现使用表情驱动人物的方式，基于二维人脸图像生成人脸视频，该过程中通过三维重建技术创建一个虚拟人物，之后用表情驱动渲染该虚拟人物，但这种方案渲染出的人脸是独立于原来的二维人脸图像的一个虚拟形象，由于较重的渲染而使人脸缺乏真实感，且渲染出的人脸脱离了原始的二维人脸图像的背景，丢失了原始的二维人脸图像的质感和纹理。
鉴于此，本公开设计一种视频生成方法、装置、电子设备及存储介质，用以简化根据二维人脸图像生成动态的人脸视频的过程，本公开的方法包括：基于3DMM模型获得待处理二维人脸图像的3DMM参数，该3DMM参数包括人脸形状参数和面部特征参数；并基于人脸模板视频中每帧图像的面部特征参数分别对待处理二维人脸图像的3DMM参数进行调整，获得与每帧图像对应的调整后的待处理二维人脸图像的面部特征参数，进而基于与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数、上述待处理二维人脸图像的人脸形状参数以及上述待处理二维人脸图像的面部特征参数进行三维模型构建，获得与每帧图像对应的目标帧人脸图像；并基于与每帧图像对应的目标帧人脸图像，生成待处理人脸二维图像对应的目标人脸视频。
其中目标帧人脸图像和人脸模板视频中对应帧图像的面部特征参数趋于一致，进而使得获得的目标帧人脸图像中的面部特征信息与人脸模板视频中对应帧图像的面部特征信息趋于一致。
以下结合附图对本公开的方案进行详细说明。
如图1所示，本公开提供一种视频生成方法，具体包括如下步骤：
步骤S101，对待处理二维人脸图像进行关键点识别以及三维重建，得到上述待处理二维人脸图像的三维人脸形变3DMM参数，上述3DMM参数包括人脸形状参数和面部特征信息。
具体地，上述关键点识别可以但不局限于使用较成熟的神经网络模型推理得到待处理二维人脸图像中人脸的第一设定数量的二维关键点，其中神经网络模型可以但不局限于包括卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(RecurrentNeuralNetworks，RNN)以及深度神经网络(Deep Neural Networks，DNN)等；为了保证最终生成的目标人脸视频中人脸的真实度，可以但不局限于将上述第一设定数量设置为101。
在对待处理二维人脸图像进行关键点识别后，可以对识别出的二维关键点进行三维重建，具体地，可以但不局限于通过使用bfm2009的3dmm或bfm2017的3dmm或普通的3dmm方法进行三维重建，得到待处理二维人脸图像的3DMM参数。
步骤S102，针对人脸视频模板中每帧图像，根据上述每帧图像的面部特征参数分别对上述待处理二维人脸图像的面部特征参数进行调整，获得与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数；以及基于与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数、上述待处理二维人脸图像的人脸形状参数以及上述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与上述每帧图像对应的目标帧人脸图像。
应当说明的是，对待处理二维人脸图像的面部特征参数进行调整的目的是尽量让调整后的待处理二维人脸图像的面部特征参数表征的面部特征，趋于和每帧图像的面部特征参数表征的面部特征趋向于一致，即每帧图像对应的调整后的面部特征参数表征的面部特征信息，与每帧图像的面部特征参数表征的面部特征信息趋向于一致。
作为一种实施例，上述面部特征信息包括人脸的表情参数和姿态角信息，可以通过如下方式，根据上述每帧图像的面部特征参数分别对上述待处理二维人脸的面部特征参数进行调整，获得上述每帧图像对应的调整后的待处理二维人脸图像的面部特征参数：
基于每帧图像的姿态角信息调整上述待处理二维人脸图像的姿态角信息，得到与上述每帧图像对应的调整后的上述待处理二维人脸图像的姿态角信息；
分别将上述每帧图像的表情参数、与上述每帧图像对应的调整后的上述待处理二维人脸图像的姿态角信息，确定为与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参。
此处，将每帧图像的面部特征参数中的表情参数，作为每帧图像对应的调整后的待处理二维人脸图像的面部特征参数的一部分，即每帧图像对应修改后的待处理二维人脸图像的面部特征参数中保留了人脸视频模板中每帧图像中人脸的表情特征；基于每帧图像对应的姿态角信息调整待处理二维人脸图像对应的姿态角信息，得到与每帧图像对应的调整后的待处理二维人脸图像的姿态角信息；并将与每帧图像对应的调整后的姿态角信息，作为与每帧图像对应的调整后的待处理二维人脸图像的面部特征参数的一部分。即与每帧图像对应的调整后的面部特征参数中保留了待处理二维人脸图像中人脸根据每帧图像中人脸的姿态特征调整后的姿态特征。
作为一种实施例，可以通过如下方式，得到与上述每帧图像对应的目标帧人脸图像：
针对上述每帧图像，根据上述待处理二维图像的面部特征参数和上述待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整前的三维网格模型3dmesh_ori；
根据与每帧图像对应的调整后的面部特征参数和待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整后的三维网格模型3dmesh_new；
分别将上述调整前的三维网格模型3dmesh_ori和上述调整后的三维网格模型3dmesh_new投影至同一平面，获得调整前的二维网格模型2dmesh_ori和调整后的二维网格模型2dmesh_new；
将上述调整后的二维网格模型2dmesh_new中各像素的像素值替换为上述调整前的二维网格模型2dmesh_ori中对应像素的像素值，得到上述每帧图像对应的目标帧人脸图像。
其中二维网格模型可以看作三维网格模型在二维平面上的一个投影，请参见图2，本公开实施例还提供一种二维网格模型的示意图，该二维网格模型中包括一群离散的点和这些点围城的一个个小的三角形，其中每个小的三角形可以认为是一个像素，每个小的三角形里面的颜色可以认为是该像素的像素值。
调整后的二维网格模型2dmesh_new和调整前的二维网格模型2dmesh_ori都是待处理二维图形中的人脸对应的二维网格模型，只是2dmesh_new中的部分有关表情的像素相对于2dmesh_ori是改变了的，如若图2为2dmesh_ori，则2dmesh_new可能是图2中口腔区域201的像素发生了一些改变的二维网格模型；因此2dmesh_new中的像素和2dmesh_ori中的像素是存在对应关系的，可以根据这个对应关系将2dmesh_new中各像素的像素值替换为2dmesh_ori中各像素的像素值。
步骤S103，基于与每帧图像对应的目标帧人脸图像，获得上述待处理人脸二维图像对应的目标人脸视频。
具体地，可以按照人脸视频模板中每帧图像的排列顺序，将与每帧图像对应的目标帧人脸图像排列得到待处理人脸二维图像对应的目标人脸视频。
作为一种实施例，在上述步骤S102中作为一种实施例，根据上述每帧图像的面部特征参数分别对上述待处理二维人脸图像的面部特征参数进行调整，获得与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数的步骤之前，还包括：
对上述每帧图像进行关键点识别；
根据关键点识别结果对上述每帧图像进行三维重建，得到上述每帧图像的3DMM参数中的面部特征参数。
具体地，对待处理二维人脸图像进行关键点识别以及三维重建，得到上述待处理二维人脸图像的面部特征信息。
具体地，上述关键点识别可以但不局限于使用较成熟的神经网络模型推理得到每帧图像的第二设定数量的二维关键点，其中神经网络模型可以但不局限于包括CNN、RNN)以及DNN等；为了保证最终生成的目标人脸视频中人脸的真实度，可以但不局限于将上述第二设定数量设置为101。
在对每帧图像进行关键点识别后，可以对识别出的二维关键点进行三维重建，具体地，可以但不局限于通过使用bfm2009的3dmm或bfm2017的3dmm或普通的3dmm方法进行三维重建，得到每帧图像的3DMM参数中的面部特征参数。
如图3所示，提供一种获取人脸视频模板中每帧图像的面部特征参数的过程，具体包括：
步骤S301，输入人脸视频模板，并获取上述人脸视频模板的每帧图像。
步骤S302，对每帧图像进行关键点识别，获得每帧图像的关键点。
步骤S303，通过bfm2009的3dmm对每帧图的关键点进行三维重建。
步骤S304，根据对每帧图的关键点进行三维重建的结果，提取每帧图像的3DMM参数中的面部特征参数。
在步骤S304之后，可以将提取的每帧图像的面部特征参数存储为预处理模板，以便后期对待处理二维人脸图像生成目标人脸视频时使用。
作为一种实施例，上述姿态角信息包括俯仰角yaw、偏航角pitch以及翻滚角roll中的至少一个姿态角参数，请参见图4，给出一种俯仰角yaw、偏航角pitch以及翻滚角roll的示意图，其中以图中人物头部的中心点为原点，原点向内图像内部为x轴、原点向图示上方为y轴，原点向图示右方为z轴建立一个三维坐标系，其中俯仰角yaw的方向为绕y轴旋转的方向，偏航角pitch的方向为绕x轴旋转的方向，翻滚角roll为绕z轴旋转的方向。
在上述步骤S102中可以通过如下方式，基于每帧图像的姿态角信息调整上述待处理二维人脸图像的姿态角信息，得到上述每帧图像对应的调整后的上述待处理二维人脸图像的姿态角信息：
针对上述至少一个姿态角参数中每个姿态角参数，确定人脸视频模板中所有帧图像的上述每个姿态角参数的平均姿态角参数；
确定上述每帧图像的上述每个姿态角参数对应的偏差角，上述偏差角为上述每个姿态角参数与对应的平均姿态角参数的偏差值；
基于上述待处理二维人脸图像中上述每个姿态角参数和上述每帧图像中上述每个姿态角参数对应的偏差角，确定上述每帧图像对应的调整后的每个姿态角信息。
进一步，可以通过如下公式1，基于每帧图像的面部特征参数中的俯仰角yaw调整上述待处理二维人脸图像的面部特征参数中的俯仰角yaw，得到与每帧图像对应的调整后的待处理二维人脸图像的俯仰角yaw：
公式1：src1.yaw＝src.yaw+(dst.yaw-dst.meanyaw)×k1；
公式1中，src1.yaw为与每帧图像对应的调整后的待处理二维人脸图像的俯仰角，dst.yaw为上述每帧图像的面部特征参数中的俯仰角，dst.meanyaw为人脸视频模板中所有帧图像的面部特征参数中的俯仰角的平均值，k1为俯仰角的调整参数。
此处为了避免对待处理二维人脸图像的俯仰角的调整过大导致待处理二维人脸图像明显变形，以及避免对待处理二维人脸图像的俯仰角的调整过小导致待处理二维人脸图像无变化，可以但不局限于将上述k1设置为0.2或0.3。
进而可以通过如下公式2，基于每帧图像的面部特征参数中的偏航角pitch调整上述待处理二维人脸图像的面部特征参数中的偏航角pitch，得到上述每帧图像对应的调整后的待处理二维人脸图像的偏航角pitch：
公式2：src1.pitch＝src.pitch+(dst.pitch-dst.meanpitch)×k2；
公式2中，src1.pitch为与每帧图像对应的调整后的待处理二维人脸图像的偏航角，dst.pitch为上述每帧图像的面部特征参数中的偏航角，dst.meanpitch为人脸视频模板中所有帧图像的面部特征参数中的偏航角的平均值，k2为偏航角的调整参数。
此处为了避免对待处理二维人脸图像的偏航角的调整过大导致待处理二维人脸图像明显变形，以及避免对待处理二维人脸图像的偏航角的调整过小导致待处理二维人脸图像无变化，可以但不局限于将上述k2设置为0.2或0.3。
进而可以通过如下公式3，基于每帧图像的面部特征参数中的翻滚角roll调整上述待处理二维人脸图像的面部特征数中的翻滚角roll，得到与每帧图像对应的调整后的待处理二维人脸图像的翻滚角roll：
公式3：src1.roll＝src.roll+(dst.roll-dst.meanroll)×k3；
公式3中，src1.roll为与每帧图像对应的调整后的待处理二维人脸图像的翻滚角，dst.roll为上述每帧图像的面部特征参数中的翻滚角，dst.meanroll为人脸视频模板中所有帧图像的面部特征参数中的翻滚角的平均值，k3为翻滚角的调整参数。
此处为了避免对待处理二维人脸图像的翻滚角的调整过大导致待处理二维人脸图像明显变形，以及避免对待处理二维人脸图像的翻滚角的调整过小导致待处理二维人脸图像无变化，可以但不局限于将上述k3设置为0.1或0.2。
应当说明的是，对翻滚角的调整会导致人脸的扭动，翻滚角的调整参数k3过大时会导致人脸和背景扭曲过大，翻滚角的调整参数k3较小时导致无扭曲而使得人脸显得僵硬，因此翻滚角的调整参数可以但不局限于略小于俯仰角的调整参数或偏航角的调整参数。
作为一种实施例，在上述步骤S102中，若人脸视频模板中每帧图像中人脸的口腔区域是张开的，即人脸视频模板中的人脸是张嘴微笑的，而待处理二维人脸图像中人脸是闭嘴的话；或人脸视频模板中的人脸是闭嘴的，而待处理二维人脸图像中人脸是张嘴的话，则获取到的目标帧人脸图像中人脸的表情可能是异常的，因此将上述调整后的二维网格模型中各像素的像素值替换为上述调整前的二维网格模型中对应像素的像素值，得到上述每帧图像对应的目标帧人脸图像的步骤之后，还可以对上述每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；基于上述每帧图像对应的二维网格模型中的口腔区域调整上述每帧图像对应的目标帧人脸图像的口腔边缘点，并将调整后的口腔边缘点围城的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
即针对人脸视频模板的一帧图像，若该帧图像中人脸是张嘴的，则该帧图像对应的二维网格模型中口腔区域的范围比较大，进而可以基于该帧图像对应的二维网格模型调整对应的目标帧人脸图像的口腔边缘点，使得调整后的口腔边缘点围城的口腔区域与该帧图像对应的二维网格模型中口腔区域的范围一致，进而基于预设口腔网格模板填充调整后的口腔边缘点围城的口腔区域的像素；若该帧图像中人脸是闭嘴的，则该帧图像对应的二维网格模型中口腔区域的范围比较小，基于该帧图像对应的二维网格模型调整对应的目标帧人脸图像的口腔边缘点，其中由于该镇图像中人脸是闭嘴的，调整后的口腔边缘点围城的口腔区域的范围较小，此时即便基于预设口腔网格模板填充调整后的口腔边缘点围城的口腔区域的像素，对调整后的口腔边缘点围城的口腔区域也较小。
考虑到进一步准确地调整目标帧人脸图像的口腔区域，本公开实施例中还可以，将上述调整后的二维网格模型中各像素的像素值替换为上述调整前的二维网格模型中对应像素的像素值，得到上述每帧图像对应的目标帧人脸图像的步骤之后，检测人脸视频模板中每帧图像的口腔区域是否闭合，若检测出上述每帧图像中存在口腔区域未闭合的图像，则对口腔区域未闭合的每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于上述口腔区域未闭合的每帧图像对应的二维网格模型中的口腔区域调整上述口腔区域未闭合的每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
其中，针对检测出的口气区域闭合的图像，则不用按照上述方法调整与其对应的目标人脸图像的口腔边缘点。
为了更准确地调整目标帧人脸图像的口腔区域，本公开实施例中可以通过关键点识别检测出16个口腔边缘点，进而调整这16个口腔边缘点的位置；因为口腔闭合时牙齿因为遮挡而变暗，因此需要将调整后的口腔边缘点围城的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值之后，为了使得调整后的口腔区域与目标帧人脸图像的其他部分更好的融合，可以在调整后的口腔区域的边界使用alphablend来融合口腔边界，如图5所示，为一个目标帧人脸图像的调整后的口腔区域的示意图。
如图6所示，以下提供一种获取人脸视频模板中任意帧图像对应的目标帧人脸图像的过程，具体包括如下步骤：
步骤S601，对待处理二维人脸图像进行关键点识别以及三维重建，得到待处理二维人脸图像的人脸形状参数和面部特征参数，该面部特征参数包括表情参数和姿态角信息；
步骤S602，获取该任意帧图像的面部特征参数，该面部特征参数包括表情参数和姿态角信息；
步骤S603，基于该任意帧图像的姿态角信息调整待处理二维图像的姿态角信息，得到与该任意帧图像对应的调整后的待处理二维人脸图像姿态角信息；
步骤S604，将该任意帧图像的表情参数、与该任意帧图像对应的调整后的待处理二维人脸图像的姿态角信息，确定为与该任意帧图像对应的调整后的面部特征参数。
步骤S605，根据待处理二维图像的面部特征参数和待处理二维图像的人脸形状参数进行三维模型构建，得到调整前的三维网格模型3dmesh_ori。
步骤S606，根据该任意帧图像对应的调整后的待处理二维人脸图像的面部特征参数和待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整后的三维网格模型3dmesh_new。
步骤S607，分别将3dmesh_ori和3dmesh_new投影至同一平面，获得调整前的二维网格模型2dmesh_ori和调整后的二维网格模型2dmesh_new；并将2dmesh_new中各像素的像素值替换为2dmesh_ori中对应像素的像素值，得到该任意帧图像对应的目标帧人脸图像。
步骤S608，识别目标帧人脸图像的口腔边缘点；并基于该任意帧图像对应的二维网格模型中的口腔区域调整上述口腔边缘点，以及将调整后的口腔边缘点围城的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
请参见图7，给出一个待处理二维人脸图像的示意图，图8为人脸模板视频中某一帧图像，图9为根据上述人脸模板视频中某一帧图像的面部特征参数对待处理二维人脸图像的面部特征参数进行调整，并根据与上述某一帧图像对应的调整后的待处理二维人脸图像的面部特征参数、待处理二维人脸图像的面部特征参数以及待处理二维人脸图像的人脸形状参数获得的目标帧人脸图像的示意图。
本公开中基于人脸视频模板中每帧图像的姿态角信息调整待处理二维人脸图像的姿态角信息，并基于人脸视频模板中每帧图像对应的调整后的姿态角信息、人脸视频模板中每帧图像的表情参数以及待处理人脸二维图像中的人脸形状参数，获得将待处理二维人脸图像添加动态表情的目标人脸视频，一方面简化了基于待处理二维人脸图像生成动态视频的过程，另一方面为待处理二维人脸图像添加了动态表情的同时保证了得到的目标人脸视频中人脸的真实度，且保证了目标人脸视频中人脸的形状。
如图10所示，基于相同的发明构思，本公开实施例还提供一种视频生成装置1000，该装置包括：
参数获取单元1001，被配置为执行对待处理二维人脸图像进行关键点识别以及三维重建，得到上述待处理二维人脸图像的三维人脸形变3DMM参数，上述3DMM参数包括人脸形状参数和面部特征参数；
目标帧人脸图像获取单元1002，被配置为执行针对人脸视频模板中每帧图像，根据上述每帧图像的面部特征参数分别对上述待处理二维人脸图像的面部特征参数进行调整，获得与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数；以及基于与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数、上述待处理二维人脸图像的人脸形状参数以及上述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与上述每帧图像对应的目标帧人脸图像；
视频生成单元1003，被配置为执行基于与上述每帧图像对应的目标帧人脸图像，获得上述待处理人脸二维图像对应的目标人脸视频。
可选的，上述面部特征信息包括人脸的表情参数和姿态角参数，目标帧人脸图像获取单元1002具体被配置为执行：
基于每帧图像的姿态角信息调整上述待处理二维人脸图像的姿态角信息，得到与上述每帧图像对应的调整后的上述待处理二维人脸图像的姿态角信息；
分别将上述每帧图像的表情参数、与上述每帧图像对应的调整后的上述待处理二维人脸图像的姿态角信息，确定为与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数。
可选的，上述姿态角信息包括俯仰角、偏航角和翻滚角中的至少一个姿态角参数，目标帧人脸图像获取单元1002具体被配置为执行：
针对上述至少一个姿态角参数中每个姿态角参数，确定人脸视频模板中所有帧图像的上述每个姿态角参数的平均姿态角参数；
确定上述每帧图像的上述每个姿态角参数对应的偏差角，上述偏差角为上述每个姿态角参数与对应的平均姿态角参数的偏差值；
基于上述待处理二维人脸图像中上述每个姿态角参数和上述每帧图像中上述每个姿态角参数对应的偏差角，确定上述每帧图像对应的调整后的每个姿态角信息。
可选的，目标帧人脸图像获取单元1002具体被配置为执行：
针对上述每帧图像，根据上述待处理二维图像的面部特征参数和上述待处理二维图像的人脸形状参数进行三维模型构建，得到调整前的三维网格模型；
根据上述每帧图像对应的调整后的面部特征参数和上述待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整后的三维网格模型；
分别将上述调整前的三维网格模型和上述调整后的三维网格模型投影至同一平面，获得调整前的二维网格模型和调整后的二维网格模型；
将上述调整后的二维网格模型中各像素的像素值替换为上述调整前的二维网格模型中对应像素的像素值，得到上述每帧图像对应的目标帧人脸图像。
可选的，目标帧人脸图像获取单元1002还被配置为执行：
将上述调整后的二维网格模型中各像素的像素值替换为上述调整前的二维网格模型中对应像素的像素值，得到上述每帧图像对应的目标帧人脸图像的步骤之后，对上述每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于上述每帧图像对应的二维网格模型中的口腔区域调整上述每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
可选的，目标帧人脸图像获取单元1002具体被配置为执行：
将上述调整后的二维网格模型中各像素的像素值替换为上述调整前的二维网格模型中对应像素的像素值，得到上述每帧图像对应的目标帧人脸图像的步骤之后，若检测出上述每帧图像中存在口腔区域未闭合的图像，则对口腔区域未闭合的每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于上述口腔区域未闭合的每帧图像对应的二维网格模型中的口腔区域调整上述口腔区域未闭合的每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
可选的，目标帧人脸图像获取单元1002还被配置为执行：
根据上述每帧图像的面部特征参数分别对上述待处理二维人脸图像的面部特征参数进行调整，获得与上述每帧图像对应的调整后的上述待处理二维人脸图像的面部特征参数的步骤之前，对上述每帧图像进行关键点识别；
根据关键点识别结果对上述每帧图像进行三维重建，得到上述每帧图像的3DMM参数中的面部特征参数。
如图11所示，本公开提供一种电子设备1100，包括处理器1101、用于存储上述处理器可执行指令的存储器1102；
其中，上述处理器1101被配置为执行上述任意一种视频生成方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由上述电子设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，上述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种视频生成方法，其特征在于，包括：
对待处理二维人脸图像进行关键点识别以及三维重建，得到所述待处理二维人脸图像的三维人脸形变3DMM参数，所述3DMM参数包括人脸形状参数和面部特征参数；
针对人脸视频模板中每帧图像，根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数；以及基于与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数、所述待处理二维人脸图像的人脸形状参数以及所述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与所述每帧图像对应的目标帧人脸图像；所述面部特征参数包括人脸的表情参数和姿态角信息；
基于与所述每帧图像对应的目标帧人脸图像，获得所述待处理人脸二维图像对应的目标人脸视频；
其中，所述根据所述每帧图像的面部特征参数分别对所述待处理二维人脸的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数的步骤，包括：
基于每帧图像的姿态角信息调整所述待处理二维人脸图像的姿态角信息，得到与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息；
分别将所述每帧图像的表情参数、与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息，确定为与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数。
2.如权利要求1所述的方法，其特征在于，所述姿态角信息包括俯仰角、偏航角和翻滚角中的至少一个姿态角参数，所述基于每帧图像的姿态角信息调整所述待处理二维人脸图像的姿态角信息，得到所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息的步骤，包括：
针对所述至少一个姿态角参数中每个姿态角参数，确定人脸视频模板中所有帧图像的所述每个姿态角参数的平均姿态角参数；
确定所述每帧图像的所述每个姿态角参数对应的偏差角，所述偏差角为所述每个姿态角参数与对应的平均姿态角参数的偏差值；
基于所述待处理二维人脸图像中所述每个姿态角参数和所述每帧图像中所述每个姿态角参数对应的偏差角，确定所述每帧图像对应的调整后的每个姿态角信息。
3.如权利要求1所述的方法，其特征在于，所述基于与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数、所述待处理二维人脸图像的人脸形状参数以及所述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与所述每帧图像对应的目标帧人脸图像的步骤，包括：
针对所述每帧图像，根据所述待处理二维图像的面部特征参数和所述待处理二维图像的人脸形状参数进行三维模型构建，得到调整前的三维网格模型；
根据所述每帧图像对应的调整后的面部特征参数和所述待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整后的三维网格模型；
分别将所述调整前的三维网格模型和所述调整后的三维网格模型投影至同一平面，获得调整前的二维网格模型和调整后的二维网格模型；
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像。
4.如权利要求3所述的方法，其特征在于，所述将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，还包括：
对所述每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述每帧图像对应的二维网格模型中的口腔区域调整所述每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
5.如权利要求3所述的方法，其特征在于，所述将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，还包括：
若检测出所述每帧图像中存在口腔区域未闭合的图像，则对口腔区域未闭合的每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述口腔区域未闭合的每帧图像对应的二维网格模型中的口腔区域调整所述口腔区域未闭合的每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
6.如权利要求1～5任一项所述的方法，其特征在于，所述根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数的步骤之前，还包括：
对所述每帧图像进行关键点识别；
根据关键点识别结果对所述每帧图像进行三维重建，得到所述每帧图像的3DMM参数中的面部特征参数。
7.一种视频生成装置，其特征在于，包括：
参数获取单元，被配置为执行对待处理二维人脸图像进行关键点识别以及三维重建，得到所述待处理二维人脸图像的三维人脸形变3DMM参数，所述3DMM参数包括人脸形状参数和面部特征参数；
目标帧人脸图像获取单元，被配置为执行针对人脸视频模板中每帧图像，根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数；以及基于与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数、所述待处理二维人脸图像的人脸形状参数以及所述待处理二维人脸图像的面部特征参数进行三维模型构建，得到与所述每帧图像对应的目标帧人脸图像；所述面部特征信息包括人脸的表情参数和姿态角参数；
视频生成单元，被配置为执行基于与所述每帧图像对应的目标帧人脸图像，获得所述待处理人脸二维图像对应的目标人脸视频；
其中，所述目标帧人脸图像获取单元具体被配置为执行：
基于每帧图像的姿态角信息调整所述待处理二维人脸图像的姿态角信息，得到与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息；
分别将所述每帧图像的表情参数、与所述每帧图像对应的调整后的所述待处理二维人脸图像的姿态角信息，确定为与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数。
8.如权利要求7所述的装置，其特征在于，所述姿态角信息包括俯仰角、偏航角和翻滚角中的至少一个姿态角参数，所述目标帧人脸图像获取单元具体被配置为执行：
针对所述至少一个姿态角参数中每个姿态角参数，确定人脸视频模板中所有帧图像的所述每个姿态角参数的平均姿态角参数；
确定所述每帧图像的所述每个姿态角参数对应的偏差角，所述偏差角为所述每个姿态角参数与对应的平均姿态角参数的偏差值；
基于所述待处理二维人脸图像中所述每个姿态角参数和所述每帧图像中所述每个姿态角参数对应的偏差角，确定所述每帧图像对应的调整后的每个姿态角信息。
9.如权利要求7所述的装置，其特征在于，所述目标帧人脸图像获取单元具体被配置为执行：
针对所述每帧图像，根据所述待处理二维图像的面部特征参数和所述待处理二维图像的人脸形状参数进行三维模型构建，得到调整前的三维网格模型；
根据所述每帧图像对应的调整后的面部特征参数和所述待处理二维人脸图像的人脸形状参数进行三维模型构建，得到调整后的三维网格模型；
分别将所述调整前的三维网格模型和所述调整后的三维网格模型投影至同一平面，获得调整前的二维网格模型和调整后的二维网格模型；
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像。
10.如权利要求9所述的装置，其特征在于，所述目标帧人脸图像获取单元还被配置为执行：
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，对所述每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述每帧图像对应的二维网格模型中的口腔区域调整所述每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
11.如权利要求9所述的装置，其特征在于，所述目标帧人脸图像获取单元具体被配置为执行：
将所述调整后的二维网格模型中各像素的像素值替换为所述调整前的二维网格模型中对应像素的像素值，得到所述每帧图像对应的目标帧人脸图像的步骤之后，若检测出所述每帧图像中存在口腔区域未闭合的图像，则对口腔区域未闭合的每帧图像对应的目标帧人脸图像进行关键点识别获得口腔边缘点；
基于所述口腔区域未闭合的每帧图像对应的二维网格模型中的口腔区域调整所述口腔区域未闭合的每帧图像对应的目标帧人脸图像中的口腔边缘点，并将调整后的口腔边缘点确定的口腔区域各像素的像素值替换为预设口腔网格模板中对应像素的像素值。
12.如权利要求7～11任一项所述的装置，其特征在于，所述目标帧人脸图像获取单元还被配置为执行：
根据所述每帧图像的面部特征参数分别对所述待处理二维人脸图像的面部特征参数进行调整，获得与所述每帧图像对应的调整后的所述待处理二维人脸图像的面部特征参数的步骤之前，对所述每帧图像进行关键点识别；
根据关键点识别结果对所述每帧图像进行三维重建，得到所述每帧图像的3DMM参数中的面部特征参数。
13.一种电子设备，其特征在于，包括处理器、用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010420064.2A CN113689538B (zh) | 2020-05-18 | 2020-05-18 | 一种视频生成方法、装置、电子设备及存储介质 |
| PCT/CN2020/126223 WO2021232690A1 (zh) | 2020-05-18 | 2020-11-03 | 一种视频生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010420064.2A CN113689538B (zh) | 2020-05-18 | 2020-05-18 | 一种视频生成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689538A CN113689538A (zh) | 2021-11-23 |
| CN113689538B true CN113689538B (zh) | 2024-05-21 |
Family
ID=78575542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010420064.2A Active CN113689538B (zh) | 2020-05-18 | 2020-05-18 | 一种视频生成方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113689538B (zh) |
| WO (1) | WO2021232690A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626979A (zh) * | 2022-03-18 | 2022-06-14 | 广州虎牙科技有限公司 | 一种人脸驱动方法、装置、电子设备及存储介质 |
| CN115116468A (zh) * | 2022-06-16 | 2022-09-27 | 虹软科技股份有限公司 | 一种视频生成方法、装置、存储介质及电子设备 |
| CN114845067B (zh) * | 2022-07-04 | 2022-11-04 | 中科计算技术创新研究院 | 基于隐空间解耦的人脸编辑的深度视频传播方法 |
| CN118037939A (zh) * | 2022-11-11 | 2024-05-14 | 广州视源电子科技股份有限公司 | 虚拟视频图像生成方法、装置、设备和介质 |
| CN116453198B (zh) * | 2023-05-06 | 2023-08-25 | 广州视景医疗软件有限公司 | 一种基于头部姿态差异的视线校准方法和装置 |
| CN117593442B (zh) * | 2023-11-28 | 2024-05-03 | 拓元(广州)智慧科技有限公司 | 一种基于多阶段细粒度渲染的人像生成方法 |
| CN118138834B (zh) * | 2024-05-07 | 2024-07-19 | 腾讯科技（深圳）有限公司 | 一种视频生成方法和相关装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
| CN109712080A (zh) * | 2018-10-12 | 2019-05-03 | 迈格威科技有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
| CN110796719A (zh) * | 2018-07-16 | 2020-02-14 | 北京奇幻科技有限公司 | 一种实时人脸表情重建方法 |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| CN110956691A (zh) * | 2019-11-21 | 2020-04-03 | Oppo广东移动通信有限公司 | 一种三维人脸重建方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675475B (zh) * | 2019-08-19 | 2024-02-20 | 腾讯科技（深圳）有限公司 | 一种人脸模型生成方法、装置、设备及存储介质 |
| CN110677598B (zh) * | 2019-09-18 | 2022-04-12 | 北京市商汤科技开发有限公司 | 视频生成方法、装置、电子设备和计算机存储介质 |
-
2020
- 2020-05-18 CN CN202010420064.2A patent/CN113689538B/zh active Active
- 2020-11-03 WO PCT/CN2020/126223 patent/WO2021232690A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
| CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
| CN110796719A (zh) * | 2018-07-16 | 2020-02-14 | 北京奇幻科技有限公司 | 一种实时人脸表情重建方法 |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| CN109712080A (zh) * | 2018-10-12 | 2019-05-03 | 迈格威科技有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN110956691A (zh) * | 2019-11-21 | 2020-04-03 | Oppo广东移动通信有限公司 | 一种三维人脸重建方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689538A (zh) | 2021-11-23 |
| WO2021232690A1 (zh) | 2021-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113689538B (zh) | 一种视频生成方法、装置、电子设备及存储介质 | |
| EP4057234B1 (en) | Method and apparatus for three-dimensional face reconstruction, and computer device, storage medium, and program product | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| JP7476428B2 (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| US8933928B2 (en) | Multiview face content creation | |
| Yang et al. | Facial expression editing in video using a temporally-smooth factorization | |
| CN107067429A (zh) | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 | |
| CN113628327B (zh) | 一种头部三维重建方法及设备 | |
| EP4030342A1 (en) | Image processing method and image synthesis method, image processing apparatus and image synthesis apparatus, and storage medium | |
| US10062216B2 (en) | Applying facial masks to faces in live video | |
| CN112221145B (zh) | 游戏脸模生成方法及装置、存储介质及电子设备 | |
| CN111243051B (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| CN115512014A (zh) | 训练表情驱动生成模型的方法、表情驱动方法及装置 | |
| Song et al. | A generic framework for efficient 2-D and 3-D facial expression analogy | |
| CN116681579A (zh) | 一种实时视频人脸替换方法、介质及系统 | |
| Patterson et al. | Landmark-based re-topology of stereo-pair acquired face meshes | |
| CN115497029A (zh) | 视频处理方法、装置及计算机可读存储介质 | |
| CN111931741B (zh) | 嘴部关键点的标注方法、装置、电子设备及存储介质 | |
| CN117808943B (zh) | 一种三维卡通人脸重建方法、装置、设备及存储介质 | |
| CN109472860B (zh) | 基于人工智能的深度图平衡选优方法及装置 | |
| CN118799439A (zh) | 数字人图像融合方法、装置、设备及可读存储介质 | |
| CN118691743A (zh) | 立体人脸模型生成方法、装置、终端设备和存储介质 | |
| CN115830284A (zh) | 一种虚拟人面部驱动方法及装置、存储介质及电子设备 | |
| JP2003099797A (ja) | 漫画アニメーション制作のためのエキスパートシステム | |
| CN115908646A (zh) | 动画的表情控制方法及装置、存储介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |