CN105528805A - 一种虚拟人脸动画合成方法 - Google Patents

Abstract

本发明涉及一种用人脸视频驱动虚拟三维人脸，使得虚拟人脸表现出与视频对应的位置姿态以及表情的算法技术。本发明包括以下步骤：(1)合成视频中人脸所对应的三维表情基；(2)在输入视频中某一帧检测2D特征点；(3)结合视频中人脸所对应三维模型以及2D特征点估计视频中人脸3D位置和姿态；(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸3D位置和姿态计算表情混合参数；(5)结合事先构建好的虚拟三维人脸表情基和估计到的人脸3D位置和姿态以及表情混合参数得到人脸动画合成结果。对于上述步骤(1)还包括：(1.1)拍摄正面中性表情人脸图像合成三维人脸模型；(1.2)对三维人脸模型形变得到三维表情基。

Description

一种虚拟人脸动画合成方法

技术领域

本发明属于计算机图形学技术领域，具体地涉及虚拟人脸动画合成方法。

背景技术

虚拟人脸动画合成技术主要通过拍摄人脸的2D/3D视频，通过跟踪人脸的位置姿态和表情并将这些信息映射到计算机中虚拟的三维人脸模型上，使得该虚拟三维人脸模型也呈现相应的位置姿态和表情。由于人脸表情与动作是人类情感传递的一个重要途径，因此上述技术在人机交互、影视广告、游戏制作、视频会议等方面都有广泛的应用。

目前解决上述问题的技术主要分为两类：基于2D视频的技术；基于深度视频的技术。基于2D视频的技术一般需要在普通的图像或者视频中检测人脸特征点的2D图像坐标，然后将这些特征点的2D图像坐标与该人脸在无表情正面情况下的特征点的2D图像坐标进行比较后转化成驱动MPEG-4三维人脸模型的FAP参数。由于通过2D图像中的特征点去估计人脸头部姿态的问题是一个不适定问题，因此只能用于头部运动比较小，主要是人脸内部表情变化的情况，如播音员的脸部视频等。基于深度视频的技术能够稳定的追踪人脸位置、姿态和面部器官的细微表情。但是该类技术需要特殊的深度摄像头如微软的Kinect传感器，因此大大限制了这类方案的使用范围。

发明内容

本发明的技术解决的问题是：通过普通的摄像头拍摄人脸视频驱动计算机中的虚拟三维人脸，使得虚拟三维人脸表现出与人脸视频相对应的位置姿态以及表情的算法合成技术。

为实现上述目的，本发明采用的技术方案为：(1)合成视频中人脸所对应的三维表情基。具体来说，又分为如下两个分步骤：(1.1)通过拍摄的正面中性表情人脸图像合成三维人脸模型。这主要通过对人脸图像运用人脸特征点检测结合三维可变形模型(3DMorphableModel)技术实现三维人脸模型合成。(1.2)对三维人脸模型进行形变得到三维表情基。这主要通过对三维人脸模型的网格顶点参考MPEG-4FAP参数的预先设置对三维人脸模型的网格顶点进行形变来实现。(2)在输入人脸视频中的某一帧检测2D人脸特征点。为了能够应对不同姿态下的人脸情况，这一步骤采用集成回归树技术(EnsembleofRegressionTrees)来实现。(3)结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态。该步骤主要通过优化上述步骤得到的三维人脸模型所对应的顶点与图像中对应特征点的误差来得到3×3的旋转矩阵R和3×1的平移矢量t。(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混合参数。这一步通过优化表情基线性组合后得到的三维人脸模型所对应的顶点与图像中对应特征点的误差来得到混合参数。(5)结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到的人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成结果。这主要通过对三维表性基模型通过上一步骤得到的混合参数进行线性组合得到。

与现有技术相比，本发明具有的优点和效果如下：(1)本发明无需特殊的外接设备，只需要普通的摄像头即可。(2)本发明能够应对头部运动比较剧烈的情况，应用范围较为广泛。

附图说明

图1为虚拟人脸动画合成技术的概念展示，左下角是人脸作出的表情，右边是映射到虚拟三维人脸模型上的结果。

图2为本发明技术方案流程图。

图3为正面人脸图像特征点检测的例子。

图4为虚拟三维人脸表情基的例子。

具体实施方式

图1为虚拟人脸动画合成技术的概念展示。本发明的一种虚拟人脸动画合成方法包含如下步骤：(1)合成视频中人脸所对应的三维表情基；(2)在输入人脸视频中的某一帧检测2D人脸特征点；(3)结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混合参数；(5)结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到的人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成结果。流程图如图2所示。

优选的，步骤(1)具体包括：(1.1)通过拍摄的正面中性表情人脸图像合成三维人脸模型；(1.2)对三维人脸模型进行形变得到三维表情基。

优选的，步骤(1.1)首先通过手机前置摄像头或电脑摄像头拍摄一张自己的正面中性表情图像，然后通过Paul-Viola人脸检测算法检测图像中的人脸区域，其次在人脸区域内利用主动轮廓(ASM)技术检测特征点，如图3所示。根据上述检测到的人脸2D特征点，采用三维可变形模型(3DMorphableModel)技术获得人脸的三维模型。其中在三维可变形模型(3DMorphableModel)的训练集构建过程中需要对三维模型进行调整，使得其符合MPEG-4规范的要求，这可以首先用激光3D扫描仪扫描人脸三维模型然后通过3DSMax等软件进行编辑实现。

优选的，步骤(1.2)首先确定人脸表情动作类型，如大笑、哭泣等，然后由美工师事先通过3DSMax软件中尝试确定每个动作所对应的MPEG-4FAP参数，然后将该预先设定好的MPEG-4FAP参数根据MPEG-4推荐的方法对步骤(1.1)中生成的三维人脸模型的网格顶点进行形变，从而得到三维表情基模型，如图4所示。

优选的，步骤(2)为了能够应对不同姿态下的人脸情况，采用集成回归树技术(EnsembleofRegressionTrees)来实现，通过分析一系列稀疏的像素处的亮度信息快速的检测人脸特征点位置。

优选的，步骤(3)需要确定当前帧中人脸相对于世界坐标系下的3D位置和姿态，通过3×3的旋转矩阵R和3×1的平移矢量t来表示，其中R为正交矩阵。则R和t通过下式的优化来计算。

$\underset{R,t}{min}\underset{i=1}{\overset{N}{\Σ}}r{\left(K\right({\mathrm{RP}}_i+t)-p_i)}^2$

上式中，p_i为步骤(2)中检测到的特征点在图像中的位置。P_i为p_i对应的图像特征点在步骤(1)中得到的中性表情三维人脸模型中的三维坐标。K为摄像机内参数矩阵，其表达方式如下：

$K=\left[\begin{array}{ccc}f& 0& u_0\\ 0& f& v_0\\ 0& 0& 1\end{array}\right]$

其中，(u₀，v₀)为光心坐标，可以设定为图像中心坐标。f可以通过事先标定得到，如果无法进行标定，则可以取固定初始值如35mm，并在上式优化过程中同时对f进行优化。r()为高稳健性的Huber函数，其形式如下：

$r{\left(x\right)}^2=\left\{\begin{array}{cc}{\left|x\right|}^2& \left|x\right|<\mathrm{\&delta;}\\ 2\mathrm{\&delta;}\left|x\right|-{\mathrm{\&delta;}}^2& \left|x\right|\&GreaterEqual;\mathrm{\&delta;}\end{array}\right.$

本步骤的优化可以通过Levenberg-Marquadt算法实现。其中R可以参数化为四元数，以提高优化过程的稳定性。R和t初始值设定方法如下：对于第一帧图像，R可以设置为单位矩阵，t可以设置为0；对于其他情况，R和t可以设置为前一帧优化后的值。

优选的，步骤(4)首先对步骤(1)中得到的每一个三维表情基模型M_j进行如下几何变换：

M_j′＝RM_j+t

然后优化下式来计算表情混合参数：

$\underset{k_j}{min}\underset{i=1}{\overset{N}{\&Sigma;}}r{(\underset{j=1}{\overset{M}{\&Sigma;}}{k}_j{P}_{ji}^{\&prime;}-p_i)}^2$

其中P_ji′为p_i对应的图像特征点在M_j′中的三维坐标。k_j即为所求的表情混合参数，上式同样可以通过Levenberg-Marquadt算法进行优化，其中k_j的初始值可以设为不为负的随机值。

优选的，步骤(5)首先通过下式得到当前帧对应的人脸三维模型：

$M=\underset{j=1}{\overset{M}{\&Sigma;}}{k}_j{M}_j^{\&prime;}$

k_j即为步骤(4)得到的优化后的表情混合参数。然后通过计算机图形学的渲染技术得到最终的人脸动画合成结果。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.一种虚拟人脸动画合成方法，其特征在于包括如下步骤：

(1)合成视频中人脸所对应的三维表情基；

(2)在输入人脸视频中的某一帧检测2D人脸特征点；

(3)结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；

(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混合参数；

(5)结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到的人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成结果。

2.根据权利要求1所述的合成视频中人脸所对应的三维表情基，其特征在于包括如下步骤：

(1)通过拍摄的正面中性表情人脸图象合成三维人脸模型；

(2)对三维人脸模型进行形变得到三维表情基。

3.根据权利要求1所述的在输入人脸视频中的某一帧检测2D人脸特征点，其特征在于采用集成回归树技术(EnsembleofRegressionTrees)从而能够应对不同姿态下的人脸情况。

4.根据权利要求1所述的结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态，其特征在于通过优化如下函数得到：

$\underset{R,t}{min}\underset{i=1}{\overset{N}{\&Sigma;}}r{\left(K\right({\mathrm{RP}}_i+t)-p_i)}^2.$

5.根据权利要求1所述的计算表情混合参数，其特征在于通过优化如下函数得到：

$\underset{k_j}{\min }\underset{i=1}{\overset{N}{\&Sigma;}}r{(\underset{j=1}{\overset{M}{\&Sigma;}}{k}_j{P}_{ji}^{\&prime;}-p_i)}^2.$

6.根据权利要求1所述的结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到的人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成结果，其特征在于通过表情混合参数对三维人脸表情基进行线性组合后调整到相应3D位置和姿态得到。

7.根据权利要求2所述的合成三维人脸模型，其特征在于该合成方法利用正面图像结合三维可变形模型(3DMorphableModel)技术实现。

8.根据权利要求2所述的对三维人脸模型进行形变得到三维表情基，其特征在于通过预先设定好的MPEG-4FAP参数对三维人脸模型的网格顶点进行形变。