CN102376100A

CN102376100A - 基于单张照片的人脸动画方法

Info

Publication number: CN102376100A
Application number: CN2010102587356A
Authority: CN
Inventors: 杜志军; 姚健; 曾祥永; 王阳生
Original assignee: BEIJING INTERJOY TECHNOLOGY Ltd
Current assignee: BEIJING INTERJOY TECHNOLOGY Ltd
Priority date: 2010-08-20
Filing date: 2010-08-20
Publication date: 2012-03-14

Abstract

一种基于单张照片的人脸动画方法，属于图形图像处理与计算机视觉领域。它是通过单张正面人脸照片自动重建人脸三维模型，然后驱动重建的三维模型生成个性化的人脸动画。它包括人脸三维重建单元和人脸动画单元，人脸三维重建单元步骤：离线生成形变模型；利用主动外观模型自动定位人脸上的关键点；利用形变模型和关键点重建人脸的三维形状；添加眼睛和牙齿网格生成完整的人脸模型；纹理映射得到重建结果。人脸动画单元包括步骤：制作稀疏关键点的动画数据；利用径向基函数将动画数据映射到目标人脸模型；采用球面参数化实现运动数据插值；生成眼睛的动作。本发明的特点是自动、鲁棒、真实感强，适合应用在影视制作、三维游戏等领域。

Description

基于单张照片的人脸动画方法

技术领域

本发明涉及图形图像处理与计算机视觉领域，特别是基于图像的三维人脸建模和动画方法。

背景技术

基于单张照片的人脸动画是指从二维人脸图像出发，合成出该人的表情动画。它是计算机图形学、图像处理、计算机视觉等领域的研究热点和难点，吸引了大量的科研人员对其进行研究。人脸动画具有广阔的应用前景，主要包括：三维游戏、影视制作、人机交互界面、远程呈现、教育等。基于单张图像的人脸表情动画方法可以分为直接基于图像处理的2D表情动画和基于人脸建模的3D表情动画。其中，基于图像处理的2D表情动画适合于静态表情图像的生成，动态的人脸姿态和眼睛动作模拟比较困难。鉴于2D表情动画的限制，越来越多的研究人员将人脸动画的实现转换成三维网格的处理。对于基于图像的三维人脸重建，根据输入图像的数据不同，可分为基于单张图像、基于两张图像、基于多张图像、基于视频的人脸重建，在使用时选用哪种方式主要由应用场合的要求和可获得的图像数量决定。其中，基于单张图像的三维人脸重建由于所需数据少、人机接口简单等特点，更宜于应用在商业产品中，如三维游戏中的个性化置入，通过采集玩家的单张人脸图像，重建其三维人脸模型并置入到游戏角色上，可以增强玩家的沉浸感。

目前从单张人脸图像重建三维人脸的方法，使用最多的有两大类。一类是基于标准模型变形的方法，即从图像中提取人脸的个性化信息(多为关键点信息)，根据这些个性化信息将一个标准人脸模型变形为个性化的人脸模型。在模型变形时没有人脸的先验知识，因而这种方法的真实感不强，容易导致非人脸的产生。第二类方法是基于形变模型的方法，即从真实扫描的人脸模型建立人脸的形变模型，通过拟合输入图像，得到人脸的形状与纹理。这种方法可以得到具有真实感的重建结果，缺点是计算量很大，而且无法完全自动化。

为了驱动三维人脸模型进行表情动画，比较常见的方法有三类。第一大类是基于MPEG-4标准的表情动画方法，其定义了几种常见表情下特征点的运动路径，虽然简单，但缺陷是生成的表情不够真实。为了生成真实感很强的表情，第二大类是基于表情克隆的方法，通过扫描获得带表情的三维人脸模型，将该表情映射到目标人脸模型上；这类方法能够生成细微的表情，缺点是每个顶点均需要映射处理，计算量大导致无法实时处理。第三大类是基于关键帧的插值技术，这在影视制作中比较常见，预先设计人脸的三维表情，过渡帧通过插值来获得；对于每一个人脸模型均需要重新设计其关键帧表情，并且需要专业美工人员的配合。

发明内容

本发明提供了一种基于单张照片的人脸动画方法，从单张正面人脸照片，可以基本自动、鲁棒、快速地重建具有真实感的三维人脸模型，然后自动生成个性化的人脸动画。

为了实现上述目的，本发明提出如下的技术方案：

(1)利用三维扫描仪采集真实的三维人脸数据，进行规整化处理，对规整化的形状进行主成分分析，得到人脸的形变模型(本步离线完成)；

(2)利用Adaboost自动检测人脸在图像中的位置，利用主动外观模型自动定位人脸上的关键点；

(3)根据人脸关键点和形变模型，恢复人脸的形状参数和姿态参数，从而得到人脸的三维形状；

(4)添加眼睛和牙齿网格，对重建人脸网格进行扩展使其包含背景信息，从而获得包含完整照片信息的三维网格；

(5)纹理映射后得到完整的三维人脸模型；

(6)利用人脸样本模型制作一段人脸动画数据，定义样本模型上73个关键点的运动轨迹作为源稀疏动画数据(本步离线完成)；

(7)利用径向基函数调整源动画数据的运动幅度和方向，获得与重建人脸相匹配的动画数据；

(8)利用球面参数化计算顶点的重心坐标，插值获得每个顶点的动画数据；

(9)自动模拟眼球的转动和眨眼的动作。

本发明的优点是：

1.通用性强，易操作。只需要提供单张正面人脸照片，用户基本无需其他操作，因此具有良好的适用性。

2.可以实现自动的人脸建模。大部分情况下，主动外观模型可以得到足够准确的关键点，对于少数特殊脸型，主动外观模型定位的关键点不够准确，只需对关键点做少量的手工调整。

3.人脸重建过程鲁棒、真实感强、速度快。对于Pentium4 2.8G的计算机，人脸重建可在2秒钟内完成。

4.人脸建模完成后，可以实现全自动的人脸动画，特别是可以获得逼真的眼睛动画效果。

附图说明

图1为本发明的人脸模型示意图，图中1.平均人脸的网格，2.眼球网格，3.牙齿网格。

图2为本发明的眼球转动模拟示意图，图中1.眼球，2.当前注视方向3.下一帧注视方向

4.平面上的移动注视点p。

图3为本发明实施例的人脸动画示意图，图中1.输入的人脸照片，2.生成的高兴表情，3.眨眼动作。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明通过如下实施例进行说明：

输入单张正面的人脸照片，经过人脸检测、人脸关键点定位、人脸几何重建、模型扩展等步骤得到重建结果，经过动画数据制作、动画数据映射、基于球面参数化的插值、眼睛动作处理等步骤得到个性化的人脸动画效果，具体实施过程如下：

1.形变模型的建立。

利用三维扫描仪采集真实的三维人脸数据，进行规整化处理，对规整化的模型形状进行主成份分析，得到人脸的平均形状x₀和人脸形状的变化分量x_i(1≤i≤M)(本步离线完成)。任意一个三维人脸模型的形状可以表达为：

图1中1为建立的平均人脸形状。

模型规整化的过程为：

(11)定义一个标准的平面规则网格，并在该网格和目标模型上标注若干对应的关键点；

(12)基于对应的关键点，利用径向基函数对平面网格进行变形，使之与目标模型大致对齐；

(13)对变形后模型上的每个顶点做法向量投影，寻找其在目标模型上的投影点，并将此投影点作为该顶点的新位置，从而得到与目标模型形状相同的规整化模型。

2.人脸检测。

人脸检测的目的是自动检测图像中是否存在人脸，并确定人脸在图像中的位置和人脸大小，为后续的人脸定位提供初始值。本发明利用Adaboost进行人脸自动检测，Adaboost(Adaptive boosing，自适应增强)是一种常用的统计学习算法，已经成功地应用于人脸检测和人脸分类。Adaboost通过若干弱分类器的级联组合来获得最终的强分类器，排在前面的几个弱分类器可以预先排除大量非人脸的图像区域，后续的分类器集中在类似人脸区域的判别上。

3.人脸关键点定位。

本发明利用改进的主动外观模型(Active Appearance Models，AAM)自动定位人脸上的关键点，对640×480的人脸图像，可在20ms内完成关键点定位。本发明提出的改进的主动外观模型具体实施如下：(31)离线采集和标定人脸样本，规一化后做主成份分析得到人脸的形状和纹理模型：

其中s代表人脸的形状，p为形状参数；A为人脸纹理，λ为纹理参数。在本发明中，A由三通道构成，图像自身、x方向的梯度图和y方向的梯度图，梯度图的引入可以增加定位中抗光线变化的能力；

(32)设定主动外观模型中的能量函数，原始函数表达式为：

目的是使人脸形状所决定的人脸纹理与平均纹理间的误差最小。为了提高精度，本发明引入了另一项能量函数：E_b(p)＝∑I_D(W(x)，p)，其中I_D是由人脸肤色检测确定的一个权重图，利用肤色模型检测人脸的区域，并设定人脸内部的值为0，外界区域的值逐渐增大，目的是定位出的人脸形状不超出实际的人脸区域。最终的能量函数为：E＝E_a(p)+ωE_b(p)；

(33)利用图像反转合成算法，通过迭代获取能量函数最小值，从而得到相应的人脸形状。

4.三维人脸重建。

(41)在形变模型的平均脸x₀上标注与图像关键点语义相对应的关键点(本步离线完成)；

(42)利用弱透视投影建立三维关键点与二维关键点之间的关系，投影公式为：

其中为三维关键点投影到二维平面后的坐标，x为需要重建的三维人脸，W_i为特征点选择矩阵，R＝R_xR_yR_z为模型绕XYZ轴的旋转矩阵，t为平移向量，s为缩放系数；

(43)设置代价函数E，将E最小化得到人脸的形状参数和姿态参数。

E = E_{1} + E_{2} = \frac{1}{d_{e}^{2}} Σ_{n = 1}^{N} ω_{n} {| | q_{n} - {\overset{&OverBar;}{p}}_{n} | |}^{2} + η \cdot Σ_{m = 1}^{M} \frac{b_{m}^{2}}{σ_{m}^{2}}

其中，E₁保证三维模型上的关键点投影到二维平面后与图像上的关键点q_n对齐；E₂保证形变模型生成的人脸不偏离正常范围。ω_n为第n个关键点的权值，d_e为图像中人的双眼之间的距离，σ_m为形变模型的方差值；

(44)利用形状参数将形变模型的形状分量加权，得到人脸模型的几何形状

5.扩展模型。

(51)制作牙齿和眼睛的三维模型(本步离线完成)，如图1中2、3所示，调整其大小和位置，将其放置在人脸三维模型x的相应位置；

(52)扩展重建出的人脸模型x，在其周围添加顶点和三角面，使其投影后覆盖完整的图像区域。

6.纹理映射生成完整人脸模型。

本发明直接将输入图像作为模型的纹理，减少了以往人脸建模中纹理的处理时间。将模型投影到平面的坐标作为纹理贴图坐标，可以快速的实现纹理映射，从而获得最终的人脸模型。

7.动画数据制作。

选定一个人脸样本模型，利用maya软件生成该人的一段动画视频。在该人脸模型上标定73个关键点，这些点的运动信息组成稀疏关键点动画数据(本步离线完成)。另外，稀疏关键点动画数据可以通过在人脸上贴标记点，利用扫描仪跟踪这些点的运动获得真实的数据，但这需要较昂贵的成本。在美工人员的配合下，利用maya软件可以方便的获得人脸动画数据。

8.动画数据映射。

利用样本模型制作的动画数据不能直接应用到重建人脸上，需要对源动画数据的运动方向和幅度作调整以匹配目标模型，具体过程如下：

(81)分离动画数据中的全局头部姿态运动和局部表情运动。选定3个不共面且不涉及表情运动的关键点，利用这些点计算出初始帧与第k帧间的全局头部姿态变换矩阵M，

则局部表情运动数据为

其中

为样本模型上初始帧的中关键点的坐标，

为关键点在第k帧的坐标，为去除头部姿态变化后的坐标；

(82)根据样本模型上关键点

和重建人脸模型上的关键点

利用径向基函数(Radial function basis，RBF)建立两者之间的映射函数

(83)计算映射函数在关键点处的雅可比矩阵

则重建人脸模型上对应关键点的表情数据为

重建人脸模型的整体头部姿态变换矩阵为M。

9.基于球面参数化的数据插值。

动画数据重映射只是获得了重建人脸在关键点处的运动数据，人脸动画需要确定每个顶点的运动数据，本发明采用基于球面参数化的方式实现数据的插值，具体过程如下：

(91)以重建人脸模型的中心作为球心，沿径向将所有顶点投影到单位球面上。在投影过程中，保持顶点之间的相对位置关系，每个顶点的新坐标由其相邻顶点确定：

p_j是与顶点p_i相邻的点；

92)判断顶点落在哪个球面三角形内，利用球面三角形的面积来计算顶点的重心坐标：

(93)利用重心坐标插值计算出每个顶点的表情运动数据。

10.眼睛动作处理。

眼睛动作包括眼珠的转动以及眨眼两部分，具体过程如下：

(101)在所建人脸模型前设定一与之平行的平面z，点p在平面内自由运动，运动轨迹由程序自动随机生成，如图2中4所示；

(102)眼球始终注视点p，下一帧的注视方向为：

如图2中3所示，其中o₁为眼球中心坐标；当前注视方向为

如图2中2所示，则眼球需绕轴

转动θ角度，其中

(103)标记人脸模型中属于眼皮的顶点(本步离线完成)，根据这些顶点坐标，利用二次函数拟合出眼皮的曲线；

(104)根据上下眼皮曲线的y坐标y_t和y_d，计算出对应顶点沿y方向的位移量：□y＝y_d-y_t；。将上眼皮上的顶点移动相应的位移量获得眨眼的效果。

图3为实施例得到的人脸动画结果，其中1为输入图像，2、3为重建人脸模型后生成的人脸表情效果。上面的描述是用于实现本发明及其实施例，因此，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。

Claims

1.一种基于单张照片的人脸动画方法，其特征在于，包括如下步骤：

步骤1：利用三维扫描仪采集真实的三维人脸数据，进行规整化处理，对规整化的形状进行主成份分析，得到人脸的形变模型(本步离线完成)；

步骤2：利用Adaboost自动检测人脸在图像中的位置，利用改进的主动外观模型自动定位人脸上的关键点；

步骤3：根据人脸关键点和形变模型，恢复人脸的形状参数和姿态参数，从而得到人脸的三维形状网格；

步骤4：添加眼睛和牙齿网格，对重建人脸网格进行扩展使其包含背景信息，从而获得包含完整图像信息的三维网格；

步骤5：纹理映射后得到完整的三维人脸模型；

步骤6：利用人脸样本模型制作一段人脸动画数据，定义样本模型上73个关键点的运动轨迹为源稀疏关键点动画数据(本步离线完成)；

步骤7：利用径向基函数调整源动画数据的运动幅度和方向，获得与重建人脸相匹配的稀疏关键点动画数据；

步骤8：利用球面参数化计算顶点的重心坐标，插值获得每个顶点的动画数据；

步骤9：自动模拟眼球的转动和眨眼的动作。

2.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤1中的人脸模型的规整化按如下过程进行：

步骤11：定义一个平面规则网格，并在该网格和目标模型上标注若干对应的关键点；

步骤12：基于对应的关键点，利用径向基函数将平面规则网格变形到目标模型；

步骤13：从变形后的模型上的每一顶点出发做法向量投影，得到顶点的新坐标。

3.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤2中的人脸关键点定位按如下过程进行：

步骤21：采集和标定人脸样本，训练主动外观模型(本步离线完成)；

步骤22：利用Adaboost自动定位人脸位置和大小，初始化主动外观模型的全局仿射变换参数；

步骤23：设置主动外观模型的能量函数表达式，通过迭代获得最小能量函数值，从而得到关键点位置。

4.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤3按如下过程进行：

步骤31：在形变模型的平均脸上标注与图像关键点相对应的三维关键点(本步离线完成)；

步骤32：利用弱透视投影对三维关键点进行变换，得到三维关键点在二维平面上的投影；

步骤33：对人脸的形状参数和姿态参数进行初始化；

步骤34：设置代价函数，使三维关键点的投影点与二维关键点之间的偏差最小，得到人脸的形状参数和姿态参数；

步骤35：利用形状参数将形变模型的形状分量加权，得到人脸模型的几何形状。

5.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤4按如下过程进行：

步骤41：建立眼睛和牙齿的三维模型(本步离线完成)，并将其放置在所建立的人脸三维形状的对应位置；

步骤42：对所建立的人脸三维形状网格添加顶点和三角面，使其投影到图像平面后覆盖完整的图像区域。

6.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤7按如下过程进行：

步骤71：在样本模型和建立的人脸模型上标记相对应的三维关键点(本步离线完成)；

步骤72：根据对应关键点的坐标，利用一个径向基函数建立两者之间的映射关系；

步骤73：计算映射函数在关键点处的雅可比矩阵，样本动画数据的运动矢量乘以雅可比矩阵获得目标模型的对应关键点出的运动矢量。

7.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤8按如下过程进行：

步骤81：参数化重建的人脸模型使其投影到一个球面；

步骤82：根据动画数据定义的关键点获取球面三角形的信息；

步骤83：判断顶点落在哪个球面三角形内，并计算对应的重心坐标；

步骤84：通过重心坐标和关键点处的运动矢量，插值获得每个顶点的运动矢量。

8.根据权利要求1所述的基于单张照片的人脸动画方法，其特征在于，步骤9按如下过程进行：

步骤91：在人脸模型前设定一个与其平行的平面，让眼睛始终注视该平面上运动的一点，该点的运动轨迹由程序自动生成；

步骤92：利用相邻两帧的注视点来确定眼睛的旋转矩阵和旋转轴；

步骤93：标记人脸模型中属于眼皮的顶点(本步离线完成)；

步骤94：根据眼皮顶点坐标拟合出上下眼皮的二次曲线，利用上下曲线的距离确定眨眼时顶点的位移量。