CN103854306A - 一种高真实感的动态表情建模方法 - Google Patents

Abstract

本发明公开了一种基于点云序列的高真实感的动态表情建模方法，涉及计算机图形学领域，其目的在于解决现有表情建模方法对表情细节模拟程度不高的问题。本发明采用以视频频率获取的帧人脸点云序列作为输入，在目标函数的约束下，通过将可变形的网格模型依次匹配每一帧点云来实现对动态表情的再现和模拟。目标函数中采用：1)一致性约束条件，该条件可有效提高网格模型对点云的匹配精度，实现对表情细节的精确模拟；2)正则化约束条件，该条件可使建模生成的一系列网格具有较好的网格质量，为网格的后期处理和再利用提供便利。本发明可用于计算机动画和游戏、影视特效、虚拟现实、远程会议等领域中真实感三维表情动画的制作。

Description

一种高真实感的动态表情建模方法

(一)技术领域

本发明涉及曲面匹配和表情动画技术，属于计算机图形学领域。

(二)背景技术

近年来，具有高度真实感的三维人脸表情动画已被广泛应用于各个领域，如动漫、游戏和电影中的虚拟角色表情生成；远程网络会议、可视电话、虚拟现实中的虚拟人物表情动画；医学美容、人脸识别中的人脸建模和表情模拟；辅助教育中的虚拟教师、娱乐节目中的虚拟主持人和虚拟偶像的表情模拟等。

传统的人脸表情动画，大多利用三维动画软件(如3Ds Max、Maya等)进行手工建模和动态表情编辑，这一过程既繁琐又对专业素养要求较高；而利用动作捕捉技术捕获人脸动态表情，需要对捕获的控制参数进行频繁的手动调整，以及对捕获数据进行后处理，捕捉的表情不够真实。近年来，动态三维数据测量技术的出现为真实感三维人脸表情动画的生成提供了新的途径。该技术能够以视频频率对运动中的人脸获得连续的一帧帧点云数据。这些点云记录了人脸的表情变化信息(即，动态表情)，包括全局的刚体运动和局部的非刚体变形。与传统的人脸动画建模技术相比，该技术对人脸变形数据的获取更加方便快捷，且对表情变化细节的捕捉精度更高。对这些点云进行建模以重现点云中记录的动态表情，已成为生成真实感三维人脸表情动画的最新方式，也成为当前计算机图形学新的研究热点。

点云序列在整体上是无结构的，即，序列中的每一帧点云，其包含的顶点数目不同，点云与点云之间不存在顶点间的一对一的对应关系。对这个无结构的点云序列，如果直接应用传统的将点云转化为多边形(三角形或四边形)网格的算法简单地对每一帧点云分别重构多边形网格，则得到的一系列网格之间拓扑结构可能完全不同。拓扑结构不同是指这些网格的顶点个数不同，顶点间的连接关系也不同。这使得各个网格间无法建立顶点的一一映射关系。更无法将这些网格统一表示成一个动态网格模型。而在计算机动画中，为了编辑或计算光照以及纹理贴图的方便，通常用一系列拓扑一致的多边形网格来表示一个动态的模型，如人脸表情，角色的动作等。所谓拓扑一致，就是这样一系列网格其顶点个数相同，顶点间的连接关系也相同，只是每个顶点的位置随着时间变化而变化，从而表达模型形状的动态变化。因此，需要对这些点云建立一系列拓扑一致的网格来反映点云中人脸表情的变化，继而自然建立起网格间顶点的一一映射关系，并将这些网格表示成一个动态模型及其在时间上的变形域，使其很好的满足表情编辑、表情复制等各种后续处理需要。基于点云序列的动态表情建模就是研究如何将点云序列中的一帧帧点云转化成拓扑一致的网格序列，且网格序列能很好的再现点云中记录的表情变化。显然，传统的对每帧点云单独重构网格的方法无法满足需要。因此，基于点云序列的动态表情建模需要新的研究思路，近年来也出现了大量的相关研究。

如何获取更多的表情细节，使再现的表情更加真实、自然是目前动态表情建模研究中的一个关键问题和难点问题。这是由于人脸生理结构的复杂性使得对人脸表情的模拟，尤其是对微妙的表情变化细节的模拟比较困难，而人类对自身的熟悉又使得人们对稍微不自然的表情立刻就会察觉，且难以接受。因此，能否忠实的还原点云序列包含的全部表情变化信息，提高表情模拟的真实感，将直接影响到动态表情建模方法在计算机动画、影视特效、虚拟现实等诸多对真实感程度要求较高的领域的推广和应用。

目前，很多动态表情建模方法只关注于对人脸特征点的精确跟踪。这些特征点位于眼睛、眉毛、鼻子、嘴等部位的周围，其运动可以有效反映人脸表情的变化。但人脸很多个性化的表情特征不仅体现在这些特征点上，还体现在很多细节上，如酒窝、皱纹、皮肤褶皱等。现有的很多方法分辨率不高，对这些表情细节的精确模拟比较困难。而实现了对这些表情细节精确模拟的方法大都是先用标准网格模型匹配点云，然后再叠加上这些表情细节。这些方法中，表情细节的获取主要有三种方式：1)手工绘制皱纹、褶皱等信息；2)在演员脸部的皱纹、褶皱处绘上条纹，以便扫描时获取这些细节处的变化信息；3)在演员脸部细节处贴上标识点，利用运动捕捉设备单独捕获表情细节的运动。其中，第一种方式需要专业动画师的参与设计，对专业技术要求较高；后两种方式费时费力，且会在一定程度上影响演员表情的自然度。

(三)发明内容

本发明提出一种新的动态表情建模方法，可有效提高表情模拟的真实感。方法以点云序列作为输入，在目标函数的约束下，将一个可变形网格模型(称为模板网格)依次匹配序列中的每一帧点云，以实现对动态表情的再现和模拟。方法在目标函数中引入一致性约束条件，可以很好的预测并约束模板网格顶点的运动，使之精确匹配点云上的所有变形信息，从而实现对表情变化细节的精确模拟。一致性约束条件在模板网格与人脸点云形状相差较大时，也可以得到较好的匹配效果。另外，方法还在目标函数中引入正则化约束条件，可以使建模过程生成的一系列网格具有较好的网格质量，为网格的后期处理和再利用提供便利。

本发明主要包括四部分，A、一致性约束条件的构造；B、正则化约束条件的构造；C、网格匹配目标函数的构造；D、目标函数的优化。则利用本发明对点云序列记录的人脸动态表情进行建模的步骤描述如下：

Step1：将点云序列中的每一帧点云单独三角化，得到目标网格序列；

Step2：将模板网格依次匹配每一帧目标网格

1)根据模板网格和当前目标网格构造目标函数；

2)优化目标函数，求得模板网格各个顶点的最优仿射变换；

3)利用仿射变换变形模板网格，使之匹配当前目标网格。

(四)附图说明

图1，一致性约束条件原理示意图；

图2，利用一致性条件约束网格匹配的效果图；

图3，利用正则化条件约束网格匹配的效果图；

图4，对存在丢失信息的网格序列进行动态表情建模的效果图；

图5，方法进行动态表情建模的效果图。

(五)具体实施方式

下面说明上述算法中的重要步骤所依据的科学原理：

A、一致性条件的构造

1)未知量的设置

设模板网格为M＝(V，E，F)，其中V＝{v_i}为模板网格的顶点集合，E＝{(i₁，i₂)}为模板网格的边集合，F＝{f_J}为模板网格的面集合。设目标网格序列共由K帧组成，记为Γ＝{T_k}，k＝1，2，...，K。其中，第k帧目标网格记为T_k＝(V_k，E_k，F_k)，这里，V_k＝{v_ki}为顶点集合，E_k＝{(ki₁，ki₂)}为边集合，F_k＝{f_kj}为面集合。

为提高模板网格M与目标网格T_k，k＝1，2，...K匹配的精度，我们为模板网格M的每个顶点v_i分别指定一个仿射变换作为未知量，该仿射变换表示为一个4×4的矩阵D_i。这样，模板网格的每个顶点都对应一个未知的仿射变换，这为模板网格的变形提供了足够的自由度。迭代优化目标函数求得这些未知的仿射变换，并利用这些仿射变换调整模板网格各个顶点的位置，可得到逼近目标网格T_k的新网格M′＝(V′，E′，F′)。其中，V′＝{D_iv_i}，E′＝E，F′＝F。用于约束网格匹配的目标函数由5项构成：最近点约束项、光滑性约束项、特征点约束项、一致性约束项和正则化约束项。其中，前3项借鉴自大多数匹配算法中常采用的约束项，而后2项是本发明新提出和使用的。

2)最近点约束条件、光滑性约束条件和特征点约束条件

最近点约束项用来衡量匹配过程中，模板网格变形后与目标网格之间的距离。这个距离反映了模板网格变形后逼近目标网格的程度，显然，距离越小越好。最近点约束项表示如下

$E_a=\underset{v_i\∈V}{\mathrm{\Σ}}{w}_i{\left|\right|v_i^{\′}-u_i\left|\right|}^2---\left(1\right)$

其中，v_i′＝D_iv_i，是v_i移动后的新位置，即模板网格M变形后得到的新网格M′上的顶点。u_i为目标网格上与v_i′距离最近的匹配点。

光滑性约束条件用以保证变形过程中模板网格的相邻顶点尽量做相似的仿射变换。光滑性约束项定义如下

$E_b=\underset{(i_1,i_2)\∈E}{\mathrm{\Σ}}{\left|\right|D_{i_1}-D_{i_2}\left|\right|}_F^2---\left(2\right)$

其中，||·||_F为弗罗贝纽斯(Frobenius)范式。

特征点约束项用以保证模板网格变形后，其特征点尽量逼近目标网格上与之对应的特征点。特征点约束项定义如下

$E_c=\underset{(v_{t_l},q_l)\∈\mathrm{\Φ}}{\mathrm{\Σ}}{\left|\right|{v_{t_l}}^{\′}-q_l\left|\right|}^2---\left(2\right)$

其中，为模板网格与目标网格上的特征对应点集合。

是

移动后的新位置，其定义如公式(1)所示。

3)一致性约束条件

理想情况下，模板网格的每个顶点在变形后，应该正好映射到目标网格的某一个点上，并且与该点具有相同的法向。这如同将构成模板网格的点云覆盖到了目标网格的表面，成为目标网格上的点，新点云自然很好地反映了目标网格的形状。这表明，在将模板网格与目标网格匹配时，为达到理想的效果，不仅变形后的模板网格与目标网格之间的距离应尽量小，且变形后的模板网格上每个顶点的法向与其对应的目标网格上的最近点的法线方向应尽量相同(见附图1)。因此，本发明将法线方向的一致性作为一个重要因素，引入到对模板网格变形的约束中，以提高模板网格各顶点运动的精确性，具体表达如下

其中，V_i′和u_i为变形后的模板网格和目标网格间的对应点，其定义如公式(1)所示。

和

分别为v_i′和u_i处的法向，

为

和

的方向夹角。

为权值，当v_i′没有对应点时，该值为零。式(4)称为一致性约束条件。

一致性约束条件的引入，大大提高了模板网格与目标网格的匹配精度，可实现对表情细节的模拟。另外，在模板网格和目标网格的形状相差较大的情况下，也能得到理想的匹配结果(见附图2)。

B、正则化条件的构造

在上述网格匹配的约束条件的构造中，我们关注的是如何更好的约束模板网格的变形，使之尽可能的逼近目标网格，而没有考虑变形后模板网格的网格质量。在很多情况下，这可能会导致局部不理想的网格结构，如狭长三角片和极小三角片的出现(见附图3c)。为使模板网格在变形过程中保持较好的网格结构，从而使跟踪中生成的一系列网格能始终具有较好的网格质量，本发明提出正则化约束条件，用于保证模板网格的各个三角片在变形后形状尽量接近正三角形。具体表达如下

$E_e=\underset{f_j\∈F}{\mathrm{\Σ}}\underset{v_i\∈v\left(f_j\right)}{\mathrm{\Σ}}{({\mathrm{\θ}}_{{v_i}^{\′}}-\mathrm{\π}/3)}^2---\left(5\right)$

其中，对模板网格上的每一个三角片f_j，v(f_j)代表该三角片的顶点集合。v_i′是模板网格变形后v_i移动到的新位置，其定义如公式(1)所示。

是v_i′处的内角角度。显然，越接近π/3，三角片f_j越接近正三角形，整个网格的拓扑结构越好。如附图3d所示，引入正则化约束条件后，模板网格在变形过程中，既很好的逼近了目标网格，又保证了较好的网格质量。

C、网格匹配目标函数的构造

由式(1)-(5)构成新目标函数如下

E＝aE_a+bE_b+cE_c+dE_d+eE_e                     (6)其中，a，b，c，d和e用于调节各约束项所占的比重。

D、目标函数的优化

本发明利用L-BFGS-B算法对目标函数(6)进行迭代优化。迭代过程中，逐步增大a和d的值，即，增大最近点约束项和一致性约束项对最终优化结果的影响，从而求得模板网格各顶点的最优仿射变换，使模板网格匹配目标网格。

E、算法流程和伪代码

算法首先对点云序列中的每一帧点云单独重构三角网格，这些重构出的网格拓扑结构可能是不同的。然后，将这些网格作为目标网格，通过优化新目标函数，求得模板网格的一系列变形，使其分别匹配每一帧目标网格，从而生成拓扑结构一致的网格序列，实现对动态表情的建模。下面是算法的伪代码。

算法1.高真实感的动态表情建模算法

输入.模板网格M₀，点云序列P＝{C_k}，k＝1，2，...，K.

输出.拓扑结构一致的网格序列Φ＝{M_k}，k＝1，2，...，K.

功能.实现高精度的动态人脸表情建模.

方法还可以自动补洞。很多情况下获取的人脸表情数据可能存在着丢失的数据信息，即空洞。将模板网格与这样的目标网格匹配时，对模板网格上的顶点，如果其对应的最近点位于目标网格的空洞的边界上，则将约束条件(1)和(4)中该顶点的权值设为零。这样，这些顶点的仿射变换将只取决于目标函数中的光滑性约束条件、特征点约束条件和正则化约束条件。通过模板网格上其他部分的变形，将这些顶点带动到合适的位置，从而实现对目标网格上空洞的无缝填补。附图4表明方法可以有效填补目标网格上的空洞。

附图5是利用本发明方法对一个不存在丢失信息的点云序列进行动态表情建模的效果图。从图4和图5可见，本发明在建模过程中较好的反映了点云中表情的变化信息，其中包括精细的表情细节，建模结果具有高度的真实感。

Claims (3)

1.一种利用点云序列进行动态表情建模的方法，其特征在于：

步骤1：将点云序列中的每一帧点云单独三角化，得到目标网格序列

步骤2：将可变形的模板网格依次匹配每一帧目标网格，每一次匹配的具体操作为

2.1根据模板网格和当前目标网格构造目标函数

2.2优化目标函数，求得模板网格各个顶点的最优仿射变换

2.3利用仿射变换变形模板网格，使之匹配当前目标网格

2.权利要求1中的步骤2.1中目标函数的构造，其特征在于：利用模板网格与目标网格之间对应最近点的法线方向的一致性作为约束模板网格变形的约束项之一，记为目标函数中的一致性约束项，该约束项可有效提高模板网格对目标网格上所有变形的匹配的精确度，实现对表情细节的模拟，其表达式为

其中，V＝{v_i}为模板网格的顶点集合；每个顶点v_i处的仿射变换D_i为待求的变形未知量；v_i′是v_i经过变形后移动到的新位置，即v_i′＝D_iv_i；u_i为目标网格上与v_i′对应的最近点；和

分别为v_i′和u_i处的法向，

为

和的方向夹角；

为权值，当v_i′在目标网格上没有对应最近点时，该值为零。

3.权利要求1中的步骤2.1中目标函数的构造，其特征在于：将模板网格变形后各个三角片的形状尽量接近正三角形作为约束模板网格变形的约束项之一，记为目标函数中的正则化约束项，该约束项可使模板网格在匹配每一帧目标网格时生成的新网格始终具有较好的网格结构，其表达式为

$E_e=\underset{f_j\∈F}{\mathrm{\Σ}}\underset{v_i\∈v\left(f_j\right)}{\mathrm{\Σ}}{({\mathrm{\θ}}_{{v_i}^{\′}}-\mathrm{\π}/3)}^2$

其中，F＝{f_j}为模板网格的面集合；对模板网格上的每一个三角片f_j，v(f_j)代表该三角片的顶点集合；v_i′是模板网格变形后v_i移动到的新位置，即v_i′＝D_iv_i；

是v_i′处的内角角度。

Images