CN1920885A - 一种基于网格拓扑建模的三维人脸动画制作方法 - Google Patents

Abstract

本发明公开了一种基于网格拓扑建模的三维人脸动画制作的方法。它首先获取稀疏的三维运动捕获数据和三维人脸曲面网格；然后在三维人脸网格上标定运动捕获数据的对应控制点；采用短程距离，即三维曲面上的最短路径对三维曲面上的拓扑结构和缝隙进行建模；在自由曲面变形的过程中，以短程距离计算控制点与其他点之间的距离；由控制点的位移作为参数，通过匹配了短程距离的径向基函数算法对三维曲面进行变形，生成具有真实感的三维人脸动画。本发明可以得到高精度的三维人脸动画，可以有效区分人脸曲面上的缝隙和连续曲面，避免了人脸功能区域划分的复杂和繁琐，提高了人脸动画的制作效率，保证了人脸拓扑结构的模拟和实时性的要求。

Description

一种基于网格拓扑建模的三维人脸动画制作方法

技术领域

本发明涉及计算机三维动画技术领域，尤其涉及一种基于网格拓扑建模的三维人脸动画制作方法。

背景技术

三维人脸动画技术最早的工作开始于1972年。其后的学者做了很多工作，以期能够生成逼真生动的三维人脸动画。但由于人脸的解剖学结构非常复杂，细微的非刚性运动难以用数学建模，同时，人们对人脸外观的敏感性，使得这一课题非常困难。目前真实感三维人脸动画的工作取得了一些进展，基本上可以分为如下几类：

基于插值的方法：最早的人脸动画是基于插值的方法。首先由动画师制作一些特定的人脸表情关键帧，然后用线性插值在这些关键帧之间建立光滑的过渡。这种方法主要依靠动画师的个人能力，而且比较耗时。

基于自由变形的方法：自由变形的方法把三维人脸动画转化为一个曲面变形的问题。由若干控制点组成了一个包围体，包围体的运动直接驱动人脸网格的变形。这种方法输入限制少，但往往需要对人脸进行区域划分，这个过程对一般用户来说比较困难和繁琐；而且由于变形体没有考虑人脸网格本身的拓扑结构，所以变形往往会产生一些瑕疵。

基于物理建模的方法：首先对人脸的解剖学结构，如肌肉、头骨和皮肤进行建模，然后运动捕获数据则可以转化为肌肉收缩的参数，驱动模型的人脸动画。这种方法产生的符合人脸的运动特性，比较真实，但计算代价比较高，且难以快速对新角色建立物理模型。

基于例子的方法：三维人脸动画被看作是一些特定实例的线性组合。运动捕获数据中的运动向量，直接被用来估计线性组合的参数和插值系数。预先定义的实例则通过这些参数和系数被混合在一起。这类方法比较稳定和准确，但建立实例的过程比较昂贵和繁琐。

表情克隆的方法：为了将已有的三维网格运动数据应用到新的三维人脸模上，运动位移需要针对网格的局部几何特征进行旋转和缩放。表情克隆可以解决不同三维人脸曲面网格之间的运动重定向问题。

实时人脸动画捕获：通过计算机视觉算法，视频中的角色的三维形状和彩色纹理被实时重建。这种方法可以对特定角色进行逼真生动的动画创作，但产生的动画难以转移到其他角色上。

发明内容

本发明的目的在于提供一种基于网格拓扑建模的三维人脸动画制作的方法。此方法可以对人脸的拓扑结构进行有效的建模，保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，具有较好的实时性和可扩展性。

为实现上述发明目的，本发明采用下述的技术方案：

基于网格拓扑建模的三维人脸动画制作方法：首先获取稀疏的三维运动捕获数据和三维人脸曲面网格；然后在三维人脸网格上标定运动捕获数据的对应控制点；采用短程距离，即三维曲面上的最短路径对三维曲面上的拓扑结构和缝隙进行建模；在自由曲面变形的过程中，以短程距离计算控制点与其他点之间的距离；由控制点的位移作为参数，通过匹配了短程距离的径向基函数算法对三维曲面进行变形，生成具有真实感的三维人脸动画。

所述的获取稀疏三维运动捕获数据：通过快速光学摄像机，将绑有反光标记的人脸运动采集，然后用文件的方式记录。

获取三维人脸曲面网格数据：采用光学三维扫描仪，将特定人脸的三维信息和彩色纹理信息记录，并用三维绘图软件包绘制在显示器上。

在三维人脸网格上标定运动捕获数据的对应控制点：将运动捕获数据中的全部或者部分标记点对应的在三维人脸曲面网格上指名，建立运动捕获数据和三维曲面网格的对应关系。

采用短程距离，即三维曲面上的最短路径对三维曲面上的拓扑结构和缝隙进行建模：采用图论中的最短路径算法，将两点之间的最短路径作为它们之间的距离度量，从而区分三维曲面上的连续曲面和缝隙。

在自由曲面变形的过程中，以短程距离计算控制点和其他点之间的距离：采用三维曲面上的最短路径来度量控制点对曲面上其他点的驱动力，从而得到拓扑上正确地三维曲面网格变形。

有控制点的位移作为参数，通过匹配了短程距离的径向基函数算法对三维曲面进行变形，生成具有真实感的三维人脸动画：将控制点的位移和短程距离嵌入到径向基函数算法中。

本发明的有益效果：

1、三维运动捕获数据给三维人脸动画提供准确的时序保证，三维人脸网格数据则提供了准确的空间保证。三维运动捕获数据和三维人脸网格数据的结合，可以得到时空上高精度的三维人脸动画；

2、引入短程距离来对三维人脸曲面网格进行拓扑建模，可以有效区分人脸曲面上的缝隙和连续曲面，避免了自由变形方法中的人脸功能区域划分的复杂和繁琐，提高了人脸动画的制作效率；

3、以运动捕获数据中的控制点位移作为参数，通过匹配了短程距离的径向基函数算法对人脸曲面进行变形，可以实时生成具有真实感的三维人脸动画，同时保证了人脸拓扑结构的模拟和实时性的要求。

附图说明

下面结合附图和具体实施对本发明作进一步的说明；

图1(a)为本发明的三维运动捕获数据；

图1(b)为本发明的三维人脸模型；

图2为本发明的短程距离在三维人脸曲面上的示意图。

具体实施方式

基于网格拓扑建模的三维人脸动画制作方法，可以保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，具有较好的实时性和可扩展性。首先获取稀疏的三维运动捕获数据和三维人脸曲面网格；然后在三维人脸网格上标定运动捕获数据的对应控制点；采用短程距离，即三维曲面上的最短路径对三维曲面上的拓扑结构和缝隙进行建模；在自由曲面变形的过程中，以短程距离计算控制点与其他点之间的距离；由控制点的位移作为参数，通过匹配了短程距离的径向基函数算法对三维曲面进行变形，生成具有真实感的三维人脸动画。该方法具有如下步骤：

(1)稀疏三维运动捕获数据的获取，即通过快速光学摄像机，将绑有反光标记的人脸运动采集，然后用文件的方式记录；

(2)三维人脸曲面网格数据的获取，即采用光学三维扫描仪，将特定人脸的三维信息和彩色纹理信息记录，并用三维绘图软件包绘制在显示器上；

(3)在三维人脸网格上标定运动捕获数据的对应控制点，即将运动捕获数据中的全部或者部分标记点对应的在三维人脸曲面网格上指明，建立运动捕获数据和三维曲面网格的对应关系；

(4)采用短程距离对三维曲面上的拓扑结构和缝隙进行建模，即采用图论中的最短路径算法，将两点之间的最短路径作为它们之间的距离度量，从而区分三维曲面上的连续曲面和缝隙；

(5)在自由曲面变形的过程中，以短程距离计算控制点和其他点之间的距离，即采用三维曲面上的最短路径来度量控制点对曲面上其他点的驱动力，从而得到拓扑上正确地三维曲面网格变形；

(6)有控制点的位移作为参数，通过匹配了短程距离的径向基函数算法对三维曲面进行变形，生成具有真实感的三维人脸动画，即将控制点的位移和短程距离嵌入到径向基函数算法中。

实施例：

首先可通过三维运动数据捕获设备采集人脸的运动数据，表演者的面部主要特征点用反光材料做标记，如图1(左)所示，或者从计算机存储设备中读取已经捕获的三维运动数据；另外，通过三维扫描仪建立三维人脸网格模型，或者从计算机存储设备中读取已有的三维人脸网格模型，采用三维软件包将三维人脸网格模型绘制在显示器上。通过计算机输入设备在三维人脸网格上标定运动捕获数据的对应控制点，即将运动捕获数据中的全部或者部分标记点对应的在三维人脸曲面网格上标明，建立运动捕获数据和三维曲面网格的对应关系，如图1(右)所示。

在建立了三维人脸网格以后，我们用短程距离来对人脸的拓扑结构进行建模。我们把输入的人脸网格看作一个无向图，其中无向图的结点和弧由人脸网格的顶点和边表示。根据图论，由人脸网格构造的无向图可以构造一个邻接矩阵。由图2所示的三维人脸网格构造的邻接矩阵由5832行和5832列构成，只有22984个非零元素，即，非零元素只有0.068％。无向图上结点 和 之间的短程距离δ_ij可以由邻接矩阵的最短路径算法，即Dijkstra算法得到： ${\mathrm{\δ}}_{\mathrm{ij}}=\mathrm{dijk}({\stackrel{\→}{v}}_i,{\stackrel{\→}{v}}_j).$ 我们计算了在三维人脸网格上的控制点到其他所有点的短程距离，并以矩阵的形式存储起来，可以加速三维人脸网格的变形过程。

在人脸动画的生成过程中，径向基函数作为能量优化的映射函数。径向基函数有多种形式，我们采用了多二次径向基函数(Multi-quadrics RBF)，其形式如下：

$F({\stackrel{\→}{x}}_j,w)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(w_i\sqrt{{\mathrm{\γ}}_{\mathrm{ji}}^2+{\mathrm{\σ}}_i^2}\right)---1$

其中

是输入数据的向量表示，即三维人脸网格顶点的初始位置，W＝[w₁，w₂，…，w_n]^T是权值参数，其中n是控制点的个数，γ_ji是输入顶点j和第i个控制点之间的距离，σ_i是松弛系数。在实际运行过程中，欧氏距离γ_ji由短程距离δ_ij代替，并且可以从事先存储的矩阵中查询得到。根据控制点的位移，可以学习得到权值参数W，松弛因子可以取此顶点到距离它最近的控制点的欧氏距离。

当三维人脸网格比较稀疏时，短程距离会变得离散，带来一些不想要的瑕疵和扭曲。在这种情况下，可以采用混合欧氏距离和短程距离的方法，即δ_ij＝w×δ_ij+(1-w)×γ_ij，其中w∈[0，1]是插值系数。W的值由实验确定为0.3。

本实施例通过采用基于网格拓扑建模的三维人脸动画制作的方法，以三维运动捕获数据给三维人脸动画提供准确的时序保证，以三维人脸网格数据则提供了准确的空间保证，三维运动捕获数据和三维人脸网格数据的结合，得到了时空上高精度的三维人脸动画；同时引入短程距离来对三维人脸曲面网格进行拓扑建模，有效区分人脸曲面上的缝隙和连续曲面，避免了自由变形方法中的人脸功能区域划分的复杂和繁琐，提高了人脸动画的制作效率；以运动捕获数据中的控制点位移作为参数，通过匹配了短程距离的径向基函数算法对人脸曲面进行变形，实时生成了具有真实感的三维人脸动画，同时保证了人脸拓扑结构的模拟和实时性的要求。

Claims (7)

1、一种基于网格拓扑建模的三维人脸动画制作方法，其特征在于：首先获取稀疏的三维运动捕获数据和三维人脸曲面网格；然后在三维人脸网格上标定运动捕获数据的对应控制点；采用短程距离，即三维曲面上的最短路径对三维曲面上的拓扑结构和缝隙进行建模；在自由曲面变形的过程中，以短程距离计算控制点与其他点之间的距离；由控制点的位移作为参数，通过匹配了短程距离的径向基函数算法对三维曲面进行变形，生成具有真实感的三维人脸动画。

2、根据权利要求1所述的一种基于网格拓扑建模的三维人脸动画制作方法，其特征在于，所述的获取稀疏三维运动捕获数据：通过快速光学摄像机，将绑有反光标记的人脸运动采集，然后用文件的方式记录。

3、根据权利要求1所述的一种基于网格拓扑建模的三维人脸动画制作方法，其特征在于：所述的获取三维人脸曲面网格数据：采用光学三维扫描仪，将特定人脸的三维信息和彩色纹理信息记录，并用三维绘图软件包绘制在显示器上。

4、根据权利要求1所述的一种基于网格拓扑建模的三维人脸动画制作方法，其特征在于，所述的在三维人脸网格上标定运动捕获数据的对应控制点：将运动捕获数据中的全部或者部分标记点对应的在三维人脸曲面网格上指名，建立运动捕获数据和三维曲面网格的对应关系。

5、根据权利要求1所述的一种基于网格拓扑建模的三维人脸动画制作方法，其特征在于：所述的采用短程距离，即三维曲面上的最短路径对三维曲面上的拓扑结构和缝隙进行建模：采用图论中的最短路径算法，将两点之间的最短路径作为它们之间的距离度量，从而区分三维曲面上的连续曲面和缝隙。

6、根据权利要求1所述的一种基于网格拓扑建模的三维人脸动画制作方法，其特征在于，所述的在自由曲面变形的过程中，以短程距离计算控制点和其他点之间的距离：采用三维曲面上的最短路径来度量控制点对曲面上其他点的驱动力，从而得到拓扑上正确地三维曲面网格变形。

7、根据权利要求1所述的一种基于网格拓扑建模的三维人脸动画制作方法，其特征在于，所述的有控制点的位移作为参数，通过匹配了短程距离的径向基函数算法对三维曲面进行变形，生成具有真实感的三维人脸动画：将控制点的位移和短程距离嵌入到径向基函数算法中。