CN101783026A - 三维人脸肌肉模型的自动构造方法 - Google Patents

Abstract

本发明提出一种基于三维人脸特征点的人脸肌肉模型自动构造方法。肌肉模型是目前最为常用的人脸动画驱动模型，它能够通过模拟脸部的肌肉收缩达到驱动三维人脸面部表情变化的目的。然而，以往面部肌肉模型的构造需要美工花费大量时间进行细微调整，而在每次更换三维人脸模型之后，所有的构造工作甚至需要重新来过。基于如上问题，本发明提出了一种新的人脸肌肉模型构造方法，该方法通过研究三维人脸特征点与面部肌肉之间的空间位置映射关系，实现了面部肌肉的自动构造与装配。实验结果证明，该方法不仅可以使美工从繁琐的手工调试中解脱出来，还能够让一般用户定制自己所需要的具有各种表情的三维形象。

Description

三维人脸肌肉模型的自动构造方法

技术领域

本发明涉及计算机模拟三维人脸表情动画领域中的肌肉模型自动构造领域。

背景技术

计算机模拟三维人脸表情动画是计算机图形学中的一个关键应用。常用的人脸表情动画方法主要分为三大类，分别为基于形状插值的方法、基于几何形变的方法以及基于仿真的表情动画方法。

基于形状插值的方法是一种直观而易于实现的人脸表情动画方法，其主要技术原理就是利用线性或非线性插值技术，将具有不同表情的静态人脸模型进行插值，从而获得具有中间过渡表情的人脸模型。基于形状插值的方法虽然简单，但在进行人脸动画之前需要将具有各种不同极端表情的静态人脸模型准备好并载入内存，一方面需要大量的美工对模型的表情进行调整，另一方面对内存的耗费也较为严重。此外，基于形状插值的方法最致命的问题在于其真实感不强，这是由于人的面部表情变化非常复杂，仅用有限的表情进行简单的线性或非线性插值是远远不能达到要求的。

基于几何形变的人脸动画方法在一定程度上增加了可模拟表情的丰富程度。该类方法通过纯粹的几何形变操作，对人脸各个器官的形状变化进行模拟。但是，对于人脸网格的几何形变操作不可避免地会引入不真实的扭曲或错切变形，使得表情动画的真实感大打折扣。同样地，要获得所需要的真实感，基于几何形变的人脸动画方法也需要大量的训练样本数据，这使得该类方法很难以在实际中得到广泛的应用。

与上述两类方法不同的是，基于仿真的人脸表情动画方法从人脸形变的原理入手，通过模拟真实人脸的肌肉缩放，由肌肉带动面部网格变形，从而达到真实地模拟各种人脸表情的目的。由于基于仿真的方法具有真实感强，可模拟各种人脸表情，无需大量模型数据等优点，因此被应用在各种虚拟仿真以及三维游戏当中。然而，该类方法在面部肌肉模型的构造环节仍然存在着很大的瓶颈，这不仅大大限制了其在应用上的灵活性，也使得普通用户难以定制自己所期望的具备表情功能的人脸模型。

发明内容

本发明提出的基于三维人脸特征点的人脸肌肉模型自动构造方法，通过研究三维人脸特征点与面部肌肉之间的空间位置映射关系，实现了面部肌肉的自动构造与装配。在三维人脸特征点检测阶段，首先利用二维纹理信息对面部特征点位置进行大致估计；然后，利用三维网格形状以及曲率分析的方法，根据各个人脸特征点所固有的形状特征，进一步精确化三维特征点的位置；通过多次迭代运用二维特征点检测方法以及三维形状分析方法，有效而精确地检测出三维人脸网格上的22个特征点。在人脸肌肉脱出来，还能够让一般用户定制自己所需要的具有各种表情的三维形象，较好地解决了以往三维人脸表情动画方法中存在的瓶颈，对进一步扩大三维人脸表情动画模型构造阶段，首先准备了充足的精确训练样本数据，然后采用回归分析以及支持向量机等技术从大量训练样本中学习三维人脸特征点与面部肌肉之间的映射关系；最后利用在上一阶段中检测到的三维特征点构造出适合该人脸的肌肉模型。实验结果证明，本发明提出的方法不仅可以使美工从繁琐的手工调试中解的应用具有重要意义。

附图说明

图1为22个三维人脸特征点示意图；

其中1.右眼瞳孔、2.左眼瞳孔、3.鼻根、4.鼻尖、5.上唇中心点、6.下唇中心点、7.右嘴角、8.左嘴角、9.右外眼角、10.右内眼角、11.左内眼角、12.左外眼角、13.上唇右点、14.上唇左点、15.下唇右点、16.下唇左点、17.右眉中心点、18.左眉中心点、19.右鼻翼、20.左鼻翼、21.右眉内侧点、22.左眉内侧点；

图2为二维至三维特征点投影示意图；

图3为23组人脸向量肌肉示意图；

图4为三维人脸特征点搜索区域示意图；

图5为标注好三维特征点及肌肉模型的训练样本数据；

图6为向量肌肉收缩控制示意图；

图7为括约肌收缩控制示意图；

图8为不同人脸模型上的表情模拟效果图；

图9为非单纯人脸模型上的表情模拟效果图；

具体实施方式

一、三维人脸特征点检测

三维人脸特征点检测阶段作为人脸肌肉模型构造的准备阶段，主要负责在给定的静态三维人脸网格上精确地检测到22个预定义的面部特征点。如图1所示，预定义的特征点主要集中在四个区域，分别为眼眉区、眼周区、鼻尖鼻翼区以及嘴部周围区域，这些特征点可以很好地描述给定三维人脸的面部特征，为下一阶段的肌肉定位提供准确充足的数据信息。

传统的基于三维形状分析的特征点检测方法均存在着由模型的不规则性所带来的鲁棒性不强、检测精度不高等问题。由于本发明的方法面向普通用户，而普通用户的模型大多数来自于因特网，这就使得模型本身存在的噪声和不规则性更加复杂。为了避免这样的问题，本发明提出了将二维纹理信息与三维网格信息相结合的特征点检测方法，有效地提高了检测结果的鲁棒性和准确性。

1、基于图像的特征点检测

为了有效地利用二维纹理图像信息，为二维特征点检测提供平滑的输入图像，首先运用Phong光照模型将三维人脸模型渲染到一张图像中。多数人脸模型的默认朝向为面向摄像机，对于少数例外模型，可以简单地利用PCA分析或直接手动旋转模型到面向摄像机。

随后，利用基于BTSM的二维人脸特征点检测方法将渲染得到的人脸正面图像进行检测，获得如图1中所定义的22个二维特征点。然后利用由二维图像到三维网格的反方向投影，将22个二维特征点投射到三维人脸网格上。具体的实施方法如图2所示，我们将二维特征点沿着垂直于图像的方向投向三维网格，每条投影线必将与三维表面相交，由于投影线可能与后表面相交，故仅取第一个交点作为三维特征点。

通过基于图像的特征点检测，本发明巧妙地利用了图像分析的方法，将三维特征点的大致位置提取出来，为进一步精确检测提供准确的初始位置。相对于传统的三维特征点检测方法，本方法适用性更加广泛，对于并非单纯头部的模型，如全身模型或半身模型等，基于图像的方法可以有效地检测出头部所在并将特征点准确定位。

2、基于三维形状分析的特征点精确化方法

为了进一步精确三维特征点位置，本发明采用了基于三维形状特征分析的方法。以往的研究工作表明，人脸的各个区域均具有各自的曲率特征，因此曲率分析经常被应用于三维模型分析以及特征检测方面。在所有22个面部特征点当中，鼻尖为最易于定位的特征点，它可以通过搜索具有最大Z值的方法进行定位。如果搜索区域可以局限在一个适当的范围内，则鼻尖定位的准确率可以高达99％。基于如上观察，我们将鼻尖与鼻根的搜索区域限定在一个矩形区域内，将其余20个特征点的搜索区域限定在一条水平或竖直的线段内，如图3所示。我们将矩形的边长和线段的长度定义为：

$L_{\mathrm{mouth}}=\frac{\left|\right|\stackrel{\→}{P_{13}{P}_{15}}\left|\right|+\left|\right|\stackrel{\→}{P_{14}{P}_{16}}|}{2},$ $L_{\mathrm{eye}}=\frac{\left|\right|\stackrel{\→}{P_{17}{P}_1}\left|\right|+\left|\right|\stackrel{\→}{P_{18}{P}_2}\left|\right|}{2}$

其中L_mouth为嘴部特征点的搜索长度；L_eye为眼周特征点的搜索长度。鼻根搜索区域与鼻尖搜索区域的边长定义为min(L_mouth，L_eye)。

P3	P4	P5	P6	P7	P8	P9	P10	P11	P12
										鞍状山   脊	尖端	峰状	峰状	凹陷	凹陷	凹陷	凹陷	凹陷	凹陷
P13	P14	P15	P16	P17	P18	P19	P20	P21	P22

[0028]

峰状

峰状

峰状

峰状

峰状

峰状

凹陷

凹陷

峰状

峰状

表122个特征点的曲率特征(由于第一步中P1、P2的检测精度足够高，故不对其进行精确化)

每个三维特征点位置均具有其特定的曲率特征，如表1所示。在限定的搜索区域内，我们对所有的三维顶点进行曲率分析，通过偏微分计算求出每个顶点的Gaussian(K)曲率以及Mean(H)曲率；然后根据表2中的分类方法对每个顶点的曲率特征进行分类，并选取最符合相应特征点曲率特征的顶点作为新的特征点位置。

	K＜0	K＝0	K＞0
				H＜0	鞍状山脊	山脊状	峰状
H＝0	最低点	平坦	(无)
				H＞0	鞍状山谷	山谷状	凹陷

表2基于HK特征的曲率分类

在得到新的22个特征点之后，同样地，我们再次利用从三维到二维的映射将特征点投至二维图像上，并反复运用BTSM二维特征点检测以及曲率分析的方法，直至特征点的位置达到稳定。

二、肌肉模型的自动构造方法

本发明采用的肌肉模型是基于Waters的向量肌肉模型的：整个面部上附着24组肌肉，其中有23组为向量肌肉，另外一组为嘴部的括约肌。我们定义一组向量肌肉由一个基点(附着在骨骼上)，一个插入点(附着在皮肤下层的组织中)以及一个向量方向所组成。通过24组肌肉的收缩即可以驱动人脸的面部表情变化。

1、训练样本数据准备

我们收集了一组共50个三维人脸模型作为训练样本，其中包含了各种具有不同面部特征的群体(例如男人和女人，胖人和瘦人，年轻人和老人等)，如图5所示。我们首先将这50个三维人脸对齐至统一坐标系下，使其大小一致且几何中心平移至原点。为了获取更加精确的训练数据，22个面部特征点以及24组面部肌肉被手动标注到所有的三维人脸样本上。对于标注完的24组面部肌肉，我们还雇用了美工进行细微调整。具体方法是：将带有面部肌肉的三维人脸模型加载至三维人脸动画系统，并驱动其面部表情变化，美工根据表情的变化判断如何调整肌肉模型。当所有面部表情均能够被自然地模拟出来时，便完成了该肌肉模型的调整。尽管此项工作需要投入大量的时间和人力，但其仅需进行一次，对于今后给出的新的三维人脸模型，我们只需利用从训练样本中学习到的映射模型便可以对其肌肉模型进行构造。因此，本发明的方法相比较传统的人脸肌肉模型构造方法能够节省大量的人力和时间。

2、映射关系模型训练及向量肌肉构造

每组向量肌肉包含两个端点，因此23组向量肌肉可以由46个空间点位置来确定。我们定义：

n＝50：训练样本模型的数量

n_l＝22：三维人脸特征点的数量

n_m＝46：确定23组向量肌的空间点数量

利用这些数据，可以构造出两个矩阵

以及

(R表示实数)，它们各自的列向量分别由向量肌端点和三维人脸特征点组成：

其中，m_ij是第j个模型的第i个肌肉端点的坐标，f_ij是第j个模型的第i个三维特征点的坐标。不同于一般矩阵的是，由于这些矩阵的元素均代表了三维点坐标，因此在形式上均为三维向量。

矩阵表示的样本数据更加有利于进一步分析它们之间的空间映射关系。为了有效地分析并构建出三维人脸特征点及人脸向量肌肉模型之间的空间映射关系，本发明采用了回归分析的方法。回归分析是是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。其运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。由于在分析之初很难确定所求的空间映射关系是线性关系还是非线性关系，故本发明分别从线性回归分析和非线性回归分析入手，通过定量比较的方法选择更加适用于本发明的分析方法。

首先，对于线性回归分析方法，本发明采用一个变换矩阵

来表示向量肌肉模型与三维人脸特征点之间的映射关系。为了求出这个映射关系，我们首先选用了线性的最小二乘优化方法进行计算，即通过求解下面的误差最小化问题：

$\underset{T}{\min }\underset{i=1}{\overset{n_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|M_{\mathrm{ij}}-{\left(\mathrm{TF}\right)}_{\mathrm{ij}}\left|\right|}^2$

其中TF代表利用变换矩阵T对三维人脸特征点矩阵F进行变换，使得变换后的矩阵与肌肉模型M矩阵之间的误差最小化。换句话说，即通过将22个三维特征点的空间位置进行加权线性组合，利用最优化的方法求取组合参数，以达到拟合46个向量肌肉顶点的目标。该目标函数可以利用线性最优化方法求解。得到变换矩阵T后，便可以运用矩阵乘法的操作对肌肉模型进行构造：给定一个新的三维人脸模型，通过检测其三维人脸特征点获得矩阵

于是便可以通过如下公式计算得出：

M_new＝TF_new.

对于非线性回归分析，本发明采用了“最小二乘支持向量机(Least Squares Supportvector machines，LS-SVM)”的方法。SVM是数据挖掘中的一个新方法，能非常成功地处理回归问题和模式识别等诸多问题，它被广泛的应用于统计分类以及回归分析中。LS-SVM是支持向量机的一种变形，避开了SVM所求解的相对繁重的二次规划问题，有效的提高了大样本学习的求解速度，近年来最小二乘支持向量机被广泛应用于函数估计等回归分析领域。

SVM的关键在于核函数，在SVM理论中，采用不同的核函数将导致不同的SVM算法。为了能够精确地拟合三维人脸特征点与向量肌肉端点的空间映射关系，本发明采取了径向基函数(Radial Basis Function)，高斯核函数(Gaussian Function)以及多项式核函数(PolynomialFunction)等多个核函数进行对比分析，以找到最适合本方法的核函数。为了优化不同核函数的各项参数，本发明采用了格点搜索(Grid Search)对参数空间进行搜索，以达到最佳拟合效果。实验数据证明，四次多项式核函数(The Fourth Degree Polynomial Kernel)最为适合本发明的计算，并且取得了精确的拟合结果。

3、向量肌肉的其它参数以及括约肌的构造

为了驱动所构造的向量肌肉进行收缩从而影响面部表情变化，还有另外两个属性参数需要进行计算，如图6中所示，即最大影响角以及最大影响距离，这两个属性参数决定了向量肌肉的收缩对于三维人脸网格的形变影响范围和影响程度。

最大影响角是与面部尺寸无关的一个参数，根据样本观察的结果，每组向量肌肉各自的最大影响角在50个训练样本中的变化非常微小，也就是说对于某一特定的向量肌来说其最大影响角与人的面部特征没有太大的联系。因此，本发明对50个训练样本中的各组向量肌肉最大影响角分别求均值，并将其作为新的三维人脸中该组肌肉的最大影响角。

与最大影响角不同的是，每组向量肌肉各自的最大影响距离在50个训练样本中的变化非常大，因此不能够简单地运用求取均值的方法求解。这种情况与弹簧相类似：较长的弹簧通常具有较大的形变范围，因此向量肌肉的最大影响距离是由其肌肉长度所决定的。本发明采取的解决方案是在50个训练样本数据集上对肌肉的最大影响距离和肌肉的长度之间进行线性回归分析，通过最小化下面的最小二乘方程进行求解：

$\underset{a_j,b_j}{\min }\underset{i=1}{\overset{50}{\mathrm{\Σ}}}{\left|\right|a_j{l}_{\mathrm{ij}}+b_j-r_{\mathrm{ij}}\left|\right|}^2$

其中l_ij和r_ij是第i个训练样本的第j组向量肌肉的长度以及最大影响距离。

得到线性回归系数α_j和b_j后，便可以为新的三维人脸模型计算第j组向量肌肉的最大影响距离：

r_j＝a_jl_j+b_j

向量肌肉构造完毕后，需要对嘴部的括约肌进行构造。由于在三维人脸特征点检测阶段已经将嘴部周围的八个特征点进行了准确地定位，因此括约肌的构造可以简单地被描述为一个参数化椭圆，如图7所示。括约肌的中心点P_epi取为嘴周八个特征点的几何平均位置，则参数化椭圆模型的半长轴α与半短轴b可以计算如下(F_new(i)表示在新的三维人脸模型上的第i个三维人脸特征点)：

$a=\frac{\left|\right|P_{\mathrm{epi}}-F_{\mathrm{new}}\left(7\right)\left|\right|+\left|\right|P_{\mathrm{epi}}-F_{\mathrm{new}}\left(8\right)\left|\right|}{2},$ $b=\frac{\left|\right|P_{\mathrm{epi}}-F_{\mathrm{new}}\left(5\right)\left|\right|+\left|\right|P_{\mathrm{epi}}-F_{\mathrm{new}}\left(6\right)\left|\right|}{2}$

4、向量肌与括约肌的收缩控制

图6给出了向量肌的收缩控制模型示意图，图中的符号定义如下：

p_orig ⁱ：第i组向量肌肉的基点位置

p_insert ⁱ：第i组向量肌肉的插入点位置

p_skin：人脸网格上的任一顶点

R：该向量肌肉的长度

R_max：该向量肌肉的最大影响距离

l_i：基点p_orig ⁱ与p_skin之间的距离

α_i：该向量肌肉的最大影响角

与

之间的角度

肌肉纤维作用在p_skin点上的收缩力

向量肌肉收缩时，肌肉纤维牵动皮肤表面从放松状态向着向量肌基点移动。我们假设肌肉纤维牵动力在基点的影响为0，而在插入点处的影响为最大，则在p_skin点上的收缩力以及由此造成p_skin点的平移可以计算如下：

$\stackrel{\→}{f_i}={\mathrm{\α}}_F{\mathrm{\Ψ}}_1\left({\mathrm{\λ}}_i\right){\mathrm{\Ψ}}_2\left({\mathrm{\η}}_i\right)\frac{\stackrel{\→}{p_{\mathrm{skin}}{p}_{\mathrm{orig}}^i}}{l_i},$ 其中 ${\mathrm{\λ}}_i=\frac{l_i}{R},$

$\stackrel{\→}{d^{\′}}={\mathrm{\κ}}_i\stackrel{\→}{f_i}$

其中，α_F为肌肉收缩力缩放因子，κ_i为肌肉弹性系统，与弹簧的弹性常量类似。函数中的Ψ₁和Ψ₂分别根据长度比λ_i和角度比η_i对肌肉收缩力进行调节，分别计算如下：

${\mathrm{\&Psi;}}_1\left({\mathrm{\&lambda;}}_i\right)=\left\{\begin{array}{cc}\cos ((1-{\mathrm{\&lambda;}}_i)\&CenterDot;\frac{\mathrm{\&pi;}}{2})& 0\&le;{\mathrm{\&lambda;}}_i\&le;1,\\ \cos (\left(\frac{{\mathrm{\&lambda;}}_i-1}{{\mathrm{\&mu;}}_i-1}\right)\&CenterDot;\frac{\mathrm{\&pi;}}{2})& 1<{\mathrm{\&lambda;}}_i\&le;{\mathrm{\&mu;}}_i,\end{array}\right.$

其中 ${\mathrm{\&mu;}}_i=\frac{R_{\max }}{R}.$

图7给出了括约肌收缩控制模型示意图，图中的符号定义如下：

p_skin：人脸网格上的任一顶点

o：括约肌影响区域的几何中心

a：参数化椭圆半长轴

b：参数化椭圆半短轴

括约肌在p_skin点上的收缩力以及由此造成p_skin点的平移可以计算如下：

$\stackrel{\&RightArrow;}{f_i}={\mathrm{\&alpha;}}_F\cos ((1-r_i)\&CenterDot;\frac{\mathrm{\&pi;}}{2})\frac{\stackrel{\&RightArrow;}{p_{\mathrm{skin}}o}}{\left|\right|\stackrel{\&RightArrow;}{p_{\mathrm{skin}}o}\left|\right|},$ 其中 $r_i=\sqrt{{\left(\frac{d_x}{a}\right)}^2+{\left(\frac{d_y}{b}\right)}^2},0\&le;r_i\&le;1.$

$\stackrel{\&RightArrow;}{d^{\&prime;}}={\mathrm{\&kappa;}}_i\stackrel{\&RightArrow;}{f_i}.$

其中，α_F为括约肌收缩力缩放因子，d_x和d_y分别是从顶点p_skin到中心o距离的X分量和Y分量。

5、三维人脸肌肉模型自动构造方法测试结果

我们使用Microsoft Visual Studio 2008实现了本发明所提出的三维人脸肌肉模型自动构造方法，并结合实际应用对其进行了测试。测试时所使用的软硬件环境为：

(1)系统运行的操作系统：Windows Vista操作系统；

(2)计算机硬件配置：Intel(R)Pentium(R)D CPU 2.80GHz，2.00GB DDR RAM，NVIDIAGeForce 8800GT Video Card；

本发明采用去一法交叉验证分析(leave-one-out cross validation)来分析本发明提出的方法对于肌肉模型自动构造的精度。在实验过程中，50个已经手动标注好三维特征点以及肌肉模型的样本数据被作为实验数据进行交叉验证分析，具体的实现方法是：在每一步迭代的过程中，从50个模型中拿掉一个模型作为测试模型，剩余49个模型作为训练数据进行样本训练，然后利用训练得到的结果对测试模型进行肌肉的自动构造，最后将美工手工为测试模型标注的肌肉模型与自动构造的肌肉模型进行量化比较分析。如此对50个模型中每一个均进行一次迭代，迭代完成后采用了均方根误差(root mean square errors，RMS)对误差进行量化，表3给出了线性回归分析与LS-SVM非线性回归分析在不同规模的测试样本集上的均方根误差比较。

RMS	N＝10	N＝30	N＝50
				线性回归分析	0.0523	0.0249	0.0185
LS-SVM	0.0329	0.0171	0.0092

表3均方根误差比较

从表3中可以看出，随着样本集的增大，两种方法的误差都得到了快速的收敛，并且LS-SVM非线性回归分析的方法在N＝50时已经将误差降至非常微小。

最后，本发明对提出的三维人脸肌肉模型自动构造方法的普适性进行了测试。我们从互联网上找来形态各异的模型，包括了不同胖瘦，不同性别，大年龄跨度的各种模型。此外，还针对较大规模的复杂模型进行了测试，模型中不仅包含了人脸，还包含了人体以及复杂背景作为干扰。图8和图9给出了本发明的普适性测试效果，可以看出本方法对于各种不同的模型具有较好的普适性，并且能够模拟多种不同的人脸表情动画。

Claims (3)

1.基于三维人脸特征点的人脸肌肉模型的自动构造方法，其特征在于包括：

三维人脸特征点检测阶段：

(1)将带有纹理的静态三维人脸模型使用Phong光照渲染方法渲染到一张二维人脸图片上；

(2)采用基于Bayesian Tangent Shape Model(BTSM)的二维人脸特征点提取方法，提取步骤(1)中渲染的二维人脸图片中的22个特征点；

(3)利用由二维图像到三维网格的反方向投影，将22个二维特征点投射到三维人脸网格上，从而实现自动识别三维模型中的人脸部分，并提取出三维特征点的大致位置；

(4)利用三维人脸网格形状以及曲率分析的方法，根据各个人脸特征点所固有的形状特征，对步骤(3)中的三维特征点大致位置进一步细化；

(5)将步骤(4)中细化的三维特征点位置再次投影到二维人脸图片上，将投射到二维的特征点位置作为初始位置输入至步骤(2)再次提取，并重复步骤(2)至步骤(4)，直至22个三维特征点的位置结果收敛；

三维人脸肌肉构造阶段：

(6)准备男女各25个具有不同种族，不同年龄以及不同面部特征三维人脸模型，对这些三维人脸的尺寸，格式作出统一调整；利用美工的技术对这50个三维人脸进行特征点标注以及肌肉模型构造，并将这些模型作为后续步骤的训练样本数据；

(7)运用回归分析以及支持向量机等技术从训练样本中学习三维人脸特征点与面部肌肉之间的映射关系，从而训练出一个三维人脸肌肉模型预测器。该模型预测器的特点是以三维人脸特征点位置为输入，以相应的三维人脸肌肉模型为输出；

(8)将步骤(5)中得到的位置收敛的三维特征点作为输入，提交至上一步骤中训练得到的肌肉模型预测器中，从而获得适合该三维人脸的肌肉模型。最终，利用自动构造的三维人脸肌肉模型以及驱动人脸表情变化的肌肉收缩数据，获得具有表情变化的三维人脸模型。

2.根据权利要求1第一阶段中所述的三维人脸特征点检测方法，其特征在于：所述的方法还可以为三维人脸参数化以及基于三维人脸特征点的三维人脸融合提供辅助。

3.根据权利要求1第二阶段中所述的三维人脸肌肉模型自动构造方法，其特征在于：所述的基于样本训练的方法不仅可以应用于肌肉模型的自动构造，而且对于其它可以抽象为若干三维顶点表示的人脸动画驱动模型依然适用。

Images