CN102184562A - 一种三维人脸动画模型自动构造方法及系统 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种三维人脸动画模型自动构造方法及系统，所述方法包括下述步骤：根据预设的三维人脸模型的种子点以及所述种子点的搜索区域，通过邻域生长及特征判别算法搜索出所述搜索区域内的几何特征候选点和纹理特征候选点；对所述几何特征候选点进行聚类分析，识别出所述三维人脸模型的几何特征点；对所述纹理特征候选点进行聚类分析和端点检测，识别出所述三维人脸模型的纹理特征点；根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，确定三维人脸动画模型。本发明实现了三维人脸动画的自动建模，同时，提高了三维人脸动画效果。

Description

一种三维人脸动画模型自动构造方法及系统

技术领域

本发明属于计算机技术领域，尤其涉及一种三维人脸动画模型自动构造方法及系统。

背景技术

随着人脸动画的研究的深入，其应用领域越来越广泛，人脸配合运动能够帮助用户理解噪声环境下的讲话内容，使用户更加集中注意力，使服务对用户更具有吸引力，提高硬件设备与用户的交互能力，人脸动画还可以应用于虚拟现实、动漫和游戏等领域。随着图形处理技术的发展，用户对人物的表情的真实性和丰富性提出了更高的要求，同时也对人脸表情动画的生成效率提出了更高的要求，然而现有的三维人脸动画的构造和生成方法过程需要手工进行特征点和运动控制区域内顶点的标定和参数的调整，导致生成的人脸动画效果差，三维人脸动画模型的可移植性较差。现有代表性的三维人脸构造方法主要有：

(1)基于几何插值的方法

基于几何插值的方法通过在人脸形状的关键帧之间进行某种形式的加权插值，生成中间状态的插值图像形状，由于基于几何插值的方法依赖于关键帧，因此生成的人脸表情也受到了关键帧表情的限制，不可能生成关键帧插值范围之外的人脸动作，因此基于几何插值的方法只适用于少量表情的人脸动画需求。

(2)基于变形的方法

基于变形的方法能较好地模拟人脸形状的变化，代表性工作有：Sederberg等人提出的free form deformation(FFD)、Kalra等人提出的rational free from deformation(RFED)，以及Noh等人提出的基于径向基函数(radial basis function，RBF)变形的方法。但由于没有考虑人脸的特殊纹理，难以生成逼真的人脸动画纹理，或者是基于曲面的变形，不能保证人脸体积不变。

(3)基于参数的方法

基于参数的方法是指用一组参数来定义人脸表情，通过设置参数值来模拟人脸表情，通过参数的不同组合能够产生不同的表情动作，实现在低比特率的条件下的人脸动画。参数被划分为特定人标识参数和人脸表情控制参数。由于人脸的复杂性，很难设计完全相互独立的参数，当用对同一个顶点都起作用但有冲突的两个参数去生成表情时，缺乏仲裁和控制机制。参数化方法的另一个缺陷是，必须根据具体的人脸网格的拓扑结构来选择参数集，难以做到完全通用的参数化。

(4)基于生理模型的人脸动画方法。将人脸组织简化成皮肤、肌肉和骨骼三个层次，表情运动主要通过肌肉层的弹性作用控制，通过皮肤层来表现。代表性工作有：Platt和Badler的质点弹簧系统，采用38条肌肉块作用于人脸的弹性网格结构使之产生变形，生成人脸动作。Waters通过肌肉向量域的方向、原点和插入点的位置来定义人脸肌肉，将其嵌入在三维网格模型的特定位置，构造圆锥形类似于高度场的空间。然而目前这类方法还不能定量地给出人脸的准确构造和运动方式，所采用的生理模型难以移植到不同人的脸部进行建模，且需要进行精确的肌肉定位和参数调节，需要花费大量的手工操作。

上述方法中，Waters的肌模型实现的人脸表情及口型动画实时性好，真实感较高，应用得较普遍。Waters肌模型定义了线性肌和括约肌的拓扑结构和计算参数，见Waters K于1987年公开发表在SIGGRAPH年会的论文A muscle model for animating three dimensional facial expressions(ACM SIGGRAPH，1987，21(4)：17-24)。但是Waters肌肉模型方法的缺点是需要实现进行精确的肌肉定位和参数调节，这部分工作目前都是由美工设计人员手工进行，需要花费大量的人力和时间，且精确度不高，另外，肌肉模型由骨骼结点、作用起点、作用终点和作用夹角确定，并不反映作用区域表面网格的特征，影响了三维人脸的动画效果。

发明内容

本发明实施例的目的在于提供一种三维人脸动画模型自动构造方法，旨在解决由于现有的三维人脸动画的构造需要手工进行特征点及运动控制区域内顶点的标定、建模和计算参数的调整，导致工作量巨大，生成的人脸动画效果不佳，三维人脸动画模型的可移植性较差的问题。

本发明实施例是这样实现的，一种三维人脸动画模型自动构造方法，所述方法包括下述步骤：

根据预设的三维人脸模型的种子点以及所述种子点的搜索区域，通过邻域生长及特征判别算法搜索出所述搜索区域内的几何特征候选点和纹理特征候选点；

对所述几何特征候选点进行聚类分析，识别出所述三维人脸模型的几何特征点；

对所述纹理特征候选点进行聚类分析和端点检测，识别出所述三维人脸模型的纹理特征点；

根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，确定三维人脸动画模型。

本发明实施例的另一目的在于提供一种三维人脸动画模型自动构造系统，所述系统包括：

候选点搜索判别单元，用于根据预设的三维人脸模型的种子点以及所述种子点的搜索区域，通过邻域生长及特征判别算法搜索出所述搜索区域内的几何特征候选点和纹理特征候选点；

几何特征点识别单元，用于对所述几何特征候选点进行聚类分析，识别出所述三维人脸模型的几何特征点；

纹理特征点识别单元，用于对所述纹理特征候选点进行聚类分析和端点检测，识别出所述三维人脸模型的纹理特征点；以及

模型确定单元，用于根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，确定三维人脸动画模型。

本发明实施例从预设的三维人脸模型的种子点出发，通过邻域生长及特征判别算法搜索出其搜索区域内的几何特征候选点和纹理特征候选点，对几何特征候选点和纹理特征候选点分别进行聚类分析识别出三维人脸模型的几何特征点和纹理特征点，从而根据几何特征点和纹理特征点自动生成三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，最后确定三维人脸动画模型，并实现了旋转运动模型控制区域内顶点的自动标定，提高了三维人脸动画模型的可移植性和三维人脸动画效果。

附图说明

图1是本发明第一实施例提供的三维人脸动画模型自动构造方法的实现流程图；

图2是本发明第二实施例提供的三维人脸动画模型的几何特征候选点的判别方法的实现流程图；

图3是本发明第三实施例提供的三维人脸动画模型的纹理特征候选点的判别方法的实现流程图；

图4a和图4b是本发明第四实施例提供的根据识别出的特征点自动生成的Waters肌肉模型的实例图；

图5是本发明第五实施例提供的对旋转运动模型控制区域内的顶点进行自动标注的实例图；

图6a、图6b是本发明第六实施例提供的Waters肌肉模型的原理图；

图6c是本发明第六实施例提供的三维人脸动画效果图；

图7是本发明第七实施例提供的三维人脸动画模型自动构造系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例从预设的三维人脸模型的种子点出发，通过邻域生长及特征判别算法搜索出其搜索区域内的几何特征候选点和纹理特征候选点，对几何特征候选点和纹理特征候选点分别进行聚类分析识别出三维人脸模型的几何特征点和纹理特征点，从而根据几何特征点和纹理特征点自动生成三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，最后确定三维人脸动画模型，并实现了旋转运动模型控制区域内顶点的自动标定，提高了三维人脸动画模型的可移植性和三维人脸动画效果。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明第一实施例提供的三维人脸动画模型自动构造方法的实现流程，详述如下：

在步骤S101中，根据预设的三维人脸模型的种子点以及该种子点的搜索区域，通过邻域生长及特征判别算法搜索出搜索区域内的几何特征候选点和纹理特征候选点。

在本发明实施例中，为了标识出三维人脸模型各个部分的种子点，首先设置一个初始种子，根据三庭五眼的人脸先验知识，从该初始种子点出发，搜索三维人脸模型各个部分的种子点，并确定各个种子点所搜索的范围，即搜索区域。

具体地，在本发明实施例中，以右手空间坐标系为例，Z值最大的顶点作为鼻心，由X方向的最大值和最小值计算出面颊间的宽度h_x，由Y方向的最大值和最小值计算出头顶和下巴间的高度h_y，由Z方向的最大值和最小值计算出头部的最大深度h_z。首先将鼻心设置为初始种子点，其搜索区域的半径定为h_y/3。根据“三庭五眼”的人脸先验知识可以确定相关的比例关系，由鼻心出发分别沿X的正、负方向h_x/3处找到的顶点分别作为左、右脸颊的种子点，对应搜索区域的半径设置为h_x/4；由鼻心出发沿Y方向h_y/3、(2*h_y)/5处搜索到的顶点作为眉心和额头的种子点，眉心种子点的搜索区域的半径设置为h_x/6，额头种子点的搜索区域的半径设置为(4*h_x)/5。

在完成种子点的搜索和各个种子点对应的搜索区域的设置后，通过邻域生长及特征判别算法搜索出搜索区域内的几何特征候选点和纹理特征候选点，具体搜索和判别方式在后续实施例具体进行描述，在此不用以限制本发明。

在步骤S102中，对步骤S101中判别出的几何特征候选点进行聚类分析，识别出三维人脸模型的几何特征点。

在本发明实施例中，通过步骤S101可以获得三维人脸模型各个部分的几何特征候选点，三维人脸模型各个部分的几何特征候选点一般有多个，因此需要对各个部分的几何特征候选点进行聚类分析，得到三维人脸模型各个部分的几何特征点，在具体实施过程中，可以采用层次聚类法、合并法或K均值聚类法，在此不用以限制本发明。

在步骤S103中，对步骤S101中判别出的纹理特征候选点进行聚类分析和端点检测，识别出三维人脸模型的纹理特征点。

在本发明实施例中，通过步骤S101可以获得三维人脸模型纹理特征候选点，三维人脸模型纹理特征候选点一般有多个，因此需要对纹理特征候选点进行聚类分析，得到三维人脸模型的纹理特征点，在具体实施过程中，可以采用层次聚类法、合并法或K均值聚类法，在此不用以限制本发明。当完成纹理特征候选点的判别后，还要对满足预设纹理特征的区域中的纹理特征候选点进行端点检测，识别出预设纹理特征的区域的两端端点，也作为纹理特征点。

在步骤S104中，根据几何特征点和纹理特征点自动生成三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，确定三维人脸动画模型。

在本发明实施例中，将步骤S102和S103获得几何特征点和纹理特征点作为三维人脸模型的Waters肌肉模型和旋转运动控制模型的特征点，自动生成其拓扑结构和计算参数，从而确定三维人脸动画模型。具体地，将所述识别出的几何特征点和纹理特征点与Waters线性肌肉相关联，将其设置为对应的肌肉向量的起点和终点，以及圆锥形运动控制范围的限制点，建立起Waters线性肌肉模型的拓扑结构，在具体实施过程中，根据识别出的嘴角、鼻翼和耳根部特征点，可以建立控制面颊部运动的线性肌肉模型拓扑结构，并确定模型的计算参数。例如，通过公式||M₀M_start||＝c₁||M₀M_skin||获取Waters线性肌肉模型中肌肉向量的运动控制范围的起始点M_start，通过公式||M₀M_end||＝c₂||M₀M_skin||获取Waters线性肌肉模型中肌肉向量的运动控制范围的末尾点M_end，Waters线性肌肉模型中肌肉向量的圆锥形运动控制范围的圆锥夹角为空间直线M₀M_end与M₀M_r的夹角，其中线性肌肉向量的起点为特征点M₀，终点为特征点M_skin，c₁为预设的小于1的参数，c₂为预设的大于1的参数，特征点M_r为圆锥形运动控制范围的限制点。同样的方法，可以建立起控制脸部其它运动的线性肌肉模型拓扑结构。

对于控制嘴部运动的括约肌模型，根据识别出来的一对嘴角特征点M_left和M_right以及嘴唇中心上端点M_up，获得括约肌受力中心C为(M_left+M_right)/2，括约肌的长轴参数为

短轴参数为l_y＝||CM_up||。同样的方法，根据识别出的成对眼角特征点以及眼球中心上端点可以计算出眼部括约肌的受力中心点坐标以及长轴、短轴的参数，于是确定出眼部括约肌模型的结构和计算参数。

具体地，根据识别出的几何特征点和纹理特征点可以自动建立下述Waters肌肉模型：

以耳根部特征点作为肌肉向量的起点，嘴角特征点作为肌肉向量的终点，鼻翼特征点作为圆锥形控制区域限制点，自动建立颧大肌模型；

以眉毛中点作为肌肉向量的终点，以眉毛中点垂直眉毛方向作为肌肉向量方向，眉毛两端端点作为圆锥形控制区域限制点，自动建立额眉肌模型；

以眉毛内端点作为肌肉向量的终点，以眉毛内端点与眼角内端点方向作为肌肉向量方向，眉毛中点作为圆锥形控制区域限制点，自动建立内额眉肌模型；

以眉毛外端点作为肌肉向量的终点，以眉毛外端点与眼角外端点方向作为肌肉向量方向，眉毛中点作为圆锥形控制区域限制点，自动建立外额眉肌模型；

以眼内角特征点作为肌肉向量的起点，鼻翼特征点与鼻心的中点作为肌肉向量的终点，鼻翼特征点作为圆锥形控制区域限制点，自动建立鼻内侧肌模型；

以鼻梁中点作为肌肉向量的起点，眉毛内端点作为肌肉向量的终点，同侧眼角内端点特征点作为圆锥形控制区域限制点，自动建立皱眉肌模型；

以下巴中心下端点作为肌肉向量的起点，唇中心下端点作为肌肉向量的终点，嘴角特征点作为圆锥形控制区域限制点，自动建立颏肌模型；

以下颌点作为肌肉向量的起点，嘴角特征点作为肌肉向量的终点，下巴中心下端点作为圆锥形控制区域限制点，自动建立颊肌模型；

以左嘴角特征点、右嘴角特征点、唇中心上端点，自动建立口轮匝肌模型

以左右眼角特征点、眼球中心上端点，自动建立眼眶肌模型。

为了获得更加细腻的人脸动画效果，可以为运动控制范围大的Waters线性肌肉模型建立辅助肌肉模型，确定辅助肌肉模型的拓扑结构和计算参数。例如，首先，将Waters线性肌肉模型中肌肉向量划分成预设数量的分段，得到相应的分割点，计算每个分割点与Waters线性肌肉模型作用区域中所有顶点的连线的长度，将其中最短的连线所对应的顶点作为该分割点对应的辅助肌肉向量的终点。

再次，将Waters线性肌肉模型中的肌肉向量的起点设置为每条辅助肌肉向量的起点，第i条辅助肌肉向量的控制深度为||M₀M_iend||＝c_i||M₀M_iskin||，其中c_i是预设的大于1的参数，M₀为第i条辅助肌肉向量的起点，M_iend为第i条辅助肌肉的作用末端点，M_iend在M₀M_iskin向量的延长线上。

然后，根据辅助肌肉向量和Waters线性肌肉模型中肌肉向量的长度比例关系，确定第i条辅助肌肉向量的圆锥夹角：

${\mathrm{\θ}}_i=w_i\·\frac{\left|\right|M_0{M}_{\mathrm{iskin}}\left|\right|}{\left|\right|M_0{M}_{\mathrm{skin}}\left|\right|}\·{\mathrm{\θ}}_0,(i=1,..N-1)---\left(1\right)$

其中，θ₀为Waters线性肌肉模型中肌肉向量的圆锥夹角，N为预设的分段数量，w_i是预设的参数，M₀为Waters线性肌肉模型中肌肉向量的起点，M_skin为Waters线性肌肉模型中肌肉向量的终点，M_iskin为第i条辅助肌肉向量的终点。

实施例二：

在本发明实施例中，三维人脸模型的种子点所在搜索区域的几何特征候选点的搜索通过邻域生长及特征判别算法来实现。图2示出了本发明第二实施例提供的三维人脸动画模型的几何特征候选点的判别方法的实现流程，详述如下：

在步骤S201中，将种子点设置为当前搜索点，清空预先建立的备选搜索队列。

在本发明实施例中，首先将预设的种子点设置为当前搜索点，在预设的搜索区域内进行几何特征候选点的搜索，同时建立一个备选搜索队列，存储本轮搜索到的相邻顶点，依次作为下轮搜索的当前搜索点。

在步骤S202中，逐一搜索与当前搜索点相邻的顶点，将搜索到的顶点中未超出搜索区域、未经判别以及尚未入队的顶点加入备选搜索队列。

在本发明实施例中，逐一搜索与当前搜索点相邻的顶点，当搜索到顶点位于预先设置的搜索区域内，也没有进行过几何特征候选点判别计算，并且还没有加入到备选搜索队列时，将该顶点加入到备选搜索队列。

在步骤S203中，计算当前搜索点的单位法向量，依次计算与该搜索点相邻的各个顶点的单位法向量，并依次计算该搜索点与其相邻各顶点的单位法向量的差向量。

在本发明实施例中，三维人脸模型由大量的网格顶点组成，相邻顶点的单位法向量的差向量反映了各网格平面之间的变化程度。

在步骤S204中，当差向量中任意差向量的模大于预设的阈值时，计算当前搜索点的高斯曲率。

在本发明实施例中，应预先设置一个阈值，当计算到的差向量中存在一差向量的模大于预设的阈值时，则表明该当前搜索点可能为几何特征候选点，需要进一步计算该当前搜索点的高斯曲率K，当高斯曲率K＞0为椭圆点，K＜0为双曲点，K＝0为平面或抛物点。

在本发明实施例中，高斯曲率的计算通过下述公式进行：

$K_g=\frac{3\·(2\mathrm{\π}-\mathrm{\Σ}{\mathrm{\θ}}_i)}{\mathrm{\Σ}{A}_i}---\left(2\right)$

其中，A_i为当前搜索点依次与其相邻两个顶点所构成三角形的面积，θ_i为当前搜索点依次与其相邻两个顶点所连线段的夹角，在具体实施过程中，还可以通过其他公式获取该顶点的高斯曲率，在此不用以限制本发明。

在步骤S205中，根据当前搜索点高斯曲率的正负符号，确定该搜索点是否为几何特征候选点。

由于人脸的几何特征点附近区域有各自的特征，例如，鼻翼处高斯曲率为正，嘴角、眼角处高斯曲率为负，耳下鄂骨关节处高斯曲率为正，等等。在本发明实施例中，根据当前搜索点和其相邻点的高斯曲率的符号变化情况，确定该搜索点是否为几何特征候选点，还是一个需要排除的点，从而完成几何特征候选点的判别。

在步骤S206中，判断备选搜索队列是否为空，当备选搜索队列为空时，执行步骤S208，否则执行步骤S207。

在本发明实施例中，当备选搜索队列为空时，表明搜索区域内所有的顶点已经被搜索且被判别过，则退出几何特征候选点的识别。

在步骤S207中，从备选搜索队列摘取下一个顶点作为新的当前搜索点。

在本发明实施例中，当备选搜索队列不为空时，表明搜索区域内还有顶点没有进行判别，从备选搜索队列摘取下一个顶点作为新的当前搜索点，进行下一轮的搜索和判别。

在步骤S208中，退出几何特征候选点的识别。

在本发明实施例中，根据预设的三维人脸模型的种子点以及种子点的搜索区域，通过邻域生长及特征判别算法搜索出搜索区域内的几何特征候选点，从而提高了几何特征候选点的搜索效率，以及几何特征候选点的准确率。

实施例三：

由于人脸的眉毛和嘴唇的颜色与其它部分存在明显的纹理区别，在本发明实施例中，通过将三维人脸模型的纹理特征与预设的RGB颜色区间进行比较，从而判别出眉毛和嘴唇部位的纹理特征候选点。

图3示出了本发明第三实施例提供的三维人脸动画模型的纹理特征候选点的判别方法的实现流程，详述如下：

在步骤S301中，将种子点设置为当前搜索点，清空预先建立的备选搜索队列。

在本发明实施例中，将预先设置的种子点设置为搜索纹理特征候选点的当前搜索点，在预设的搜索区域内进行纹理特征候选点的搜索与判别，同时建立一个备选搜索队列，存储本轮搜索到的相邻顶点，依次作为下轮搜索的当前搜索点。由于只有眉毛和嘴唇需要进行纹理特征分析，因此，只需根据眉毛和嘴唇的位置，选择实施例一中步骤S101的鼻心和额头种子点分别启动纹理特征候选点的判别。

在步骤S302中，逐一搜索与当前搜索点相邻的顶点，将搜索到的顶点中未超出搜索区域、未经过判别以及尚未入队的顶点加入到备选搜索队列。

在本发明实施例中，逐一搜索与当前搜索点相邻的顶点，当搜索到的顶点位于预先设置的搜索区域内，也没有进行过纹理特征候选点判别，并且还没有加入到备选搜索队列时，将该顶点加入到备选搜索队列。

在步骤S303中，获取当前搜索点的纹理特征值。

在步骤S304中，判断该搜索点的纹理特征值是否位于预设的RGB颜色区间，是则执行步骤S305，否则执行步骤S306。

在本发明实施例中，人脸的眉毛为黑色，嘴唇为红色，因此，需要设置两个RGB颜色区间，一个RGB颜色区间用于黑颜色纹理特征的识别，另一个用于红颜色纹理特征的识别，分别用于识别眉毛所在区域的纹理特征点和嘴唇区域的纹理特征点。

在步骤S305中，当该搜索点的纹理特征值位于预设的RGB颜色区间时，将该搜索点设置为纹理特征候选点。

在步骤S306中，判断备选搜索队列是否为空，当备选搜索队列为空时，执行步骤S308，否则执行步骤S307。

在本发明实施例中，当备选搜索队列为空时，表明搜索区域内所有的顶点已经被搜索且被判别过，则退出纹理特征候选点的识别。

在步骤S307中，从备选搜索队列中摘取下一个顶点作为新的当前搜索点。

在本发明实施例中，当备选搜索队列不为空时，表明搜索区域内还有顶点没有进行判别，从备选搜索队列摘取下一个顶点作为新的当前搜索点，进行下一轮的搜索和判别。

在步骤S308中，退出该搜索区域纹理特征候选点的判别。

在本发明实施例中，通过对当前搜索点进行纹理特征分析，若当前搜索点的纹理特征值位于预设的RGB颜色区间时，将该当前搜索点设为纹理特征候选点，之后在预设的搜索区域内继续对其它顶点进行纹理特征分析，从而识别出搜索区域内所有的纹理特征点候选点。

实施例四：

Waters肌肉模型对三维人脸网格进行近似的肌肉控制。该模型使用两类抽象肌肉：(1)用于拉伸的线性肌肉(线性肌)；(2)用于挤压的括约肌肉(括约肌)。在本发明实施例中，将识别出的三维人脸模型的几何特征点和纹理特征点用于自动生成三维人脸模型的Waters肌肉模型。

图4a和图4b示出了根据识别出的特征点自动生成的Waters肌肉模型。其中图4a示出了生成的脸颊部位的线性肌肉模型，图4b示出了本发明实施例自动生成的三维人脸的所有肌肉模型，总共建立了30个肌肉模型，其中眉毛及眉头区域有11条线性肌，眼睛及嘴使用了3条括约肌，嘴部区域还有6条线性肌，鼻翼区域有2条线性肌，左右脸颊区域有8条线性肌。

实施例五：

在本发明实施例中，根据几何特征点和纹理特征点自动生成三维人脸模型的旋转运动控制模型的拓扑结构和计算参数，并对旋转运动控制区域内的顶点进行自动标注，并赋予运动权重，免除了手工建模和标注的巨大工作量，也使得三维人脸的动画效果更加细腻。

在具体实施过程中，旋转运动控制模型分为下颌、眼睑及睫毛、眼球的旋转控制等，在识别出的眼角、和耳根下颌部特征点后，可以建立旋转运动控制模型的拓扑结构，确定模型的计算参数和控制区域，并把控制区域内的顶点检选标注出来，并赋予运动权重。顶点检选采用邻域生长及几何空间判别方法，将运动控制区域中心附近的一点设置搜索起点，开始邻域生长搜索，位置在运动控制区域内的顶点都检选出来并予以标注。权重的赋值方法是：运动控制区域中心位置的顶点权重最大，设为1，偏离向两个旋转控制端点的顶点的权重线性减少，端点处权重为0。

具体地，例如，下颌的旋转模型的确定可以根据左右耳根下颌部特征点M_l和M_r，建立下颌的旋转运动控制模型，如图5所示。模型的控制区域按照以下方式进行确定：M_l和M_r分别到各自对应嘴角特征点作连线，并通过M_lM_r轴及嘴角特征点确定的面与脸部表面相交，交线以下区域，以及两个嘴角特征点连线以下的区域。在这个几何空间内，采用邻域生长的方法对当前搜索点的坐标进行判别，自动检选标注出旋转运动控制区域内所有的顶点，并为所标注的每一个顶点赋予权重。假设旋转运动控制区域内顶点F_i，其相近的控制端点是M_l，嘴唇中心位置的顶点是M_c，则权重w_i＝||M_lF_i||/||M_lM_c||，0≤w≤1。

对于每对眼角特征点E_l、E′_l和E_r、E′_r，可以分别建立左右眼睑的旋转模型，眼睑分别绕E_lE′_l和E_rE′_r旋转。E_lE′_l和E_rE′_r线段以上，眉毛以下区域是模型的运动控制区域，按照下颌旋转运动控制模型的检选方法自动检选标注出运动控制区域内所有的顶点，并为所标注的每一个顶点赋予权重。眼球的运动模型有两种，即绕球心水平转动和垂直转动。球心由E_lE′_l和E_rE′_r的中点近似确定，在右手空间坐标系下，过球心且平行于Y轴的直线是眼球水平转动的轴线，过球心且平行于X轴的直线是眼球垂直转动的轴线。

实施例六：

在本发明实施例中，三维人脸的几何特征点和纹理特征点被识别出来后，自动生成三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，并对旋转运动控制区域内的顶点进行了自动标注及赋予运动权重，之后就可以根据人脸不同部位的运动机制分别计算出各动画模型控制区域内每个顶点的位移，从而得到人脸动画效果。在本发明实施例中涉及到的动画模型主要有：线性肌、括约肌和旋转运动控制模型。

(1)Waters线性肌动画模型

Waters线性肌的动画模型的工作原理如图6a所示，基于Waters线性肌驱动的人脸动画表情模拟，计算参数包括线性肌的起始点、线性肌与皮肤的交点、皮肤弹性系数K(0～1)、运动控制区域的圆锥夹角、运动控制区域起始点以及终止点。对于网格区域V_lP_rP_s内任意一点p(x，y)，移动后的位置在p′(x′，y′)处，则其坐标是：

$\left\{\begin{array}{c}{x}^{\′}\∝f(K,A,R,x)\\ y^{\′}\∝f(K,A,R,y)\end{array}\right.---\left(3\right)$

其中，K为肌肉弹性系数，Ω是影响区域，D是向量V₁P的模长，A为角度衰减因子，R为距离衰减因子，且

A＝cos(μ/π·π/2)           (4)

其中，μ是V₁P，V₁V₂之间的夹角，

(2)Waters括约肌动画模型

Waters括约肌动画模型工作原理如图6b所示，其中点C是括约肌受力中心，l_y，l_x分别是括约肌的短轴和长轴。p点是受影响的点，l_z＝l_y，括约肌控制范围内网格上的p任意点位移后的坐标是：

$\left\{\begin{array}{c}{p}_{\mathrm{xy}}^{\′}=p_{\mathrm{xy}}+d*K*(p_{\mathrm{xy}}-C)\\ p_z^{\′}=p_z+\frac{K(1-f*g)}{E}\end{array}\right.---\left(6\right)$

其中：

$f=1-\frac{\sqrt{l_y^2*p_x^2+l_x^2*p_y^2}}{l_x*l_y}---\left(8\right)$

$g=\frac{|p_{\mathrm{xy}}-C|}{l_x}---\left(9\right)$

(3)旋转运动控制动画模型

在本发明实施例中，人脸动画控制还包括下颌、眼睑、眼球、人头等部分的旋转控制，这些运动控制区域内的顶点被检选标记出来后，通过与各自区域确定的旋转矩阵相乘，从而可以得到旋转后的新位置的坐标。

根据人脸的运动规则，下颌、眼睑部位的控制是绕左右两个特征点P_l和P_r决定的直线来旋转的，因此，可以推导出绕两点决定的直线旋转的计算公式，旋转矩阵为：

$R_A\left(\mathrm{\θ}\right)=\left[\begin{array}{c}\cos \mathrm{\θ}+A_x^2(1-\cos \mathrm{\θ}),A_x{A}_y(1-\cos \mathrm{\θ})-A_z\sin \mathrm{\θ},A_x{A}_z(1-\cos \mathrm{\θ})+A_y\sin \mathrm{\θ}\\ A_x{A}_y(1-\cos \mathrm{\θ})+A_z\sin \mathrm{\θ},\cos \mathrm{\θ}+A_y^2(1-\cos \mathrm{\θ}),A_y{A}_z(1-\cos \mathrm{\θ})-A_x\sin \mathrm{\θ}\\ A_x{A}_z(1-\cos \mathrm{\θ})-A_y\sin \mathrm{\θ},A_y{A}_z(1-\cos \mathrm{\θ})+A_x\sin \mathrm{\θ},\cos \mathrm{\θ}+A_z^2(1-\cos \mathrm{\θ})\end{array}\right]---\left(10\right)$

其中，

是直线P_lP_r的单位向量。

其它部位(例如，眼球、头部)的旋转，可以简化成经过固定特征点(X_t，Y_t，Z_t)，且平行于坐标轴的旋转，计算方法可以分为三种：

旋转运动控制区域中的顶点(X，Y，Z)绕平行于X轴旋转θ角度后的新坐标(X′，Y′，Z′)为：

$\left\{\begin{array}{c}{X}^{\′}=X\\ Y^{\′}=Y_t+\left({Y-Y}_t\right)\cos \mathrm{\θ}-(Z-Z_t)\sin \mathrm{\θ}\\ Z^{\′}=Z_t+(Y-Y_t)\sin \mathrm{\θ}+(Z-Z_t)\cos \mathrm{\θ}\end{array}\right.---\left(11\right)$

旋转运动控制区域中的顶点(X，Y，Z)绕平行于Y轴旋转θ角度后的新坐标为：

$\left\{\begin{array}{c}{X}^{\′}=X_t+(X-X_t)\cos \mathrm{\θ}+(Z-Z_t)\sin \mathrm{\θ}\\ Y^{\′}=Y\\ Z^{\′}=Z_t-(X-X_t)\sin \mathrm{\θ}+(Z-Z_t)\cos \mathrm{\θ}\end{array}\right.---\left(12\right)$

旋转运动控制区域中的顶点(X，Y，Z)绕平行于Z轴旋转θ角度后的新坐标为：

$\left\{\begin{array}{c}{X}^{\′}=X_t+(X-X_t)\cos \mathrm{\θ}-(Y-Y_t)\sin \mathrm{\θ}\\ Y^{\′}=Y_t+(X-X_t)\sin \mathrm{\θ}+(Y-Y_t)\cos \mathrm{\θ}\\ Z^{\′}=Z\end{array}\right.---\left(13\right)$

根据上述各类模型的位移公式可以计算出各动画模型运动控制区域内各顶点运动后的新坐标，从而实现各种基本的表情与口型动画，通过本发明实施例实时合成的三维人脸的典型表情与口型的动画效果如图6c所示。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

实施例七：

图7示出了本发明第七实施例提供的三维人脸动画模型自动构造系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分。其中：

候选点搜索判别单元71根据预设的三维人脸模型的种子点以及种子点的搜索区域，通过邻域生长及特征判别算法搜索出搜索区域内的几何特征候选点和纹理特征候选点；

几何特征点识别单元72对几何特征候选点进行聚类分析，识别出三维人脸模型的几何特征点；

纹理特征点识别单元73对纹理特征候选点进行聚类分析和端点检测，识别出三维人脸模型的纹理特征点；以及

模型确定单元74根据所述几何特征点和纹理特征点自动生成三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，确定三维人脸动画模型。

本发明实施例从预设的三维人脸模型的种子点出发，通过邻域生长及特征判别算法搜索出其搜索区域内的几何特征候选点和纹理特征候选点，对几何特征候选点和纹理特征候选点分别进行聚类分析识别出三维人脸模型的几何特征点和纹理特征点，从而根据几何特征点和纹理特征点自动生成三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，最后确定三维人脸动画模型，并实现了旋转运动模型控制区域内顶点的自动标定，提高了三维人脸动画模型的可移植性和三维人脸动画效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种三维人脸动画模型自动构造方法，其特征在于，所述方法包括下述步骤：

根据预设的三维人脸模型的种子点以及所述种子点的搜索区域，通过邻域生长及特征判别算法搜索出所述搜索区域内的几何特征候选点和纹理特征候选点；

对所述几何特征候选点进行聚类分析，识别出所述三维人脸模型的几何特征点；

对所述纹理特征候选点进行聚类分析和端点检测，识别出所述三维人脸模型的纹理特征点；

根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，确定三维人脸动画模型。

2.如权利要求1所述的方法，其特征在于，所述根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数的步骤之后，所述确定三维人脸动画模型的步骤之前，所述方法还包括：

确定所述Waters线性肌肉模型的辅助肌肉模型的拓扑结构和计算参数。

3.如权利要求2所述的方法，其特征在于，所述确定所述Waters线性肌肉模型的辅助肌肉模型的拓扑结构和计算参数的具体步骤包括下述步骤：

将Waters线性肌肉模型中肌肉向量划分成预设数量的分段，得到相应的分割点，计算每个分割点与所述Waters线性肌肉模型作用区域中所有顶点的连线的长度，将其中最短的连线所对应的顶点作为该分割点对应的辅助肌肉向量的终点；

将所述Waters线性肌肉模型中的肌肉向量的起点设置为每条辅助肌肉向量的起点，第i条辅助肌肉的控制深度为||M₀M_iend||＝c_i||M₀M_iskin||，其中c_i是预设的大于1的参数，M₀为第i条辅助肌肉向量的起点，M_iskin为第i条辅助肌肉向量的终点，M_iend为第i条辅助肌肉的作用末端点，M_iend在M₀M_iskin向量的延长线上；

根据所述辅助肌肉向量和所述Waters线性肌肉模型中肌肉向量的长度比例关系，确定第i条辅助肌肉向量的圆锥夹角：

${\mathrm{\θ}}_i=w_i\·\frac{\left|\right|M_0{M}_{\mathrm{iskin}}\left|\right|}{\left|\right|M_0{M}_{\mathrm{skin}}\left|\right|}\·{\mathrm{\θ}}_0,(i=1,..N-1)$

其中，θ₀为所述Waters线性肌肉模型中肌肉向量的圆锥夹角，N为预设的分段数量，w_i是预设的参数，M₀为所述Waters线性肌肉模型中肌肉向量的起点，M_skin为所述Waters线性肌肉模型中肌肉向量的终点，M_iskin为第i条辅助肌肉向量的终点。

4.如权利要求1所述的方法，其特征在于，所述根据预先确定的三维人脸模型的种子点以及所述种子点的搜索区域，通过邻域生长及特征判别算法搜索出所述搜索区域内的几何特征候选点的步骤具体包括下述步骤：

(1)将所述种子点设置为当前搜索点；

(2)计算当前搜索点的单位法向量，依次计算与当前搜索点相邻的各个顶点的单位法向量，并依次计算当前搜索点与其相邻各顶点的单位法向量的差向量；

(3)当所述差向量中任意差向量的模大于预设的阈值时，计算当前搜索点的高斯曲率：

$K_g=\frac{3\·(2\mathrm{\π}-\mathrm{\Σ}{\mathrm{\θ}}_i)}{\mathrm{\Σ}{A}_i}$

其中，A_i为当前搜索点依次与其相邻两个顶点所构成三角形的面积，θ_i为当前搜索点依次与其相邻两个顶点所连线段的夹角；

(4)根据当前搜索点高斯曲率的正负符号，确定当前搜索点是否为几何特征候选点；

(5)依次将与当前搜索点相邻的各个顶点作为新的当前搜索点，向外搜索与新的当前搜索点相邻的顶点，重复(2)至(4)的步骤，已经判别过的顶点不再处理，直到搜索区域内所有顶点都被搜索及判别为止，获得所述搜索区域内的几何特征候选点集合。

5.如权利要求1所述的方法，其特征在于，所述根据预先确定的三维人脸模型的种子点以及所述种子点的搜索区域，通过邻域生长及特征判别算法搜索出所述三维人脸模型的纹理特征候选点的步骤具体包括下述步骤：

(1)将所述种子点设置为当前搜索点；

(2)获取当前搜索点的纹理特征值，当所述纹理特征值位于预设的RGB颜色区间时，将当前搜索点确定为纹理特征候选点；

(3)依次将与当前搜索点相邻的各个顶点作为新的当前搜索点，向外搜索与新的当前搜索点相邻的顶点，重复所述步骤(2)，已经判别过的顶点不再处理，直到搜索区域内所有顶点都被搜索及判别为止，获得所述搜索区域内的纹理特征候选点集合。

6.如权利要求1所述的方法，其特征在于，所述根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的Waters肌肉模型的拓扑结构和计算参数的步骤具体包括下述步骤：

将所述识别出的几何特征点和纹理特征点与Waters线性肌肉模型相关联，将其设置为对应的肌肉向量的起点和终点，以及圆锥形运动控制范围的限制点，建立Waters线性肌肉模型的拓扑结构；

所述自动建立Waters线性肌肉模型的计算参数的步骤具体包括下述步骤：

通过公式||M₀M_start||＝c₁||M₀M_skin||获取Waters线性肌肉模型中肌肉向量的运动控制范围的起始点M_start，通过公式||M₀M_end||＝c₂||M₀M_skin||获取Waters线性肌肉模型中肌肉向量的运动控制范围的末尾点M_end，Waters线性肌肉模型中肌肉向量的圆锥形运动控制范围的圆锥夹角为空间直线M₀M_end与M₀M_r的夹角，其中线性肌肉向量的起点为特征点M₀，终点为特征点M_skin，c₁为预设的小于1的参数，c₂为预设的大于1的参数，特征点M_r为圆锥形运动控制范围的限制点；

将所述识别出的几何特征点和纹理特征点与Waters括约肌模型相关联，作为括约肌的短轴和长轴的端点，建立Waters括约肌模型的拓扑结构，控制眼睛和嘴部的运动；

所述自动建立Waters括约肌模型的计算参数的步骤具体包括下述步骤：

根据识别出来的一对嘴角的特征点M_left和M_right以及嘴唇中心的上端点M_up，获得嘴部括约肌的受力中心点C＝(M_left+M_right)/2、嘴部括约肌的长轴参数

和嘴部括约肌的短轴参数l_y＝||CM_up||；

以此类推，根据识别出的眼角特征点和眼球中心的上端点确定眼部括约肌模型的拓扑结构和计算参数。

7.如权利要求1所述的方法，其特征在于，所述根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的旋转运动控制模型的拓扑结构和计算参数的步骤具体包括下述步骤：

根据人脸的运动规律，获取三维人脸模型的旋转运动控制模型中绕两个特征点P_l和P_r决定的直线旋转的旋转矩阵：

$R_A\left(\mathrm{\θ}\right)=\left[\begin{array}{c}\cos \mathrm{\θ}+A_x^2(1-\cos \mathrm{\θ}),A_x{A}_y(1-\cos \mathrm{\θ})-A_z\sin \mathrm{\θ},A_x{A}_z(1-\cos \mathrm{\θ})+A_y\sin \mathrm{\θ}\\ A_x{A}_y(1-\cos \mathrm{\θ})+A_z\sin \mathrm{\θ},\cos \mathrm{\θ}+A_y^2(1-\cos \mathrm{\θ}),A_y{A}_z(1-\cos \mathrm{\θ})-A_x\sin \mathrm{\θ}\\ A_x{A}_z(1-\cos \mathrm{\θ})-A_y\sin \mathrm{\θ},A_y{A}_z(1-\cos \mathrm{\θ})+A_x\sin \mathrm{\θ},\cos \mathrm{\θ}+A_z^2(1-\cos \mathrm{\θ})\end{array}\right]$

其中，P_l和P_r为识别出的三维人脸模型的两个特征点，θ为旋转角度，A_x、A_y和A_z为直线段P_lP_r的单位向量沿X、Y和Z轴的分量，即

根据所述旋转矩阵，将三维人脸模型的眼球和头部整体的旋转运动简化成经过固定特征点(X_t，Y_t，Z_t)，且平行于坐标轴的旋转，采用下述公式计算该部位旋转运动后的新坐标：

若旋转运动控制区域中的顶点(X，Y，Z)绕平行于X轴旋转θ角度，新坐标(X′，Y′，Z′)为：

$\left\{\begin{array}{c}{X}^{\′}=X\\ Y^{\′}=Y_t+\left({Y-Y}_t\right)\cos \mathrm{\θ}-(Z-Z_t)\sin \mathrm{\θ}\\ Z^{\′}=Z_t+(Y-Y_t)\sin \mathrm{\θ}+(Z-Z_t)\cos \mathrm{\θ}\end{array}\right.$

若旋转运动控制区域中的顶点(X，Y，Z)绕平行于Y轴旋转θ角度，新坐标(X′，Y′，Z′)为：

$\left\{\begin{array}{c}{X}^{\′}=X_t+(X-X_t)\cos \mathrm{\θ}+(Z-Z_t)\sin \mathrm{\θ}\\ Y^{\′}=Y\\ Z^{\′}=Z_t-(X-X_t)\sin \mathrm{\θ}+(Z-Z_t)\cos \mathrm{\θ}\end{array}\right.$

若旋转运动控制区域中的顶点(X，Y，Z)绕平行于Z轴旋转θ角度，新坐标(X′，Y′，Z′)为：

$\left\{\begin{array}{c}{X}^{\′}=X_t+(X-X_t)\cos \mathrm{\θ}-(Y-Y_t)\sin \mathrm{\θ}\\ Y^{\′}=Y_t+(X-X_t)\sin \mathrm{\θ}+(Y-Y_t)\cos \mathrm{\θ}\\ Z^{\′}=Z\end{array}\right.$

8.如权利要求7所述的方法，其特征在于，所述方法还包括下述步骤：

根据建立的旋转运动控制模型，对位于其运动控制区域内的顶点进行自动检选和标注，并赋予运动权重。

9.一种三维人脸动画模型自动构造系统，其特征在于，所述系统包括：

候选点搜索判别单元，用于根据预设的三维人脸模型的种子点以及所述种子点的搜索区域，通过邻域生长及特征判别算法搜索出所述搜索区域内的几何特征候选点和纹理特征候选点；

几何特征点识别单元，用于对所述几何特征候选点进行聚类分析，识别出所述三维人脸模型的几何特征点；

纹理特征点识别单元，用于对所述纹理特征候选点进行聚类分析和端点检测，识别出所述三维人脸模型的纹理特征点；以及

模型确定单元，用于根据所述几何特征点和纹理特征点自动生成所述三维人脸模型的Waters肌肉模型和旋转运动控制模型的拓扑结构和计算参数，确定三维人脸动画模型。

Images