CN103903294B - 三维虚拟人嘴部运动的实现方法 - Google Patents

Abstract

本发明公开了一种三维虚拟人嘴部运动的实现方法，用于解决现有虚拟人嘴部运动控制方法虚拟人嘴部运动粗放的技术问题。技术方案是首先获取三维人脸网格数据模型；其次根据嘴部的运动特性在模型的嘴部区域选择特征点作为运动控制点；最后采用柔性四杆机构模型，把嘴部区域的点看做从动杆上的一点，取曲柄的旋转角速度为控制参数，根据机架、曲柄、连杆、摇杆之间的位置关系和曲柄的初始安装位置，以及曲柄旋转角速度等输入参数，得到嘴部区域点的转动角度从而驱动嘴部区域网格点的运动，模拟真实的嘴部运动，并通过对顶点缓冲区域顶点的处理消除边界处的过拉伸现象。本发明通过调整柔性空间机构的位置关系，实现了更丰富的嘴部细腻运动。

Description

三维虚拟人嘴部运动的实现方法

技术领域

本发明涉及一种虚拟人嘴部运动的实现方法，特别是涉及一种三维虚拟人嘴部运动的实现方法。

背景技术

三维人脸动画是计算机三维动画技术领域的重要研究内容，具有真实感的三维人脸动画在人机交互、视频会议等方面都有广泛的应用，而嘴部作为人类语言交流的主要器官，在传递信息和情感交流等方面起着不可替代的作用，嘴部运动是否具有真实感对人脸动画好坏有着至关重要的作用，因此对嘴部运动的研究有着重要的意义。

Waters最早用肌肉模型生成了人脸表情动画，通过控制肌肉的收缩实现对嘴部运动的控制，但是由于嘴部肌肉的复杂性，该模型不能实现对嘴部运动的精确控制，在生成嘴部动画时具有较大的局限性。

文献“授权公告号是CN101566828B的中国发明专利”公开了一种虚拟人嘴部运动控制方法，该方法采用摆动导杆机构模型模拟虚拟人嘴部运动。该方法能较好的实现正常情况下嘴部的张合运动，但是由于受到摆动导杆机构模型的限制，运动控制参数数量有限，运动规律单一，无法模拟多种嘴部的张合运动；并且人嘴部的张合也不是简单的刚性运动，该模型不能体现嘴部运动的柔性和非线性特性，无法实现细腻的嘴部运动。

发明内容

为了克服现有虚拟人嘴部运动控制方法虚拟人嘴部运动粗放的不足，本发明提供一种三维虚拟人嘴部运动的实现方法。该方法首先获取三维人脸网格数据模型；其次，根据嘴部的运动特性在模型的嘴部区域选择特征点作为运动控制点；最后采用柔性空间四杆机构模型，把嘴部区域的点看作从动杆上的一点，取曲柄的旋转角速度为控制参数，根据机架、曲柄、连杆、摇杆之间的位置关系和曲柄的初始安装位置，以及曲柄旋转角速度等输入参数，得到嘴部区域点的转动角度从而驱动嘴部区域网格点的运动，模拟真实的嘴部运动，并通过对顶点缓冲区域顶点的处理消除边界处的过拉伸现象。本发明数学模型简单，并且可以通过调整柔性空间机构的位置关系来实现更丰富的嘴部细腻运动，同时采用柔性空间机构模型能更加逼真的模拟嘴部的真实运动情况和非线性变形，具有较高的逼真度。

本发明解决其技术问题所采用的技术方案是：一种三维虚拟人嘴部运动的实现方法，其特点是采用以下步骤：

步骤一、采用Proser7.0导出三维人脸网格模型；在导出的模型中，以人物的鼻尖为基准，建立坐标系XYZ，水平向右方向为X轴正向，垂直向上方向为Y轴正向，Z轴垂直于XOY平面向外，三个轴方向符合右手法则。

步骤二、根据嘴部的运动特性在模型的嘴部区域选择特征点作为运动控制点。在所得到的网格模型上，划分出与嘴部运动相关的区域，便于对嘴部运动控制点的选取。根据嘴部运动的实际情况，将嘴部张合运动看作是下颚围绕颧弓处进行的转动。按照MPEG-4中对嘴部区域特征点的定义，选取颧弓处的特征点FDP2.19和FDP2.20，两嘴角处的特征点FDP8.3和FDP8.4，下嘴唇上边界特征点FDP2.5、FDP2.9、FDP2.3、FDP2.8和FDP2.4及下颌边界处特征点FDP2.1、FDP2.11、FDP2.12、FDP2.13和FDP2.14作为嘴部区域的边界点，用来确定嘴部在XOY平面的区域；通过颧弓处特征点FDP2.19和FDP2.20来确定嘴部区域的侧面范围；选取人脸三维网格模型上落在嘴部区域正面范围内，并且Z值大于颧弓处特征点Z值的全部网格点作为嘴部区域的运动控制点。

步骤三、采用柔性空间四杆机构模型，驱动嘴部区域网格点的运动，模拟真实的嘴部运动。柔性空间四杆机构由曲柄、连杆、摇杆、机架四个构件组成，在曲柄和摇杆上各安装一个短臂柔铰；其中，机架是机构中的固定部分，曲柄是能够作整周回转运动的原动件，它与机架相连接，摇杆作为从动杆，一端也与机架相连接，连杆是曲柄和摇杆各自不与机架相连的一端相互连接构成的杆件，摇杆只能实现往复摆动。曲柄与机架，曲柄与连杆，连杆与摇杆，摇杆与机架分别构成转动副，即组成转动副的能相对整周转动的两个转动副。在机构中能按照给定的已知运动规律独立运动的构件称为原动件，机构中其余杆件称为从动件，当满足机构中最短杆与最长杆的和小于或者等于其余两杆长度的和时，原动件能做整周的回转运动。设定曲柄为原动件，选择摇杆为从动件，则曲柄能够绕机架的固定铰链作整周转动，并将曲柄的连续转动，通过连杆带动摇杆实现往复摆动。根据嘴部张合为下颚骨围绕颧弓进行转动这一特性，把嘴部区域的点看作从动杆上的任意一点，选择曲柄的旋转角速度为控制参数，根据机架、曲柄、连杆、摇杆之间的位置关系和曲柄的初始安装位置，以及输入的曲柄转动角速度参数，计算出嘴部区域任意点在任意时刻的空间位置或者转过的角度，驱动嘴部区域网格点的运动，实现嘴部的张合运动。

柔性空间机构的矢量封闭方程为：

展开后，得

令

得

asinθ₄+bcosθ₄+c=0（7）

求解，并取θ₃为锐角，得到

其中，θ₁=ω₁t，得到

从而得到控制点转过的角度为

将式（1）两边对时间t求导数，得

得到控制点的运动速度ω₃。

步骤四、使用柔性空间机构模型驱动嘴部区域转动时，上颚骨的顶点是静止的，而下颚骨关联的点是运动的，这样在两类顶点的交界处会出现纹理过拉伸现象。通过定义一个由P_a、P_b、P_c三点组成的顶点缓冲区，其中P_a为颧弓处FDP2.19或FDP2.20，P_b为FDP8.3或FDP8.4，P_c为控制点转过的角度α所在的直线与过P_b做的垂线的交点，P_m为线段P_bP_c的中点；在缓冲区中的任一点P与线段P_aP_b夹角为θ；取控制点转过的角度为消去交界处的过拉伸现象，增强对嘴部运动的控制，生成具有真实感的嘴部动画。

本发明的有益效果是：该方法首先获取三维人脸网格数据模型；其次，根据嘴部的运动特性在模型的嘴部区域选择特征点作为运动控制点；最后采用柔性四杆机构模型，把嘴部区域的点看作从动杆上的一点，取曲柄的旋转角速度为控制参数，根据机架、曲柄、连杆、摇杆之间的位置关系和曲柄的初始安装位置，以及曲柄旋转角速度等输入参数，得到嘴部区域点的转动角度从而驱动嘴部区域网格点的运动，模拟真实的嘴部运动，并通过对顶点缓冲区域顶点的处理消除边界处的过拉伸现象。本发明数学模型简单，并且可以通过调整柔性空间机构的位置关系来实现更丰富的嘴部细腻运动，同时采用柔性空间机构模型能更加逼真的模拟嘴部的真实运动情况和非线性变形，具有较高的逼真度。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明三维虚拟人嘴部运动的实现方法的流程图；

图2是本发明方法通过Proser7.0导出的三维人脸网格模型示意图；

图3是本发明方法人脸FDP的示意图；

图4是本发明方法嘴唇FDP的示意图；

图5是本发明方法嘴部区域的示意图；

图6是本发明方法用柔性空间四杆机构的示意图；

图7是本发明方法柔性空间四杆机构的等效伪刚体原理图；

图8是本发明方法顶点缓冲区域示意图。

图中，1-第一短臂柔铰，2-第一刚性杆，3-连杆，4-机架，5-第二短臂柔铰，6-第二刚性杆。

具体实施方式

以下实施例参照图1-8。

本发明三维虚拟人嘴部运动的实现方法具体步骤如下：

首先通过三维激光扫描仪扫描真实人脸得到原始的三维人脸网格模型，或者通过3DS MAX、MAYA等三维建模软件手工建立人脸三维模型，也可以由Proser专业人体建模软件，从其模型库中直接导出所需的人头部模型。本实施中采用Proser7.0专业人体建模软件，直接导出三维人头部模型。

其次依据人嘴部FDP的定义，通过计算机输入设备对原始三维网格模型中嘴部区域进行确定，并选定运动控制点。为了得到更加真实的嘴部运动模拟效果，根据嘴部运动的实际情况，选取颧弓处的特征点FDP2.19和FDP2.20，两嘴角处的特征点FDP8.3和FDP8.4，下嘴唇上边界特征点FDP2.5、FDP2.9、FDP2.3、FDP2.8、FDP2.4及下颌边界处特征点FDP2.1、FDP2.11、FDP2.12、FDP2.13、FDP2.14作为嘴部区域的边界点，用来确定嘴部在XOY平面的区域；通过颧弓处特征点FDP2.19和FDP2.20来确定嘴部区域的侧面范围；选取人脸三维网格模型上落在嘴部区域正面范围内，并且Z值大于颧弓处特征点Z值的全部网格点作为嘴部区域的运动控制点，得到人嘴部的控制区域。

再次，采用柔性空间四杆机构，驱动嘴部区域网格点的运动，模拟真实的嘴部运动。

柔性空间四杆机构由曲柄、连杆、摇杆、机架四个构件组成，为了体现嘴部运动的柔性特性，在曲柄和摇杆上各安装一个短臂柔铰。曲柄与机架，曲柄与连杆，连杆与摇杆，摇杆与机架分别构成转动副。其中曲柄与机架构成周转幅。根据柔性空间四杆机构的运动原理，在机构中能按照给定的已知运动规律独立运动的构件称为原动件，机构中其余杆件称为从动件，当满足机构中最短杆与最长杆的和小于或者等于其余两杆长度的和并且组成周转副的两杆中必须有一杆是最短杆时，原动件能作整周的回转运动。根据实际需要，设定曲柄为原动件，选择摇杆为从动件，那么曲柄能够绕机架的固定铰链作整周转动，并可将曲柄的连续转动，通过连杆的带动转换成摇杆的往复摆动。根据嘴部运动的实际情况，将嘴部任意一点看作是位于摇杆上的某点，根据需要设定曲柄的旋转角速度为控制参数，根据机架、曲柄、连杆、摇杆之间的位置关系和初始安装位置，以及输入的曲柄的旋转角速度参数，可以得到该点在任意时刻的空间位置或转过的角度，从而驱动嘴部区域网格点的运动，实现嘴部的张合运动。

曲柄由第一短臂柔铰1和第一刚性杆2组成，连杆3是刚性杆，摇杆由第二短臂柔铰5和第二刚性杆6组成。A表示曲柄与连杆的连接点，B表示连杆与摇杆的连接点。其中，机架4属于机构中的固定部分；曲柄为机构的原动件；连杆3用来带动摇杆的摆动；摇杆为机构的从动件。曲柄与连杆、连杆与摇杆分别通过连接点A、B相连接。根据柔性空间四杆机构的理论知识，当满足四杆中最短杆长度与最长杆长度和小于等于其余两杆长度和的时候，曲柄能作整周的回转运动，并通过连杆带动摇杆做往复摆动。因此，本实施例的柔性空间四杆机构模型中，取曲柄为最短杆，则曲柄能够作周转运动，连杆和摇杆作摆转运动。本实施例中，取机架长度为L₄，第一短臂柔铰1和第二短臂柔铰5的长度分别为l₁、l₂，第一刚性杆2和第二刚性杆6的长度分别为L₁、L₃，连杆3的长度为L₂。

首先建立相应的复数向量坐标系，以便于对机构进行运动分析。O点为颧弓处点FDP2.19或FDP2.20；OO′表示机架；空间直线OM用来模拟人的上颚；O′A表示原动件（曲柄），能够作整周转动；OB表示摇杆，在连杆AB的带动下做往复的摆动。根据柔性空间机构知识，第一短臂柔铰1和第二短臂柔铰5分别用一个扭转弹簧表示，等效长度为则，OO′长度为L₄；O′A长度为在初始位置时与OO′的夹角为θ₁；AB的长度为L₂，与OO′的夹角为θ₂；OB的长度为与OO′的夹角为θ₄，与实轴的夹角为θ₃。O′A绕O′点以角速度ω₁做圆周运动，然后通过AB的连接，带动OB也做绕O旋转的摆转运动。取嘴部区域的任一控制点P位于摇杆上某固定点处，就可以通过该柔性空间四杆机构模型模拟嘴部网格点的运动轨迹。当摇杆位于OM位置时，嘴部处于闭合状态；当摇杆旋转到OC线上时，嘴部张开到最大。通过数学模型对其进行分析：

柔性空间机构的矢量封闭方程为：

展开后，得

令

可得

asinθ₄+bcosθ₄+c=0（7）

求解，并取θ₃为锐角，可得到

其中，θ₁=ω₁t，得到

从而可得控制点转过的角度为

将式（1）两边对时间t求导数，运用上边的分析方法，可得

从而得到控制点的运动速度ω₃。

最后，消除交界处过拉伸现象。定义一个顶点缓冲区，其中P_a为颧弓处FDP2.19或FDP2.20，P_b为FDP8.3或FDP8.4，P_c为控制点转过的角度α所在的直线与过P_b做的垂线的交点，P_m为线段P_bP_c的中点；在缓冲区中的任一点P与线段P_aP_b夹角为θ；取控制点转过的角度为可以消去交界处的过拉伸现象，增强了对嘴部运动的控制，从而生成具有真实感的嘴部动画。

由以上分析可知，改变角速度ω₁可以得到嘴部区域网格点的角速度ω₃，从而实现对嘴部张合速度的控制；通过柔性空间机构位置设置，可以得到嘴部张合的最大角度α_max。同时，通过预先改变柔性空间四杆机构的结构（即各个杆的长度和曲柄初始角度），可以实现对嘴部运动更加灵活的控制。

本发明实例最终获得的人嘴部运动控制效果与现有技术相比，通过引入柔性空间四杆机构模型，丰富了嘴部张合的运动情况，采用柔性空间机构模型，更加真实的模拟了嘴部的柔性特性和非线性运动，其数学模型简单，控制容易，实现了更加细腻的嘴部张合运动。

Claims (1)

1.一种三维虚拟人嘴部运动的实现方法，其特征在于包括以下步骤：

步骤一、采用Proser7.0导出三维人脸网格模型；在导出的模型中，以人物的鼻尖为基准，建立坐标系XYZ，水平向右方向为X轴正向，垂直向上方向为Y轴正向，Z轴垂直于XOY平面向外，三个轴方向符合右手法则；

步骤二、根据嘴部的运动特性在模型的嘴部区域选择特征点作为运动控制点；在所得到的网格模型上，划分出与嘴部运动相关的区域，便于对嘴部运动控制点的选取；根据嘴部运动的实际情况，将嘴部张合运动看作是下颚围绕颧弓处进行的转动；按照MPEG-4中对嘴部区域特征点的定义，选取颧弓处的特征点FDP2.19和FDP2.20，两嘴角处的特征点FDP8.3和FDP8.4，下嘴唇上边界特征点FDP2.5、FDP2.9、FDP2.3、FDP2.8和FDP2.4及下颌边界处特征点FDP2.1、FDP2.11、FDP2.12、FDP2.13和FDP2.14作为嘴部区域的边界点，用来确定嘴部在XOY平面的区域；通过颧弓处特征点FDP2.19和FDP2.20来确定嘴部区域的侧面范围；选取人脸三维网格模型上落在嘴部区域正面范围内，并且Z值大于颧弓处特征点Z值的全部网格点作为嘴部区域的运动控制点；

步骤三、采用柔性空间四杆机构模型，驱动嘴部区域网格点的运动，模拟真实的嘴部运动；柔性空间四杆机构由曲柄、连杆、摇杆、机架四个构件组成，在曲柄和摇杆上各安装一个短臂柔铰；其中，机架是机构中的固定部分，曲柄是能够作整周回转运动的原动件，它与机架相连接，摇杆作为从动杆，一端也与机架相连接，连杆是曲柄和摇杆各自不与机架相连的一端相互连接构成的杆件，摇杆只能实现往复摆动；曲柄与机架，曲柄与连杆，连杆与摇杆，摇杆与机架分别构成转动副，即组成转动副的能相对整周转动的两个转动副；其中曲柄与机架构成周转幅；在机构中能按照给定的已知运动规律独立运动的构件称为原动件，机构中其余杆件称为从动件，当满足机构中最短杆与最长杆的和小于或者等于其余两杆长度的和并且组成周转副的两杆中必须有一杆是最短杆时，原动件能做整周的回转运动；设定曲柄为原动件，选择摇杆为从动件，则曲柄能够绕机架的固定铰链作整周转动，并将曲柄的连续转动，通过连杆带动摇杆实现往复摆动；根据嘴部张合为下颚骨围绕颧弓进行转动这一特性，把嘴部区域的点看作从动杆上的任意一点，选择曲柄的旋转角速度为控制参数，根据机架、曲柄、连杆、摇杆之间的位置关系和曲柄的初始安装位置，以及输入的曲柄转动角速度参数，计算出嘴部区域任意点在任意时刻的空间位置或者转过的角度，驱动嘴部区域网格点的运动，实现嘴部的张合运动；

柔性空间机构的矢量封闭方程为：

$(L_1+\frac{l_1}{2})e^{{\mathrm{i\θ}}_1}+L_2{e}^{i\mathrm{\θ}2}=(L_3+\frac{l_2}{2})e^{i\mathrm{\θ}4}+L_4---\left(1\right)$

展开后，得

$(L_1+\frac{l_1}{2}){\mathrm{cos\θ}}_1+L_2{\mathrm{cos\θ}}_2=(L_3+\frac{l_2}{2}){\mathrm{cos\θ}}_4+L_4---\left(2\right)$

$(L_1+\frac{l_1}{2}){\mathrm{sin\θ}}_1+L_2{\mathrm{sin\θ}}_2=(L_3+\frac{l_2}{2}){\mathrm{sin\θ}}_4---\left(3\right)$

令

$a=2(L_1+\frac{l_1}{2})(L_3+\frac{l_2}{2}){\mathrm{sin\θ}}_1---\left(4\right)$

$b=2(L_3+\frac{l_2}{2})\[(L_1+\frac{l_1}{2}){\mathrm{cos\θ}}_1-L_4\]---\left(5\right)$

$c=l_2^2-{(L_1+\frac{l_1}{2})}^2-{(L_3+\frac{l_2}{2})}^2-L_4^2+2(L_1+\frac{l_1}{2})L_4{\mathrm{cos\θ}}_1---\left(6\right)$

得

asinθ₄+bcosθ₄+c＝0 (7)

求解，并取θ₃为锐角，得到

${\mathrm{\θ}}_4=2\·arctan\left(\right(a+\sqrt{a^2+b^2-c^2})/(b-c\left)\right)---\left(8\right)$

其中，θ₁＝ω₁t，得到

${\mathrm{\θ}}_3=-\frac{{\mathrm{cos\θ}}_4}{\left|{\mathrm{cos\θ}}_4\right|}({\mathrm{\θ}}_4-\frac{\mathrm{\π}}{2})---\left(9\right)$

从而得到控制点转过的角度为

$\mathrm{\α}=\frac{{\mathrm{\α}}_{max}}{2}+\frac{{\mathrm{cos\θ}}_4}{\left|{\mathrm{cos\θ}}_4\right|}{\mathrm{\θ}}_3---\left(10\right)$

将式(1)两边对时间t求导数，得

${\mathrm{\ω}}_3={\mathrm{\ω}}_1\frac{(L_1+\frac{l_1}{2})sin({\mathrm{\θ}}_1-{\mathrm{\θ}}_2)}{(L_3+\frac{l_2}{2})sin({\mathrm{\θ}}_4-{\mathrm{\θ}}_2)}---\left(11\right)$

得到控制点的运动速度ω₃；公式(1)-(11)中，L₁是第一刚性杆的长度，L₂是连杆的长度，L₃是第二刚性杆的长度，L₄是机架的长度，l₁是第一短臂柔铰的长度，l₂是第二短臂柔铰的长度，θ₁是第一刚性杆和第一短臂柔铰组成的曲柄在初始位置时与机架的夹角，θ₂是连杆与机架的夹角，θ₃是第二刚性杆和第二短臂柔铰组成的摇杆与实轴的夹角，θ₄是第二刚性杆和第二短臂柔铰组成的摇杆与机架的夹角，α_max为嘴部张合的最大角度；

步骤四、使用柔性空间机构模型驱动嘴部区域转动时，上颚骨的顶点是静止的，而下颚骨关联的点是运动的，这样在两类顶点的交界处会出现纹理过拉伸现象；通过定义一个由P_a、P_b、P_c三点组成的顶点缓冲区，其中P_a为颧弓处FDP2.19或FDP2.20，P_b为FDP8.3或FDP8.4，P_c为控制点转过的角度α所在的直线与过P_b做的垂线的交点，P_m为线段P_bP_c的中点；在缓冲区中的任一点P与线段P_aP_b夹角为θ；取控制点转过的角度为消去交界处的过拉伸现象，增强对嘴部运动的控制，生成具有真实感的嘴部动画。