CN101566828A - 一种虚拟人嘴部运动控制方法 - Google Patents

Abstract

本发明公开了一种虚拟人嘴部运动控制方法，获取三维人脸网格模型后，参照MPEG－4中对嘴部区域FDP特征点的定义，选取颧弓处的特征点、两嘴角处的特征点、下嘴唇上边界特征点及下颌边界处特征点作为嘴部功能区边界点，并根据颧弓处特征点坐标最终确定出三维网格模型中的嘴部功能区；采用摆动导杆机构模型驱动嘴部功能区网格点运动，模拟真实的嘴部张合过程，并通过对顶点缓冲区域的顶点的处理消除交界处的过拉伸现象。本发明可以采用同一个数学模型实现连续情况下人嘴部张开与闭合这样相反的运动过程，数学模型简单，物理意义明确，易于控制且仿真效果逼真。

Description

一种虚拟人嘴部运动控制方法

技术领域

本发明涉及虚拟现实领域，尤其涉及一种虚拟人嘴部运动控制方法。

背景技术

人脸表情是人类情感传递的一个重要途径，是人类进行相互交流的基础。三维人脸动画技术起步于70年代，其后，很多研究人员在该领域做了大量的研究工作，以期获得具有真实感的三维人脸动画。真实感人脸动画有广泛的应用领域，可以用来模拟虚拟环境中的虚拟人物，如影视剧中的虚拟人物，还可以应用于电子游戏、视频会议、人机交互等许多领域，而嘴部作为人类语言交流的主要器官，对人类的情感交流起到关键的作用，嘴部动画效果真实与否对整个虚拟人面部感情表达有着重要的影响。因此，对虚拟人嘴部的运动仿真具有重要意义。

Waters在1987年提出了一种基于解剖学的肌肉模型，用于表现质点在肌肉力的作用下产生的位移。然而，该模型在模拟嘴部动画时具有比较大的局限性。在该模型中，轮匝肌被描述为一个具有径向收缩功能的肌肉单元，通过肌肉的收缩产生嘴部表情动画。但在语音动画设计等实际应用中，由于嘴唇运动往往比较复杂，使用上述简单的轮匝肌模型不能达到精确描述说话人口型的目的，从而也不能获得逼真地刻画唇区运动的动画效果。

中国图象图形学报(2008，13(11)：2238-2243)公开了一种用于高真实感口型合成的唇区肌肉模型，该模型在Waters肌肉模型的基础上，提出了一种新的唇区肌肉模型。利用该模型，并通过各肌肉参数的调节和不同肌肉群的组合运动合成了说话时的各种可能口型，并由这些合成的口型，通过帧间插值的方法生成了连续语流条件下的口型动画。虽然建立的模型可以合成普通说话时的各种口型，但所合成口型的幅度对整体自然度的影响还是很大的。当口型幅度系数很大，使嘴唇动作非常夸张时，自然度会有一定的降低。

发明内容

为了克服现有技术在模拟人嘴部张合运动过程中口型幅度受到限制，仿真效果真实感不强的不足，本发明提出了一种新的嘴部张合运动控制方法，能够增强在模拟人嘴部张合过程中对运动速度和程度的控制，提高嘴部动画的真实感。

本发明解决其技术问题所采用的技术方案包括以下步骤：

首先获取三维人脸网格模型，即采集三维人脸网格模型数据，可以是采用三维激光扫描仪扫描真实人头生成人脸的三维网格模型，应用此方法可以同时获得大量的三维数据和纹理信息，或是通过3DS MAX或者MAYA等三维建模软件，由设计人员手工建立人脸三维模型，也可以是通过Poser等专业人体建模软件，从其模型库中直接导出所需的人头模型及相应的纹理信息。模型以人物的鼻尖为基准，建立坐标系XYZ，水平向右方向为X轴正向，垂直向上方向为Y轴正向，Z轴垂直于XOY平面向外，三个轴方向符合右手法则。

然后根据嘴部张合特性划分出嘴部功能区。所划分嘴部功能区，是指在所获取的三维网格模型上，根据嘴部开合运动特征，划分出与张合运动相关的下颌部网格点。通过对人嘴张合动作的特征进行分析，可将嘴部张合看作是下颚围绕颧弓进行的转动动作，因此参照MPEG-4中对嘴部区域FDP特征点的定义，如图1所示，选取颧弓处的特征点(FDP2.19和FDP2.20)，两嘴角处的特征点(FDP8.3和FDP8.4)，下嘴唇上边界特征点(FDP 2.5，FDP 2.9，FDP2.3，FDP2.8，FDP2.4)及下颌边界处特征点(FDP2.1，FDP2.11，FDP 2.12，FDP 2.13，FDP 2.14)作为嘴部功能区边界点，由这些边界点划分出人脸在正面(XOY平面)的嘴部功能区范围。嘴部功能区的侧面范围由颧弓处的特征点(FDP2.19和FDP2.20)确定，人脸三维网格模型上落在功能区正面范围内，并且z值大于颧弓处特征点z值的全部网格点最终确定出了三维网格模型中的嘴部功能区。

采用摆动导杆机构模型驱动嘴部功能区网格点运动，模拟真实的嘴部张合过程。根据人嘴部张合为下颚骨围绕颧弓进行转动这一特性，又由摆动导杆机构的运动原理可知，曲柄能够绕机架的固定铰链做整周转动，并带动导杆在一定的范围内进行往复运动，从而，可以将机构模型引入嘴部张合运动的控制过程，取曲柄的旋转角速度为控制参数，根据机架、曲柄、导杆之间的位置关系，以及输入的曲柄转动角速度参数这些已知信息，计算出嘴部功能区网格点在任意时刻的空间位置或转过的角度，并以此驱动三维网格点运动，从而模拟出嘴部的张合运动。

最后，处理嘴角特征点与颧弓处特征点张嘴时出现的过拉伸现象，更加逼真的模拟嘴部张合。由于使用机构模型驱动下颚骨进行转动，在三维人头模型上属于上颚骨的顶点是静止的，与下颚骨关联的点是运动的，故在这两类顶点的交界处的纹理会被机械的拉大，出现过拉伸现象。通过对顶点缓冲区域的顶点的处理，则可以有效消除交界处的过拉伸现象从而生成具有真实感的三维嘴部动画。

顶点缓冲区域为V_s、V_f、V_β这三个点组成的三角形，其中V_s为FDP2.19(2.20)，V_f为FDP8.3(8.4)，V_β为由机构模型算出的转动角度为β(即与V_sV_f夹角为β)的直线与过V_f做的垂线的交点，V_h为线段V_fV_β的中点。处于顶点缓冲区域的一个任意点P与线段V_sV_f的夹角为δ。令处于顶点缓冲区域的顶点计算其转动角度为β_t＝β×k，其中 $k=\cos \left(\frac{\mathrm{\β}-2\mathrm{\δ}}{\mathrm{\β}}\right).$ 经过此阶段处理，即可生成具有真实感的三维嘴部动画。

本发明的有益效果是：本发明从嘴部张合运动机理出发，建立了基于机构学的运动控制模型，通过该模型驱动三维网格点运动实现嘴部表情动画，改进了传统的肌肉模型控制嘴部运动时只能做径向收缩并且口型张合程度受到限制这一缺点，嘴部功能区网格点在机构模型的控制下可以进行自然的张大，满足大笑等表情动画时对口型的要求。同时，本发明结合机构学原理建立控制张合运动的数学模型，根据摆杆机构的运动特性，导杆可在曲柄的带动下在一定范围内做往复运动，因此可以采用同一个数学模型实现连续情况下人嘴部张开与闭合这样相反的运动过程，数学模型简单，物理意义明确，易于控制且仿真效果逼真。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1(a)为FDP示意图，图1(b)为唇部FDP示意图；

图2是本发明所述的人嘴部张合运动控制操作流程图；

图3是三维人脸网格模型示意图；

图4为嘴部功能区划分示意图；

图5是摆动导杆机构运动原理简图；

图6是顶点缓冲区域示意图。

具体实施方式

本实施例是根据附图2所示的操作流程，并基于附图4所示的嘴部功能区的一个简单实施方案。

首先可以通过三维激光扫描仪扫描真实人脸得到原始的三维人脸网格点模型，或是通过3DS MAX或者MAYA等三维建模软件，由设计人员手工建立人脸三维模型，也可以是通过Poser等专业人体建模软件，从其模型库中直接导出所需的人头部模型，得到附图3。

然后通过计算机输入设备，从三维人头网格模型中划分出嘴部功能区。为了获得更精细的嘴部运动模拟效果，通过对人嘴部闭合运动特征进行分析，并参照MPEG-4标准中对嘴部FDP控制点的定义，选取颧弓处的特征点(FDP2.19和FDP2.20)，两嘴角处的特征点(FDP8.3和FDP8.4)，下嘴唇上边界特征点(FDP 2.5，FDP 2.9，FDP2.3，FDP2.8，FDP2.4)及下颌边界处特征点(FDP2.1，FDP2.11，FDP 2.12，FDP 2.13，FDP 2.14)作为嘴部功能区边界点，由这些边界点划分出人脸在正面(XOY平面)的功能区范围。功能区的侧面范围由颧弓处的特征点(FDP2.19和FDP2.20)确定，人脸三维网格模型上落在正面功能区范围内，并且z坐标值大于颧弓处特征点z坐标值的全部网格点最终确定出了三维网格模型中的嘴部功能区，如附图4所示。

在得到嘴部功能区后，对功能区内的网格点应用机构模型进行运动控制。摆动导杆机构模型运动简图如附图5所示。其中，O点代表颧弓处转动轴(FDP2.19和FDP2.20的连线)在yoz平面的投影；OA位置模拟虚拟人的上颚；BC为曲柄(主动杆)，绕C点转动副以一定的角速度ω做整周转动，长度为l_BC；OB为导杆(从动杆)，通过B点滑动副与曲柄相连，并能够在曲柄的带动下绕O点转动副在一定范围内做往复运动，用于模拟下颌运动，长度为l_OB；设OC的长度为l_OC，β为当前嘴部张开角度，通过对摆动导杆机构的运动原理进行分析可知，当BC与OA垂直时，虚拟人嘴部为闭合状态；当导杆在曲柄的带动下运动到与OA夹角为2α处时，即β＝2α时，嘴部张开至最大，有α_max＝2α。

由正弦定理可知：l_BC＝l_OC×sin(α)。

由于曲柄BC以2π为周期进行转动，考虑一个周期。设初始状态为嘴部闭合，在t时刻转动杆BC转过的角度为θ₂＝ωt；

根据余弦定理可得；

$l_{\mathrm{OB}}=\stackrel{\‾}{\mathrm{OB}}=\sqrt{{l_{\mathrm{OC}}}^2+{l_{\mathrm{BC}}}^2-2\×l_{\mathrm{OC}}\×l_{\mathrm{BC}}\×\cos (\frac{\mathrm{\π}}{2}-\mathrm{\α}+{\mathrm{\θ}}_2)}$

则 ${\mathrm{\θ}}_1=\arccos \left(\frac{{l_{\mathrm{OB}}}^2+{l_{\mathrm{OC}}}^2-{l_{\mathrm{BC}}}^2}{2\×l_{\mathrm{OB}}\×l_{\mathrm{OC}}}\right);$

根据角度关系可得：

$\mathrm{\β}=\mathrm{\α}-\frac{\sin ({\mathrm{\θ}}_2+\frac{\mathrm{\π}}{2}-\mathrm{\α})}{\left|\sin ({\mathrm{\θ}}_2+\frac{\mathrm{\π}}{2}-\mathrm{\α})\right|}\×{\mathrm{\θ}}_1,$ 从而可以根据β值驱动嘴部功能区中的网格点进行旋转运动，模拟嘴部开合过程。

最后，消除纹理的过拉伸现象。首先定义一个顶点缓冲区域如附图6所示，其中V_s为FDP2.19(2.20)，V_f为FDP8.3(8.4)，V_β为由机构模型算出的转动角度为β(即与V_sV_f夹角为β)的直线与过V_f做的垂线的交点，V_h为线段V_fV_β的中点。V_sV_fV_β这三个点组成的三角形即为定义的一个顶点缓冲区域。处于顶点缓冲区域的一个任意点P与线段V_sV_f的夹角为δ。

令处于顶点缓冲区域的顶点计算其转动角度为β_t＝β×k，其中 $k=\cos \left(\frac{\mathrm{\β}-2\mathrm{\δ}}{\mathrm{\β}}\right).$ 经过此阶段处理，即可生成具有真实感的三维嘴部动画。

由上述分析可知，对于连续的嘴部张合运动，通过改变曲柄BC的转动角速度参数ω，及嘴部张开的最大角度α_max，就可以控制嘴部张合运动的速度及口型张开的程度，模拟出不同状态下的虚拟人嘴部张合动画。

本发明实施例最终获得的人嘴部运动控制效果与现有技术相比，通过引入机构学模型有效的改进了现有方法在口型程度控制方面的不足，增强了虚拟人嘴部张合运动的仿真效果，能够逼真的模拟人嘴部张合动作过程，运动控制的数学模型简单，物理意义明确，易于实现，效果逼真。

Claims (1)

1、一种虚拟人嘴部运动控制方法，其特征在于包括以下步骤：

第一步，获取三维人脸网格模型，即采集三维人脸网格模型数据；以人物的鼻尖为基准，建立坐标系XYZ，水平向右方向为X轴正向，垂直向上方向为Y轴正向，Z轴垂直于XOY平面向外，三个轴方向符合右手法则；

第二步，根据嘴部张合特性划分出嘴部功能区，参照MPEG-4中对嘴部区域FDP特征点的定义，选取颧弓处的特征点FDP2.19和FDP2.20，两嘴角处的特征点FDP8.3和FDP8.4，下嘴唇上边界特征点FDP 2.5、FDP 2.9、FDP2.3、FDP2.8、FDP2.4及下颌边界处特征点FDP2.1、FDP2.11、FDP 2.12、FDP 2.13、FDP 2.14作为嘴部功能区边界点，由这些边界点划分出人脸在XOY平面的嘴部功能区范围；嘴部功能区的侧面范围由颧弓处的特征点FDP2.19和FDP2.20确定，人脸三维网格模型上落在功能区正面范围内，并且z值大于颧弓处特征点z值的全部网格点最终确定出了三维网格模型中的嘴部功能区；

第三步，采用摆动导杆机构模型驱动嘴部功能区网格点运动，模拟真实的嘴部张合过程，取曲柄的旋转角速度为控制参数，根据机架、曲柄、导杆之间的位置关系，以及输入的曲柄转动角速度参数这些已知信息，计算出嘴部功能区网格点在任意时刻的空间位置或转过的角度，并以此驱动三维网格点运动；

第四步，通过对顶点缓冲区域的顶点的处理消除交界处的过拉伸现象，顶点缓冲区域为V_s、V_f、V_β这三个点组成的三角形，其中V_s为FDP2.19或FDP2.20，V_f为FDP8.3或FDP 8.4，V_β为由机构模型算出的转动角度为β的直线与过V_f做的垂线的交点，V_h为线段V_fV_β的中点；处于顶点缓冲区域的一个任意点P与线段V_sV_f的夹角为δ；令处于顶点缓冲区域的顶点计算其转动角度为β_t＝β×k，其中

$k=\cos \left(\frac{\mathrm{\β}-2\mathrm{\δ}}{\mathrm{\β}}\right).$

Images