CN101149840A - 一种复杂表情仿真系统及其实现方法 - Google Patents

Abstract

本发明涉及一种复杂表情仿真系统及其实现方法，系统由人脸采集模块、控制对象生成模块、基础表情数据库模块、组合表情数据库模块、表情合成模块和表情生成模块构成，它能够根据人脸拓扑和解剖学结构在三维人脸模型上提取脸部辐射肌、嘴部轮匝肌、眼皮、眼球和下巴等控制对象，根据控制参数控制三维人脸模型上的点进行变换，生成各种基础表情，同时还能够将多个基础表情组合起来生成复杂的仿真表情。本发明大大提高了计算机和机器人的人性化，可以应用于许多研究领域和应用领域。

Description

一种复杂表情仿真系统及其实现方法

技术领域

本发明涉及一种计算机仿真的方法和系统，特别是一种计算机自动生成复杂的仿真人脸表情的方法，以及依照这种方法建立的复杂表情仿真系统。

背景技术

人脸表情是人类非语言信息传递的一个重要途径，也是人类情感交互的一个重要方面。如果计算机能利用软件或硬件系统通过表情表达的方式与人类进行交互，那么就会显得更加的人性化，更符合人们的审美要求。能简单的进行控制，生成各种复杂表情的系统将有着无比的应用前景，它可以用于许多的研究领域以及应用领域，如情感计算、人机交互(包括计算机动画、智能机器人)等研究领域，教育、医疗、娱乐、通信等应用领域。

目前比较成型的人脸表情仿真生成方法有脸部运动编码系统(FACS)以及MPEG-4的脸部定义参数(FDP)和运动参数(FAP)组合。

在1978年，Ekman和Friesen研究了6种基本表情(即高兴、悲伤、惊讶、恐惧、愤怒和厌恶)，系统地建立了含有上千幅不同的人脸表情的图象库，并开发了面部运动编码系统(Facial Action Coding System，FACS)来描述人脸部表情。根据人脸的解剖学特点，他们将人脸划分为大约46个既相互独立又相互联系的运动单元(Action Unit，AU)，并分析了这些运动单元的运动特点、每个单元控制的脸部区域以及相关的表情，同时还给出了大量的照片作为说明。FACS是人脸上所有导致面部运动的运动单元的枚举。

在后来的研究中，由于人自身在多媒体中占据着十分重要的位置，所以在MPEG-4中对三维人脸动画格式定义了一个国际标准。这是一整套人脸模型化描述方法，包括用于定义人脸模型的面部定义参数FDP(facial define parameters)和一组用于定义人脸面部动作的人脸动画参数FAP(facial animation parameter)。FDP共包括了84个特征点的位置信息来定义人脸模型，这些点不仅包括外表看得见的人脸特征点，还包括了舌头、牙齿等口腔内器官的特征点。FDP参数包括特征点坐标、纹理坐标、网格的标度、面部纹理、动画定义表等脸部的特征参数。与静态的FDP参数相对应的是动态的FAP参数，它分为10组，分别描述人面部的68种基本运动和6种基本表情。FAP是一个完整的脸部基本运动的集合，每种FAP描述人脸某一块区域在某个方向上的运动，比如FAP19描述左眼上眼皮的上下运动，把所有FAP结合起来就可以表示人脸复杂的表情。

在仿真表情生成方面，这两种方法都分别有着成熟的应用，但也存在不同的弱点。

FACS的主要弱点是：人的脸部是一个柔软的整体而不是一个刚体，运动单元是局部化的空间模板，而局部化的模板无法组合形成所有的脸部表情，因此在FACS系统中很难表达精细的表情。

而MPEG-4方法的主要弱点是：由于FAP定义来自于计算机动画的应用，定义的是人脸表面的形变，因此比较适合在计算机动画领域生成仿真表情，但难以扩展应用到其他领域，如仿人机器人等。

发明内容

本发明的目的是针对上述问题提供一种计算机自动生成复杂的仿真人脸表情的方法，以及依照这种方法而建立的复杂表情仿真系统，以克服上述几种人脸表情仿真生成方法的不足。

本发明的一个方面是提供一种复杂表情仿真系统，该系统包括一个用于生成人脸三维模型的人脸采集模块，一个与所述人脸采集模块相连接，用于分析人脸三维模型，生成表情对象和控制对象的控制对象生成模块，一个用于存储基础表情参数的基础表情数据库模块，一个用于存储组合表情的组合表情数据库模块，一个与所述基础表情数据库模块和组合表情数据库模块相连接，根据组合表情生成组合表情参数的表情合成模块，和一个与所述控制对象生成模块和表情合成模块相连接，负责根据输入控制参数，控制各控制对象生成人脸复杂仿真表情的表情生成模块。

本发明所述的基础表情数据库模块存储各种基础表情的名称以及控制参数，控制参数是通过对显示基础表情的人脸三维模型的控制参数的记录得到。

本发明所述的组合表情数据库模块存储负责表情的名称以及合成复杂表情的各个基础表情的名称及组合参数。

本发明的另一个方面是提供一种计算机自动生成复杂仿真人脸表情的方法，该方法包括步骤：采集人脸的三维模型；生成相关表情对象；根据人脸拓扑和解剖学结构，生成控制对象和约束条件；控制各个对象的参数对人脸三维模型上点进行变换，生成各种基础的仿真表情；将基础表情的名称及相应控制参数存入基础表情数据库；通过组合基础表情，形成组合表情，存入组合表情数据库；通过应用组合规则，对组合表情中包含的基础表情进行组合计算，形成组合表情的控制参数；根据组合表情的控制参数，控制各个对象的参数对人脸三维模型上点进行变换，生成各种组合出来的复杂仿真表情。

本发明所述的人脸表情对象包括脸部表情对象、嘴部表情对象、眼部表情对象和下巴表情对象。

本发明所述的人脸表情控制对象包括脸部辐射肌、嘴部轮匝肌、眼皮、眼球和下巴。

本发明所述的自动人脸表情仿真系统及其实现方法从人面部生理结构以及表情生成的生理机制的角度出发，采用了基于面向对象的多维空间模型方法对人脸表情进行了建模，通过对模型的控制实现仿真表情。与传统方法相比，本发明的主要优点在于：通过模拟表情的生成过程，对脸部表情用面向对象的方式进行表情控制对象的划分，用表情控制对象的控制属性来完整描述各种自然表情，节省了存储空间，也提高了计算效率；表情控制对象与人脸三维模型通过空间约束条件进行了关联，只需对表情控制对象的属性进行设置，通过应用表情控制对象的控制方法，即可实现仿真表情的生成，简化了对人脸三维模型的操作；通过每个对象的约束条件以及空间约束条件计算出表情参数化模型的整体约束条件，从而使得虚拟人脸模型表面的点可以形成联动的关系，在根据表情参数生成虚拟表情的时候，不会出现失真的情况；通过组合基础表情，可以生成各种复杂的表情，尤其解决脸部表情和口型统一表达的问题；由于采用了仿生的原理来进行控制，并且充分从基于面向对象的计算机控制的角度进行考虑，所以本控制方法不仅可以应用在计算机软件领域，还可以应用到硬件控制领域，如用人工肌肉实现的机器人头；本方法形成的表情参数具有普适性，可以在不同的人脸模型上进行应用。

附图说明

图1是本发明所述的自动人脸表情仿真系统的结构示意图；

图2是本发明所述的自动生成人脸仿真表情的操作流程图；

图3是本发明所述的脸部控制对象分布示意图；

图4是本发明所述的嘴部控制对象分布示意图；

图5是本发明所述的眼部控制对象分布示意图；

图6是本发明所述的下巴控制对象分布示意图；

图7是用3DS MAX生成的人脸三维模型示意图；

图8是三维人脸上各个部分的作用点的示意图；

图9是左颧大肌的控制范围示意图；

图10是对左颧大肌、左眼皮、下巴实施单独控制的效果图；

图11是部分基础表情的效果图；

图12是部分组合表情的效果图。

图1中，1人脸采集模块，2控制对象生成模块，3基础表情数据库模块，4组合表情数据库模块，5表情合成模块，6表情生成模块。

图3中，301左右额肌，302左右外侧额肌，303左右降眉间肌，304左右皱眉肌，305左右提上唇鼻翼肌，306左右提上唇肌，307左右颧小肌，308左右颧大肌，309左右颊肌，310左右降口角肌，311左右降下唇肌。

图8中，801各控制对象控制的点，802仅下巴和眼皮控制的点。

图10中，1001下巴半张开，1002下巴全张开，1003左颧大肌收缩0.5，1004左颧大肌收缩1.0，1005左眼皮半闭，1006左眼皮全闭。

图11中，1101悲伤，1102发音‘哦’，1103高兴。

图12中，1201悲伤地说‘哦’，1202高兴地说‘哦’。

表1是部分基础表情的控制参数表；

表2是部分组合表情的控制参数表。

具体实施方式

通过下面结合附图对本发明的自动人脸表情仿真系统和方法的实施例进行详细描述，可以更好地理解本发明的目的、特性和优点。

参见图1描述本发明的复杂人脸表情仿真系统。如图1所示，该自动人脸表情仿真系统由一个用于生成人脸三维模型的人脸采集模块1，一个与所述人脸采集模块1相连接，用于分析人脸三维模型，生成控制对象的控制对象生成模块2，一个用于存储基础表情参数的基础表情数据库模块3，一个用于存储组合表情的组合表情数据库模块4，一个与所述基础表情数据库模块3和组合表情数据库模块4相连接，根据组合表情生成组合表情参数的表情合成模块5和一个与所述控制对象生成模块2和表情合成模块5相连接，根据输入控制参数，控制各控制对象生成人脸复杂仿真表情的表情生成模块6组成。人脸采集模块1可以是三维扫描仪，通过扫描真实或模型人头部建立人脸三维模型，也可以是3DS MAX或者MAYA等建模软件，由设计人员手工建立人脸三维模型。控制对象生成模块2对人脸采集模块1生成的人脸三维模型进行分析，定位脸部、嘴部、眼部和下巴等表情对象，并根据解剖学结构定位脸部辐射肌、嘴部轮匝肌、眼皮、瞳孔和下巴等控制对象。基础表情数据库模块3主要存储各种基础表情的名称以及控制参数。组合表情数据库模块4主要存储各个组合表情的名称以及组合成该组合表情的各个基础表情的名称及组合参数。表情合成模块5根据组合表情数据库模块4中的组合参数对基础表情数据库模块3中存储的相应基础表情控制参数进行组合，生成组合表情控制参数。表情生成模块6根据表情合成模块5生成的组合表情控制参数控制各控制对象对人脸三维模型上的点进行变换，从而生成相应的仿真表情。

参见图2描述本发明的计算机自动生成人脸仿真表情的方法。根据本发明，当需要生成某个虚拟人脸的仿真表情时，首先在步骤S1，人脸采集模块1采集人脸三维模型并传送给控制对象生成模块2；在步骤S2，控制对象生成模块2根据人脸三维模型的拓扑结构定位脸部、嘴部、眼部和下巴等控制对象；在步骤S3，控制对象生成模块2根据解剖学原理定位脸部辐射肌、嘴部轮匝肌、眼皮、瞳孔和下巴等控制对象，并生成人脸三维模型上各点与控制对象的约束关系并传送给表情生成模块6；在步骤S4，表情生成模块6根据外来输入的参数控制不同的表情控制对象，生成各种基础表情；在步骤S5，将不同的基础表情的控制参数保存入基础表情数据库模块3；在步骤S6，选择基础表情进行组合，并保存进入组合表情数据库模块4；在步骤S7，当需要生成具体的仿真表情时，表情合成模块5从组合表情数据库模块4中取出该组合表情包含的基础表情，再从基础表情数据库模块3中取出这些基础表情所对应的控制参数，根据组合规则计算出组合表情的控制参数；在步骤S8，表情生成模块6根据步骤S7中计算出来的组合表情的控制参数，对人脸三维模型上各点的位置进行变换，生成特定的组合仿真表情。

参见图3描述本发明的脸部控制对象。根据解剖学，人的表情是人脸上脸部、嘴部、眼部和下巴多条肌肉共同作用产生的结果。人的表情肌有两类，一类是线性的辐射肌，另外一类是环状的轮匝肌。对于不同的人，人的肌肉数量是一样的，分布是一样的，连接关系也是一样的。解剖学一般认为，人脸部表情主要是由22条左右对称的辐射肌控制的(如图3所示)，包括左右额肌(frontal muscle)(301)、左右外侧额肌(Outer frontal muscle)(302)、左右降眉间肌(procerus muslce)(303)、左右皱眉肌(corrugator supercilii)(304)、左右提上唇鼻翼肌(levator labii superiorisalaeque nasi)(305)、左右提上唇肌(levator labii superioris propria)(306)、左右颧小肌(zygomaticus minor)(307)、左右颧大肌(zygomaticus major)(308)、左右颊肌(buccinator)(309)、左右降口角肌(depressor anguli oris)(310)、左右降下唇肌(depressor labi inferioris)(311)。辐射肌的主要控制参数是辐射肌的收缩系数。假设辐射肌沿着方向做了强度为ΔM的收缩，假设人头模型上某点P变化为点P’，影响为

则有：

ΔM＝status×totalLength

人脸三维模型上产生脸部表情区域的点必然受到一个或多个辐射肌对象的影响，多个辐射肌对象的影响可以叠加计算。

参见图4、图5和图6描述本发明的嘴部、眼部和下巴控制对象。图4所示环状阴影中的椭圆即为嘴部表情对象中包含的口轮匝肌对象。主要控制参数是口轮匝肌的收缩系数fl。口轮匝肌上的某点O_on在水平方向的位移Δx，垂直方向的位移Δy可以根据

$\frac{x^2}{{(\mathrm{fl}\×a)}^2}+\frac{y^2}{{(\mathrm{fl}\×b)}^2}=1,$

fl∈(0，1]， $\mathrm{fl}=1-\frac{\mathrm{\Δ}{O}_{\mathrm{el}}}{a}$

计算出来。对于对应着O_on的椭圆内部的点O_in，

$\left\{\begin{array}{c}{\mathrm{\ΔO}}_{\mathrm{in}}\·x=\mathrm{\Δx}\×\cos ((1-d)\×\frac{\mathrm{\π}}{2})\\ {\mathrm{\ΔO}}_{\mathrm{in}}\·y=\mathrm{\Δy}\×\cos ((1-d)\×\frac{\mathrm{\π}}{2})\end{array}\right.(d\≤1)$

对于对应着O_on的椭圆外部的点O_out，

$\left\{\begin{array}{c}{\mathrm{\&Delta;O}}_{\mathrm{out}}\&CenterDot;x=\mathrm{\&Delta;x}\&times;\cos (\frac{d-1}{R-1}\&times;\frac{\mathrm{\&pi;}}{2})\\ {\mathrm{\&Delta;O}}_{\mathrm{out}}\&CenterDot;y=\mathrm{\&Delta;y}\&times;\cos (\frac{d-1}{R-1}\&times;\frac{\mathrm{\&pi;}}{2})\end{array}\right.(1<d\&le;R)$

眼部和下巴的控制相对简单。如图5所示，眼部控制参数包括左右眼皮开合度、左右瞳孔垂直运动强度和左右瞳孔水平运动强度。而下巴的控制参数包括下巴张合强度和下巴左右运动强度(如图6所示)。

下面以具体实例说明在虚拟人脸上生成“高兴”，“悲伤”，“发‘哦’音”等基础表情(控制参数如表1所示)，

表1基础表情控制参数表

基础表情	控制参数
		高兴	Left_Zygomatic_Major 1.10Right_Zygomatic_Major 1.10Left_Frontalis_Inner 0.80Right_Frontalis_Inner 0.80Left_Frontalis_Major 0.20Right_Frontalis_Major 0.20Left_Frontalis_Outer 0.10Right_Frontalis_Outer 0.10
悲伤	Left_Angular_Depressor 0.70Right_Angular_Depressor 0.70Left_Frontalis_Inner 1.90Right_Frontalis_Inner 1.90Left_Labi_Nasi 0.70Right_Labi_Nasi 0.70Left_Inner_Labi_Nasi 0.20Right_Inner_Labi_Nasi 0.20
		发音‘哦’	Mouth 0.4jaw 7.0

以及“高兴的说‘哦’”和“悲伤的说‘哦’”等组合表情(控制参数如表2所示)的具体步骤。

表2组合表情控制参数表

组合表情	控制参数
		高兴的说‘哦’	Left_Zygomatic_Major 0.00Right_Zygomatic_Major 0.00Left_Frontalis_Inner 0.80Right_Frontalis_Inner 0.80Left_Frontalis_Major 0.20Right_Frontalis_Major 0.20Left_Frontalis_Outer 0.10Right_Frontalis_Outer 0.10Mouth 0.4jaw 7.0
悲伤的说‘哦’	Left_ Angular_Depressor 0.00Right_Angular_Depressor 0.00Left_Frontalis_Inner 1.90Right_Frontalis_Inner 1.90Left_Labi_Nasi 0.70Right_Labi_Nasi 0.70Left_Inner_Labi_Nasi 0.20Right_Inner_Labi_Nasi 0.20Mouth 0.4jaw 7.0

步骤S1：用建模软件3DS MAX生成人脸模型，如图7所示。

步骤S2：定位脸部表情、嘴部表情、眼部表情以及下巴表情的控制对象，明确步骤S1中建立的三维人脸模型上脸部和嘴部表情对象作用的点、眼部表情对象作用的眼皮以及眼球的点、下巴表情对象作用的下巴上的点(如图8所示)，脸部和嘴部表情对象的作用点为模型上除眼皮和眼睛之外所有的点，下巴表情对象的作用点为下巴部分红色点集，眼部表情作用的眼皮的点为眼睛部分红色的点，眼睛为独立的两个球体。

步骤S3：构建脸部表情对象中的辐射肌对象、嘴部表情对象中的轮匝肌对象、眼部表情对象以及下巴表情对象，并将这些对象与三维人脸模型上的相应作用范围的点关联起来，以便在控制这些表情对象的时候，三维人脸模型上的关联点能实现联动产生相应的变形。脸部表情对象和嘴部表情对象根据其控制公式实时计算它们对应的作用点。以脸部表情中左颧大肌(left zygomaticus major)为例，其控制范围如蓝色锥体范围所示(见图9)。眼部表情对象的控制点为步骤S2中所定位的属于眼皮的点以及眼球的点。注意，眼皮的点以及眼球的点只由眼球表情对象控制。下巴表情对象的控制点为步骤S2中所定位的属于下巴的点。

步骤S4：调用表情生成模块，对每个表情控制对象，单独输入参数对其进行控制。图10为分别对左颧大肌(left zygomaticus major)、左眼皮、下巴单独进行控制的效果图。

步骤S5：重复步骤S4，生成不同的基础表情，得到各种基础表情的控制参数，并保存进入基础表情数据库。基础表情“高兴”，“悲伤”，“发音‘哦’”的控制参数如表1所示，其对应的效果图如图11所示。

步骤S6：组合基础表情“高兴”和“发音‘哦’”形成组合表情“高兴的说‘哦’”；组合基础表情“悲伤”和“发音‘哦’”形成组合表情“悲伤的说哦”

步骤S7：应用组合规则，计算“高兴的说‘哦’”和“悲伤的说‘哦’”的控制参数。其控制参数如表2所示。

步骤S8：调用表情生成模块，传入组合表情的控制参数，生成“高兴的说‘哦’”和“悲伤的说‘哦’”的效果图(如图12所示)。

以上所描述的仅是本发明的部分应用实例，而不应该被视为对本发明的局限。根据本发明所公开的概念，本领域的技术人员可以很容易地设计出其他类似的实施方案。本发明的权利要求书应被视为包含那些不悖离本发明宗旨的类似设计。

Claims (6)

1.一种复杂表情仿真系统，其特征在于，所述复杂表情仿真系统包括：

一个用于生成人脸三维模型的人脸采集模块；

一个与所述人脸采集模块相连接，用于分析人脸三维模型，生成表情对象和控制对象的控制对象生成模块；

一个用于存储基础表情参数的基础表情数据库模块；

一个用于存储组合表情的组合表情数据库模块；

一个与所述基础表情数据库模块和组合表情数据库模块相连接，根据组合表情生成组合表情参数的表情合成模块；和

一个与所述控制对象生成模块和表情合成模块相连接，负责根据输入控制参数，控制各控制对象生成人脸复杂仿真表情的表情生成模块。

2.根据权利要求1所述的复杂表情仿真系统，其特征在于，所述的基础表情数据库模块存储各种基础表情的名称以及相应控制参数。

3.根据权利要求1所述的复杂表情仿真系统，其特征在于，所述的组合表情数据库模块存储负责表情的名称以及合成复杂表情的各个基础表情的名称及组合规则。

4.一种计算机自动生成复杂仿真人脸表情的方法，其特征在于，该方法包括如下步骤：

采集人脸的三维模型；

生成相关表情对象；

根据人脸拓扑和解剖学结构，生成控制对象和约束条件；

控制各个对象的参数对人脸三维模型上点进行变换，生成各种基础的仿真表情；

将基础表情的名称及相应控制参数存入基础表情数据库；

通过组合基础表情，形成组合表情，存入组合表情数据库；

通过应用组合规则，对组合表情中包含的基础表情进行组合计算，形成组合表情的控制参数；

根据组合表情的控制参数，控制各个对象的参数对人脸三维模型上点进行变换，生成各种组合出来的复杂仿真表情。

5.根据权利要求4所述的计算机自动生成复杂仿真人脸表情的方法，其特征在于，所述人脸表情对象包括脸部表情对象、嘴部表情对象、眼部表情对象和下巴表情对象。

6.根据权利要求4所述的计算机自动生成复杂仿真人脸表情的方法，其特征在于，所述的人脸表情控制对象包括脸部辐射肌、嘴部轮匝肌、眼皮、眼球和下巴。

Images