CN1466106A

CN1466106A - 基于mpeg-4的任意格式人脸模型的动画实现方法

Info

Publication number: CN1466106A
Application number: CNA02140285XA
Authority: CN
Inventors: 姜大龙; 王兆其; 高文
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2002-07-03
Filing date: 2002-07-03
Publication date: 2004-01-07

Abstract

一种基于MPEG－4的任意格式人脸模型的动画实现方法，包括步骤：显示层和控制层分别处理人脸显示与动画控制；对于特殊格式的人脸模型，首先生成相应的简单人脸模型和顶点序号对应表；然后在标准简单人脸模型的人脸动画定义表的基础上，计算出简单人脸模型的人脸动画定义表；控制层通过查找简单人脸模型的人脸动画定义表来变形简单人脸模型，再根据顶点序号对应表把变形后的简单人脸模型转回到特殊格式的人脸模型；在显示层显示特殊格式的人脸模型。本发明具有数据量小、显示效果佳、实用价值高。构造标准简单人脸模型的人脸动画定义表手工操作量较大，但由于标准简单人脸模型的人脸动画定义表只需要构造一次，本发明的实现过程仍然是比较快捷、方便的。

Description

基于MPEG-4的任意格式人脸模型的动画实现方法

技术领域

本发明涉及一种基于MPEG-4的任意格式人脸模型的动画实现方法，尤指一种把显示与控制分成两层处理，在两层之间用顶点序号对应表来进行数据转换，在控制层通过构造人脸动画定义表(FaceDefTables)来实现动画控制的方法。

背景技术

计算机三维人脸动画是一种重要的人体行为交互方法。其成果可以应用于虚拟现实、虚拟主持人、虚拟会议、辅助教学、医疗研究、电影制作、游戏娱乐等很多领域。随着计算机硬件，以及网络和多媒体技术的高速发展，在未来的人机交互界面中，三维人脸动画必然会得到越来越广泛的应用。

MPEG-4是基于对象的多媒体压缩标准。由于人自身在多媒体中占据着十分重要的位置，所以MPEG-4对三维人脸动画格式定义了一个国际标准。MPEG-4中定义了FDP(人脸定义参数)和FAP(人脸动画参数)两套参数，其中FDP包含人脸的形状、纹理、人脸动画定义表等特征，而FAP则是人脸运动的数据。MPEG-4提供了一套以FDP和FAP为参数的人脸动画方法。这种人脸动画实现方法通用性强，数据量小，运算复杂度低，特别适合用于通过网络播放的实时人脸动画。但是该方法只有一个框架结构，对于很多实现细节，特别是人脸动画定义表的构造方法，MPEG-4并没有定义。

目前要实现不同人脸模型的动画控制主要有两种方式：

1、不同格式的人脸模型采用不同的人脸动画控制方法。这样的方式比较灵活，但是模型与动画控制之间没有统一的标准，对于新格式的模型就必须重新修改动画控制的软件或程序来适应新格式的模型。这样的方法没有通用性，而且工作量太大。

2、把不同格式人脸模型都转化成统一的格式。这样的方法可以有固定的动画控制模块，但是由于格式的差异，人脸模型在格式转化后可能会丢失一些信息，比如光影效果等。另外一方面，对于某种格式可能已经有了成熟的显示方法，比如有场景选择，转化格式后的显示结果就不一定能达到满意的效果。

发明内容

为克服现有技术实现任意人脸模型的动画控制中的缺陷，本发明的目的是提供一种实现任意格式人脸模型的动画控制方法。

为实现上述目的，基于MPEG-4的任意格式人脸模型的动画实现方法包括步骤：

显示层和控制层分别处理人脸显示与动画控制；

对于特殊格式的人脸模型，首先生成相应的简单人脸模型和顶点序号对应表；

然后在标准简单人脸模型的人脸动画定义表的基础上，计算出简单人脸模型的人脸动画定义表；

控制层通过查找简单人脸模型的人脸动画定义表来变形简单人脸模型，再根据顶点序号对应表把变形后的简单人脸模型转回到特殊格式的人脸模型；

在显示层显示特殊格式的人脸模型。

本发明实现了任意格式人脸模型的动画控制，具有数据量小、显示效果佳、实用价值高。其中，构造标准简单人脸模型的人脸动画定义表手工操作量较大，但是由于标准简单人脸模型的人脸动画定义表只需要构造一次，所以总的来说，本发明的实现过程仍然是比较快捷、方便的。

附图说明

图1是基于MPEG-4的任意格式人脸模型的动画实现方法步骤总流程图。

图2是在标准简单人脸模型的人脸动画定义表基础上，计算简单人脸模型的人脸动画定义表的步骤流程图。

图3是构造标准简单人脸模型的人脸动画定义表中一个FAP在一个分段中所控制的点的区域及点的三维运动因子的步骤流程图。

图4是构造标准简单人脸模型的人脸动画定义表中一个FAP在一个分段中所控制的点的区域及点的三维运动因子的步骤图示。

图5是用本发明产生的几种不同格式人脸模型的喜、怒、哀、惊表情的效果。

图6是从一段本发明产生的动画中连续截取的图片；

图7是本发明方法的原理图。

具体实施方式

由于人脸动画定义表与人脸模型有极大的相关性，为了使本发明的人脸动画控制方法应用在不同格式的人脸模型上，本发明提出了一种把显示与控制分层处理的方法。先由某特殊格式的人脸模型生成对应的简单人脸模型和顶点序号对应表，然后构造简单人脸模型的人脸动画定义表，在获得动画数据后，控制层通过查找人脸动画定义表来产生动画，再通过顶点序号对应表把变形后的人脸模型转化为原来的特殊格式，最后再显示出来。本发明就是建立在MPEG-4标准上，通过构造人脸动画定义表来实现标准简单人脸模型的动画控制，简单人脸模型是我们自己定义的一种人脸模型格式，标准简单人脸模型是这种格式模型中的一个标准人脸模型。这样的动画只能应用于与标准简单人脸模型具有相同拓扑结构和相同格式的人脸模型。为了能够方便、实用的控制任意格式的人脸模型(任意格式是指由顶点和面结构组成的任意格式和拓扑结构的人脸模型)，本发明又提出了一种把显示和控制分层处理的方法，从而可以较为方便的实现任意格式人脸模型的动画。

如图1所示；上述基于MPEG-4的任意格式人脸模型的动画实现方法包括如下步骤

1、对于某种特殊格式的人脸模型，生成相应的简单人脸模型和顶点序号对应表；

2、在标准简单人脸模型的人脸动画定义表基础上，计算出简单人脸模型的人脸动画定义表；

3、如果得到动画数据，则在控制层通过查找简单人脸模型的人脸动画定义表来变形简单人脸模型；

4、根据顶点序号对应表把变形后的简单人脸模型转回到特殊格式的人脸模型；

5、在显示层显示特殊格式的人脸模型；

6、如果还有动画数据则重复步骤3，否则结束。

如图2所示，上述在标准简单人脸模型的人脸动画定义表基础上，计算简单人脸模型的人脸动画定义表的步骤如下：

1、构造标准简单人脸模型的人脸动画定义表；

2、在简单人脸模型的网格上手工标注并提取特征点，特征点个数的范围从1到70；

3、根据提取的特征点坐标，用线性插值方法变形标准简单人脸模型；

4、设简单人脸网格上的一点P在标准简单人脸网格X，Y平面上的投影为P’，并且在三角形ABC中，A、B、C是标准简单人脸网格上的点。搜索标准简单人脸模型的人脸动画定义表，如果A、及C中至少有一点在某个FAP的控制区内，且A、B、C在第k段的三维运动因子分别为D_A，k、D_B，k、D_C，k，那么我们认为P点在简单人脸模型上也在该FAP的控制区内，且FAP值域的分段不变。设|PA|、|PB|、|PC|分别为P点在X，Y平面上到A、B、C三点的距离；Δ＝|PA|²+|PB|²+|PC|²，那么P点在第k段的三维运动因子D_P，k的值就可以表示为：

D_{P, k} = \frac{| PA | \times | PB | \times D_{C, k}}{Δ} + \frac{| PA | \times | PC | \times D_{B, k}}{Δ} + \frac{| PB | \times | PC | \times D_{A, k}}{Δ};

5、重复第4步直到所有简单人脸网格上的点都被计算一遍，简单人脸模型的人脸动画定义表就初步构造完成了；

6、由于投影的误差，有些点可能会出现在错误的FAP控制区中。这种情况一般出现在FAP控制区突变的区域，比如上下嘴唇交接处。在这种情况下就必须在标准简单人脸网格中指定A、B、C点来计算错误点的三维运动因子。

如图3所示，上述构造标准简单人脸模型的人脸动画定义表的步骤如下：

1、在标准简单人脸网格上选定70个特征点，如图4(a)，深色的点代表特征点。

2、以FAP41为例，移动FAP41影响到的特征点m，使m向下(y轴负方向)移动到合理的位置。设点m在中性表情下的坐标是P_m，移动后的坐标是P_m′，如图4(b)

3、根据m点的位移，对人脸网格进行插值变形，如图4(c)。

4、给定一个阈值，如果网格点位移大于该阈值，就认为受FAP41的控制；如果网格点位移小于该阈值，就认为不受FAP41的控制。调节阈值大小，直到受FAP41控制的点所覆盖的区域合理为止。对于FAP41来说，合理的控制区域是左脸颊，如图4(d)所示。

5、以m点在FAP41定义的正方向(y轴正方向)上的位移D作为基准，任意被控制网格点n的三维运动因子D_n，等于点n在三个坐标轴方向上的位移(P_n′-P_n)与D的比值，再乘上符号因子c。其中FAP的正方向为某坐标轴正方向时c＝1，否则c＝-1，本例中c取值为1，表示为公式就是：

D_n＝c(P_n′-P_n)/D

这样就可以获得在一个FAP分段内，受FAP控制的点的三维运动因子。

用同样的方法可以获得其他分段上点的运动因子。

分层处理的优点在于，一方面由于控制层只处理一种统一格式的人脸模型，所以控制程序不用随模型的改变而改变，做到了控制模块的通用性；另一方面，显示层依然显示原来格式的人脸模型，对显示效果没有任何影响。

Claims

1、一种基于MPEG-4的任意格式人脸模型的动画实现方法，其特征在于包括步骤：

显示层和控制层分别处理人脸显示与动画控制；

在显示层显示特殊格式的人脸模型。

2、按权利要求1所述方法，其特征在于：所述的在标准简单人脸模型的人脸动画定义表基础上计算简单人脸模型的人脸动画定义表包括步骤：

a、构造标准简单人脸模型的人脸动画定义表；

b、在简单人脸模型的网格上手工标注并提取特征点；

c、根据提取的特征点坐标，用线性插值方法变形标准简单人脸模型；

3.按权利要求2所述的方法，其特征在于：所述特征点个数为1到70。

4.按权利要求2所述的方法，其特征在于所述的构造标准简单人脸模型的人脸动画定义表包括步骤：

a、在一般人脸网格上选定70个特征点；

b、移动受FAP影响到的特征点m，使m向合理的方向移动到合理的位置；

c、根据m点的位移，对人脸网格进行插值变形；

d、给定一个阈值，如果网格点位移大于该阈值，就认为受该FAP的控制；如果网格点位移小于该阈值，就认为不受该FAP的控制；调节阈值大小，直到受该FAP控制的点所覆盖的区域合理为止。

5.按权利要求4所述的方法，其特征在于所述移动受FAP影响到的特征点m，还包括步骤：

以m点在该FAP定义的正方向上的位移D作为基准，任意被控制网格点n的三维运动因子D_n，等于点n在三个坐标轴方向上的位移(P_n′-P_n)与D的比值，再乘上符号因子c；其中FAP的正方向为某坐标轴正方向时c＝1，否则c＝-1，公式表示为：

D_n＝c(P_n′-P_n)/D