CN102157010A - 基于分层建模及多体驱动的三维人脸动画实现方法 - Google Patents

基于分层建模及多体驱动的三维人脸动画实现方法 Download PDF

Info

Publication number
CN102157010A
CN102157010A CN201110136524XA CN201110136524A CN102157010A CN 102157010 A CN102157010 A CN 102157010A CN 201110136524X A CN201110136524X A CN 201110136524XA CN 201110136524 A CN201110136524 A CN 201110136524A CN 102157010 A CN102157010 A CN 102157010A
Authority
CN
China
Prior art keywords
face
model
muscle
dimensional
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110136524XA
Other languages
English (en)
Inventor
曾丹
郑大岳
裴丽
陈剑
张之江
康晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201110136524XA priority Critical patent/CN102157010A/zh
Publication of CN102157010A publication Critical patent/CN102157010A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于分层建模及多体驱动的三维人脸动画实现方法。本方法是在建立分层人脸模型的基础上,根据各刚柔性体的特性独立驱动,以模拟更加真实细腻的表情合成与眼、嘴部驱动效果。本发明的实施仅需拍摄面部无遮挡的模特正、侧面照片各一张,人脸呈自然放松状态,双眼正视前方,头部垂直地面,通过仿真实验便可获得。本发明作为虚拟人合成的关键环节,对人机交互以及虚拟人语音动画系统具有重要的实际应用价值。

Description

基于分层建模及多体驱动的三维人脸动画实现方法
技术领域
本发明涉及一种基于分层建模及多体驱动的三维人脸动画的实现方法,是以分层人脸建模为切入点,从人脸各部位刚柔性体的不同运动及表情特征等方面出发,实现了三维虚拟人脸建模及表情驱动。
背景技术
三维的虚拟现实能带给人们强烈的视觉冲击力,其中,虚拟人物是虚拟世界的活动主体,随着虚拟现实技术的发展,虚拟人物的设计成为令人关注的研究课题。研究人脸建模与表情驱动是合成虚拟人的一个非常关键的环节,己成为计算机图形图像领域的一个研究热点。
现有的人脸合成方法大致可以分为基于几何、基于表演驱动、基于图像三大类。各种不同的方法之间并没有严格的界限,为了产生更好的合成效果,往往需要融合多种方法。
基于几何的方法多应用于三维点集构成的曲面片所表示的人脸模型,通过直接修改人脸模型上的网格点位置或间接移动顶点位置等来得到人脸面部表情动画;基于表演驱动的方法多是利用传感器来捕捉人脸模型的运动情况,并把这些运动信息数字化,作为控制人脸模型运动的动画参数;基于图像的方法则是利用输入的二维图像或视频来变形人脸模型,从而得到目标人脸的状态。基于几何的方法又可以分为:关键帧插值法,参数模型,基于物理的肌肉模型,伪肌肉模型。基于图像的方法大致可以分为以下几类:图像形变,动态纹理映射,面色表情变化等。
人脸建模及驱动的终极目标是建立实时的、高度自动化的、真实感的、个性化的虚拟人脸系统。现有的人脸驱动方法,多将人脸的眼、嘴、面颊等可视部分常被视为一个整体,由三角形网格或样条曲面来表示,这将影响人脸各部位相对运动引起的可视部分变化,难以描述人脸各部位刚体及柔性体的不同运动特征。如前所述的基于图像的方法真实感较好,但资源占用率较大;基于肌肉模型的方法数据量及计算量较小,但多采用线性方法描述皮肤形变与所受施力之间的关系,忽略了人脸各器官的粘弹性特性,影响人脸动画的真实感。因此,针对当前单一人脸模型的缺陷,根据人脸各部位不同的解剖学及物理特性,建立分层人脸模型;从力学原理出发,考虑人脸各部位的粘弹性特征,建立肌肉施力收缩与皮肤受力形变之间的非线性关系,以模拟更加真实细腻的表情合成与嘴部驱动效果。
发明内容
本发明的目的在于针对已有技术存在的缺陷,提供一种基于分层建模及多体驱动的三维人脸动画实现方法,在普通设备以及尽可能少的交互条件下,在降低数据量及计算量,提高运动及表情表示的普适度的条件下,有效地表示和驱动具有真实感的人脸模型的运动及表情。
本发明主要研究了以下几个部分:
1.        建立了皮肤—肌肉—骨骼—眼球分层人脸模型,该模型将人脸分为柔性体和刚性体两类,对柔性体建立三角网格形变模型,对刚性体建立几何参数非形变模型,以解决单一网格或曲面模型所带来的无法表示人脸各部位相对运动引起的可视部分变化的缺陷。
2.        提出了多体驱动产生人脸表情的方法,对眼球建立大小两个球体组成的绕大球球心旋转的刚体模型,对皮肤采用肌肉收缩驱动,对嘴部采用骨骼与肌肉共同驱动,以解决单一肌肉驱动方法或形变模型难以描述人脸各部位刚体及柔性体的不同运动特征的缺陷,提高了人脸模型的真实感与灵活性。
3.        在肌肉建模方面,对宽线性肌(额肌)加入皱纹控制因子,以实现更加细腻真实的人脸额部皱纹效果;根据口轮匝肌是随口型变化的三维环状肌肉以及体积不变原理,改进Waters二维椭圆口轮匝肌为三维体结构,增加了厚度因素,以表现出更复杂细腻的唇部表情变化。
4.        针对包含了下颌骨、牙齿等刚性体及嘴唇等柔性体的嘴部驱动,本文综合考虑三方面因素:下颌骨驱动、三维口轮匝肌收缩及唇部曲线参数化,模拟嘴部真实感表情驱动。在下颌骨驱动中,加入咀嚼肌的建模以带动下颌骨的运动,下颌骨可以做简单的平移以及旋转运动,带动牙齿做相同运动,带动唇部及嘴部周遭皮肤做相似运动,建立了非线性驱动关系;在唇部曲线参数化方面,用唇部曲线三维变化的旋转角度以及平移大小来模拟唇部网格点的位移,用少量的参数控制唇部曲线变化,数据量小,易于控制。
根据上述的研究,本发明提出一种基于分层建模及多体驱动的三维人脸动画实现方法。首先拍摄人脸自然放松状态、双眼正视前方、头部垂直地面时的正、侧面照片各一张,并对其进行预处理;所拍摄的照片背景需色调单一,以较好地分离人脸图像;所拍摄人脸部需无遮挡,以较好的定位面部特征点坐标;标准人脸柔性体皮肤网络模型——包含额头、面颊、鼻子、嘴唇,共由1439个顶点、1476个多边形组成的较稠密三维人脸模型。具体操作步骤包括:
1)三维人脸建模;
2)进行多体驱动。
所述步骤1)三维人脸建模采用分层人脸建模采用分层人脸建模方法,具体工作步骤为:
①     对所述人脸照片进行特征点提取,变形标准人脸皮肤模型,获得个性化的人脸皮肤三角网格形变模型,同样地建立柔性体舌头、刚性体下颌骨及牙齿三角形网格形变模型与几何参数非形变模型;
②     根据步骤①得到的人脸特征点坐标,确定柔性体舌头、刚性体下颌骨及牙齿的几何大小和大致放置位置;
③     利用大小两个球体建模刚性体眼球,根据虹膜直径及大小两个球体的几何关系,确定眼球抽象模型;
④     将步骤①所得到的各部位特征点坐标,组合步骤①、②、③所得到的刚柔性体模型,得到真实感的个性化人脸三维分层模型;
⑤     根据步骤①得到的人脸特征点坐标,确定表情肌、咀嚼肌、眼外肌的起止点坐标,建立肌肉模型。
所述步骤2)进行多体驱动是在所建立的分层人脸模型基础上,利用不同的驱动方法对各刚柔性体部位进行多体驱动,其驱动程序步骤如下:
①    确定窄线性肌、宽线性肌以及括约肌这三类肌肉的参数大小,利用肌肉收缩组合控制柔性体面部的表情运动;
②    根据所建三维人脸模型的刚体眼球模型数据,确定眼外肌位置分布,眼球在六条眼外肌的旋转作用力控制下进行三维旋转运动;
③    通过咀嚼肌控制所建立的下颌骨模型,进而直接控制嘴部的旋转、平移运动,确定嘴部皮肤点在其带动下的非线性关系;
④    利用体积不变原理,改进Waters二维椭圆口轮匝肌为三维体结构,得到嘴部网格点变化量与口轮匝肌的厚度关系表达式;
⑤    模拟唇部运动曲线,联合步骤③、④,通过参数函数控制唇区特征点的变化。
所述进行多体驱动的方法中,利用渐变网络插值技术,实现人脸表情动画。
本发明与现有技术相比,具有如下显而易见的突出实质性特点和显著优点:
1.进行刚、柔性体分别建模的优点在于:对于面部柔性体部位(人脸的皮肤、嘴唇、舌头等软组织),受力时会发生形变,受力响应(形变)与外力不呈线性关系,是粘弹性体,其应力-应变是非线性关系;对于面部的刚体(下颌骨、牙齿等)或近似刚体的部位(眼球等),可将其运动近似为一个整体的旋转或平移,例如牙齿在下颌骨的带动下做左右平移运动或绕下颌骨踝突点相连构成的线为轴的旋转,眼球在眼眶内做上下、左右旋转。
2.在满足肌肉收缩应力特性的前提下,本发明对Waters的肌肉模型进行了改进,相比Waters的肌肉模型,对宽线性肌加入皱纹控制因子,可以模拟更加精细的额头皱纹效果;利用六条眼外肌控制驱动本文所建立的刚体眼球模型,以得到人脸动画时眼球转动的逼真效果。
3.针对所建立的由大小两个球体组成的刚体眼球模型,以及控制眼球运动的眼外肌的起止点位置和运动特点,本发明提出6条眼外肌组合控制刚体眼球模型的方法,可以达到灵活驱动眼球的三维旋转运动。
4.针对所建立的分层人脸模型,本发明给出了下颌骨带动牙齿做相同运动,带动唇部及嘴巴下部皮肤做相似运动的驱动方法,建立嘴部所受施力与其应变间的非线性关系;针对实际口轮匝肌是随口型变化的三维环状结构,根据体积不变原理,对Waters二维椭圆口轮匝肌进行了改进,以实现更丰富细腻的嘴部变形效果;分析嘴部动作时唇部的运动曲线的变化,建立参数化的唇部运动函数,弥补了肌肉模型在唇部驱动上的不足。
附图说明
图1是人脸正侧面照片示意图。
图2是正侧面皮肤模型示意图。
图3是舌头、下颌骨及牙齿模型示意图。
图4是眼球抽象模型示意图。
图5是眼球模型建模示意图。
图6是个性化人脸分层模型的示意图。
图7是本发明所涉及的表情肌示意图。
图8是本发明所涉及的咀嚼肌示意图。
图9是眼外肌示意图。
图10是窄线性肌抽象模型示意图。
图11是宽线性肌抽象模型示意图。
图12是额肌皱纹曲线模拟示意图。
图13是皱纹效果对比图。其中,(a)为惊奇(无添加皱纹),(b)为惊奇(添加皱纹正面),(c)为惊奇(添加皱纹侧面),(d)w为蹙眉(无添加皱纹),(e)为蹙眉(添加皱纹正面),(f)为蹙眉(添加皱纹侧面)。
图14是虚拟眼外肌分布及收缩方向示意图。
图15是眼部直肌控制效果图。其中,(a)俯视,(b)仰视,(c)左侧视,(d)右侧视,(e)对眼。
图16是下颌骨运动示意图。其中,(a)下颌骨旋转驱动,( b) 下颌骨平移驱动。
图17是下颌骨绕轴旋转与沿轴平移效果图。其中(a)由左至右为下颌骨绕轴旋转                                                
Figure 201110136524X100002DEST_PATH_IMAGE001
Figure 201110136524X100002DEST_PATH_IMAGE003
,(b)由左至右为下颌骨沿轴向右平移5、10和18个单位距离(嘴部微张
Figure 811823DEST_PATH_IMAGE004
)。
图18是改进的口轮匝肌三维抽象模型示意图。
图19是撅嘴情况正侧面嘴部效果对比图。其中,(a)自然状态,(b)Waters口轮匝肌收缩,(c)改进三维口轮匝肌收缩。
图20是下唇纵向变化示意图。
图21是唇部运动模拟效果图。其中,(a)开唇口型, (b)降下唇口,(c)凸唇口型,(d)瘪唇口型,(e)圆唇口型。
图22是面部表情动画系统界面示意图。
图23是个性化三维人脸模型的面部六类基本表情效果图。其中(a) 喜悦,(b)悲伤,(c)愤怒,(d)惊讶,(e)厌恶,(f)恐惧。
图24是吃惊表情动画序列图。
图25是眼球转动动画序列图。其中,(a)眼球上下转动动画序列,(b) 眼球左右转动动画序列
具体实施方式
本发明的一个优选实施案例结合附图详述如下:
本基于分层建模及多体驱动的三维人懒动画实现方法,具体操作步骤如下:
1        分层人脸建模
1.1 刚柔性体分类建模
(1)拍摄人脸自然放松状态、双眼正视前方、头部垂直地面时的正、侧面照片各一张,并对其进行预处理,如附图1所示。
(2)根据标准模型个性化的方法,对标准人脸皮肤网格模型进行变形,利用整体变换和局部变换的原则,局部变换采用DFFT算法,得到如附图2所示人脸皮肤网格模型以及进行纹理映射之后的模型效果图。
(3)分别对柔性体舌头,刚性体下颌骨、牙齿建立三角形网格形变模型与几何参数非形变模型。如附图3所示。
(4)由附图4所示,根据所得左眼球(右眼球建模方法和左眼相同)角膜中心的三维坐标即大球球心
Figure 201110136524X100002DEST_PATH_IMAGE005
以及虹膜直径
Figure 59264DEST_PATH_IMAGE006
以及
Figure 201110136524X100002DEST_PATH_IMAGE007
建立人眼球刚体模型, 通过解下列方程可以得到小球半径
Figure 67672DEST_PATH_IMAGE008
以及小球球心
Figure 201110136524X100002DEST_PATH_IMAGE009
相对于大球球心
Figure 58761DEST_PATH_IMAGE010
的距离。
Figure 201110136524X100002DEST_PATH_IMAGE011
                   (1.1)
Figure 836224DEST_PATH_IMAGE012
             (1.2)
Figure 201110136524X100002DEST_PATH_IMAGE013
                     (1.3)
Figure 254568DEST_PATH_IMAGE006
为统一单位,由上式可得
Figure 547009DEST_PATH_IMAGE014
Figure 201110136524X100002DEST_PATH_IMAGE015
Figure 341789DEST_PATH_IMAGE016
Figure 201110136524X100002DEST_PATH_IMAGE017
。可以建模出眼球刚体模型,并根据个性化皮肤模型中的眼眶大小,调节眼球比例以满足放入眼眶的合适尺寸。刚体模型见附图5。
(5)在对人脸各部位进行刚柔性体分别建模之后,我们将所建立的各部位模型组合,得到个性化的三维人脸分层模型,如附图6示。
1.2 肌肉建模
根据解剖学原理,按照肌肉的位置和实际功能,在分层人脸模型上建立肌肉模型,基于人面部肌肉的作用方式各不相同的特点,确立窄线性肌、宽线性肌及括约肌的起止点坐标。由附图7,控制人脸表情和嘴部运动的表情肌群包含对称分布在人脸左右两侧的8对窄线性肌:皱眉肌、降眉肌、上眼睑提肌、鼻肌、颧肌、笑肌、降口角肌、颏肌;一对宽线性肌:额肌;两种括约肌:眼轮匝肌、口轮匝肌;由附图8,控制下颌骨运动的咀嚼肌包含4条窄线性肌:咬肌、颞肌、翼内肌和翼外肌,主要是配合下颌骨以产生嘴部咀嚼运动;由附图9,眼球受上直肌、下直肌、内直肌、外直肌、上斜肌、下斜肌这6条眼外肌控制。
2.      多体人脸驱动
2.1肌肉驱动
在面部肌肉中,按照运动方式的不同分为三类:窄线性肌、宽线性肌及括约肌。
(1)窄线性肌:如附图10所示,沿着固定于骨骼的肌肉向量方向收缩,一端固定在骨骼上或是皮下脂肪中,另一端则与较为柔软的皮肤组织相连,是可动点,类似于一个弹簧,作用区域是扇形。
(2)宽线性肌:如附图11所示,由一系列平整的纤维束构成,一端固定,另一端与可移动的皮肤组织相连,它的起点和止点可近似为两条平行线,作用区域为矩形。
对于人面部唯一的宽线性肌额肌,本发明引入褶皱方程,以更好地模拟额肌收缩时引起的皱纹效果。本发明用一系列抛物线来模拟皱纹的效果。如附图12所示。其中点
Figure 973759DEST_PATH_IMAGE018
的皱纹高度为:
Figure 201110136524X100002DEST_PATH_IMAGE019
               (2.1)
为高度控制因子,
Figure 501264DEST_PATH_IMAGE007
是皱纹的最大高度上限,也就是附图12中抛物线的最高点。设
Figure 201110136524X100002DEST_PATH_IMAGE021
为该肌肉可以产生的皱纹条数,由实验经验决定;
Figure 834156DEST_PATH_IMAGE022
为产生的皱纹半周期长度为:
Figure 201110136524X100002DEST_PATH_IMAGE023
                       (2.2)
其中,为产生皱纹的区域,
Figure 201110136524X100002DEST_PATH_IMAGE025
越大,产生皱纹的区域将越大。
Figure 346357DEST_PATH_IMAGE026
                 (2.3)
是将变量以周期
Figure 613391DEST_PATH_IMAGE028
(频率为
Figure 484395DEST_PATH_IMAGE021
)映射到
Figure 201110136524X100002DEST_PATH_IMAGE029
的区间,由此产生更多的皱纹。
这样,在该平面肌的作用下,点
Figure 90956DEST_PATH_IMAGE018
所受到的肌肉收缩力的方程为:
Figure 349899DEST_PATH_IMAGE030
            (2.4)
其中
Figure 201110136524X100002DEST_PATH_IMAGE031
为距离控制函数与距离因子
Figure 778924DEST_PATH_IMAGE032
相关,通过对宽线性肌(额肌)的修正,加入了皱纹控制因子,当额肌收缩时眉毛以上部分会产生表情皱纹,如附图13所示。
2.2 眼球驱动
根据附图14中的眼球的眼外肌起止点位置分布,已知大球球心
Figure 201110136524X100002DEST_PATH_IMAGE033
及虹膜直径
Figure 239992DEST_PATH_IMAGE034
,能得到左眼6条虚拟肌肉起、止点坐标分别为:
上直肌:起点
Figure 201110136524X100002DEST_PATH_IMAGE035
,止点
Figure 341940DEST_PATH_IMAGE036
下直肌:起点,止点
外直肌:起点
Figure 61952DEST_PATH_IMAGE035
,止点
内直肌:起点
Figure 978272DEST_PATH_IMAGE035
,止点
Figure 201110136524X100002DEST_PATH_IMAGE039
上斜肌:起点
Figure 379298DEST_PATH_IMAGE040
,止点
Figure 723691DEST_PATH_IMAGE036
下斜肌:起点
Figure 201110136524X100002DEST_PATH_IMAGE041
,止点
根据眼外肌的起止点位置建立肌肉模型,眼球的运动是在这6条肌肉的共同作用下进行三维运动的,肌肉组合方式如下式所示:
Figure 665419DEST_PATH_IMAGE042
                     (2.5)
其中
Figure 201110136524X100002DEST_PATH_IMAGE043
为肌肉收缩因子,为肌肉力大小。眼部直肌控制效果见附图15。
2.3 嘴部驱动
为了实现丰富多样的嘴部表情,模拟真实细腻的嘴部动作,本发明从三个方面:下颌骨驱动、口轮匝肌改进和唇部曲线参数化,对嘴部表情动画的模拟进行了较为细致的研究。
(1)牙齿在下颌骨的带动下做相同运动,嘴部及下巴皮肤在下颌骨的驱动下做相似运动,本发明设计了下颌骨应力与皮肤形变之间的非线性关系。
下颌骨的旋转产生嘴部的张闭行为。如附图16(a)所示,
Figure 201110136524X100002DEST_PATH_IMAGE045
为从皮肤点
Figure 571332DEST_PATH_IMAGE018
出发与旋转轴
Figure 201110136524X100002DEST_PATH_IMAGE047
同面垂直的向量;作用于点的下颌骨的驱动力
Figure 538468DEST_PATH_IMAGE048
与旋转轴
Figure 914086DEST_PATH_IMAGE047
Figure 600282DEST_PATH_IMAGE045
均正交,旋转运动时,
Figure 744956DEST_PATH_IMAGE048
与旋转轴
Figure 858405DEST_PATH_IMAGE047
Figure 721319DEST_PATH_IMAGE045
所在的平面垂直。当下颌骨绕轴旋转时,作用于下唇及嘴下部皮肤点的驱动力可以定义为:
      (2.6)
其中
Figure 210386DEST_PATH_IMAGE050
为比例系数,可通过实验确定;
Figure 201110136524X100002DEST_PATH_IMAGE051
为旋转运动时
Figure 432420DEST_PATH_IMAGE048
的单位方向向量;
Figure 579368DEST_PATH_IMAGE052
为下颌骨绕轴旋转的角度,
Figure 201110136524X100002DEST_PATH_IMAGE053
为最大角度,正常情况下为50度左右;
Figure 545050DEST_PATH_IMAGE054
是作用于下颌骨的肌肉力总和,张口肌作用产生向下旋转动作,闭口肌作用产生向上旋转动作。
下颌骨沿轴平移产生歪嘴的动作,在附图16(b)中,除了下颌平移驱动力外,参数表述与下颌骨旋转驱动相同。平移运动时,
Figure 726633DEST_PATH_IMAGE048
与旋转轴平行。当下颌骨绕轴旋转时,作用于下唇及嘴下部皮肤点的驱动力
Figure 19391DEST_PATH_IMAGE048
可以定义为:
Figure 201110136524X100002DEST_PATH_IMAGE055
       (2.7)
其中
Figure 523184DEST_PATH_IMAGE056
为比例系数,可通过实验确定;
Figure 201110136524X100002DEST_PATH_IMAGE057
为平移运动时的单位方向向量;
Figure 60793DEST_PATH_IMAGE058
为下颌骨平移运动的长度,
Figure 201110136524X100002DEST_PATH_IMAGE059
是平移的最大长度,正常情况下为2cm~3cm;
Figure 120016DEST_PATH_IMAGE054
是作用于下颌骨的肌肉力总和,起到侧向偏移的作用,需要咀嚼肌等几类肌肉共同配合。
在下颌骨驱动力的作用下,牙齿随其做相同运动,牙齿点的运动位移与驱动力的大小呈线性关系,下式为牙齿点的变化量:
Figure 489817DEST_PATH_IMAGE060
                      (2.8)
其中
Figure 201110136524X100002DEST_PATH_IMAGE061
为下颌骨对牙齿的驱动因子。
嘴唇及嘴巴下部皮肤在下颌骨带动下做相似运动,具体体现在嘴唇及嘴巴下部皮肤点到下颌骨旋转轴的距离不同。我们设计此相似关系为非线性指数关系,通过仿真得到距离
Figure 583675DEST_PATH_IMAGE062
与影响因子
Figure 201110136524X100002DEST_PATH_IMAGE063
的非线性表达式,其中参数
Figure 318413DEST_PATH_IMAGE064
可以通过实验得到:
Figure 201110136524X100002DEST_PATH_IMAGE065
                   (2.9)
在下颌骨驱动力的作用下,嘴唇及嘴巴下部皮肤点的变化量可以表示为:
Figure 927249DEST_PATH_IMAGE066
                    (2.10)
其中为下颌骨对皮肤点的驱动因子。下颌骨控制嘴部运动效果见附图17。
(2)本发明在满足肌肉解剖学原理及体积不变原理上,对口轮匝肌进行了改进,改进后的三维口轮匝肌在收缩时对于嘴部深度信息的改变更为显著,三维立体效果更加逼真。如附图18所示。
改进后的皮肤点
Figure 772845DEST_PATH_IMAGE018
的变化量与口轮匝肌厚度有关,可通过下式得到:
Figure 201110136524X100002DEST_PATH_IMAGE069
      (2.11)
其中
Figure 620989DEST_PATH_IMAGE070
为弹性系数,可见,当肌肉收缩率增大时,嘴部网格点的变化量越大,嘴部凸起或陷下的越深。撅嘴时嘴部效果对比图见附图19。
(3)建模参数化的唇部曲线,以配合肌肉收缩及下颌骨驱动,得到更加细腻丰富的唇部形变。在开唇运动中,下唇区域中某一点
Figure 201110136524X100002DEST_PATH_IMAGE071
的运动可以表示为:
Figure 717121DEST_PATH_IMAGE072
             (2.12)
其中表示点
Figure 366409DEST_PATH_IMAGE071
以嘴角连线为轴,在所在抛物线上的旋转运动,
Figure 497176DEST_PATH_IMAGE074
为旋转的角度,其大小与点相对于已标定的各个特征点的位置有关:
Figure 201110136524X100002DEST_PATH_IMAGE075
        (2.13)
其中
Figure 829248DEST_PATH_IMAGE076
Figure 344543DEST_PATH_IMAGE071
点横坐标,其中点纵坐标。
Figure 514941DEST_PATH_IMAGE078
为以
Figure 320086DEST_PATH_IMAGE071
点所在抛物线为边界曲线作为参考,纵向位移的运动,可以通过抛物线运动得到,如附图20所示,下唇区域点的运动位移在竖直方向上的变化可表示为
Figure 150956DEST_PATH_IMAGE080
        (2.14)
其中为初始点坐标值。
上唇运动的旋转方向和平移方向与下唇的运动方向相反的,通过上述方法,即可以得到上唇的微向外旋转的角度和微向上运动的变化量。同样的模型也适用于闭唇的运动。
凸唇运动也是由旋转和平移构成的,但在运动的方向、幅度以及深度变化上有一些区别。在凸唇运动中,上下唇分别以各自唇区为边界,以嘴角点连线为轴,略微向外转动,且向前突出。因此,下唇区域中某一点
Figure 569299DEST_PATH_IMAGE071
的运动情况可以描述为:
Figure 65003DEST_PATH_IMAGE082
           (2.15)
其中
Figure 201110136524X100002DEST_PATH_IMAGE083
Figure 656521DEST_PATH_IMAGE084
的定义与开唇时类似;新加函数
Figure 201110136524X100002DEST_PATH_IMAGE085
Figure 554070DEST_PATH_IMAGE071
以唇区边缘边界线为参考,垂直于唇区平面向外方向,位移为
Figure 143314DEST_PATH_IMAGE086
的平移运动,
Figure 923051DEST_PATH_IMAGE086
的大小与撅嘴时口轮匝肌收缩变形的深度位移变化量相等(见附图18)。唇部运动模拟效果图见附图21。
3实验系统与面部表情动画的模拟
本发明系统对于硬件设备的要求较低,只要满足CPU的主频在500MHz以上、内存256MB以上,最好配置有3D显卡即可。软件环境为Windows XP/Windows Server 2003/Windows Vista RC1,集成开发环境为Visual Studio.NET 2008、DirectX SDK(2009 March)或者是Visual Studio.NET 2003、DirectX SDK(2006 August)。
本发明的实验系统将面部表情调控因素分为了三类,分别是:表情肌调节,嘴部运动以及眼球运动。系统界面见附图22,。通过调节表情肌及嘴、眼部的控制因子,可以得到所需要的面部表情,通过选定窗口左下部的表情选项,可以得到的6类面部基本表情:喜、哀、惊、惧、怒、厌。如附图23所示,所对应的面部表情控制因子如表1所示。
表1  六类基本表情控制因子对照表
Figure 131310DEST_PATH_IMAGE088
本发明使用渐变网格动画(即插值算法)来实现特定人脸的表情动画,原理比较简单。例如,对于场景内的某个网格模型,最初只记录了
Figure DEST_PATH_IMAGE089
时刻和时刻该网格模型的状态(即这两个时刻网格模型中所有顶点的位置)。对于
Figure 904685DEST_PATH_IMAGE090
这段时间内的任意时刻,根据该时刻距离
Figure 41268DEST_PATH_IMAGE089
Figure 710147DEST_PATH_IMAGE090
时刻的远近,实时地分配给这两个网格模型不同的权重,然后按照该顶点在这两个网格模型中的不同位置和它们各自的权重进行插值,计算出时刻整个网格模型中所有顶点的位置,从而实现动画效果。附图24、25为对所建分层模型分别进行的吃惊表情和眼球转动表情模拟的5帧动画序列。

Claims (4)

1.基于分层建模及多体驱动的三维人脸动画实现方法,其特征在于需要拍摄人脸自然放松状态、双眼正视前方、头部垂直地面时的正、侧面照片各一张,并对其进行预处理;所拍摄的照片背景需色调单一,以较好地分离人脸图像;所拍摄人脸部需无遮挡,以较好的定位面部特征点坐标;标准人脸柔性体皮肤网络模型——包含额头、面颊、鼻子、嘴唇,是利用人脸造型软件FaceGen产生的,共由1439个顶点、1476个多边形组成的较稠密三维人脸模型;具体操作步骤为:a.三维人脸建模,b.进行多体驱动。
2.根据权利要求1所述的基于分层建模及多体驱动的三维人脸动画实现方法,其特征在于所述步骤a的三维人脸建模采用分层人脸建模方法的具体步骤为:
a-1.对所述人脸照片进行特征点提取,变形标准人脸皮肤模型,获得个性化的人脸皮肤三角网格形变模型,同样地建立柔性体舌头、刚性体下颌骨及牙齿三角形网格形变模型与几何参数非形变模型,得到人脸特征点坐标;
a-2.根据步骤a-1得到的人脸特征点坐标,确定柔性体舌头、刚性体下颌骨及牙齿的几何大小和大致放置位置;
a-3.利用大小两个球体建模刚性体眼球,根据虹膜直径及大小两个球体的几何关系,确定眼球抽象模型;
a-4.将步骤a-1所得到的人脸特征点坐标,组合步骤a-1、a-2、a-3所得到的刚柔性体模型,得到真实感的个性化人脸三维分层模型;
a-5.根据步骤a-1得到的人脸特征点坐标,确定表情肌、咀嚼肌、眼外肌的起止点坐标,建立肌肉模型。
3.根据权利要求2所述的基于分层建模及多体驱动的三维人脸动画实现方法,其特征在于所述步骤b进行多体驱动是所建立的分层人脸模型基础上,利用不同的驱动方法对各刚柔性体部位进行多体驱动,其驱动程序步骤如下:
b-1确定窄线性肌、宽线性肌以及括约肌这三类肌肉的参数大小,利用肌肉收缩组合控制柔性体面部的表情运动;
b-2根据所建三维人脸模型的刚体眼球模型数据,确定眼外肌位置分布,眼球在六条眼外肌的旋转作用力控制下进行三维旋转运动;
b-3通过咀嚼肌控制所建立的下颌骨模型,进而直接控制嘴部的旋转、平移运动,确定嘴部皮肤点在其带动下的非线性关系;
b-4利用体积不变原理,改进Waters二维椭圆口轮匝肌为三维体结构,得到嘴部网格点变化量与口轮匝肌的厚度关系表达式;
b-5模拟唇部运动曲线,联合步骤b-3、b-4,通过参数函数控制唇区特征点的变化。
4.根据权利要求3所述的基于分层建模和多体驱动的三维人脸动画实现方法,其特征在于所述进行多体驱动的方法中,利用渐变网格插值技术,实现人脸表情动画。
CN201110136524XA 2011-05-25 2011-05-25 基于分层建模及多体驱动的三维人脸动画实现方法 Pending CN102157010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110136524XA CN102157010A (zh) 2011-05-25 2011-05-25 基于分层建模及多体驱动的三维人脸动画实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110136524XA CN102157010A (zh) 2011-05-25 2011-05-25 基于分层建模及多体驱动的三维人脸动画实现方法

Publications (1)

Publication Number Publication Date
CN102157010A true CN102157010A (zh) 2011-08-17

Family

ID=44438488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110136524XA Pending CN102157010A (zh) 2011-05-25 2011-05-25 基于分层建模及多体驱动的三维人脸动画实现方法

Country Status (1)

Country Link
CN (1) CN102157010A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077798A (zh) * 2014-07-01 2014-10-01 中国科学技术大学 一种可形变物体的高真实感动画合成方法
CN104463109A (zh) * 2014-11-24 2015-03-25 苏州福丰科技有限公司 一种基于玩具的三维人脸识别方法
CN105336000A (zh) * 2015-12-09 2016-02-17 新疆华德软件科技有限公司 基于旋转双曲面的虚拟人肢体建模方法
CN107203263A (zh) * 2017-04-11 2017-09-26 北京峰云视觉技术有限公司 一种虚拟现实眼镜系统及图像处理方法
CN108230438A (zh) * 2017-12-28 2018-06-29 清华大学 声音驱动辅助侧脸图像的人脸重建方法及装置
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技(深圳)有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN110111247A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
CN110136236A (zh) * 2019-05-17 2019-08-16 腾讯科技(深圳)有限公司 三维角色的个性化脸部显示方法、装置、设备及存储介质
WO2022135518A1 (zh) * 2020-12-25 2022-06-30 百果园技术(新加坡)有限公司 基于三维卡通模型的眼球配准方法、装置、服务器和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1940996A (zh) * 2005-09-29 2007-04-04 中国科学院自动化研究所 基于正交图像的快速个性化人脸建模方法
CN101339669A (zh) * 2008-07-29 2009-01-07 上海师范大学 基于正侧面影像的三维人脸建模方法
CN101930618A (zh) * 2010-08-20 2010-12-29 李浩民 一种个性化二维动漫的制作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1940996A (zh) * 2005-09-29 2007-04-04 中国科学院自动化研究所 基于正交图像的快速个性化人脸建模方法
CN101339669A (zh) * 2008-07-29 2009-01-07 上海师范大学 基于正侧面影像的三维人脸建模方法
CN101930618A (zh) * 2010-08-20 2010-12-29 李浩民 一种个性化二维动漫的制作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾丹: "虚拟人眼模型及其运动与表情的研究", 《中国博士学位论文全文数据库信息科技辑》, no. 6, 30 June 2009 (2009-06-30), pages 138 - 33 *
裴丽等: "人脸建模及嘴部驱动技术", 《电子测量技术》, vol. 33, no. 10, 31 October 2010 (2010-10-31), pages 22 - 25 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077798A (zh) * 2014-07-01 2014-10-01 中国科学技术大学 一种可形变物体的高真实感动画合成方法
CN104077798B (zh) * 2014-07-01 2017-05-03 中国科学技术大学 一种可形变物体的高真实感动画合成方法
CN104463109A (zh) * 2014-11-24 2015-03-25 苏州福丰科技有限公司 一种基于玩具的三维人脸识别方法
CN105336000A (zh) * 2015-12-09 2016-02-17 新疆华德软件科技有限公司 基于旋转双曲面的虚拟人肢体建模方法
CN107203263A (zh) * 2017-04-11 2017-09-26 北京峰云视觉技术有限公司 一种虚拟现实眼镜系统及图像处理方法
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技(深圳)有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
US11087519B2 (en) 2017-05-12 2021-08-10 Tencent Technology (Shenzhen) Company Limited Facial animation implementation method, computer device, and storage medium
CN108876879B (zh) * 2017-05-12 2022-06-14 腾讯科技(深圳)有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN108230438A (zh) * 2017-12-28 2018-06-29 清华大学 声音驱动辅助侧脸图像的人脸重建方法及装置
CN110111247A (zh) * 2019-05-15 2019-08-09 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
US11100709B2 (en) 2019-05-15 2021-08-24 Zhejiang Sensetime Technology Development Co., Ltd Method, apparatus and device for processing deformation of virtual object, and storage medium
CN110136236A (zh) * 2019-05-17 2019-08-16 腾讯科技(深圳)有限公司 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN110136236B (zh) * 2019-05-17 2022-11-29 腾讯科技(深圳)有限公司 三维角色的个性化脸部显示方法、装置、设备及存储介质
WO2022135518A1 (zh) * 2020-12-25 2022-06-30 百果园技术(新加坡)有限公司 基于三维卡通模型的眼球配准方法、装置、服务器和介质

Similar Documents

Publication Publication Date Title
CN102157010A (zh) 基于分层建模及多体驱动的三维人脸动画实现方法
Parke et al. Computer facial animation
CN103208133B (zh) 一种图像中人脸胖瘦的调整方法
Terzopoulos et al. Analysis and synthesis of facial image sequences using physical and anatomical models
Choe et al. Performance‐driven muscle‐based facial animation
CN109377544A (zh) 一种人脸三维图像生成方法、装置和可读介质
Wu et al. A dynamic wrinkle model in facial animation and skin ageing
CN103854306A (zh) 一种高真实感的动态表情建模方法
CN101533523A (zh) 一种虚拟人眼部运动控制方法
CN110443872B (zh) 一种具备动态纹理细节的表情合成方法
CN102129706A (zh) 一种虚拟人眼部情感表现模拟方法
Haber et al. Facial modeling and animation
Chin et al. Emotional intensity-based facial expression cloning for low polygonal applications
Bouzid et al. Synthesizing facial expressions for signing avatars using MPEG4 feature points
Fratarcangeli Computational models for animating 3d virtual faces
Yu et al. A vivid visual emotion synthesis system: From face to hair
Liu et al. Game asset considerations for facial animation
Huang et al. A novel approach of eye movement and LExpression
KR102652652B1 (ko) 아바타 생성 장치 및 방법
Kähler A Head Model with Anatomical Structure for Facial Modeling and Animation
Coull A physically-based muscle and skin model for facial animation
Sakaguchi et al. Analysis and synthesis of facial expression using high-definition wire frame model
Ismail Modelling facial action units using partial differential equations.
Shengming Research of 3D face reconstruction based on one image
Bai et al. Construction of virtual image synthesis module based on computer technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110817