CN100416612C - 基于视频流的三维动态人脸表情建模方法 - Google Patents
基于视频流的三维动态人脸表情建模方法 Download PDFInfo
- Publication number
- CN100416612C CN100416612C CNB2006100533938A CN200610053393A CN100416612C CN 100416612 C CN100416612 C CN 100416612C CN B2006100533938 A CNB2006100533938 A CN B2006100533938A CN 200610053393 A CN200610053393 A CN 200610053393A CN 100416612 C CN100416612 C CN 100416612C
- Authority
- CN
- China
- Prior art keywords
- dimensional
- frame
- centerdot
- face
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 230000008921 facial expression Effects 0.000 title claims description 27
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 17
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 6
- 230000014509 gene expression Effects 0.000 claims description 70
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 32
- 230000006835 compression Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 10
- 210000000887 face Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 241001417524 Pomacanthidae Species 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于视频流的三维动态人脸表情建模方法,能根据输入视频恢复出具有真实感的三维人脸表情,属于计算机视觉与图形学的交叉领域。算法步骤为:1)在输入视频首帧手工标注人脸特征点;2)采用仿射矫正的光流法对特征点进行跟踪;3)基于因子分解将二维跟踪数据重建为三维数据;4)使用重建的三维数据对一般人脸模型进行适配,生成个性化人脸以及动态表情运动;5)采用特征脸技术对原始视频进行压缩;6)利用特征脸重建输入视频,并进行动态纹理映射,合成具有真实感的视觉外观。本发明提供的三维人脸表情建模方法具有较高的时间/空间效率,在人机交互、动画制作以及游戏娱乐等方面具有较高实用价值。
Description
技术领域
本发明涉及计算机视觉与计算机图形学的交叉领域,尤其涉及一种基于视频流的三维动态人脸表情建模方法。
背景技术
个性化人脸建模以及真实感表情动画生成一直以来都是一个富有挑战性的课题,并被广泛应用于虚拟现实、电影制作、游戏娱乐等方面。自Parke[1]在1972年的开创性工作以来,人脸及表情建模方面的研究取得了很大进展。根据所需输入数据不同,,建模方式主要分为以下几类:基于捕获得到的三维样本数据建模;基于图像建模;基于视频流建模。Blanz等人[2]通过学习三维人脸库中的统计特征,根据一幅输入人脸图像来建立个性化人脸模型,,这需要使用昂贵的激光扫描设备预先扫描建立三维人脸库,且数据量太大,计算复杂度太高。Deng等人[3]通过捕获贴有标签的真实人脸运动来提取独立表情参数并合成表情,这同样需要较为昂贵的运动捕获设备,且必须在演员脸上做标记。文献[4,5,6,7]从图像中提取三维信息重建人脸模型,Pighin[4]使用多幅图片重建人脸模型,但必须在每幅图像上手工标记特征点,而且表情的生成也需要很多手工交互。文献[5]使用规范化正交图像对人脸建模并使用肌肉向量进行表情驱动,缺点是肌肉向量位置难以正确设置,而且正交约束过于严格,使方法缺乏推广性。文献[6]使用两幅正面图像对人脸建模,相机必须预先标定,而且重建的特征点比较少,仅对特征点插值生成人脸网格难以准确反映人脸局部特征。文献[7]同样采用正交图像,通过一个逐步求精的过程优化得到人脸模型,同样存在约束条件过于严格的缺点。Li Zhang等人[8]利用结构光,通过立体视觉方法从视频流重建人脸表情,这需要包括结构光投影仪在内的硬件设备,扫描得到的模型要进行繁琐的手工预处理,而且对环境光照要求较高。Zicheng Liu等人[9]提出的方法很有意义,即从未标定的视频流重建三维人脸模型,此方法对输入数据没有严格要求,但角点的检测和匹配本身不够鲁棒,容易受到光照的影响,这可能导致重建工作的失败。
传统的人脸动画方法主要考虑人脸模型的几何形变[5,6,7,9],纹理映射到模型顶点,因而当网格产生形变时,纹理也会随之伸展和扭曲,因此传统的纹理映射可看作是一种静态方法.然而人脸是高度非刚性表面,人脸表情不仅包含表面微小的几何形变(如皱纹),还包含肤色和神态的改变,而单纯从几何形变的角度出发很难对这些变化进行模拟.因此从这个意义上讲传统的纹理映射方法不足以产生具有高度真实感的人脸表情。
[1]Parke F.Computer generated animation of faces.Proceedings of the ACM Annual Conference,Boston,1972:451-457.
[2]Blanz V,Vetter T.A morphable model for the synthesis of 3D faces. Proceedings ofSIGGRAPH’99,Los Angeles,1999:187-194.
[3]Deng Z,Bulut M,Neumann U,Narayanan S.Automatic dynamic expression synthesis forspeech animation. Proceedings of IEEE Computer Animation and Social Agents,Geneva,2004:267-274.
[4]Pighin F,Hecker J,Lichinski D,Szeliski R,Salesin D.H.Synthesizing realistic facialexpressions from photographs.Proceedings of SIGGRAPH’98,Orlando,Florida,1998:75-84.
[5]Mei L,Bao HJ,Peng QS.Quick customization of particular human face and muscle-drivenexpression animation.Journal of Computer-Aided Design & Computer Graphics,2001,13(12):1077-1082.
[6]Wang K,Zheng NN.3D face modeling based on SFM algorithm.Chinese Journal of Computers,2005,28(6):1048-1053.
[7]Su CY,Zhuang YT,Huang L,Wu F.Analysis-by-synthesis approach for facial modeling basedon orthogonal images.Journal of Zhejiang University(Engineering Science),2005,39(2):175-179
[8]Li Zhang,Snavely N,Curless B,Seitz S.Spacetime faces:high resolution capture for modelingand animation.ACM Transactions on Graphics,2004,23(3):548-558.
[9]ZC Liu,ZY Zhang,Jacobs C,Cohen M.Rapid modeling of animated faces from video images.ACM Multimedia,Los Angeles,2000:475-476.
发明内容
本发明的目的在于提供一种基于视频流的三维动态人脸表情建模方法。
方法步骤为:
1)在输入的单目未标定视频首帧手工标注人脸特征点的位置;
2)采用仿射矫正的光流法对首帧标注的特征点进行跟踪,确定这些特征点在视频序列中每帧的位置变化情况;
3)采用基于因子分解的方法将二维跟踪数据恢复为三维运动数据;
4)将三维运动数据的前3帧取平均值,以这个平均值适配一个一般三维人脸模型从而产生个性化三维人脸模型;
5)使用其他三维运动数据驱动此个性化三维人脸模型,生成动态三维人脸表情;
6)采用基于特征脸的视频压缩方法对输入视频进行压缩,以较少存储空间;
7)使用特征脸重建输入视频,并结合二维跟踪数据对动态三维人脸自动进行动态纹理映射,生成具有真实感的三维人脸表情序列。
所述的人脸特征点:根据MPEG4标准的人脸形状定义参数和人脸动画参数进行设置,共有40个,分布在人脸轮廓、眼睛、嘴唇边缘等位置,不仅能够较好反映人脸拓扑形状,而且能够描述人脸表情运动,当人脸保持中立表情时大体上可以看作是刚体,此时特征点定义人脸形状特征;当人脸呈现表情运动时,特征点定义人脸动画参数。
仿射矫正的光流法:通过计算视频帧间的仿射变换来矫正传统光流跟踪方法的准确性;传统光流跟踪的目的是搜索偏移量使得与对应特征点相关邻域的匹配误差最小:给定两个相邻视频帧I1和I2,标记I1中某个特征点的位置为f=(u,v)T,标记光流为p=(pu,pv)T,则I2中对应特征点的位置为f+p;p可以通过最小化得到,其中T是一个以f为中心的正方形区域;然而当图像中人脸姿态和光照发生较大变化时,人脸中鼻尖、下巴和头顶的轮廓点的跟踪效果会很差,但眼角、发际、嘴和脸颊的轮廓点的跟踪效果依然很准确,因此定义P1 a和P2 a是I1和I2中准确跟踪的特征点,则根据假设,P1 a和P2 a间可用一个仿射变换w相互转换,P2 a=w·P1 a=A·P1 a+B;将w应用于I1中待矫正的特征点P1 ia得到Pw=w·P1 ia,设Po是P1 ia在I2中的传统光流法跟踪结果,则这些特征点的跟踪结果P可被矫正为P=argmin(|P-Po|2+| P-Pw|2),即利用Pw作为约束条件进一步对Po进行优化。
基于因子分解的方法:用弱透视投影模型模拟视频成像过程;根据此方法,非刚性物体形状看作一组形状基的加权线性组合,形状基是一组基本的三维形状,任意三维形状都可以由这组三维形状基组合而成;给定跟踪数据,每帧中的特征点可用弱透视投影模型描述如下:
其中F和N分别是帧数和特征点的数目,ef是非零的弱透视投影缩放因子,Sin...Skn是K个形状基,cfl...cfk是形状基的组合权重,tf是平移,Rf表示第f个相机投影矩阵的前两行,Pfn表示第f帧中的第n个特征点,则若将每帧中每个特征点的x、y坐标看作一个2×1矩阵,所有跟踪数据形成一个2F×K的矩阵P,并且P=M·S+T,其中M是广义相机投影矩阵,S是K个形状基,T是平移矩阵:
减去平移矩阵得到规范形式P=M·S,对P进行奇异值分解,得到P的阶数为3K的近似值 K可由rank(P)/3确定,这种分解不是唯一的,给定任意可逆3K×3K矩阵A, 均成立;因此当A为已知时,广义相机投影矩阵和形状基即可表示为 为计算A,首先利用投影矩阵的正交特性作为约束条件,令Q=A·AT,则 再令表示M的第i个2行子矩阵,根据投影矩阵的正交特性可得如下两个正交性约束条件: 接下来使用形状基约束条件消除正交约束条件在某些情况下的二义性,将A的第k个三列子矩阵表示为ak,对于每个Qk=akak T k=1,...,K,根据形状基间的独立关系设定另外一组形状基约束:
ω1={(i,j)|i=j=k} ω2={(i,j)|i=1,...,K,j=1,...,F,i≠k}
结合这两类约束条件正确求解Q,再经过奇异值分解得到A,M由得到,缩放因子e1,...,eF可看作是常数,因此广义相机投影矩阵可表示为 由于 是相机旋转矩阵的前两行,将M中表示第f帧的两行展开得到 调整元素位置得到新矩阵 此矩阵是列向量(cf1 1...cfK 1)T与行向量(rf1 rf2 rf3 rf4 rf5 rf6)的乘积;由此,每帧的相机投影矩阵和形状基组合权重可由mf 1经奇异值分解得到,欧氏空间中的三维形状也由此得出,此形状就是特征点三维坐标,计算出每帧特征点在欧氏空间中的三维坐标,实际上就得到了一组三维运动数据。
一般三维人脸模型:包括3000多个顶点,是由几个通过激光扫描得到的真实三维人脸经配准、精简并取平均值得到,能够描述人脸的精细结构特征,将三维运动数据前3帧取平均值,作为描述人脸形状的三维特征点,并在一般三维人脸上指定与三维特征点相同数目的特征顶点,定义特征顶点和特征点之间的偏移量为d,并用d与特征顶点训练径向基函数,以其余特征顶点输入训练好的径向基函数可以推出这些特征顶点的偏移,从而得到个性化三维人脸模型。
其他三维运动数据:在全部三维运动数据中除去用来定义人脸形状的前3帧数据,每帧表情驱动同样采用径向基函数进行。
基于特征脸的视频压缩方法:给定一段视频序列,假设视频序列包含F帧,每帧图像分辨率为R×C,把每帧图像的所有列叠放在一起将视频帧转化为一个R·C×1的列向量,因而视频序列转化为一个R·C×F的样本矩阵X,设X是样本均值,则规范化的样本为 为了处理维度过高带来的问题,采用QR解结合奇异值分解计算特征向量如下:
QR分解以数学上稳定的方式求解高维矩阵的特征向量;由以上三式得到特征向量U,U反映了样本空间内蕴涵的统计规律,我们称之为特征脸,给定任意视频帧f,将它投影到U上,得到一组投影系数y=UT·(f-X),则f可用特征脸和这组系数重建为 在视频传输时总共仅需传送样本均值,特征向量,每帧的投影系数,一般人脸模型以及三维特征点坐标,因此节省了存储空间。
动态纹理映射:将跟踪得到的每帧二维特征点位置坐标看作是三维人脸模型上预定义的一组特征顶点的纹理坐标,从而通过插值自动将从原始视频中提取出的人脸纹理信息逐帧映射至与每一视频帧对应的重建出的人脸模型;
动态纹理映射分为两个步骤:
1)全局纹理映射:
首先做出如下定义:
T=(un vn)T:每帧中特征点的坐标,其中n=1...N,N是特征点的数目;
Num:三维人脸模型中所有顶点的数目;
i:一系列事先指定的三维模型特征顶点的索引,i满足 且在整个过程中i保持不变;
P=(X[i]Y[i]Z[i])T:每帧三维模型中与图像特征点对应的特征顶点坐标;
进行全局纹理映射时,在首帧指定特征点和一些三维模型顶点的对应关系,在其后的每帧自动更新T和P并用T和P训练径向基函数进行插值映射;
2)局部纹理优化:全局纹理映射依赖于交互指定初始特征顶点,而手工指定的特征顶点未必是最优的,因此需要一个优化的过程找到准确的特征顶点;
为描述局部纹理优化,做出如下定义:
f:跟踪得到的一个二维特征点;
S:初始指定的特征顶点;
f1:S通过弱透视投影得到的二维特征点;
Δp:f和f1间的误差;
Iinput:输入视频帧;
Iproject:重建的带有纹理的三维模型通过弱透视投影得到的二维图像;
T:图像Iinput上以f为中心的正方形区域;
局部纹理优化由一个迭代的过程完成:
Loop
由Δp出发,经弱透视投影模型反向求得三维特征顶点的偏移ΔS;
更新S,使得S=S+ΔS;
重新进行全局纹理映射,更新Iproject;
Until S的变化小于某一阈值。
本发明基于视频流的三维人脸动态表情建模方法则摆脱了先验知识的束缚,能够从自然视频流(如影视作品)中重建出三维的人脸表情。与传统的光流跟踪方法相比,仿射矫正的光流跟踪法不需要任何训练数据,对图像灰度的变化较为鲁棒,且减少了光流算法的迭代次数,提高了算法的时间效率;相对于传统的纹理映射方法,动态纹理映射能产生更为真实和自然的表情效果;特征脸技术在保持图像质量的前提下有效的压缩了视频,减少了原始视频占用的存储空间。
表1指明了特征脸技术与MPEG-2压缩技术的压缩效率对比。进行视频压缩时根据原始视频的大小自由选择特征脸的数目,以便在压缩效率和图像质量之间做一个优化折中。表1中ef-5表示压缩时使用的特征脸是5个,其余以此类推。由表1可知MPEG-2技术的压缩效率恒定在60∶1左右,与待压缩视频大小无关,而特征脸技术的压缩效率随原始视频体积的增大而提高,对1000帧的视频使用MPEG-2技术可压缩至16.64MB,而使用特征脸技术(15个特征脸)则可压缩至14.83MB。这表明在某些应用场合中,特征脸技术与MPEG-2标准在压缩效率和图像质量方面比较接近,但特征脸技术比MPEG-2标准的压缩/解压缩算法更加简单。
表1 特征脸技术与MPEG-2技术的压缩效率对比
本发明能够快速有效地从单目未标定视频流中恢复三维动态人脸表情,且生成的表情真实自然并在时间域和空间域保持了较高效率,较之二维表情具有更丰富的表现力,在虚拟现实、人机交互、游戏娱乐以及影视动画创作等领域具有很好的实用价值。
附图说明
图1是基于视频流的三维动态人脸表情建模方法流程示意图;
图2是本发明的人脸特征点示意图;
图3是本发明中不需矫正即可准确跟踪的显著特征点;
图4是本发明的仿射矫正的光流跟踪效果与单纯的光流跟踪效果对比示意图;
图5是本发明的一般三维人脸模型与个性化三维人脸模型的对比,(a)(c)是一般人脸的正面与侧面视图,(b)(d)是个性化人脸的正面与侧面视图;
图6是本发明的描述了跟踪获得的表情视频帧和对应的具有表情形变的三维人脸模型,(a)(b)(c)分别是用仿射矫正光流法跟踪的愤怒、恐惧、惊讶表情,(d)(e)(f)是对应的模型形变;
图7是本发明的动态纹理映射与传统静态纹理映射效果对比示意图,(a)是动态纹理映射的效果,(b)是静态纹理映射的效果;
图8是不同的视频压缩方法对比示意图,(a)是原始视频帧,(b)是本发明中用5个特征脸重建的视频帧,(c)是用MPEG-2标准压缩的视频帧;
图9是本发明的三维动态表情建模的最终效果示意图,(a)(c)(e)是捕获得到的视频帧序列,分别为愤怒、惊讶及恐惧表情,(b)(d)(f)是对应的真实感动态三维表情序列。
具体实施方式
如图1所示,基于视频流的三维动态人脸表情建模方法实施如下:
第一步在未标定的单目视频首帧标注40个预先定义好的特征点,我们开发了一个交互式工具以供用户方便地用鼠标在视频首帧按照提示标注特征点;
第二步使用仿射矫正的光流方法对特征点进行鲁棒的跟踪,在光流跟踪中,两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点总能被准确跟踪,因此我们利用这8个特征点计算两帧之间的仿射变换,用此仿射变换来优化其余32个特征点的光流跟踪结果;
第三步采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果;
第四步中,我们使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点,以这些特征点对一般人脸模型进行变形得到个性化三维人脸模型。此变形基于径向基函数完成,径向基函数的核函数设为高斯函数,高斯函数的参数设为0.01;
第五步使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动,此变形同样用径向基函数实现;
第六步采用特征脸技术对输入视频进行压缩以节省存储空间,在使用特征脸技术时,特征脸的数目取决于输入视频的帧数,当用n个特征脸重建的视频帧与原始视频帧之间的误差小于某一阈值q时,n即为恰当的特征脸数目;
第七步中,动态纹理映射使用纹理变化而不是几何形变来模拟表情运动中人脸表面的细微变化,如皱纹和肤色变化等。“动态”指我们在三维动画的每一帧更新纹理,而不是在初始时一次性完成纹理映射。由于与静态图像相比,连续的视频流中蕴涵了丰富的表情细节信息,又因为重建三维人脸与原始视频流存在严格的逐帧对应关系,因此我们从输入视频流中逐帧提取纹理信息并映射至与这一帧对应的三维人脸。在进行动态纹理映射前根据40个特征点在三维人脸模型上预先指定40个初始三维特征顶点,前述40个特征点的坐标已在视频跟踪时获得且可看作是这组三维特征顶点的纹理坐标。如此建立一组三维特征顶点到二维图像的对应关系,由于跟踪数据是已知的,而且每帧重建出的人脸模型具有拓扑不变性,因此这组对应关系具有不变性,在每帧映射时只需要用此帧的特征点坐标和三维特征点坐标更新上一帧的值即可。在建立了这组离散的对应关系后,通过径向基函数插值获得稠密的三维顶点与纹理之间的对应关系,逐帧完成纹理映射。预先指定的三维特征顶点准确与否将影响动态纹理映射的效果,因此需要从初始三维特征顶点出发优化得到准确的三维特征顶点坐标,最终完成纹理映射,这是一个基于光流的迭代过程。
我们使用一个未标定的手持摄像机Sony HDV 1080i捕获了三种典型人脸表情,即愤怒、惊讶和恐惧,视频帧的分辨率达到了1920×1080像素。在第一步手工标注以后,其余步骤可以自动执行。图2是本发明定义的40个人脸特征点,图3是其中用来计算帧间仿射变换的8个准确跟踪的特征点,仿射矫正光流跟踪算法不需要任何训练数据,而且在水平/竖直旋转不超过30°的情况下依然有效,图4第一行是采用仿射矫正光流法的跟踪结果,第二行是单纯基于光流方法的跟踪结果。不难看出,单纯基于光流的方法在跟踪鼻尖以及下巴和头顶轮廓点时出现了错误,而仿射矫正的光流跟踪比较好的解决了这个问题,较之传统的光流跟踪方法,仿射矫正的光流跟踪方法更为准确。在视频拍摄中,我们提示演员先保持中性表情,然后依次分别表演愤怒、惊讶和恐惧,每种表情都包含一个动态的渐变过程,即从中性过渡到表情的最大幅度。由于前3帧中人脸呈现中性表情,因此三维特征点的坐标描述了人脸的形状特征,我们对前3帧特征点坐标取平均并用此平均值对一般人脸模型进行变形得到个性化人脸模型,图5是一般三维人脸模型与个性化三维人脸模型的对比示意图,(a)(c)是一般人脸的正面与侧面视图,(b)(d)是个性化人脸的正面与侧面视图。当人脸呈现表情运动时,重建的三维特征点可以很好的驱动个性化人脸模型,使之产生表情效果。我们使用基于径向基函数的插值方法进行驱动,在训练径向基函数时,没有直接使用重建的三维特征点坐标,而是使用每帧中三维特征点相对于第一帧中三维特征点的偏移量。在获得了指定顶点的偏移量后,径向基函数优化得到了其余顶点的偏移量,径向基函数驱动是以帧为单位逐帧进行的。图6描述了跟踪获得的表情视频帧和对应的具有表情形变的三维人脸模型,(a)(b)(c)是用仿射矫正光流法跟踪的三种典型表情(愤怒、恐惧、惊讶),(d)(e)(f)是对应的模型形变。与静态纹理映射相比,本发明涉及的动态纹理映射方法提供了更加自然的外观。将图7(a)与图7(b)进行对比,可以看出使用动态纹理映射时,鼻梁、下巴和鼻翼两侧都出现了非常明显的皱纹,这些表情细节特征是静态纹理无法表达的。将基于特征脸的压缩算法应用于原始视频序列,我们发现对于一段100帧左右的视频序列,仅需5个特征脸就可以很好的重建每帧画面,同时图像质量损失很小。将特征脸技术与MPEG-2技术分别应用于视频压缩,图像质量对比如图8所示,(a)是原始视频帧,(b)是用5个特征脸重建的视频帧,(c)是用MPEG-2标准压缩的视频帧。可以看出基于特征脸的视频压缩效果在图像质量方面很接近MPEG-2标准。
针对捕获的愤怒、惊讶和恐惧三种表情,我们分别进行了表情建模。
实施例1
愤怒表情的建模实施例:
步骤一:输入视频有100帧,在未标定的单目视频首帧标注40个预先定义好的特征点,特征点如图2所示;
步骤二:使用仿射矫正的光流方法对特征点进行鲁棒的跟踪,利用两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点计算两帧之间的仿射变换,用此仿射变换来优化其余32个特征点的光流跟踪结果;
步骤三:采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果;
步骤四:使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点,采用径向基函数,对一般人脸模型进行变形得到个性化三维人脸模型。径向基函数的核函数设为高斯函数,高斯函数的参数设为0.01;
步骤五:使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动,此变形同样用径向基函数实现;
步骤六:采用5个特征脸对输入视频进行压缩表示;
步骤七:基于特征脸的压缩表示逐帧重建原始输入视频,然后采用动态纹理映射技术将重建的视频帧逐帧映射至相应的具有表情运动的三维人脸模型,产生真实感愤怒表情序列;
本实例根据100帧视频重建出100帧动态三维人脸的愤怒表情序列,人脸表面的皱纹清晰可见,非常生动,具有丰富的表现力,可用于影视动画创作、游戏开发。
实施例2
惊讶表情的建模实施例:
步骤一:输入视频有80帧,在未标定的单目视频首帧标注40个预先定义好的特征点;
步骤二:使用仿射矫正的光流方法对特征点进行鲁棒的跟踪,利用两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点计算两帧之间的仿射变换,用此仿射变换来优化其余32个特征点的光流跟踪结果;
步骤三:采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果;
步骤四:使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点,采用径向基函数,对一般人脸模型进行变形得到个性化三维人脸模型。径向基函数的核函数设为高斯函数,高斯函数的参数设为0.05;
步骤五:使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动,此变形同样用径向基函数实现;
步骤六:采用5个特征脸对输入视频进行压缩表示;
步骤七:基于特征脸的压缩表示逐帧重建原始输入视频,然后采用动态纹理映射技术将重建的视频帧逐帧映射至相应的具有表情运动的三维人脸模型,产生真实感惊讶表情序列;
本实例根据80帧视频重建出80帧动态三维人脸的惊讶表情序列,人脸表面的光照效果较为明显,惊讶表情较为生动,可用于影视动画创作、游戏开发。
实施例3
恐惧表情的建模实施例:
步骤一:输入视频有100帧,在未标定的单目视频首帧标注40个预先定义好的特征点;
步骤二:使用仿射矫正的光流方法对特征点进行鲁棒的跟踪,利用两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点计算两帧之间的仿射变换,用此仿射变换来优化其余32个特征点的光流跟踪结果;
步骤三:采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果;
步骤四:使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点,采用径向基函数,对一般人脸模型进行变形得到个性化三维人脸模型。径向基函数的核函数设为高斯函数,高斯函数的参数设为0.03;
步骤五:使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动,此变形同样用径向基函数实现;
步骤六:采用5个特征脸对输入视频进行压缩表示;
步骤七:基于特征脸的压缩表示逐帧重建原始输入视频,然后采用动态纹理映射技术将重建的视频帧逐帧映射至相应的具有表情运动的三维人脸模型,产生真实感恐惧表情序列;
本实例根据100帧视频重建出100帧动态三维人脸的恐惧表情序列,人脸表情细节较为生动,充分体现出人物内心的紧张状态,可用于影视动画创作、游戏开发以及人机交互。
最终效果如图9所示。图9是三维动态表情建模的最终效果示意图,(a)(c)(e)是捕获得到的视频帧序列,分别为愤怒、惊讶及恐惧表情,(b)(d)(f)是对应的真实感动态三维表情序列。对于一段100帧的视频序列,整个重建过程在一台Pentium-IV 2.4 GHZ的电脑上大约需要7-8分钟时间。本发明对输入视频没有特别限制,不仅能产生具有相当真实感的三维人脸表情序列,而且在时间域和空间域上都保持了较高的性能。目前已进入数字化时代,数字视频、数字通讯、数字图书馆等新事物层出不穷,在此背景下本方法以视频为素材进行虚拟环境中的人物角色表情制作,符合时代发展的潮流,具有广泛应用前景,尤其在人机交互、动画制作和游戏娱乐等领域有着较高实用价值。
Claims (7)
1. 一种基于视频流的三维动态人脸表情建模方法,其特征在于方法的步骤为:
1)在输入的单目未标定视频首帧手工标注人脸特征点的位置;
2)采用仿射矫正的光流法对首帧标注的特征点进行跟踪,确定这些特征点在视频序列中每帧的位置变化情况;
3)采用基于因子分解的方法将二维跟踪数据恢复为三维运动数据;
4)将三维运动数据的前3帧取平均值,以这个平均值适配一个一般三维人脸模型从而产生个性化三维人脸模型;
5)使用其他三维运动数据驱动此个性化三维人脸模型,生成动态三维人脸表情;
6)采用基于特征脸的视频压缩方法对输入视频进行压缩,以较少存储空间;
7)使用特征脸重建输入视频,并结合二维跟踪数据对动态三维人脸自动进行动态纹理映射,生成具有真实感的三维人脸表情序列;
所述的基于因子分解的方法:用弱透视投影模型模拟视频成像过程;根据此方法,非刚性物体形状看作一组形状基的加权线性组合,形状基是一组基本的三维形状,任意三维形状都可以由这组三维形状基组合而成;给定跟踪数据,每帧中的特征点可用弱透视投影模型描述如下:
其中F和N分别是帧数和特征点的数目,ef是非零的弱透视投影缩放因子,S1n...SKn是K个形状基,Cf1...cfK是形状基的组合权重,tf是平移,Rf表示第f个相机投影矩阵的前两行,Pfn表示第f帧中的第n个特征点,则若将每帧中每个特征点的x、y坐标看作一个2×1矩阵,所有跟踪数据形成一个2F×K的矩阵P,并且P=M·S+T,其中M是广义相机投影矩阵,S是K个形状基,T是平移矩阵:
减去平移矩阵得到规范形式P=M·S,对R进行奇异值分解,得到P的阶数为3K的近似值 K由rank(P)/3确定,这种分解不是唯一的,给定任意可逆3K×3K矩阵A, 均成立;因此当A为已知时,广义相机投影矩阵和形状基即可表示为 为计算A,首先利用投影矩阵的正交特性作为约束条件,令Q=A·AT,则 再令表示的第i个2行子矩阵,根据投影矩阵的正交特性可得如下两个正交性约束条件: 接下来使用形状基约束条件消除正交约束条件的二义性,将A的第k个三列子矩阵表示为ak,对于每个Qk=akak Tk=1,...,K,根据形状基间的独立关系设定另外一组形状基约束:
ω1={(i,j)|i=j=k} ω2={(i,j)|i=1,...,K,j=1,...,F,i≠k}
2. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法,其特征在于所述的人脸特征点:根据MPEG4标准的人脸形状定义参数和人脸动画参数进行设置,共有40个,分布在人脸轮廓、眼睛、嘴唇边缘位置,当人脸保持中立表情时可以看作是刚体,此时特征点定义人脸形状特征;当人脸呈现表情运动时,特征点定义人脸动画参数。
3. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法,其特征在于所述的仿射矫正的光流法:通过计算视频帧间的仿射变换来矫正传统光流跟踪方法的准确性;传统光流跟踪的目的是搜索偏移量使得与对应特征点相关邻域的匹配误差最小:给定两个相邻视频帧I1和I2,标记I1中某个特征点的位置为f=(u,v)T,标记光流为p=(pu,pv)T,则I2中对应特征点的位置为f+p;p可以通过最小化 得到,其中T是一个以f为中心的正方形区域;然而当图像中人脸姿态和光照发生较大变化时,人脸中鼻尖、下巴和头顶的轮廓点的跟踪效果会很差,但眼角、发际、嘴和脸颊的轮廓点的跟踪效果依然很准确,因此定义P1 a和P2 a是I1和I2中准确跟踪的特征点,则根据假设,P1 a和P2 a间用一个仿射变换w相互转换,P2 a=w·P1 a=A·P1 a+B;将w应用于I1中待矫正的特征点P1 ia得到Pw=w·P1 ia,设Po是P1 ia在I2中的传统光流法跟踪结果,则这些特征点的跟踪结果P可被矫正为P=argmin(|P-Po|2+|P-Pw|2),即利用Pw作为约束条件进一步对Po进行优化。
4. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法,其特征在于所述的一般三维人脸模型:包括3000个顶点,是由几个通过激光扫描得到的真实三维人脸经配准、精简并取平均值得到,能够描述人脸的精细结构特征,将三维运动数据前3帧取平均值,作为描述人脸形状的三维特征点,并在一般三维人脸上指定与三维特征点相同数目的特征顶点,定义特征顶点和特征点之间的偏移量为d,并用d与特征顶点训练径向基函数,以其余特征顶点输入训练好的径向基函数推出这些特征顶点的偏移,从而得到个性化三维人脸模型。
5. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法,其特征在于所述的其他三维运动数据:在全部三维运动数据中除去用来定义人脸形状的前3帧数据,每帧表情驱动同样采用径向基函数进行。
6. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法,其特征在于所述的基于特征脸的视频压缩方法:给定一段视频序列,假设视频序列包含F帧,每帧图像分辨率为R×C,把每帧图像的所有列叠放在一起将视频帧转化为一个R·C×1的列向量,因而视频序列转化为一个R·C×F的样本矩阵X,设X是样本均值,则规范化的样本为 为了处理维度过高带来的问题,采用QR分解结合奇异值分解计算特征向量如下:
QR分解以数学上稳定的方式求解高维矩阵的特征向量;由以上三式得到特征向量U,U反映了样本空间内蕴涵的统计规律,我们称之为特征脸,给定任意视频帧f,将它投影到U上,得到一组投影系数y=UT·(f-X),则f可用特征脸和这组系数重建为 在视频传输时总共仅需传送样本均值,特征向量,每帧的投影系数,一般人脸模型以及三维特征点坐标,因此节省了存储空间。
7. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法,其特征在于所述的动态纹理映射:将跟踪得到的每帧二维特征点位置坐标看作是三维人脸模型上预定义的一组特征顶点的纹理坐标,从而通过插值自动将从原始视频中提取出的人脸纹理信息逐帧映射至与每一视频帧对应的重建出的人脸模型;
动态纹理映射分为两个步骤:
1)全局纹理映射:
首先做出如下定义:
T=(un vn)T:每帧中特征点的坐标,其中n=1...N,N是特征点的数目;Num:三维人脸模型中所有顶点的数目;
i:一系列事先指定的三维模型特征顶点的索引,i满足 且在整个过程中i保持不变;
P=(X[i]Y[i]Z[i])T:每帧三维模型中与图像特征点对应的特征顶点坐标;
进行全局纹理映射时,在首帧指定特征点和一些三维模型顶点的对应关系,在其后的每帧自动更新T和P并用T和P训练径向基函数进行插值映射;
2)局部纹理优化:全局纹理映射依赖于交互指定初始特征顶点,而手工指定的特征顶点未必是最优的,因此需要一个优化的过程找到准确的特征顶点;
为描述局部纹理优化,做出如下定义:
f:跟踪得到的一个二维特征点;
S:初始指定的特征顶点;
f1:S通过弱透视投影得到的二维特征点;
Δp:f和f1间的误差;
Iinput:输入视频帧;
Iproject:重建的带有纹理的三维模型通过弱透视投影得到的二维图像;
T:图像Iinput上以f为中心的正方形区域;
局部纹理优化由一个迭代的过程完成:
Loop
由Δp出发,经弱透视投影模型反向求得三维特征顶点的偏移ΔS;
更新S,使得S=S+ΔS;
重新进行全局纹理映射,更新Iproject;
UntilS的变化小于某一阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100533938A CN100416612C (zh) | 2006-09-14 | 2006-09-14 | 基于视频流的三维动态人脸表情建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100533938A CN100416612C (zh) | 2006-09-14 | 2006-09-14 | 基于视频流的三维动态人脸表情建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1920886A CN1920886A (zh) | 2007-02-28 |
CN100416612C true CN100416612C (zh) | 2008-09-03 |
Family
ID=37778605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006100533938A Expired - Fee Related CN100416612C (zh) | 2006-09-14 | 2006-09-14 | 基于视频流的三维动态人脸表情建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100416612C (zh) |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101657839B (zh) * | 2007-03-23 | 2013-02-06 | 汤姆森许可贸易公司 | 用于对2d图像进行区域分类以进行2d至3d转换的系统和方法 |
CN101312524B (zh) * | 2007-05-23 | 2010-06-23 | 财团法人工业技术研究院 | 利用光迹分析的移动物体侦测装置与方法 |
JP4964057B2 (ja) * | 2007-08-08 | 2012-06-27 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法及びプログラム |
CN101183462B (zh) * | 2007-12-12 | 2011-08-31 | 腾讯科技(深圳)有限公司 | 一种卡通形象的生成、嵌入方法及系统 |
CN101625768B (zh) * | 2009-07-23 | 2011-11-09 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
CN101894377B (zh) * | 2010-06-07 | 2012-09-05 | 中国科学院计算技术研究所 | 三维标记点序列的跟踪方法及其系统 |
CN101976453A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种基于gpu的三维人脸表情合成方法 |
CN101976455B (zh) * | 2010-10-08 | 2012-02-01 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
US9330483B2 (en) | 2011-04-11 | 2016-05-03 | Intel Corporation | Avatar facial expression techniques |
CN102254336B (zh) * | 2011-07-14 | 2013-01-16 | 清华大学 | 人脸视频合成方法及装置 |
CN102254308B (zh) * | 2011-07-27 | 2013-01-30 | 清华大学 | 一种真实感场景插值的计算方法及系统 |
CN104170318B (zh) | 2012-04-09 | 2018-06-01 | 英特尔公司 | 使用交互化身的通信 |
WO2013152454A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | System and method for avatar management and selection |
CN103377367B (zh) * | 2012-04-28 | 2018-11-09 | 南京中兴新软件有限责任公司 | 面部图像的获取方法及装置 |
CN102970510B (zh) * | 2012-11-23 | 2015-04-15 | 清华大学 | 人脸视频传输方法 |
CN102970542B (zh) | 2012-11-30 | 2015-06-10 | 上海晨思电子科技有限公司 | 一种视频数据转换的方法、装置和智能电视 |
CN103198519A (zh) * | 2013-03-15 | 2013-07-10 | 苏州跨界软件科技有限公司 | 虚拟人物照相系统系统和方法 |
WO2014194439A1 (en) | 2013-06-04 | 2014-12-11 | Intel Corporation | Avatar-based video encoding |
DE102014110349A1 (de) * | 2013-08-09 | 2015-02-12 | Samsung Electronics Co., Ltd. | Hybride visuelle Kommunikation |
CN103985156B (zh) * | 2014-05-22 | 2017-07-21 | 华为技术有限公司 | 三维图像生成方法及装置 |
CN104318234B (zh) * | 2014-10-23 | 2017-06-16 | 东南大学 | 一种采用点云数据表示的人脸皱纹三维提取方法及其设备 |
GB201419438D0 (en) * | 2014-10-31 | 2014-12-17 | Microsoft Corp | Modifying video call data |
US9830728B2 (en) | 2014-12-23 | 2017-11-28 | Intel Corporation | Augmented facial animation |
CN104899921B (zh) * | 2015-06-04 | 2017-12-22 | 杭州电子科技大学 | 基于多模态自编码模型的单视角视频人体姿态恢复方法 |
CN104915978B (zh) * | 2015-06-18 | 2018-04-03 | 天津大学 | 基于体感相机Kinect的真实感动画生成方法 |
CN105338369A (zh) * | 2015-10-28 | 2016-02-17 | 北京七维视觉科技有限公司 | 一种在视频中实时合成动画的方法和装置 |
CN105427385B (zh) * | 2015-12-07 | 2018-03-27 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
US10475225B2 (en) | 2015-12-18 | 2019-11-12 | Intel Corporation | Avatar animation system |
CN105678702B (zh) * | 2015-12-25 | 2018-10-19 | 北京理工大学 | 一种基于特征跟踪的人脸图像序列生成方法及装置 |
CN106327482B (zh) * | 2016-08-10 | 2019-01-22 | 东方网力科技股份有限公司 | 一种基于大数据的面部表情的重建方法及装置 |
CN108021847B (zh) * | 2016-11-02 | 2021-09-14 | 佳能株式会社 | 用于识别脸部表情的装置和方法、图像处理装置和系统 |
CN108229239B (zh) * | 2016-12-09 | 2020-07-10 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
CN107169529B (zh) * | 2017-06-07 | 2021-08-13 | 南京京君海网络科技有限公司 | 一种非刚性物体运动结构恢复方法 |
CN107592449B (zh) * | 2017-08-09 | 2020-05-19 | Oppo广东移动通信有限公司 | 三维模型建立方法、装置和移动终端 |
CN107610209A (zh) * | 2017-08-17 | 2018-01-19 | 上海交通大学 | 人脸表情合成方法、装置、存储介质和计算机设备 |
CN107622511A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
CN107704854A (zh) * | 2017-09-21 | 2018-02-16 | 苏州轩明视测控科技有限公司 | 一种基于光流场的印刷字符缺陷的检测方法 |
CN108053434B (zh) * | 2017-12-28 | 2021-11-26 | 中科微光医疗研究中心(西安)有限公司 | 一种基于心血管oct的支架对齐方法及装置 |
CN108537881B (zh) | 2018-04-18 | 2020-04-03 | 腾讯科技(深圳)有限公司 | 一种人脸模型处理方法及其设备、存储介质 |
CN109087340A (zh) * | 2018-06-04 | 2018-12-25 | 成都通甲优博科技有限责任公司 | 一种包含尺度信息的人脸三维重建方法及系统 |
CN108830894B (zh) * | 2018-06-19 | 2020-01-17 | 亮风台(上海)信息科技有限公司 | 基于增强现实的远程指导方法、装置、终端和存储介质 |
CN109035516A (zh) * | 2018-07-25 | 2018-12-18 | 深圳市飞瑞斯科技有限公司 | 控制智能锁的方法、装置、设备及存储介质 |
CN109271950B (zh) * | 2018-09-28 | 2021-02-05 | 广州云从人工智能技术有限公司 | 一种基于手机前视摄像头的人脸活体检测方法 |
CN109215061B (zh) * | 2018-11-06 | 2022-04-19 | 广东工业大学 | 一种人脸毛孔跟踪方法及系统 |
CN109711335A (zh) * | 2018-12-26 | 2019-05-03 | 北京百度网讯科技有限公司 | 通过人体特征对目标图片进行驱动的方法及装置 |
CN110189404B (zh) * | 2019-05-31 | 2023-04-07 | 重庆大学 | 基于真实人脸图像的虚拟面部建模方法 |
CN110807364B (zh) * | 2019-09-27 | 2022-09-30 | 中国科学院计算技术研究所 | 三维人脸与眼球运动的建模与捕获方法及系统 |
CN111161395B (zh) * | 2019-11-19 | 2023-12-08 | 深圳市三维人工智能科技有限公司 | 一种人脸表情的跟踪方法、装置及电子设备 |
CN111798551B (zh) * | 2020-07-20 | 2024-06-04 | 网易(杭州)网络有限公司 | 虚拟表情生成方法及装置 |
CN112734895B (zh) * | 2020-12-30 | 2024-07-05 | 科大讯飞股份有限公司 | 一种三维人脸处理方法及电子设备 |
CN115335865A (zh) * | 2021-01-07 | 2022-11-11 | 广州视源电子科技股份有限公司 | 虚拟图像构建方法、装置、设备及存储介质 |
CN112887633B (zh) * | 2021-01-14 | 2023-06-20 | 四川航天神坤科技有限公司 | 一种基于摄像头的视频拼接和三维监控显示方法及系统 |
CN112767453B (zh) * | 2021-01-29 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 人脸跟踪方法、装置、电子设备及存储介质 |
CN113066155A (zh) * | 2021-03-23 | 2021-07-02 | 华强方特(深圳)动漫有限公司 | 一种3d表情处理方法及装置 |
CN113343761A (zh) * | 2021-05-06 | 2021-09-03 | 武汉理工大学 | 一种基于生成对抗的实时人脸表情迁移方法 |
CN118411453B (zh) * | 2024-07-03 | 2024-09-03 | 紫光摩度教育科技有限公司 | 一种数字人全息互动方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208357B1 (en) * | 1998-04-14 | 2001-03-27 | Avid Technology, Inc. | Method and apparatus for creating and animating characters having associated behavior |
CN1404016A (zh) * | 2002-10-18 | 2003-03-19 | 清华大学 | 融合多视角、多线索二维信息的人脸三维模型的建立方法 |
US6552729B1 (en) * | 1999-01-08 | 2003-04-22 | California Institute Of Technology | Automatic generation of animation of synthetic characters |
-
2006
- 2006-09-14 CN CNB2006100533938A patent/CN100416612C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208357B1 (en) * | 1998-04-14 | 2001-03-27 | Avid Technology, Inc. | Method and apparatus for creating and animating characters having associated behavior |
US6552729B1 (en) * | 1999-01-08 | 2003-04-22 | California Institute Of Technology | Automatic generation of animation of synthetic characters |
CN1404016A (zh) * | 2002-10-18 | 2003-03-19 | 清华大学 | 融合多视角、多线索二维信息的人脸三维模型的建立方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1920886A (zh) | 2007-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100416612C (zh) | 基于视频流的三维动态人脸表情建模方法 | |
Zuffi et al. | Lions and tigers and bears: Capturing non-rigid, 3d, articulated shape from images | |
Ichim et al. | Dynamic 3D avatar creation from hand-held video input | |
Magnenat-Thalmann et al. | Handbook of virtual humans | |
CN109584353A (zh) | 一种基于单目视频重建三维人脸表情模型的方法 | |
Cao et al. | Facewarehouse: A 3d facial expression database for visual computing | |
Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
Sharma et al. | 3d face reconstruction in deep learning era: A survey | |
CN103733226B (zh) | 快速的有关节运动的跟踪 | |
Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
CN102402691A (zh) | 一种对人脸姿态和动作进行跟踪的方法 | |
Cong | Art-directed muscle simulation for high-end facial animation | |
Jain et al. | Three-dimensional proxies for hand-drawn characters | |
Zhu et al. | Champ: Controllable and consistent human image animation with 3d parametric guidance | |
Habermann et al. | A deeper look into deepcap | |
Hilsmann et al. | Going beyond free viewpoint: creating animatable volumetric video of human performances | |
Jain et al. | Leveraging the talent of hand animators to create three-dimensional animation | |
Milosevic et al. | A SmartPen for 3D interaction and sketch-based surface modeling | |
Li et al. | Three-dimensional motion estimation via matrix completion | |
CN117557755A (zh) | 虚拟场景中师生化身服饰可视化方法及系统 | |
Hou et al. | A study on the realization of virtual simulation face based on artificial intelligence | |
Morgenstern et al. | Animatable Virtual Humans: Learning pose-dependent human representations in UV space for interactive performance synthesis | |
Jain et al. | Augmenting Hand Animation with Three-dimensional Secondary Motion. | |
Yoon | Metaverse in the Wild: Modeling, Adapting, and Rendering of 3D Human Avatars from a Single Camera | |
CN110097644A (zh) | 一种基于混合现实的表情迁移方法、装置、系统和处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080903 Termination date: 20120914 |