CN100416612C - 基于视频流的三维动态人脸表情建模方法 - Google Patents

Abstract

本发明公开了一种基于视频流的三维动态人脸表情建模方法，能根据输入视频恢复出具有真实感的三维人脸表情，属于计算机视觉与图形学的交叉领域。算法步骤为：1)在输入视频首帧手工标注人脸特征点；2)采用仿射矫正的光流法对特征点进行跟踪；3)基于因子分解将二维跟踪数据重建为三维数据；4)使用重建的三维数据对一般人脸模型进行适配，生成个性化人脸以及动态表情运动；5)采用特征脸技术对原始视频进行压缩；6)利用特征脸重建输入视频，并进行动态纹理映射，合成具有真实感的视觉外观。本发明提供的三维人脸表情建模方法具有较高的时间/空间效率，在人机交互、动画制作以及游戏娱乐等方面具有较高实用价值。

Description

基于视频流的三维动态人脸表情建模方法

技术领域

本发明涉及计算机视觉与计算机图形学的交叉领域，尤其涉及一种基于视频流的三维动态人脸表情建模方法。

背景技术

个性化人脸建模以及真实感表情动画生成一直以来都是一个富有挑战性的课题，并被广泛应用于虚拟现实、电影制作、游戏娱乐等方面。自Parke[1]在1972年的开创性工作以来，人脸及表情建模方面的研究取得了很大进展。根据所需输入数据不同，，建模方式主要分为以下几类：基于捕获得到的三维样本数据建模；基于图像建模；基于视频流建模。Blanz等人[2]通过学习三维人脸库中的统计特征，根据一幅输入人脸图像来建立个性化人脸模型，，这需要使用昂贵的激光扫描设备预先扫描建立三维人脸库，且数据量太大，计算复杂度太高。Deng等人[3]通过捕获贴有标签的真实人脸运动来提取独立表情参数并合成表情，这同样需要较为昂贵的运动捕获设备，且必须在演员脸上做标记。文献[4，5，6，7]从图像中提取三维信息重建人脸模型，Pighin[4]使用多幅图片重建人脸模型，但必须在每幅图像上手工标记特征点，而且表情的生成也需要很多手工交互。文献[5]使用规范化正交图像对人脸建模并使用肌肉向量进行表情驱动，缺点是肌肉向量位置难以正确设置，而且正交约束过于严格，使方法缺乏推广性。文献[6]使用两幅正面图像对人脸建模，相机必须预先标定，而且重建的特征点比较少，仅对特征点插值生成人脸网格难以准确反映人脸局部特征。文献[7]同样采用正交图像，通过一个逐步求精的过程优化得到人脸模型，同样存在约束条件过于严格的缺点。Li Zhang等人[8]利用结构光，通过立体视觉方法从视频流重建人脸表情，这需要包括结构光投影仪在内的硬件设备，扫描得到的模型要进行繁琐的手工预处理，而且对环境光照要求较高。Zicheng Liu等人[9]提出的方法很有意义，即从未标定的视频流重建三维人脸模型，此方法对输入数据没有严格要求，但角点的检测和匹配本身不够鲁棒，容易受到光照的影响，这可能导致重建工作的失败。

传统的人脸动画方法主要考虑人脸模型的几何形变[5，6，7，9]，纹理映射到模型顶点，因而当网格产生形变时，纹理也会随之伸展和扭曲，因此传统的纹理映射可看作是一种静态方法.然而人脸是高度非刚性表面，人脸表情不仅包含表面微小的几何形变(如皱纹)，还包含肤色和神态的改变，而单纯从几何形变的角度出发很难对这些变化进行模拟.因此从这个意义上讲传统的纹理映射方法不足以产生具有高度真实感的人脸表情。

[1]Parke F.Computer generated animation of faces.Proceedings of the ACM Annual Conference，Boston，1972：451-457.

[2]Blanz V，Vetter T.A morphable model for the synthesis of 3D faces. Proceedings ofSIGGRAPH’99，Los Angeles，1999：187-194.

[3]Deng Z，Bulut M，Neumann U，Narayanan S.Automatic dynamic expression synthesis forspeech animation. Proceedings of IEEE Computer Animation and Social Agents，Geneva，2004：267-274.

[4]Pighin F，Hecker J，Lichinski D，Szeliski R，Salesin D.H.Synthesizing realistic facialexpressions from photographs.Proceedings of SIGGRAPH’98，Orlando，Florida，1998：75-84.

[5]Mei L，Bao HJ，Peng QS.Quick customization of particular human face and muscle-drivenexpression animation.Journal of Computer-Aided Design & Computer Graphics，2001，13(12)：1077-1082.

[6]Wang K，Zheng NN.3D face modeling based on SFM algorithm.Chinese Journal of Computers，2005，28(6)：1048-1053.

[7]Su CY，Zhuang YT，Huang L，Wu F.Analysis-by-synthesis approach for facial modeling basedon orthogonal images.Journal of Zhejiang University(Engineering Science)，2005，39(2)：175-179

[8]Li Zhang，Snavely N，Curless B，Seitz S.Spacetime faces：high resolution capture for modelingand animation.ACM Transactions on Graphics，2004，23(3)：548-558.

[9]ZC Liu，ZY Zhang，Jacobs C，Cohen M.Rapid modeling of animated faces from video images.ACM Multimedia，Los Angeles，2000：475-476.

发明内容

本发明的目的在于提供一种基于视频流的三维动态人脸表情建模方法。

方法步骤为：

1)在输入的单目未标定视频首帧手工标注人脸特征点的位置；

2)采用仿射矫正的光流法对首帧标注的特征点进行跟踪，确定这些特征点在视频序列中每帧的位置变化情况；

3)采用基于因子分解的方法将二维跟踪数据恢复为三维运动数据；

4)将三维运动数据的前3帧取平均值，以这个平均值适配一个一般三维人脸模型从而产生个性化三维人脸模型；

5)使用其他三维运动数据驱动此个性化三维人脸模型，生成动态三维人脸表情；

6)采用基于特征脸的视频压缩方法对输入视频进行压缩，以较少存储空间；

7)使用特征脸重建输入视频，并结合二维跟踪数据对动态三维人脸自动进行动态纹理映射，生成具有真实感的三维人脸表情序列。

所述的人脸特征点：根据MPEG4标准的人脸形状定义参数和人脸动画参数进行设置，共有40个，分布在人脸轮廓、眼睛、嘴唇边缘等位置，不仅能够较好反映人脸拓扑形状，而且能够描述人脸表情运动，当人脸保持中立表情时大体上可以看作是刚体，此时特征点定义人脸形状特征；当人脸呈现表情运动时，特征点定义人脸动画参数。

仿射矫正的光流法：通过计算视频帧间的仿射变换来矫正传统光流跟踪方法的准确性；传统光流跟踪的目的是搜索偏移量使得与对应特征点相关邻域的匹配误差最小：给定两个相邻视频帧I₁和I₂，标记I₁中某个特征点的位置为f＝(u，v)^T，标记光流为p＝(p_u，p_v)^T，则I₂中对应特征点的位置为f+p；p可以通过最小化

得到，其中T是一个以f为中心的正方形区域；然而当图像中人脸姿态和光照发生较大变化时，人脸中鼻尖、下巴和头顶的轮廓点的跟踪效果会很差，但眼角、发际、嘴和脸颊的轮廓点的跟踪效果依然很准确，因此定义P₁ ^a和P₂ ^a是I₁和I₂中准确跟踪的特征点，则根据假设，P₁ ^a和P₂ ^a间可用一个仿射变换w相互转换，P₂ ^a＝w·P₁ ^a＝A·P₁ ^a+B；将w应用于I₁中待矫正的特征点P₁ ^ia得到P_w＝w·P₁ ^ia，设P_o是P₁ ^ia在I₂中的传统光流法跟踪结果，则这些特征点的跟踪结果P可被矫正为P＝argmin(|P-P_o|²+| P-P_w|²)，即利用P_w作为约束条件进一步对P_o进行优化。

基于因子分解的方法：用弱透视投影模型模拟视频成像过程；根据此方法，非刚性物体形状看作一组形状基的加权线性组合，形状基是一组基本的三维形状，任意三维形状都可以由这组三维形状基组合而成；给定跟踪数据，每帧中的特征点可用弱透视投影模型描述如下：

$P_{\mathrm{fn}}={(x,y)}_{\mathrm{fn}}^T=[e_f{c}_{f1}{R}_f...e_f{c}_{\mathrm{fK}}{R}_f]\·{[S_{1n}...S_{\mathrm{Kn}}]}^T+t_f$ f＝1，...，F  n＝1，...，N

其中F和N分别是帧数和特征点的数目，e_f是非零的弱透视投影缩放因子，S_in...S_kn是K个形状基，c_fl...c_fk是形状基的组合权重，t_f是平移，R_f表示第f个相机投影矩阵的前两行，P_fn表示第f帧中的第n个特征点，则若将每帧中每个特征点的x、y坐标看作一个2×1矩阵，所有跟踪数据形成一个2F×K的矩阵P，并且P＝M·S+T，其中M是广义相机投影矩阵，S是K个形状基，T是平移矩阵：

$M=\left[\begin{array}{ccc}{e}_1{c}_{11}{R}_1& \·\·\·& e_1{c}_{1K}{R}_1\\ \·\·\·& \·\·\·& \·\·\·\\ e_F{c}_{F1}{R}_F& \·\·\·& e_F{c}_{\mathrm{FK}}{R}_F\end{array}\right],S=\left[\begin{array}{ccc}{S}_{11}& \·\·\·& S_{1N}\\ \·\·\·& \·\·\·& \·\·\·\\ S_{K1}& \·\·\·& S_{\mathrm{KN}}\end{array}\right]$

减去平移矩阵得到规范形式P＝M·S，对P进行奇异值分解，得到P的阶数为3K的近似值 $\tilde{P}=\tilde{M}\·\tilde{S},$ K可由rank(P)/3确定，这种分解不是唯一的，给定任意可逆3K×3K矩阵A， $\tilde{P}=\tilde{M}A\·A^{-1}\tilde{S}$ 均成立；因此当A为已知时，广义相机投影矩阵和形状基即可表示为 $M=\tilde{M}\·A,$ $S=A^{-1}\·\tilde{S},$ 为计算A，首先利用投影矩阵的正交特性作为约束条件，令Q＝A·A^T，则 ${\mathrm{MM}}^T=\tilde{M}Q{\tilde{M}}^T,$ 再令表示M的第i个2行子矩阵，根据投影矩阵的正交特性可得如下两个正交性约束条件： ${\tilde{M}}_{2\·i-1}Q{{\tilde{M}}_{2\·i-1}}^T={\tilde{M}}_{2\·i}Q{{\tilde{M}}_{2\·i}}^T,$ ${\tilde{M}}_{2\·i-1}Q{{\tilde{M}}_{2\·i}}^T=0;$ 接下来使用形状基约束条件消除正交约束条件在某些情况下的二义性，将A的第k个三列子矩阵表示为a_k，对于每个Q_k＝a_ka_k ^T k＝1，...，K，根据形状基间的独立关系设定另外一组形状基约束：

${\tilde{M}}_{2\·i-1}{Q}_k{{\tilde{M}}_{2\·j-1}}^T=1,(i,j)\∈{\mathrm{\ω}}_1$ ${\tilde{M}}_{2\·i-1}{Q}_k{{\tilde{M}}_{2\·j-1}}^T=0,(i,j)\∈{\mathrm{\ω}}_2$

${\tilde{M}}_{2\·i}{Q}_k{{\stackrel{\‾}{M}}_{2\·j}}^T=1,(i,j)\∈{\mathrm{\ω}}_1$ ${\tilde{M}}_{2\·i}{Q}_k{{\tilde{M}}_{2\·j}}^T=0,(i,j)\∈{\mathrm{\ω}}_2$

${\tilde{M}}_{2\·i-1}{Q}_k{{\tilde{M}}_{2\·j}}^T=0,(i,j)\∈{\mathrm{\ω}}_1\∪{\mathrm{\ω}}_2$ ${\stackrel{\‾}{M}}_{2\·i}{Q}_k{{\tilde{M}}_{2\·j-1}}^T=0,(i,j)\∈{\mathrm{\ω}}_1\∪{\mathrm{\ω}}_2$

ω₁＝{(i，j)|i＝j＝k}  ω₂＝{(i，j)|i＝1，...，K，j＝1，...，F，i≠k}

结合这两类约束条件正确求解Q，再经过奇异值分解得到A，M由

得到，缩放因子e₁，...，e_F可看作是常数，因此广义相机投影矩阵可表示为 $M=\left[\begin{array}{ccc}{c_{11}}^1{R}_1& \·\·\·& {c_{1K}}^1{R}_1\\ \·\·\·& \·\·\·& \·\·\·\\ {c_{F1}}^1{R}_F& \·\·\·& {c_{\mathrm{FK}}}^1{R}_F\end{array}\right];$ 由于 $R_f=\left[\begin{array}{ccc}{r}_{f1}& r_{f2}& r_{f3}\\ r_{f4}& r_{f5}& r_{f6}\end{array}\right],f=1,...,F$ 是相机旋转矩阵的前两行，将M中表示第f帧的两行展开得到 $m_f=\left[\begin{array}{ccccccc}{c_{f1}}^1{r}_{f1}& {c_{f1}}^1{r}_{f2}& {c_{f1}}^1{r}_{f3}& \·\·\·& {c_{\mathrm{fK}}}^1{r}_{f1}& {c_{\mathrm{fK}}}^1{r}_{f2}& {c_{\mathrm{fK}}}^1{r}_{f3}\\ {c_{f1}}^1{r}_{f4}& {c_{f1}}^1{r}_{f5}& {c_{f1}}^1{r}_{f6}& \·\·\·& {c_{\mathrm{fK}}}^1{r}_{f4}& {c_{\mathrm{fK}}}^1{r}_{f5}& {c_{\mathrm{fK}}}^1{r}_{f6}\end{array}\right],$ 调整元素位置得到新矩阵 ${m_f}^1=\left[\begin{array}{ccccccc}{c_{f1}}^1{r}_{f1}& {c_{f1}}^1{r}_{f2}& {c_{f1}}^1{r}_{f3}& & {c_{f1}}^1{r}_{f4}& {c_{f1}}^1{r}_{f5}& {c_{f1}}^1{r}_{f6}\\ & & & \·\·\·& & & \\ {c_{\mathrm{fK}}}^1{r}_{f1}& {c_{\mathrm{fK}}}^1{r}_{f2}& {c_{\mathrm{fK}}}^1{r}_{f3}& & {c_{\mathrm{fK}}}^1{r}_{f4}& {c_{\mathrm{fK}}}^1{r}_{f5}& {c_{\mathrm{fK}}}^1{r}_{f6}\end{array}\right],$ 此矩阵是列向量(c_f1 ¹...c_fK ¹)^T与行向量(r_f1 r_f2 r_f3 r_f4 r_f5 r_f6)的乘积；由此，每帧的相机投影矩阵和形状基组合权重可由m_f ¹经奇异值分解得到，欧氏空间中的三维形状也由此得出，此形状就是特征点三维坐标，计算出每帧特征点在欧氏空间中的三维坐标，实际上就得到了一组三维运动数据。

一般三维人脸模型：包括3000多个顶点，是由几个通过激光扫描得到的真实三维人脸经配准、精简并取平均值得到，能够描述人脸的精细结构特征，将三维运动数据前3帧取平均值，作为描述人脸形状的三维特征点，并在一般三维人脸上指定与三维特征点相同数目的特征顶点，定义特征顶点和特征点之间的偏移量为d，并用d与特征顶点训练径向基函数，以其余特征顶点输入训练好的径向基函数可以推出这些特征顶点的偏移，从而得到个性化三维人脸模型。

其他三维运动数据：在全部三维运动数据中除去用来定义人脸形状的前3帧数据，每帧表情驱动同样采用径向基函数进行。

基于特征脸的视频压缩方法：给定一段视频序列，假设视频序列包含F帧，每帧图像分辨率为R×C，把每帧图像的所有列叠放在一起将视频帧转化为一个R·C×1的列向量，因而视频序列转化为一个R·C×F的样本矩阵X，设X是样本均值，则规范化的样本为 $\tilde{X}=(X-\stackrel{\‾}{X})/F^{1/2};$ 为了处理维度过高带来的问题，采用QR解结合奇异值分解计算特征向量如下：

$[q,r]=\mathrm{QR}\left(\tilde{X}\right)$ [u，s，v]＝SVD(r)    U＝q·u

QR分解以数学上稳定的方式求解高维矩阵的特征向量；由以上三式得到特征向量U，U反映了样本空间内蕴涵的统计规律，我们称之为特征脸，给定任意视频帧f，将它投影到U上，得到一组投影系数y＝U^T·(f-X)，则f可用特征脸和这组系数重建为 $\tilde{f}=U\·y+\stackrel{\‾}{X};$ 在视频传输时总共仅需传送样本均值，特征向量，每帧的投影系数，一般人脸模型以及三维特征点坐标，因此节省了存储空间。

动态纹理映射：将跟踪得到的每帧二维特征点位置坐标看作是三维人脸模型上预定义的一组特征顶点的纹理坐标，从而通过插值自动将从原始视频中提取出的人脸纹理信息逐帧映射至与每一视频帧对应的重建出的人脸模型；

动态纹理映射分为两个步骤：

1)全局纹理映射：

首先做出如下定义：

T＝(u_n v_n)^T：每帧中特征点的坐标，其中n＝1...N，N是特征点的数目；

Num：三维人脸模型中所有顶点的数目；

i：一系列事先指定的三维模型特征顶点的索引，i满足 $\left\{i\right|(i\⋐\{1,...,\mathrm{num}\left\}\right)\∩\left(\right|i|=N)\}$ 且在整个过程中i保持不变；

P＝(X[i]Y[i]Z[i])T：每帧三维模型中与图像特征点对应的特征顶点坐标；

进行全局纹理映射时，在首帧指定特征点和一些三维模型顶点的对应关系，在其后的每帧自动更新T和P并用T和P训练径向基函数进行插值映射；

2)局部纹理优化：全局纹理映射依赖于交互指定初始特征顶点，而手工指定的特征顶点未必是最优的，因此需要一个优化的过程找到准确的特征顶点；

为描述局部纹理优化，做出如下定义：

f：跟踪得到的一个二维特征点；

S：初始指定的特征顶点；

f¹：S通过弱透视投影得到的二维特征点；

Δp：f和f¹间的误差；

I_input：输入视频帧；

I_project：重建的带有纹理的三维模型通过弱透视投影得到的二维图像；

T：图像I_input上以f为中心的正方形区域；

局部纹理优化由一个迭代的过程完成：

Loop

$\mathrm{\Δp}=\arg \min \underset{f_i\∈T}{\mathrm{\Σ}}{\left|\right|I_{\mathrm{input}}\left(f_i\right)-I_{\mathrm{project}}(f_i+\mathrm{\Δp})\left|\right|}^2;$

由Δp出发，经弱透视投影模型反向求得三维特征顶点的偏移ΔS；

更新S，使得S＝S+ΔS；

重新进行全局纹理映射，更新I_project；

Until S的变化小于某一阈值。

本发明基于视频流的三维人脸动态表情建模方法则摆脱了先验知识的束缚，能够从自然视频流(如影视作品)中重建出三维的人脸表情。与传统的光流跟踪方法相比，仿射矫正的光流跟踪法不需要任何训练数据，对图像灰度的变化较为鲁棒，且减少了光流算法的迭代次数，提高了算法的时间效率；相对于传统的纹理映射方法，动态纹理映射能产生更为真实和自然的表情效果；特征脸技术在保持图像质量的前提下有效的压缩了视频，减少了原始视频占用的存储空间。

表1指明了特征脸技术与MPEG-2压缩技术的压缩效率对比。进行视频压缩时根据原始视频的大小自由选择特征脸的数目，以便在压缩效率和图像质量之间做一个优化折中。表1中ef-5表示压缩时使用的特征脸是5个，其余以此类推。由表1可知MPEG-2技术的压缩效率恒定在60∶1左右，与待压缩视频大小无关，而特征脸技术的压缩效率随原始视频体积的增大而提高，对1000帧的视频使用MPEG-2技术可压缩至16.64MB，而使用特征脸技术(15个特征脸)则可压缩至14.83MB。这表明在某些应用场合中，特征脸技术与MPEG-2标准在压缩效率和图像质量方面比较接近，但特征脸技术比MPEG-2标准的压缩/解压缩算法更加简单。

表1  特征脸技术与MPEG-2技术的压缩效率对比

本发明能够快速有效地从单目未标定视频流中恢复三维动态人脸表情，且生成的表情真实自然并在时间域和空间域保持了较高效率，较之二维表情具有更丰富的表现力，在虚拟现实、人机交互、游戏娱乐以及影视动画创作等领域具有很好的实用价值。

附图说明

图1是基于视频流的三维动态人脸表情建模方法流程示意图；

图2是本发明的人脸特征点示意图；

图3是本发明中不需矫正即可准确跟踪的显著特征点；

图4是本发明的仿射矫正的光流跟踪效果与单纯的光流跟踪效果对比示意图；

图5是本发明的一般三维人脸模型与个性化三维人脸模型的对比，(a)(c)是一般人脸的正面与侧面视图，(b)(d)是个性化人脸的正面与侧面视图；

图6是本发明的描述了跟踪获得的表情视频帧和对应的具有表情形变的三维人脸模型，(a)(b)(c)分别是用仿射矫正光流法跟踪的愤怒、恐惧、惊讶表情，(d)(e)(f)是对应的模型形变；

图7是本发明的动态纹理映射与传统静态纹理映射效果对比示意图，(a)是动态纹理映射的效果，(b)是静态纹理映射的效果；

图8是不同的视频压缩方法对比示意图，(a)是原始视频帧，(b)是本发明中用5个特征脸重建的视频帧，(c)是用MPEG-2标准压缩的视频帧；

图9是本发明的三维动态表情建模的最终效果示意图，(a)(c)(e)是捕获得到的视频帧序列，分别为愤怒、惊讶及恐惧表情，(b)(d)(f)是对应的真实感动态三维表情序列。

具体实施方式

如图1所示，基于视频流的三维动态人脸表情建模方法实施如下：

第一步在未标定的单目视频首帧标注40个预先定义好的特征点，我们开发了一个交互式工具以供用户方便地用鼠标在视频首帧按照提示标注特征点；

第二步使用仿射矫正的光流方法对特征点进行鲁棒的跟踪，在光流跟踪中，两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点总能被准确跟踪，因此我们利用这8个特征点计算两帧之间的仿射变换，用此仿射变换来优化其余32个特征点的光流跟踪结果；

第三步采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果；

第四步中，我们使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点，以这些特征点对一般人脸模型进行变形得到个性化三维人脸模型。此变形基于径向基函数完成，径向基函数的核函数设为高斯函数，高斯函数的参数设为0.01；

第五步使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动，此变形同样用径向基函数实现；

第六步采用特征脸技术对输入视频进行压缩以节省存储空间，在使用特征脸技术时，特征脸的数目取决于输入视频的帧数，当用n个特征脸重建的视频帧与原始视频帧之间的误差小于某一阈值q时，n即为恰当的特征脸数目；

第七步中，动态纹理映射使用纹理变化而不是几何形变来模拟表情运动中人脸表面的细微变化，如皱纹和肤色变化等。“动态”指我们在三维动画的每一帧更新纹理，而不是在初始时一次性完成纹理映射。由于与静态图像相比，连续的视频流中蕴涵了丰富的表情细节信息，又因为重建三维人脸与原始视频流存在严格的逐帧对应关系，因此我们从输入视频流中逐帧提取纹理信息并映射至与这一帧对应的三维人脸。在进行动态纹理映射前根据40个特征点在三维人脸模型上预先指定40个初始三维特征顶点，前述40个特征点的坐标已在视频跟踪时获得且可看作是这组三维特征顶点的纹理坐标。如此建立一组三维特征顶点到二维图像的对应关系，由于跟踪数据是已知的，而且每帧重建出的人脸模型具有拓扑不变性，因此这组对应关系具有不变性，在每帧映射时只需要用此帧的特征点坐标和三维特征点坐标更新上一帧的值即可。在建立了这组离散的对应关系后，通过径向基函数插值获得稠密的三维顶点与纹理之间的对应关系，逐帧完成纹理映射。预先指定的三维特征顶点准确与否将影响动态纹理映射的效果，因此需要从初始三维特征顶点出发优化得到准确的三维特征顶点坐标，最终完成纹理映射，这是一个基于光流的迭代过程。

我们使用一个未标定的手持摄像机Sony HDV 1080i捕获了三种典型人脸表情，即愤怒、惊讶和恐惧，视频帧的分辨率达到了1920×1080像素。在第一步手工标注以后，其余步骤可以自动执行。图2是本发明定义的40个人脸特征点，图3是其中用来计算帧间仿射变换的8个准确跟踪的特征点，仿射矫正光流跟踪算法不需要任何训练数据，而且在水平/竖直旋转不超过30°的情况下依然有效，图4第一行是采用仿射矫正光流法的跟踪结果，第二行是单纯基于光流方法的跟踪结果。不难看出，单纯基于光流的方法在跟踪鼻尖以及下巴和头顶轮廓点时出现了错误，而仿射矫正的光流跟踪比较好的解决了这个问题，较之传统的光流跟踪方法，仿射矫正的光流跟踪方法更为准确。在视频拍摄中，我们提示演员先保持中性表情，然后依次分别表演愤怒、惊讶和恐惧，每种表情都包含一个动态的渐变过程，即从中性过渡到表情的最大幅度。由于前3帧中人脸呈现中性表情，因此三维特征点的坐标描述了人脸的形状特征，我们对前3帧特征点坐标取平均并用此平均值对一般人脸模型进行变形得到个性化人脸模型，图5是一般三维人脸模型与个性化三维人脸模型的对比示意图，(a)(c)是一般人脸的正面与侧面视图，(b)(d)是个性化人脸的正面与侧面视图。当人脸呈现表情运动时，重建的三维特征点可以很好的驱动个性化人脸模型，使之产生表情效果。我们使用基于径向基函数的插值方法进行驱动，在训练径向基函数时，没有直接使用重建的三维特征点坐标，而是使用每帧中三维特征点相对于第一帧中三维特征点的偏移量。在获得了指定顶点的偏移量后，径向基函数优化得到了其余顶点的偏移量，径向基函数驱动是以帧为单位逐帧进行的。图6描述了跟踪获得的表情视频帧和对应的具有表情形变的三维人脸模型，(a)(b)(c)是用仿射矫正光流法跟踪的三种典型表情(愤怒、恐惧、惊讶)，(d)(e)(f)是对应的模型形变。与静态纹理映射相比，本发明涉及的动态纹理映射方法提供了更加自然的外观。将图7(a)与图7(b)进行对比，可以看出使用动态纹理映射时，鼻梁、下巴和鼻翼两侧都出现了非常明显的皱纹，这些表情细节特征是静态纹理无法表达的。将基于特征脸的压缩算法应用于原始视频序列，我们发现对于一段100帧左右的视频序列，仅需5个特征脸就可以很好的重建每帧画面，同时图像质量损失很小。将特征脸技术与MPEG-2技术分别应用于视频压缩，图像质量对比如图8所示，(a)是原始视频帧，(b)是用5个特征脸重建的视频帧，(c)是用MPEG-2标准压缩的视频帧。可以看出基于特征脸的视频压缩效果在图像质量方面很接近MPEG-2标准。

针对捕获的愤怒、惊讶和恐惧三种表情，我们分别进行了表情建模。

实施例1

愤怒表情的建模实施例：

步骤一：输入视频有100帧，在未标定的单目视频首帧标注40个预先定义好的特征点，特征点如图2所示；

步骤二：使用仿射矫正的光流方法对特征点进行鲁棒的跟踪，利用两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点计算两帧之间的仿射变换，用此仿射变换来优化其余32个特征点的光流跟踪结果；

步骤三：采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果；

步骤四：使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点，采用径向基函数，对一般人脸模型进行变形得到个性化三维人脸模型。径向基函数的核函数设为高斯函数，高斯函数的参数设为0.01；

步骤五：使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动，此变形同样用径向基函数实现；

步骤六：采用5个特征脸对输入视频进行压缩表示；

步骤七：基于特征脸的压缩表示逐帧重建原始输入视频，然后采用动态纹理映射技术将重建的视频帧逐帧映射至相应的具有表情运动的三维人脸模型，产生真实感愤怒表情序列；

本实例根据100帧视频重建出100帧动态三维人脸的愤怒表情序列，人脸表面的皱纹清晰可见，非常生动，具有丰富的表现力，可用于影视动画创作、游戏开发。

实施例2

惊讶表情的建模实施例：

步骤一：输入视频有80帧，在未标定的单目视频首帧标注40个预先定义好的特征点；

步骤二：使用仿射矫正的光流方法对特征点进行鲁棒的跟踪，利用两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点计算两帧之间的仿射变换，用此仿射变换来优化其余32个特征点的光流跟踪结果；

步骤三：采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果；

步骤四：使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点，采用径向基函数，对一般人脸模型进行变形得到个性化三维人脸模型。径向基函数的核函数设为高斯函数，高斯函数的参数设为0.05；

步骤五：使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动，此变形同样用径向基函数实现；

步骤六：采用5个特征脸对输入视频进行压缩表示；

步骤七：基于特征脸的压缩表示逐帧重建原始输入视频，然后采用动态纹理映射技术将重建的视频帧逐帧映射至相应的具有表情运动的三维人脸模型，产生真实感惊讶表情序列；

本实例根据80帧视频重建出80帧动态三维人脸的惊讶表情序列，人脸表面的光照效果较为明显，惊讶表情较为生动，可用于影视动画创作、游戏开发。

实施例3

恐惧表情的建模实施例：

步骤一：输入视频有100帧，在未标定的单目视频首帧标注40个预先定义好的特征点；

步骤二：使用仿射矫正的光流方法对特征点进行鲁棒的跟踪，利用两侧嘴角、双眼的内外侧眼角和两侧鬓角这8个特征点计算两帧之间的仿射变换，用此仿射变换来优化其余32个特征点的光流跟踪结果；

步骤三：采用基于因子分解的算法恢复特征点三维坐标并对一般人脸变形得到个性化人脸模型和表情效果；

步骤四：使用前3帧三维特征点坐标的平均值作为描述特定人脸形状的三维特征点，采用径向基函数，对一般人脸模型进行变形得到个性化三维人脸模型。径向基函数的核函数设为高斯函数，高斯函数的参数设为0.03；

步骤五：使用连续的三维特征点坐标对个性化三维人脸模型进行逐帧的变形以产生连续表情运动，此变形同样用径向基函数实现；

步骤六：采用5个特征脸对输入视频进行压缩表示；

步骤七：基于特征脸的压缩表示逐帧重建原始输入视频，然后采用动态纹理映射技术将重建的视频帧逐帧映射至相应的具有表情运动的三维人脸模型，产生真实感恐惧表情序列；

本实例根据100帧视频重建出100帧动态三维人脸的恐惧表情序列，人脸表情细节较为生动，充分体现出人物内心的紧张状态，可用于影视动画创作、游戏开发以及人机交互。

最终效果如图9所示。图9是三维动态表情建模的最终效果示意图，(a)(c)(e)是捕获得到的视频帧序列，分别为愤怒、惊讶及恐惧表情，(b)(d)(f)是对应的真实感动态三维表情序列。对于一段100帧的视频序列，整个重建过程在一台Pentium-IV 2.4 GHZ的电脑上大约需要7-8分钟时间。本发明对输入视频没有特别限制，不仅能产生具有相当真实感的三维人脸表情序列，而且在时间域和空间域上都保持了较高的性能。目前已进入数字化时代，数字视频、数字通讯、数字图书馆等新事物层出不穷，在此背景下本方法以视频为素材进行虚拟环境中的人物角色表情制作，符合时代发展的潮流，具有广泛应用前景，尤其在人机交互、动画制作和游戏娱乐等领域有着较高实用价值。

Claims (7)

1. 一种基于视频流的三维动态人脸表情建模方法，其特征在于方法的步骤为：

1)在输入的单目未标定视频首帧手工标注人脸特征点的位置；

2)采用仿射矫正的光流法对首帧标注的特征点进行跟踪，确定这些特征点在视频序列中每帧的位置变化情况；

3)采用基于因子分解的方法将二维跟踪数据恢复为三维运动数据；

4)将三维运动数据的前3帧取平均值，以这个平均值适配一个一般三维人脸模型从而产生个性化三维人脸模型；

5)使用其他三维运动数据驱动此个性化三维人脸模型，生成动态三维人脸表情；

6)采用基于特征脸的视频压缩方法对输入视频进行压缩，以较少存储空间；

7)使用特征脸重建输入视频，并结合二维跟踪数据对动态三维人脸自动进行动态纹理映射，生成具有真实感的三维人脸表情序列；

所述的基于因子分解的方法：用弱透视投影模型模拟视频成像过程；根据此方法，非刚性物体形状看作一组形状基的加权线性组合，形状基是一组基本的三维形状，任意三维形状都可以由这组三维形状基组合而成；给定跟踪数据，每帧中的特征点可用弱透视投影模型描述如下：

$P_{\mathrm{fn}}={(x,y)}_{\mathrm{fn}}^T=[e_f{c}_{f1}{R}_f...e_f{c}_{\mathrm{fK}}{R}_f]\·{[S_{1n}...S_{\mathrm{Kn}}]}^T+t_f,f=1,...,F,n=1,...,N$

其中F和N分别是帧数和特征点的数目，e_f是非零的弱透视投影缩放因子，S_1n...S_Kn是K个形状基，C_f1...c_fK是形状基的组合权重，t_f是平移，R_f表示第f个相机投影矩阵的前两行，P_fn表示第f帧中的第n个特征点，则若将每帧中每个特征点的x、y坐标看作一个2×1矩阵，所有跟踪数据形成一个2F×K的矩阵P，并且P＝M·S+T，其中M是广义相机投影矩阵，S是K个形状基，T是平移矩阵：

$M=\left[\begin{array}{ccc}{e}_1{c}_{11}{R}_1& ...& e_1{c}_{1K}{R}_1\\ ...& ...& ...\\ e_F{c}_{F1}{R}_F& ...& e_F{c}_{\mathrm{FK}}{R}_F\end{array}\right],$ $S=\left[\begin{array}{ccc}{S}_{11}& ...& S_{1N}\\ ...& ...& ...\\ S_{K1}& ...& S_{\mathrm{KN}}\end{array}\right]$

减去平移矩阵得到规范形式P＝M·S，对R进行奇异值分解，得到P的阶数为3K的近似值 $\tilde{P}=\tilde{M}\·\tilde{S},$ K由rank(P)/3确定，这种分解不是唯一的，给定任意可逆3K×3K矩阵A， $\tilde{P}=\tilde{M}A\·A^{-1}\tilde{S}$ 均成立；因此当A为已知时，广义相机投影矩阵和形状基即可表示为 $M=\tilde{M}\·A,$ $S=A^{-1}\·\tilde{S},$ 为计算A，首先利用投影矩阵的正交特性作为约束条件，令Q＝A·A^T，则 ${\mathrm{MM}}^T=\tilde{M}Q{\tilde{M}}^T,$ 再令表示

的第i个2行子矩阵，根据投影矩阵的正交特性可得如下两个正交性约束条件： ${\tilde{M}}_{2\·i-1}Q{{\tilde{M}}_{2\·i-1}}^T={\tilde{M}}_{2\·i}Q{{\tilde{M}}_{2\·i}}^T,$ ${\tilde{M}}_{2\·i-1}Q{{\tilde{M}}_{2\·i}}^T=0;$ 接下来使用形状基约束条件消除正交约束条件的二义性，将A的第k个三列子矩阵表示为a_k，对于每个Q_k＝a_ka_k ^Tk＝1，...，K，根据形状基间的独立关系设定另外一组形状基约束：

${\tilde{M}}_{2\·i-1}{Q}_k{{\tilde{M}}_{2\·j-1}}^T=1,(i,j)\∈{\mathrm{\ω}}_1$ ${\tilde{M}}_{2\·i-1}{Q}_k{{\tilde{M}}_{2\·j-1}}^T=0,(i,j)\∈{\mathrm{\ω}}_2$

${\tilde{M}}_{2\·i}{Q}_k{{\tilde{M}}_{2\·j}}^T=1,(i,j)\∈{\mathrm{\ω}}_1$ ${\tilde{M}}_{2\·i}{Q}_k{{\tilde{M}}_{2\·j}}^T=0,(i,j)\∈{\mathrm{\ω}}_2$

${\tilde{M}}_{2\·i-1}{Q}_k{{\tilde{M}}_{2\·j}}^T=0,(i,j)\∈{\mathrm{\ω}}_1\∪{\mathrm{\ω}}_2$ ${\tilde{M}}_{2\·i}{Q}_k{{\tilde{M}}_{2\·j-1}}^T=0,(i,j)\∈{\mathrm{\ω}}_1\∪{\mathrm{\ω}}_2$

ω₁＝{(i，j)|i＝j＝k}       ω₂＝{(i，j)|i＝1，...，K，j＝1，...，F，i≠k}

结合这两类约束条件正确求解Q，再经过奇异值分解得到A，M由

得到，缩放因子e₁，...，e_F可看作是常数，因此广义相机投影矩阵可表示为 $M=\left[\begin{array}{ccc}{c_{11}}^1{R}_1& ...& {c_{1K}}^1{R}_1\\ ...& ...& ...\\ {c_{F1}}^1{R}_F& ...& {c_{\mathrm{FK}}}^1{R}_F\end{array}\right];$ 由于 $R_f=\left[\begin{array}{ccc}{r}_{f1}& r_{f2}& r_{f3}\\ r_{f4}& r_{f5}& r_{f6}\end{array}\right]$ f＝1，...，F是相机旋转矩阵的前两行，将M中表示第f帧的两行展开得到 $m_f=\left[\begin{array}{ccccccc}{c_{f1}}^1{r}_{f1}& {c_{f1}}^1{f}_2& {c_{f1}}^1{r}_{f3}& ...& {c_{\mathrm{fK}}}^1{r}_{f1}& {c_{\mathrm{fK}}}^1{r}_{f2}& {c_{\mathrm{fK}}}^1{r}_{f3}\\ {c_{f1}}^1{r}_{f4}& {c_{f1}}^1{r}_{f5}& {c_{f1}}^1{r}_{f6}& ...& {c_{\mathrm{fK}}}^1{r}_{f4}& {c_{\mathrm{fK}}}^1{r}_{f5}& {c_{\mathrm{fK}}}^1{r}_{f6}\end{array}\right],$ 调整元素位置得到新矩阵 ${m_f}^1=\left[\begin{array}{cccccc}{c_{f1}}^1{r}_{f1}& {c_{f1}}^1{r}_{f2}& {c_{f1}}^1{r}_{f3}& {c_{f1}}^1{r}_{f4}& {c_{f1}}^1{r}_{f5}& {c_{f1}}^1{r}_{f6}\\ ...& & & & & \\ {c_{\mathrm{fK}}}^1{r}_{f1}& {c_{\mathrm{fK}}}^1{r}_{f2}& {c_{\mathrm{fK}}}^1{r}_{f3}& {c_{\mathrm{fK}}}^1{r}_{f4}& {c_{\mathrm{fK}}}^1{r}_{f5}& {c_{\mathrm{fK}}}^1{r}_{f6}\end{array}\right],$ 此矩阵是列向量(c_f1 ¹…c_fK ¹)^T与行向量(r_f1 r_f2 r_f3 r_f4 r_f5 r_f6)的乘积；由此，每帧的相机投影矩阵和形状基组合权重可由m_f ¹经奇异值分解得到，欧氏空间中的三维形状也由此得出，此形状就是特征点三维坐标，计算出每帧特征点在欧氏空间中的三维坐标，就得到了一组三维运动数据。

2. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法，其特征在于所述的人脸特征点：根据MPEG4标准的人脸形状定义参数和人脸动画参数进行设置，共有40个，分布在人脸轮廓、眼睛、嘴唇边缘位置，当人脸保持中立表情时可以看作是刚体，此时特征点定义人脸形状特征；当人脸呈现表情运动时，特征点定义人脸动画参数。

3. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法，其特征在于所述的仿射矫正的光流法：通过计算视频帧间的仿射变换来矫正传统光流跟踪方法的准确性；传统光流跟踪的目的是搜索偏移量使得与对应特征点相关邻域的匹配误差最小：给定两个相邻视频帧I₁和I₂，标记I₁中某个特征点的位置为f＝(u，v)^T，标记光流为p＝(p_u，p_v)^T，则I₂中对应特征点的位置为f+p；p可以通过最小化 $\underset{\mathrm{ft}\∈T}{\mathrm{\Σ}}{(I_2(\mathrm{ft}+p)-I_1\left(\mathrm{ft}\right))}^2$ 得到，其中T是一个以f为中心的正方形区域；然而当图像中人脸姿态和光照发生较大变化时，人脸中鼻尖、下巴和头顶的轮廓点的跟踪效果会很差，但眼角、发际、嘴和脸颊的轮廓点的跟踪效果依然很准确，因此定义P₁ ^a和P₂ ^a是I₁和I₂中准确跟踪的特征点，则根据假设，P₁ ^a和P₂ ^a间用一个仿射变换w相互转换，P₂ ^a＝w·P₁ ^a＝A·P₁ ^a+B；将w应用于I₁中待矫正的特征点P₁ ^ia得到P_w＝w·P₁ ^ia，设P_o是P₁ ^ia在I₂中的传统光流法跟踪结果，则这些特征点的跟踪结果P可被矫正为P＝argmin(|P-P_o|²+|P-P_w|²)，即利用P_w作为约束条件进一步对P_o进行优化。

4. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法，其特征在于所述的一般三维人脸模型：包括3000个顶点，是由几个通过激光扫描得到的真实三维人脸经配准、精简并取平均值得到，能够描述人脸的精细结构特征，将三维运动数据前3帧取平均值，作为描述人脸形状的三维特征点，并在一般三维人脸上指定与三维特征点相同数目的特征顶点，定义特征顶点和特征点之间的偏移量为d，并用d与特征顶点训练径向基函数，以其余特征顶点输入训练好的径向基函数推出这些特征顶点的偏移，从而得到个性化三维人脸模型。

5. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法，其特征在于所述的其他三维运动数据：在全部三维运动数据中除去用来定义人脸形状的前3帧数据，每帧表情驱动同样采用径向基函数进行。

6. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法，其特征在于所述的基于特征脸的视频压缩方法：给定一段视频序列，假设视频序列包含F帧，每帧图像分辨率为R×C，把每帧图像的所有列叠放在一起将视频帧转化为一个R·C×1的列向量，因而视频序列转化为一个R·C×F的样本矩阵X，设X是样本均值，则规范化的样本为 $\tilde{X}=(X-\stackrel{\‾}{X})/F^{1/2};$ 为了处理维度过高带来的问题，采用QR分解结合奇异值分解计算特征向量如下：

$[q,r]=\mathrm{QR}\left(\tilde{X}\right)$ [u，s，v]＝SVD(r)    U＝q·u

QR分解以数学上稳定的方式求解高维矩阵的特征向量；由以上三式得到特征向量U，U反映了样本空间内蕴涵的统计规律，我们称之为特征脸，给定任意视频帧f，将它投影到U上，得到一组投影系数y＝U^T·(f-X)，则f可用特征脸和这组系数重建为 $\tilde{f}=U\·y+\stackrel{\‾}{X};$ 在视频传输时总共仅需传送样本均值，特征向量，每帧的投影系数，一般人脸模型以及三维特征点坐标，因此节省了存储空间。

7. 根据权利要求1所述的一种基于视频流的三维动态人脸表情建模方法，其特征在于所述的动态纹理映射：将跟踪得到的每帧二维特征点位置坐标看作是三维人脸模型上预定义的一组特征顶点的纹理坐标，从而通过插值自动将从原始视频中提取出的人脸纹理信息逐帧映射至与每一视频帧对应的重建出的人脸模型；

动态纹理映射分为两个步骤：

1)全局纹理映射：

首先做出如下定义：

T＝(u_n v_n)^T：每帧中特征点的坐标，其中n＝1...N，N是特征点的数目；Num：三维人脸模型中所有顶点的数目；

i：一系列事先指定的三维模型特征顶点的索引，i满足 $\left\{i\right|(i\⋐\{1,...,\mathrm{num}\left\}\right)\∩\left(\right|i|=N)\}$ 且在整个过程中i保持不变；

P＝(X[i]Y[i]Z[i])T：每帧三维模型中与图像特征点对应的特征顶点坐标；

进行全局纹理映射时，在首帧指定特征点和一些三维模型顶点的对应关系，在其后的每帧自动更新T和P并用T和P训练径向基函数进行插值映射；

2)局部纹理优化：全局纹理映射依赖于交互指定初始特征顶点，而手工指定的特征顶点未必是最优的，因此需要一个优化的过程找到准确的特征顶点；

为描述局部纹理优化，做出如下定义：

f：跟踪得到的一个二维特征点；

S：初始指定的特征顶点；

f¹：S通过弱透视投影得到的二维特征点；

Δp：f和f¹间的误差；

I_input：输入视频帧；

I_project：重建的带有纹理的三维模型通过弱透视投影得到的二维图像；

T：图像I_input上以f为中心的正方形区域；

局部纹理优化由一个迭代的过程完成：

Loop

$\mathrm{\Δp}=\arg \min \underset{f_i\∈T}{\mathrm{\Σ}}{\left|\right|I_{\mathrm{input}}\left(f_i\right)-I_{\mathrm{project}}(f_i+\mathrm{\Δp})\left|\right|}^2;$

由Δp出发，经弱透视投影模型反向求得三维特征顶点的偏移ΔS；

更新S，使得S＝S+ΔS；

重新进行全局纹理映射，更新I_project；

UntilS的变化小于某一阈值。

Images