CN1404016A - 融合多视角、多线索二维信息的人脸三维模型的建立方法 - Google Patents

Abstract

融合多视角、多线索二维信息的人脸三维模型的建立方法属于计算机人脸图像重建技术领域，其特征在于：首先用标定好的上下两台立体摄像机拍摄建模对象的人脸，得到人脸在无表情变化时从正面逐步转到侧面的视频序列；再用全自动的姿态估计算法得到序列中各时刻的精确的姿态参数；接着在模型和姿态二者的初始化之后，根据两类二维线索分别抽取三维信息：一类是基于图象间对应点进行立体重建，另一类是模型投影轮廓与图象轮廓的匹配、修正；最后，根据融合在多视角中提取出的、对应于不同二维线索的三维信息建立人脸模型。它得到的人脸模型有更细致、更精确的形状，并能做MPEG4(运动图像压缩编码组织标准4)兼容的人脸动画。

Description

融合多视角、多线索二维信息的人脸三维模型的建立方法

技术领域

融合多视角、多线索二维信息的人脸三维模型的建立方法属于计算机人脸图像重建技术领域。

背景技术

现有的根据图象创建三维人脸模型的方法缺乏从多种二维线索中提取三维信息并进行融合的策略。Kang，Sing Bing等人在“image method and apparatus for semi-automatically mappinga face on to a wireframe topology”(United States Patent 6,031,539)的专利技术中提出了一种根据单幅正面图象创建人脸模型的半自动方法。该方法的原理是：自动地检测出人脸图象上的多个特征点，进而根据特征点定位面部的界标点(landmark points)，然后据此得到人脸线框模型中所有网格点的位移，创建出与该图象相对应的人脸模型。该方法的主要缺点是没有充分利用各视角的信息，这限制了模型的精确程度。

在“利用桌面摄像机克隆人脸”(《第八届计算机视觉国际会议论文集》，2001，第二卷，pp.745-745)一文中，作者张正友、Z.Liu等人提出了一种利用单目视频中的二维对应创建人脸模型的方法。该方法的原理是：手工选择两幅接近正面视图的图象，通过摄像机自标定和简化的人脸形状模型，基于二维对应用非线性求解的办法得到特定人的模型。该方法虽然利用了多视角信息，但只是使用了多幅图象上对应的二维点信息而没有充分利用其他的形状约束，得到的模型不够准确，尤其是在纹理不丰富的区域更是如此。

这些方法有一些共同的缺点：(1)模型不够精细；(2)不能做MPEG4(运动图像压缩编码组织标准4)兼容的动画。

发明内容

本发明的目的在于提供一种融合多视角、多线索二维信息的人脸三维模型的建立方法。

本发明涉及一种可动画三维人脸的建模方法，首先用标定好的立体摄像机拍摄建模对象的人脸从正面逐步转到侧面的视频序列(拍摄过程人脸应无表情变化)；然后是一个全自动的姿态估计算法以得到序列中各时刻的精确的姿态参数；接着在模型和姿态初始化之后，根据两类二维线索通过不同的处理方案抽取三维信息：一类是基于图象间对应点进行立体重建，另一类是模型投影轮廓与图象轮廓的匹配、修正；最后，融合在多视角中提取出的、对应于不同二维线索的三维信息建立人脸模型。本方法与现有方法比，得到的人脸模型有更细致、更精确的形状，并能做MPEG4兼容的人脸动画。

本发明的特征在于：

1.它首先用与人脸上、下位置相对应的两台相同且外极线方向基本沿垂直方向的摄像机在人脸无表情变化的情况下拍摄建模对象的人脸从正面逐步转约90度到侧面的视频序列，再用两块相同的采集卡来采集上下两路同步视频并输入计算机中；然后，从人脸的通用模型Face_g开始，根据获得的建模对象的二维信息逐步进行修改，最终得到特定人的人脸模型Face_s，其中修改的只是人脸上的三维结点列表P中的三维点坐标，而人脸上的三角形面片列表F保持不变，即只改变模型形状P而模型的拓扑结构F不变；具体而言，它依次含有如下步骤：

(1).输入立体视频序列I_L，t和I_R，t：

L，R对应于两台摄像机，t＝1，…，N，表示N帧不同时刻的图像：I则是由像素组成的二维数组，每个像素包括R、G、B三个分量；t＝1的时刻对应于人脸正面姿态，通过人的判断手工选择；

(2).姿态估计，即求解人头旋转过程中的姿态参数(即刚体变换系数)：

用下述刚体变换公式表示上述图象序列中人脸的帧间运动：

M_t+1＝R_tM_t+T_t，t＝1，…，N-1，

M_t、M_t+1分别表示第t帧、第t+1帧时人脸上任一点在L摄像机坐标系中的坐标；M_t、M_t+1是人脸上的同一位置在不同时刻的三维坐标，即是帧间三维对应点；用可靠三维点的运动就可估计姿态参数；

{R_t，T_t，t＝1，…，N-1}是第t帧到第t+1帧姿态参数的旋转和平移分量；

姿态估计依次含有如下步骤：

(2.1)，起始时刻：先进行二维特征的检测和匹配，再通过立体重建得到起始时刻的三维点：

首先，设置特征检测帧t0＝t，并在I_L，t图上作二维特征检测，即选择那些局部灰度变化丰富的点即为在跟踪和匹配时可靠程度较高的点作为特征点，其步骤如下：

用已有的KLT算法计算I_L，t图上特征点p(x＝i，y＝j)处的图像变化程度G(i，j)： $G(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}\stackrel{\→}{g}(i+\mathrm{ii},j+\mathrm{jj}){\stackrel{\→}{g}}^T(i+\mathrm{ii},j+\mathrm{jj}),$ 为待测点p处图像的梯度向量： $\stackrel{\→}{g}(i,j)={\left[\begin{array}{cc}\mathrm{gx}& \mathrm{gy}\end{array}\right]}^T={\left[\frac{I(i+1,j)-I(i-1,j)}{2}\frac{I(i,j+1)-I(i,j-1)}{2}\right]}^T,$

I(i+1，j)为该点处图像的灰度，余类推；

以待测点p为中心的窗口W的尺寸为(2*blockx+1)*(2*blocky+1)；然后再用已有的matlab工具包求出G的最小奇异值sing_min，再选择sing_min很大的点p为检测出的特征点；把在t时刻检测出的特征点记为{p_L，t(k)}，L，t表示图象序号，K(t)是特征点总数，k为其标号，1≤k≤K(t)；

其次，对同一时刻两个摄像机L，R拍摄同一场景得到的两幅图像即立体图对作二维特征匹配；同一个三维点在不同图像中的投影都为二维点，它们之间互称为二维对应，立体图对间的二维对应称为匹配：

对于I_L，t图中某一点p_L，t(k)＝(x_L，t(x)y_L，t(k))^T，它的匹配点p_R，t(k)＝(x_R，t(k)y_R，t(k))^T应位于一条由p_L，t(k)决定的直线上，在这个一维空间中，选择使一个局部窗口W内总灰度差异最小的点作为p_L，t(k)的匹配点p_R，t(k)，总灰度差异的表达式： $\mathrm{Diff}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}\left(I_{L,t}\right(x_{L,t}\left(k\right)+\mathrm{ii},y_{L,t}\left(k\right)+\mathrm{jj})-I_{R,t}(i+\mathrm{ii},j+\mathrm{jj}){)}^2$

(i，f)是直线

F上的任一点；记时刻t的匹配结果为{p_R，t(k)}，总数目为K(t)个，每点都与p_L，t(k)相对应，在下述公式表示的直线上搜索，使Diff(i，j)最小的位置： ${\left[\begin{array}{c}{p}_{L,t}\left(k\right)\\ 1\end{array}\right]}^{T}F\left[\begin{array}{c}{p}_{R,t}\left(k\right)\\ 1\end{array}\right]=0$ ，其中： $F={\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right]}^{-T}\left[\begin{array}{ccc}0& -T_{c,z}& T_{c,y}\\ T_{c,z}& 0& -T_{c,x}\\ -T_{c,y}& T_{c,x}& 0\end{array}\right]R_c{\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right]}^{-1}$ ，f_L，f_R，u_OL，v_OL，u_OR，v_OR为摄像机内参数，已知量；R_c，T_c＝[T_c，xT_c，yT_c，z]^T分别为旋转和平移分量，属摄像机外参数，已知量；

再次，在获得同一时刻立体图对间的匹配结果p_L，t和p_R，t后，通过立体重建得到用摄像机坐标系表示的三维点M_m，t，m为摄像机L或R，M_m，t为t时刻三维点在m摄像机坐标系中的坐标；

根据两摄像机的配置关系式：

M_L＝R_cM_R+T_c，M_L、M_R分别是同一点在这两个摄像机坐标系中的坐标；以及摄像机透视投影公式： $s_m{A}_m^{-1}\left[\begin{array}{c}{p}_{m,t}\\ 1\end{array}\right]=M_{m,t}$ ，s_m(即s_L或s_R)是待定的比例因子(由稍后的公式求出)，得到三维点在摄像机L、R中的坐标M_L，t和M_R，t： $M_{L,t}=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]+T_c);$ $A_L=\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right],$ $A_R=\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right];$ $\left[\begin{array}{c}{S}_L\\ S_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c,$ 而 $B_{}=[A_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]-R_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]:$ $M_{R,t}=R_c^{-1}(M_{L,t}-T_c);$

在姿态估计的余下部分，三维点都用L摄像机坐标系中的坐标来表示，因此省略下标L，即将M_L，t简记为M_t；

(2.2)，后继时刻：对t+1时刻的立体图对用KLT算法进行二维特征跟踪，再同样通过立体重建得到各后继时刻的三维点；跟踪是指同一摄像机拍摄的不同时刻图像间的二维对应：

在二维特征跟踪时，设检测的特征点在图像I_m，t(p)(m为L或R)上，p(x＝i，y＝j)是任一特征点，则其在图像I_m，t+1上的跟踪结果为

，其中 $\stackrel{\→}{d}=G^{-1}\stackrel{\→}{e}$ ，G已如上述，而 $\stackrel{\→}{e}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}\stackrel{\→}{g}(i+\mathrm{ii},j+\mathrm{jj})-{(I}_{m,t+1}(i+\mathrm{ii},j+\mathrm{jj})-I_{m,t}(i+\mathrm{ii},j+\mathrm{jj}))$ 记跟踪得到的特征点为{pm，t+1(k)}，m表示L或R，t+1为时刻：对于摄像机L为： $p_{L,t+1}\left(k\right)=p_{L,t}\left(k\right)-{\stackrel{\→}{d}}_{L,t}\left(p_{L,t}\left(k\right)\right),1\≤k\≤K\left(t\right);$ 对于摄像机R为： $p_{R,t+1}\left(k\right)=p_{R,t}\left(k\right)-{\stackrel{\→}{d}}_{R,t}\left(p_{R,t}\left(k\right)\right),1\≤k\≤K\left(t\right);$

根据任一对匹配的跟踪点计算三维点{M_t+1(k)|k＝1，…K(t)}(如前所述，这里省略了下标L)； $M_{t+1}\left(k\right)=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]+T_c);$ 其中 $\left[\begin{array}{c}{S}_L\\ S_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c,$ $B=\left[A_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]{-}_{}{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]\right]:$

(2.3)，姿态参数初始化：根据两个时刻t和t+1之间的一组三维对应点{M_t(k)|k＝1，…，K(t)}和{M_t+1(k)|k＝1，…，K(t)}，和表示可靠性的序列{bReliable_k}，k＝1，…，K(t)从式M_t+1(k)＝R_tM_t(k)+T_t，t＝1，…，N-1中用基于最小中值的鲁棒估计算法求解R_t，T_t：

设：定义并不断更新布尔数组{bReliable_k}为可靠度量序列，Yes表示可靠，No表示不可靠，其中取值为Yes的项的标号为{k_s}，s＝1，…，Kr(t)，Kr(t)是取值为Yes的项的总数，从其中挑出Num_subset个子集，每个子集含有三对三维对应点，即{Set_n＝{N_1，n，N_2，n，N_3，n}}，n＝1，…，Num_subset，1≤N_1，n，N_2，n，N_3，n≤Kr(t))，每个三元子集中三维对应点为： $\{M_t\left(k_{N_{1,n}}\right),M_t\left(k_{N_{2,n}}\right),M_t\left(k_{N_{3,n}}\right)\}$ 和 $\{M_{t+1}\left(k_{N_{1,n}}\right),M_t\left(k_{N_{2,n}}\right),M_{t+1}\left(k_{N_{3,n}}\right)\}$ ，可简记为{(M_im，M_im’)|im＝0，1，2}，它表示三对不共线的三维对应点，R_t，T_t满足M_im′＝R_tM_im+T_t|im＝0，1，2；然后从下列公式中求出R和T(略去下标t)： $R=I+\frac{\sin \left|\right|r\left|\right|}{\left|\right|r\left|\right|}[r{]}_x+\frac{1-\cos \left|\right|r\left|\right|}{{\left|\right|r\left|\right|}^2}{\left[r\right]}_x^2,$ 其中 $r=\mathrm{\θ}*\hat{r}$ $,\mathrm{\θ}=\arccos \frac{(\hat{r}\×{\mathrm{dir}}_1)\·(\hat{r}\×{{\mathrm{dir}}_1}^{\′})}{\left|\right|(\hat{r}\×{\mathrm{dir}}_1)\·(\hat{r}\×{{\mathrm{dir}}_1}^{\′})\left|\right|},$ $\hat{r}=\frac{({{\mathrm{dir}}_1}^{\′}-{\mathrm{dir}}_1)\×({{\mathrm{dir}}_2}^{\′}-{\mathrm{dir}}_2)}{\left|\right|({{\mathrm{dir}}_1}^{\′}-{\mathrm{dir}}_1)\×({{\mathrm{dir}}_2}^{\′}-{\mathrm{dir}}_2)},$ 是旋转的中心轴，称旋转轴，3*1的向量；θ是绕 的旋转角； ${\mathrm{dir}}_{\mathrm{im}}=\frac{M_{\mathrm{im}}-M_0}{\left|\right|M_{\mathrm{im}}-M_0\left|\right|},\mathrm{im}=\mathrm{1,2};$ ${{\mathrm{dir}}_{\mathrm{im}}}^{\′}=\frac{{M_{\mathrm{im}}}^{\′}-{M_0}^{\′}}{\left|\right|{M_{\mathrm{im}}}^{\′}-{M_0}^{\′}\left|\right|},\mathrm{im}=\mathrm{1,2};$ [r]_x是根据3*1向量r＝[r_xr_yr_z]^T定义的反对称矩阵： ${\left[r\right]}_x={\left[\begin{array}{c}{r}_x\\ r_y\\ r_z\end{array}\right]}_x=\left[\begin{array}{ccc}0& -r_z& r_y\\ r_z& 0& -r_x\\ -r_y& r_x& 0\end{array}\right],$ 而 $I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$ 是单位矩阵；平移分量T由下式估计出： $T=\frac{1}{3}\underset{\mathrm{im}=0}{\overset{2}{\mathrm{\Σ}}}({M_{\mathrm{im}}}^{\′}-{\mathrm{RM}}_{\mathrm{im}});$

对每个子集Set_n按上述公式估计出姿态参数，记为R_t，n，T_t，n；再对所有的可靠三维对应{M_t(k_s)，M_t+1(k_s)}，s＝1，…，Kr(t))按下式计算对应点M_t(k_s)，M_t+1(k_s)与姿态参数R_t，n，T_t，n的符合程度ε_n，s，该值越小，则两者越符合：

ε_n，s＝‖M_t+1(k_s)-R_t，nM_t(k_s)-T_t，n‖²；

再从集合{R_t，n，T_t，n}，n＝1，…，Num_subset中选取R_t，T_t：

{R_t，T_t}＝{R_{n_m}，T_{n_m}}， $n\_m=\underset{n}{\arg \min }{\underset{s}{\mathrm{med}}}^n\left\{{\mathrm{\ϵ}}_{n,s}\right|s=1,\…,\mathrm{Kr}\left(t\right)\},$

表示针对下标s取集合{ε_n，s|s＝1，…，Kr(t)}的中值，它对不同的n构成一个新的数组 $\left\{{\underset{s}{\mathrm{med}}}^n\right|n=1,\…,\mathrm{Num}\_\mathrm{subset}\}$ ；而argmin则是在这个中值数组中选择取最小值的那个n；

(2.4)，在t＝t+1时刻，设置：

是否需要重新调用特征检测和匹配模块的布尔标志量bReDetect；

是否需要进行姿态求精的布尔标志量bRefine；

(2.5)，当t＝N时，姿态估计结束；

(3).模型初始化和姿态初始化：

模型初始化是通用模型特定化方法的初始步骤，它从通用模型Face_g得到一个初始化模型Face_init，即对通用模型进行尺度变换，可用下式进行： $M_{\mathrm{init}}=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ O& O& s_z\end{array}\right]M_g$ ，M_g和M_init分别是Face_g和Face_init上的任一组对应点；s_x是建模对象和Face_g的两内眼角距离Seg_E长度的比值，s_y是两眼中心到嘴中心距离Seg_EM长度的比值；s_z＝s_y；再根据此对Face_g中所有点按上式变换；

姿态初始化是为了获得模型和图象间的对应，即计算从人脸generic坐标系到L摄像机坐标系的刚体变换；即从下式求解R_g，l，T_g，l：

M_l＝R_g，lM_init+T_g，l，M_l和M_init分别是时刻t＝1时人脸和Face_init间的任一组对应点；本发明取上述两个模型在LE(左眼)、RE(右眼)和Mid_M(嘴中心)这三个位置处的对应点，按上述r、θ、R、[r]_x、T各式依次求得R_g，l和T_g，l；

再按下式从R_t，T_t，t＝1，…，N-1求出R_g，t，T_g，t，t＝2，…，N：

R_g，t＝R_t-1R_g，t-1，T_g，t＝R_t-1*T_g，t-1+T_t-1，t＝2，…，N；

(4).利用三维信息修正人脸模型：

(4.1)，手工拾取侧面特征点：

设：手工标出的侧面特征点为 $\{m_{L,\mathrm{side}}^{\mathrm{kk}},={\left[\begin{array}{cc}{x}_{L,\mathrm{side}}^{\mathrm{kk}}& y_{L,\mathrm{side}}^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF，NumSF＝24为侧面特征点的数目，side表示对应于侧面视图的时刻；

(4.2)，形状修正A：把Face_init变形为Face₁；我们先确定人脸三维结点列表P中一个子集Subset的新位置，再通过一个已知的径向基函数算法来确定P中所有结点的坐标；

径向基函数算法如下所述：设要将Face_start变形为Face_new，已知一个Subset中的结点在Face_new中的坐标为{New₁，…，New_S}，记其在Face_start中的对应点为{Sta₁，…，Sta_S}，S为Subset中点的数目；现在对于模型中的任一位置pt，其在Face_new中的坐标

可由下面的已知公式求出： $M_{\mathrm{pt}}^{\mathrm{new}}=\underset{\mathrm{jRBF}=1}{\overset{S}{\mathrm{\Σ}}}{C}_{\mathrm{jRBF}}\mathrm{\φ}\left(\right||M_{\mathrm{pt}}^{\mathrm{start}}-\mathrm{St}{a}_{\mathrm{jRBF}}|\left|\right);$

是pt点在Face_start中的坐标，而{C₁，…，C_S}可按下面的公式求出 $\left[\begin{array}{c}{C}_1^T\\ \underset{.}{\overset{.}{.}}\\ C_S^T\end{array}\right]={\left[\begin{array}{ccc}\mathrm{\φ}\left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_1|\left|\right)& ...& \mathrm{\φ}\left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_S|\left|\right)\\ ...& ...& ...\\ \mathrm{\φ}\left(\right||\mathrm{St}{a}_S-\mathrm{St}{a}_1|\left|\right)& ...& \mathrm{\φ}\left(\right||{\mathrm{Sta}}_S-{\mathrm{Sta}}_S|\left|\right)\end{array}\right]}^{-1}\left[\begin{array}{c}{\mathrm{New}}_1^T\\ \underset{.}{\overset{.}{.}}\\ {\mathrm{New}}_S^T\end{array}\right]$ ；φ是已知的径向基函数；

“形状修正A”在利用上面的径向基函数算法时，设置Face_start＝Face_init，Face_new＝Face₁。而Subset中的点包括两类：一类是人脸上的左眼内角LE、右眼内角RE、左外嘴唇LM、右外嘴唇RM四个三维显著特征点，由二维显著特征点通过上述立体重建方法得出；另一类是上述24个侧面特征点，它们的三维位置按下面的步骤从手工标出的二维点中获得：

设：侧面特征点在人脸generic坐标系中的三维坐标为 $\{{\mathrm{Ms}}_g^{\mathrm{kk}}={\left[\begin{array}{ccc}0& Y_g^{\mathrm{kk}}& Z_g^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF；则对于任一kk，有其中 $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{g,\mathrm{side},1}^T\\ R_{g,\mathrm{side},2}^T\\ R_{g,\mathrm{side},3}^T\end{array}\right],$ $T_{g,\mathrm{side}}=\left[\begin{array}{c}{T}_{g,\mathrm{side},1}\\ T_{g,\mathrm{side},2}\\ T_{g,\mathrm{side},3}\end{array}\right]$ 是姿态参数的分量表示，为已知量；可直接用线性方程组的求解方法得到

中的两个未知数

和

(4.3)，形状修正B：按前述的径向基函数算法把Face₁变形为Face₂；

设Face_start＝Face₁，Face_new＝Face₂，Subset中除了包括“形状修正A”里已经确定了的点之外，还有一些新添加的点，即从正面姿态下手工标出的人脸轮廓恢复出来的三维点，得到这些三维点的基本方法是把当前人脸模型Face₁向正面姿态下的图象平面作透视投影并计算三维模型投影结果的二维轮廓点，最后依赖于这些轮廓点和上述图象上的人脸轮廓即闭合多边形的匹配来计算其三维坐标：

首先，计算出Face₁在t＝1时刻向手工选择的正面视图的图象平面上的投影轮廓 ${\mathrm{Cont}}_1=\left\{{\mathrm{pt}}_1^{\mathrm{iC}1}\right|\mathrm{iC}1=1,\…,\mathrm{nNum}1\},$

是模型三维结点列表P中点的标号， $1\≤{\mathrm{pt}}_1^{\mathrm{iC}1}\≤\mathrm{nVertex};$ 而nNum1是Cont₁中顶点的数目，它们即形状修正B中向Subset新添加的点；它们是通过判断投影线与模型的交点来选择的，即在某一轮廓点上，投影线与模型不能有其他交点，其算法如下：Face₁为三维模型，透视投影中心为 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$ 已知量，则对模型中所有顶点计算过Center点的投影线和模型的交点，据此判断该顶点是否在投影轮廓上，若M_now为Face₁中任一点，Plane_jp为Face₁中任一面片构成的平面，计算过Center点和M_now的直线，即投影线，与Plane_jp的交点为C_now；如果对某一面片1≤ip≤nMesh而言，点C_now在线段CM_now的内部，则M_now不在投影轮廓上；否则即为投影轮廓点；

再计算Cont₁中的任一点 在Face₂的三维坐标：设上述图象上的人脸轮廓是 $\mathrm{Cont}\_{\mathrm{img}}_1=\left\{\left[\begin{array}{cc}{\mathrm{xCI}}_1^{\mathrm{iCimg}}& {\mathrm{yCI}}_1^{\mathrm{iCimg}}\end{array}\right]\right|\mathrm{iCimg}=1,...,\mathrm{nNumCI}1\}$ ，它是由二维点列表构成的多边形，nNumCI1是点的数目；则 $\mathrm{pti}={\mathrm{pt}}_1^{\mathrm{iC}1}$ 在Face₂的三维坐标

$M_2^{\mathrm{pti}}=M_1^{\mathrm{pti}}+t_{\mathrm{line}}v;$ v＝(v_xv_yv_z)^T＝v_pn×(v_n×v_pn)；

其中， $M_1^{\mathrm{pti}}={\left[\begin{array}{ccc}{X}_1^{\mathrm{pti}}& Y_1^{\mathrm{pti}}& Z_1^{\mathrm{pti}}\end{array}\right]}^T$ 是pti点在Face₁中的坐标；经 点的投影方向为v_pn为已知量；v_n为pti点在Face_g中的法向；参数t_line可根据二维直线 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}{t}_{\mathrm{line}}{v}_x}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}& \frac{Y_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_y}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img₁的交点求出：

设Cont_img₁中的任一线段为seg＝(x₀+sd_xy₀+sd_y)^T，0≤s≤1，s为线段参数，其他都是已知量；先按下面的公式计算 $\left[\begin{array}{c}\mathrm{si}\\ t_{\mathrm{line}}\end{array}\right]={\left[\begin{array}{cc}{d}_x& -(X_1^{\mathrm{pti}}-v_x*Z_1^{\mathrm{pti}}/v_z)\\ d_y& -(Y_1^{\mathrm{pti}}-v_y*Z_1^{\mathrm{pti}}/v_z)\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_0-v_x/v_z\\ y_0-v_y/v_z\end{array}\right]$ 对所有的seg求出这两个数值si和t_line；对于很多seg上面的公式无解，即公式里的矩阵不可逆；有解且得到的si满足0≤si≤1的seg有一个或两个，取与点 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}& \frac{Y_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}\end{array}\right]}^T$ 距离近的那一个seg，它得到的t_line即为所求；

(4.4)，形状修正C：按前述的径向基函数算法把Face₂变形为Face₃；

设Face_start＝Face₂，Face_new＝Face₃，Subset中除了包括“形状修正A、B”里已经确定了的点之外，还有一些新添加的点，即从手工标出的正面人脸特征轮廓点：眼睛、鼻孔和嘴的轮廓点恢复出来的三维点：

设某特征轮廓点的二维坐标是 $\left[\begin{array}{cc}{\mathrm{xCF}}_1^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}\end{array}\right]$ ，该点在Face₂中的坐标为 $M_2^{\mathrm{iCF}}={\left[\begin{array}{ccc}{X}_2^{\mathrm{iCF}}& Y_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T$ ，设该点的Z坐标已经计算正确，即它在Face₃中的Z坐标等于

，则它在Face₃中的坐标为 $M_3^{\mathrm{iCF}}={\left[\begin{array}{ccc}{\mathrm{xCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T$ ，即这些特征轮廓点在正面姿态下的投影等于实际图象上的特征点；

(4.5)，形状修正D：按前述的径向基函数算法把Face₃变形为Face₄；

设Face_start＝Face₃，Face_new＝Face₄，Subset中除了包括“形状修正A、B、C”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图1即使R_g，t的旋转角最接近25度的时刻t的人脸轮廓中恢复出来的三维点，具体步骤如下：设该视图对应于时刻int1，与形状修正B所述的相同，先算出Face₃在int1时的投影轮廓 $\mathrm{Con}{t}_{\mathrm{int}1}=\left\{{\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}\right|\mathrm{iC}2=1,\…,\mathrm{nNum}\_\mathrm{int}1\},$

是P中点的标号，nNum_int1是投影轮廓中的顶点数目；对于任一点 $\mathrm{ptli}={\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}$ ，它在Face₃中的三维坐标 $M_3^{\mathrm{ptli}}={\left[\begin{array}{ccc}{X}_3^{\mathrm{pt}1i}& Y_3^{\mathrm{pt}1i}& Z_3^{\mathrm{pt}1i}\end{array}\right]}^T$ ，而 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$ 如前所述是L摄像机光心在generic坐标系中的坐标，则该点在Face₄中的坐标应满足 $M_4^{\mathrm{ptli}}=M_3^{\mathrm{ptli}}+t_{\mathrm{line}2}v2,$ $v2={\left[\begin{array}{ccc}{v2}_x& {v2}_y& {v2}_z\end{array}\right]}^T=M_3^{\mathrm{ptli}}-\mathrm{Center},$ 参数t_line2同样根据直线 ${\left[\begin{array}{cc}\frac{X_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_x}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}& \frac{Y_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_y}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img_int1的交点求出；

(4.6)，形状修正E：按前述的径向基函数算法把Face₄变形为Face₅(即最终的形状模型Face_s)；

设Face_start＝Face₄，Face_new＝Face₅，Subset中除了包括“形状修正A、B、C、D”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图2即使R_g，t的旋转角最接近40度的时刻t的人脸轮廓中恢复出来的三维点，具体的恢复步骤与形状修正D相同；

(5).纹理映射：

目前的纹理是通过L摄像机拍摄的正面和侧面视图(I_L，1和I_L，side)生成，纹理映射是要为创建的模型Face_s生成看起来有相片一样真实感的柱面纹理图Texture_s，即要把采集的图象转换到一个统一的柱面坐标系中并进行融合，它依次含有如下步骤：

(5.1)，生成柱面展开图：

首先对形状修正E的最终结果Face_s中的任一三维点 $M_s^{\mathrm{pt}}={\left[\begin{array}{ccc}{X}_s^{\mathrm{pt}}& Y_s^{\mathrm{pt}}& Z_s^{\mathrm{pt}}\end{array}\right]}^T$ 按下式作柱面映射：

，映射的结果是一个二维平面，其上的点为{Cyn_pt}＝{(lg_pt lt_pt)}；这里lg_pt是柱面上的经度位置，用弧度值表示；lt_pt则是柱面旋转轴向的坐标位置；

(5.2)，生成正面纹理图：

把所有点

在已知的正面姿态参数R_g，l，T_g，l下按下式在正面视图I_L，1上投影， ${\stackrel{\→}{p}}_1^{\mathrm{pt}}={\left[\begin{array}{cc}{x}_1^{\mathrm{pt}}& y_1^{\mathrm{pt}}\end{array}\right]}^T$ 是Face_s中三维点 在I_L，1上的二维投影：

，其中 $R_{g,1}=\left[\begin{array}{c}{R}_{1g,1}^T\\ R_{2g,1}^T\\ R_{3g,1}^T\end{array}\right],$ $T_{g,1}=\left[\begin{array}{c}{T}_{1g,1}\\ T_{2g,1}\\ T_{3g,1}\end{array}\right]$ 是旋转矩阵和平移向量的分量表示；

接着，把I_L，1中的各像素映射到Cyn平面上，即对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，m_proj＝Δ(p₁，p₂，p₃)表示这三点在I_L，1平面上构成的三角形，m_cyn＝Δ(p₁′，p₂′，p₃′)是Cyn平面上的对应三角形，即 $p_{\mathrm{iT}1}={\left[\begin{array}{cc}{x}_1^{{\mathrm{pt}}_{\mathrm{iT}1}}& y_1^{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T,$ ${p_{\mathrm{iT}1}}^{\′}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}1}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T$ iT1＝1，2，3；再对三角形m_cyn内的点[lglt]按下式计算[xy]： $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$ a₁～a₆由下式求出：

再令正面纹理图 $I_{\mathrm{Textur}{e}_1}(\lg ,\mathrm{lt})=I_{L,1}(x,y);$

(5.3)，生成侧面纹理图：

把所有点 在已知的侧面姿态参数R_g，side，T_g，side下按下式在侧面视图I_L，side上投影， ${\stackrel{\→}{p}}_{\mathrm{side}}^{\mathrm{pt}}={\left[\begin{array}{cc}{x}_{\mathrm{side}}^{\mathrm{pt}}& y_{\mathrm{side}}^{\mathrm{pt}}\end{array}\right]}^T$ 是Face_s中三维点

在I_L，side上的二维投影：

$R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{1g,\mathrm{side}}^T\\ R_{2g,\mathrm{side}}^T\\ R_{3g,\mathrm{side}}^T\end{array}\right],$ $T_{g,\mathrm{side}}=\left[\begin{array}{c}{T}_{1g,\mathrm{side}}\\ T_{2g,\mathrm{side}}\\ T_{3g,\mathrm{side}}\end{array}\right];$ 再对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，设ms_proj＝Δ(ps₁，ps₂，ps₃)， ${\mathrm{ps}}_{\mathrm{iT}2}={\left[\begin{array}{cc}{x}_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}& y_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}\end{array}\right]}^T$ ，iT2＝1，2，3；再对三角形m_cyn内的点[lg lt]按下式计算[xs ys]： $\left[\begin{array}{c}\mathrm{xs}\\ \mathrm{ys}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{as}}_1& {\mathrm{as}}_2& {\mathrm{as}}_3\\ {\mathrm{as}}_4& {\mathrm{as}}_5& {\mathrm{as}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$

as₁～as₆由下式求出：

再令侧面纹理图 $I_{\mathrm{Textur}{e}_{\mathrm{side}}}(1g,\mathrm{lt})=I_{L,\mathrm{side}}(\mathrm{xs},\mathrm{ys});$

(5.4)，反射侧面纹理图以得到另一侧的纹理图，这是因为Face_s的拓扑结构是完全对称的；

设：直接获得纹理的那一侧脸上的任一三角面片m_cyn＝Δ(p₁，p₂，p₃)，它在另一侧脸上的对称面片是m_cyn′＝Δ(p₁′，p₂′，p₃′)，其中 $p_{\mathrm{iT}3}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}3}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}3}}\end{array}\right]}^T,$ ${p_{\mathrm{iT}3}}^{\′}={\left[\begin{array}{cc}{{\lg }^{\′}}_{{\mathrm{pt}}_{\mathrm{iT}3}}& {{\mathrm{lt}}^{\′}}_{{\mathrm{pt}}_{\mathrm{iT}3}}\end{array}\right]}^T,$ iT3＝1，2，3；

对m_cyn中的任一点p＝(lg lt)^T按下式计算[lg′lt′]， $\left[\begin{array}{c}{\lg }^{\′}\\ {\mathrm{lt}}^{\′}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{rs}}_1& {\mathrm{rs}}_2& {\mathrm{rs}}_3\\ {\mathrm{rs}}_4& {\mathrm{rs}}_5& {\mathrm{rs}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$

rs₁～rs₆按下式求出：

再从直接有纹理的一侧反射生成另一侧： $I_{\mathrm{Textur}{e}_{\mathrm{side}}}(l{g}^{\′},l{t}^{\′})=I_{{\mathrm{Texture}}_{\mathrm{side}}}(\lg ,\mathrm{lt});$

(5.5)，正面的和侧面的纹理图的融合，得到最终纹理图Texture_s；

设定阈值lg_min和lg_max，Texture_s在任一位置Cyn＝(lg lt)^T处的取值按下式给出：

2.所述的姿态估计步骤中的更新可靠度量序列{bReliable_k}的方法，它依次含有如下步骤：

(1).根据对序列Err_t的统计分析计算正确对应的数目K_True；

(1.1)，设：K_True的初始值为Kr(t)*ratio，ratio为预先设定的常数；Err_t＝{ε_s＝‖M_t+1(k_s)-R_tM_t(k_s)-T_t‖²＝1，…，Kr(t)}中按从小到大排序的前K_True个元素组成的子序列为E；

(1.2)，计算E的均值 $\stackrel{\‾}{\mathrm{\ϵ}}=\frac{1}{K\_\mathrm{True}}\underset{{\mathrm{\ϵ}}_s\∈E}{\mathrm{\Σ}{}_{}}{\mathrm{\ϵ}}_s$ 和标准差 $\mathrm{\σ}=\sqrt{\frac{1}{K\_\mathrm{True}-1}\underset{{\mathrm{\ϵ}}_s\∈E}{\mathrm{\Σ}}{({\mathrm{\ϵ}}_s-\stackrel{\‾}{\mathrm{\ϵ}})}^2};$

(1.3)，在Err_t中寻找满足‖ε_s- ε‖＞3*σ的点，设数目为InValid_T；

(1.4)，若0≤Kr(t)-K_True-InValid_T≤1，即K_True个对应正确，终止；否则，转步骤(1.5)；

(1.5)，若K-K_True-InValid_T＞1，令K_True加1，转步骤(1.2)；否则，转步骤(1.6)；

(1.6)，若K-K_True-InValid_T＜0，令K_True减1，转步骤(1.2)；

(2).设Err_t中前K_True个较小的ε_s对应的标号为{s_u}，u＝1，…，K_True，把{bReliable_k}中对应于这些标号的位置赋值为Yes，其他赋值为No；

3.所述的姿态估计步骤中的设立是否要重新调用特征检测和匹配模块的布尔标志量bReDetect、是否要进行姿态求精的布尔标志量bRefine这两者的方法如下：

(1).若t＝N，即当前图象是序列中的最后一帧，则bReDetect＝No，bRefine＝Yes，结束；否则，转步骤(2)；

(2).若当前R_t的旋转角θ_t超过预设的阈值θ_bound，则bReDetect＝Yes，bRefine＝Yes，结束；否则，转步骤(3)；

(3).若可靠三维点的数目Kr(t)(即{bReliable_k}，k＝1，…，K(t)中取值为Yes的点数)小于预设的阈值K_bound，则bReDetect＝Yes，bRefine＝Yes；否则，转步骤(4)；

(4).bReDetect＝No；如果t-t0是预设的常数Inc_refine的倍数，则bRefine＝Yes，即求精是每隔Inc_refine就做一次；否则bRefine＝No；

(5).令t＝t+1，进入下一时刻的处理；

4.所述的姿态估计步骤中，bRefine为Yes表示在当前时刻作姿态求精，即得出更精确的姿态参数：

设选择在连续Num＝t-tStart+1个时刻始终正确的三维对应来求精所有相关的姿态参数{R_tStart+τ，T_tStart+τ}，τ＝0，…，t-tStart-1，tStart为求精运算的起始时刻，现取t时刻之前的第二个设置bRefine为Yes的时刻，若tStart＜t0，取其为t0；在一次求精运算中，先计算{Ra_tStart+τ，Ta_tStart+τ，τ＝1，…，t-tStart；M_tStart(k_pp)，pp＝1，…，Kr(t)}，使所有图像中二维重投影的总误差f_obj达到最小值： $f\_\mathrm{obj}=\underset{m}{\mathrm{\Σ}}\underset{\mathrm{\τ}=0}{\overset{t-\mathrm{tStart}}{\mathrm{\Σ}}}\underset{\mathrm{pp}=1}{\overset{\mathrm{Kr}\left(t\right)}{\mathrm{\Σ}}}[{(a_{\mathrm{pp},m}^{\mathrm{\τ}}-x_{\mathrm{pp},m}^{\mathrm{\τ}})}^2+{(b_{\mathrm{pp},m}^{\mathrm{\τ}}-y_{\mathrm{pp},m}^{\mathrm{\τ}})}^2];$

其中Ra_tStart+τ，Ta_tStart+τ是从tStart时刻到tStart+τ时刻的刚体变换系数；{M_tStart(k_pp)}，pp＝1，…，Kr(t)，是在这Num个时刻中都可靠的三维点数组，共Kr(t)个，pp为三维点的标号；m为L或R，表示摄像机； 是在m号摄像机、tStart+τ时刻图象中的二维检测或跟踪的结果，即 $\left[\begin{array}{c}{a}_{\mathrm{pp},m}^{\mathrm{\τ}}\\ b_{\mathrm{pp},m}^{\mathrm{\τ}}\\ 1\end{array}\right]=A_m^{-1}\left[\begin{array}{c}{p}_{m,\mathrm{tStart}+\mathrm{\τ}}\left(k_{\mathrm{pp}}\right)\\ 1\end{array}\right],$ A_m为A_L或A_R； 是pp号三维点在tStart+τ时刻，投影到m摄像机上的结果，即，其中 $R_{c,m}=\left[\begin{array}{c}{R}_{1c,m}^T\\ R_{2c,m}^T\\ R_{3c,m}^T\end{array}\right]$ 和 $T_{c,m}=\left[\begin{array}{c}{T}_{1c,m}\\ T_{2c,m}\\ T_{3c,m}\end{array}\right]$ 是从L摄像机坐标系到m摄像机坐标系的刚体变换，即 $R_{c,L}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ $T_{c,L}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right],$ $R_{c,R}=R_c^{-1},T_{c,R}=-R_c^{-1}{T}_{c,R}$ ；另外， ${\mathrm{Ra}}_{\mathrm{tStart}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ ${\mathrm{Ta}}_{\mathrm{tStart}}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right];$

优化f_obj就能得到姿态参数的精确值；先用Levenberg-Marquardt算法求解{Ra_tStart+τ，Ta_tStart+τ，τ＝1，…，t-tStart；M_tStart(k_pp)，pp＝1，…，Kr(t)}；再用下式把{Ra_tStart+τ，Ta_tStart+τ}，τ＝1，…，t-tStart转换到{R_tStart+τ，T_tStart+τ}，τ＝0，…t-tStart-1：

R_tStart＝Ra_tStart+1，T_tStart＝Ta_tStart+1，

，τ＝2，…，t-tStart

试验证明：它达到了预期目的。

附图说明

图1.人脸建模流程图

图2.姿态估计流程图

图3.纹理映射流程图

图4.摄像机坐标系与像平面上二维坐标系的关系

图5.正面人脸的显著特征点及线段

图6.典型的人脸侧面投影以及一些侧面特征点

图7.叠加显示的正面人脸轮廓

图8.叠加显示的正面人脸特征轮廓点

图9.叠加显示的中间视图1人脸轮廓(25度角)

图10.叠加显示的中间视图2人脸轮廓(40度角)

图11.上下放置的立体摄像机配置

图12.系统采集的典型立体图对(上下两行分别对应于top，bottom摄像机，每一列是同一时刻的图象，标出的数字是在整个序列中的帧序号)

图13.通用模型的中性和动画状态(从左到右依次是中性线段图、中性面片图、动画线段图和动画面片图)

图14.不同姿态下特征检测和匹配的实验结果(第一行是检测结果，第二行是对应的立体图对间的匹配结果；标出的数字是在整个序列中的帧序号)

图15.正面姿态的立体图对上标出的二维显著特征点(特征点叠加显示在原始图象上)

图16.侧面特征点的叠加显示

图17.实际得到的Texture₁

图18.第三十五步直接得到的Texture_side

图19.最终得到的Texture_side

图20.柱面纹理图Texture_s

图21.映射了Texture_s的建模结果Face_s(从不同视角查看)

具体实施方式

我们在一个通用模型特定化的框架下创建人脸模型，即：从通用模型Face_g开始，根据获得的建模对象的二维信息逐步进行修改，最终得到特定人模型Face_s。在这一过程中，修改的只是P中的三维点坐标，而F则保持不变，即拓扑结构恒定(P和F共同表示了人脸的形状模型，即Face＝{P，F}。具体地，P＝{M^pti＝(X^ptiY^ptiZ^pti)^T|pti＝1，…，nVertex}是人脸上的三维结点列表，而F＝{facet_fj＝(pt_1，fjpt_2，fjpt_3，fj)^T|fj＝1，…，nMesh}是人脸上的三角形面片列表，其中每个facet_fj＝(pt_1，fj，pt_2，fjpt_3，fj)^T表示由P中三个点 $M^{{\mathrm{pt}}_{1,\mathrm{fj}}},M^{{\mathrm{pt}}_{2,\mathrm{fj}}},M^{{\mathrm{pt}}_{3,\mathrm{fj}}}$ 组成的一个三角形。pt_pti，fj，pti＝1，…，3，fj＝1，…，nMesh，是P中各点的序号，满足1≤pt_pti，fj≤nVertex。nVertex和nMesh分别是三维点和三角面片的总数目。总的说来，P表示模型形状，F则表示模型的拓扑结构)。沿这条技术路线可以保持模型的拓扑结构，因而能方便地实现人脸动画；同时，该通用模型也表示了我们对人脸这种非常相似的物体类的一般知识，能为具体的处理过程提供附加约束。

下面我们将详细说明建模步骤，并给出一个具体实施实例。

人脸建模的总体流程如图1所示，各个步骤的前后顺序以及输入和输出都明确标出。在“处理模块”这部分，框图中的数字编号是本节中详细对该模块进行阐述部分的小节号。此外，“输入”指那些建模之前通过手工干预准备好的数据(视频数据、Face_g，以及需要手工标出的二维点)，“中间结果”则是系统在建模流程中自动获得的数据。

输入的立体视频序列记为I_L，t和I_R，t，t＝1，…，N表示不同的时刻，N则是视频序列的总帧数，L，R对应于两台摄像机，I则是由像素组成的二维数组，每个像素包括R、G、B三个分量。t＝1的时刻对应于人脸正面姿态，通过人的判断手工选择。

下面我们详细描述各步骤的具体处理方法。

1.1姿态估计

这一步要求解人头旋转过程中的姿态参数(也称为刚体变换系数)。记为{R_t，T_t，t＝1，…，N-1}，其中每个R_t，T_t是第t帧到第t+1帧的人脸刚体变换系数，即对于t时刻和t+1时刻的任一对三维对应点M_t和M_t+1(所谓对应，是指它们是人脸上的同一位置在不同时刻的三维坐标)，有下面的公式

M_t+1＝R_tM_t+T_t，t＝1，…，N-1

其中三维点所在的坐标系是L摄像机坐标系。摄像机坐标系的定义如图4所示，以透视摄像机的光心C为坐标原点，Z轴沿光轴方向，X，Y轴分别和像平面上二维坐标系的x，y轴平行。

姿态估计的整个处理流程如图2所示，下面我们先对算法的原理作简单说明，在详细介绍各步骤。

我们的思路是利用可靠三维点的运动来估计参数，而三维点需要根据投影到不同图象上的二维对应点(在下面被称为“二维特征”。关于“二维对应”，是指同一个三维点在不同图象中都投影为二维点，它们之间互称为二维对应点；其中立体图对间的二维对应称为“匹配”，而同一摄像机拍摄的不同时刻图象间的二维对应则称为“跟踪”。这里“立体图对”指同一时刻L和R摄像机拍摄的一对图像)计算出来。具体地，我们首先要得到三维点，这在起始时刻是通过二维特征检测和匹配，然后通过立体重建得到；而对于后续时刻则是在L和R两个图象序列中分别进行跟踪，接着同样通过立体重建得到。有了不同时刻的三维点后我们就可以估计姿态。从未知量的个数来考虑，只需要三对两个时刻的对应三维点就可完成，但要求重建出的三维点是可靠的，而实际实验中很难保证所有的三维点都可靠。为了评价三维点的可靠性，我们定义并不断更新数组{bReliable_k}，这是一个布尔数组，取值为Yes(表示该点可靠)或No(表示不可靠)。该数组会随着跟踪的进行而被更新，刚开始时初始化所有点都是可靠的，后来有些点则会被判断为不可靠的，我们作出这种判断的方法将在下面详细说明。

直接根据三维点在相邻两时刻的运动计算出的姿态参数误差较大，我们会在某些时刻根据一段较长时间内的所有可靠三维点进行姿态求精以减小误差。何时进行这种求精运算是由布尔标志bRefine来控制的，它取值Yes表示当前时刻进行姿态求精，No则相反。

随着跟踪的进行，可靠的三维点会越来越少。为了使姿态估计可以继续进行并得到精确的结果，我们有必要重新进行二维特征检测和匹配以及立体重建，找出新的可靠三维点。何时进行这种操作由布尔标志bReDetect控制，它取值Yes表示当前时刻需要进行找出新三维点的工作，No则相反。

bRefine和bReDetect这两个布尔标志的设置方法也将在下面详细介绍。

下面我们详细阐述完整的过程：

1.1.1二维特征的检测

我们利用已有的KLT算法在灰度图上完成二维特征的检测。其原理是：设t时刻的m摄像机(m为L或R，表示两个摄像机中的某一个)得到的图象为I_m，t(p)，其中p＝(x，y)表示图象上的任一点；该点处图象的梯度向量为 $\stackrel{\→}{g}={\▿I}_{m,t}\left(p\right)={\left(\frac{{\∂I}_{m,t}}{\∂x}\left(p\right)\frac{{\∂I}_{m,t}}{\∂y}\left(p\right)\right)}^T$ ，计算2*2的矩阵 $G=\underset{W}{\∫}\stackrel{\→}{g}{\stackrel{\→}{g}}^T\mathrm{dp}$ ，其中W是以p为中心的一个矩形窗口。我们求出G的最小奇异值sing_min(利用已有的matlab工具包)，并选择那些sing_min很大的p点作为检测出的特征点。从物理意义上看，G实际是对图象上局部灰度变化丰富程度的表示：如果局部的灰度恒定，这时梯度向量 为0，G为0，所有的奇异值都是0；如果局部的灰度变化有固定的方向(例如图象上比较强的单一边缘处)，梯度向量 基本都垂直于该方向，这时G最小的奇异值接近于0；只有在沿各个方向的灰度变化都比较显著的局部(例如两条边的交点)才满足G的最小奇异值很大。因此，我们实际是选择那些局部灰度变化丰富的点作为特征点，这样的点在跟踪和匹配时可靠程度较高。

计算机实现时我们需要对上面的公式作离散化处理，具体的计算公式如下： $\stackrel{\→}{g}(i,j)={\left[\begin{array}{cc}\mathrm{gx}& \mathrm{gy}\end{array}\right]}^T={\left[\frac{I_{m,t}(i+1,j)-I_{m,t}(i-1,j)}{2}\frac{I_{m,t}(i,j+1)-I_{m,t}(i,j-1)}{2}\right]}^T---\left(\mathrm{1.1.1}\right)$ $G(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}\stackrel{\→}{g}(i+\mathrm{ii},j+\mathrm{jj}){\stackrel{\→}{g}}^T(i+\mathrm{ii},j+\mathrm{jj})---\left(\mathrm{1.1.2}\right)$

这里blockx，blocky决定了窗口W包含的网格点数目。实际上，该窗口以待测点(i，j)为中心，网格点总数为(2*blockx+1)*(2*blocky+1)。

在图2中，t时刻检测出的特征点记为{p_L，t(k)}，L，t表示图象序号。特征点的总数目为K(t)，k满足1≤k≤K(t)，表示点的标号。

这时我们令t0＝t，表示将要被跟踪的这些特征在哪一时刻被检测出来。

1.1.2二维特征匹配

匹配问题根据已知方法完成。简单介绍其原理如下：

设两摄像机间的配置关系用下式表示

M_L＝R_cM_R+T_c                                        (1.1.3)

L和R表示两个摄像机坐标系，M_L和M_R是同一三维点在这两个坐标系中的坐标表示；R_c和T_c＝[T_c，xT_c，yT_c，z]^T分别是旋转和平移分量(合称立体摄像机的外参数，是已知量)，前者是一3*3的矩阵，后者是三维向量。

有了(1.1.3)后，令 $F={\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right]}^{-T}\left[\begin{array}{ccc}0& -T_{c,z}& T_{c,y}\\ T_{c,z}& 0& -T_{c,x}\\ -T_{c,y}& T_{c,x}& 0\end{array}\right]R_c{\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right]}^{-1}$ (该矩阵被称为基础矩阵)，其中f_L，f_R，u_OL，v_OL，u_OR，v_OR是摄像机的内参数，都是已知量；其矩阵表示是 $A_L=\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right],$ $A_R=\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right].$

则对于L，t图中的某一点p_L，t(k)＝(x_L，t(k)y_L，t(k))^T，它在R，t图中的匹配点p_R，t(k)＝(x_R，t(k)y_R，t(k))^T应满足下面的已知公式(1.1.4)： ${\left[\begin{array}{c}{p}_{L,t}\left(t\right)\\ 1\end{array}\right]}^{T}F\left[\begin{array}{c}{p}_{R,t}\left(k\right)\\ 1\end{array}\right]=0---\left(\mathrm{1.1.4}\right)$

(1.1.4)式的物理意义是p_R，t(k)位于由p_L，t(k)决定的一条直线上，这样为寻找该点的搜索空间从整个图象降为该直线，即从二维降到了一维。在这个一维空间里，选择使一个局部窗口Wm内总灰度差异最小的点作为匹配结果，即要使下面的(1.1.5)式最小： $\mathrm{Diff}=\underset{\mathrm{Wm}}{\∫}{[I_{R,t}\left(p_{R,t}\left(k\right)\right)-I_{L,t}\left(p_{L,t}\left(k\right)\right)]}^2\mathrm{dp}---\left(\mathrm{1.1.5}\right)$ 离散化后，实际计算时的公式是： $\mathrm{Diff}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}\left(I_{L,t}\right(x_{L,t}\left(k\right)+\mathrm{ii},y_{L,t}\left(k\right)+\mathrm{jj})-I_{R,t}(i+\mathrm{ii},j+\mathrm{jj}){)}^2---\left(\mathrm{1.1.6}\right)$

其中(i，j)是直线 F上的任一点。

图2中t时刻的匹配结果为{p_R，t(k)}，总数目也为K(t)，每个点都和P_L，t(k)相对应。对每一p_L，t(k)的匹配过程是独立的，即在公式(1.1.4)表示的直线上搜索使(1.1.6)式最小的位置。

获得匹配后用立体重建的方法获得三维点序列{M_t(k)|k＝1，…，K(t)}。立体重建的过程对每一对匹配点是独立的，原理如下：

首先，我们有摄像机的透视投影原理，即下面的已知公式， $s_m{A}_m^{-1}\left[\begin{array}{c}{p}_{m,t}\\ 1\end{array}\right]=M_{m,t}$ ，其中m为L或R，表示两个摄像机中的任一个；M_m，t为t时刻三维点在m摄像机坐标系中的坐标；s_m是待求的一个比例因子。我们省略了(k)来表示任一点。

再结合两摄像机间的配置关系(1.1.3)可求解出三维点，M_L，t的表达式为 $M_{L,t}=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]+T_c)$ 其中 $\left[\begin{array}{c}{S}_L\\ S_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c$ ，而 $B=\left[A_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]{-}_{}{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]\right].$

而M_R，t则可按下面的公式求出 $M_{R,t}=R_c^{-1}(M_{L,t}-T_c)$

如果不特别说明，在本文中提到的立体重建出的三维点都是指在L摄像机坐标系中的M_L，t。为方便起见，在陈述中我们去掉L，简写为M_t。对所有的特征点重复上面的立体重建步骤，我们得到三维点序列{M_t(k)|k＝1，…，K(t)}。

从物理意义上看，每一二维投影点实际是确定了三维空间的一条直线，这样根据同一三维点在两个摄像机中的一对二维点，通过求解两条三维直线的交点，就可以确定该三维点。

同时，我们还定义布尔变量序列{bReliable_k}，k＝1，…，K(t)，它表示各三维点是否可靠，取值为Yes或No，目前序列中的所有值都初始化为Yes，表示所有点都是可靠的。

1.1.3二维特征的跟踪

灰度图上的二维特征跟踪同样利用已有的KLT算法完成。其原理是：设检测的特征点在图象I_m，t(p)(m同样为L或R)上，其中p是任一特征点；现在需要在图象I_m，t+1上跟踪该点。基于局部纹理信息的匹配，令 $\stackrel{\→}{e}=\underset{W}{\∫}(I_{m,t+1}\left(p\right)-I_{m,t}\left(p\right))\stackrel{\→}{g}\mathrm{dp},$ $\stackrel{\→}{d}=G^{-1}\stackrel{\→}{e}$ (G的计算如前所述)，则

即为图象I_m，t+1上对p的跟踪结果。

实际计算时同样需要对 的求解作离散化处理： $\stackrel{\→}{e}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}\stackrel{\→}{g}(i+\mathrm{ii},j+\mathrm{jj}){(I}_{m,t+1}(i+\mathrm{ii},j+\mathrm{jj})-I_{m,t}(i+\mathrm{ii},j+\mathrm{jj}))---\left(\mathrm{1.1.7}\right)$

跟踪得到的特征点在图2中表示为(p_m，t+1(k)}。

1.1.4姿态参数初始化

对于跟踪的结果用和匹配时相同的立体重建方法可获得t+l时刻的三维点序列，这样我们就获得了这两个时刻(t和t+1)的一组三维对应点{M，(k)|k＝1，…，K(t)}和{M_t+1(k)|k＝1，…，K(t)}。下面根据这组三维对应和表示其可靠性的序列(bReliable_k)，k=1，…，K(t)(该序列被称为“可靠度量序列”)来求解第t帧到第t+1帧的姿态变换参数R_t，T_t，同时更新可靠度量序列。

首先，从未知量的个数来考虑，三对三维对应点就足以计算出姿态参数。简单介绍该已知算法的原理如下：

设{(m_im，M_im’)|im＝0，1，2}是三对不共线的三维对应点(M_im和M_im’是前后两帧中同一三维点在L摄像机坐标系中的坐标)，姿态参数R_t，T_t满足M_im′＝R_tM_im+T_t|im＝0，1，2。为确定其中的旋转分量R_t，我们需要确定旋转的中心轴 (称为旋转轴，3*1的向量)和绕该轴的旋转角度θ。定义单位向量 ${\mathrm{dir}}_{\mathrm{im}}=\frac{M_{\mathrm{im}}-M_0}{\left|\right|M_{\mathrm{im}}-M_0\left|\right|},$ im＝1，2和 ${{\mathrm{dir}}_{\mathrm{im}}}^{\′}=\frac{{M_{\mathrm{im}}}^{\′}-{M_0}^{\′}}{\left|\right|{M_{\mathrm{im}}}^{\′}-{M_0}^{\′}\left|\right|},$ im＝1，2。则 $\hat{r}=\frac{({{\mathrm{dir}}_1}^{\′}-{\mathrm{dir}}_1)\×({{\mathrm{dir}}_2}^{\′}-{\mathrm{dir}}_2)}{\left|\right|({{\mathrm{dir}}_1}^{\′}-{\mathrm{dir}}_1)\×({{\mathrm{dir}}_2}^{\′}-{\mathrm{dir}}_2)\left|\right|}$ 在得到旋转轴 后，θ可以按下式进行求解： $\mathrm{\θ}=\arccos \frac{(\hat{r}\×{\mathrm{dir}}_1)\·(\hat{r}\×{{\mathrm{dir}}_1}^{\′})}{\left|\right|(\hat{r}\×{\mathrm{dir}}_1)\·(\hat{r}\×{{\mathrm{dir}}_1}^{\′})\left|\right|}$ 得到了 和θ之后，旋转矩阵R_t可由下式给出： $R_t=I+\frac{\sin \left|\right|r\left|\right|}{\left|\right|r\left|\right|}{\left[r\right]}_x+\frac{1-\cos \left|\right|r\left|\right|}{{\left|\right|r\left|\right|}^2}{\left[r\right]}_x^2$ 其中 $r=\mathrm{\θ}*\hat{r}$ ，[r]_x是根据3*1向量r＝[r_xr_yr_z]^T定义的反对称矩阵，即 ${\left[r\right]}_x={\left[\begin{array}{c}{r}_x\\ r_y\\ r_z\end{array}\right]}_x=\left[\begin{array}{ccc}0& -r_z& r_y\\ r_z& 0& -r_x\\ -r_y& r_x& 0\end{array}\right],$ 而 $I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$ 是单位矩阵。估计出旋转分量R_t之后，平移分量T_t可由下式得到： $T_t=\frac{1}{3}\underset{\mathrm{im}=0}{\overset{2}{\mathrm{\Σ}}}({M_{\mathrm{im}}}^{\′}-R_t{M}_{\mathrm{im}})$

上面的算法虽然在理论上能得到准确的结果，但是数值稳定性很差，即在其输入{(M_im，M_im’)|im＝0，1，2}有较小误差时，算法的求解结果会很不准确。而输入数据一般是有误差的，甚至还有一些是错误的。为了在这种情况下得到准确的结果，我们采用了常用的基于最小中值(Least-Median-Square)的鲁棒估计算法。其基本原理是：随机地从当前的可靠三维对应(即{bReliable_k}，k＝1，…，K(t)中取值为Yes的项。设这些项的标号为{k_s}，s＝1，…，Kr(t)，其中Kr(t)是可靠点的总数目)中挑出Num_subset个子集，每个子集Set_n，n＝1，…，Num_subset含有三对三维对应点，据此按上面的算法估计出姿态参数R_t，n，T_t，n，然后对所有的可靠三维对应{M_t(k_s)，M_t+1(k_s)}，s＝1，…，Kr(t)按下面的式(1.1.8)计算ε_n，s：

ε_n，s＝‖M_t+1(k_s)-R_t，nM_t(k_s)-T_t，n‖²    (1.1.8)

该ε_n，s的物理意义是对应点M_t(k_s)，M_t+1(k_s)与姿态参数R_t，n，T_t，n的符合程度，该值越小，说明两者越符合。我们按式(1.1.9)来从集合{R_t，n，T_t，n}，n＝1，…，Num_subset中选择R_t，T_t，即

{R_t，T_t}＝{R_{n_m}，T_{n_m}}，其中 $n\_m=\underset{n}{\arg \min }{\underset{s}{\mathrm{med}}}^n\left\{{\mathrm{\ϵ}}_{n,s}\right|s=1,\…,\mathrm{Kr}\left(t\right)\}---\left(\mathrm{1.1.9}\right)$

其中 表示针对下标s取集合{ε_n，s|s＝1，…，Kr(t)}的中值，它对不同的n构成一个新的数组 $\left\{{\underset{s}{\mathrm{med}}}^n\right|n=1,\…,\mathrm{Num}\_\mathrm{subset}\}$ ；而 则是在这个中值数组中选择取最小值的那个n。

上面求解R_t，T_t的算法能保证在存在很多错误的三维对应时仍得到正确的结果，这是因为：第一，根据{M_t(k)|k＝1，…，K(t)}和{M_t+1(k)|k＝1，…，K(t)}中的三个准确对应就可以计算出姿态参数；第二，按式(1.1.9)选择姿态参数的依据是整个序列的中值，因此即使有很多三维对应是错误的，造成该序列里的很多数值较大；只要正确的三维对应数目超过K(t)的一半，算法仍能得到正确的姿态估计结果。

接着我们需要更新可靠度量序列{bReliable_k}，即判断哪些三维对应是正确的。具体方法如下：令Err_t＝{ε_s＝‖M_t+1(k_s)-R_tM_t(k_s)-T_t‖²|s＝1，…，Kr(t)}表示当前的可靠三维点对R_t，T_t的支持程度，设这Kr(t)个点中的K_True(计算方法如下所述)个是正确的，我们设Err_t中前K_True个较小的ε_s对应的标号为{s_u}，u＝1，…，K_True，则

中对应于这些标号的位置取值Yes，其他的位置是No。

K_True的计算步骤是：

(1)设置K_True的初始值为Kr(t)*ratio(ratio为一预先设定的常数)；记Err_t中按从小到大排序的前K_True个元素组成的子序列为E；

(2)计算E的均值 $\stackrel{\‾}{\mathrm{\ϵ}}=\frac{1}{K\_\mathrm{True}}\underset{{\mathrm{\ϵ}}_s\∈E}{\mathrm{\Σ}}{\mathrm{\ϵ}}_s$ 和标准差 $\mathrm{\σ}=\sqrt{\frac{1}{K\_\mathrm{True}-1}\underset{{\mathrm{\ϵ}}_s\∈E}{\mathrm{\Σ}}{({\mathrm{\ϵ}}_s--\stackrel{-}{\mathrm{\ϵ}})}^2};$

(3)在Err_t中寻找满足‖ε_s- ε‖＞3*σ的点，设数目为InValid_T；

(4)如果0≤Kr(t)-K_True-InValid_T≤1，说明当前对误差和错误的判断是相容的，终止，当前的K_True即为最终结果；否则，转步骤5；

(5)如果K-K_True-InValid_T＞1，K_True加1(即E中添加一点)，转步骤2；否则，转步骤6；

(6)K_True减1(即E中减少一点)，转步骤2。

该方法的原理是误差和错误在统计意义上的分界位置。

1.1.5设置标志bReDetect和bRefine

这是两个布尔型的标志量，取值为Yes或No。bReDetect表示是否要重新调用特征检测和匹配模块，bRefine则表示是否要进行姿态求精。它们的设置方式如下：

(1)如果t＝N，即当前图象是序列中的最后一幅，则bReDetect＝No，bRefine＝Yes；完毕；否则，转步骤2；

(2)如果当前R_t的旋转角θ_t超过了预设的阈值θbound，则bReDetect＝Yes，bRefine＝Yes；完毕；否则，转步骤3；

(3)如果可靠三维点的数目Kr(t)(即{bReliable_k}，k＝1，…，K(t)中取值为Yes的点的数目)小于预设的阈值K_bound，则bReDetect＝Yes，bRefine＝Yes；否则，转步骤4；

(4)bReDetect＝No；如果t-t0是预设的常数Inc_refine的倍数，bRefine＝Yes；否则bRefine＝No。

从原理上说，我们在可靠点数目不足或姿态变化过大时需要重做特征检测和匹配；否则就做特征跟踪。求精则每隔固定的时间间隔(Inc_refine)就做一次。

现在令t＝t+1，准备进入对下一时刻的处理。

1.1.6姿态求精

bRefine为Yes表示在当前时刻做姿态求精，这时系统还需要设置求精运算的起始时刻tStart，实际我们取其为t时刻之前第二个设置bRefine为Yes的时刻，如果这样得到的tStart小于t0就令其为t0。

1.1.4节的姿态参数初始化只利用了两个时刻(t和t+1)的三维对应。为得到更精确的姿态参数，我们选择那些在连续Num＝t-tStart+1个时刻始终正确的三维对应来求精所有相关的姿态参数{R_tStart+τ，T_tStart+τ}，τ＝0，…，t-tStart-1。具体地说，在一次求精运算中，我们先计算{Ra_tStart+τ，Ta_tStart+τ＝1，…，t-tStart；M_tStart(k_pp)，pp＝1，…，Kr(r)}，使得式(1.1.10)中的f_obj达到其最小值。 $f\_\mathrm{obj}=\underset{m}{\mathrm{\Σ}}\underset{\mathrm{\τ}=0}{\overset{t-\mathrm{tStart}}{\mathrm{\Σ}}}\underset{\mathrm{pp}=1}{\overset{\mathrm{Kr}\left(t\right)}{\mathrm{\Σ}}}[{(a_{\mathrm{pp},m}^{\mathrm{\τ}}-x_{\mathrm{pp},m}^{\mathrm{\τ}})}^2+{(b_{\mathrm{pp},m}^{\mathrm{\τ}}-y_{\mathrm{pp},m}^{\mathrm{\τ}})}^2]---\left(\mathrm{1.1.10}\right)$

其中Ra_tStart+τ，Ta_tStart+τ是从tStart时刻到tStart+τ时刻的刚体变换系数；{M_tStart(k_pp)}，pp＝1，…，Kr(t)，是在这Num个时刻中都可靠的三维点数组，包含Kr(t)个点，pp表示三维点的标号。m为L或R，表示某一个摄像机。 是二维检测或跟踪的结果，在m号摄像机tStart+τ时刻的图象中，即 $\left[\begin{array}{c}{a}_{\mathrm{pp},m}^{\mathrm{\τ}}\\ b_{\mathrm{pp},m}^{\mathrm{\τ}}\\ 1\end{array}\right]=A_m^{-1}\left[\begin{array}{c}{p}_{m,\mathrm{tStart}+\mathrm{\τ}}\left(k_{\mathrm{pp}}\right)\\ 1\end{array}\right]---\left(\mathrm{1.1.11}\right)$ 而 则是pp号三维点在tStart+τ时刻，投影到m摄像机上的结果，即 $R_{c,m}=\left[\begin{array}{c}{R}_{1c,m}^T\\ R_{2c,m}^T\\ R_{3c,m}^T\end{array}\right]$ 和 $T_{c,m}=\left[\begin{array}{c}{T}_{1c,m}\\ T_{2c,m}\\ T_{3c,m}\end{array}\right]$ 表示从L摄像机坐标系到m摄像机坐标系的刚体变换。即 $R_{c,L}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ $T_{c,L}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right],$ $R_{c,R}=R_c^{-1},T_{c,R}=-R_c^{-1}{T}_{c,R}$ 。另外有 $R{a}_{\mathrm{tStart}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ ${\mathrm{Ta}}_{\mathrm{tStart}}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right].$

从物理意义上看，式(1.1.10)表示的是所有图象中二维重投影的总误差。优化该目标能得到姿态参数的精确值。其中参数{Ra_tStart+τ，Ta_tStart+τ，τ＝1，…，t-tStart；M_tStart(k_pp)，pp＝1，…，Kr(t)}的求解可调用通用的Levenberg-Marquardt算法(利用matlab工具包)来完成。

得到了{Ra_tStart+τ，Ta_tStart+τ}，τ＝1，…，t-tStart后按下面的公式计算出{R_tStart+τ，T_tStart+τ}，τ＝0，…，t-tStart-1，从而达到求精目的。

R_tStart＝Ra_tStart+1，T_tStart＝Ta_tStart+1，，τ＝2，…，t-tStart

上面公式的物理意义是刚体运动的复合，例如：{R_tStart+τ-1，T_tStart+τ-1}是tStart+τ-1时刻到tStart+τ时刻的刚体变换，它等于两个刚体变换的复合，即先作从tStart+τ-1时刻到tStart时刻的刚体变换(是{Ra_tStart+τ-1，Ta_tStart+τ-1}的逆变换)，再作从tStart时刻到tStart+τ时刻的刚体变换(即{Ra_tStart+τ，Ta_tStart+τ})。

1.2模型和姿态的初始化

按通用模型特定化的思路，首先需要从Face_g得到一个初始模型Face_init；另外，在上面的姿态估计步骤中得到了{R_t，T_t，t＝1，…，N-1}，而为了获得模型和投影图象间的对应，我们还需要计算从generic坐标系(下段介绍，是一个固定在人头上的物体坐标系)到各帧L摄像机坐标系的刚体变换R_g，t，T_g，t，t＝1，…，N。这两个任务分别由模型初始化和姿态初始化完成。

先解释一下generic坐标系。我们取坐标系原点为左眼内角LE、右眼内角RE、左外嘴唇LM、右外嘴唇RM四个点的重心Middle；取X轴方向为从右眼RE指向左眼LE的方向，取Y轴方向从下頦指向额头的方向(竖直向上的方向)，取Z轴方向为从后脑指向鼻子的方向。三方向两两正交，并构成右手坐标系。上面提到的各特征点参见图5。

模型初始化的过程实际是对原始通用模型施加一个尺度变换。即按下面的公式(1.2.1)完成： $M_{\mathrm{init}}=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& s_z\end{array}\right]M_g---\left(\mathrm{1.2.1}\right)$

其中M_g和M_init分别是Face_g和Face_init上的任一组对应点。三个比例因子s_x，s_y，s_z利用人脸上的四个主要特征点的距离配置确定(包括左内眼角、右内眼角、左嘴角和右嘴角)。具体地：s_x是建模对象和Face_g中Seg_E长度(两内眼角的距离)的比值，s_y则是Seg_EM长度(两眼中心到嘴中心的距离)的比值，s_z就取为s_y。这些线段也在图5中标出。

确定了这三个比例系数后对Face_g中的所有点按公式(1.2.1)作尺度变换，结果即为Face_init。

姿态初始化的任务是要计算R_g，l，T_g，l，即从generic坐标系到第1帧时L摄像机坐标系的刚体变换，即要求解(1.2.2)中的参数

M₁＝R_g，lM_init+T_g，l                                    (1.2.2)

其中M_l和M_init分别是时刻1时人脸和Face_init这两个模型间的任一组对应点。

为求解R_g，l，T_g，l，我们选择这两个模型在LE(左眼)、RE(右眼)和Mid_M(嘴中心)这三个位置处的对应点，按前面1.1.4节中姿态初始化的方法得到结果。

获得了R_g，l，T_g，l后，系统根据刚体运动的复合，按下面的公式计算其他各时刻的姿态参数R_g，t，T_g，t，t＝2，…，N：

R_g，t＝R_t-1R_g，t-1，T_g，t＝R_t-1*T_g，t-1+T_t-1，t＝2，…，N

现在系统会自动判断对应于侧面视图的时刻side，即选择side为使R_g，t的旋转角最接近90度的那个t。

1.3形状修正A

这一步要把Face_init变形为Face₁。如前所述，我们保持Face的拓扑结构，而只是修改其中三维点的坐标。具体地，我们先确定三维结点列表P中一个子集Subset的新位置，再通过一个已知的径向基函数算法来确定P中所有结点的坐标。

先简单介绍径向基函数算法的基本原理。设要将Face_start变形为Face_new，已知一个Subset中的结点在Face_new中的坐标为{New₁，…，New_S}，记其在Face_start中的对应点为{Sta₁，…，Sta_S}；这里S为Subset中点的数目。现在对于模型中的任一位置pt，其在Face_new中的坐标 可由下面的已知公式求出： $M_{\mathrm{pt}}^{\mathrm{new}}=\underset{\mathrm{jRBF}=1}{\overset{S}{\mathrm{\Σ}}}{C}_{\mathrm{jRBF}}\mathrm{\φ}\left(\right||M_{\mathrm{pt}}^{\mathrm{start}}-\mathrm{St}{a}_{\mathrm{jRBF}}|\left|\right)$ 其中 是pt点在Face_start中的坐标，而{C₁，…，C_S}可按下面的公式求出 $\left[\begin{array}{c}{C}_1^T\\ \underset{.}{\overset{.}{.}}\\ C_S^T\end{array}\right]={\left[\begin{array}{ccc}\mathrm{\φ}\left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_1|\left|\right)& ...& \mathrm{\φ}\left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_S|\left|\right)\\ ...& ...& ...\\ \mathrm{\φ}\left(\right||\mathrm{St}{a}_S-\mathrm{St}{a}_1|\left|\right)& ...& \mathrm{\φ}\left(\right||{\mathrm{Sta}}_S-{\mathrm{Sta}}_S|\left|\right)\end{array}\right]}^{-1}\left[\begin{array}{c}{\mathrm{New}}_1^T\\ \underset{.}{\overset{.}{.}}\\ {\mathrm{New}}_S^T\end{array}\right]$

该方法实际是根据Face_start中各点到一些标定点(即Subset中的点)的距离关系来确定该点在Face_new中的位置。φ是已知的径向基函数(定义域和值域都为非负实数)，它是自变量r(表示距离)的递减函数，即距离远的标定点对该点的影响较小。

这一步在利用上面的径向基函数算法时，我们有Face_start＝Face_init，Face_new＝Face₁。而Subset中的点包括两类：一类是三维显著特征点，共4个，由二维显著特征点(指人脸上的左眼内角LE、右眼内角RE、左外嘴唇LM、右外嘴唇RM四个点在图象平面上的投影)通过前面的立体重建算法得到；另一类是侧面特征点(指那些在人脸侧面投影视图上易于辨认的点，如下頦、嘴、鼻尖、鼻梁上方、前额等。典型的人脸侧面投影以及我们定义的一些侧面特征点在图6中用小的圆圈表示，它的一个实例参见图16)，实际使用的有24个，它们的三维位置按下面的步骤从手工标出的二维点中获得。

设手工标出的侧面特征点为 $\{m_{L,\mathrm{side}}^{\mathrm{kk}}={\left[\begin{array}{cc}{x}_{L,\mathrm{side}}^{\mathrm{kk}}& y_{L,\mathrm{side}}^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF，其中NumSF＝24为侧面特征点的数目，side是前面已经得到的侧面帧标号。它们在generic坐标系中的三维坐标为 $\{{\mathrm{Ms}}_g^{\mathrm{kk}}={\left[\begin{array}{ccc}0& Y_g^{\mathrm{kk}}& Z_g^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF，则对任一kk，我们有其中 $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{g,\mathrm{side},1}^T\\ R_{g,\mathrm{side},2}^T\\ R_{g,\mathrm{side},3}^T\end{array}\right],$ $T_{g,\mathrm{side}}=\left[\begin{array}{c}{T}_{g,\mathrm{side},1}\\ T_{g,\mathrm{side},2}\\ T_{g,\mathrm{side},3}\end{array}\right]$ 是姿态参数的分量表示。(1.3.1)中有两个线性方程，因而可直接用线性方程组的求解方法得到

中的两个未知数

和

该方法实际是利用了侧面特征点的特殊位置(即在generic坐标系中坐标的X分量为0)，因而可直接从单幅图象中求出三维点。

1.4形状修正B

这一步同样利用前面的径向基函数算法，Face_start＝Face₁，Face_new＝Face₂，Subset中除了包括前面“形状修正A”里已经确定了的点之外，还有一些新添加的点，即根据手工标出的正面人脸轮廓(指正面姿态下图像上的人脸轮廓，用闭合的多边形轮廓表示，一个例子如图7所示。该图将多边形轮廓叠加到了人脸图象上，看得更清楚)恢复出来的三维点。得到这些三维点的基本方法是将当前人脸模型向图象平面作透视投影，并计算三维模型透视投影的二维轮廓点，最后依赖于这些轮廓点和图象上的人脸轮廓的匹配来计算其三维坐标。具体的步骤如下所述：

首先需要计算出Face₁在t＝1时刻(是手工选择的正面视图)向图象平面投影的轮廓 ${\mathrm{Cont}}_1=\left\{{\mathrm{pt}}_1^{\mathrm{iC}1}\right|\mathrm{iC}1=1,\…,\mathrm{nNum}1\}$ ，其中

是P(即模型的三维结点列表)中点的标号，显然有 $1\≤p_1^{\mathrm{iC}1}\≤\mathrm{nVertex}$ ；而nNum1是Cont₁中的顶点数目。Cont₁中的点就是这一步形状修正中新添加到Subset中的点，它们是通过判断投影线和模型的交点来选择的，即在某一轮廓点上，投影线与模型不能有其他的交点，详细的计算方法如下所述：

记三维模型为Face_proj(这里就是Face₁)，透视投影中心为 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$ 即L摄像机光心在generic坐标系中的坐标，则我们对模型中的所有顶点计算过该点的投影线和模型的交点，据此判断该顶点是否在投影轮廓中。具体地，M_now为Face_proj中任一点，Plane_jp为Face_proj中任一面片构成的平面，计算过Center和M_now的直线(即投影线)与Plane_jp的交点为C_now；如果对某一个满足1≤ip≤nMesh的ip(如前所述，nMesh是Face_proj中的面片总数)求出的C_now在线段CM_now的内部，则M_now不在投影轮廓中；否则就应属于投影轮廓。

接着要计算Cont₁中的任一点 在Face₂的三维坐标。设图象上的人脸轮廓是 $\mathrm{Cont}\_{\mathrm{img}}_1=\left\{\left[\begin{array}{cc}{\mathrm{xCI}}_1^{\mathrm{iCimg}}& {\mathrm{yCI}}_1^{\mathrm{iCimg}}\end{array}\right]\right|\mathrm{iCimg}=1,...,\mathrm{nNumCI}1\}$ ，它是由二维点列表构成的多边形，而nNumCI1是点的数目。则我们按下面的方法确定

在Face₂的三维坐标：

设 $\mathrm{pti}={\mathrm{pt}}_1^{\mathrm{iC}1}$ 点在Face_g中的法向为v_n，在Face₁中的坐标是 $M_1^{\begin{array}{}\end{array}\mathrm{pti}}={\left[\begin{array}{ccc}{X}_1^{\mathrm{pti}}& Y_1^{\mathrm{pti}}& Z_1^{\mathrm{pti}}\end{array}\right]}^T$ ，而经过该点的投影方向为 $v_{\mathrm{pn}}=M_1^{\mathrm{pti}}+R_{g,1}^{-1}{T}_{g,1}$ (这三者都是已知量)，则pti点在Face2中的坐标满足 $M_2^{\mathrm{pti}}=M_1^{\mathrm{pti}}+t_{\mathrm{line}}v---\left(\mathrm{1.4.1}\right)$

其中

v＝(v_xv_yv_z)^T＝v_pn×(v_n×v_pn)            (1.4.2)

参数t_line可根据二维直线 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_x}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}& \frac{Y_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_y}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img₁的交点求出。具体步骤如下：

设Cont_tmg₁中的任一线段可表示为seg＝(x₀+sd_xy₀+sd_y)^T，0≤s≤1，其中s为线段参数，其他都是已知量。

我们先按下面的公式计算 $\left[\begin{array}{c}\mathrm{si}\\ t_{\mathrm{line}}\end{array}\right]={\left[\begin{array}{cc}{d}_x& -(X_1^{\mathrm{pti}}-v_x*Z_1^{\mathrm{pti}}/v_z)\\ d_y& -(Y_1^{\mathrm{pti}}-v_y*Z_1^{\mathrm{pti}}/v_z)\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_0-v_x/v_z\\ y_0-v_y/v_z\end{array}\right]$

对所有的seg求出这两个数值si和t_line。对于很多seg上面的公式无解，即公式里的矩阵不可逆。有解且得到的si满足0≤si≤1的seg有一个或两个，取与点 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}& \frac{Y_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}\end{array}\right]}^T$ 距离近的那一个seg，它得到的t_line即为所求。

这里v是

点的变形方向，对它的计算利用了通用人脸的局部形状。实际上，该方向是Face₁上该点处法向垂直于投影线的分量，这样一方面能尽量保持局部曲率；另一方面能尽量减小点的变形距离。

1.5形状修正C

这一步同样利用前面的径向基函数算法，Face_start＝Face₂，Face_new＝Face₃，Subset中除了包括前面“形状修正A、B”里已经确定了的点之外，还有一些新添加的点，即根据手工标出的正面人脸特征轮廓点(指正面姿态下手工标出的眼睛、鼻孔和嘴的轮廓点，是一些离散点，如图8所示，同样是叠加显示)恢复出来的三维点。具体的恢复步骤如下所述：

设某特征轮廓点的二维坐标是 $\left[\begin{array}{cc}{\mathrm{xCF}}_1^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}\end{array}\right]$ ，该点在Face₂中的坐标为 $M_2^{\mathrm{iCF}}={\left[\begin{array}{ccc}{X}_2^{\mathrm{iCF}}& Y_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T$ ，我们假设该点的Z坐标已经计算正确，即它在Face₃中的Z坐标等于

，则它在Face₃中的坐标为 $M_3^{\mathrm{iCF}}={\left[\begin{array}{ccc}{\mathrm{xCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T---\left(\mathrm{1.5.1}\right)$

即这些特征轮廓点在正面姿态下的投影等于实际图象上的特征点。

1.6形状修正D

这一步同样利用前面的径向基函数算法，Face_start＝Face₃，Face_new＝Face₄，Subset中除了包括前面“形状修正A、B、C”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图1(该视图的选择由系统自动判断，实际是使R_g，t的旋转角最接近25度的时刻t。所谓“中间视图”是指介于正面和侧面之间的中间投影姿态)人脸轮廓(同样用闭合多边形表示，典型的例子是图9)恢复出来的三维点，具体的恢复步骤如下所述：

设中间视图1对应于时刻int1，与前面1.4节对正面图人脸轮廓的处理类似，也要先算出Face₃在int1时的投影轮廓 $\mathrm{Con}{t}_{\mathrm{int}1}=\left\{{\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}\right|\mathrm{iC}2=1,\…,\mathrm{nNum}\_\mathrm{int}1\}$ ，其中

是P(即人脸模型的三维结点列表)中点的标号，而nNum_int1是投影轮廓中的顶点数目。投影轮廓的计算方法如前所述(1.4节)。

Cont_int1中的点在Face₄中的坐标按下面的与1.4节类似的步骤确定：对于任一 $\mathrm{ptli}={\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2},$ 定义 $v2={\left[\begin{array}{ccc}{v2}_x& {v2}_y& {v2}_z\end{array}\right]}^T=M_3^{\mathrm{ptli}}-\mathrm{Center}$ ，其中 $M_3^{\mathrm{pt}1i}={\left[\begin{array}{ccc}{X}_3^{\mathrm{pt}1i}& Y_3^{\mathrm{pt}1i}& Z_3^{\mathrm{pt}1i}\end{array}\right]}^T$ 是该点在Face₃中的三维坐标，而 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$ 如前所述是L摄像机光心在generic坐标系中的坐标。则该点在Face₄中的坐标

满足 $M_4^{\mathrm{ptli}}=M_3^{\mathrm{ptli}}+t_{\mathrm{line}2}v2---\left(\mathrm{1.6.1}\right)$

其中参数t_line2根据二维直线 ${\left[\begin{array}{cc}\frac{X_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_x}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}& \frac{Y_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_y}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img_int1的交点求出，方法如1.4节所述。

1.7形状修正E

这一步同样利用前面的径向基函数算法，Face_start＝Face₄，Face_new＝Face₅，Subset中除了包括前面“形状修正A、B、C、D”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图2(该视图的选择也由系统自动判断，实际是使R_g，t的旋转角最接近40度的时刻t)人脸轮廓(典型的例子是图10)恢复出来的三维点，具体的恢复步骤和1.6节中的处理完全一样。

1.8纹理映射

纹理映射是要为创建的模型Face_s生成柱面纹理图Texture_s，使得最终的建模结果看起来有相片一样的真实感。目前的纹理是通过两幅图象生成，即L摄像机拍摄的正面和侧面视图(I_L，1和I_L，side)，这部分的基本原理是把采集图象转换到一个统一的柱面坐标系中，并进行融合，其流程如图3所示，具体步骤如下：

1.8.1柱面展开图的生成

系统首先对Face_s中的任一三维点 $M_s^{\mathrm{pt}}={\left[\begin{array}{ccc}{X}_s^{\mathrm{pt}}& Y_s^{\mathrm{pt}}& Z_s^{\mathrm{pt}}\end{array}\right]}^T$ 作公式(1.8.1)所示的柱面映射：

映射的结果是一个二维平面，其上的点为 $\left\{{\mathrm{Cyn}}_{\mathrm{pt}}\right\}=\left\{\left[\begin{array}{cc}{\lg }_{\mathrm{pt}}& {\mathrm{lt}}_{\mathrm{pt}}\end{array}\right]\right\}$ 。这里lg_pt是柱面上的经度位置，用弧度值表示；lt_pt则是柱面旋转轴向的坐标位置。

1.8.2正面纹理图

将所有 在正面姿态参数R_g，l，T_g，l下按公式(1.8.2)进行投影：

其中 $R_{g,1}=\left[\begin{array}{c}{R}_{1g,1}^T\\ R_{2g,2}^T\\ R_{3g,3}^T\end{array}\right],$ $T_{g,1}=\left[\begin{array}{c}{T}_{1g,1}\\ T_{2g,1}\\ T_{3g,1}\end{array}\right]$ 是旋转矩阵和平移向量的分量表示。

这时 ${\stackrel{\→}{p}}_1^{\mathrm{pt}}={\left[\begin{array}{cc}{x}_1^{\mathrm{pt}}& y_1^{\mathrm{pt}}\end{array}\right]}^T$ 是Face_s中三维点 在正面视图I_L，1上的二维投影。现在我们得到一个I_L，1平面上点 和Cyn平面上点Cyn_pt＝(lg_pt lt_pt)^T的二维对应关系，该关系是由于它们都和三维点 相对应而得到的(分别通过公式1.8.2和1.8.1)。我们基于这种对应关系将I_L，1中的各像素映射到Cyn平面上，即对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，设m_proj＝Δ(p₁，p₂，p₃)表示这三点在I_L，1平面上构成的三角形，m_cyn＝Δ(p₁′，p₂′，p₃′)是Cyn平面上的对应三角形，即 $p_{\mathrm{iT}1}={\left[\begin{array}{cc}{x}_1^{{\mathrm{pt}}_{\mathrm{iT}1}}& y_1^{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T$ ${p_{\mathrm{iT}1}}^{\′}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}1}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T,$ iT1＝1，2，3。对三角形m_cyn内的点[lg lt]按下面的公式(1.8.4)计算[xy]，并令 $I_{\mathrm{Textur}{e}_1}(\lg ,\mathrm{lt})=I_{L,1}(x,y)---\left(\mathrm{1.8.3}\right)$

即将正面纹理图映射到柱面展开图上。 $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right]---\left(\mathrm{1.8.4}\right)$

其中的六个未知量a_iA，iA＝1，…，6按公式(1.8.5)求出。

正面纹理映射的结果记为Texture₁。

1.8.3侧面纹理图

与正面图的处理非常类似，将所有

在侧面姿态参数R_g，side，T_g，side下按公式(1.8.6)进行投影：

这里同样有分量表示 $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{1g,\mathrm{side}}^T\\ R_{2g,\mathrm{side}}^T\\ R_{3g,\mathrm{side}}^T\end{array}\right],$ $T_{g,\mathrm{side}}=\left[\begin{array}{c}{T}_{1g,\mathrm{side}}\\ T_{2g,\mathrm{side}}\\ T_{3g,\mathrm{side}}\end{array}\right].$

接着对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，设ms_proj＝Δ(ps₁，ps₂，ps₃)，其中 ${\mathrm{ps}}_{\mathrm{iT}2}={\left[\begin{array}{cc}{x}_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}& y_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}\end{array}\right]}^T$ ，iT2＝1，2，3。对三角形m_cyn内的点[lg lt]按后面的公式(1.8.8)计算[xs ys]，并令 $I_{\mathrm{Textur}{e}_{\mathrm{side}}}(\lg ,\mathrm{lt})=I_{L,\mathrm{side}}(\mathrm{xs},\mathrm{ys})---\left(\mathrm{1.8.7}\right)$

即将侧面纹理图映射到柱面展开图上。 $\left[\begin{array}{c}\mathrm{xs}\\ \mathrm{ys}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{as}}_1& {\mathrm{as}}_2& {\mathrm{as}}_3\\ {\mathrm{as}}_4& {\mathrm{as}}_5& {\mathrm{as}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right]---\left(\mathrm{1.8.8}\right)$

其中的六个未知量as_iAS，iAS＝1，…，6按公式(1.8.9)求出。

侧面纹理映射的结果记为Texture_side。

1.8.4侧面纹理图的反射

由于人脸只向一侧旋转，所以只能得到单侧的侧面纹理，另一侧的纹理可通过对Texture_side作反射处理得到。具体地说，由于Face_s的拓扑结构是完全对称的，设有直接获得纹理的那一侧脸上的任一三角面片m_cyn＝Δ(p₁，p₂，p₃)和它在另一侧脸上的对称面片m_cyn′＝Δ(p₁′，p₂′，p₃′)，其中 $p_{\mathrm{iT}3}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}3}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}3}}\end{array}\right]}^T,$ ${p_{\mathrm{iT}3}}^{\′}={\left[\begin{array}{cc}{{\lg }^{\′}}_{{\mathrm{pt}}_{\mathrm{iT}3}}& \end{array}{{\mathrm{lt}}^{\′}}_{{\mathrm{pt}}_{\mathrm{iT}3}}\right]}^T,$ iT3＝1，2，3，则对m_cyn中的任一点p＝(lg lt)^T按下面的公式(1.8.9)计算[lg′lt′]，并令 $I_{\mathrm{Textur}{e}_{\mathrm{side}}}({\lg }^{\′},{\mathrm{lt}}^{\′})=I_{\mathrm{Textur}{e}_{\mathrm{side}}}(\lg ,\mathrm{lt})---\left(\mathrm{1.8.8}\right)$

即从直接获得纹理的一侧反射生成另一侧。 $\left[\begin{array}{c}{\lg }^{\′}\\ {\mathrm{lt}}^{\′}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{rs}}_1& {\mathrm{rs}}_2& {\mathrm{rs}}_3\\ {\mathrm{rs}}_4& {\mathrm{rs}}_5& {\mathrm{rs}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right]---\left(\mathrm{1.8.9}\right)$

其中的六个未知量rs_iRS，iRS＝1，…，6按公式(1.8.10)求出。

现在我们得到了完整的Texture_side。

1.8.5两纹理图的融合

我们融合Texture₁和Texture_side来得到最终的纹理图Texture_s。具体地，设定阈值lg_min和lg_max，Texture_s在任一位置Cyn＝(lg lt)^T处的取值由下面的式(1.8.11)决定

我们在一个普通的桌面PC系统上实现了上面的建模方法。该计算机CPU为IntelPIII933，配有256M的Rambus内存，安装了Microsoft Windows 2000 Professional操作系统。为进行数据采集，我们使用了两个相同的SANYO VCC-5972P型摄像机，以及两块相同的MatroxMeteorII采集卡来采集两路同步视频，图象分辨率为768*576，真彩色图象，帧速率15帧/秒。数据采集时立体摄像机按图11所示的上下配置(一方面，这种配置使两摄像机的公共视场较大；另一方面，这时外极线的方向基本沿竖直方向，与人脸上灰度变化多数沿水平方向的实际情况相适应)，一个实际采集的立体视频序列中的典型帧如图12所示。实际采集的视频共有50帧(即N＝50)，其中第一帧是手工选择的正面姿态图象。

我们使用的通用模型Face_g来自MPEG4的参考软件MOMUSYS的人脸动画部分，称为ISTFACE，由葡萄牙的Instituto Superior Tecnico开发。它包含1039(nVertex)个结点，组成1704(nMesh)个三角形面片，形成一个完整的人头，不但包括人脸表面(例如眼睛、鼻子、嘴、耳朵等器官和脸颊、额头、后脑等区域)，还包括眼珠、牙齿、舌头这些内部器官和颈部区域。它可由MPEG4人脸动画参数流驱动，通过三维网格点的变形实现动画。图13是该模型的中性状态和动画状态(嘴唇的运动)。

下面详细介绍该实施实例中的各个步骤：

第一步：初始化：使用图11所示的摄像机配置拍摄图12所示的立体视频；并设置：

·时间初值t＝t0＝1。其中t表示时间，对应于视频序列中的图象序号，表示当前处理的图象；t0同样表示时间，表示当前跟踪着的特征被检测出来的时刻；

●计算基础矩阵 $F=A_L^{-T}\left[\begin{array}{ccc}0& -T_{c,z}& T_{c,y}\\ T_{c,z}& 0& -T_{c,x}\\ -T_{c,y}& T_{c,x}& 0\end{array}\right]R_c{A}_R^{-1}$ (其中各已知量的意义参见1.1.2节中的解释)。实际数值是 $R_c=\left[\begin{array}{ccc}0.999952& -0.005045& +0.008457\\ 0.006579& 0.981257& -0.192594\\ -0.007327& 0.192640& 0.981242\end{array}\right],$ $T_c=\left[\begin{array}{c}0.012413\\ 0.611240\\ 0.088092\end{array}\right]$ $A_L=\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right],$ $A_R=\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right],$ 其中f_L＝1330.3，f_R＝1330.6，u_OL＝384，v_OL＝288，u_OR＝384，v_OR＝288；

●width，height：图象的宽度和高度，在具体实现中，width＝768，height＝576；

●blockx，blocky：决定了特征检测、跟踪以及匹配时局部窗口中包含的网格点数目。实际上，该窗口以待测点(i，j)为中心，网格点总数为(2*blockx+1)*(2*blocky+1)。在具体实现中，blockx＝3，blocky＝3；

●quality，dis_min：特征点检测时的阈值，前者控制特征点的质量，后者控制特征点的间距。在具体实现中，quality＝0.01，dis_min＝10；

●Num_subset，ratio：姿态参数初始化(1.1.4节)时使用的常数，前者是随机选择的子集的数目，后者用来决定如何更新{bReliable_k}。实际取值为Num_subset＝100，ratio＝0.9；

●θ_bound，K_bound，Inc_refine：是我们为计算bReDetect和bRefine而使用的阈值。它们的取值是：θ_bound＝20，单位是度；K_bound＝10；Inc_refine＝4；

●lg_min和lg_max：用来确定Texture₁和Texture_side之间的分界点，是外眼角和耳朵上沿之间的一个位置。具体地，lg_min对应于右侧脸上的该点，在Face_s中标号为306；lg_max对应于左侧脸上的该点，在Face_s中标号为120；

●φ：即形状修正时已知的径向基函数，我们选择 $\mathrm{\φ}={(1-r)}_{+}^6(6+36r+82r^2+{72r}^3+30r^4+{5r}^5)$ ，其中

表示函数取值为负时就置其为0。

第二步：在图象I_L，t上计算梯度向量 ${\stackrel{\→}{g}}_{L,t}(i,j)={\left[\begin{array}{cc}\mathrm{gx}& \mathrm{gy}\end{array}\right]}^T={\left[\frac{I_{L,t}(i+1,j)-I_{L,t}(i-1,j)}{2}\frac{I_{L,t}(i,j+1)-I_{L,t}(i,j-1)}{2}\right]}^T$

以及 $G(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}{\stackrel{\→}{g}}_{L,t}(i+\mathrm{ii},j+\mathrm{jj}){{\stackrel{\→}{g}}_{L,t}}^T(i+\mathrm{ii},j+\mathrm{jj}),$

其中1≤i≤width，1≤j≤height表示图象上任一点，blockx，blocky是与窗口尺寸相关的常量。如果计算时用到了超出图象边界的点，直接令 $G_{L,t}(i,j)=\left[\begin{array}{cc}0& 0\\ 0& 0\end{array}\right]$ 。接着利用已有的数学工具软件matlab对G_L，t(i，j)作奇异值分解，并取其最小的奇异值组合得到{min_val(i，j)}，1≤i≤width，1≤j≤height，这是与原图象尺寸相同的浮点数矩阵。

举一个实际例子。在图12所示立体视频序列的I_L，1上，以某点(i＝346，j＝297)为中心的7*7(blockx＝blocky＝3)局域图象上每一点的灰度值为 $\left[\begin{array}{ccccccc}48& 63& 81& 97& 102& 90& 72\\ 57& 78& 109& 135& 137& 121& 96\\ 57& 98& 146& 175& 177& 159& 130\\ 61& 102& 153& 180& 177& 162& 133\\ 59& 95& 134& 150& 146& 130& 100\\ 54& 80& 107& 121& 113& 95& 72\\ 48& 57& 61& 69& 66& 56& 50\end{array}\right]$ 而7*7的{gx}和{gy}矩阵为

按前述公式计算出的2*2的矩阵 $G=\left[\begin{array}{cc}23311& 2665.5\\ 2665.5& 30700\end{array}\right]$ ，其两个奇异值为31561.2和22449.8，故min_val(346，297)＝22449.8(这里min_val是两个奇异值中较小的一个，函数的自变量是图象上点的二维坐标)。

第三步：在矩阵{min_val(i，j)}中寻找满足下面几个条件的位置作为检测出的特征点。(1)该点处的min_val取值较大；具体地，设整个矩阵的最大值为max_min_val，则特征点处的取值应大于quality*max_min_val，其中quality为一预先设定的阈值，实际取为0.01；(2)该点处的min_val是其3*3邻域内的最大值；(3)任意两特征点的距离应大于dis_min；如果两特征点的距离小于或等于该值，则min_val取值较小的一个位置不被认为是特征点；dis_min实际取为10。按这三条规则我们检测出I_L，t上的特征点序列，并记为{p_L，t(k)}，1≤k≤K(t)。检测的结果参见图14。

第四步：对任一p_L，t(k)，计算其对应的外极线

F，并计算 $\mathrm{Diff}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\Σ}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\Σ}}}\left(I_{L,t}\right(x_{L,t}\left(k\right)+\mathrm{ii},y_{L,t}\left(k\right)+\mathrm{jj})-I_{R,t}(i+\mathrm{ii},j+\mathrm{jj}){)}^2$

其中(i，j)是直线l(其向量表示是l＝[l₁l₂l₃]，即直线的方程是l₁i+l₂j+l₃＝0)上的任一点，即满足 $\frac{\left|\right|l_{1}i+l_{2}j+l_3\left|\right|}{\sqrt{l_1^2+l_2^2}}<1.$ $(i_{\min },j_{\min })=\underset{(i,j)}{\arg \min }\mathrm{Diff}(i,j).$ 则p_L，t(k)的匹配点即为p_R，t(k)＝(i_min j_min)^T。对所有检测出的特征点进行相同的处理，我们得到I_R，t上的匹配点序列，并记为{p_R，t(k)}，1≤k≤K(t)。

第五步：根据任一对匹配p_L，t(k)和p_R，T(k)，计算 $B_{}=[A_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]-R_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]],$ $\left[\begin{array}{c}{s}_L\\ s_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c$ ，并最终得到三维点 $M_t\left(k\right)=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t}\left(k\right)\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\left(k\right)\\ 1\end{array}\right]+T_c)$ 。对所有成对匹配进行相同处理，我们得到t时刻的三维特征点序列{M_t(k)|k＝1，…，K(t)}。同时初始化布尔变量序列{bReliable_k}，k＝1，…，K(t)全为Yes，表示所有点都是可靠的。

第六步：在任一p_L，t(k)＝(i，j)处计算 ${\stackrel{\&RightArrow;}{e}}_{L,t}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\&Sigma;}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\&Sigma;}}}{\stackrel{\&RightArrow;}{g}}_{L,t}(i+\mathrm{ii},j+\mathrm{jj})(I_{L,t+1}(i+\mathrm{ii},j+\mathrm{jj})-I_{L,t}(i+\mathrm{ii},j+\mathrm{jj}))$ ，以及 ${\stackrel{\&RightArrow;}{d}}_{L,t}(i,j)=G_{L,t}{(i,j)}^{-1}{\stackrel{\&RightArrow;}{e}}_{L,t}(i,j)$ 。则该点在L视频序列中t+1时刻的对应点为 $p_{L,t+1}\left(k\right)=p_{L,t}\left(k\right)-{\stackrel{\&RightArrow;}{d}}_{L,t}(i,j)$ 。对所有的特征点进行相同的处理，我们得到I_L，t+1上的跟踪结果，并记为{p_L，t+1(k)}，1≤k≤K(k)。

第七步：用类似的方法处理R视频序列。具体地，先按前述公式在R，t图上计算

和{G_R，t(iR，jR)}，接着对任一p_R，t(k)＝(iR，jR)计算 ${\stackrel{\&RightArrow;}{e}}_{R,t}(\mathrm{iR},\mathrm{jR})=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\&Sigma;}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\&Sigma;}}}{\stackrel{\&RightArrow;}{g}}_{R,t}(\mathrm{iR}+\mathrm{ii},\mathrm{jR}+\mathrm{jj})(I_{R,t+1}(\mathrm{iR}+\mathrm{ii},\mathrm{jR}+\mathrm{jj})-I_{R,t}(\mathrm{iR}+\mathrm{ii},\mathrm{jR}+\mathrm{jj}))$ ，最终有 ${{\stackrel{\&RightArrow;}{d}}^{\&prime;}}_{R,t}(\mathrm{iR},\mathrm{jR})=G_{R,t}{(\mathrm{iR},\mathrm{jR})}^{-1}{\stackrel{\&RightArrow;}{e}}_{R,t}(\mathrm{iR},\mathrm{jR})$ ，则该点在R视频序列中t+1时刻的对应点为 $p_{R,t+1}\left(k\right)=p_{R,t}\left(k\right)-{{\stackrel{\&RightArrow;}{d}}^{\&prime;}}_{R,t}(\mathrm{iR},\mathrm{jR})$ 。对所有特征点进行相同的处理，我们得到I_R，t+1上的跟踪结果，并记为{p_R，t+1(k)}，1≤k≤K(t)。

第八步：用与第五步类似的方法得到t+1时刻的三维点序列。具体地，根据任一对匹配p_L，t+1(k)和p_R，t+1(k)，计算 $B=[A_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]-R_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]].$ $\left[\begin{array}{c}{s}_L\\ s_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c,$ 并最终得到三维点 $M_{t+1}\left(k\right)=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]+T_c)$ 。对所有成对的跟踪结果进行相同处理，我们得到t+1时刻的三维特征点序列{M_t+1(k)|k＝1，…，K(t)}。

第九步：设序列{bReliable_k}，k＝1，…，K(t)中取值为Yes的项的标号为{k_s}，s＝1，…，Kr(t)，其中Kr(t)是取值为Yes的总数目。随机选取Num_subset(实际取为100)个三元子集{Set_n＝{N_1，n，N_2，n，N_3，n}}，n＝1，…，Num_subset，其中1≤N_1，n，N_2，n，N_3，n≤Kr(t)。根据 $\{M_t\left(k_{N_{1,n}}\right),M_t\left(k_{N_{2,n}}\right),M_t\left(k_{N_{3,n}}\right)\}$ 和 $\{M_{t+1}\left(k_{N_{1,n}}\right),M_{t+1}\left(k_{N_{2,n}}\right),M_{t+1}\left(k_{N_{3,n}}\right)\}$ 的对应关系，按1.1.4节的方法估计出刚体运动参数R_t，n，T_t，n，然后对所有的可靠三维对应{M_t(k_s)，M_t+1(k_s)}，s＝1，…，Kr(t)计算ε_n，s＝‖M_t+1(k_s)-R_t，nM_t(k_s)-T_t，n‖²，n＝1，…，Num_subset；s＝1，…，Kr(t)，并按下面的公式得到{R_t，T_t}：

{R_t，T_t}＝{R_{n_m}，T_{n_m}}，其中 $n\_m=\underset{n}{\arg \min }{\underset{s}{\mathrm{med}}}^n\left\{{\mathrm{\&epsiv;}}_{n,s}\right|s=1,\&hellip;,\mathrm{Kr}\left(t\right)\}$

第十步：计算序列Err_t＝{ε_s＝‖M_t+1(k_s)-R_tM_t(k_s)-T_t‖²|s＝1，…，Kr(t)}，并更新 $\left\{\mathrm{bReliabl}{e}_{k_s}\right\},s=1,\&hellip;,\mathrm{Kr}\left(t\right)$ 。具体地，我们求出Err_t中前K_True个较小的ε_s对应的标号{s_u}，u＝1，…，K_True，然后把 中对应于这些标号的位置处置为Yes，其他的置为No。K_True的具体计算步骤如前所述。

第十一步：按1.1.5节的四步骤方法设置两个布尔型的标志量bReDetect和bRefine，并令t＝t+1。

第十二步：如果bRefine＝No，转第十三步；否则，令tStart为t时刻之前第二个设置bRefine为Yes的帧，如果这样得到的tStart小于t0就令其为t0。然后调用通用的Levenberg-Marquardt算法(利用matlab工具包)求解式(1.1.10)，得到{Ra_tStart+τ，Ta_tStart+τ，τ＝1，…，t-tStart；M_tStart(k_pp)，pp＝1，…，Kr(t)}，再按下面的公式计算出{R_tStart+τ，T_tStart+τ}，τ＝0，…，t-tStart-1：

R_tStart＝Ra_tStart+1，T_tStart＝Ta_tStart+1，

第十三步：如果bReDetect＝Yes，则令t0＝t，转第二步；否则，令t＝t+1，如果这时t＝N，则转第十四步，否则转第六步；

上面各步骤完成了姿态估计(1.1节的内容)。在对图12的输入进行处理时，特征检测和匹配在第1，15，29，38帧处(即t0的不同取值)，实际结果如图14所示。每次检测和匹配上的全部特征数目分别是89、97、107和6I(即各个K(t0))，在t0保持不变的所有时刻(即两次检测之间的特征跟踪)里一直可靠的特征点(即序列{bReliable_k}中取值为Yes点的数目)分别有12、18、36、14个。

第十四步：在I_L，1和I_R，1上手工选择左内眼角、右内眼角、左嘴角和右嘴角这四个二维显著特征点，实际结果如图15所示。根据这四个位置处的两幅图间的匹配，可按前述的立体重建算法得到四个三维显著特征点，即左内眼角

，右内眼角

，左嘴角 ，右嘴角M 。然后按公式(1.2.1)将原始通用模型Face_g变形为Face_init。其中三个比例因子s_x，s_y，s_z的计算方法如下：令 $s_x=\frac{\mathrm{dist}\_3D(M_1^{\mathrm{LE}},M_1^{\mathrm{RE}})}{\mathrm{dist}\_3D(M_g^{\mathrm{LE}},M_g^{\mathrm{RE}})}$ ，即建模对象和Faceg中Seg_E长度(两内眼角的距离)的比值；令 $s_y=\frac{\mathrm{dist}\_3D\left(M_1^{\mathrm{LE}}+M_1^{\mathrm{RE}},M_1^{\mathrm{LM}}+M_1^{\mathrm{RM}}\right)}{\mathrm{dist}\_3D(M_g^{\mathrm{LE}}+M_g^{\mathrm{RE}},M_g^{\mathrm{LM}}+M_g^{\mathrm{RM}})},$ 即Seg_EM长度(两眼中心到嘴中心的距离)的比值；令s_z＝s_y。其中 $M_g^{\mathrm{LE}},M_g^{\mathrm{RE}},M_g^{\mathrm{LM}},M_g^{\mathrm{RM}}$ 是在Faceg上这四个主要特征点的三维坐标。

第十五步：接着我们求解generic坐标系到L摄像机坐标系的刚体变换R_g，l，T_g，l。我们选择 $\{M_{\mathrm{init}}^{\mathrm{LE}},M_{\mathrm{init}}^{\mathrm{RE}},(M_{\mathrm{init}}^{\mathrm{LM}}+M_{\mathrm{init}}^{\mathrm{RM}})/2\}$ 和 $\{M_1^{\mathrm{LE}},M_1^{\mathrm{RE}},(M_1^{\mathrm{LM}}+M_1^{\mathrm{RM}})/2\}$ 这三个三维对应点，按前述的姿态参数初始化一节的方法求解。

获得了R_g，l，T_g，l后，系统按下面的公式计算R_g，t，T_g，t，t＝2，…，N：

R_g，t＝R_t-1R_g，t-1，T_g，t＝R_t-1*T_g，t-1+T_t-1，t＝2，…，N

接着系统会自动判断对应于侧面视图的帧side，即选择side为使R_g，t的旋转角最接近90度的时刻t。我们实际得到的side＝50，对应的旋转角度是86.9度。

第十六步：在图象I_L，side上手工拾取侧面特征点，实验结果如图16所示，记为 $\{m_{L,\mathrm{side}}^{\mathrm{kk}}={\left[\begin{array}{cc}{x}_{L,\mathrm{side}}^{\mathrm{kk}}& y_{L,\mathrm{side}}^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF，其中NumSF为侧面特征点的数目，实际为24。

第十七步：按前述方法求解式(1.3.1)，得到三维侧面特征点 $\{{\mathrm{Ms}}_g^{\mathrm{kk}}={\left[\begin{array}{ccc}0& Y_g^{\mathrm{kk}}& Z_g^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF。

第十八步：按前述的1.3节中的径向基函数算法把Face_init变形为Face₁。Subset中的点包括两类：一类是三维显著特征点，共4个，即 $\{M_{\mathrm{init}}^{\mathrm{LE}},M_{\mathrm{init}}^{\mathrm{RE}},M_{\mathrm{init}}^{\mathrm{LM}},M_{\mathrm{init}}^{\mathrm{RM}}\}$ ；另一类是侧面特征点，即十七步求出的 kk＝1，…，NumSF。

第十九步：按前述1.4节中计算投影轮廓的方法得到Face₁在时刻1时投影到图象平面的轮廓点 ${\mathrm{Cont}}_1=\left\{{\mathrm{pt}}_1^{\mathrm{iC}1}\right|\mathrm{iC}1=1,\&hellip;,\mathrm{nNum}1\}$ ，Face₁就是那里的Face_proj。

第二十步：手工标出I_L，1上的人脸轮廓，如图7所示。这是一个闭合的多边形，记为 $\mathrm{Cont}\_{\mathrm{img}}_1=\left[\{,\begin{array}{cc}{\mathrm{xCI}}_1^{\mathrm{iCimg}}& {\mathrm{yCI}}_1^{\mathrm{iCimg}}\end{array}\right]|\mathrm{iCimg}=1,...,\mathrm{nNumCI}1\}$ ，是连续的二维顶点列表，nNumCI1是二维顶点的数目。

第二十一步：按照前述的公式(1.4.1)确定Cont₁中点在Face₂中的三维坐标 ${\{M}_2^{{\mathrm{pt}}_1^{\mathrm{iC}1}}|\mathrm{iC}1=1,\&hellip;,\mathrm{nNum}1\}.$

第二十二步：按前述1.3节中的径向基函数算法把Face₁变形为Face₂。Subset中新添加的点为第二十一步求出的 ${\{M}_2^{{\mathrm{pt}}_1^{\mathrm{iC}1}}|\mathrm{iC}1=1,\&hellip;,\mathrm{nNum}1\}.$

第二十三步：手工标出I_L，1图上的正面人脸特征轮廓点(实验结果为图8)，结果为 $\left[\begin{array}{cc}{\mathrm{xCF}}_1^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}\end{array}\right]|\mathrm{iCF}=1,...,\mathrm{nNumCF}\}$ ，其中nNumCF是点的总数目。

第二十四步：按前述的公式(1.5.1)求解第二十三步标出的特征轮廓点的三维坐标

第二十五步：按前述1.3节中的径向基函数算法把Face₂变形为Face₃。Subset中新添加的点为第二十四步求出的

第二十六步：系统自动判断对应于中间视图1的帧int1，即选择int1为使R_g，t的旋转角最接近25度的时刻t。接着在I_L，int1图上的手工标出人脸轮廓，如图9所示。同样用闭合多边形表示，记为 $\mathrm{Cont}\_{\mathrm{img}}_{\mathrm{int}1}=\left\{\left[\begin{array}{cc}{\mathrm{xCI}}_{\mathrm{int}1}^{\mathrm{iCimg}1}& {\mathrm{yCI}}_{\mathrm{int}1}^{\mathrm{iCimg}1}\end{array}\right]\right|\mathrm{iCimg}1=1,...,\mathrm{nNumCIint}1\}$ ，nNumCIint1是顶点数。

第二十七步：按前述1.4节中计算投影轮廓的方法得到Face₃在时刻int1时投影到图象平面的轮廓点 ${\mathrm{Cont}}_{\mathrm{int}1}=\left\{{\mathrm{pt}}_{\mathrm{intl}}^{\mathrm{iC}2}\right|\mathrm{iC}2=1,\&hellip;,\mathrm{nNum}\_\mathrm{int}1\}$ ，Face₃就是那里的Face_proj。

第二十八步：根据Cont_img_int1确定Cont_int1中点在Face₄中的三维坐标。具体地，对于任一 $\mathrm{pt}1i={\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}$ ，定义 $v2={\left[\begin{array}{ccc}{v2}_x& {v2}_y& {v2}_z\end{array}\right]}^T=M_3^{\mathrm{pt}1i}+R_{g,l}^{-1}{T}_{g,l}$ ，其中 $M_3^{\mathrm{pt}1i}={\left[\begin{array}{ccc}{X}_3^{\mathrm{pt}1i}& Y_3^{\mathrm{pt}1i}& Z_3^{\mathrm{pt}1i}\end{array}\right]}^T$ 是该点在Face₃中的三维坐标。则该点在Face₄中的坐标 满足 $M_4^{\mathrm{pt}1i}=M_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}v2$ 。其中参数t_line2根据二维直线 ${\left[\begin{array}{cc}\frac{X_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_x}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}& \frac{Y_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_y}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img_int1的交点求出，方法如1.4节所述。对Cont_int1中所有点按上面的步骤计算，得到 ${\{M}_4^{{\mathrm{pt}}_1^{\mathrm{iC}2}}|\mathrm{iC}2=1,\&hellip;,\mathrm{nNum}\_\mathrm{int}1\}.$

第二十九步：按前述1.3节中的径向基函数算法把Face₃变形为Face₄。Subset中新添加的点为第二十八步求出的 ${\{M}_4^{{\mathrm{pt}}_1^{\mathrm{iC}2}}|\mathrm{iC}2=1,\&hellip;,\mathrm{nNum}\_\mathrm{int}1\}.$

第三十步：系统自动判断对应于中间视图2的帧int2，即选择int2为使R_g，t的旋转角最接近40度的时刻t。接着在I_L，int2图上的手工标出人脸轮廓，如图10所示。同样用闭合多边形表示，记为 $\mathrm{Cont}\_{\mathrm{img}}_{\mathrm{int}2}=\left\{\left[\begin{array}{cc}{\mathrm{xCI}}_{\mathrm{int}2}^{\mathrm{iCimg}2}& {\mathrm{yCI}}_{\mathrm{int}2}^{\mathrm{iCimg}2}\end{array}\right]\right|\mathrm{iCimg}2=1,...,\mathrm{nNumCIint}2\}$ ，nNumCIint2是顶点数。

第三十一步：按前述1.4节中计算投影轮廓的方法得到Face₄在时刻int2时投影到图象平面的轮廓点 ${\mathrm{Cont}}_{\mathrm{int}2}=\left\{{\mathrm{pt}}_{\mathrm{int}2}^{\mathrm{iC}3}\right|\mathrm{iC}3=1,\&hellip;,\mathrm{nNum}\_\mathrm{int}2\}$ ，Face₄就是那里的Face_proj。第三十二步：根据Cont_img_int2确定Cont_int2中点在Face₅中的三维坐标。具体地，对于任一 $\mathrm{pt}2i={\mathrm{pt}}_{\mathrm{int}2}^{\mathrm{iC}3}$ ，定义 $v3={\left[\begin{array}{ccc}{v3}_x& {v3}_y& {v3}_z\end{array}\right]}^T=M_4^{\mathrm{pt}2i}+R_{g,1}^{-1}{T}_{g,1}$ ，其中 $M_4^{\mathrm{pt}2i}={\left[X_4^{\mathrm{pt}2i}{Y}_4^{\mathrm{pt}2i}{Z}_4^{\mathrm{pt}2i}\right]}^T$ 是该点在Face₄中的三维坐标。则该点在Face₅中的坐标 满足 $M_5^{\mathrm{pt}2i}=M_4^{\mathrm{pt}2i}+t_{\mathrm{line}3}v3$ 。其中参数t_line3根据二维直线 ${\left[\begin{array}{cc}\frac{X_4^{\mathrm{pt}2i}+t_{\mathrm{line}3}{v3}_x}{Z_4^{\mathrm{pt}2i}+t_{\mathrm{line}3}{v3}_z}& \frac{Y_{4-}^{\mathrm{pt}2i}+t_{\mathrm{line}3}{v3}_y}{Z_4^{\mathrm{pt}2i}+t_{\mathrm{line}3}{v3}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img_int2的交点求出，方法如1.4节所述。对Cont_int2中所有点按上面的步骤计算，得到 ${\{M}_5^{{\mathrm{pt}}_{\mathrm{int}2}^{\mathrm{iC}3}}|\mathrm{iC}3=1,\&hellip;,\mathrm{nNum}\_\mathrm{int}2\}.$

第三十三步：按前述1.3节中的径向基函数算法把Face₄变形为Face₅。Subset中新添加的点为第三十二步求出的 ${\{M}_5^{{\mathrm{pt}}_{\mathrm{int}2}^{\mathrm{iC}3}}|\mathrm{iC}3=1,\&hellip;,\mathrm{nNum}\_\mathrm{int}2\}$ 。Face₅即为最终的形状模型Face_s。

这样我们一共进行了五次形状修正，对应于1.3至1.7节的形状修正A-E，实际上各步使用的Subset中的点数目如下面的表1所示。

不同模型	新加入的Subset点及其数目	Subset点总数
			Face1	4个正面显著特征(两内眼角、两嘴角)+24个侧面特征	28
Face2	正面视图的投影轮廓点(41个)	69
			Face3	正面视图中两眼、两鼻孔和嘴的特征轮廓点(44个)	113
Face4	中间视图1时的投影轮廓点(37个)	150
			Faces	中间视图2时的投影轮廓点(44个)	194

表1形状修正中每一步新加入的Subset点的位置及数目

第三十四步：对Face_s中的任一三维点 $M_s^{\mathrm{pt}}={\left[\begin{array}{ccc}{X}_s^{\mathrm{pt}}& Y_s^{\mathrm{pt}}& Z_s^{\mathrm{pt}}\end{array}\right]}^T$ 按公式 作柱面映射，结果为{Cyn_pt}＝{(lg_pt lt_pt)}。

第三十五步：将所有

在正面姿态参数R_g，l，T_g，l下按公式

进行投影，得到 $\left\{{\stackrel{\&RightArrow;}{p}}_1^{\mathrm{pt}}\right\}=\left\{{\left[\begin{array}{cc}{x}_1^{\mathrm{pt}}& y_1^{\mathrm{pt}}\end{array}\right]}^T\right\}$ 。然后按公式(1.8.3)得到正面纹理图Texture₁，实际例子如图17所示。

第三十五步：与第三十四步类似，获得Face_s的侧面纹理图Texture_side。具体地，将所有 在侧面姿态参数R_g，side，T_g，side下按公式 进行投影，得到 $\left\{{\stackrel{\&RightArrow;}{p}}_{\mathrm{side}}^{\mathrm{pt}}\right\}=\{{\left[\begin{array}{cc}{x}_{\mathrm{side}}^{\mathrm{pt}}& y_{\mathrm{side}}^{\mathrm{pt}}\end{array}\right]}^T\}$ 。然后按公式(1.8.7)得到侧面纹理图Texture_side，实际例子如图18所示。

第三十六步：在柱面图{(lg，lt)}上进行纹理反射。实际实验中直接获得纹理的那一侧脸是左侧，因此这一步根据左侧的纹理信息按公式(1.8.8)生成右侧脸。这时完整的Texture_side如图19所示。

第三十七步：我们按公式

融合Texture₁和Texture_side来得到最终的纹理图Texture_s，实际结果如图20所示。

我们最终的、映射了Texture_s的建模结果Face_s如图21所示。

Claims (4)

1.融合多视角、多线索二维信息的人脸三维模型的建立方法，含有二维对应创建人脸模型的方法，其特征在于：它首先用与人脸上、下位置相对应的两台相同且外极线方向基本沿垂直方向的摄像机在人脸无表情变化的情况下拍摄建模对象的人脸从正面逐步转约90度到侧面的视频序列，再用两块相同的采集卡来采集上下两路同步视频并输入计算机中；然后，从人脸的通用模型Face_g开始，根据获得的建模对象的二维信息逐步进行修改，最终得到特定人的人脸模型Face_s，其中修改的只是人脸上的三维结点列表P中的三维点坐标，而人脸上的三角形面片列表F保持不变，即只改变模型形状P而模型的拓扑结构F不变；具体而言，它依次含有如下步骤：

(1).输入立体视频序列I_L，t和I_R，t：

L，R对应于两台摄像机，t＝1，…，N，表示N帧不同时刻的图像：I则是由像素组成的二维数组，每个像素包括R、G、B三个分量；t＝1的时刻对应于人脸正面姿态，通过人的判断手工选择；

(2).姿态估计，即求解人头旋转过程中的姿态参数(即刚体变换系数)：

用下述刚体变换公式表示上述图象序列中人脸的帧间运动：

M_t+1＝R_tM_t+T_t，t＝1，…，N-1，

M_t、M_t+1分别表示第t帧、第t+1帧时人脸上任一点在L摄像机坐标系中的坐标；M_t、M_t+1是人脸上的同一位置在不同时刻的三维坐标，即是帧间三维对应点；用可靠三维点的运动就可估计姿态参数；

{R_t，T_t，t＝1，…，N-1}是第t帧到第t+1帧姿态参数的旋转和平移分量；

姿态估计依次含有如下步骤：

(2.1)，起始时刻：先进行二维特征的检测和匹配，再通过立体重建得到起始时刻的三维点：

首先，设置特征检测帧t0＝t，并在I_L，t图上作二维特征检测，即选择那些局部灰度变化丰富的点即为在跟踪和匹配时可靠程度较高的点作为特征点，其步骤如下：

用已有的KLT算法计算I_L，t图上特征点p(x＝i，y＝j)处的图像变化程度G(i，j)： $G(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\&Sigma;}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\&Sigma;}}}\stackrel{\&RightArrow;}{g}(i+\mathrm{ii},j+\mathrm{jj}){\stackrel{\&RightArrow;}{g}}^T(i+\mathrm{ii},j+\mathrm{jj}),$

为待测点p处图像的梯度向量： $\stackrel{\&RightArrow;}{g}(i,j)={\left[\begin{array}{cc}\mathrm{gx}& \mathrm{gy}\end{array}\right]}^T={\left[\frac{I(i+1,j)-I(i-1,j)}{2}\frac{I(i,j+1)-I(i,j-1)}{2}\right]}^T,$ I(i+1，j)为该点处图像的灰度，余类推；以待测点p为中心的窗口W的尺寸为(2*blockx+1)*(2*blocky+1)；然后再用已有的matlab工具包求出G的最小奇异值sing_min，再选择sing_min很大的点p为检测出的特征点；把在t时刻检测出的特征点记为{pL，t(k)}，L，t表示图象序号，K(t)是特征点总数，k为其标号，1≤k≤K(t)；

其次，对同一时刻两个摄像机L，R拍摄同一场景得到的两幅图像即立体图对作二维特征匹配；同一个三维点在不同图像中的投影都为二维点，它们之间互称为二维对应，立体图对间的二维对应称为匹配：

对于I_L，t图中某一点p_L，t(k)＝(x_L，t(k)y_L，t(k)^T，它的匹配点p_R，t(k)＝(x_R，t(k)y_R，t(k))^T应位于一条由p_L，t(k)决定的直线上，在这个一维空间中，选择使一个局部窗口W内总灰度差异最小的点作为p_L，t(k)的匹配点p_R，t(k)，总灰度差异的表达式： $\mathrm{Diff}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\&Sigma;}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\&Sigma;}}}\left(I_{L,t}\right(x_{L,t}\left(k\right)+\mathrm{ii},y_{L,t}\left(k\right)+\mathrm{jj})-I_{R,t}(i+\mathrm{ii},j+\mathrm{jj}){)}^2$

(i，j)是直线 F上的任一点；记时刻t的匹配结果为{p_R，t(k)}，总数目为K(t)个，每点都与p_L，t(k)相对应，在下述公式表示的直线上搜索，使Diff(i，j)最小的位置： ${\left[\begin{array}{c}{p}_{L,t}\left(k\right)\\ 1\end{array}\right]}^{T}F\left[\begin{array}{c}{p}_{R,t}\left(k\right)\\ 1\end{array}\right]=0$ ，其中： $F={\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right]}^{-T}\left[\begin{array}{ccc}0& -T_{c,z}& T_{c,y}\\ T_{c,z}& 0& -T_{c,x}\\ -T_{c,y}& T_{c,x}& 0\end{array}\right]R_c{\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right]}^{-1}$ ，f_L，f_R，u_OL，v_OL，u_OR，v_OR为摄像机内参数，已知量；R_c，T_c＝[T_c，xT_c，yT_c，z]^T分别为旋转和平移分量，属摄像机外参数，已知量；

再次，在获得同一时刻立体图对间的匹配结果p_L，t和p_R，t后，通过立体重建得到用摄像机坐标系表示的三维点M_m，t，m为摄像机L或R，M_m，t为t时刻三维点在m摄像机坐标系中的坐标；

根据两摄像机的配置关系式：

M_L＝R_cM_R+T_c，M_L、M_R分别是同一点在这两个摄像机坐标系中的坐标；以及摄像机透视投影公式： $s_m{A}_m^{-1}\left[\begin{array}{c}{p}_{m,t}\\ 1\end{array}\right]=M_{m,t}$ ，s_m(即s_L或s_R)是待定的比例因子(由稍后的公式求出)，得到三维点在摄像机L、R中的坐标M_L，t和M_R，t： $M_{L,t}=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]+T_c);$ $A_L=\left[\begin{array}{ccc}{f}_L& 0& u_{\mathrm{OL}}\\ 0& f_L& v_{\mathrm{OL}}\\ 0& 0& 1\end{array}\right],$ $A_R=\left[\begin{array}{ccc}{f}_R& 0& u_{\mathrm{OR}}\\ 0& f_R& v_{\mathrm{OR}}\\ 0& 0& 1\end{array}\right];$ $\left[\begin{array}{c}{S}_L\\ S_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c,$ 而 $B_{}=[A_L^{-1}\left[\begin{array}{c}{p}_{L,t}\\ 1\end{array}\right]-R_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t}\\ 1\end{array}\right]:$ $M_{R,t}=R_c^{-1}(M_{L,t}-T_c);$

在姿态估计的余下部分，三维点都用L摄像机坐标系中的坐标来表示，因此省略下标L，即将M_L，t简记为M_t；

(2.2)，后继时刻：对t+1时刻的立体图对用KLT算法进行二维特征跟踪，再同样通过立体重建得到各后继时刻的三维点；跟踪是指同一摄像机拍摄的不同时刻图像间的二维对应：

在二维特征跟踪时，设检测的特征点在图像I_m，t(p)(m为L或R)上，p(x＝i，y＝j)是任一特征点，则其在图像I_m，t+1上的跟踪结果为

，其中 $\stackrel{\&OverBar;}{d}=G^{-1}\stackrel{\&OverBar;}{e}$ ，G已如上述，而 $\stackrel{\&RightArrow;}{e}(i,j)=\underset{\mathrm{ii}=-\mathrm{blockx}}{\overset{\mathrm{blockx}}{\mathrm{\&Sigma;}}}\underset{\mathrm{jj}=-\mathrm{blocky}}{\overset{\mathrm{blocky}}{\mathrm{\&Sigma;}}}\stackrel{\&RightArrow;}{g}(i+\mathrm{ii},j+\mathrm{jj})-{(I}_{m,t+1}(i+\mathrm{ii},j+\mathrm{jj})-I_{m,t}(i+\mathrm{ii},j+\mathrm{jj}))$ 记跟踪得到的特征点为{p_m，t+1(k)}，m表示L或R，t+1为时刻：对于摄像机L为： $p_{L,t+1}\left(k\right)=p_{L,t}\left(k\right)-{\stackrel{\&OverBar;}{d}}_{L,t}\left(p_{L,t}\left(k\right)\right),1\&le;k\&le;K\left(t\right);$ 对于摄像机R为： $p_{R,t+1}\left(k\right)=p_{R,t}\left(k\right)-{\stackrel{\&OverBar;}{d}}_{R,t}\left(p_{R,t}\left(k\right)\right),1\&le;k\&le;K\left(t\right);$

根据任一对匹配的跟踪点计算三维点{M_t+1(k)|k＝1，…，K(t))}(如前所述，这里省略了下标L)； $M_{t+1}\left(k\right)=\frac{1}{2}(s_L{A}_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]+s_R{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]+T_c);$

其中 $\left[\begin{array}{c}{S}_L\\ S_R\end{array}\right]={\left(B^{T}B\right)}^{-1}{B}^T{T}_c,$ $B=\left[A_L^{-1}\left[\begin{array}{c}{p}_{L,t+1}\left(k\right)\\ 1\end{array}\right]{-}_{}{R}_c{A}_R^{-1}\left[\begin{array}{c}{p}_{R,t+1}\left(k\right)\\ 1\end{array}\right]\right]:$

(2.3)，姿态参数初始化：根据两个时刻t和t+1之间的一组三维对应点{M_t(k))|k＝1，…，K(t)}和{M_t+1(k)|k＝1，…，K(t)}，和表示可靠性的序列{bReliablek}，k＝1，…，K(t)从式M_t+1(k)＝R_tM_t(k)+T_t，t＝1，…，N-1中用基于最小中值的鲁棒估计算法求解R_t，T_t：

设：定义并不断更新布尔数组{bReliablek}为可靠度量序列，Yes表示可靠，No表示不可靠，其中取值为Yes的项的标号为{k_s}，s＝1，…，Kr(t)，Kr(t)是取值为Yes的项的总数，从其中挑出Num_subset个子集，每个子集含有三对三维对应点，即{Set_n＝{N_1，n，N_2，n，N_3，n}}，n＝1，…，Num_subset，1≤N_1，n，N_2，n，N_3，n≤Kr(t)，每个三元子集中三维对应点为： $\{M_t\left(k_{N_{1,n}}\right),M_t\left(k_{N_{2,n}}\right),M_t\left(k_{N_{3,n}}\right)\}$ 和 $\{M_{t+1}\left(k_{N_{1,n}}\right),M_{t+1}\left(k_{N_{2,n}}\right),M_{t+1}\left(k_{N_{3,n}}\right)\}$ ，可简记为{(M_im，M_im’)|im＝0，1，2}，它表示三对不共线的三维对应点，R_t，T_t满足M_im′＝R_tM_im+T_t|im＝0，1，2；然后从下列公式中求出R和T(略去下标t)： $R=I+\frac{\sin \left|\right|r\left|\right|}{\left|\right|r\left|\right|}[r{]}_x+\frac{1-\cos \left|\right|r\left|\right|}{{\left|\right|r\left|\right|}^2}{\left[r\right]}_x^2,$ 其中 $r=\mathrm{\&theta;}*\hat{r}$ $,\mathrm{\&theta;}=\arccos \frac{(\hat{r}\&times;{\mathrm{dir}}_1)\&CenterDot;(\hat{r}\&times;{{\mathrm{dir}}_1}^{\&prime;})}{\left|\right|(\hat{r}\&times;{\mathrm{dir}}_1)\&CenterDot;(\hat{r}\&times;{{\mathrm{dir}}_1}^{\&prime;})\left|\right|},$ $\hat{r}=\frac{({{\mathrm{dir}}_1}^{\&prime;}-{\mathrm{dir}}_1)\&times;({{\mathrm{dir}}_2}^{\&prime;}-{\mathrm{dir}}_2)}{\left|\right|({{\mathrm{dir}}_1}^{\&prime;}-{\mathrm{dir}}_1)\&times;({{\mathrm{dir}}_2}^{\&prime;}-{\mathrm{dir}}_2)\left|\right|},$

是旋转的中心轴，称旋转轴，3*1的向量；θ是绕 的旋转角； ${\mathrm{dir}}_{\mathrm{im}}=\frac{M_{\mathrm{im}}-M_0}{\left|\right|M_{\mathrm{im}}-M_0\left|\right|},\mathrm{im}=\mathrm{1,2};$ ${{\mathrm{dir}}_{\mathrm{im}}}^{\&prime;}=\frac{{M_{\mathrm{im}}}^{\&prime;}-{M_0}^{\&prime;}}{\left|\right|{M_{\mathrm{im}}}^{\&prime;}-{M_0}^{\&prime;}\left|\right|},\mathrm{im}=\mathrm{1,2};$ [r]_x是根据3*1向量r＝[r_xr_yr_z]^T定义的反对称矩阵： ${\left[r\right]}_x={\left[\begin{array}{c}{r}_x\\ r_y\\ r_z\end{array}\right]}_x=\left[\begin{array}{ccc}0& -r_z& r_y\\ r_z& 0& -r_x\\ -r_y& r_x& 0\end{array}\right],$ 而 $I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$ 是单位矩阵；平移分量T由下式估计出： $T=\frac{1}{3}\underset{\mathrm{im}=0}{\overset{2}{\mathrm{\&Sigma;}}}({M_{\mathrm{im}}}^{\&prime;}-{\mathrm{RM}}_{\mathrm{im}});$

对每个子集Set_n按上述公式估计出姿态参数，记为R_t，n，T_t，n；再对所有的可靠三维对应{M_t(k_s)，M_t+1(k_s)}，s＝1，…，Kr(t)按下式计算对应点M_t(k_s)，M_t+1(k_s)与姿态参数R_t，n，T_t，n的符合程度ε_n，s，该值越小，则两者越符合：

ε_n，s＝‖M_t+1(k_s)-R_t，nM_t(k_s)-T_t，n‖²；

再从集合{R_t，n，T_t，n}，n＝1，…，Num_subset中选取R_t，T_t：

{R_t，T_t}＝{R_{n_m}，T_{n_m}}， $n\_m=\underset{n}{\arg \min }{\underset{s}{\mathrm{med}}}^n\left\{{\mathrm{\&epsiv;}}_{n,s}\right|s=1,\&hellip;,\mathrm{Kr}\left(t\right)\},$

表示针对下标s取集合{ε_n，s|s＝1，…，Kr(t))}的中值，它对不同的n构成一个新的数组 $\left\{{\underset{s}{\mathrm{med}}}^n\right|n=1,\&hellip;,\mathrm{Num}\_\mathrm{subset}\};$ 而 则是在这个中值数组中选择取最小值的那个n；(2.4)，在t＝t+1时刻，设置：是否需要重新调用特征检测和匹配模块的布尔标志量bReDetect；是否需要进行姿态求精的布尔标志量bRefine；(2.5)，当t＝N时，姿态估计结束；(3).模型初始化和姿态初始化：模型初始化是通用模型特定化方法的初始步骤，它从通用模型Face_g得到一个初始化模型Face_init，即对通用模型进行尺度变换，可用下式进行： $M_{\mathrm{init}}=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ O& O& s_z\end{array}\right]M_g$ ，M_g和M_init分别是Face_g和Face_init上的任一组对应点；s_x是建模对象和Face_g的两内眼角距离Seg_E长度的比值，s_y是两眼中心到嘴中心距离Seg_EM长度的比值；s_z＝s_y；再根据此对Face_g中所有点按上式变换；

姿态初始化是为了获得模型和图象间的对应，即计算从人脸generic坐标系到L摄像机坐标系的刚体变换；即从下式求解R_g，l，T_g，l：

M_l＝R_g，lM_init+T_g，l，M_l和M_init分别是时刻t＝1时人脸和Face_init间的任一组对应点；本发明取上述两个模型在LE(左眼)、RE(右眼)和Mid M(嘴中心)这三个位置处的对应点，按上述

、θ、R、[r]_x、T各式依次求得R_g，l和T_g，l；再按下式从R_t，T_t，t＝1，…，N-1求出R_g，t，T_g，t，t＝2，…，N：R_g，t＝R_t-1R_g，t-1T_g，t＝R_t-1*T_g，t-1+T_t-1，t＝2，…，N；(4).利用三维信息修正人脸模型：(4.1)，手工拾取侧面特征点：设：手工标出的侧面特征点为 $m_{L,\mathrm{side}}^{\mathrm{kk}}={\left[\begin{array}{cc}{x}_{L,\mathrm{side}}^{\mathrm{kk}}& y_{L,\mathrm{side}}^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF，NumSF＝24为侧面特征点的数目，side表示对应于侧面视图的时刻；

(4.2)，形状修正A：把Face_init变形为Face₁；我们先确定人脸三维结点列表P中一个子集Subset的新位置，再通过一个已知的径向基函数算法来确定P中所有结点的坐标；

径向基函数算法如下所述：设要将Face_start变形为Face_new，已知一个Subset中的结点在Face_new中的坐标为{New₁，…，New_S}，记其在Face_start中的对应点为{Sta₁，…，Sta_S}，S为Subset中点的数目；现在对于模型中的任一位置pt，其在Face_new中的坐标 可由下面的已知公式求出： $M_{\mathrm{pt}}^{\mathrm{new}}=\underset{\mathrm{jRBF}=1}{\overset{S}{\mathrm{\&Sigma;}}}{C}_{\mathrm{jRBF}}\mathrm{\&phi;}\left(\right||M_{\mathrm{pt}}^{\mathrm{start}}-\mathrm{St}{a}_{\mathrm{jRBF}}|\left|\right);$ 是pt点在Face_start中的坐标，而{C₁，…，C_S}可按下面的公式求出 $\left[\begin{array}{c}{C}_1^T\\ \underset{.}{\overset{.}{.}}\\ C_S^T\end{array}\right]={\left[\begin{array}{ccc}\mathrm{\&phi;}\left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_1|\left|\right)& ...& \mathrm{\&phi;}\left(\right||{\mathrm{Sta}}_1-\mathrm{St}{a}_S|\left|\right)\\ ...& ...& ...\\ \mathrm{\&phi;}\left(\right||\mathrm{St}{a}_S-\mathrm{St}{a}_1|\left|\right)& ...& \mathrm{\&phi;}\left(\right||{\mathrm{Sta}}_S-{\mathrm{Sta}}_S|\left|\right)\end{array}\right]}^{-1}\left[\begin{array}{c}{\mathrm{New}}_1^T\\ \underset{.}{\overset{.}{.}}\\ {\mathrm{New}}_S^T\end{array}\right]$ ；φ是已知的径向基函数；

“形状修正A”在利用上面的径向基函数算法时，设置Face_start＝Face_init，Face_new＝Face₁，而Subset中的点包括两类：一类是人脸上的左眼内角LE、右眼内角RE、左外嘴唇LM、右外嘴唇RM四个三维显著特征点，由二维显著特征点通过上述立体重建方法得出；另一类是上述24个侧面特征点，它们的三维位置按下面的步骤从手工标出的二维点中获得：

设：侧面特征点在人脸generic坐标系中的三维坐标为 $\{{\mathrm{Ms}}_g^{\mathrm{kk}}={\left[\begin{array}{ccc}0& Y_g^{\mathrm{kk}}& Z_g^{\mathrm{kk}}\end{array}\right]}^T\},$ kk＝1，…，NumSF；则对于任一kk，有

其中 $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{g,\mathrm{side},1}^T\\ R_{g,\mathrm{side},2}^T\\ R_{g,\mathrm{side},3}^T\end{array}\right],$ $T_{g,\mathrm{side}}=\left[\begin{array}{c}{T}_{g,\mathrm{side},1}\\ T_{g,\mathrm{side},2}\\ T_{g,\mathrm{side},3}\end{array}\right]$ 是姿态参数的分量表示，为已知量；可直接用线性方程组的求解方法得到 中的两个未知数 和

(4.3)，形状修正B：按前述的径向基函数算法把Face₁变形为Face₂；

设Face_start＝Face₁，Face_new＝Face₂，Subset中除了包括“形状修正A”里已经确定了的点之外，还有一些新添加的点，即从正面姿态下手工标出的人脸轮廓恢复出来的三维点，得到这些三维点的基本方法是把当前人脸模型Face₁向正面姿态下的图象平面作透视投影并计算三维模型投影结果的二维轮廓点，最后依赖于这些轮廓点和上述图象上的人脸轮廓即闭合多边形的匹配来计算其三维坐标：

首先，计算出Face₁在t＝1时刻向手工选择的正面视图的图象平面上的投影轮廓 ${\mathrm{Cont}}_1=\left\{{\mathrm{pt}}_1^{\mathrm{iC}1}\right|\mathrm{iC}1=1,\&hellip;,\mathrm{nNum}1\},$ 是模型三维结点列表P中点的标号， $1\&le;{\mathrm{pt}}_1^{\mathrm{iC}1}\&le;\mathrm{nVertex};$ 而nNum1是Cont₁中顶点的数目，它们即形状修正B中向Subset新添加的点；它们是通过判断投影线与模型的交点来选择的，即在某一轮廓点上，投影线与模型不能有其他交点，其算法如下：Face₁为三维模型，透视投影中心为 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$ 已知量，则对模型中所有顶点计算过Center点的投影线和模型的交点，据此判断该顶点是否在投影轮廓上，若M_now为Face₁中任一点，Plane_jp为Face₁中任一面片构成的平面，计算过Center点和M_now的直线，即投影线，与Plane_jp的交点为C_now；如果对某一面片1≤jp≤nMesh而言，点C_now在线段CM_now的内部，则M_now不在投影轮廓上；否则即为投影轮廓点；

再计算Cont₁中的任一点 在Face₂的三维坐标：设上述图象上的人脸轮廓是 $\mathrm{Cont}\_{\mathrm{img}}_1=\left\{\left[\begin{array}{cc}{\mathrm{xCI}}_1^{\mathrm{iCimg}}& {\mathrm{yCI}}_1^{\mathrm{iCimg}}\end{array}\right]\right|\mathrm{iCimg}=1,...,\mathrm{nNumCI}1\}$ ，它是由二维点列表构成的多边形，nNumCI1是点的数目；则 $\mathrm{pti}={\mathrm{pt}}_1^{\mathrm{iC}1}$ 在Face₂的三维坐标

$M_2^{\mathrm{pti}}=M_1^{\mathrm{pti}}+t_{\mathrm{line}}v;$ v＝(v_xv_yv_z)^T＝v_pn×(v_n×v_pn)；

其中， $M_1^{\mathrm{pti}}={\left[\begin{array}{ccc}{X}_1^{\mathrm{pti}}& Y_1^{\mathrm{pti}}& Z_1^{\mathrm{pti}}\end{array}\right]}^T$ 是pti点在Face₁中的坐标；经

点的投影方向为v_pn为已知量；v_n为pti点在Face_g中的法向；参数t_line可根据二维直线 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_x}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}& \frac{Y_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_y}{Z_1^{\mathrm{pti}}+t_{\mathrm{line}}{v}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img₁的交点求出：

设Cont_img₁中的任一线段为seg＝(x₀+sd_xy₀+sd_y)^T，0≤s≤1，s为线段参数，其他都是已知量；先按下面的公式计算 $\left[\begin{array}{c}\mathrm{si}\\ t_{\mathrm{line}}\end{array}\right]={\left[\begin{array}{cc}{d}_x& -(X_1^{\mathrm{pti}}-v_x*Z_1^{\mathrm{pti}}/v_z)\\ d_y& -(Y_1^{\mathrm{pti}}-v_y*Z_1^{\mathrm{pti}}/v_z)\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_0-v_x/v_z\\ y_0-v_y/v_z\end{array}\right]$

对所有的seg求出这两个数值si和t_line；对于很多seg上面的公式无解，即公式里的矩阵不可逆；有解且得到的si满足0≤si≤1的seg有一个或两个，取与点 ${\left[\begin{array}{cc}\frac{X_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}& \frac{Y_1^{\mathrm{pti}}}{Z_1^{\mathrm{pti}}}\end{array}\right]}^T$ 距离近的那一个seg，它得到的t_line即为所求；

(4.4)，形状修正C：按前述的径向基函数算法把Face₂变形为Face₃；

设Face_start＝Face₂，Face_new＝Face₃，Subset中除了包括“形状修正A、B”里已经确定了的点之外，还有一些新添加的点，即从手工标出的正面人脸特征轮廓点：眼睛、鼻孔和嘴的轮廓点恢复出来的三维点：

设某特征轮廓点的二维坐标是 $\left[\begin{array}{cc}{\mathrm{xCF}}_1^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}\end{array}\right]$ ，该点在Face₂中的坐标为 $M_2^{\mathrm{iCF}}={\left[\begin{array}{ccc}{X}_2^{\mathrm{iCF}}& Y_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T$ ，设该点的Z坐标已经计算正确，即它在Face₃中的Z坐标等于，则它在Face₃中的坐标为 $M_3^{\mathrm{iCF}}={\left[\begin{array}{ccc}{\mathrm{xCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& {\mathrm{yCF}}_1^{\mathrm{iCF}}*Z_2^{\mathrm{iCF}}& Z_2^{\mathrm{iCF}}\end{array}\right]}^T$ ，即这些特征轮廓点在正面姿态下的投影等于实际图象上的特征点；

(4.5)，形状修正D：按前述的径向基函数算法把Face₃变形为Face₄；

设Face_start＝Face₃，Face_new＝Face₄，Subset中除了包括“形状修正A、B、C”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图1即使R_g，t的旋转角最接近25度的时刻t的人脸轮廓中恢复出来的三维点，具体步骤如下：设该视图对应于时刻int1，与形状修正B所述的相同，先算出Face₃在int1时的投影轮廓 $\mathrm{Con}{t}_{\mathrm{int}1}=\left\{{\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}\right|\mathrm{iC}2=1,\&hellip;,\mathrm{nNum}\_\mathrm{int}1\},$

是P中点的标号，nNum_int1是投影轮廓中的顶点数目；对于任一点 $\mathrm{ptli}={\mathrm{pt}}_{\mathrm{int}1}^{\mathrm{iC}2}$ ，它在Face₃中的三维坐标 $M_3^{\mathrm{ptli}}={\left[\begin{array}{ccc}{X}_3^{\mathrm{pt}1i}& Y_3^{\mathrm{pt}1i}& Z_3^{\mathrm{pt}1i}\end{array}\right]}^T$ ，而 $\mathrm{Center}=-R_{g,1}^{-1}{T}_{g,1}$ 如前所述是L摄像机光心在generic坐标系中的坐标，则该点在Face₄中的坐标应满足 $M_4^{\mathrm{ptli}}=M_3^{\mathrm{ptli}}+t_{\mathrm{line}2}v2,$ $v2={\left[\begin{array}{ccc}{v2}_x& {v2}_y& {v2}_z\end{array}\right]}^T=M_3^{\mathrm{ptli}}-\mathrm{Center}$ ，参数t_line2同样根据直线 ${\left[\begin{array}{cc}\frac{X_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_x}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{lin}2}{v2}_z}& \frac{Y_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_y}{Z_3^{\mathrm{pt}1i}+t_{\mathrm{line}2}{v2}_z}\end{array}\right]}^T$ 与闭合多边形Cont_img_int1的交点求出；

(4.6)，形状修正E：按前述的径向基函数算法把Face₄变形为Face₅(即最终的形状模型Face_s)；

设Face_start＝Face₄，Face_new＝Face₅，Subset中除了包括“形状修正A、B、C、D”里已经确定了的点之外，还有一些新添加的点，即从手工标出的中间视图2即使R_g，t的旋转角最接近40度的时刻t的人脸轮廓中恢复出来的三维点，具体的恢复步骤与形状修正D相同；

(5).纹理映射：

目前的纹理是通过L摄像机拍摄的正面和侧面视图(I_L，1和I_L，side)生成，纹理映射是要为创建的模型Face_s生成看起来有相片一样真实感的柱面纹理图Texture_s，即要把采集的图象转换到一个统一的柱面坐标系中并进行融合，它依次含有如下步骤：

(5.1)，生成柱面展开图：

首先对形状修正E的最终结果Face_s中的任一三维点 $M_s^{\mathrm{pt}}={\left[\begin{array}{ccc}{X}_s^{\mathrm{pt}}& Y_s^{\mathrm{pt}}& Z_s^{\mathrm{pt}}\end{array}\right]}^T$ 按下式作柱面映射：

，映射的结果是一个二维平面，其上的点为{Cyn_pt}＝{(lg_ptlt_pt)}；这里lg_pt是柱面上的经度位置，用弧度值表示；lt_pt则是柱面旋转轴向的坐标位置；

(5.2)，生成正面纹理图：

把所有点

在已知的正面姿态参数R_g，l，T_g，l下按下式在正面视图I_L，1上投影， ${\stackrel{\&RightArrow;}{p}}_1^{\mathrm{pt}}={\left[\begin{array}{cc}{x}_1^{\mathrm{pt}}& y_1^{\mathrm{pt}}\end{array}\right]}^T$ 是Face_s中三维点M_s ^pt在I_L，1上的二维投影：

其中 $R_{g,1}=\left[\begin{array}{c}{R}_{1g,1}^T\\ R_{2g,1}^T\\ R_{3g,1}^T\end{array}\right],$ $T_{g,1}=\left[\begin{array}{c}{T}_{1g,1}\\ T_{2g,1}\\ T_{3g,1}\end{array}\right],$ 是旋转矩阵和平移向量的分量表示；

接着，把I_L，1中的各像素映射到Cyn平面上，即对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，m_proj＝Δ(p₁，p₂，p₃)表示这三点在I_L，1平面上构成的三角形，m_cyn＝Δ(p₁′，p₂′，p₃′)是Cyn平面上的对应三角形，即 $p_{\mathrm{iT}1}={\left[\begin{array}{cc}{x}_1^{{\mathrm{pt}}_{\mathrm{iT}1}}& y_1^{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T,$ ${p_{\mathrm{iT}1}}^{\&prime;}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}1}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}1}}\end{array}\right]}^T,$ iT1＝1，2，3；再对三角形m_cyn内的点[lglt]按下式计算[xy]： $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$ a₁～a₆由下式求出：

再令正面纹理图 $I_{\mathrm{Textur}{e}_1}(\lg ,\mathrm{lt})=I_{L,1}(x,y);$

(5.3)，生成侧面纹理图：

把所有点

在已知的侧面姿态参数R_g，side，T_g，side，下按下式在侧面视图I_L，side上投影， ${\stackrel{\&RightArrow;}{p}}_{\mathrm{side}}^{\mathrm{pt}}={\left[\begin{array}{cc}{x}_{\mathrm{side}}^{\mathrm{pt}}& y_{\mathrm{side}}^{\mathrm{pt}}\end{array}\right]}^T$ 是Face_s中三维点 在I_L，side上的二维投影： $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{1g,\mathrm{side}}^T\\ R_{2g,\mathrm{side}}^T\\ R_{3g,\mathrm{side}}^T\end{array}\right],$ $R_{g,\mathrm{side}}=\left[\begin{array}{c}{R}_{1g,\mathrm{side}}\\ R_{2g,\mathrm{side}}\\ R_{3g,\mathrm{side}}\end{array}\right];$ 再对Face_s中的任一面片facet＝(pt₁pt₂pt₃)^T，设ms_proj＝Δ(ps₁，ps₂，ps₃)， ${\mathrm{ps}}_{\mathrm{iT}2}={\left[\begin{array}{cc}{x}_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}& y_{\mathrm{side}}^{{\mathrm{pt}}_{\mathrm{iT}2}}\end{array}\right]}^T$ ，iT2＝1，2，3；再对三角形m_cyn内的点[lglt]按下式计算[xsys]： $\left[\begin{array}{c}\mathrm{xs}\\ \mathrm{ys}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{as}}_1& {\mathrm{as}}_2& {\mathrm{as}}_3\\ {\mathrm{as}}_4& {\mathrm{as}}_5& {\mathrm{as}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$ as₁～as₆由下式求出：

再令侧面纹理图 $I_{\mathrm{Textur}{e}_{\mathrm{side}}}(1g,\mathrm{lt})=I_{L,\mathrm{side}}(\mathrm{xs},\mathrm{ys});$

(5.4)，反射侧面纹理图以得到另一侧的纹理图，这是因为Face_s的拓扑结构是完全对称的；

设：直接获得纹理的那一侧脸上的任一三角面片m_cyn＝Δ(p₁，p₂，p₃)，它在另一侧脸上的对称面片是m_cyn′＝Δ(p₁′，p₂′，p₃′)，其中 $p_{\mathrm{iT}3}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}3}}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}3}}\end{array}\right]}^T$ $,{p_{\mathrm{iT}3}}^{\&prime;}={\left[\begin{array}{cc}{\lg }_{{\mathrm{pt}}_{\mathrm{iT}3}}^{\&prime;}& {\mathrm{lt}}_{{\mathrm{pt}}_{\mathrm{iT}3}}^{\&prime;}\end{array}\right]}^T,$ iT3＝1，2，3；对m_cyn中的任一点p＝(lglt)^T按下式计算[lg′lt′]， $\left[\begin{array}{c}{\lg }^{\&prime;}\\ {\mathrm{lt}}^{\&prime;}\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\mathrm{rs}}_1& {\mathrm{rs}}_2& {\mathrm{rs}}_3\\ {\mathrm{rs}}_4& {\mathrm{rs}}_5& {\mathrm{rs}}_6\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\lg \\ \mathrm{lt}\\ 1\end{array}\right];$

rs₁～rs₆按下式求出：

再从直接有纹理的一侧反射生成另一侧： $I_{\mathrm{Textur}{e}_{\mathrm{side}}}(l{g}^{\&prime;},l{t}^{\&prime;})=I_{{\mathrm{Texture}}_{\mathrm{side}}}(\lg ,\mathrm{lt});$

(5.5)，正面的和侧面的纹理图的融合，得到最终纹理图Texture_s；

设定阈值lg_min和lg_max，Texture_s在任一位置Cyn＝(lglt)^T处的取值按下式给出：

2.根据权利要求1所述的融合多视角、多线索二维信息的人脸三维模型的建立方法，其特征在于：所述的姿态估计步骤中的更新可靠度量序列{bReliable_k}的方法，它依次含有如下步骤：

(1).根据对序列Err_t的统计分析计算正确对应的数目K_True；

(1.1)，设：K_True的初始值为Kr(t)*ratio，ratio为预先设定的常数；Err_t＝{ε_s＝‖M_t+1(k_s)-R_tM_t(k_s)-T_t‖²|s＝1，…，Kr(t)}中按从小到大排序的前K_True个元素组成的子序列为E；

(1.2)，计算E的均值 $\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}=\frac{1}{K\_\mathrm{True}}\underset{{\mathrm{\&epsiv;}}_s\&Element;E}{\mathrm{\&Sigma;}{}_{}}{\mathrm{\&epsiv;}}_s$ 和标准差 $\mathrm{\&sigma;}=\sqrt{\frac{1}{K\_\mathrm{True}-1}\underset{{\mathrm{\&epsiv;}}_s\&Element;E}{\mathrm{\&Sigma;}}{({\mathrm{\&epsiv;}}_s-\stackrel{\&OverBar;}{\mathrm{\&epsiv;}})}^2};$

(1.3)，在Err_t中寻找满足‖ε_s- ε‖＞3*σ的点，设数目为InValid_T；

(1.4)，若0≤Kr(t)-K_True-InValid_T≤1，即K_True个对应正确，终止；否则，转步骤(1.5)；

(1.5)，若K-K_True-InValid_T＞1，令K_True加1，转步骤(1.2)；否则，转步骤(1.6)；

(1.6)，若K-K_True-InValid_T＜0，令K_True减1，转步骤(1.2)；

(2).设Err_t中前K_True个较小的ε_s对应的标号为{s_u}，u＝1，…，K_True，把 中对应于这些标号的位置赋值为Yes，其他赋值为No；

3.根据权利要求1所述的融合多视角、多线索二维信息的人脸三维模型的建立方法，其特征在于：所述的姿态估计步骤中的设立是否要重新调用特征检测和匹配模块的布尔标志量bReDetect、是否要进行姿态求精的布尔标志量bRefine这两者的方法如下：

(1).若t＝N，即当前图象是序列中的最后一帧，则bReDetect＝No，bRefine＝Yes，结束；否则，转步骤(2)；

(2).若当前R_t的旋转角θ_t超过预设的阈值θ_bound，则bReDetect＝Yes，bRefine＝Yes，结束；否则，转步骤(3)；

(3).若可靠三维点的数目Kr(t)(即{b Reliable_k}，k＝1，…，K(t)中取值为Yes的点数)小于预设的阈值K_bound，则bReDetect＝Yes，bRefine＝Yes；否则，转步骤(4)；

(4).bReDetect＝No；如果t-t0是预设的常数Inc_refine的倍数，则bRefine＝Yes，即求精是每隔Inc_refine就做一次；否则bRefine＝No；

(5).令t＝t+1，进入下一时刻的处理；

4.根据权利要求3所述的融合多视角、多线索二维信息的人脸三维模型的建立方法，其特征在于：所述的姿态估计步骤中，bRefine为Yes表示在当前时刻作姿态求精，即得出更精确的姿态参数：

设选择在连续Num＝t-tStart+1个时刻始终正确的三维对应来求精所有相关的姿态参数{R_tStart+τ，T_sStart+τ}，τ＝0，…，t-tStart-1，tStart为求精运算的起始时刻，现取t时刻之前的第二个设置bRefine为Yes的时刻，若tStart＜t0，取其为t0；在一次求精运算中，先计算{Ra_tStart+τTa_tStart+τ＝1，…，t-tStart；M_tStart(k_pp)，pp＝1，…，Kr(t)}，使所有图像中二维重投影的总误差f_obj达到最小值： $f\_\mathrm{obj}=\underset{m}{\mathrm{\&Sigma;}}\underset{\mathrm{\&tau;}=0}{\overset{t-\mathrm{tStart}}{\mathrm{\&Sigma;}}}\underset{\mathrm{pp}=1}{\overset{\mathrm{Kr}\left(t\right)}{\mathrm{\&Sigma;}}}[{(a_{\mathrm{pp},m}^{\mathrm{\&tau;}}-x_{\mathrm{pp},m}^{\mathrm{\&tau;}})}^2+{(b_{\mathrm{pp},m}^{\mathrm{\&tau;}}-y_{\mathrm{pp},m}^{\mathrm{\&tau;}})}^2];$

其中R_atStart+τ，T_atStart+τ是从tStart时刻到tStart+τ时刻的刚体变换系数；{M_tStart(kpp)}，pp＝1，…，Kr(t)，是在这Num个时刻中都可靠的三维点数组，共Kr(t)个，pp为三维点的标号；m为L或R，表示摄像机； 是在m号摄像机、tStart+τ时刻图象中的二维检测或跟踪的结果，即 $\left[\begin{array}{c}{a}_{\mathrm{pp},m}^{\mathrm{\&tau;}}\\ b_{\mathrm{pp},m}^{\mathrm{\&tau;}}\\ 1\end{array}\right]=A_m^{-1}\left[\begin{array}{c}{p}_{m,\mathrm{tStart}+\mathrm{\&tau;}}\left(k_{\mathrm{pp}}\right)\\ 1\end{array}\right]$ ，A_m为A_L或A_R； 是pp号三维点在tStart+τ时刻，投影到m摄像机上的结果，即，其中 $R_{c,m}=\left[\begin{array}{c}{R}_{1c,m}^T\\ R_{2c,m}^T\\ R_{3c,m}^T\end{array}\right]$ 和 $T_{c,m}=\left[\begin{array}{c}{T}_{1c,m}\\ T_{2c,m}\\ T_{3c,m}\end{array}\right]$ 是从L摄像机坐标系到m摄像机坐标系的刚体变换，即 $R_{c,L}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ $T_{c,L}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right],$ $R_{c,R}=R_c^{-1},$ $T_{c,R}=-R_c^{-1}{T}_{c,R}$ ；另外， ${\mathrm{Ra}}_{\mathrm{tStart}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ ${\mathrm{Ta}}_{\mathrm{tStart}}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right];$

优化f_obj就能得到姿态参数的精确值；先用Levenberg-Marquardt算法求解{Ra_tStart+τ，Ta_tStart+τ，τ＝1，…，t-tStart；M_tStart(k_pp)，pp＝1，…，Kr(t)}；再用下式把{Ra_tStart+τ，Ta_tStart+τ}，τ＝1，…，t-tStart转换到{R_tStart+τ，T_tStart+τ}，τ＝0，…，t-tStart-1：

R_tStart＝Ra_tStart+1，T_tStart＝Ta_tStart+1，τ＝2，…，t-tStart

Images