CN105654061A - 基于估计补偿的三维人脸动态重建方法 - Google Patents

Abstract

本发明公开了基于估计补偿的三维人脸动态重建方法，首先获取人脸图像，使用离散元方法计算形变程度，获得平移以及旋转运动的三维场景的形变程度值；计算非刚体人脸的形心，获得加权系数同两个方向上的协方差存在关联；最后对人脸数据在运动中丢失的问题进行处理，完成人体轮廓图的获取。本发明的有益效果是，通过动态图像序列中恢复非刚体的三维人脸缺失特征点结构，在极小的特征空间内，通过特征点间的动态联系，对缺失的特征点进行估计补偿重建，尽可能的恢复根据三维运动估计建立的人脸模型的特征点云信息，以形成可用于识别工作且饱满度较高的三维人脸模型。

Description

基于估计补偿的三维人脸动态重建方法

技术领域

本发明属于人脸识别技术领域，涉及基于估计补偿的三维人脸动态重建方法。

背景技术

基于二维图像序列的三维运动恢复重建算法都简单的假设非刚体的形状基个数已知，然而形状基个数对三维重建方法来说十分重要，如果形状基个数估算错误，会导致重建算法完全失效，但是三维人脸存是非刚性易形变物体，其形状基很难完全准确估计，因此建立的三维人脸模型往往特征点较少，很难形成有效的识别模型。

非刚体单目图像序列的形变度预测方法，该种方法可综合分析波动性以及数据缺失问题。依据追踪特征点将非刚体描述成K个刚性形状基的加权线性组合，通过秩分析法可获取非刚体形状基的数量，进而对非刚体的形变度进行准确的预测。当前预测非刚体形变度算法的前提条件是认为特征点位置偏差存在同向性，未对特征点数据缺失现象进行分析。但是特征点位置偏差同图中亮度排列的几何结构具有较强的关联性，同时受到遮挡因素的干扰，特征点数据会出现缺失现象。

计算机视觉三维人脸运动分析过程中的关键内容之一是非刚体人脸的形状分析。刚体的形变计算过程复杂程度要低于非刚体，Bregler等人将非刚体看成某种刚性形状基的加权线性组合，该种方法极大提高了非刚体结构研究过程的效率。并且为研究非刚体运动提供了一种新的视角，即对图像序列中非刚体的形状基进行准确描述，也就是对非刚体三维人脸的形变程度进行准确分析。为了解决上述研究的内容，通过特征点构成的检测矩阵的秩评估非刚体的形变程度。但是，该种方法的精准度同特征点定位误差具有较高的关联性。Roy-Chowdhury[60]等研究出的形变模式数预测方法，极大降低噪声因素对非刚体形变程度的干扰，该种方法综合分析了形状序列中包含的噪声统计特征，有效处理了秩分析方法的弊端。然而，该种方法分析的前提条件是图像特征点的噪声具有各向同性性以及要求特征点是完整的，极大降低了方法的应用范围。

当前用于预测非刚性人脸三维形变程度的方法存在较大的弊端，在研究非刚体人脸三维结构以及运动过程中，没有统计图像序列中非刚体三维人脸的形状基数目个数，通常认为该值为确定值。但是，预测值对于分析非刚体人脸三维运动具有关键作用，值存在较大偏差会导致严重干扰算法的重建。

发明内容

本发明的目的是提供一种基于估计补偿的三维人脸动态重建方法，解决了现有技术中存在的由于形状基估计不准带来的重建特征缺失、三维人脸重建效果差，鲁棒性不强的问题。

本发明所采用的技术方案是按照以下步骤进行：

步骤1，获取人脸图像，使用离散元方法计算形变程度，获得平移以及旋转运动的三维场景的形变程度值；

步骤2，计算非刚体人脸的形心，获得加权系数同两个方向上的协方差存在关联；

步骤3：对人脸数据在运动中丢失的问题进行处理，完成人体轮廓图的获取。

进一步，所述步骤1中，调整人脸图像坐标确保图像坐标系的原点处于人脸的形心位置，过滤平移向量，得到的检测矩阵为

进一步，所述K值预测方法：

第i帧人脸图像内全部特征点的坐标通过ASM算法获得，并用列向量 ${\hat{W}}_i={\left[\begin{array}{cccccc}{\stackrel{\‾}{u}}_{i1},& ...,& {\stackrel{\‾}{u}}_{iP},& {\stackrel{\‾}{v}}_{i1},& ...,& {\stackrel{\‾}{v}}_{iP}\end{array}\right]}^T$ 描述：

上式简写成：

${\hat{W}}_i={\[M_{1\×6K}^{\′}{B}_{6K\×2P}^{\′}\]}^T+\mathrm{\ξ}=B^{\′T}{M}^{\′T}+\mathrm{\ξ}---1-\left(2\right)$

式中，以及分别用于描述特征矩阵的第1、2行，M′为参数向量，ξ表示特征点的噪声，其是均值为零的随机过程；

容易得出，人脸图像序列的形状基B′具有稳定性，采用下式能够获取的相关系数矩阵：

$R_{\hat{W}}=E\[\hat{W}{\hat{W}}^T\]=B^{\′T}E\[M^{T}M\]B+C_{\mathrm{\ξ}}---1-\left(3\right)$

C_ξ表示噪声协方差矩阵，追踪角点j，u_ij平移速度，v_ij平移速率，针对设置的I_i阵图像的x_ij,

$x_{ij}=\left[\begin{array}{c}{u}_{ij}\\ v_{ij}\end{array}\right],i=1,...,F,j=1,...,P---1-\left(4\right)$

依据Hessian矩阵的逆可预测第i帧图像中第j个特征点的噪声协方差，即

$Q_{ij}=E\[{\mathrm{\Δx}}_{ij}{\mathrm{\Δx}}_{ij}^T\]={\left[\begin{array}{cc}\frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂x^2}& \frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂x\∂y}\\ \frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂y\∂x}& \frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂y^2}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\mathrm{\σ}}_{ij1}^2& {\mathrm{\σ}}_{ij}^{\′}\\ {\mathrm{\σ}}_{ij}^{\′}& {\mathrm{\σ}}_{ij2}^2\end{array}\right]---1-\left(5\right)$

1-(5)式乘上一个尺度因子看成是噪声协方差，采用下式获取噪声协方差矩阵：

噪声协方差矩阵的逆运算过程为：

$C_{\mathrm{\ξ}}^{-1}=\left[\begin{array}{cc}{(c_1-c_2{c}_4^{-1}{c}_3)}^{-1}& -c_1^{-1}{c}_2{(c_4-c_3{c}_1^{-1}{c}_2)}^{-1}\\ -c_4^{-1}{c}_3{(c_1-c_2{c}_4^{-1}{c}_3)}^{-1}& {(c_4-c_3{c}_1^{-1}{c}_2)}^{-1}\end{array}\right]---1-\left(7\right)$

综合分析1-(3)以及1-(7)得：

$R_{\hat{W}}{C}_{\mathrm{\ξ}}^{-1}=B^{T}E\[M^{T}M\]{\mathrm{BC}}_{\mathrm{\ξ}}^{-1}+I_{2P\×2P}---1-\left(8\right)$

式中

$R_{\hat{W}}=\frac{1}{F}\underset{i=1}{\overset{F}{\Σ}}{\hat{W}}_i{\hat{W}}_i^T---1-\left(9\right)$

三维人脸运动的B′^TE[M^TM]B的秩最大值是6K，μ_i(H)用于描述矩阵H的第i个特征值，则获取

${\mathrm{\μ}}_i\left(H\right)={\mathrm{\μ}}_i(B^{\′T}E\[M^{T}M\]{\mathrm{BC}}_{\mathrm{\ξ}}^{-1})+1,i=1,...,6K$

μ_i(H)＝1,i＝6K+1,…,2P1-(10)

矩阵H存在6K个高于1的特征值，对该矩阵高于1的特征值数量进行汇总，再除以6能够获取K预测值。

进一步，所述步骤2中，将人脸的形心看成坐标原点，过滤摄像机产生的平移向量，分析图像各帧人脸图像中的特征点噪声，再设置坐标原点：

$C_i=\left[\begin{array}{c}{a}_i\\ b_i\end{array}\right]=\underset{j=1}{\overset{P}{\Σ}}{\mathrm{\λ}}_{ij}\left[\begin{array}{c}{u}_{ij}\\ v_{ij}\end{array}\right]---1-\left(12\right)$

式1-(12)看成第i帧人脸图像中全部特征点坐标的加权和，式中λ_ij用于描述同噪声关联的加权系数，对最小协方差点进行分析，获取λ_ij值，对各个特征点非方向性的径向误差进行分析，表示噪声协方差矩阵Q_ij主对角元素的和：

${\mathrm{\σ}}_{ijr}^2={\mathrm{\σ}}_{ij1}^2+{\mathrm{\σ}}_{ij2}^2---1-\left(13\right)$

其中： ${\mathrm{\σ}}_{ij1}^2=\frac{1}{n}\underset{j=1}{\overset{n}{\Σ}}{(x_{ij}-\stackrel{\‾}{x})}^2,{\mathrm{\σ}}_{ij2}^2=\frac{1}{n-1}\underset{j=1}{\overset{n}{\Σ}}{(x_{ij}-\stackrel{\‾}{x})}^2;$ x_ij为第i行第j个样本，为平均样本集；分析获取λ_ij：

${\mathrm{\λ}}_{ij}={\left(\underset{l=1}{\overset{P}{\mathrm{\Σ}}}\frac{\underset{i=1}{\overset{F}{\mathrm{\Σ}}}({\mathrm{\σ}}_{ij1}^2+{\mathrm{\σ}}_{ij2}^2)}{\underset{i=1}{\overset{F}{\mathrm{\Σ}}}({\mathrm{\σ}}_{li1}^2+{\mathrm{\σ}}_{\mathrm{li2}}^2)}\right)}^{-1}---1-\left(14\right)$

通过上式得加权系数同两个方向上的协方差和间存在关联，噪声大特征点具有较高的价值度。

进一步，所述步骤3中，通过α-β-γ滤波器追踪特征点运动，取特征点的后续x以及y坐标，在时间点t，估算各追踪点在时间点t+1的位置，分析估算区域的人脸特征点能否完成匹配，及时调整滤波器参数，得到相应特征点的运动轨迹，如果缺失某个特征点数据x_ij，则采用位置估算值可及时调整其位置信息，并将特征点的协方差改成：

$Q_{ij}=\frac{Q_{ij-1}{Q}_{ij+1}}{2}.$

本发明的有益效果是，通过动态图像序列中恢复非刚体的三维人脸缺失特征点结构，在极小的特征空间内，通过特征点间的动态联系，对缺失的特征点进行估计补偿重建，弥补由于形状基估计不准带来的重建特征缺失、三维人脸重建效果差，鲁棒性不强的弊端，尽可能的恢复根据三维运动估计建立的人脸模型的特征点云信息，以形成可用于识别工作且饱满度较高的三维人脸模型。

附图说明

图1是本发明基于估计补偿的三维人脸动态重建方法实验获取的人体轮廓图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于估计补偿的三维人脸动态重建方法，通过综合分析人脸运动中的波动性以及数据缺失问题。依据追踪特征点将非刚体的人脸描述成K个刚性形状基的加权线性组合，通过秩分析法可获取运动中人脸形状基的数量，进而对人脸形变度进行准确的预测。

本发明具体实施方式如下：

步骤1，获取人脸图像，使用离散元方法计算形变程度，获得平移以及旋转运动的三维场景的形变程度值；

调整人脸图像坐标确保图像坐标系的原点处于人脸的形心位置，(形心位置即两条对称轴的交点)，过滤平移向量，得到的检测矩阵为可以看出检测矩阵的秩小于等于3K(若2m＞3K,n＞3K)。其中，m为人脸图像坐标确保图像坐标系X轴的平移，K为人脸动态重建设定的阈值，n为人脸图像坐标确保图像坐标系Y轴的平移，P为人脸动态重建的加权向量。非刚体人脸的三维形变程度预测重点需要完成K值的预测，本发明给出了一种综合分析噪声以及人脸数据缺失的K值预测手段：

描述三维人脸运动状态下的形状坐标是一个随机过程。第i帧人脸图像内全部特征点的坐标通过ASM算法获得，并用列向量 ${\hat{W}}_i={\left[\begin{array}{cccccc}{\stackrel{\‾}{u}}_{i1},& ...,& {\stackrel{\‾}{u}}_{iP},& {\stackrel{\‾}{v}}_{i1},& ...,& {\stackrel{\‾}{v}}_{iP}\end{array}\right]}^T$ 描述。

式为：

上式能够简写成：

${\hat{W}}_i={\[M_{1\×6K}^{\′}{B}_{6K\×2P}^{\′}\]}^T+\mathrm{\ξ}=B^{\′T}{M}^{\′T}+\mathrm{\ξ}---1-\left(2\right)$

式中，以及分别用于描述特征矩阵的第1、2行，M′为参数向量。ξ表示特征点的噪声，其是均值为零的随机过程。

容易得出，人脸图像序列的形状基B′具有稳定性。采用下式能够获取的相关系数矩阵：

$R_{\hat{W}}=E\[\hat{W}{\hat{W}}^T\]=B^{\′T}E\[M^{T}M\]B+C_{\mathrm{\ξ}}---1-\left(3\right)$

C_ξ表示噪声协方差矩阵，该矩阵的运算过程为：依据原理可得，人脸特征点的噪声协方差可看成是追踪算法同相关参数以及追踪特征点周围亮度波动的函数。追踪算法中的追踪位置误差同局部图像的结构特征相关。如果追踪角点j和u_ij(平移速度)、v_ij(平移速率)的稳定性较强，而某条线中的点j的梯度方向上的追踪的稳定性也较强，但是在其切线方向上的稳定性较弱，则容易出现方向性误差。针对设置的I_i阵图像的x_ij,

$x_{ij}=\left[\begin{array}{c}{u}_{ij}\\ v_{ij}\end{array}\right],i=1,...,F,j=1,...,P---1-\left(4\right)$

依据Hessian矩阵的逆可预测第i帧图像中第j个特征点的噪声协方差，即

$Q_{ij}=E\[{\mathrm{\Δx}}_{ij}{\mathrm{\Δx}}_{ij}^T\]={\left[\begin{array}{cc}\frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂x^2}& \frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂x\∂y}\\ \frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂y\∂x}& \frac{{\∂}^{2}I(u_{ij},v_{ij})}{\∂y^2}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\mathrm{\σ}}_{ij1}^2& {\mathrm{\σ}}_{ij}^{\′}\\ {\mathrm{\σ}}_{ij}^{\′}& {\mathrm{\σ}}_{ij2}^2\end{array}\right]---1-\left(5\right)$

图像亮度在x以及y轴上的2阶导数和偏微分可看成Hessian矩阵的元素。1-(5)式乘上一个尺度因子可看成是噪声协方差，该尺度因子不会干扰实际的应用。

采用下式能够获取噪声协方差矩阵：

噪声协方差矩阵的逆运算过程为：

$C_{\mathrm{\ξ}}^{-1}=\left[\begin{array}{cc}{(c_1-c_2{c}_4^{-1}{c}_3)}^{-1}& -c_1^{-1}{c}_2{(c_4-c_3{c}_1^{-1}{c}_2)}^{-1}\\ -c_4^{-1}{c}_3{(c_1-c_2{c}_4^{-1}{c}_3)}^{-1}& {(c_4-c_3{c}_1^{-1}{c}_2)}^{-1}\end{array}\right]---1-\left(7\right)$

综合分析1-(3)以及1-(7)能够获取：

$R_{\hat{W}}{C}_{\mathrm{\ξ}}^{-1}=B^{\′T}E\[M^{T}M\]{\mathrm{BC}}_{\mathrm{\ξ}}^{-1}+I_{2P\×2P}---1-\left(8\right)$

式中

$R_{\hat{W}}=\frac{1}{F}\underset{i=1}{\overset{F}{\Σ}}{\hat{W}}_i{\hat{W}}_i^T---1-\left(9\right)$

三维人脸运动的B′^TE[M^TM]B的秩最大值是6K。μ_i(H)用于描述矩阵H的第i个特征值，则可获取

${\mathrm{\μ}}_i\left(H\right)={\mathrm{\μ}}_i(B^{\′T}E\[M^{T}M\]{\mathrm{BC}}_{\mathrm{\ξ}}^{-1})+1,i=1,...,6K$

μ_i(H)＝1,i＝6K+1,…,2P1-(10)

矩阵H存在6K个高于1的特征值，对该矩阵高于1的特征值数量进行汇总，再除以6能够获取K预测值。K用于描述形变特征点序列的形状空间的维度，以及用于显示模拟特征点序列形状基的数量。依据K值能够分析形状序列的形变程度。通常将通过平移以及旋转运动的三维场景的形变程度描述成：

$DeformationDegree=\frac{Count(eigenvaluesofH>1)}{6}---1-\left(11\right)$

步骤2，计算非刚体人脸的形心，获得加权系数同两个方向上的协方差存在关联；

将人脸的形心(两条对称轴垂直相角的点)看成坐标原点，过滤摄像机产生的平移向量。

分析图像各帧人脸图像中的特征点噪声，再设置坐标原点：

$C_i=\left[\begin{array}{c}{a}_i\\ b_i\end{array}\right]=\underset{j=1}{\overset{P}{\Σ}}{\mathrm{\λ}}_{ij}\left[\begin{array}{c}{u}_{ij}\\ v_{ij}\end{array}\right]---1-\left(12\right)$

从式1-(12)可看成第i帧人脸图像中全部特征点坐标的加权和，式中λ_ij用于描述同噪声关联的加权系数，对最小协方差点进行分析，可获取λ_ij值。需要对各个特征点非方向性的径向误差进行分析，表示噪声协方差矩阵Q_ij主对角元素的和：

${\mathrm{\σ}}_{ijr}^2={\mathrm{\σ}}_{ij1}^2+{\mathrm{\σ}}_{ij2}^2---1-\left(13\right)$

其中： ${\mathrm{\σ}}_{ij1}^2=\frac{1}{n}\underset{j=1}{\overset{n}{\Σ}}{(x_{ij}-\stackrel{\‾}{x})}^2,{\mathrm{\σ}}_{ij2}^2=\frac{1}{n-1}\underset{j=1}{\overset{n}{\Σ}}{(x_{ij}-\stackrel{\‾}{x})}^2;$ x_ij为第i行第j个样本，为平均样本集。

分析获取λ_ij：

${\mathrm{\λ}}_{ij}={\left(\underset{l=1}{\overset{P}{\mathrm{\Σ}}}\frac{\underset{i=1}{\overset{F}{\mathrm{\Σ}}}({\mathrm{\σ}}_{ij1}^2+{\mathrm{\σ}}_{ij2}^2)}{\underset{i=1}{\overset{F}{\mathrm{\Σ}}}({\mathrm{\σ}}_{li1}^2+{\mathrm{\σ}}_{\mathrm{li2}}^2)}\right)}^{-1}---1-\left(14\right)$

通过上式可得加权系数同两个方向上的协方差和间存在关联，噪声大特征点具有较高的价值度。

步骤3，处理人脸数据运动中的丢失问题。

拍摄的人脸图像序列中的某些特征点受到运动因素的干扰，会使三维数据缺失。运动惯性和收集速度会导致人脸序列图像帧同帧间特征点运动具有平滑性，因此，通过α-β-γ滤波器追踪特征点运动。α-β-γ滤波器作为常系数的卡尔曼滤波器，可基于固定的收集间隔速度以及加速度，对目标运动进行模拟和估计。该滤波器的数学表达式为：

$x_p\left(t\right)=x_s(t-1)+{\mathrm{Tv}}_s(t-1)+\frac{T^2}{2}{a}_s(t-1)$

v_p(t)＝v_s(t-1)+Ta_s(t-1)

a_p(t)＝a_s(t-1)

x_s(t)＝x_p(t)+α(x_m(t)-x_p(t))

$v_s\left(t\right)=v_p\left(t\right)+\frac{\mathrm{\β}}{T}\left(x_m\right(t)-x_p(t\left)\right)$

$a_s\left(t\right)=a_p\left(t\right)+\frac{\mathrm{\γ}}{2T^2}\left(x_m\right(t)-x_p(t\left)\right)---1-\left(15\right)$

其中，x_p(t)表示时间点为t估计的目标位置，v_p(t)表示时间点为t估计的速度，a_p(t)表示时间点为t估计的加速度，x_s(t)表示时间点为t平滑处于的坐标，v_s(t)表示时间点为t平滑速度，a_s(t)表示时间点为t的平滑加速度，x_m(t)表示时间点为t时的位置，T表示检测时间间隔，α是一种描述位置滤波器参数，β是一种描述速度滤波器参数，γ是一种描述加速度滤波器参数。完善滤波器α、β、γ参数：

$\mathrm{\β}=2(2-\mathrm{\α})-4\sqrt{1-\mathrm{\α}},$

γ＝β²/α1-(16)

通过两个依据1-(15)式的α-β-γ滤波器获取特征点的后续“x”以及“y”坐标。追踪是一个重复“估算—匹配—调整”的过程。在时间点t，估算各追踪点在时间点t+1的位置。分析估算区域的人脸特征点能否完成匹配。完成匹配，及时调整滤波器参数。α-β-γ滤波器对特征点进行追踪后，能够得到相应特征点的运动轨迹。如果缺失某个特征点数据x_ij，则采用位置估算值可及时调整其位置信息，并将特征点的协方差改成：

$Q_{ij}=\frac{Q_{ij-1}{Q}_{ij+1}}{2}---1-\left(17\right)$

实验结果分析，

通过实际拍摄的生活场景中的单目图像序列进行实验分析，各帧图像是640×480的黑白图像，帧频是22帧每秒。实验对人体的日常活动进行拍摄：走、走并转头以及下蹲等。过滤拍摄图像中的背景，获取如图1所示的人体轮廓图。实验获取的85帧人下蹲活动图像中的第1、13、25、37、49、61、73以及第85帧图像中人体轮廓，通过图能够准确获取人体下蹲过程中的各种形变情况。

分析实验拍摄图像序列可得，图像序列中局部特征点会被其它人体部位遮挡，产生数据缺失问题。此时，需要通过α-β-γ滤波器实现特征点的追踪和估计，并及时填充缺失的特征点数据；图像序列中特征点噪声存在显著的方向性，通过1-(5)式以及1-(17)式运算获取全部图中特征点的噪声协方差矩阵和特征点的加权系数；求解1-(8)式的矩阵，同时实现其的奇异值分解。图像序列的形变度需要基于矩阵高于1的奇异值数量值进行判断。实验分析的人体活动形变度结果用表1描述

表1几种人体日常活动形变程度估算结果

实验图像序列存在少数标记点受到遮挡因素的干扰，使得数据缺失，当前的形变度预测手段不能有效分析特征点数据缺失问题，不能准确获取实验图像序列中人体形变度。依据直观感觉可得：人体走时融合转头行为，会导致形变度增强；下蹲动作比走路更为繁琐，相应的形变度也更高；下蹲动作同坐动作具有相似的复杂度。上述分析结果说明，采用本算法可有效解决特征点数据缺失现象，解决方向性定位偏差的干扰，最终获取的人体运动形变度结果同直观感觉结果相匹配。

Claims (5)

1.基于估计补偿的三维人脸动态重建方法，其特征在于按照以下步骤进行：

步骤1，获取人脸图像，使用离散元方法计算形变程度，获得平移以及旋转运动的三维场景的形变程度值；

步骤2，计算非刚体人脸的形心，获得加权系数同两个方向上的协方差存在关联；

步骤3：对人脸数据在运动中丢失的问题进行处理，完成人体轮廓图的获取。

2.按照权利要求1所述基于估计补偿的三维人脸动态重建方法，其特征在于：所述步骤1中，调整人脸图像坐标确保图像坐标系的原点处于人脸的形心位置，过滤平移向量，得到的检测矩阵为其中，M、B为参数向量。

3.按照权利要求2所述基于估计补偿的三维人脸动态重建方法，其特征在于：所述K值预测方法：

第i帧人脸图像内全部特征点的坐标通过ASM算法获得，并用列向量 ${\hat{W}}_i={\left[\begin{array}{cccccc}{\stackrel{\‾}{u}}_{i1},& ...,& {\stackrel{\‾}{u}}_{iP},& {\stackrel{\‾}{v}}_{i1},& ...,& {\stackrel{\‾}{v}}_{iP}\end{array}\right]}^T$ 描述：

上式简写成：

${\hat{W}}_i={\[M_{1\×6K}^{\′}{B}_{6K\×2P}^{\′}\]}^T+\mathrm{\ξ}=B^{\′T}{M}^{\′T}+\mathrm{\ξ}---1-\left(2\right)$

式中，以及分别用于描述特征矩阵的第1、2行，M′为参数向量，B′为人脸图像序列的形状，T为常数，ξ表示特征点的噪声，其是均值为零的随机过程；

容易得出，人脸图像序列的形状B′具有稳定性，采用下式能够获取的相关系数矩阵：

$R_{\hat{W}}=E\[\hat{W}{\hat{W}}^T\]=B^{\′T}E\[M^{T}M\]B+C_{\mathrm{\ξ}}---1-\left(3\right)$

C_ξ表示噪声协方差矩阵，追踪角点j，u_ij平移速度，v_ij平移速率，针对设置的I_i阵图像的x_ij,

$x_{ij}=\left[\begin{array}{c}{u}_{ij}\\ v_{ij}\end{array}\right],i=1,...,F,j=1,...,P---1-\left(4\right)$

依据Hessian矩阵的逆可预测第i帧图像中第j个特征点的噪声协方差，即

$Q_{ij}=E\[{\mathrm{\Δx}}_{ij}{\mathrm{\Δx}}_{ij}^T\]={\left[\begin{array}{cc}\frac{{\∂}^{2}I\left(u_{ij},v_{ij}\right)}{\∂x^2}& \frac{{\∂}^{2}I\left(u_{ij},v_{ij}\right)}{\∂x\∂y}\\ \frac{{\∂}^{2}I\left(u_{ij},v_{ij}\right)}{\∂y\∂x}& \frac{{\∂}^{2}I\left(u_{ij},v_{ij}\right)}{\∂y^2}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\mathrm{\σ}}_{ij1}^2& {\mathrm{\σ}}_{ij}^{\′}\\ {\mathrm{\σ}}_{ij}^{\′}& {\mathrm{\σ}}_{ij2}^2\end{array}\right]---1-\left(5\right)$

其中，E代表噪声协方差中的期望，I为噪声协方差中的模式分量，σ为标准偏差。

1-(5)式乘上一个尺度因子看成是噪声协方差，采用下式获取噪声协方差矩阵：

其中，F为常量，σ为标准偏差，c为噪声协方差矩阵中的分量。噪声协方差矩阵的逆运算过程为：

$C_{\mathrm{\ξ}}^{-1}=\left[\begin{array}{cc}{(c_1-c_2{c}_4^{-1}{c}_3)}^{-1}& -c_1^{-1}{c}_2{(c_4-c_3{c}_1^{-1}{c}_2)}^{-1}\\ -c_4^{-1}{c}_3{(c_1-c_2{c}_4^{-1}{c}_3)}^{-1}& {(c_4-c_3{c}_1^{-1}{c}_2)}^{-1}\end{array}\right]---1-\left(7\right)$

综合分析1-(3)以及1-(7)得：

$R_{\hat{W}}{C}_{\mathrm{\ξ}}^{-1}=B^{\′T}E\[M^{T}M\]{\mathrm{BC}}_{\mathrm{\ξ}}^{-1}+I_{2P\×2P}---1-\left(8\right)$

式中

$R_{\hat{W}}=\frac{1}{F}\underset{i=1}{\overset{F}{\Σ}}{\hat{W}}_i{\hat{W}}_i^T---1-\left(9\right)$

三维人脸运动的B′^TE[M^TM]B的秩最大值是6K，μ_i(H)用于描述矩阵H的第i个特征值，则获取

${\mathrm{\μ}}_i\left(H\right)={\mathrm{\μ}}_i(B^{\′T}E\[M^{T}M\]{\mathrm{BC}}_{\mathrm{\ξ}}^{-1})+1,i=1,...,6K$

μ_i(H)＝1,i＝6K+1,…,2P1-(10)

矩阵H存在6K个高于1的特征值，对该矩阵高于1的特征值数量进行汇总，再除以6能够获取K预测值。

4.按照权利要求1所述基于估计补偿的三维人脸动态重建方法，其特征在于：所述步骤2中，将人脸的形心看成坐标原点，过滤摄像机产生的平移向量，分析图像各帧人脸图像中的特征点噪声，再设置坐标原点：

$C_i=\left[\begin{array}{c}{a}_i\\ b_i\end{array}\right]=\underset{j=1}{\overset{P}{\Σ}}{\mathrm{\λ}}_{ij}\left[\begin{array}{c}{u}_{ij}\\ v_{ij}\end{array}\right]---1-\left(12\right)$

式1-(12)看成第i帧人脸图像中全部特征点坐标的加权和，其中，a_i、b_i为各帧人脸图像中的特征点噪声分量，λ_ij用于描述同噪声关联的加权系数，对最小协方差点进行分析，获取λ_ij值，对各个特征点非方向性的径向误差进行分析，表示噪声协方差矩阵Q_ij主对角元素的和：

${\mathrm{\σ}}_{ijr}^2={\mathrm{\σ}}_{ij1}^2+{\mathrm{\σ}}_{ij2}^2---1-\left(13\right)$

其中： ${\mathrm{\σ}}_{ij1}^2=\frac{1}{n}\underset{j=1}{\overset{n}{\Σ}}{(x_{ij}-\stackrel{\‾}{x})}^2,$ ${\mathrm{\σ}}_{ij2}^2=\frac{1}{n-1}\underset{j=1}{\overset{n}{\Σ}}{(x_{ij}-\stackrel{\‾}{x})}^2;$ x_ij为第i行第j个样本，为平均样本集；分析获取λ_ij：

${\mathrm{\λ}}_{ij}={\left(\underset{l=1}{\overset{P}{\Σ}}\frac{\underset{i=1}{\overset{F}{\Σ}}({\mathrm{\σ}}_{ij1}^2+{\mathrm{\σ}}_{ij2}^2)}{\underset{i=1}{\overset{F}{\Σ}}({\mathrm{\σ}}_{li1}^2+{\mathrm{\σ}}_{li2}^2)}\right)}^{-1}---1-\left(14\right)$

通过上式得加权系数同两个方向上的协方差和间存在关联，噪声大特征点具有较高的价值度。

5.按照权利要求1所述基于估计补偿的三维人脸动态重建方法，其特征在于：所述步骤3中，通过α-β-γ滤波器追踪特征点运动，取特征点的后续x以及y坐标，在时间点t，估算各追踪点在时间点t+1的位置，分析估算区域的人脸特征点能否完成匹配，及时调整滤波器参数，得到相应特征点的运动轨迹，如果缺失某个特征点数据x_ij，则采用位置估算值可及时调整其位置信息，并将特征点的协方差改成：

$Q_{ij}=\frac{Q_{ij-1}{Q}_{ij+1}}{2}$

其中，Q_ij-1、Q_ij+1为所选特征点前一个和后一个的协方差。