CN106157372A - 一种基于视频图像的3d人脸网格重构方法 - Google Patents

Abstract

本发明中提出的一种基于视频图像的3D人脸网格重构方法，其主要内容包括：视频中2维人脸图像输入；建立线性形状模型；通过级联回归估算人脸标志点；通过3D模型进行匹配；对人脸进行3D重建。建立线性形状模型，估计标志点的位置和清晰度，通过匹配局部3D模型重建脸部形状，采用3D级联回归，动作变化中面中标志保持一致，通过选择致密的3D点集，脸部被完全标记，避免标志的位置发生变化，解决了动作变化定位点不一致和自封闭的问题；此外，采用3D标志进行2D投影，使计算花费大大减小。3D网格不含背景，通用性强，而且实时效果好。

Description

一种基于视频图像的3D人脸网格重构方法

技术领域

本发明涉及图像处理，尤其是指利用图像数据分析对采集到的视频图像进行3D人脸网格重构。

背景技术

基于视频图像的3D人脸网格重构方法，可以用于罪犯监控，在不需要罪犯指纹或者身份信息的情况下进行人脸重构，还可以用于三维打印，另外还可以用于三维人脸建模。动画制作等领域中，对各领域的影响重大。人脸识别的方法可以分为两类，2D识别方法和3D识别方法。2D识别方法定位形状和外观的定位点很少，3D方法有较强的可区分性和鲁棒性，但是匹配高分辨3D模型，计算花费大，需要人工初始化。

近些年2D识别方法和3D识别方法被广泛使用，Blanz和Vetter建立了3D形变模型减小视频图片和合成结果之前的强度差异，M.Dimitrijevic曾建立了3D形变模型降低识别的光照敏感度，而2D方法随着形状回归方法的使用使得该方法变得成熟，已经有许多研究使用2级联回归建立脸部形状。但是使用级联回归应用在3D方法中却一直被忽略。本发明将级联回归应用于3D方法中，将2D方法和3D方法结合使用，建立线性形状模型，估计特征点的位置和清晰度，通过匹配局部3D模型重建脸部形状，采用3D级联回归，动作变化中面中标志保持一致，通过选择致密的3D点集，脸部被完全标记，避免标志的位置发生变化，解决了动作变化定位点不一致和自封闭的问题；此外，采用3D标志进行2D投影，使计算花费大大减小。3D网格不含背景，通用性强，而且实时效果好，

发明内容

为解决上述问题，本发明提供一种基于视频图像的3D人脸网格重构方法，其主要内容包括：

(一)视频中2维人脸图像输入；

(二)建立线性形状模型；

(三)通过级联回归估算人脸特征点；

(四)通过3D模型进行匹配；

(五)对人脸进行3D重建。

其中，所述对于视频中2维人脸图像输入(一)包括对各类视频图像中人脸图像的输入；

其中，所述建立一个密集的线性形状模型(二)包括由一个三维网格和三维顶点(特征点)组成；

进一步地，所述三维网格和三维顶点，把3D形状看成3D顶点坐标形成的网格结构，3D点分布模型描述形状的线性变化：

x＝[x₁；y₁；z₁；…；x_M；y_M；z_M]

x_i(p，q)代表i^th标志的位置，p＝(s，α，β，γ，t)代表了模型的刚性参数，包括球形比例s，3维旋转角度R＝R₁(α)R₂(β)R₃(γ)和变化率t；非刚性参数用q表示，代表i^th标志的平均位置，d部分的3M立体基向量用表示；向量q代表了在3M×d三维线性子空间的人脸的变形。

进一步地，3D脸部变形可以分为两个独立的子集：刚性(面部的形状)和非刚性(面部表情)部分。

其中，所述通过级联回归估算人脸特征点(三)，主要步骤为：

1)在训练阶段，在图中确定b的位置区域，我们将他定义为y_*，我们对训练图像进行了人脸检测，提供了标志的初始配置(y₀)在这个框架中，使下列函数中的Δy最小化获得脸部定位

2)给定图像的其中一个像素点d∈R^a+1，d(y)∈R^b+1，其中指标b定位在图像中，令h作为特征提取函数，提取长度F的特征，则h(d(y))∈R^Fb+1

$f(y_0+y)=\left|\right|h\left(d\right(y_0+\mathrm{\Δ}y))-{\mathrm{\β}}_{*}|{|}_2^2$

其中β_*＝h(d(y_*))代表图像标记的特征值

3)使特征提取函数(h)高度非线性，我们使用一系列线性回归矩阵(Mi)，这样，在训练数据中产生一系列从y₀到y_*的更新

Δy_i＝R_i-1β_i-1+b_i-1

y_i＝y_i-1+Δy_i→y_*

4)在这里，y由3D标志的二维投影的位置和相应的视觉信息组成，

y＝[x₁；y₁；v₁；...；x_M；y_M；y_M]

其中，v_i∈[0，1]表明3D标志是否可见，可见(v_i＝1)，不可见(v_i＝0)。

进一步地，自动人脸定位需要大量的图像的训练实例，每个图片计算相应的旋转3D标志和2D投影标志，3D网格不含背景，在最后的2D图像中可以任意选择没有人脸的图像来提高多样性，这样产生被标注的图像用来训练密集级联回归，最后训练集中使用超过300000个网格。

其中，所述通过3D模型进行匹配(四)主要步骤为：

1)迭代算法细化对应关系

之前的级联回归提供了3D标志的二维投影的位置，从二维形状重建三维形状，需要使重构误差最小化

$\underset{p,r,s}{\arg \min }\underset{i=1}{\overset{M}{\Σ}}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D标志上注册3D模型，细化了3D形状和3D动作的结合，建立了刚性(p＝{s，α，β，γ，t})和非刚性(r和s)的转换

2)通过矩阵进行矫正

假定在2D和3D标志之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的标志，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得

3)约束可见标志

此通过约束可见标志的过程，级联回归评估了标志的清晰度

$\underset{p,r,s}{\arg \min }{\Σ}_{i\∈\mathrm{\ξ}}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

ξ＝{j|v_j＝1}表明标志指标的子集是可见的

4)二维测量

进入时间同步的二维测量(z(1)，...，z(C))，所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：

$\underset{p^{\left(1\right)},\mathrm{...},p^{\left(C\right)},}{\arg \min }{\Σ}_{k=1}^C{\Σ}_{i\∈{\mathrm{\ξ}}^{\left(k\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(k\right)},r,s)-{z_i}^{\left(k\right)}|{|}_2^2$

上标(k)代表k^th次测量，能见度设置为ξ(k)，因为我们观察的是相同的人脸但是是从不同角度，整体刚性(r)和部分非刚性(s)的测量方法都相同

5)确定刚性、非刚性参数

假定人脸的刚性结构变化很小(参数r)，只有表情会有变化(参数s)，为了解决这种情况，在时间域中进行解决，第一步，我们计算刚性变型参数：

$\arg \underset{r_{\mathrm{\τ}}}{\min }{\mathrm{\Σ}}_{t\∈\mathrm{\τ}}{\mathrm{\Σ}}_{i\∈{\mathrm{\ξ}}^{\left(t\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_{\mathrm{\τ}},0)-{z_i}^{\left(t\right)}|{|}_2^2$

T＝{z^(t)|t＝1，...，T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0

第二步，在任意时间帧计算刚性变型参数t∈[1，...，T]，

$\underset{p^{\left(t\right)},s^{\left(t\right)}}{\arg \min }{\Σ}_{i\∈{\mathrm{\ξ}}^{\left(t\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_{\mathrm{\τ}},s^{\left(t\right)})-{z_i}^{\left(t\right)}|{|}_2^2.$

进一步地，顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值。

进一步地，使用单目照相机图像时，对应公式有多个解，避免产生3D幻觉，在这里同时使用多个图像帧。

其中，所述对人脸进行3D重建(五)在一个参数向量中

q：p(q)∝N(q；0，Λ)

参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：

我们分别对刚性和非刚性这两部分进行建模，

$x_i=(p,r,s)=sR({\stackrel{\‾}{x}}_i+{\mathrm{\θ}}_{i}r+{\mathrm{\ψ}}_{i}s)+t(i=1,...,M)$

其中3维基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述刚性变形，3维基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R3^M×d)描述了非刚性变形

进一步地，建立刚性部分，我们从每个视频中选择中间帧，应用主成份分析法确定基向量(θ)和平均值提供了一个整体的线性子空间，描述了人脸形状的变化

进一步地，建立描述非刚性变形(ψ)的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。

附图说明

图1是本发明一种基于视频图像的3D人脸网格重构方法的系统流程图。

图2是本发明一种基于视频图像的3D人脸网格重构方法的级联回归估算人脸特征点流程图。

图3是本发明一种基于视频图像的3D人脸网格重构方法的通过3D模型进行匹配流程图。

图4是本发明一种基于视频图像的3D人脸网格重构方法的迭代次数和定点数量对重建错误率的关系曲线图。

图5是本发明一种基于视频图像的3D人脸网格重构方法的对人脸进行3D重建流程图。

图6是本发明一种基于视频图像的3D人脸网格重构方法的人脸重构图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于视频图像的3D人脸网格重构方法和装置的系统流程图。如图1所示，本发明提供一种基于视频图像的3D人脸网格重构方法，其主要内容包括：

(一)视频中2维人脸图像输入；

(二)建立线性形状模型；

(三)通过级联回归估算人脸特征点；

(四)通过3D模型进行匹配；

(五)对人脸进行3D重建。

视频中2维人脸图像输入包括对各类视频图像中人脸图像的输入；

建立一个密集的线性形状模型(二)包括由一个三维网格和三维顶点(特征点)组成，把3D形状看成3D顶点坐标形成的网格结构，3D点分布模型描述形状的线性变化：

x＝[x₁；y₁；z₁；...；x_M；y_M；z_M]

x_i(p，q)代表i^th标志的位置，p＝(s，α，β，γ，t)代表了模型的刚性参数，包括球形比例s，3维旋转角度R＝R₁(α)R₂(β)R₃(γ)和变化率t；非刚性参数用q表示，代表i^th标志的平均位置，d部分的3M立体基向量用表示；向量q代表了在3M×d三维线性子空间的人脸的变形。3D脸部变形可以分为两个独立的子集：刚性(面部的形状)和非刚性(面部表情)部分。

图2是本发明一种基于视频图像的3D人脸网格重构方法的级联回归估算人脸特征点流程图，主要步骤为：

1)在训练阶段，在图中确定b的位置区域，我们将他定义为y_*，我们对训练图像进行了人脸检测，提供了标志的初始配置(y₀)在这个框架中，使下列函数中的Δy最小化获得脸部定位

2)给定图像的其中一个像素点d∈R^a+1，d(y)∈R^b+1，其中指标b定位在图像中，令h作为特征提取函数，提取长度F的特征，则h(d(y))∈R^Fb+1

$f(y_0+y)=\left|\right|h\left(d\right(y_0+\mathrm{\Δ}y\left)\right)-{\mathrm{\β}}_{*}|{|}_2^2$

其中β_*＝h(d(y_*))代表图像标记的特征值

3)使特征提取函数(h)高度非线性，我们使用一系列线性回归矩阵(Mi)，这样，在训练数据中产生一系列从y₀到y_*的更新

Δy_i＝R_i-1β_i-1+b_i-1

y_i＝y_i-1+Δy_i→y_*

4)在这里，y由3D标志的二维投影的位置和相应的视觉信息组成，

y＝[x₁；y₁；v₁；...；x_M；y_M；y_M]

其中，v_i∈[0，1]表明3D标志是否可见，可见(v_i＝1)，不可见(v_i＝0)。

自动人脸定位需要大量的图像的训练实例，每个图片计算相应的旋转3D标志和2D投影标志，3D网格不含背景，在最后的2D图像中可以任意选择没有人脸的图像来提高多样性，这样产生被标注的图像用来训练密集级联回归，最后训练集中使用超过300000个网格。

图3是本发明一种基于视频图像的3D人脸网格重构方法的通过3D模型进行匹配流程图，主要步骤为：

1)迭代算法细化对应关系

之前的级联回归提供了3D标志的二维投影的位置，从二维形状重建三维形状，需要使重构误差最小化

$\underset{p,r,s}{\arg \min }\underset{i=1}{\overset{M}{\Σ}}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D标志上注册3D模型，细化了3D形状和3D动作的结合，建立了刚性(p＝{s，α，β，γ，t})和非刚性(r和s)的转换

2)通过矩阵进行矫正

假定在2D和3D标志之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的标志，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得

3)约束可见标志

此通过约束可见标志的过程，级联回归评估了标志的清晰度

$\underset{p,r,s}{\arg \min }{\Σ}_{i\∈\mathrm{\ξ}}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

ξ＝{j|v_j＝1}表明标志指标的子集是可见的

4)二维测量

进入时间同步的二维测量(z(1)，...，z(C))，所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：

$\underset{p^{\left(1\right)},\mathrm{...},p^{\left(C\right)},}{\arg \min }{\Σ}_{k=1}^C{\Σ}_{i\∈{\mathrm{\ξ}}^{\left(k\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(k\right)},r,s)-{z_i}^{\left(k\right)}|{|}_2^2$

上标(k)代表k^th次测量，能见度设置为ξ(k)，因为我们观察的是相同的人脸但是是从不同角度，整体刚性(r)和部分非刚性(s)的测量方法都相同

5)确定刚性、非刚性参数

假定人脸的刚性结构变化很小(参数r)，只有表情会有变化(参数s)，为了解决这种情况，在时间域中进行解决，第一步，我们计算刚性变型参数：

$\arg \underset{r_{\mathrm{\τ}}}{\min }{\mathrm{\Σ}}_{t\∈\mathrm{\τ}}{\mathrm{\Σ}}_{i\∈{\mathrm{\ξ}}^{\left(t\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_{\mathrm{\τ}},0)-{z_i}^{\left(t\right)}|{|}_2^2$

T＝{z^(t)|t＝1，...，T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0

第二步，在任意时间帧计算刚性变型参数t∈[1，...，T]，

$\underset{p^{\left(t\right)},s^{\left(t\right)}}{\arg \min }{\Σ}_{i\∈{\mathrm{\ξ}}^{\left(t\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_{\mathrm{\τ}},s^{\left(t\right)})-{z_i}^{\left(t\right)}|{|}_2^2.$

图4是本发明一种基于视频图像的3D人脸网格重构方法的迭代次数和定点数量对重建错误率的关系曲线图。可以看出，顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值。使用单目照相机图像时，对应公式有多个解，避免产生3D幻觉，在这里同时使用多个图像帧。

图5是本发明一种基于视频图像的3D人脸网格重构方法的对人脸进行3D重建流程图。

q：p(q)∝N(q；0，Λ)

参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：

我们分别对刚性和非刚性这两部分进行建模，

$x_i=(p,r,s)=sR({\stackrel{\‾}{x}}_i+{\mathrm{\θ}}_{i}r+{\mathrm{\ψ}}_{i}s)+t(i=1,...,M)$

其中3维基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述刚性变形，3维基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R^3M×d)描述了非刚性变形

进一步地，建立刚性部分，我们从每个视频中选择中间帧，应用主成份分析法确定基向量(θ)和平均值提供了一个整体的线性子空间，描述了人脸形状的变化

进一步地，建立描述非刚性变形(ψ)的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。

图6是本发明一种基于视频图像的3D人脸网格重构方法的人脸重构图。可以看出，采用多帧视频图像，获得3D网格顶点，3D点集将脸部完全覆盖，动作变化定位点保持一致，并且成功完成人脸重建。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于视频图像的3D人脸网格重构方法，其特征在于，主要内容包括：

(一)视频中2维人脸图像输入；

(二)建立线性形状模型；

(三)通过级联回归估算人脸特征点；

(四)通过3D模型进行匹配；

(五)对人脸进行3D重建。

2.基于权利要求书1所述的视频中2维人脸图像输入(一)，其特征在于，包括对视频图像中人脸图像的输入。

3.基于权利要求书1所述的建立一个密集的线性形状模型(二)，其特征在于，由一个三维网格和三维顶点(特征点)组成，把3D形状看成3D顶点坐标形成的网格结构，3D点分布模型描述形状的线性变化：

x＝[x₁；y₁；z₁；…；x_M；y_M；z_M]

x_i(p,q)代表i^th标志的位置，p＝(s,α,β,γ,t)代表了模型的刚性参数，包括球形比例s，3维旋转角度R＝R₁(α)R₂(β)R₃(γ)和变化率t；非刚性参数用q表示，代表i^th标志的平均位置，d部分的3M立体基向量用表示；向量q代表了在3M×d三维线性子空间的人脸的变形。

4.基于权利要求书3所述的3D脸部的变形，其特征在于，脸部变形可以分为两个独立的子集：刚性(面部的形状)和非刚性(面部表情)部分。

5.基于权利要求书1所述的通过级联回归估算人脸特征点(三)，其特征在于，主要步骤为：

1)在训练阶段，在图中确定b的位置区域，我们将他定义为y_*，我们对训练图像进行了人脸检测，提供了标志的初始配置(y₀)在这个框架中，使下列函数中的Δy最小化获得脸部定位

2)给定图像的其中一个像素点d∈R^a+1，d(y)∈R^b+1，其中指标b定位在图像中，令h作为特征提取函数，提取长度F的特征，则h(d(y))∈R^Fb+1

$f(y_0+y)=\left|\right|h\left(d\right(y_0+\mathrm{\Δ}y\left)\right)-{\mathrm{\β}}_{*}|{|}_2^2$

其中β_*＝h(d(y_*))代表图像标记的特征值

3)使特征提取函数(h)高度非线性，我们使用一系列线性回归矩阵(Mi)，这样，在训练数据中产生一系列从y₀到y_*的更新

Δy_i＝R_i-1β_i-1+b_i-1

y_i＝y_i-1+Δy_i→y_*

4)在这里，y由3D标志的二维投影的位置和相应的视觉信息组成，

y＝[x₁；y₁；v₁；…；x_M；y_M；y_M]

其中，v_i∈[0，1]表明3D标志是否可见，可见(v_i＝1)，不可见(v_i＝0)。

6.基于权利要求书1所述的通过3D模型进行匹配(四)，其特征在于，主要步骤为：

1)迭代算法细化对应关系

之前的级联回归提供了3D标志的二维投影的位置，从二维形状重建三维形状，需要使重构误差最小化

$\underset{p,r,s}{\arg min}\underset{i=1}{\overset{M}{\Σ}}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

这里的P代表了矩阵在二维的投影，z是目标的二维形状，迭代方法在2D标志上注册3D模型，细化了3D形状和3D动作的结合，建立了刚性(p＝{s，α，β，γ，t})和非刚性(r和s)的转换

2)通过矩阵进行矫正

假定在2D和3D标志之间有语义对应，采用矩阵的形式来选择正确的3D对应2D的标志，这里的语义对应在建模阶段已经建立，3D标志的二维投影标志通过级联回归获得

3)约束可见标志

此通过约束可见标志的过程，级联回归评估了标志的清晰度

$\underset{p,r,s}{\arg min}\underset{i\∈\mathrm{\ξ}}{\Σ}\left|\right|{\mathrm{Px}}_i(p,r,s)-z_i|{|}_2^2$

ξ＝{j|v_j＝1}表明标志指标的子集是可见的

4)二维测量

进入时间同步的二维测量(z(1)，...，z(C))，所有的C测量代表相同的三维人脸，但是从不同的角度，通过对所有测量的重建的限制，将上式进行扩展：

$\underset{p^{\left(1\right)},\mathrm{...},p^{\left(C\right)},}{\arg min}{\Σ}_{k=1}^C{\Σ}_{i\∈{\mathrm{\ξ}}^{\left(k\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(k\right)},r,s)-{z_i}^{\left(k\right)}|{|}_2^2$

上标(k)代表k^th次测量，能见度设置为ξ(k)，因为我们观察的是相同的人脸但是是从不同角度，整体刚性(r)和部分非刚性(s)的测量方法都相同

5)确定刚性、非刚性参数

假定人脸的刚性结构变化很小(参数r)，只有表情会有变化(参数s)，为了解决这种情况，在时间域中进行解决，第一步，我们计算刚性变型参数：

$\arg \underset{r_T}{min}\underset{t\∈T}{\Σ}\underset{i\∈{\mathrm{\ξ}}^{\left(t\right)}}{\Σ}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_T,0)-{z_i}^{\left(t\right)}|{|}_2^2$

т＝{z^(t)|t＝1,…,T}代表时间测量的设置，rт代表从т计算出的刚性变型参数，这一步里的非刚性参数设置为0

第二步，在任意时间帧计算刚性变型参数t∈[1,…,T]，

$\underset{p^{\left(t\right)},s^{\left(t\right)}}{\arg min}{\mathrm{\Σ}}_{i\∈{\mathrm{\ξ}}^{\left(t\right)}}\left|\right|{\mathrm{Px}}_i(p^{\left(t\right)},r_T,S^{\left(t\right)})-{z_i}^{\left(t\right)}|{|}_2^2.$

7.基于权利要求书1所述的对人脸进行3D重建(五)，其特征在于，在一个参数向量中

q:p(q)∝N(q；0,∧)

参数的优先原则遵循一个平均值为0、方差为Λ的正态分布，使用主成份分析法确定3维基向量的d部分，则：

我们分别对刚性和非刚性这两部分进行建模，

$x_i=(p,r,s)=sR({\stackrel{\‾}{x}}_i+{\mathrm{\θ}}_{i}r+{\mathrm{\ψ}}_{i}s)+t(i=1,...,M)$

其中3维基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述刚性变形，3维基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R^3M×d)描述了非刚性变形

建立刚性部分，我们从每个视频中选择中间帧，应用主成份分析法确定基向量(θ)和平均值提供了一个整体的线性子空间，描述了人脸形状的变化

建立描述非刚性变形(ψ)的线性子空间目标是建立一个模型，由自主训练并共享软边界的PCA模型集合组成，建立基于部分的模型，使顶点高度相关，形成密集的区域，由于这些区域将更好通过PCA压缩，为了找到面部表情数据驱动分割，使用了数据集中选出的6000帧，数据集D∈R6000×3072由6000帧和1024三维顶点组成；把D分为三个子集Dx，Dy，Dz∈R6000×1024每个包含顶点对应的空间坐标，描述顶点之间的相关测量，通过Dx，Dy，Dz计算相关矩阵归一化，然后平均成一个相关矩阵C；相同区域的顶点也应该在人脸表面互相接近，因此，我们利用计算了模型顶点间距离形成距离矩阵G归一化到[0，1]范围，这两个矩阵整合成一个矩阵。

8.基于权利要求书4所述的图像训练，其特征在于，自动人脸定位需要大量的图像的训练实例，每个图片计算相应的旋转3D标志和2D投影标志，3D网格不含背景，在最后的2D图像中可以任意选择没有人脸的图像来提高多样性，这样产生被标注的图像用来训练密集级联回归，最后训练集中使用超过300000个网格。

9.基于权利要求书4所述的迭代算法和顶点数量，其特征在于，顶点数量的增加对重建错误率的降低效果微弱，而且顶点数量增加影响回归模型和匹配速度，顶点数量取较低值；迭代算法次数的增加对对重建错误率的降低效果显著，对模型尺寸的影响不大，所以迭代算法次数取较大值。

10.基于权利要求书6所述的2D到3D的对应关系，其特征在于，使用单目照相机图像时，对应公式有多个解，在这里同时使用多个图像帧。