CN111951383A - 一种人脸重建的方法 - Google Patents

Abstract

本申请公开了一种人脸重建的方法，属于计算机视觉技术领域，包括以下步骤：通过若干个公开的三维人脸数据集建立一个三维人脸模型；使用三维人脸模型拟合输入图像，得到粗糙的三维人脸模型；引入一组局部矫正变形场来增强粗糙的三维人脸模型，并估计光照和人脸反射率；根据输入图像的明暗变化，利用估计的光照和增强后的三维人脸模型，计算出目标人脸曲面的高度场，并得到最终的人脸形状。本发明提供的一种人脸重建的方法，得到的三维人脸模型使得光照和人脸反射率的估计更为可靠，该方法在重建精度和几何细节恢复方面优于基于人脸样本集和基于明暗模型重构的方法。

Description

一种人脸重建的方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种人脸重建的方法。

背景技术

从二维人脸图像中重建出三维人脸模型在计算机视觉和图形学中是一个基础性的问题，并且在人们的生活中有许多应用，比如人脸识别和人脸动画。

近些年，人们提出了一些根据单一图像重构出三维人脸的方法，但是都存在一些不足，例如以下几种：

(1)基于人脸样本集的方法，但该方法严重依赖于三维人脸数据集，当输入图像中的人脸形状与数据集中的人脸形状差异较大时，就会产生让人无法满意的结果。

(2)基于明暗模型重构的方法，该方法主要使用物体的光照和阴影的线索来进行三维重构，该方法通常需要知道特定场景中自然环境中复杂的光照情况和人脸的反射信息。当光照和人脸反射率未知或不容易估计时，重构精度不高。

由此可见，现有的三维人脸重建方法存在有对光照和人脸反射率要求苛刻、重建精度不高的问题。

发明内容

为解决现有技术中的不足，本发明提出一种人脸重建的方法，旨在解决现有的三维人脸重建方法存在有对光照和人脸反射率要求苛刻、重建精度不高的技术问题。

为实现上述目的，本发明采用的技术方案是：提供一种人脸重建的方法，包括以下步骤：

步骤1、通过若干个公开的三维人脸数据集建立一个三维人脸模型；

步骤2、使用三维人脸模型拟合输入图像，得到粗糙的三维人脸模型；

步骤3、引入一组局部矫正变形场来增强粗糙的三维人脸模型，并估计光照和人脸反射率；

步骤4、根据输入图像的明暗变化，利用估计的光照和增强后的三维人脸模型，计算出目标人脸曲面的高度场，并得到最终的人脸形状。

具体的是，所述步骤1包括：

步骤1.1、将若干个公开的三维人脸数据集进行合并，得到合并后的人脸数据集合，其中所述公开的三维人脸数据集包括：三维人脸图像、人脸的身份信息或/和表情信息；

步骤1.2、将合并后的人脸数据集合中所有的人脸面部网格的顶点坐标排列成一个三阶张量；

步骤1.3、沿着身份信息和表情信息对三阶张量作2-mode的奇异值分解，并推导出一个双线性人脸模型，所述双线性人脸模型的顶点坐标F公式为

其中，N_V是网格顶点的数量，C_r是由2-mode奇异值分解得到的张量核，ω_id∈R^G和ω_exp∈R^m分别是控制人脸的身份信息和表情信息的列向量。其中，G表示G个不同的身份，m表示m个表情。

具体的是，所述步骤2包括：

步骤2.1、在所述双线性人脸模型的三维网格上标记Q个关键点；

步骤2.2、在给定的待测人脸图像上检测Q个关键点；

步骤2.3、将三维关键点投影至一个拟合能量中，并将三维关键点在拟合能量中的投影与待测人脸图像上的二维关键点对齐，公式为

其中，Q表示上文选择的关键点的个数；G表示不同身份的个数；N表示不同表情数量；字母II表示相机的投影矩阵；F_νk∈R³和U_k∈R²分别是第k个三维关键点和对应的二维关健点；t∈R²是一个可以决定人脸位置的位移向量，R∈R³是一个可以决定人脸姿态的旋转矩阵，它们均为相机的外部参数；ω_id ⁽ⁱ⁾和ω_exp ^(j)分别是向量参数ω_id和ω_exp的分量；δ_id ⁽ⁱ⁾和δ_exp ⁽ⁱ⁾分别是在2-mode的奇异值分解过程中获取的不同信息对应的奇异值；γ₁和γ₁是大于零的权重参数。

具体的是，步骤2还包括：当人脸图像为非正脸图像时，根据相机参数推导出相机参数的旋转矩阵R，并利用旋转就很R更新三维人脸轮廓上的关键点。

具体的是，步骤3中的人脸反射率ri，j的计算公式为

其中，r是由{r_i，j}构成的向量，I_i，j表示的是输入图像在像素(i，j)处的灰度值，{δ_r ^(l)}是与人脸反射率的基函数相对应的标准方差，μ₁是一个由用户指定的大于零的参数。

具体的是，步骤3中还包括：

使用主成分分析法参数化人脸曲面的反射率；

将光滑的三维变形场应用于人脸面部网格的若干个顶点上，并最小化与顶点的位移D＝R^3xNυ相关的差异性度量

其中

是增强后的人脸面部网格的面法向。

具体的是，步骤4包括：

步骤4.1、根据步骤3得到的信息，在输入图像中的人脸区域计算一张可以捕获人脸细节特征的法向图；

步骤4.2、通过对法向场积分恢复一个高度场，得到最终的人脸形状，每个像素对应的面法向

为

其中p_i，j，q_i，j中间变量。

具体的是，在步骤4.1中包括根据法向图，得到渲染后的人脸图像，将法向图渲染成一张人脸图像时，采用最小化图像梯度之间的差异代替像素值之间的差异，这种差异性由公式

来度量

其中，{I_i，j}是输入图像的像素值，s′_i，j＝r_i，j·max(ξ^TH(n′_i，f)，0)是为面法向n′_i，j合成的像素值。

本申请所达到的有益效果：与现有技术相比，通过本发明一种人脸重建的方法、终端以及计算机存储介质得到的三维人脸模型使得光照和人脸反射率的估计更为可靠，该方法在重建精度和几何细节恢复方面优于基于人脸样本集和基于明暗模型重构的方法。该方法可以从具有不同姿态和表情的人脸图像中准确的重建出三维人脸模型，并能够恢复皱纹、牙齿等微细尺度的几何特征。

附图说明

图1为本发明实施例提供的一种人脸重建的方法的总体框架图；

图2为本发明实施例提供的一种人脸重建的方法中三维关键点在平面上的投影与二维关键点对齐时的结构示意图；

图3为本发明实施例提供的一种人脸重建的方法中人脸轮廓上的二维关键点可能与三维关键点对应关系的状态图；

图4为本发明实施例提供的一种人脸重建的方法中引入光滑变形场前后的一些量化结果；

图5为本发明实施例提供的一种人脸重建的方法中在人脸网格局部区域上的一些拉普拉斯特征函数；

图6本发明实施例提供的一种人脸重建的方法的流程示意图一；

图7本发明实施例提供的一种人脸重建的方法的流程示意图二；

图8本发明实施例提供的一种人脸重建的方法的流程示意图三；

图9本发明实施例提供的一种人脸重建的方法的流程示意图四。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请一并参阅图1至图9，现对本发明提供的一种人脸重建的方法进行说明。所述一种人脸重建的方法，包括以下步骤：

S1、通过若干个公开的三维人脸数据集建立一个三维人脸模型；

具体的是，步骤S1包括：

S1.1、将若干个公开的三维人脸数据集进行合并；

需要说明的是，公开的三维人脸数据集包括：三维人脸图像、人脸的身份信息或/和表情信息。

具体的是，步骤S1.1包括：

S1.1.1：在某一个公开的数据集的头部网格上手动标记出人脸面部区域，提取出一个人脸面部网格，并填充人脸面部中的空洞，比如眼睛和嘴巴区域，最终获得一个包含Y个顶点的单连通的人脸面部网格。

需要说明的是，本发明通过基于信息论的特征提取方法提取人脸面部网格；并采用基于人脸局部器官纹理映射的方法对人脸面部的空洞进行填充。

S1.1.2：从另一个公开的数据集中随机采样Y个中性无表情的人脸模型，然后通过非刚性注册的方法，将上一个公开的数据集的平均人脸模型注册到该Y个中型无表情的人脸模型，并且还将上一个公开的数据集的中的N中表情逐一迁移到这Y个新构造出来的中性人脸模型上。此时的数据集包含2Y个人的人脸面部数据，且每个人脸面部数据都有N种表情。

S1.1.3：在构造的人脸数据集中对所有的人脸网格执行Procrustes(普氏)对齐。

需要说明的是，新构造的人脸数据集就是：普氏对齐后的，数据集包含2Y个人的人脸面部数据，且每个人脸面部数据都有N种表情的数据集。

需要说明的是，当其中某一个公开的数据集中还提供Z个可以用来张成人脸反射率的空间的向量时，需利用非刚性注册中得到的对应关系将这些向量迁移到新构造的人脸数据集中，重新构造在可以用在2Y个人脸上的Z个正交化向量。

S1.2、将合并后的数据集合中所有的人脸面部网格的顶点坐标排列成一个三阶张量；具体获取的方法可参阅论文Face Transfer with Multilinear Models。

S1.3、沿着身份信息和表情信息对三阶张量作2-mode的奇异值分解，并推导出一个双线性人脸模型。

具体的是，双线性人脸模型可以表示成一个与新构造的数据集中的人脸具有相同拓扑结构的网格，并且它的顶点坐标F∈R^3×NV可以计算成：

其中，N_V是网格顶点的数量，C_r是由2-mode奇异值分解得到的张量核，ω_id∈R^G和ω_exp∈R^m分别是控制人脸的身份信息和表情信息的列向量。其中，G表示G个不同的身份，m表示m个表情。

需要说明的是，在本实施例中，按照主成分分析的原则，减少沿着身份信息的维度，以便于在双线性人脸模型中保持人脸面部表情的多样性。

S2、使用三维人脸模型拟合输入图像，得到粗糙的三维人脸模型；即为了生成一个粗糙的人脸面部模型，我们把双线性人脸模型上的三维关键点与输入图像上检测到的二维人脸关键点做对齐。

具体的是，步骤S2包括：

S2.1、手动地在双线性人脸模型的三维网格上标记Q个关键点；

需要说明的是，初始的关键点由人为规定，初始关键的所在的位置，不影响最后创建人脸的结果，如图2所示。

S2.2、在给定的待测人脸图像上检测Q个关键点；

具体的是，给定一张待测人脸图像，为该图像自动地检测Q个关键点，三维的关键点与二维的关键点一一对应。

在本实施例中，相机模型是弱透视投影的，并且沿着z轴方向，则相机的投影矩阵可表示为：

α在公式中为权值。

S2.3、通过一个拟合能量，把三维的关键点的投影与检测到的二维关键点对齐。即将三维关键点投影至一个拟合能量中，并将三维关键点在拟合能量中的投影与待测人脸图像上的二维关键点对齐。

其中，Q表示上文选择的关键点的个数；G表示不同身份的个数；N表示不同表情数量；字母II表示相机的投影矩阵；F_νk∈R³和U_k∈R²分别是第k个三维关键点和对应的二维关健点；t∈R²是一个可以决定人脸位置的位移向量，R∈R³是一个可以决定人脸姿态的旋转矩阵，它们均为相机的外部参数；ω_id ⁽ⁱ⁾和ω_exp ^(j)分别是向量参数ω_id和ω_exp的分量；δ_id ⁽ⁱ⁾和δ_exp ⁽ⁱ⁾分别是在2-mode的奇异值分解过程中获取的不同信息对应的奇异值；γ₁和γ₁是大于零的权重参数。需要说明的是，等式(3.2)中的最后两项确保参数ω_id ⁽ⁱ⁾和ω_exp ^(j)拥有一个合理的变化范围。这项拟合能量通过坐标轴下降法优化形状参数ω_id和ω_exp和相机参数矩阵投影，R，t使其达到最小值。

首先我们固定形状参数，上述优化问题可以简化为：

需要说明的是，本公式中的68代表Q，Q表示上文选择的关键点的个数，在本公式中Q的取值为68。

然后，固定住相机参数和表情参数，上述优化问题又可以简化为:

其中，100表示G，G表示不同身份的个数，在本公式中G的取值为100，字母是大于零的权重参数。在本实施例中，我们固定相机参数和身份参数，通过等式(3.4)的方式优化表情参数。

需要说明的是，决定所述拟合能量数值大小的因素包括：身份系数、表情系数、相机的外部参数、权重参数中的一种或多种。

步骤2还包括：人脸轮廓上的二维关键点与三维关键点对应关系达不到预定要求时，根据旋转矩阵更新三维人脸轮廓上的关键点，并对人脸内部区域的关键点进行固定。

需要说明的是，双线性人脸模型即为说明书中所述的三维人脸模型中的一种。在说明书附图中8的N等同于说明书中的Q，仅表示一定数量的关键点。表情属性、身份属性可等同于表情信息、身份信息。

请参阅图3，如果输入图像中的人脸是侧对着相机，那么用算法自动检测出来的人脸轮廓上的二维关键点可能与三维关键点不会有很好的对应关系，请参阅图3。因此，需要更新相机参数，直至人脸轮廓上的二维关键点与三维关键点重新形成有很好的对应关系，更新完相机参数后，根据相机参数推导出相机参数的旋转矩阵R，更新三维人脸轮廓上的关键点，同时固定住人脸内部区域的关键点，比如在眼睛、鼻子和嘴巴附近的关键点。对原始的人脸格进行预处理，获得一组密集的水平线，这些水平线连接网格的顶点，并从旋转视图中可以覆盖潜在的人脸轮廓区城。给定当前的旋转矩阵R，从每条水平线中选出一个恰好位于人脸轮廓线上的顶点、并根据当前的相机参数中的矩阵投影，旋转矩阵R，t把它投影到像平面上。这些被投影的顶点为三维人脸网格的投影估计一条轮廓线。

然后对每一个位于二维人脸轮廓线上的关键点，寻找距离与关键点最近的一个投影点，并把这个投影点对应的三维顶点作为此二维关键点的新对应点。然后，把旋转网格上顶点的单位法向近似为

其中υ是原始网格上的顶点坐标。然后我们从水平线中挑选一个顶点，它对应的

值是最小的，其中z＝[0，0，1]^T是视角方向。对于非正面的人脸图像，轮廓上的关键点跟新后可以提高人脸模型的重建精度。

S3、引入一组局部矫正变形场来增强粗糙的三维人脸模型，并估计光照和人脸反射率；

需要说明的是，粗糙的人脸模型无法表达某些特定于人的几何细节，请参阅图4。引入能够描述较为精细的几何特征的光滑变形场来改善粗糙的人脸模型，使得增强后的模型所渲染的人脸图片更加接近原始的输入图片。具体的是，在上述处理过程中，同时估计光照和人脸反射率。

在本实施例中，假设人脸曲面反射是Lambertian I反射，我们可以使用二阶球面调和函数逼近位于(i，j)像素的灰度值s_i，j：

s_i，j＝r_i，j·max(ξ^TH(n_i，j)，0)， (3.5)

其中，r_i，j是位于(i，j)像素的人脸反射率；Η_i，j是位于(i，j)像素对应网格上的三角面片的法向，计算如下

其中，ν₁ ^i，j，ν₂ ^i，j，ν₃ ^i，j是位于(i，j)像素对应网格上的三角面片的三个顶点；H是一列二阶球面调和基向量：

其中，n_x，x_y，n_z，i为公式中会用到的权值，并且ξ是一列关于二阶球面调和基向量的系数向量。为了获得更可靠的估计，我们使用主成分分析方法参数化人脸曲面的反射率:

其中c_i，_j＝[c_i，j ¹，c_i，j ²，c_i，j ³]∈R³是r_i，j对应网格上三角面片的重心坐标，

是一组关于网格顶点反射率的基函数；N_r是人脸网格的顶点总数，

是关于人脸反射率的系数向量。在本实施例中，N_r设置成100。然后通过求解一个优化问题来估计人脸反射率:

其中r是由{r_i，j}构成的向量，I_i，j表示的是输入图像在像素(i，j)处的灰度值，{δ_r ^(l)}是与人脸反射率的基函数相对应的标准方差，μ₁是一个由用户指定的大于零的参数。首先把ω_r设置成零并优化球面调和系数ξ。然后固定球面调和系数ξ并优化人脸反射率的系数ω_r。

步骤3中还包括：将一个光滑的三维变形场应用于人脸面部网格的若干个顶点上，并最小化与顶点之间的位移。

具体的是，将一个光滑的三维变形场应用于人脸面部网格的N_υ个顶点上，并最小化与顶点位移D＝R^3xNυ相关的差异性度量:

这里的

是增强后的人脸面部网格的面法向。具体来说，由于我们的最终目标是恢复给定图像中定义在人脸区域像素上的高度场，因此我们在等式(3.10)中按照像素(i，j)位置求和。像素和三角面片的对应关系可以通过Z-buffer算法获取。

然而，由于输入图像一般分辨率较高，上述非线性最小二乘优化问题求解起来会非常耗时。因此，我们从光滑的网格变形空间中选择了一个低维子空间，并在该子空间中求解上述优化问题这大大减少了参数的数量。

具体的是，通过用网格的拉普拉斯矩阵的范数来度量变形场的光滑性，那么那些小的特征值对应的特征向量可以张成光滑的网格变形空间的一个低维子空间。在三维几何处理中，网格的拉普拉斯矩阵的特征值可以看作特征函数的频率这可以表明每个特征函数在网格曲面上振荡的速度有多快，因此，通过把网格可发生的形变限制到具有小特征值的特征向量构成的子空间内，我们抑制住更加精细的几何特征的增强。

大多数的人脸曲面变化是局部性的变化，我们在网格上挑选了一些局部的区域，并分别在每个区城上执行拉普拉斯特征分析，请参阅图5。被挑选出来的特征函数线性组合在一起共同张成人脸的变形空间。更加具体地是，对于第i个被挑选出来的局部区城，基于网格的连通性构造它的拉普拉斯矩阵

然后我们对Kⁱ作特征值分解，并得到k+1个特征向量e_o ⁱ，e_j ⁱ，…，e_k ⁱ，它们分别对应前k+1个最小的特征值λ_o ⁱ≤λe_j ⁱ≤，…，≤λ_k ⁱ。在这些特征向量之中，e_o ⁱ在所选择的局部区域内是一个常值向量，表示整个区域的位移。舍弃e_o ⁱ得到k个特征向量

整合所有局部区域对应的特征向量以张成网格顶点的位移空间，将变形场表示为：

D＝(E_η)^T, (3.11)

这里

合并了所选的特征向量，

是特征向量线性组合后的系数，N_e是挑选出来的局部区域的个数。然后通过求解关于η的优化问题来确定变形场：

这里的第二项防止夸大的变形，并且对低频的向量有着更大的惩罚；μ₂是一个用户指定的非负参数。该目标能量旨在为更精细的几何特征提供更丰富的形状变形。N_e表示局部区域个数；k表示每个局部区域对应的拉普拉斯矩阵的前k个特征向量。局部区域通过手动选择。

粗糙的人脸模型已经为整体形状提供了良好的估计，较为精细的人脸建模可以改善较为明显的人脸特征的准确性，比如脸颊附近的笑纹。在本实施例中，我们通过使用低频的傅里叶分量来逼近从粗糙的人脸局部形状到目标人脸局部形状的位移的方法。

S4、根据输入图像的明暗变化，利用估计的光照和增强后的三维人脸模型，计算出目标人脸曲面的高度场，并得到最终的人脸形状具体的是，

S4.1、根据上一步骤得到的信息，在输入图像中的人脸区域计算一张可以捕获人脸细节特征的法向图；

需要说明的是，在S4.1中：根据法向图，得到渲染后的人脸图像，将法向图渲染成一张人脸图像时，采用最小化图像梯度之间的差异代替像素值之间的差异。所述的上一步得到的信息包括：利用在上文中估计出来的光照，人脸反射率和较为精细的人脸模型。

S4.2、通过对法向场积分恢复一个高度场，得到最终的人脸形状。

具体的是，法向图为每个像素(i，j)∈人脸区域，提供了一个単位长度的法向

值得注意的是每个像素对应的面法向n′_i，j是朝着相机的，我们用两个变量p_i，j，q_i，j来表示n′_i，j，即：

其中，p_i，j，q_i，j的值为中间值。最终人脸形状表示成一个高度场，每个像素对应一个深度值。这个高度场可以通过优化自身的法向场使其尽可能地接近于上述所提取的法向场。

需要说明的是，(i，j)的像素对应在高度场中的法向

通过高度场曲面上的三个点h_i，j＝(i，j，z_i，j)，h_i，j+1＝(i，j+1，z_i，j+1)，h_i+1，j＝(i+1，j，z_i+1，j)计算得到：

其中，高度场的法向应当与所提取的法向保持一致，所以：

z_i+1，j-z_i，j＝p_i，j，z_i，j+1-z_i，j＝q_i，j (3.15)

对每一个像素都成立，可得的最小范数解：

在本实施例中，为了提高重建结果的精度，我们通过最小化一个能量函数使得提取的法向图{n′_i，j}满足某些特定的性质。

首先，法向图可以捕捉到输入图像中的人脸精细的特征。利用在较为精细的人脸建模过程中得到的光照和人脸反射率，我们可以根据等式(3.5)把法向图渲染成一张人脸图像，并使得该图像尽可能地接近原始图像。然而，当输入图像有着复杂的光照条件时，比如存在一些阴影时，我们通过最小化图像梯度之间的差异来代替像素值之间的差异，这种差异性可以用下面的能量来度量：

其中，{I_i，j}是输入图像的像素值，

s′_i，j＝r_i，j·max(ξ^TH(n′_i，j)，0) (3.18)

是利用等式(3.5)为n′_i，j合成的像素值。

最小化图像梯度差有助于减少来自光照噪声(投射阴影)的影响，同时保留住来自输入图像的特征，同时可以产生更平滑的解决方案，并减少非自然的尖锐特征。

在本实施例中，单独优化E_grd不足以获得好的重建结果时，可以通过引入几个正则项。

惩罚法向图与较为精细的人脸模型的法向之间的变化：

这里的n_i，j是根据等式(3.6)为较为精细的人险模型计算得到的法向。

在本实施例中，我们还提出一种优化法向梯度的能量来保证法向图的光滑性：

给定一张法向图，存在一个高度场满足条件(3.15)，此时p_i，j和q_i，j是高度函数z沿着网格方向的增量。而且，高度函数z沿着像素(i，j)，(i+1，j)，(i+1，j+1)和(i，j+1)的闭合路径的总増量应为零，可以推导出：

p_i，j+q_i+1，j-p_i，j+1-q_i，j＝0. (3.21)。

然后，我们可以用一个能量来满足可积性条件：

通过结合上述所有的能量函数，我们提出了一个优化问题以提取一张满足特定性质的法向图：

其中，优化变量是p＝{p_i，j}，q＝{q_i，j}，ω₁，ω₂，ω₃都是用户指定的参数。这个问题可以用Levenberg-Marquardt算法求解。

本发明提供的一种人脸重建的方法，与现有技术相比，使用该方法得到的三维人脸模型使得光照和人脸反射率的估计更为可靠，该方法在重建精度和几何细节恢复方面优于基于人脸样本集和基于明暗模型重构的方法。该方法可以从具有不同姿态和表情的人脸图像中准确的重建出三维人脸模型，并能够恢复皱纹、牙齿等微细尺度的几何特征。使用该方法重建的精细的人脸面部模型，可以捕捉更多的几何细节并减少重建误差。

本发明还提供一种三维人脸重建终端，包括存储器、处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器执行计算机程序实现如上文所述任一项所述方法的步骤。

本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时实现如上文所述任一项所述方法的步骤。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (7)

1.一种人脸重建的方法，其特征在于，包括以下步骤：

步骤1、通过若干个公开的三维人脸数据集建立一个三维人脸模型；

步骤2、使用三维人脸模型拟合输入图像，得到粗糙的三维人脸模型；

步骤3、引入一组局部矫正变形场来增强粗糙的三维人脸模型，并估计光照和人脸反射率；

步骤4、根据输入图像的明暗变化，利用估计的光照和增强后的三维人脸模型，计算出目标人脸曲面的高度场，并得到最终的人脸形状。

2.如权利要求1所述的一种人脸重建的方法，其特征在于，所述步骤1包括：

步骤1.1、将若干个公开的三维人脸数据集进行合并，得到合并后的人脸数据集合，其中所述公开的三维人脸数据集包括：三维人脸图像、人脸的身份信息或/和表情信息；

步骤1.2、将合并后的人脸数据集合中所有的人脸面部网格的顶点坐标排列成一个三阶张量；

步骤1.3、沿着身份信息和表情信息对三阶张量作2-mode的奇异值分解，并推导出一个双线性人脸模型，所述双线性人脸模型的顶点坐标F公式为

其中，N_V是网格顶点的数量，C_r是由2-mode奇异值分解得到的张量核，ω_id∈R^G和ω_exp∈R^m分别是控制人脸的身份信息和表情信息的列向量。其中，G表示G个不同的身份，m表示m个表情。

3.如权利要求1所述的一种人脸重建的方法，其特征在于，所述步骤2包括：

步骤2.1、在所述双线性人脸模型的三维网格上标记Q个关键点；

步骤2.2、在给定的待测人脸图像上检测Q个关键点；

步骤2.3、将三维关键点投影至一个拟合能量中，并将三维关键点在拟合能量中的投影与待测人脸图像上的二维关键点对齐，公式为

其中，Q表示上文选择的关键点的个数；G表示不同身份的个数；N表示不同表情数量；字母II表示相机的投影矩阵；F_νk∈R³和U_k∈R²分别是第k个三维关键点和对应的二维关健点；t∈R²是一个可以决定人脸位置的位移向量，R∈R³是一个可以决定人脸姿态的旋转矩阵，它们均为相机的外部参数；ω_id ⁽ⁱ⁾和ω_exp ^(j)分别是向量参数ω_id和ω_exp的分量；δ_id ⁽ⁱ⁾和δ_exp ⁽ⁱ⁾分别是在2-mode的奇异值分解过程中获取的不同信息对应的奇异值；γ₁和γ₁是大于零的权重参数。

4.如权利要求3所述的一种人脸重建的方法，其特征在于，所述步骤2还包括：当人脸图像为非正脸图像时，根据相机参数推导出相机参数的旋转矩阵R，并利用旋转就很R更新三维人脸轮廓上的关键点。

5.如权利要求1所述的一种人脸重建的方法，其特征在于，所述步骤3中的人脸反射率ri，j的计算公式为

其中，r是由{r_i，j}构成的向量，I_i，j表示的是输入图像在像素(i，j)处的灰度值，{δ_r ^(l)}是与人脸反射率的基函数相对应的标准方差，μ₁是一个由用户指定的大于零的参数。

6.如权利要求1所述的一种人脸重建的方法，其特征在于，所述步骤4包括：

步骤4.1、根据步骤3得到的信息，在输入图像中的人脸区域计算一张可以捕获人脸细节特征的法向图；

步骤4.2、通过对法向场积分恢复一个高度场，得到最终的人脸形状，每个像素对应的面法向

为

其中p_i，j，q_i，j中间变量。

7.如权利要求6所述的一种人脸重建的方法，其特征在于，所述步骤4.1包括：根据法向图，得到渲染后的人脸图像，将法向图渲染成一张人脸图像时，采用最小化图像梯度之间的差异代替像素值之间的差异，这种差异性由公式

来度量

其中，{I_i，j}是输入图像的像素值，s′_i，j＝r_i，j·max(ξ^TH(n′_i，j)，0)是为面法向n′_i，j合成的像素值。

Images