CN108765550B - 一种基于单张图片的三维人脸重建方法 - Google Patents

Abstract

本发明公开了一种基于单张图片的三维人脸重建方法，包括步骤：1)基于FLAME模型的脸部重建(脸部重建)；2)FLAME网格脸部细节增强(细节增强)；3)FLAME网格贴图补全(贴图补全)。主要流程：给定输入人脸图像，该算法首先使用从图像提取的人脸特征点并结合FLAME网格的三维特征点，建立特征点匹配能量，求解出人脸形状，接着借助图像中人脸区域的高频信息，引导人脸高度场的网格顶点移动，重建精细脸部细节，最后通过构造的FLAME反照率率参数化模型对人脸贴图进行补全，并去除光照信息。本发明解决的是针对单张图片的三维人脸重建问题，可以应用于人脸重建、人脸动画制作。

Description

一种基于单张图片的三维人脸重建方法

技术领域

本发明涉及计算机图形学和三维动画制作的技术领域，尤其是指一种基于单张图片的三维人脸重建方法。

背景技术

人类既是各种活动的主体，又是很多应用的对象，因而虚拟现实应用大都不可避免以人为中心。人体表面形状及其运动的重建在这类应用中起到关键作用，从日常生活、游戏动画、教育培训到工业设计，构建高度真实的个性化虚拟人体静态模型和动态几何都日渐显示出其重要性。例如，在虚拟试衣中，除了身体形状和运动信息，试衣人的脸部表情、头发飘舞等，都会对体验效果产生影响。而在很多虚拟现实应用中，场景中的人物外观的逼真程度是衡量沉浸感强弱的一个重要指标。

好在对某类物体进行三维建模时，有很多先验知识可以利用。比如人体一般都有相同的拓扑，人体形状都是在一个标准形状的基础上作一定范围变化等。这使得基于数据驱动的方法成为可能。另一方面，由于智能手机的日益普及，我们可以轻而易举地获取个人的自拍照片。此外，通过各大图像搜索引擎，我们能轻易获得大量明星、名人和普通百姓的照片。因此，通过图像的方式来构建个性化人物头部模型是一个经济实惠、方便快捷且极具吸引力的一种方式。

人脸重建技术已经被研究超过了20年，研究人员从各个研究角度提出了许多优秀的三维参数化模型以及相关模型的重建算法。在数字几何处理中，一般用网格M＝(V,E,F)来表示几何形状，其中V，E，F分别为顶点坐标、边和面的集合。记V＝{v_i,i＝1,...,n_V}，n_V是顶点数，v_i是顶点坐标。则

构成3n_V维空间中的点，如果所有人脸形状及姿态都用相同拓扑的网格来表示，则构成一个形状空间。形状空间只是

的子空间。因此，可用个数远小于3n_V的参数来描述人脸的形状及姿态，这就是所谓的参数化表示。

FLAME是一种人脸表情参数化表示模型，其用CAESAR数据库的头部数据学习形状参数模型，用D3DFACS数据库中的三维模型序列学习表情模型参数。FLAME模型对于形状和表情的表达能力比3DMM，双线性参数化模型更强，可得到更准确的重建结果。FLAME模型相比上述模型，除了能对脸部建模外，其还包含了完整的人眼，颈部部分，可以构建一个更完整头部模型。本发明基于FLAME这个参数化模型来进行人脸重建。

发明内容

本发明针对目前人脸重建工作完整度不足的问题，提出了一种基于单张图片的三维人脸重建方法，可以根据人脸图像重建一个比较良好的人脸模型，具有较好的人脸细节，同时网格点数较少，有利于实时环境中的应用。

为实现上述目的，本发明所提供的技术方案为：一种基于单张图片的三维人脸重建方法，包括以下步骤：

1)脸部重建

使用单张图片来重建人脸，其核心是求解参数化模型FLAME模型参数，让该参数下FLAME模型对应的网格的三维特征点与人脸图像中检测的二维特征点对齐；

2)细节增强

对步骤1)得到的人脸网格形状进行细节增强，其核心是使用图像中的高频信息引导网格顶点移动，目的是使人脸网格形状具有更丰富的细节，如皱纹，疙瘩等，并且这些细节符合输入的人脸图像；

3)贴图补全

对中生成的人脸贴图进行补全，其核心是使用反照率参数化模型来拟合人脸贴图，并根据光照方程去除光照信息，目的是获得更加完整的人脸反射率贴图，包含头部，颈部部分；

在步骤1)中，所述的脸部重建，其过程为：

在FLAME模型网格上设定68个特征点；由于FLAME模型网格点数不多，因此统一使用重心坐标来表示FLAME上的三维特征点；假设相机模型是一个沿z轴方向的投影，同时认为相机投影是弱透视投影，其投影矩阵写为

然后使用匹配能量E_lank将FLAME网格三维标记顶点与图像上检测到的二维标记点进行对齐：

其中

和

分别是FLAME网格上第k个三维标记顶点的坐标和相应的第k个图像二维标记点的坐标，平移向量

和旋转矩阵

确定FLAME网格相对于相机的位置和姿态；β⁽ⁱ⁾，θ⁽ⁱ⁾，ψ⁽ⁱ⁾来自于FLAME模型的系数向量

为形状向量，共300维；

为姿态向量，共6维；

为表情向量，共100维；

来自于标准差向量σ_β，σ_θ，σ_ψ，这些标准差向量的维度分别与

对应；γ₁，γ₂，γ₃为正的权重系数；公式(1)最后三项确保参数β⁽ⁱ⁾，θ⁽ⁱ⁾，ψ⁽ⁱ⁾有一个合理的变化范围；匹配能量E_lank最小化是通过坐标下降的方式对形状参数

和摄像机参数Π，R，t进行优化；首先固定形状参数，把优化问题减少为：

接下来固定相机和姿态，表情参数，求解形状参数，其中将优化转化为：

这是一个非线性最小二乘问题，使用DOGLEG算法求解；接着固定相机参数和形状参数，表情参数，并使用与公式(3)中相同原理的方式来优化姿态参数，同理优化表情参数，迭代运行直到算法收敛。

在步骤2)中，所述的细节增强，其过程为：

对FLAME网格使用Loop细分进行处理，使其网格的点数达到70000个；根据人脸的特征点选择一个正方形包围盒，使得这个包围盒能包住人脸，同时利用这个包围盒对原图片裁剪，把模型顶点和图片都放缩到统一的512×512的尺寸，这样能够减少图片中细节的丢失，同时也避免处理的数据过大；按照放缩后的图的分辨率，使用z-buffer光栅化算法把该网格渲染成一个高度场表面H，利用图片的连接关系将该高度场网格化；利用脸部分割图，提取出脸部区域对应的高度场网格M_f以及相应的脸部边界区域M_b，网格顶点记为v；为了减少FLAME网格局部几何对脸部细节优化的影响，使用拉普拉斯平滑对M_f进行两次平滑操作；

脸部的细节看作是图片中脸部区域的颜色的局部变化，因此把脸部的细节看作是图片的高频分量，根据这个高频分量来引导模型的顶点进行移动，从而得到脸部模型的细节；对于高度场网格M_f，其每个网格顶点v_i都能够对应到图片区域，从而得到该顶点的颜色值c(v_i)＝(r(v_i),g(v_i),b(v_i))，这是一个三维的分量，根据常用的RGB转灰度图经验公式，能够只计算它的强度值f_I(v_i)＝0.299*r(v_i)-0.587*g(v_i)+0.114*b(v_i)；接着使用拉普拉斯平滑，它能够看作是一种低通滤波器，用于去掉高频分量；拉普拉斯平滑能够看作扩散流沿时间的积分，因此顶点强度值的低频信号能够看作是顶点强度值在初始时间t滑动时间h后的结果，故网格在顶点v_i的强度采样值的低频信号为公式(4)：

其中μ为放缩因子；f_I(v_i,t)为时间t时的顶点颜色强度值；

为时间t的偏导值；

所有采样点构成低频向量f_l(t+h)＝(f_l(v₀,t+h),...,f_l(v_n,t+h))^T，同理构成强度值向量f_I(t)，得到公式(5)：

其中L为余切拉普拉斯矩阵；由于使用显式积分的方式求解步长不易选择，因此使用隐式积分的方式：

(I-hμL)f_l(t+h)＝f_I(t) (6)

故计算低频向量f_l(t+h)如下：

f_l(t+h)＝(I-hμL)^-1f_I(t) (7)

hμ合并为一个，记为h_μ，并设为2000；

故高频向量f_h(t)通过去掉低频向量获得：

f_h(t)＝f_I(t)-f_l(t+h) (8)

接下来，利用高频向量来引导每个顶点v沿法向

进行移动，移动的值为d(v)；

其中<,>为点积操作；顶点的移动量与高频信号的变化应一致，故对顶点v的一邻域顶点v_i的移动值求平均，推导出最终每个顶点的移动距离：

其中w(v,v_i)＝exp(-||v-v_i||)，代表距离越近的顶点的权重越大；N(v)表示顶点v的相邻顶点；f_h(v)表示顶点v在高频向量f_h(t)中对应位置的值；于是得到新的顶点值如下：

每个顶点，都计算出它们的移动距离d(v)，然后按照公式(11)沿法向进行移动；对于移动后的结果，使用拉普拉斯平滑对结果进行后处理，最终得到一个具有几何细节的网格，其几何细节符合输入的图片；根据这个细节网格，为原FLAME网格计算法线贴图，计算后对边缘进行高斯平滑；使用这个法线贴图，就能够使用FLAME网格实时渲染出包含细节的效果。

在步骤3)中，所述的贴图补全，其过程为：

a)构建FLAME网格的反照率参数化表示

需借助BFM反照率参数化模型，其共包含199个PCA基，每个基m_BFM×3维m_BFM为BFM网格的顶点数，储存的是每个顶点的RGB值，值在0-1之间；m_BFM为53490，因而把颜色值存储在顶点上不会导致顶点颜色信息的丢失；但由于FLAME网格顶点数小，只有5023，把纹理值存储在顶点上会导致颜色信息丢失，从而降低后面构建的反照率模型的精度；为此，将BFM模型顶点颜色存储到纹理图片上，实现与顶点数量无关的参数化纹理模型构建；要实现这个目标，需要使得FLAME网格和BFM网格具有对齐的纹理坐标；先为FLAME网格手工设定一个纹理的坐标，然后把FLAME网格的纹理坐标通过顶点间位置的关系传递给BFM网格；具体地，首先需要对齐FLAME所用的网格顶点与BFM所用的网格顶点；因为BFM网格是自然表情网格，因此，只需优化FLAME模型中的形状参数

即可；在BFM网格上也标注了68个与FLAME网格对应的关键点并求解能量公式(14)：

公式(12)中E_l代表特征点匹配能量，其中s_l为放缩系数，是一个标量，R为旋转量，t_l是三维的平移量，

和

分别是FLAME网格上第k个三维标记顶点的坐标和BFM网格上第k个三维标记顶点的坐标；公式(13)中第一项代表配对的FLAME网格顶点到BFM网格顶点的距离，第二项代表配对的FLAME网格顶点到BFM网格顶点所在平面的距离；

代表BFM网格顶点c_i的法向；α_p1，α_p2分别为第一项和第二项的权重系数；Υ代表FLAME网格和BFM网格间配对的顶点对(v_i,c_i)；具体地，先使用KDTREE最近邻搜索建立FLAME模型和BFM模型中的最近顶点对，接着把顶点对中距离小于阈值d_thres和顶点法向点积的大于阈值Angle_thres的顶点对提取出来构成Υ，其中d_thres设为模型包围盒大小的1/50，Angle_thres设为0.6；公式(14)把公式(12)和(13)组合起来，w_l,w_β分别为公式(14)的第一项和第三项的系数；

为FLAME模型中的形状参数向量，σ_β为相应的标准差；

在网格顶点对齐后，把FLAME的纹理坐标传递给BFM模型；首先使用KDTREE最近邻的方式为BFM模型的每个顶点寻找一个离FLAME最近的面，使用重心坐标的方式为BFM找到一个最近的面点；面点的纹理坐标即可通过面上三个顶点的纹理坐标值根据重心坐标插值得到；在得到BFM的各顶点的纹理坐标值后，使用拉普拉斯平滑来优化纹理坐标；

BFM网格每个顶点都具有一个纹理坐标值和颜色值，因此采用光栅化算法将顶点颜色值渲染成图片，尺寸为512×512；但注意到，BFM网格顶点颜色渲染的结果不包含脖子区域，如果FLAME网格使用这个渲染结果来贴图，会造成脖子处颜色的空缺；因此使用PULL-FILL方式为生成的颜色图的空缺部分补上颜色FLAME网格使用这个补全的反照率贴图来进行渲染，能够在视觉上得到更好的渲染效果；

按照上述的流程，将BFM反照率的平均反照率和199个基都以贴图的方式生成出来；将平均反照率贴图颜色值记为I^a，其它第i个反照率贴图对应的基记为

则获得公式(15)：

其中β_ρ为基的混合系数，每个基

对应的方差为

I^a和

均为512×512维度；公式(15)即为FLAME反照率参数化模型的表示；

b)使用FLAME反照率参数化模型补全贴图

首先对FLAME网格使用Loop细分进行处理，使得网格的点数达到70000个，同时细分的过程也要注意纹理坐标也要相应地变化；然后根据脸部的分割图，给人脸区域的顶点附上对应的图片颜色值；接下来使用光栅化算法，根据纹理值将顶点颜色值渲染成图片；但这个贴图不宜直接用于模型渲染中，需要进行补全以及去除光照这两个操作；考虑到人脸照片存在高光，先将RGB颜色转换到SUV空间，然后过滤掉S空间中的高光部分；考虑到人脸的对称性，因此也认为人脸的贴图具有对称性，因此对初始贴图进行水平翻转，留下非重合区域，同时对连接的边缘使用高斯模糊平滑；对于内部存在空洞的区域，使用PULL-FILL方法进行填补，由于这部分区域小，通常情况下填补效果好；下面需要补全贴图中的头部非脸部区域，使用步骤a)所述的反照率参数化模型来对头部非脸部区域进行补全，并借助这个参数化的反照率贴图来估计光照系数，通过去除贴图中的光照部分来获得完整人脸反照率贴图；

具体地，首先使用步骤a)所述FLAME反照率参数化模型来对未完整的人脸贴图估计反照率系数，计算方式如公式(16)所示：

其中I为输入的原图，I_i,j为原图的(i,j)区域的像素RGB值，A_v表示的是位于人脸贴图中未缺失部分的像素区域，

表示的是反照率模型(i,j)像素点处对应的反照率值；添加第二项作为正则项对反照率系数进行约束；w_r为第二项的系数；σ_pc为反照率混合系数向量

所对应的标准差向量；求解这个最小化问题可以求出反照率混合系数

根据这个混合系数得到对输入的缺失图像完整区域的反照率估计值

简记为

下面的优化问题计算将只考虑A_v区域的像素点；一般认为人脸皮肤的材质为朗伯材质，因此根据光照方程，去掉镜面反射项，得到漫反照率方程，并使用球谐函数展开；由于RGB颜色有三个通道，取R通道来讨论，其他两个通道的计算也是使用相同原理，如公式(17)所示：

其中r_i,j为方程(17)计算出的颜色值，是一个标量，

为材质表面的反照率的在(i,j)像素点处的R通道值，l_nm是球谐函数展开的系数，α_n是仅与法向n有关的常量因子，Y_nm(i,j)为(i,j)像素点所对应的球谐基函数；取前三阶球谐函数，于是将公式(17)简化为：

其中

n_i,j为像素(i,j)所对应的网格顶点的法向，n_x,n_y,n_z分别为该法向的三个分量；l＝[1,l_x,l_y,l_z,l_xy,l_xz,l_yz,l_xy2,l_z2]^T为光照系数，具有8个变量；

使用最小能量公式(19)求解光照系数和反照率：

对于求解这个方程，首先不考虑第二项，利用初始估计的反照率

作为初始值，求解光照系数，这是一个方程数量远大于未知量的优化问题，因此容易求解；然后固定光照系数，求解反照率

但因为这个是一个病态问题，需要考虑第二项作为正则项；迭代5次获得光照值和反照率值；使用这个最终求解的反照率值

作为最终补全的人脸贴图。

本发明与现有技术相比，具有如下优点与有益效果：

1、重建准确度更好，重建更完整

图8列出不同方法对男性人脸重建的效果比较图，可以看到本发明重建出完整的头部，包含眼睛，并且具有完整的贴图；图9列出不同方法对女性人脸重建效果的对比图；可以看出，本发明重建的效果更准确，完整度更高。

2、细节重建更快

本发明在细节重建的速度更快，是其它方法的数十倍；在图10中对分辨率400×500人脸图像进行细节增强，可以看到，本发明可以获得类似的细节效果，但本方法在细节增强部分的处理时间更短，如图11所示；本发明细节提取算法所耗时间与像素的数量是成线性关系的，如图12所示；如果图像分辨率较小(在500×500左右)，本发明的细节提取算法具有比较高的运算效率。

附图说明

图1为本发明的人脸重建算法流程图。

图2为本发明使用FLAME模型重建人脸的示意图。

图3为本发明对人脸网格细节增强的示意图。

图4为本发明FLAME网格与BFM网格对齐的示意图。

图5为本发明FLAME参数化贴图构造的示意图。

图6为本发明FLAME参数化贴图不同基的示意图。

图7为本发明FLAME贴图补全示意图。

图8为本重建算法对男性人脸重建的效果比较图。

图9为本重建算法对女性人脸重建的效果比较图。

图10为本重建算法对人脸细节重建的效果比较图。

图11为本重建算法与其他方法的重建时间对比图。

图12为本重建算法中细节提取时间与图像像素的关系图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的基于单张图片的三维人脸重建方法，其具体情况如下：对输入单张人脸图像，首先使用特征点求解FLAME参数，获得人脸形状，然后使用图像高频信息引导顶点移动，重建人脸细节，最后利用构造的反照率参数化模型对人脸贴图进行补全，并去除光照信息，获得完整的反照率贴图。以此为基础，本发明提出人脸重建框架，如图1所示。

本实施例所述的基于单张图片的三维人脸重建方法，算法流程如图1所示，包括以下步骤：

1)脸部重建

首先在FLAME模型网格上设定68个特征点；由于FLAME模型网格点数不多，因此统一使用重心坐标来表示FLAME上的三维特征点；假设相机模型是一个沿z轴方向的投影，同时认为相机投影是弱透视投影，其投影矩阵写为

然后使用匹配能量E_lank将FLAME网格三维标记顶点与图像上检测到的二维标记点进行对齐：

其中

和

分别是FLAME网格上第k个三维标记顶点的坐标和相应的第k个图像二维标记点的坐标，平移向量

和旋转矩阵

确定FLAME网格相对于相机的位置和姿态；β⁽ⁱ⁾，θ⁽ⁱ⁾，ψ⁽ⁱ⁾来自于FLAME模型的系数向量

为形状向量，共300维；

为姿态向量，共6维；

为表情向量，共100维；

来自于标准差向量σ_β，σ_θ，σ_ψ，这些标准差向量的维度分别与

对应；γ₁，γ₂，γ₃为正的权重系数；公式(1)最后三项确保参数β⁽ⁱ⁾，θ⁽ⁱ⁾，ψ⁽ⁱ⁾有一个合理的变化范围；匹配能量E_lank最小化是通过坐标下降的方式对形状参数

和摄像机参数Π，R，t进行优化；首先固定形状参数，把优化问题减少为：

接下来固定相机和姿态，表情参数，求解形状参数，其中将优化转化为：

这是一个非线性最小二乘问题，使用DOGLEG算法求解；接着固定相机参数和形状参数，表情参数，并使用与公式(3)中相同原理的方式来优化姿态参数，同理优化表情参数，迭代运行直到算法收敛；重建结果如图2所示。

2)细节增强

对FLAME网格使用Loop细分进行处理，使其网格的点数达到70000个；根据人脸的特征点选择一个正方形包围盒，使得这个包围盒能包住人脸，同时利用这个包围盒对原图片裁剪，把模型顶点和图片都放缩到统一的512×512的尺寸，这样能够减少图片中细节的丢失，同时也避免处理的数据过大；按照放缩后的图的分辨率，使用z-buffer光栅化算法把该网格渲染成一个高度场表面H，利用图片的连接关系将该高度场网格化；利用脸部分割图，提取出脸部区域对应的高度场网格M_f以及相应的脸部边界区域M_b，网格顶点记为v；为了减少FLAME网格局部几何对脸部细节优化的影响，使用拉普拉斯平滑对M_f进行两次平滑操作；

脸部的细节看作是图片中脸部区域的颜色的局部变化，因此把脸部的细节看作是图片的高频分量，根据这个高频分量来引导模型的顶点进行移动，从而得到脸部模型的细节；对于高度场网格M_f，其每个网格顶点v_i都能够对应到图片区域，从而得到该顶点的颜色值c(v_i)＝(r(v_i),g(v_i),b(v_i))，这是一个三维的分量，根据常用的RGB转灰度图经验公式，能够只计算它的强度值f_I(v_i)＝0.299*r(v_i)-0.587*g(v_i)+0.114*b(v_i)；接着使用拉普拉斯平滑，它能够看作是一种低通滤波器，用于去掉高频分量；拉普拉斯平滑能够看作扩散流沿时间的积分，因此顶点强度值的低频信号能够看作是顶点强度值在初始时间t滑动时间h后的结果，故网格在顶点v_i的强度采样值的低频信号为公式(4)：

其中μ为放缩因子；f_I(v_i,t)为时间t时的顶点颜色强度值；

为时间t的偏导值；

所有采样点构成低频向量f_l(t+h)＝(f_l(v₀,t+h),...,f_l(v_n,t+h))^T，同理构成强度值向量f_I(t)，得到公式(5)：

其中L为余切拉普拉斯矩阵；由于使用显式积分的方式求解步长不易选择，因此使用隐式积分的方式：

(I-hμL)f_l(t+h)＝f_I(t) (6)

故计算低频向量f_l(t+h)如下：

f_l(t+h)＝(I-hμL)^-1f_I(t) (7)

hμ合并为一个，记为h_μ，并设为2000；

故高频向量f_h(t)通过去掉低频向量获得：

f_h(t)＝f_I(t)-f_l(t+h) (8)

接下来，利用高频向量来引导每个顶点v沿法向

进行移动，移动的值为d(v)；

其中<,>为点积操作；顶点的移动量与高频信号的变化应一致，故对顶点v的一邻域顶点v_i的移动值求平均，推导出最终每个顶点的移动距离：

其中w(v,v_i)＝exp(-||v-v_i||)，代表距离越近的顶点的权重越大；N(v)表示顶点v的相邻顶点；f_h(v)表示顶点v在高频向量f_h(t)中对应位置的值；于是得到新的顶点值如下：

每个顶点，都计算出它们的移动距离d(v)，然后按照公式(11)沿法向进行移动；对于移动后的结果，使用拉普拉斯平滑对结果进行后处理，最终得到一个具有几何细节的网格，其几何细节符合输入的图片；根据这个细节网格，为原FLAME网格计算法线贴图，计算后对边缘进行高斯平滑；使用这个法线贴图，就能够使用FLAME网格实时渲染出包含细节的效果；完整过程如图3所示。

3)贴图补全

a)构建FLAME网格的反照率参数化表示

需借助BFM反照率参数化模型，其共包含199个PCA基，每个基m_BFM×3维m_BFM为BFM网格的顶点数，储存的是每个顶点的RGB值，值在0-1之间；m_BFM为53490，因而把颜色值存储在顶点上不会导致顶点颜色信息的丢失；但由于FLAME网格顶点数小，只有5023，把纹理值存储在顶点上会导致颜色信息丢失，从而降低后面构建的反照率模型的精度；为此，将BFM模型顶点颜色存储到纹理图片上，实现与顶点数量无关的参数化纹理模型构建；要实现这个目标，需要使得FLAME网格和BFM网格具有对齐的纹理坐标；先为FLAME网格手工设定一个纹理的坐标，然后把FLAME网格的纹理坐标通过顶点间位置的关系传递给BFM网格；具体地，首先需要对齐FLAME所用的网格顶点与BFM所用的网格顶点；因为BFM网格是自然表情网格，因此，只需优化FLAME模型中的形状参数

即可；在BFM网格上也标注了68个与FLAME网格对应的关键点并求解能量公式(14)：

公式(12)中E_l代表特征点匹配能量，其中s_l为放缩系数，是一个标量，R为旋转量，t_l是三维的平移量，

和

分别是FLAME网格上第k个三维标记顶点的坐标和BFM网格上第k个三维标记顶点的坐标；公式(13)中第一项代表配对的FLAME网格顶点到BFM网格顶点的距离，第二项代表配对的FLAME网格顶点到BFM网格顶点所在平面的距离；

代表BFM网格顶点c_i的法向；α_p1，α_p2分别为第一项和第二项的权重系数；Υ代表FLAME网格和BFM网格间配对的顶点对(v_i,c_i)；具体地，先使用KDTREE最近邻搜索建立FLAME模型和BFM模型中的最近顶点对，接着把顶点对中距离小于阈值d_thres和顶点法向点积的大于阈值Angle_thres的顶点对提取出来构成Υ，其中d_thres设为模型包围盒大小的1/50，Angle_thres设为0.6；公式(14)把公式(12)和(13)组合起来，w_l,w_β分别为公式(14)的第一项和第三项的系数；

为FLAME模型中的形状参数向量，σ_β为相应的标准差；

在网格顶点对齐后，把FLAME的纹理坐标传递给BFM模型；首先使用KDTREE最近邻的方式为BFM模型的每个顶点寻找一个离FLAME最近的面，使用重心坐标的方式为BFM找到一个最近的面点；面点的纹理坐标即可通过面上三个顶点的纹理坐标值根据重心坐标插值得到；在得到BFM的各顶点的纹理坐标值后，使用拉普拉斯平滑来优化纹理坐标；

BFM网格每个顶点都具有一个纹理坐标值和颜色值，因此采用光栅化算法将顶点颜色值渲染成图片，尺寸为512×512；但注意到，BFM网格顶点颜色渲染的结果不包含脖子区域，如果FLAME网格使用这个渲染结果来贴图，会造成脖子处颜色的空缺；因此使用PULL-FILL方式为生成的颜色图的空缺部分补上颜色FLAME网格使用这个补全的反照率贴图来进行渲染，能够在视觉上得到更好的渲染效果；构造过程如图5所示；

按照上述的流程，将BFM反照率的平均反照率和199个基都以贴图的方式生成出来；将平均反照率贴图颜色值记为I^a，其它第i个反照率贴图对应的基记为

则获得公式(15)：

其中β_ρ为基的混合系数，每个基

对应的方差为

I^a和

均为512×512维度；公式(15)即为FLAME反照率参数化模型的表示；平均反照率和基的可视化如图6所示；

b)使用FLAME反照率参数化模型补全贴图

首先，对FLAME网格使用Loop细分进行处理，使得网格的点数达到70000个，同时细分的过程也要注意纹理坐标也要相应地变化；然后根据脸部的分割图，给人脸区域的顶点附上对应的图片颜色值；接下来使用光栅化算法，根据纹理值将顶点颜色值渲染成图片；但这个贴图不宜直接用于模型渲染中，需要进行补全以及去除光照这两个操作；考虑到人脸照片存在高光，先将RGB颜色转换到SUV空间，然后过滤掉S空间中的高光部分；考虑到人脸的对称性，因此也认为人脸的贴图具有对称性，因此对初始贴图进行水平翻转，留下非重合区域，同时对连接的边缘使用高斯模糊平滑；对于内部存在空洞的区域，使用PULL-FILL方法进行填补，由于这部分区域小，通常情况下填补效果好；下面需要补全贴图中的头部非脸部区域，使用步骤a)所述的反照率参数化模型来对头部非脸部区域进行补全，并借助这个参数化的反照率贴图来估计光照系数，通过去除贴图中的光照部分来获得完整人脸反照率贴图；

具体地，首先使用步骤a)所述FLAME反照率参数化模型来对未完整的人脸贴图估计反照率系数，计算方式如公式(16)所示：

其中I为输入的原图，I_i,j为原图的(i,j)区域的像素RGB值，A_v表示的是位于人脸贴图中未缺失部分的像素区域，

表示的是反照率模型(i,j)像素点处对应的反照率值；添加第二项作为正则项对反照率系数进行约束；w_r为第二项的系数；σ_pc为反照率混合系数向量

所对应的标准差向量；求解这个最小化问题可以求出反照率混合系数

根据这个混合系数得到对输入的缺失图像完整区域的反照率估计值

简记为

下面的优化问题计算将只考虑A_v区域的像素点；一般认为人脸皮肤的材质为朗伯材质，因此根据光照方程，去掉镜面反射项，得到漫反照率方程，并使用球谐函数展开；由于RGB颜色有三个通道，取R通道来讨论，其他两个通道的计算也是使用相同原理，如公式(17)所示：

其中r_i,j为方程(17)计算出的颜色值，是一个标量，

为材质表面的反照率的在(i,j)像素点处的R通道值，l_nm是球谐函数展开的系数，α_n是仅与法向n有关的常量因子，Y_nm(i,j)为(i,j)像素点所对应的球谐基函数；取前三阶球谐函数，于是将公式(17)简化为：

其中

n_i,j为像素(i,j)所对应的网格顶点的法向，n_x,n_y,n_z分别为该法向的三个分量；l＝[1,l_x,l_y,l_z,l_xy,l_xz,l_yz,l_xy2,l_z2]^T为光照系数，具有8个变量；

使用最小能量公式(19)求解光照系数和反照率：

对于求解这个方程，首先不考虑第二项，利用初始估计的反照率

作为初始值，求解光照系数，这是一个方程数量远大于未知量的优化问题，因此容易求解；然后固定光照系数，求解反照率

但因为这个是一个病态问题，需要考虑第二项作为正则项；迭代5次获得光照值和反照率值；使用这个最终求解的反照率值

作为最终补全的人脸贴图；补全的结果如图7所示。

综上所述，在采用以上方案后，本发明提出了一种基于单张图片重建人脸的方法，重建的人脸准确度更高，更完整，细节提取更快，并且包含完整的人脸贴图。本三维人脸重建方法的技术特点在于：

a)求解参数化模型FLAME模型参数，让该参数下FLAME模型对应的网格的三维特征点与人脸图像中检测的二维特征点对齐，从而重建出准确的人脸形状；

b)使用图像中的高频信息引导网格顶点移动，使人脸网格形状具有更丰富的细节，如皱纹，疙瘩等，并且这些细节符合输入的人脸图像；

c)使用反照率参数化模型来拟合人脸贴图，并根据光照方程去除光照信息，获得更加完整的人脸反射率贴图，包含头部，颈部部分；

本发明经过实验验证其可行性，能广泛用于不同人脸图像的人脸重建工作；对人脸重建的结果如图8，图9所示(其中图8对男性人脸进行重建，图9对女性人脸进行重建)；可以看到，本发明相比Zhu等的重建结果更完整，与图像的相似度更高，且具有完整的人脸贴图。

图10展示本方法与Basrid等方法以及Jiang等方法在细节提取效果的对比，可以看到，本方法可以获得类似的细节重建效果；图11展示本方法与Jiang等方法在处理时间上的对比，虽然本方法的初始人脸重建速度上稍慢，但在细节增强的处理时间上更短；如图12所示，本发明细节提取算法所耗时间与像素的数量是成线性关系的，在图像分辨率较小(在500×500左右)时，本发明的细节提取算法具有比较高的运算效率。

从上述结果可以看出，本发明具有重建准确度高，重建更完整，细节提取更快的优势，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (1)

1.一种基于单张图片的三维人脸重建方法，其特征在于，包括以下步骤：

1)脸部重建

使用单张图片来重建人脸，其核心是求解参数化模型FLAME模型参数，让该参数下FLAME模型对应的网格的三维特征点与人脸图像中检测的二维特征点对齐；其过程为：

首先，在FLAME模型网格上设定68个特征点；统一使用重心坐标来表示FLAME上的三维特征点；假设相机模型是一个沿z轴方向的投影，同时认为相机投影是弱透视投影，其投影矩阵写为

然后使用匹配能量E_lank将FLAME网格三维标记顶点与图像上检测到的二维标记点进行对齐：

其中

和

分别是FLAME网格上第k个三维标记顶点的坐标和相应的第k个图像二维标记点的坐标，平移向量

和旋转矩阵

确定FLAME网格相对于相机的位置和姿态；β⁽ⁱ⁾，θ⁽ⁱ⁾，ψ⁽ⁱ⁾来自于FLAME模型的系数向量

为形状向量，共300维；

为姿态向量，共6维；

为表情向量，共100维；

来自于标准差向量σ_β，σ_θ，σ_ψ，这些标准差向量的维度分别与

对应；γ₁，γ₂，γ₃为正的权重系数；公式(1)最后三项确保参数

有一个合理的变化范围；匹配能量E_lank最小化是通过坐标下降的方式对形状参数

和摄像机参数Π，R，t进行优化；首先固定形状参数，把优化问题减少为：

接下来固定相机和姿态，表情参数，求解形状参数，其中将优化转化为：

这是一个非线性最小二乘问题，使用DOGLEG算法求解；接着固定相机参数和形状参数，表情参数，并使用与公式(3)中相同原理的方式来优化姿态参数，同理优化表情参数，迭代运行直到算法收敛；

2)细节增强

对步骤1)得到的人脸网格形状进行细节增强，其核心是使用图像中的高频信息引导网格顶点移动，目的是使人脸网格形状具有更丰富的细节，包括皱纹、疙瘩，并且这些细节符合输入的人脸图像；其过程为：

对FLAME网格使用Loop细分进行处理，使其网格的点数达到70000个；根据人脸的特征点选择一个正方形包围盒，使得这个包围盒能包住人脸，同时利用这个包围盒对原图片裁剪，把模型顶点和图片都放缩到统一的512×512的尺寸；按照放缩后的图的分辨率，使用z-buffer光栅化算法把该网格渲染成一个高度场表面H，利用图片的连接关系将该高度场网格化；利用脸部分割图，提取出脸部区域对应的高度场网格M_f以及相应的脸部边界区域M_b，网格顶点记为v；使用拉普拉斯平滑对M_f进行两次平滑操作；

脸部的细节看作是图片中脸部区域的颜色的局部变化，因此把脸部的细节看作是图片的高频分量，根据这个高频分量来引导模型的顶点进行移动，从而得到脸部模型的细节；对于高度场网格M_f，其每个网格顶点v_i都能够对应到图片区域，从而得到该顶点的颜色值c(v_i)＝(r(v_i),g(v_i),b(v_i))，这是一个三维的分量，根据常用的RGB转灰度图经验公式，能够只计算它的强度值f_I(v_i)＝0.299*r(v_i)-0.587*g(v_i)+0.114*b(v_i)；接着使用拉普拉斯平滑，它能够看作是一种低通滤波器，用于去掉高频分量；拉普拉斯平滑能够看作扩散流沿时间的积分，因此顶点强度值的低频信号能够看作是顶点强度值在初始时间t滑动时间h后的结果，故网格在顶点v_i的强度采样值的低频信号为公式(4)：

其中μ为放缩因子；f_I(v_i,t)为时间t时的顶点颜色强度值；

为时间t的偏导值；

所有采样点构成低频向量f_l(t+h)＝(f_l(v₀,t+h),...,f_l(v_n,t+h))^T，同理构成强度值向量f_I(t)，得到公式(5)：

其中L为余切拉普拉斯矩阵；由于使用显式积分的方式求解步长不易选择，因此使用隐式积分的方式：

(I-hμL)f_l(t+h)＝f_I(t) (6)

故计算低频向量f_l(t+h)如下：

f_l(t+h)＝(I-hμL)^-1f_I(t) (7)

hμ合并为一个，记为h_μ，并设为2000；

故高频向量f_h(t)通过去掉低频向量获得：

f_h(t)＝f_I(t)-f_l(t+h) (8)

接下来，利用高频向量来引导每个顶点v沿法向

进行移动，移动的值为d(v)；

其中<,>为点积操作；顶点的移动量与高频信号的变化应一致，故对顶点v的一邻域顶点v_i的移动值求平均，推导出最终每个顶点的移动距离：

其中w(v,v_i)＝exp(-||v-v_i||)，代表距离越近的顶点的权重越大；N(v)表示顶点v的相邻顶点；f_h(v)表示顶点v在高频向量f_h(t)中对应位置的值；于是得到新的顶点值如下：

每个顶点，都计算出它们的移动距离d(v)，然后按照公式(11)沿法向进行移动；对于移动后的结果，使用拉普拉斯平滑对结果进行后处理，最终得到一个具有几何细节的网格，其几何细节符合输入的图片；根据这个细节网格，为原FLAME网格计算法线贴图，计算后对边缘进行高斯平滑；使用这个法线贴图，就能够使用FLAME网格实时渲染出包含细节的效果；

3)贴图补全

对生成的人脸贴图进行补全，其核心是使用反照率参数化模型来拟合人脸贴图，并根据光照方程去除光照信息，目的是获得更加完整的人脸反射率贴图，包含头部、颈部部分；其过程为：

a)构建FLAME网格的反照率参数化表示

需借助BFM反照率参数化模型，其共包含199个PCA基，每个基m_BFM×3维m_BFM为BFM网格的顶点数，储存的是每个顶点的RGB值，值在0-1之间；m_BFM为53490，因而把颜色值存储在顶点上不会导致顶点颜色信息的丢失；将BFM模型顶点颜色存储到纹理图片上，实现与顶点数量无关的参数化纹理模型构建；使得FLAME网格和BFM网格具有对齐的纹理坐标；先为FLAME网格手工设定一个纹理的坐标，然后把FLAME网格的纹理坐标通过顶点间位置的关系传递给BFM网格；具体地，首先需要对齐FLAME所用的网格顶点与BFM所用的网格顶点；优化FLAME模型中的形状参数

在BFM网格上也标注了68个与FLAME网格对应的关键点并求解能量公式(14)：

公式(12)中E_l代表特征点匹配能量，其中s_l为放缩系数，是一个标量，R为旋转量，t_l是三维的平移量，

和

分别是FLAME网格上第k个三维标记顶点的坐标和BFM网格上第k个三维标记顶点的坐标；公式(13)中第一项代表配对的FLAME网格顶点到BFM网格顶点的距离，第二项代表配对的FLAME网格顶点到BFM网格顶点所在平面的距离；

代表BFM网格顶点c_i的法向；α_p1，α_p2分别为第一项和第二项的权重系数；Υ代表FLAME网格和BFM网格间配对的顶点对(v_i,c_i)；具体地，先使用KDTREE最近邻搜索建立FLAME模型和BFM模型中的最近顶点对，接着把顶点对中距离小于阈值d_thres和顶点法向点积的大于阈值Angle_thres的顶点对提取出来构成Υ，其中d_thres设为模型包围盒大小的1/50，Angle_thres设为0.6；公式(14)把公式(12)和(13)组合起来，w_l,w_β分别为公式(14)的第一项和第三项的系数；

为FLAME模型中的形状参数向量，σ_β为相应的标准差；

在网格顶点对齐后，把FLAME的纹理坐标传递给BFM模型；首先使用KDTREE最近邻的方式为BFM模型的每个顶点寻找一个离FLAME最近的面，使用重心坐标的方式为BFM找到一个最近的面点；面点的纹理坐标即可通过面上三个顶点的纹理坐标值根据重心坐标插值得到；在得到BFM的各顶点的纹理坐标值后，使用拉普拉斯平滑来优化纹理坐标；

BFM网格每个顶点都具有一个纹理坐标值和颜色值，因此采用光栅化算法将顶点颜色值渲染成图片，尺寸为512×512；使用PULL-FILL方式为生成的颜色图的空缺部分补上颜色，FLAME网格使用这个补全的反照率贴图来进行渲染，能够在视觉上得到更好的渲染效果；

按照上述的流程，将BFM反照率的平均反照率和199个基都以贴图的方式生成出来；将平均反照率贴图颜色值记为I^a，其它第i个反照率贴图对应的基记为

则获得公式(15)：

其中β_ρ为基的混合系数，每个基

对应的方差为

I^a和

均为512×512维度；公式(15)即为FLAME反照率参数化模型的表示；

b)使用FLAME反照率参数化模型补全贴图

首先，对FLAME网格使用Loop细分进行处理，使得网格的点数达到70000个，同时细分的过程也要注意纹理坐标也要相应地变化；然后根据脸部的分割图，给人脸区域的顶点附上对应的图片颜色值；接下来使用光栅化算法，根据纹理值将顶点颜色值渲染成图片；但这个贴图不宜直接用于模型渲染中，需要进行补全以及去除光照这两个操作；考虑到人脸照片存在高光，先将RGB颜色转换到SUV空间，然后过滤掉S空间中的高光部分；考虑到人脸的对称性，因此也认为人脸的贴图具有对称性，因此对初始贴图进行水平翻转，留下非重合区域，同时对连接的边缘使用高斯模糊平滑；对于内部存在空洞的区域，使用PULL-FILL方法进行填补；下面需要补全贴图中的头部非脸部区域，使用步骤a)所述的反照率参数化模型来对头部非脸部区域进行补全，并借助这个参数化的反照率贴图来估计光照系数，通过去除贴图中的光照部分来获得完整人脸反照率贴图；

具体地，首先使用步骤a)所述FLAME反照率参数化模型来对未完整的人脸贴图估计反照率系数，计算方式如公式(16)所示：

其中I为输入的原图，I_i,j为原图的(i,j)区域的像素RGB值，A_v表示的是位于人脸贴图中未缺失部分的像素区域，

表示的是反照率模型(i,j)像素点处对应的反照率值；添加第二项作为正则项对反照率系数进行约束；w_r为第二项的系数；σ_pc为反照率混合系数向量

所对应的标准差向量；求解这个最小化问题可以求出反照率混合系数

根据这个混合系数得到对输入的缺失图像完整区域的反照率估计值

简记为

下面的优化问题计算将只考虑A_v区域的像素点；一般认为人脸皮肤的材质为朗伯材质，因此根据光照方程，去掉镜面反射项，得到漫反照率方程，并使用球谐函数展开；由于RGB颜色有三个通道，取R通道来讨论，其他两个通道的计算也是使用相同原理，如公式(17)所示：

其中r_i,j为方程(17)计算出的颜色值，是一个标量，

为材质表面的反照率的在(i,j)像素点处的R通道值，l_nm是球谐函数展开的系数，α_n是仅与法向n有关的常量因子，Y_nm(i,j)为(i,j)像素点所对应的球谐基函数；取前三阶球谐函数，于是将公式(17)简化为：

其中

n_i,j为像素(i,j)所对应的网格顶点的法向，n_x,n_y,n_z分别为该法向的三个分量；l＝[1,l_x,l_y,l_z,l_xy,l_xz,l_yz,l_xy2,l_z2]^T为光照系数，具有8个变量；

使用最小能量公式(19)求解光照系数和反照率：

对于求解这个方程，首先不考虑第二项，利用初始估计的反照率

作为初始值，求解光照系数，这是一个方程数量远大于未知量的优化问题，因此容易求解；然后固定光照系数，求解反照率

但因为这个是一个病态问题，需要考虑第二项作为正则项；迭代5次获得光照值和反照率值；使用这个最终求解的反照率值

作为最终补全的人脸贴图。

Images