CN110443885A - 基于随机人脸图像的三维人头脸模型重建方法 - Google Patents

Abstract

本发明提供了一种基于随机人脸图像的三维人头脸模型重建方法，利用三维人脸数据库建立了人脸双线性模型和优化算法，通过二维特征点逐步分离人脸的空间姿态、相机参数以及决定人脸几何形状的身份特征和表情特征，利用拉普拉斯变形修正对生成的三维人脸模型进行调整，得到低分辨率的三维人脸模型。最后计算出人脸深度，通过高分辨率模版模型与点云模型配准实现了目标人脸的高精度三维模型重建，使重建后的人头脸模型更符合目标人头脸的形状。本发明消除人脸畸变细节的同时，保持了人脸原有的主要细节，重建效果要更精确，尤其是在人脸细节的重建上，有效减少面部细节畸变和表情影响，生成的人脸模型显示效果更真实。

Description

基于随机人脸图像的三维人头脸模型重建方法

技术领域

本发明涉及图像处理和计算机图形学技术领域，尤其是一种三维人头脸模型重建方法。

背景技术

人脸对人类来说是最具有特征的部位，既包含着明显的共性特征，又能反映出每个人的不同特性。随着计算机图形图像处理技术的快速发展，人脸的表象描述已经从二维转向了三维。在现代网络大数据的覆盖下，人脸图像成为人脸信息成本最低的数据形式，获取个人脸部图像已经变得非常容易，如何通过目标人脸的一系列随机图像集合进行精确的三维人脸重构存在很大的发展潜力。同时，二维图像含有的人脸信息特征集更加丰富，通过图像集进行人脸重建的精度和真实感也更好。目前为止，建立起二维人脸图像与三维人脸模型之间的技术方法匮乏，三维人脸建模的主要手段是进行人脸扫描，得到人脸的深度信息和表面纹理信息，结合扫描或拍摄的多角度性进行三维人脸模型的重建。由二维图形进行三维模型重建的主流方法是利用光流算法、SFS(明暗恢复形状法)结合双线性模型进行人脸的三维结构重建或是动态人脸细节重建，但重建结果容易发生畸变，且对图像中人脸表情等细节敏感，重建效果不佳。

发明内容

为了克服现有技术的不足，本发明提供一种基于随机人脸图像的三维人头脸模型重建方法。在已有N幅人脸图像集的条件下，根据任意数量的人脸图像中的信息进行三维人脸的高精度重建。利用三维人脸数据库建立了人脸双线性模型和优化算法，通过二维特征点逐步分离人脸的空间姿态、相机参数以及决定人脸几何形状的身份特征和表情特征。同时对人脸边缘轮廓点定义的歧义性做特殊处理，使算法性能更加稳定；利用拉普拉斯变形修正对生成的三维人脸模型进行调整，得到低分辨率的三维人脸模型。在此基础上计算人脸法向量，利用优化算法将人脸反照率、光照系数与人脸表面法向量进行线性组合并约束光照优化，抑制了畸形人脸点云生成。最后计算出人脸深度，通过高分辨率模版模型与点云模型配准实现了目标人脸的高精度三维模型重建，使重建后的人头脸模型更符合目标人头脸的形状。

本发明解决其技术问题所采用的技术方案的步骤如下：

步骤1：人脸特征点的处理；

使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库，首先对原始人脸模型特征点进行标注，特征点的标注选择以各五官外部轮廓及面部轮廓为标注范围,将标注的人脸特征点进行坐标集合化，记为S_0∈R'_K×2，其中K为特征点个数，S₀的行向量对应特征点的2D坐标，R'为实数集，输入待处理的人脸图像，利用特征点坐标对齐对脸部区域进行初始定位，然后将特征点初始位置放置在定位区域中心，通过级联式回归模型逐级计算，最终输出对人脸图像特征点的预测值；

所述级联式回归模型逐级计算的步骤为：

首先建立训练样本集的图像数据{I⁽ⁱ⁾}、特征点初始位置以及真实值{S^*(i)}，从第1级开始训练，依次对K个特征点分别构造随机森林，并计算样本集的全局特征进而拟合线性回归系数矩阵W₁，最后得到第1级的线性回归输出 作为下一级训练的特征点初始位置，重复训练过程，得到人脸图像的线性回归预测模型；

步骤2：随机图像的双线性模型联合优化；

首先将三维人脸模型中人脸侧面的所有坐标点作为人脸轮廓的候选点，标注人脸轮廓所有可能的候选点v_candid，并将候选点按人脸高度排列，在所有候选点v_candid中，选择法线方向与Z轴夹角最大的顶点作为可能的轮廓点v_contour，最后根据图像特征点中的轮廓部分选择与v_contour中的最近点作为三维模型中的人脸轮廓特征点v_feature，其中v_candid表示人脸轮廓的所有候选特征点，v_contour表示根据处理需要选择的待定特征点，v_feature表示最终选定的人脸轮廓特征点，当输入图像的人脸姿态有姿态偏差时，则将S₀∈R'_K×2人脸特征点坐标集合中的轮廓点替换为最终选定的人脸轮廓特征点；

根据FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：

F＝R×(Cr×ω_id×ω_exp)+T (1)

其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：

其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：

F_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)

其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：

其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：

其中R^*，T^*，f^*，分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，E_data为根据人脸特征点坐标进行条件约束的人脸几何模型投影后的模型函数，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：

其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，分别表示ω_id与ω_exp的数学期望，cov^-1(U_id)、cov^-1(U_exp)分别表示ω_id与ω_exp的方差；

加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解，则图像中人脸的三维几何模型F的优化函数表示为：

其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重；

所述图像中人脸的三维几何模型F的优化函数的计算步骤为：

将图像中人脸三维几何模型的旋转矩阵R初始化为单位矩阵，平移向量T初始化为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化与先对人脸姿态R与T进行求解，此时优化问题变为：

其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：

其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：

最后对焦距f进行优化，优化问题为：

记S_c＝Cr×ω_id×ω_exp，式(12)为关于f的线性优化，f具有最小二乘解，重复公式(9)到(12)的计算，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸模型的旋转矩阵R和平移向量T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；

步骤3：拉普拉斯变形修正；

利用曲面网格的拉普拉斯变形对步骤2中得到的人脸低分辨率模型进行修正，具体步骤为：

根据步骤2中计算求得的人脸低分辨率模型的的旋转矩阵R与平移分量T、相机焦距f以及三维人脸模型F＝R×(Cr×ω_id×ω_exp)+T，利用拉普拉斯修正变形进行优化，首先得到当前三维人脸模型的坐标顶点约束方程：

其中，为三维人脸模型的待求约束顶点，第一项为曲面拉普拉斯坐标保持项，H为拉普拉斯系数矩阵，由当前三维人脸模型的坐标顶点进行拉普拉斯矩阵变形得到，第二项为控制点约束项，要求变形后模型的特征点经旋转平移与透视投影后，在图像空间与图像特征点重合，根据步骤1得到的输入图像的人脸特征点的坐标{q_i}，v′_feature表示三维模型的特征点，w₃为控制权重，w₃取值为w₃＝0.8；

步骤4：人脸法向量计算；

利用坐标姿态变换将步骤3中修正后的低分辨率人脸模型重投影至图像空间，使低分辨率模型的投影与目标图像中的人脸重合对齐；则此时对于图像中人脸区域内的每个像素，获得该像素对应低分辨率模型上的深度值与法向量；

所述人脸法向量优化的计算步骤如下：

将输入图像中的人脸表面像素点的RGB分量分别按人脸表面法向量做集合，记像素深度值为z_ref，像素法向量为n_ref，人脸反照率ρ，从输入图像I中反向计算人脸表面法向量n(x,y)、人脸反照率ρ与光照系数的过程即最小化如下方程：

其中w₄,w₅,w₆分别对应E_albedo,E_normal与E_{integrabiilty}权重，n^*,ρ^*,分别为人脸表面法向量、人脸反照率、光照系数的待求最佳值，L表示光照系数，L＞0表示在光照系数约束方程中的取值范围，E_data为图像某点像素处的反照率、光照系数以及人脸表面法向量的最小二乘形式，表达式为：

E_albedo为对人脸反照率ρ的约束，即限制人脸反照率ρ产生皱纹等细节的明暗变化，其中LoG表示高斯拉普拉斯边缘检测算子，表达式为：

E_albedo＝∑_(x,y)∈face||LoG·ρ(x,y)-LoG·ρ_ref(x,y)||² (16)

E_normal为限制法向量n的细节变化与参考法向量n_ref一致，对每个像素点处的法向量n(x,y)单独设置权重，表达式为：

E_normal＝∑_(x,y)∈face||LoG·n(x,y)-LoG·n_ref||² (17)

E_{integrabiilty}为人脸表面构成的曲面连续函数，表达式为：

对式(14)中的照光系数建立不等式约束，令L＞0，权重取值为w₄＝0.01，w₅＝0.001，w₆＝0.1，采用坐标下降法求解，固定其中两个变量，对剩余第三个变量进行优化求解，更新所求得的变量值后，再依次对其余两个变量进行循环迭代，计算出光照系数、人脸法向量以及反照率；

步骤5：人脸深度计算；

在计算出人脸区域内每个像素对应的法向量之后，像素坐标处对应的深度值由偏微分方程(19)至公式(21)计算，对二维像素坐标进行delaunay三角剖分，并将剖分后的三角网格按照像素点深度排列生成带有人脸表面细节的三维点云模型；其中网格中的点云顶点按像素坐标分布排列，网格连接关系随机生成；

所述人脸深度计算过程如下：

在得到人脸区域内每个像素对应的法向量n(x,y)后，像素坐标(x,y)处对应的深度z(x,y)由偏微分方程(19)到(21)进行计算：

其中，p与q分别为法向量像素坐标中对x与y的偏导，表示人脸区域有效像素的边界，该边界由人脸深度初始值z_ref的阈值得到，对构成关于z(x,y)的线性方程组，使用最小二乘求解，得到输入图像的人脸深度z(x,y)；

步骤6：曲面细分与高分辨率模版处理；

使用FareWarehouse数据库中的三维人脸模型作为模板，从步骤5中得到的三维点云人脸模型与数据库的通用人脸模型进行网格点匹配，使点云人脸模型中的三维网格与通用模板模型的人脸网格分布重合，保证点云人脸模型中的网格顶点按像素坐标排列；分离后的低分辨率模板通过曲面三角细分增加顶点个数，从而转换为高分辨率模板；

所述高分辨率模板的转换步骤为：

首先，通过步骤2生成的人脸低分辨率模型生成一个人脸模型作为模板V_L，进行面部提取后，得到面部分离模型；

步骤2中生成的人脸低分辨率模型与空间点云的匹配通过为顶点位置约束来实现，顶点约束项表示模板模型中的顶点v与匹配到的点云顶点v_{icp_cloud}距离最小，由下式表示：

其中v_{icp_cloud}表示与模板顶点v_t建立双向匹配关系的点云顶点；

人脸低分辨率模型与点云匹配过程为：对模板中的一个顶点v_t，查找点云中与其距离最近的点v_{icp_cloud}，再反向查找v_{icp_cloud}在模板中对应的最近点，如果v_t与v_{icp_cloud}互为最近点，则建立双向匹配；

其次，对步骤2中获得的人脸低分辨率模型进行曲面参数化并做平面展开，采用UV空间投影将人脸低分辨率模型的三维网格映射至二维平面，使高分辨率模版逐渐在约束下向点云逼近，直至与低分辨率人脸模型完全重合，最终得到三维人脸高分辨率模型；

步骤7：人头脸模型的补齐；

在高分辨率人脸区域模型与低分辨率人头模型的对应边界处建立一条过渡三角网格带，边界区域为步骤6中分割提取出来的高分辨率人脸面部区域，将FaceWarehouse数据库的三维人头脸模型的人脸区域替换为高分辨率人脸面部区域，选取高分辨率人脸区域模型与低分辨率人脸模型各自的边界，其中高分辨率人脸区域的边界为连接区域的高分辨率模型边界区域，低分辨率人脸模型的边界为连接区域的低分辨率人脸模型边界区域，将两条边界顶点经曲面参数化的方法映射至平面，在两条边界之间用三角剖分生产三角网格，高分辨率人脸区域模型与低分辨率人脸模型连接区域网格即用于连接的过渡三角网格带；

在拼接处的顶点及其邻接顶点使用拉普拉斯平滑算法处理，具体计算表达式为：

其中：表示平滑后的第j个顶点，C_j表示第j个顶点的一环邻域，v_k表示一环邻域中的第k个顶点，N_j表示一环邻域C_j内的顶点个数；

重建后的人头模型与图像中的人脸已经在图像空间中对齐重合，通过输入图像的表面纹理将人脸图像映射至模型面，添加纹理图像，得到人头模型添加纹理映射后的图像。

本发明的有益效果在于验证从随机人脸图像重建三维人脸模型的效果，选取不同的人脸图像组成测试集，利用FaceWareHouse数据库作为本次实验所用三维人脸模型数据库。在符合硬件测试环境的设备上(内存16G，CPU4.0Hz)进行测试可以发现，在测试集图像为人脸的某些极端表情的情况下，拉普拉斯修正变形明显改进了人脸双线性模型的重建结果。实验表明，通过联合多幅图像同时求解，可以减少身份特征与表情特征的计算误差，从而使重建后的人脸模型更符合目标人脸形状。对人脸反照率、光照系数与人脸表面法向量进行线性组合，使人脸细节重建转换为人脸表面法向量的优化计算。通过结合实际的人脸图像光照分布，对人脸细节重建算法中的光照优化部分加入约束，抑制人脸高分辨率模型重建过程中出现的畸变细节。本发明设计在消除人脸畸变细节的同时，保持了人脸原有的主要细节。本发明方法的人脸模型重建效果与目前应用较广的SFS(明暗恢复形状法)方法进行对比，人脸重建效果对比可从图14进行比较，可以看出，相较于SFS方法，本发明的人脸重建效果要更精确，尤其是在人脸细节的重建上，有效减少面部细节畸变和表情影响，生成的人脸模型显示效果更真实。

附图说明

图1是三维人脸模型中的特征点定义标准示意图。

图2是人脸轮廓特征点处理图。

图3是本发明三维人脸低分辨率模型重建效果图。

图4是曲面拉普拉斯变形修正后的人脸低分辨率模型图。

图5是基于随机图像重建的三维人脸模型对比图。

图6是人脸法向量计算中各变量图像。

图7是人脸法向量迭代优化图像。

图8是人脸法向量与点云模型重建结果，其中图8(a)是本发明方法产生的人脸点云模型，图8(b)是使用SFS方法生成的点云模型。

图9是输入图像生成的人脸点云模型与高分辨率模型图。

图10是人头外围区域与人脸区域分离示意图。

图11是人头外围区域与人脸区域拼接示意图。

图12是完整人头脸重建后的正面视图与侧面视图。

图13是人头模型添加纹理映射后的图像。

图14是本发明方法与明暗恢复形状法生成结果对比图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明的实施例如下：

步骤1：人脸特征点的处理；

使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库,首先对原始人脸模型特征点进行标注，特征点的标注选择以各五官外部轮廓及面部轮廓为标注范围，要求特征点的数量涵盖面部的主要形状特征即可。本发明后续计算及处理要求为准进行选择标注，其中眼睛特征点16个，眉毛特征点12个，脸廓特征点15个，外嘴唇特征点12个，内嘴唇特征点6个，以及鼻子特征点12个，共计73个特征点，本发明测试所选人脸特征点位置如图1所示。将标注的人脸特征点进行坐标集合化，记为S_0∈R'_K×2，其中K为特征点个数，S₀的行向量对应特征点的2D坐标，R'为实数集，输入待处理的人脸图像，利用特征点坐标对齐对脸部区域进行初始定位，然后将特征点初始位置放置在定位区域中心，通过级联式回归模型逐级计算，最终输出对人脸图像特征点的预测值。

所述级联式回归模型逐级计算的步骤为：

首先建立训练样本集的图像数据{I⁽ⁱ⁾}、特征点初始位置以及真实值{S^*(i)}，从第1级开始训练，依次对K个特征点分别构造随机森林，并计算样本集的全局特征进而拟合线性回归系数矩阵W₁，最后得到第1级的线性回归输出 作为下一级训练的特征点初始位置，重复训练过程，得人脸图像的线性回归预测模型；

步骤2：随机图像的双线性模型联合优化；

随机图像集合中目标人脸的姿态与表情特征各不相同，但所有人脸图像都具有一致的身份特征(同一个体)，当输入图像集为多幅时，将所有输入图像建立统一的身份特征向量，从而减少人脸双线性模型计算时的歧义性；

由于输入图像的人脸姿态与数据库中的三维人脸模型存在差异(即图像人脸的朝向不是垂直于图像平外向外的)，首先将三维人脸模型中人脸侧面的所有坐标点作为人脸轮廓的候选点，标注人脸轮廓所有可能的候选点v_candid，并将候选点按人脸高度排列，在所有候选点v_candid中，选择法线方向与Z轴(Z轴选取为垂直于图像平面向外)夹角最大的顶点作为可能的轮廓点v_contour，最后根据图像特征点中的轮廓部分选择与v_contour中的最近点作为三维模型中的人脸轮廓特征点v_feature，人脸轮廓特征点的选取过程如图2所示，其中v_candid表示人脸轮廓的所有候选特征点，v_contour表示根据处理需要选择的待定特征点，v_feature表示最终选定的人脸轮廓特征点。当输入图像的人脸姿态有姿态偏差时，则将S₀∈R'_K×2人脸特征点坐标集合中的轮廓点替换为最终选定的人脸轮廓特征点；

根据FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：

F＝R×(Cr×ω_id×ω_exp)+T (1)

其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：

其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：

F_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)

其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：

其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：

其中R^*，T^*，f^*，分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，E_data为根据人脸特征点坐标进行条件约束的人脸几何模型投影后的模型函数，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：

其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，分别表示ω_id与ω_exp的数学期望，cov^-1(U_id)、cov^-1(U_exp)分别表示ω_id与ω_exp的方差。

加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解，则图像中人脸的三维几何模型F的优化函数表示为：

其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重，经测试选取w₁＝0.001与w₂＝0.005；

所述图像中人脸的三维几何模型F的优化函数的计算步骤为：

将图像中人脸三维几何模型的旋转矩阵R初始化为单位矩阵，平移向量T初始化为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化与先对人脸姿态R与T进行求解，此时优化问题变为：

其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：

其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：

最后对焦距f进行优化，优化问题为：

记S_c＝Cr×ω_id×ω_exp，式(12)为关于f的线性优化，f具有最小二乘解，重复公式(9)到(12)的计算，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸模型的旋转矩阵R和平移向量T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；

步骤3：拉普拉斯变形修正；

步骤2计算所得到的双线性模型计算得到的三维人脸模型整体形状与目标人脸基本相似，但由于双线性模型计算的本质是对人脸样本形状进行双线性组合，无法覆盖所有不同的人脸形状，并且在深度信息上不完善，因此根据人脸图像重建的三维人脸模型的特征点投影后并不能与图像中的二维特征点完全重合，重建后的人脸与目标人脸存在一定的特征点偏差。

利用曲面网格的拉普拉斯变形对步骤2中得到的人脸低分辨率模型进行修正，具体步骤为：

根据目标人脸的姿态、相机焦距以及三维人脸模型，利用拉普拉斯修正变形修正得到输入图像的低分辨率人脸模型，首先利用步骤2中得到的双线性模型的人脸模型坐标顶点，建立式(13)的坐标顶点约束方程，控制点约束项控制局部变形时模型的特征点的旋转平移与投影。当控制权重较大时，模型特征点与图像特征点重合度高，模型网格的局部变形较强烈，可能会产生不规则畸变；当控制权重较小时，模型网格的局部变形程度较低，但模型特征点与图像特征点会有重合误差，本发明在平衡网格规则化与特征点误差的基础上选择合适的控制权重值，可以在保证模型变形精度的同时有效降低畸变，其中拉普拉斯局部变形的控制权重计算过程见具体实施方式说明，曲面拉普拉斯变形修正的结果如图4所示。

根据步骤2中计算求得的人脸低分辨率模型的的旋转矩阵R与平移分量T、相机焦距f以及三维人脸模型F＝R×(Cr×ω_id×ω_exp)+T，利用拉普拉斯修正变形进行优化，首先得到当前三维人脸模型的坐标顶点约束方程：

其中，为三维人脸模型的待求约束顶点，第一项为曲面拉普拉斯坐标保持项，H为拉普拉斯系数矩阵，由当前三维人脸模型的坐标顶点进行拉普拉斯矩阵变形得到，第二项为控制点约束项，要求变形后模型的特征点经旋转平移与透视投影后，在图像空间与图像特征点重合，根据步骤1得到的输入图像的人脸特征点的坐标{q_i}，v′_feature表示三维模型的特征点，w₃为控制权重，当w₃取较大值时，变形后的模型特征点与图像特征点重合度越高，但模型网格的局部变形越强烈，可能会产生不规则畸变，反之当w₃取较小值时，模型网格的局部变形程度较低，但模型特征点与图像特征点的重合误差越大，在平衡网格规则化与特征点误差的基础上，经实验后选择本步中w₃的最佳值w₃＝0.8，在保证模型变形精度的同时有效降低畸变。图(4)为曲面拉普拉斯变形修正的人脸低分辨率模型。

步骤4：人脸法向量计算；

利用坐标姿态变换将步骤3中修正后的低分辨率人脸模型重投影至图像空间，使低分辨率模型的投影与目标图像中的人脸重合对齐；则此时对于图像中人脸区域内的每个像素，获得该像素对应低分辨率模型上的深度值与法向量；人脸法向量各变量及优化过程如图6和图7所示，具体的人脸法向量优化算法的步骤如下：

将输入图像中的人脸表面像素点的RGB分量分别按人脸表面法向量做集合，记像素深度值为z_ref，像素法向量为n_ref，人脸反照率ρ，从输入图像I中反向计算人脸表面法向量n(x,y)、人脸反照率ρ与光照系数的过程即最小化如下方程：

其中w₄,w₅,w₆分别对应E_albedo,E_normal与E_{integrabiilty}权重，表示对应能量项的约束条件对求解过程的影响，n^*,ρ^*,分别为人脸表面法向量、人脸反照率、光照系数的待求最佳值，L表示光照系数，L＞0表示在光照系数约束方程中的取值范围，E_data为图像某点像素处的反照率、光照系数以及人脸表面法向量的最小二乘形式，用来约束计算出的模型像素值与原始图像一致，表达式为：

E_albedo为对人脸反照率ρ的约束，即限制人脸反照率ρ产生皱纹等细节的明暗变化，其中LoG表示高斯拉普拉斯边缘检测算子，表达式为：

E_albedo＝∑_(x,y)∈face||LoG·ρ(x,y)-LoG·ρ_ref(x,y)||² (16)

E_normal为限制法向量n的细节变化与参考法向量n_ref一致，对每个像素点处的法向量n(x,y)单独设置权重，表达式为：

E_normal＝∑_(x,y)∈face||LoG·n(x,y)-LoG·n_ref||² (17)

E_{integrabiilty}为人脸表面构成的曲面连续函数，表达式为：

考虑到人脸图像中实际的光照分布，对式(14)中的照光系数建立不等式约束，令L＞0，物理意义表示要求光照主要分布在y轴正半球面(人脸上方)，同时抑制z轴负方向(人脸背面)射入的光照。的不等式约束在一定程度上可以减少法向量优化计算中产生的畸变，经测试最佳权重值分别选取w₄＝0.01，w₅＝0.001，w₆＝0.1，较好平衡各能量项对求解过程的约束，使法向量n尽可能反映出人表面细节的变化，又保证曲面具有较好的连续性。采用坐标下降法求解，固定其中两个变量，对剩余第三个变量进行优化求解，更新所求得的变量值后，再依次对其余两个变量进行循环迭代，计算出光照系数、人脸法向量以及反照率。

步骤5：人脸深度计算；

在计算出人脸区域内每个像素对应的法向量之后，像素坐标处对应的深度值由偏微分方程(19)至公式(21)计算，对二维像素坐标进行delaunay三角剖分，并将剖分后的三角网格按照像素点深度排列生成带有人脸表面细节的三维点云模型；其中网格中的点云顶点按像素坐标分布排列，网格连接关系随机生成。由此得到的重建后的三维人脸点云模型与真实的人脸细节比较接近。人脸法向量与点云模型重建结果如图8。

所述人脸深度计算过程如下：

在得到人脸区域内每个像素对应的法向量n(x,y)后，像素坐标(x,y)处对应的深度z(x,y)由偏微分方程(19)到(21)进行计算：

其中，p与q分别为法向量像素坐标中对x与y的偏导，表示人脸区域有效像素的边界，该边界由人脸深度初始值z_ref的阈值得到，对构成关于z(x,y)的线性方程组，使用最小二乘求解，得到输入图像的人脸深度z(x,y)；

步骤6：曲面细分与高分辨率模版处理；

在完成人脸深度点云网格后，部分图像的实际输出结果，往往存在畸变。还需要进行后续处理，使用FareWarehouse数据库中的三维人脸模型作为模板，从步骤5中得到的三维点云人脸模型与数据库的通用人脸模型进行网格点匹配，使点云人脸模型中的三维网格与通用模板模型的人脸网格分布重合，保证点云人脸模型中的网格顶点按像素坐标排列。为了使处理后的点云模型具有皱纹等人脸细节，要求通用模板模型具有较高的分辨率。低分辨率模型来源于FaceWareHouse数据库，人脸模型有11510个顶点，目标高分辨率人脸模型只对应人脸面部区域，不包括人头其他部位，因此将低分辨率模型中的面部区域手动分割提取出来，分离后的模型仅有5302个顶点，在减小后续计算量的同时可以保证人头脸模型的整体性。分离后的低分辨率模板通过曲面三角细分增加顶点个数，从而转换为高分辨率模板。

首先，通过步骤2生成的人脸低分辨率模型生成一个人脸模型作为模板V_L，进行面部提取后，得到面部分离模型；

步骤2中生成的人脸低分辨率模型与空间点云的匹配通过为顶点位置约束来实现，顶点约束项表示模板模型中的顶点v与匹配到的点云顶点v_{icp_cloud}距离最小，由下式表示：

其中v_{icp_cloud}表示与模板顶点v_t建立双向匹配关系的点云顶点；

人脸低分辨率模型与点云匹配过程为：对模板中的一个顶点v_t，查找点云中与其距离最近的点v_{icp_cloud}，再反向查找v_{icp_cloud}在模板中对应的最近点，如果v_t与v_{icp_cloud}互为最近点，则建立双向匹配。其次，对步骤2中获得的人脸低分辨率模型进行曲面参数化并做平面展开，采用UV空间投影将人脸低分辨率模型的三维网格映射至二维平面，保留面部细节特征，从而在一定程度上对细节错误进行修正。使高分辨率模版逐渐在约束下向点云逼近，直至与低分辨率人脸模型完全重合，最终得到三维人脸高分辨率模型；

步骤7：人头脸模型的补齐；

为了得到完整的人头脸模型，需要将人脸高分辨率模型与人头外围区域模型重新拼合。将人脸模型补回至人头模型中，合成完整的“人头脸”模型。由于高分辨率模型的网格经过了曲面细分，其顶点连接关系与外围区域模型不再一致，无法直接拼合。本发明在高分辨率人脸区域模型与低分辨率人头模型的对应边界处建立一条过渡三角网格带，边界区域为步骤6中分割提取出来的高分辨率人脸面部区域，将FaceWarehouse数据库的三维人头脸模型的人脸区域替换为高分辨率人脸面部区域，选取高分辨率人脸区域模型与低分辨率人脸模型各自的边界，其中高分辨率人脸区域的边界为连接区域的高分辨率模型边界区域，低分辨率人脸模型的边界为连接区域的低分辨率人脸模型边界区域，将两条边界顶点经曲面参数化的方法映射至平面，在两条边界之间用三角剖分生产三角网格，高分辨率人脸区域模型与低分辨率人脸模型连接区域网格即用于连接的过渡三角网格带。为消除拼接痕迹，在拼接处的顶点及其邻接顶点使用拉普拉斯平滑算法处理，具体计算表达式为：

其中：表示平滑后的第j个顶点，C_j表示第j个顶点的一环邻域，v_k表示一环邻域中的第k个顶点，N_j表示一环邻域C_j内的顶点个数；

将拼接区域消除并进行补齐的三维人头脸进行测试，各视图如图12所示。重建后的人头模型与图像中的人脸已经在图像空间中对齐重合，通过输入图像的表面纹理将人脸图像映射至模型面，但人脸侧面以及背面一些区域缺少对应的贴图信息，需要添加缺少的纹理图像，人头模型添加纹理映射后的结果如图13所示。

图1是三维人脸模型中的特征点定义标准示意图；

图2是人脸轮廓特征点处理图；其中从左至右，第一幅图是人脸三维模型中的所有可选轮廓特征点，第二幅图是人脸三维模型中的待选轮廓特征点，第三幅图是人脸三维模型中的选定特征点。

图3是本发明三维人脸低分辨率模型重建效果图，其中从左至右第一列图像为输入图像，第二列图像为对应左侧输入图像进行人脸低分辨率模型重建的效果图。

图4是曲面拉普拉斯变形修正后的人脸低分辨率模型；其中，第一列为输入人脸图像及特征点检测图，第二列为曲面拉普拉斯变形修正后的人脸低分辨率模型，第三列为人脸三维模型图，第四列为网格模型重叠效果图。

图5是基于随机图像重建的三维人脸模型对比图，其中图中第一行为输入图像，第二行为输入图像的三维人脸低分辨率模型重建结果；

图6是人脸法向量计算中各变量，其中图像从左至右依次为：输入人脸图像，人脸低分辨率模型，人脸法向量初始值模型，人脸深度初始值模型，人脸反照率初始值模型；

图7是人脸法向量迭代优化过程，图像内容从左至右为不同迭代计算次数下的输出结果，其中最右侧为最终迭代收敛结果；

图8是人脸法向量与点云模型重建结果，两行图像从左至右分别表示：输入人脸图像，法向量计算结果，点云模型的正面，点云模型的侧面，其中第二行的最右列图像为局部放大图；其中图8(a)是本次发明方法产生的人脸点云模型，图8(b)是使用SFS方法生成的点云模型，可看出(b)中局部放大后产生了面部畸变，原本应为凹陷的皱纹畸变为凸起的皱纹。

图9是输入图像生成的人脸点云模型与高分辨率模型图，其中图像第一行为不同的输入人脸图像，第二行为依据输入图像生成的点云模型，第三行为本发明得到的人脸高分辨率模型；

图10是人头外围区域与人脸区域分离示意图，其中从左至右第一幅图为三维人头脸低分辨率模型，第二幅图像为剔除低分辨率人脸区域的人头脸三维模型，第三幅图为剔除的低分辨率人脸区域，第四幅图为高分辨率人脸区域模型；

图11是人头外围区域与人脸区域拼接示意图，其中从左至右第一幅图为三维人头脸模型的低分辨率一侧边界区域，第二幅图为高分辨率人脸一侧边界区域，第三幅图为将高分辨率人脸模型与低分辨率人头脸模型之间边界区域的过度三角带，第四幅图为拼接后的人头脸模型，第五幅图为拼接区域进行平滑处理后的人头模型；

图12是完整人头脸重建后的正面视图与侧面视图，其中相同编号的图分别为测试的各图像重建出的完整人头脸正面视图和侧面视图；

图13是人头模型添加纹理映射后的结果，其中左边三幅图像分别是人头模型添加纹理后的左视图、正面视图及右视图，最右侧图像为模型的局部放大图；

图14是本发明方法与明暗恢复形状法生成结果对比图，其中第一列为测试输入人脸输入图像，第二列为本发明得到的高分辨率人脸细节模型图，第三列为明暗恢复形状法得到的人脸细节模型。

相较于SFS方法，本发明的人脸重建效果要更精确，尤其是在人脸细节的重建上，有效减少面部细节畸变和表情影响，生成的人脸模型显示效果更真实。

Claims (1)

1.一种基于随机人脸图像的三维人头脸模型重建方法，其特征在于包括下述步骤：

步骤1：人脸特征点的处理；

使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库，首先对原始人脸模型特征点进行标注，特征点的标注选择以各五官外部轮廓及面部轮廓为标注范围,将标注的人脸特征点进行坐标集合化，记为S₀∈R'_K×2，其中K为特征点个数，S₀的行向量对应特征点的2D坐标，R'为实数集，输入待处理的人脸图像，利用特征点坐标对齐对脸部区域进行初始定位，然后将特征点初始位置放置在定位区域中心，通过级联式回归模型逐级计算，最终输出对人脸图像特征点的预测值；

所述级联式回归模型逐级计算的步骤为：

首先建立训练样本集的图像数据{I⁽ⁱ⁾}、特征点初始位置以及真实值{S^*(i)}，从第1级开始训练，依次对K个特征点分别构造随机森林，并计算样本集的全局特征进而拟合线性回归系数矩阵W₁，最后得到第1级的线性回归输出 作为下一级训练的特征点初始位置，重复训练过程，得到人脸图像的线性回归预测模型；

步骤2：随机图像的双线性模型联合优化；

首先将三维人脸模型中人脸侧面的所有坐标点作为人脸轮廓的候选点，标注人脸轮廓所有可能的候选点v_candid，并将候选点按人脸高度排列，在所有候选点v_candid中，选择法线方向与Z轴夹角最大的顶点作为可能的轮廓点v_contour，最后根据图像特征点中的轮廓部分选择与v_contour中的最近点作为三维模型中的人脸轮廓特征点v_feature，其中v_candid表示人脸轮廓的所有候选特征点，v_contour表示根据处理需要选择的待定特征点，v_feature表示最终选定的人脸轮廓特征点，当输入图像的人脸姿态有姿态偏差时，则将S₀∈R'_K×2人脸特征点坐标集合中的轮廓点替换为最终选定的人脸轮廓特征点；

根据FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：

F＝R×(Cr×ω_id×ω_exp)+T (1)

其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：

其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：

F_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)

其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：

其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：

其中R^*，T^*，f^*，分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，E_data为根据人脸特征点坐标进行条件约束的人脸几何模型投影后的模型函数，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：

其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，分别表示ω_id与ω_exp的数学期望，cov^-1(U_id)、cov^-1(U_exp)分别表示ω_id与ω_exp的方差；

加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解，则图像中人脸的三维几何模型F的优化函数表示为：

其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重；

所述图像中人脸的三维几何模型F的优化函数的计算步骤为：

将图像中人脸三维几何模型的旋转矩阵R初始化为单位矩阵，平移向量T初始化为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化与先对人脸姿态R与T进行求解，此时优化问题变为：

其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：

其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：

最后对焦距f进行优化，优化问题为：

记S_c＝Cr×ω_id×ω_exp，式(12)为关于f的线性优化，f具有最小二乘解，重复公式(9)到(12)的计算，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸模型的旋转矩阵R和平移向量T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；

步骤3：拉普拉斯变形修正；

利用曲面网格的拉普拉斯变形对步骤2中得到的人脸低分辨率模型进行修正，具体步骤为：

根据步骤2中计算求得的人脸低分辨率模型的的旋转矩阵R与平移分量T、相机焦距f以及三维人脸模型F＝R×(Cr×ω_id×ω_exp)+T，利用拉普拉斯修正变形进行优化，首先得到当前三维人脸模型的坐标顶点约束方程：

其中，为三维人脸模型的待求约束顶点，第一项为曲面拉普拉斯坐标保持项，H为拉普拉斯系数矩阵，由当前三维人脸模型的坐标顶点进行拉普拉斯矩阵变形得到，第二项为控制点约束项，要求变形后模型的特征点经旋转平移与透视投影后，在图像空间与图像特征点重合，根据步骤1得到的输入图像的人脸特征点的坐标{q_i}，v′_feature表示三维模型的特征点，w₃为控制权重，w₃取值为w₃＝0.8；

步骤4：人脸法向量计算；

利用坐标姿态变换将步骤3中修正后的低分辨率人脸模型重投影至图像空间，使低分辨率模型的投影与目标图像中的人脸重合对齐；则此时对于图像中人脸区域内的每个像素，获得该像素对应低分辨率模型上的深度值与法向量；

所述人脸法向量优化的计算步骤如下：

将输入图像中的人脸表面像素点的RGB分量分别按人脸表面法向量做集合，记像素深度值为z_ref，像素法向量为n_ref，人脸反照率ρ，从输入图像I中反向计算人脸表面法向量n(x,y)、人脸反照率ρ与光照系数的过程即最小化如下方程：

其中w₄,w₅,w₆分别对应E_albedo,E_normal与E_{integrabiilty}权重，n^*,ρ^*,分别为人脸表面法向量、人脸反照率、光照系数的待求最佳值，L表示光照系数，L＞0表示在光照系数约束方程中的取值范围，E_data为图像某点像素处的反照率、光照系数以及人脸表面法向量的最小二乘形式，表达式为：

E_albedo为对人脸反照率ρ的约束，即限制人脸反照率ρ产生皱纹等细节的明暗变化，其中LoG表示高斯拉普拉斯边缘检测算子，表达式为：

E_albedo＝∑_(x,y)∈face||LoG·ρ(x,y)-LoG·ρ_ref(x,y)||² (16)

E_normal为限制法向量n的细节变化与参考法向量n_ref一致，对每个像素点处的法向量n(x,y)单独设置权重，表达式为：

E_normal＝∑_(x,y)∈face||LoG·n(x,y)-LoG·n_ref||² (17)

E_{integrabiilty}为人脸表面构成的曲面连续函数，表达式为：

对式(14)中的照光系数建立不等式约束，令L＞0，权重取值为w₄＝0.01，w₅＝0.001，w₆＝0.1，采用坐标下降法求解，固定其中两个变量，对剩余第三个变量进行优化求解，更新所求得的变量值后，再依次对其余两个变量进行循环迭代，计算出光照系数、人脸法向量以及反照率；

步骤5：人脸深度计算；

在计算出人脸区域内每个像素对应的法向量之后，像素坐标处对应的深度值由偏微分方程(19)至公式(21)计算，对二维像素坐标进行delaunay三角剖分，并将剖分后的三角网格按照像素点深度排列生成带有人脸表面细节的三维点云模型；其中网格中的点云顶点按像素坐标分布排列，网格连接关系随机生成；

所述人脸深度计算过程如下：

在得到人脸区域内每个像素对应的法向量n(x,y)后，像素坐标(x,y)处对应的深度z(x,y)由偏微分方程(19)到(21)进行计算：

其中，p与q分别为法向量像素坐标中对x与y的偏导，表示人脸区域有效像素的边界，该边界由人脸深度初始值z_ref的阈值得到，对构成关于z(x,y)的线性方程组，使用最小二乘求解，得到输入图像的人脸深度z(x,y)；

步骤6：曲面细分与高分辨率模版处理；

使用FareWarehouse数据库中的三维人脸模型作为模板，从步骤5中得到的三维点云人脸模型与数据库的通用人脸模型进行网格点匹配，使点云人脸模型中的三维网格与通用模板模型的人脸网格分布重合，保证点云人脸模型中的网格顶点按像素坐标排列；分离后的低分辨率模板通过曲面三角细分增加顶点个数，从而转换为高分辨率模板；

所述高分辨率模板的转换步骤为：

首先，通过步骤2生成的人脸低分辨率模型生成一个人脸模型作为模板V_L，进行面部提取后，得到面部分离模型；

步骤2中生成的人脸低分辨率模型与空间点云的匹配通过为顶点位置约束来实现，顶点约束项表示模板模型中的顶点v与匹配到的点云顶点v_{icp_cloud}距离最小，由下式表示：

其中v_{icp_cloud}表示与模板顶点v_t建立双向匹配关系的点云顶点；

人脸低分辨率模型与点云匹配过程为：对模板中的一个顶点v_t，查找点云中与其距离最近的点v_{icp_cloud}，再反向查找v_{icp_cloud}在模板中对应的最近点，如果v_t与v_{icp_cloud}互为最近点，则建立双向匹配；

其次，对步骤2中获得的人脸低分辨率模型进行曲面参数化并做平面展开，采用UV空间投影将人脸低分辨率模型的三维网格映射至二维平面，使高分辨率模版逐渐在约束下向点云逼近，直至与低分辨率人脸模型完全重合，最终得到三维人脸高分辨率模型；

步骤7：人头脸模型的补齐；

在高分辨率人脸区域模型与低分辨率人头模型的对应边界处建立一条过渡三角网格带，边界区域为步骤6中分割提取出来的高分辨率人脸面部区域，将FaceWarehouse数据库的三维人头脸模型的人脸区域替换为高分辨率人脸面部区域，选取高分辨率人脸区域模型与低分辨率人脸模型各自的边界，其中高分辨率人脸区域的边界为连接区域的高分辨率模型边界区域，低分辨率人脸模型的边界为连接区域的低分辨率人脸模型边界区域，将两条边界顶点经曲面参数化的方法映射至平面，在两条边界之间用三角剖分生产三角网格，高分辨率人脸区域模型与低分辨率人脸模型连接区域网格即用于连接的过渡三角网格带；

在拼接处的顶点及其邻接顶点使用拉普拉斯平滑算法处理，具体计算表达式为：

其中：表示平滑后的第j个顶点，C_j表示第j个顶点的一环邻域，v_k表示一环邻域中的第k个顶点，N_j表示一环邻域C_j内的顶点个数；

重建后的人头模型与图像中的人脸已经在图像空间中对齐重合，通过输入图像的表面纹理将人脸图像映射至模型面，添加纹理图像，得到人头模型添加纹理映射后的图像。