CN115937429A - 一种基于单张图像的细粒度3d人脸重建方法 - Google Patents

Abstract

本发明涉及一种基于单张图像的细粒度3D人脸重建方法，对原始的人脸图像数据集进行预处理，裁剪人脸部分区域，提取人脸的mask图并标记landmarks；然后在粗糙的3D人脸重建阶段，将预处理后的人脸图像输入到人脸回归模型中，进行网络模型训练；然后根据训练后的人脸回归模型参数，输出人脸系数向量，通过渲染生成平滑二维人脸图像；再在细粒度的3D人脸重建阶段，将反照率图输入到反照率模型中，进行反照率网络模型训练。根据训练后得到的反照率模型参数输出反照率图，根据训练后得到的深度移位模型参数，输出深度移位图。本发明方法能从单张图像中重建出细粒度的3D人脸几何和纹理信息，还对自然界中不同条件下人脸图像具有鲁棒性，应用于虚拟现实和娱乐影视。

Description

一种基于单张图像的细粒度3D人脸重建方法

技术领域

本发明涉及3D人脸重建及图形与图像处理技术领域，特别涉及一种基于单张图像的细粒度3D人脸重建方法。

背景技术

伴随着虚拟现实技术、娱乐影视产业的蓬勃发展，3D人脸重建受到广泛地关注，并具有较高的研究价值和实用价值。传统的3D人脸重建技术，例如立体视觉法、激光扫描法等，需要从多张人脸图像中恢复出具体人脸的三维结构。但这些方法计算过程比较复杂、实时性低、应用场景较为受限，并且需要昂贵的设备支持。

随着深度学习的迅速发展，近年来越来越多的研究人员将目光聚焦于基于单张人脸图像的三维重建，并取得了显著提高。与传统的方法相比，基于单张图像的3D人脸重建方法可以实现准确度和成本之间的平衡，具有灵活度高、适应性强、应用场景更广泛等优势。但由于二维人脸图像提供的信息太少并且容易受到遮挡、极大的姿势或严苛的光照环境等影响，从单张图像中重建的3D人脸过于平滑，很难恢复出随表情变化的皱纹等细节信息。因此，如何从自然环境获取的单张人脸图像中重建出高保真、细粒度的3D人脸，是目前亟需解决的关键问题。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于单张图像的细粒度3D人脸重建方法，使用基于由粗糙到精细(Coarse-to-fine)结构的用于对单张人脸图像进行细粒度3D重建的方法，该方法不仅能够恢复随着表情变化的皱纹等丰富的人脸结构信息，还对遮挡、极大的姿势和不同的光照条件下的人脸图像具有鲁棒性。

为达到上述目的，本发明采用如下的技术方案：

一种基于单张图像的细粒度3D人脸重建方法，其步骤如下：

步骤1：对原始的人脸图像数据集进行预处理，裁剪人脸部分的区域，提取人脸的mask图并标记68个landmarks；

步骤2：在粗糙的3D人脸重建阶段，将预处理后的人脸图像输入到人脸回归模型中，进行网络模型训练；

步骤3：根据步骤2训练后的人脸回归模型参数，输出人脸系数向量，利用3DMM(3DMorphable Model)先验模型重建出粗糙的3D人脸，并通过渲染生成平滑的二维人脸图像；

步骤4：在细粒度的3D人脸重建阶段，将步骤3生成的反照率图输入到反照率模型中，进行反照率网络模型训练；对输入的人脸图像和步骤3中渲染的平滑人脸图像分别进行UV变换，并将变换后的UV图输入到深度移位模型中，进行深度移位网络模型训练；

步骤5：根据步骤4训练后得到的反照率模型参数，输出详细的反照率图，并根据步骤4训练后得到的深度移位模型参数，输出深度移位图；将步骤3重建的3D人脸结合其详细的反照率图和深度移位图合成细粒度的3D人脸，并通过可微分渲染器生成细粒度的人脸图像。

优选地，所述步骤1的预处理包括如下操作：

1-1：对于原始的人脸图像，利用face-alignment方法裁剪出人脸部分的区域，并将裁剪后的人脸图像的大小缩放为300×300；

1-2：利用人脸的标记点检测方法FAN提取68个landmarks标记点；

1-3：利用3DDFA_V2方法获取人脸mask图；

1-4：最终得到191081个人脸数据集对，包括处理后的人脸图像和对应的68个landmarks、mask图，将随机选取181081个人脸数据集对用于训练，剩下的10000个人脸图像用于测试。

优选地，所述步骤2的粗糙阶段的人脸回归模型训练包括如下操作：

2-1：将训练集中的人脸图像的大小缩放到224×224；

2-2：将人脸图像输入到人脸回归模型R-Net中进行训练；

2-3：损失函数由四个损失项构成，分别是光度损失、标记点损失、身份感知损失和正则化损失；

2-4：人脸回归模型R-Net采用Adam的优化算法，学习率为0.00001，批处理尺寸为16，总共进行250000次迭代训练。

优选地，所述步骤3粗糙阶段的3D人脸重建和渲染结果包括如下操作：

3-1：经过250000次的迭代训练后，得到对应的人脸回归模型R-Net的训练参数；

3-2：将测试集输入训练好的人脸回归模型R-Net中，得到模型预测的人脸系数向量包括人脸的身份、反照率、表情、姿势和光照；

3-3：通过3DMM先验模型根据人脸的身份、反照率和表情参数向量重建出粗糙的3D人脸和反照率图；

3-4：利用可微分渲染器通过人脸的姿势和光照系数进行渲染并生成平滑的人脸图像。

优选地，所述步骤4的细粒度阶段的反照率模型和深度移位模型的训练包括如下操作：

4-1：将步骤3生成的平滑反照率图输入反照率模型Albedo-Net中进行训练；

4-2：对输入的人脸图像和步骤3中渲染的平滑的人脸图像分别进行UV变换，将变换后的UV图进行像素级相减得到UV移位图，并将UV移位图输入到深度移位模型Disp-Net中进行训练；

4-3：损失函数由四个损失项组成，分别是光度损失、感知损失、反照率损失和平滑损失；

4-4：反照率模型Albedo-Net和深度移位模型Disp-Net采用Adam的优化算法，学习率为0.00005，批处理尺寸为10，总共进行250000次迭代训练。

优选地，所述步骤5的细粒度的人脸图像渲染结果包括如下操作：

5-1：经过250000次的迭代训练后，分别得到对应的反照率模型Albedo-Net和深度移位模型Disp-Net的训练参数；

5-2：将步骤3生成的平滑反照率图输入训练好的反照率模型Albedo-Net中，输出具有详细信息的反照率图；

5-3：将对输入的人脸图像和步骤3中渲染的平滑的人脸图像分别进行UV变换，将变换后的UV图进行像素级相减得到UV移位图，并将UV移位图输入训练好的深度移位模型Disp-Net中，输出具有丰富细节信息的深度移位图；

5-4：将步骤3重建粗糙的3D人脸结合其具有细节信息的反照率图和深度移位图合成细粒度的3D人脸，通过可微分渲染器进行3D人脸渲染并生成高保真的人脸图像。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1、本发明设计一种由粗糙到精细(Coarse-to-fine)的3D人脸重建框架。在粗糙阶段，通过输入单张人脸图像能够准确地重建出平滑的3D人脸。在精细化阶段，通过设计深度移位模型Disp-Net和反照率模型Albedo-Net，能够有效地恢复细粒度的3D人脸的结构信息，并通过渲染能够生成高真实感的人脸图像；

2、与现有方法相比，本发明能从单张图像中重建出高保真的3D人脸几何和纹理信息，还对自然界中极端条件下的人脸图像具有鲁棒性，这对于虚拟现实和娱乐影视的发展具有重要的意义。

附图说明

图1为本发明方法的程序框图。

图2为本发明方法的整体流程图。

图3为本发明方法的反照率模型Albedo-Net的网络结构。

图4为本发明方法的深度移位模型Disp-Net的网络结构。

图5为本发明方法设计的由粗糙到精简(Coarse-to-fine)框架对单张人脸图像重建的3D人脸结果图。

图6和图7为本发明方法设计的由粗糙到精简(Coarse-to-fine)框架对单张人脸图像重建的3D人脸结果图与多个现有方法的结果对比图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细的说明。

实施例一：

参见图1，一种基于单张图像的细粒度3D人脸重建方法，包含以下操作步骤：

步骤1：对原始的人脸图像数据集进行预处理，裁剪人脸部分的区域，提取人脸的mask图并标记68个landmarks；

步骤2：在粗糙的3D人脸重建阶段，将预处理后的人脸图像输入到人脸回归模型中，进行网络模型训练；

步骤3：根据步骤2训练后的人脸回归模型参数，输出人脸系数向量，利用3DMM先验模型重建出粗糙的3D人脸，并通过渲染生成平滑的二维人脸图像；

步骤4：在细粒度的3D人脸重建阶段，将步骤3生成的反照率图输入到反照率模型中，进行反照率网络模型训练。对输入的人脸图像和步骤3中渲染的平滑人脸图像分别进行UV变换，并将变换后的UV图输入到深度移位模型中，进行深度移位网络模型训练；

步骤5：根据步骤4训练后得到的反照率模型参数，输出详细的反照率图，并根据步骤4训练后得到的深度移位模型参数，输出深度移位图。将步骤3重建的3D人脸结合其详细的反照率图和深度移位图合成细粒度的3D人脸，并通过可微分渲染器生成细粒度的人脸图像。

本实施例方法只需要从单张人脸图像中就可以重建出具有丰富细节的3D人脸结构特征和真实感的纹理信息，简单易行，成本低，而不需要昂贵的硬件设备和具体的应用场景。

实施例二：

本实施例二与实施例一基本相同，特别之处如下：

所述步骤1的预处理包括如下操作：

1-1：对于原始的人脸图像，利用face-alignment方法裁剪出人脸部分的区域，并将裁剪后的人脸图像的大小缩放为300×300；

1-2：利用人脸的标记点检测方法FAN标记68个landmarks标记点；

1-3：利用3DDFA_V2方法获取人脸mask图，其中1代表人脸区域，0代表非人脸区域；

1-4：最终获取191081个人脸数据集对，包括预处理后的人脸图像和对应的68个landmarks以及mask图，将随机选取181081个人脸数据集对用于训练，剩下的10000个人脸图像用于测试。

所述步骤2的人脸回归网络模型的训练包括如下操作：

2-1：将训练集中的人脸图像的大小缩放到224×224；

2-2：将人脸图像输入如图2所示的基于人脸识别网络VGG-Face的人脸回归模型R-Net中进行训练，本发明使用一个全连接层替换VGG-Face的最后一层网络层，用于回归低维的人脸参数向量；

2-3：损失函数由四个损失项组成，分别是光度损失、标记点损失、身份感知损失和正则化损失；

所述损失函数的表达式如下：

L_coarse＝λ_phoL_pho+λ_lmkL_lmk+λ_idL_id+λ_regL_reg  (1)

其中，L_coarse表示粗糙的3D人脸重建阶段的损失函数，L_pho代表光度损失，L_lmk是标记点损失，L_id是感知损失，L_reg为正则化损失，λ_pho，λ_lmk，λ_id和L_reg分别是光度损失、标记点损失、身份感知损失和正则化损失所对应的权重系数。

为了提高重建3D人脸的准确度，本发明使用光度损失函数L_pho去增强步骤3中渲染的人脸图像与输入的人脸图像之间的相似性。L_pho的详细表达式如下：

式中M代表图像像素的索引，I代表输入的人脸图像，I_R表示步骤3渲染的平滑的人脸图像，另外V是通过步骤1中的3DDFA_V2方法获取的人脸mask图，其中1代表人脸区域，0代表非人脸区域。

为了有效地对齐重建的3D人脸的姿势和表情，本发明使用标记点损失函数L_lmk去降低输入人脸图像的68个landmarks与渲染的人脸图像的68个landmarks之间的误差。L_lmk的详细表达式如下：

其中，q_i代表输入图像I的第i个landmark标记点，

表示步骤3中渲染的人脸图像I_R的第i个landmark标记点，N＝68表示人脸标记点landmarks的数量。

为了提高重建具体身份的3D人脸的准确度，本发明使用身份感知损失函数L_id去降低输入的人脸图像与步骤3中渲染的人脸图像之前的身份误差。L_id的详细表达式如下：

式中φ(I)和φ(I_R)代表预训练好的人脸识别模型VGG-Face分别从输入的人脸图像和步骤3中渲染的人脸图像中提取的特征向量。

此外，为了防止重建的3D人脸出现变形，本发明使用正则化损失函数L_reg去防止步骤3中通过人脸回归模型R-Net预测的人脸身份、表情和反照率系数向量的值过大。L_reg的详细表达式如下：

L_reg＝λ_α||α||²+λ_β||β||²+λ_δ||δ||²  (5)

其中，α、β和δ分别表示步骤3中通过人脸回归模型R-Net预测的人脸身份、表情和反照率系数向量，λ_α、λ_β和λ_δ分别表示这些正则项所对应的权重参数。

2-4：人脸回归模型R-Net采用Adam的优化算法，学习率为0.00001，批处理尺寸为16，总共进行250000次迭代训练。

所述步骤3的粗糙阶段的3D人脸重建和渲染包括如下操作：

3-1：经过250000次的迭代训练后，得到对应的人脸回归模型R-Net的训练参数；

3-2：将测试集的人脸图像I输入训练好的人脸回归模型R-Net中，得到模型预测的人脸系数向量

其中人脸的身份系数

反照率系数

表情系数

姿势

和光照系数

3-3：通过3DMM先验模型根据人脸的身份α、反照率β和表情系数向量δ重建出粗糙的3D人脸形状和反照率图，3D人脸形状和反照率的详细表达式如下：

式中

和

分别代表3D人脸形状和反照率的平均值，

和

分别表示人脸身份、表情和反照率主成分的基，α、β和δ分别表示人脸身份、表情和反照率系数向量。其中，本发明使用的人脸身份主成分的基B_id和反照率主成分的基B_t来自于贝塞尔人脸模型BFM，表情主成分的基B_exp来自于Facewarehouse模型。最终，3D人脸的表达式如下：

其中，N＝53215代表3D人脸包含的顶点数量。

3-4：利用可微分渲染器通过人脸的姿势和光照系数向量进行渲染并生成平滑的人脸图像，其中相机模型的表达式如下：

因为训练集使用的是自然界的人脸图像，本发明采用感知相机模型根据人脸姿势系数向量将3D人脸投射到二维图像空间，人脸姿势系数向量被定义为p＝{R,T}，其中R表示旋转向量，T表示平移向量。将3D人脸投射到二维图像空间的表达式如下：

v＝Π(fRM_i+t) (9)

式中M_i∈R³代表3D人脸的顶点位置向量，f代表相机模型的缩放因子，Π∈R^2×3代表从三维到二维的正交变换，v表示二维顶点向量。

本发明使用球谐函数SH(Spherical Harmonics)对环境光照模型进行模拟，因此人脸表面着色的表达式如下：

其中，b＝3代表球谐波段，γ表示人脸光照系数向量，t_i表示反照率T的皮肤纹理，n_i表示3D人脸的表面法向量，φ_b∈R³→R代表球谐基函数，e表示阿达玛积。

最终，通过步骤3-2中获取人脸的身份系数

反照率系数

表情系数

姿势

和光照系数

本发明方法就能利用可微分渲染器从步骤3-3重构的粗糙的3D人脸中进行渲染并生成平滑的人脸图像，其人脸图像渲染的表达式如下：

I_R＝R(M(α,β,δ),p,C(γ)) (11)

式中R代表渲染操作。

所述步骤4的细粒度3D人脸重建阶段的反照率模型和深度移位模型的训练包括如下操作：

4-1：将步骤3生成的平滑反照率图输入反照率模型Albedo-Net中进行训练，完整的反照率模型Albedo-Net的网络结构如图3所示：

本发明使用基于U型的反照率模型Albedo-Net，分别包含了10个下采样层和上采样层。网络输入的是从步骤3获取的通道数为3，大小为512×512的平滑的反照率图，输出的通道数为3，大小为512×512的带有细节信息的反照率图。对于第1个下采样卷积层使用3×3的卷积核，stride为1，并且采用了LeRU的激活函数，输出的特征图的大小不变，通道数为16。后9个下采样层使用3×3的卷积核，stride为2，采用了LeRU的激活函数，输出特征图的大小依次较前一层降低2倍。前9个上采样反卷积层使用的卷积核的大小为3×3，stride为2，采用了LeRU的激活函数，并且使用特征向量相加的跳跃连接层，输出特征图的大小依次较前一层增加2倍，最终输出特征层的大小为512×512。最后一个上采样反卷积层使用卷积核的大小为3×3，stride为1，并且采用了Sigmoid的激活函数以产生最终得到具有细节信息大小为512×512的反照率图。本发明是通过无监督方式对反照率模型Albedo-Net进行训练，没有使用ground-truth数据集。

4-2：对输入的人脸图像I和步骤3中渲染的平滑的人脸图像I_R分别进行UV变换，将变换后的UV图进行像素级相减得到UV移位图，并将UV移位图输入到深度移位模型Disp-Net中进行训练，其中完整的深度移位模型Disp-Net的网络结构如图4所示：

本发明使用深度移位模型Disp-Net与反照率模型Albedo-Net具有相同的结构，分别包含了10个下采样层和上采样层。网络输入的通道数为3，大小为512×512的UV移位图，输出的通道数为1，大小为512×512的带有丰富人脸结构信息的深度移位图。对于第1个下采样卷积层使用3×3的卷积核，stride为1，并且采用了LeRU的激活函数，输出的特征图的大小不变，通道数为16。后9个下采样层使用3×3的卷积核，stride为2，采用了LeRU的激活函数，输出特征图的大小依次较前一层降低2倍。前9个上采样反卷积层使用的卷积核的大小为3×3，stride为2，采用了LeRU的激活函数，并且使用特征向量相加的跳跃连接层，输出特征图的大小依次较前一层增加2倍，最终输出特征层的大小为512×512。最后一个上采样反卷积层使用卷积核的大小为3×3，stride为1，并且采用了Tanh的激活函数以产生最终得到具有随表情变化的皱纹等丰富信息、大小为512×512的深度移位图。本发明是通过无监督方式对深度移位模型Disp-Net进行训练，没有使用ground-truth数据集。

4-3：损失函数由四个损失项组成，分别是光度损失、身份感知损失、反照率损失和平滑损失；

所述损失函数的表达式如下：

L_fine＝λ_phoL_pho+λ_idL_id+λ_albL_alb+λ_smoL_smo  (12)

其中，L_fine表示细粒度的3D人脸重建阶段的损失函数，L_pho和L_id分别表示步骤2-3中粗糙的3D人脸重建阶段的光度损失和身份感知损失，L_alb是反照率损失，L_smo为平滑损失，λ_pho，λ_id，λ_alb和L_smo分别是光度损失、身份感知损失、反照率损失和平滑损失所对应的权重系数。

本发明使用反照率损失函数L_alb能够有效防止生成的反照率图出现伪影，L_alb的详细表达式如下：

式中

代表模型输出的细节反照率图，A代表步骤3生成的平滑反照率图。

此外，为了有效地降低一些遮挡、大姿势等条件下的人脸图像对重建的3D人脸造成一定的扭曲等影响，本发明使用平滑损失函数L_smo去提高法向量图和深度移位图的相邻像素值的相似度，L_smo的详细表达式如下：

其中，Vn(i)代表粗糙阶段生成的法向量图和细粒度阶段生成的法向量图的第i个像素差，Vd(i)代表粗糙阶段生成的深度图和细粒度阶段生成的深度图的第i个像素差，V_uv表示在UV空间中的顶点，N(i)表示距离第i个顶点半径为1的相邻顶点集合，w_n和w_d为两个损失项的权重系数。

4-4：反照率模型Albedo-Net和深度移位模型Disp-Net采用Adam的优化算法，学习率为0.00005，批处理尺寸为10，总共进行250000次迭代训练。

所述步骤5的细粒度阶段的3D人脸重建和渲染包括如下操作：

5-1：经过250000次的迭代训练后，得到对应的反照率模型Albedo-Net和深度移位模型Disp-Net的训练参数；

5-2：将步骤3中生成的平滑反照率图输入训练好的反照率模型Albedo-Net中，输出具有详细信息的反照率图；

5-3：将对输入的人脸图像I和步骤3中渲染的平滑的人脸图像I_R分别进行UV变换，将变换后的UV图进行像素级相减得到UV移位图，并将UV移位图输入训练好的深度移位模型Disp-Net中，输出具有丰富细节信息的深度移位图；

5-4：将步骤3重建粗糙的3D人脸结合其具有丰富人脸细节信息的反照率图和深度移位图合成细粒度的3D人脸，通过可微分渲染器进行3D人脸渲染并生成高真实感的人脸图像。

本实施例方法从公共人脸图像数据集CelebA和LFW中选取一部分图像本发明方法的性能验证。采用本发明方法对人脸图像进行细粒度的3D人脸重建，并分别与最先进的粗糙的3D人脸重建方法：RingNet、Deep3DFace、3DDFA_V2、MGCNet以及细粒度的3D人脸重建方法：Nonlinear_Face、Facescape、Unsupervised-detail、DECA进行对比。本发明方法重建的效果如图5所示，细粒度阶段重建3D人脸的法向量图、人脸几何以及渲染的结果明显比粗糙阶段重建的3D人脸具有更丰富细节的人脸结构和纹理信息，而且真实感更高。图6和图7分别是本发明方法和现有最先进的方法重建的3D人脸几何和渲染结果的比较。由图6的对比结果可以看出，本发明方法能够从不同的姿势、遮挡的人脸图像中重建出更准确、细粒度的人脸几何结构，恢复的随表情变化的皱纹等信息更加丰富。并且由图7能够明显地看出，本发明方法对于不同的光照、姿势、遮挡条件下的3D人脸渲染效果更加真实，纹理细节更加丰富。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (6)

1.一种基于单张图像的细粒度3D人脸重建方法，其特征在于，操作步骤如下：

步骤1：对原始人脸图像数据集进行预处理，裁剪人脸部分的区域，提取人脸的mask图并标记人脸区域的68个landmarks；

步骤2：在粗糙的3D人脸重建阶段，将裁剪后的人脸图像输入到人脸回归网络中，进行网络模型训练；

步骤3：根据人脸回归模型训练后得到的训练参数，输出人脸系数，利用3DMM先验模型重建出粗糙的3D人脸，并通过可微分渲染器生成平滑的人脸图像；

步骤4：在细粒度的3D人脸重建阶段，将步骤3生成的反照率图输入到反照率模型中，进行反照率网络模型训练；对输入的人脸图像和步骤3中生成的平滑的人脸图像分别进行UV变换，并将变换后的UV图输入到深度移位模型中，进行深度移位网络模型训练；

步骤5：根据反照率模型训练后得到的训练参数，输出详细的反照率图，并根据深度移位模型训练后得到的训练参数，输出深度移位图；将步骤3重建的3D人脸结合其详细的反照率图和深度移位图合成细粒度的3D人脸，并通过可微分渲染器生成细粒度的人脸图像。

2.根据权利要求1所述的一种基于单张图像的细粒度3D人脸重建方法，其特征在于，所述步骤1的预处理包括如下具体操作步骤：

1-1：对于原始的人脸图像，利用face-alignment方法裁剪出人脸部分的区域，并将裁剪后的人脸图像的大小缩放为300×300；

1-2：利用人脸的标记点检测方法FAN提取人脸图像的68个landmarks；

1-3：利用3DDFA_V2方法获取人脸mask图；

1-4：最终获取191081个人脸数据集对，包括剪切的人脸图像、landmarks和mask图，将随机选取181081个人脸数据集对用于训练，剩下的10000个人脸图像用于测试。

3.根据权利要求1所述的一种基于单张图像的细粒度3D人脸重建方法，其特征在于，所述步骤2粗糙阶段的人脸回归模型训练包括如下具体操作步骤：

2-1：将训练集中的人脸图像的大小缩放到224×224；

2-2：将人脸图像输入人脸回归模型R-Net进行训练；

2-3：损失函数由四个损失项组成，分别是光度损失、标记点损失、身份感知损失和正则化损失；

2-4：人脸回归模型采用Adam的优化算法，学习率为0.00001，批处理尺寸为16，总共进行250000次迭代训练。

4.根据权利要求1所述的一种基于单张图像的细粒度3D人脸重建方法，其特征在于，所述步骤3的平滑的人脸图像渲染结果包括如下具体操作步骤：

3-1：经过250000次的迭代训练后，得到对应的人脸回归模型R-Net的训练参数；

3-2：将测试集输入训练好的人脸回归模型，得到模型预测的人脸系数向量包括人脸的身份、反照率、表情、姿势和光照；

3-3：通过3DMM先验模型利用人脸的身份、反照率和表情系数向量重建出粗糙的3D人脸和反照率图；

3-4：利用可微分渲染器通过人脸的姿势和光照参数进行3D人脸渲染并生成平滑的人脸图像。

5.根据权利要求1所述的一种基于单张图像的细粒度3D人脸重建方法，其特征在于，所述步骤4细粒度阶段的反照率模型和深度移位模型的训练包括如下具体操作步骤：

4-1：将步骤3生成的平滑反照率图输入反照率模型Albedo-Net中进行训练；

4-2：对输入的人脸图像和步骤3中渲染的平滑的人脸图像分别进行UV变换，将变换后的UV图进行像素级相减得到UV移位图，并将UV移位图输入到深度移位模型Disp-Net中进行训练；

4-3：损失函数由四个损失项组成，分别是光度损失、感知损失、反照率损失和平滑损失；

4-4：反照率模型Albedo-Net和深度移位模型Disp-Net采用Adam的优化算法，学习率为0.00005，批处理尺寸为10，总共250000次迭代训练。

6.根据权利要求1所述的一种基于单张图像的细粒度3D人脸重建方法，其特征在于，所述步骤5细粒度的人脸图像渲染结果包括如下具体操作步骤：

5-1：经过250000次的迭代训练后，得到对应的反照率模型Albedo-Net和深度移位模型Disp-Net的训练参数；

5-2：将步骤3生成的平滑反照率图输入训练好的反照率模型Albedo-Net中，输出具有详细信息的反照率图；

5-3：将对输入的人脸图像和步骤3中渲染的平滑的人脸图像分别进行UV变换，将变换后的UV图进行像素级相减得到UV移位图，并将UV移位图输入训练好的深度移位模型Disp-Net中，输出具有丰富细节信息的深度移位图；

5-4：将步骤3重建粗糙的3D人脸结合其具有详细信息的反照率图和深度移位图合成细粒度的3D人脸，通过可微分渲染器进行3D人脸渲染并生成细粒度的人脸图像。

Images