CN110428491A - 基于单帧图像的三维人脸重建方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种基于单帧图像的三维人脸重建方法、装置、设备及存储介质，获取二维人脸图像，将二维人脸图像输入预设三维人脸模型中进行正映射，得到与二维人脸图像对应的人脸法向量映射图和人脸纹理映射图，将人脸法向量映射图和人脸纹理映射图输入至人脸表观属性分解网络中，得到与二维人脸图像对应的人脸表观属性分解结果，将人脸表观属性分解结果输入预设三维人脸模型中进行反映射，得到反映射结果，根据反映射结果重建三维人脸图像，基于上述方案可以得到完整的人脸三维模型以及准确分离出的完整人脸表观属性，从而提高了人脸建模结果的准确性。

Description

基于单帧图像的三维人脸重建方法、装置、设备及介质

技术领域

本申请涉及图形图像处理领域，特别涉及一种基于单帧图像的三维人脸重建方法、装置、设备及介质。

背景技术

随着近年来智能手机和移动计算设备的普及，为传统的社交模式带来了新的变革。人们之间交流的信息已经从过去的文字信息慢慢过渡为语音、图片、乃至是视频。

随着目前基于单帧图像的三维人脸重建技术的普及，更多的应用随之而来，例如游戏虚拟人物捏脸，虚拟换妆，高光剔除，艺术光照环境替换等。为了使人脸建模更加逼真且可以进行精准的编辑，需要对人脸反照率、人脸形状和拍摄图片的环境光照信息进行建模。在人脸上编辑新的属性一般需要将图片原有的光照属性剔除，得到人脸真实肤色，在此基础上，再对人脸进行化妆打光等操作。然而，由于真实人脸图片的光照环境千变万化，人脸的肤色也各不相同，使得人脸分解的任务变得困难重重。近来，越来越多的研究员和工程师开始使用数据驱动的方式来解决人脸重建问题，对比已有的传统算法，数据驱动的方式不需要大量的人脸先验假设，仅需设计好网络模型与数据组成即可得到一个有效的算法模型。

但相关技术一般是对单张图片直接操作，即在当前的二维图片空间下对每个像素点进行操作。如图1所示，输入图像经过下卷积后会分为三个分支，分别为法向量估计分支、光照估计分支和反照率估计分支，估计出的法向量变量和低频光照相互作用，得到渲染着色效果，再将其与估计出的反照率相乘，得到重建的图片。由于现有技术中存在无法分离皮肤油性导致的高光以及无法对面部有遮挡的部分进行估计，因此，导致最终的人脸建模结果并不准确。

发明内容

本申请的目的在于提供一种基于单帧图像的三维人脸重建方法、装置、设备及存储介质，以提高人脸建模结果的准确性。

第一方面，本申请实施例提供了一种基于单帧图像的三维人脸重建方法，包括：

获取二维人脸图像；

将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果；

将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果；

根据所述反映射结果重建三维人脸图像。

在一种可能的实现方式中，所述预设三维人脸模型采用三维可形变模型3DMM。

在一种可能的实现方式中，所述人脸表观属性分解网络包括：反照率估计子网络、光照估计子网络以及法向量优化子网络。

在一种可能的实现方式中，所述人脸表观属性分解结果包括：完整反照率映射图、优化后法向量映射图、中低频光照系数以及高频光照系数；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果，包括：

将所述人脸法向量映射图输入训练好的的法向量优化子网络进行优化，得到优化后法向量映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入训练好的的光照估计子网络，得到其输出的中低频光照系数以及高频光照系数；

将所述人脸纹理映射图输入至训练好的的反照率估计子网络，得到其输出的完整反照率映射图。

在一种可能的实现方式中，所述将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果，包括：

将所述中低频光照系数以及高频光照系数输入预设渲染模型中进行渲染，得到漫反射渲染以及镜面反射渲染；

将所述完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染输入所述预设三维人脸模型中进行反映射，得到所述二维人脸图像对应的反照率、漫反射、高光以及法向量。

在一种可能的实现方式中，所述方法还包括：

获取所述人脸表观属性分解网络的各子网络对应的训练样本；

根据所述反照率估计子网络对应的训练样本，采用生成对抗网络和反照率参照库对反照率估计子网络进行训练，得到所述反照率估计子网络的参数，所述反照率参照库中包括反照率参照样本；

根据所述光照估计子网络对应的训练样本，对光照估计子网络进行训练，得到所述光照估计子网络的参数；

根据所述法向量优化子网络对应的训练样本，采用法向量参照库对法向量优化子网络进行训练，得到所述法向量优化子网络的参数，所述法向量参照库中包括法向量参照样本。

第二方面，本申请实施例提供了一种基于单帧图像的三维人脸重建装置，包括：

获取模块，用于获取二维人脸图像；

正映射模块，用于将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图；

属性分解模块，用于将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果；

反映射模块，用于将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果；

重建模块，用于根据所述反映射结果重建三维人脸图像。

在一种可能的实现方式中，所述预设三维人脸模型采用三维可形变模型3DMM。

在一种可能的实现方式中，所述人脸表观属性分解网络包括：反照率估计子网络、光照估计子网络以及法向量优化子网络。

在一种可能的实现方式中，所述人脸表观属性分解结果包括：完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染；

所述属性分解模块，具体用于：

将所述人脸法向量映射图输入预训练的法向量优化子网络进行优化，得到优化后法向量映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入预训练的光照估计子网络，得到其输出的漫反射渲染以及镜面反射渲染；

将所述人脸纹理映射图输入至预训练的反照率估计子网络，得到其输出的完整反照率映射图。

在一种可能的实现方式中，所述反映射模块，具体用于：

将所述完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染输入所述预设三维人脸模型中进行反映射，得到所述二维人脸图像对应的反照率、漫反射、高光以及法向量。

在一种可能的实现方式中，所述装置还包括：训练模块，用于：

获取所述人脸表观属性分解网络的各子网络对应的训练样本；

根据所述反照率估计子网络对应的训练样本，采用生成对抗网络和反照率参照库对反照率估计子网络进行预训练，得到所述反照率估计子网络的参数，所述反照率参照库中包括反照率参照样本；

根据所述光照估计子网络对应的训练样本，对光照估计子网络进行预训练，得到所述光照估计子网络的参数；

根据所述法向量优化子网络对应的训练样本，采用法向量参照库对法向量优化子网络进行预训练，得到所述法向量优化子网络的参数，所述法向量参照库中包括法向量参照样本。

第三方面，本申请实施例提供了一种电子设备，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

其中，所述处理器执行所述存储器中的计算机程序，以实现上述第一方面中所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述第一方面中所述的方法。

与现有技术相比，本申请提供的基于单帧图像的三维人脸重建方法、装置、设备及存储介质，获取二维人脸图像，将二维人脸图像输入预设三维人脸模型中进行正映射，得到与二维人脸图像对应的人脸法向量映射图和人脸纹理映射图，将人脸法向量映射图和人脸纹理映射图输入至人脸表观属性分解网络中，得到与二维人脸图像对应的人脸表观属性分解结果，将人脸表观属性分解结果输入预设三维人脸模型中进行反映射，得到反映射结果，根据反映射结果重建三维人脸图像，基于上述方案可以得到完整的人脸三维模型以及准确分离出的完整人脸表观属性，从而提高了人脸建模结果的准确性。

附图说明

图1为现有的三维人脸重建网络的结构示意图；

图2为本申请实施例一提供的基于单帧图像的三维人脸重建方法的流程示意图；

图3为本申请实施例提供的三维人脸重建网络的结构示意图；

图4为本申请实施例提供的人脸表观属性分解网络预训练的流程示意图；

图5为本申请实施例提供的对人脸高光进行编辑的流程示意图；

图6为本申请实施例提供的人脸高光编辑效果图；

图7为本申请实施例提供的对人脸漫反射进行编辑的流程示意图；

图8为本申请实施例提供的人脸漫反射编辑效果图

图9为本申请实施例二提供的基于单帧图像的三维人脸重建装置的结构示意图；

图10为本申请实施例三提供的电子设备的结构示意图。

具体实施方式

下面结合附图，对本申请的具体实施方式进行详细描述，但应当理解本申请的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1所示的现有的三维人脸重建方法存在下述缺点：

a、无法分离皮肤油性导致的高光，导致高光部分残留在反照率上，如图1中的嘴唇部分所示。真实情况中人脸油性导致的高光现象非常普遍，现有技术没有办法对其进行建模并进行估计。

b、无法对面部有遮挡的部分(如面部侧面)进行估计，由于现有方法都是在图像空间下对每个像素点进行操作，所以对于面部侧面等被遮挡部分无法得到其反照率和法向量等信息。

c、无法恢复完整频率的环境光照信息，现有方法对光照模型进行了极大的简化以使模型更加易于训练，然而却忽略了高频光照(高光)的存在，导致最终的人脸建模结果并不准确。

正是由于上述原因，本申请提出了如下实施例。

图2为本申请实施例一提供的基于单帧图像的三维人脸重建方法的流程示意图，如图2所示，该方法包括以下步骤S201～S205：

S201、获取二维人脸图像。

本实施例中，可以通过摄像设备采集二维人脸图像，也可以在已采集的图像数据库中直接获取。值得一提的是，该二维人脸图像中存在人脸图像，该人脸图像可以是正面的，也可以是侧面的。

S202、将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图。

三维人脸涵盖几何结构与表观结构两大信息，其中几何结构可使用参数化的三维可形变模型3DMM来表示，表观结构可使用接近真实感的反射模型(包含反照率、形状、环境光照)来近似表示真实的物理环境。

本实施例中，上述预设三维人脸模型采用三维可形变模型3DMM。如图3所示，图3为本申请实施例提供的三维人脸重建网络的结构示意图。将获取的二维人脸图像作为输入图像，拟合3DMM，进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图。

S203、将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果。

本实施例中，上述人脸表观属性分解网络包括：反照率估计子网络、光照估计子网络以及法向量优化子网络。其中，反照率估计子网络用于估计人脸反照率以及对人脸遮挡部分的反照率进行恢复，该子网络分解出的人脸反照率可真实反映完整的人脸肤色情况，该反照率估计子网络的结构可以为Encoder-Decoder结构。光照估计子网络用于分解二维人脸图像拍摄时的光照状况，该光照状况为完整频率的光照，包括中低频光照(用于漫反射)和高频光照(用于镜面反射)，如图3中所示，L^d表示中低频光照系数，L^s表示高频光照系数，光照估计子网络中的人脸高频光照表示模型可以采用Blinn-Phong模型或者Phong模型。法向量优化子网络用于对人脸遮挡部分的法向量进行补全优化。

具体的，上述步骤S203，可实现为：

203a、将所述人脸法向量映射图输入训练好的的法向量优化子网络进行优化，得到优化后法向量映射图。

203b、将所述人脸法向量映射图和所述人脸纹理映射图输入训练好的的光照估计子网络，得到其输出的得到其输出的中低频光照系数以及高频光照系数。

203c、将所述人脸纹理映射图输入至训练好的的反照率估计子网络，得到其输出的完整反照率映射图。

因此，经过人脸表观属性分解网络分解，得到的人脸表观属性分解结果可以包括：完整反照率映射图、优化后法向量映射图、中低频光照系数以及高频光照系数。

反照率表示包含两种方式，一种是参数化的表示，这种方式可以利用少量的参数化系数来表征大概的人脸纹理，缺乏足够的细节；另一种是非参数化的表示形式，保留每个三维点的反照率，将三维点的反照率映射到一个纹理空间，这种方式可以最大化的保留人脸纹理信息，使得重建出来的纹理尽可能真实。

本实施例中，采用了非参数化的反照率估计子网络，与参数化的光照估计子网络来拟合复杂的人脸表观结构。这种方式有几个优点：1)非参数化的人脸反照率使得重建的结果更加逼真；2)参数化的光照使得人脸光照编辑变得非常方便；3)通过这种方式可以很好的拟合人脸真实图片，保证三维人脸重建的投影结果与原二维人脸图像完全一致，将原二维人脸图像的信息最大化的利用起来。

为了能够对人脸表观属性进行分解，本实施例中，还包括训练上述各子网络的步骤。

现实生活中拍摄的大量互联网图片都是缺少反照率、法向量、光照等监督数据标签的，如何从互联网大数据中训练网络学习估计这些三维人脸属性成为一个非常困难的问题。现有方法使用的人脸表观模型往往过于简单，因此合成出的数据与真实人脸图片相差甚远，使用这些图片对网络进行训练会导致神经网络在合成数据上表现良好但是在真实数据上缺乏泛化性。为了解决该问题，本申请提出了自进化的训练方法来逐渐消除合成数据与真实数据间的差异。

故如图4所示，上述方法还包括以下步骤：

S301、获取所述人脸表观属性分解网络的各子网络对应的训练样本；

本实施例中，所有采集的训练样本构成人脸数据集。如图3所示，该人脸数据集中，包括多个人(身份标识)的二维人脸图像，以及同一个人在不同光照和不同拍摄角度下的二维人脸图像。

S302、根据所述反照率估计子网络对应的训练样本，采用生成对抗网络和反照率参照库对反照率估计子网络进行训练，得到所述反照率估计子网络的参数，所述反照率参照库中包括反照率参照样本。

其中，生成对抗网络包括图3中所示的生成器G和判别器D，反照率参照样本初始时可以采用真实图片，之后可以采用生成器G生成的合成图片，以进行可以消除合成数据与真实数据之间差异性的自进化训练。

S303、根据所述光照估计子网络对应的训练样本，对光照估计子网络进行训练，得到所述光照估计子网络的参数。

S304、根据所述法向量优化子网络对应的训练样本，采用法向量参照库对法向量优化子网络进行训练，得到所述法向量优化子网络的参数，所述法向量参照库中包括法向量参照样本。

本实施例中，由于采用了参数化与非参数化的结合表示形式，一次对二维人脸图像中人脸表观模型的重建就可以转化为参数化的回归与非参数化的回归问题，本实施例中采用了深度网络框架来解决这个回归问题。将人脸表观属性分解网络设计为三支子网络的组合形式，如图3所示，让各子网络在特征提取的过程中互不干扰。在反照率估计子网络上利用了判别器D来对生成器G生成的反照率的真实性进行判断，并且在反照率估计子网络及法向量优化子网络上使用了更迭监督信息的机制(反照率参照库和法向量参照库的更新)，来保证相应子网络生成结果的质量。

具体的，首先使用了合成数据对反照率估计子网络进行训练，之后将训练好的反照率估计子网络在真实数据上进行测试，并保留测试结果将其作为判别器的第一波正样本，之后对判别器D与生成器G从头训练，将固定轮数后的结果进行保留并更新判别器D的正样本，通过这样的更新迭代后，正样本会越来越趋近于真实情况，进而抹除了合成数据带来的影响。对法向量优化子网络的训练也是如此，虽然其没有判别器结构，然而，法向量优化是需要基于传入的原始法向量进行的，因此对生成的法向量进行保留并更新迭代可以渐渐的增加细节，使得优化法向量的效果逐渐变好。在每一轮训练结束后，生成的反照率和优化后的法向量会被更新到相应的参照库中。

本实施例中，采用了3个不同类型的损失函数(loss function)来对各子网络进行约束，分别是针对人脸表观恢复的重建约束，针对同人同面、千人千面的反照率约束以及针对光照与反照率颜色二义性的区分约束。还采用了自进化的训练方式结合损失函数训练各子网络，最终得到了能正确估计人脸表观属性的人脸模型。

为了得到真实感更强的三维人脸模型，需要将高光部分从人脸反照率上彻底去除，本实施例通过训练深度卷积网络来对3DMM生成的粗糙人脸法向量进行优化并对准高光位置来对高光部分进行了精准估计与去除。

为了得到完整的人脸三维模型，本实施例使用了一种三维空间到二维空间的关系映射来对人脸遮挡部分进行建模，并通过训练生成对抗网络来对缺失部分进行恢复。

为了估计出完整频率的光照，本实施例在原有低频光照的基础上，加上了远光点光源表示的高频光照来对复杂的环境光照进行建模，并通过训练深度卷积神经网路对光照参数进行回归训练，得到了准确的光照估计模块。

S204、将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果。

具体的，步骤S204，可实现为：将所述中低频光照系数以及高频光照系数输入预设渲染模型中进行渲染，得到漫反射渲染以及镜面反射渲染；将完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染输入所述预设三维人脸模型中进行反映射，得到所述二维人脸图像对应的反照率、漫反射、高光以及法向量。如图3中所示，将完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染再输入3DMM中进行反映射，得到的反映射结果为对应的反照率、漫反射、高光以及法向量。

S205、根据所述反映射结果重建三维人脸图像。

本实施例中，可以根据二维人脸图像对应的反照率、漫反射、高光以及法向量重建得到三维人脸图像。

因此，本申请实施提供的基于单帧图像的三维人脸重建方法，获取二维人脸图像，将二维人脸图像输入预设三维人脸模型中进行正映射，得到与二维人脸图像对应的人脸法向量映射图和人脸纹理映射图，将人脸法向量映射图和人脸纹理映射图输入至人脸表观属性分解网络中，得到与二维人脸图像对应的人脸表观属性分解结果，将人脸表观属性分解结果输入预设三维人脸模型中进行反映射，得到反映射结果，根据反映射结果重建三维人脸图像，基于上述方案可以得到完整的人脸三维模型以及准确分离出的完整人脸表观属性，从而提高了人脸建模结果的准确性。

通过上述方案可以完整的恢复整个脸部属性特征，得到的各个属性可以被灵活使用或替换。

一种实施方式中，如5所示，图5为本申请实施例提供的对人脸高光进行编辑的流程示意图。获取二维人脸图像作为输入图像，将该输入图像依次输入预设三维人脸模型及人脸表观属性分解网络中进行人脸属性分解，得到人脸的表观属性分解结果，其中，反照率与法向量所在空间均为为三维点到二维点的平面映射，具体大小为448*448*3，即每个像素点对应RGB三通道颜色；低频光照由一种二阶球谐基函数表示，具体大小为9*3，每个基函数有RGB三通道的变化；高频光照由22个无限远点光源表示，每个点光源有3个系数，分别对应RGB三通道的强度。

属性分解结束后，使用法向量与球谐函数表示的低频光照进行作用得到人脸漫反射，再乘上人脸表面反照率得到在漫反射光照下人脸的表现情况，放弃估计出来的高光系数，重新输入人脸高光系数，与估计出的人脸法向量进行作用得到人脸高光，再将高光与漫反射下的人脸表示相加，得到最终输出的三维人脸图像，如图6所示，图6为本申请实施例提供的人脸高光编辑效果图。

另一种实施方式中，如7所示，图7为本申请实施例提供的对人脸漫反射进行编辑的流程示意图。获取二维人脸图像作为输入图像，将该输入图像依次输入预设三维人脸模型及人脸表观属性分解网络中进行人脸属性分解，得到人脸的表观属性分解结果。属性分解结束后，使用估计出的高频光照与人脸法向量进行作用得到人脸高光。放弃估计出来的低频光照系数，重新输入人脸低频光照系数，与估计出的人脸法向量进行作用得到人脸漫反射，再乘上人脸表面反照率得到在漫反射光照下人脸的表现情况，然后将高光与漫反射下的人脸表示相加，得到最终输出的三维人脸图像，如图8所示，图8为本申请实施例提供的人脸漫反射编辑效果图。

进一步的，在上述两种实施方式中，可以将光源表示形式替换，例如将低频光照换为多个远距离平行光组合形式，或者将高频光照换为高斯局部光照等。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图9为本申请实施例二提供的基于单帧图像的三维人脸重建装置的结构示意图，如图9所示，该装置包括：

获取模块910，用于获取二维人脸图像；

正映射模块920，用于将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图；

属性分解模块930，用于将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果；

反映射模块940，用于将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果；

重建模块950，用于根据所述反映射结果重建三维人脸图像。

本实施例提供的基于单帧图像的三维人脸重建装置，获取二维人脸图像，将二维人脸图像输入预设三维人脸模型中进行正映射，得到与二维人脸图像对应的人脸法向量映射图和人脸纹理映射图，将人脸法向量映射图和人脸纹理映射图输入至人脸表观属性分解网络中，得到与二维人脸图像对应的人脸表观属性分解结果，将人脸表观属性分解结果输入预设三维人脸模型中进行反映射，得到反映射结果，根据反映射结果重建三维人脸图像，基于上述方案可以得到完整的人脸三维模型以及准确分离出的完整人脸表观属性，从而提高了人脸建模结果的准确性。

在一种可能的实现方式中，所述预设三维人脸模型采用三维可形变模型3DMM。

在一种可能的实现方式中，所述人脸表观属性分解网络包括：反照率估计子网络、光照估计子网络以及法向量优化子网络。

在一种可能的实现方式中，所述人脸表观属性分解结果包括：完整反照率映射图、优化后法向量映射图、中低频光照系数以及高频光照系数；

所述属性分解模块，具体用于：

将所述人脸法向量映射图输入训练好的法向量优化子网络进行优化，得到优化后法向量映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入训练好的光照估计子网络，得到其输出的中低频光照系数以及高频光照系数；

将所述人脸纹理映射图输入至训练好的反照率估计子网络，得到其输出的完整反照率映射图。

在一种可能的实现方式中，所述反映射模块，具体用于：

将所述中低频光照系数以及高频光照系数输入预设渲染模型中进行渲染，得到漫反射渲染以及镜面反射渲染；

将所述完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染输入所述预设三维人脸模型中进行反映射，得到所述二维人脸图像对应的反照率、漫反射、高光以及法向量。

在一种可能的实现方式中，所述装置还包括：训练模块，用于：

获取所述人脸表观属性分解网络的各子网络对应的训练样本；

根据所述反照率估计子网络对应的训练样本，采用生成对抗网络和反照率参照库对反照率估计子网络进行训练，得到所述反照率估计子网络的参数，所述反照率参照库中包括反照率参照样本；

根据所述光照估计子网络对应的训练样本，对光照估计子网络进行训练，得到所述光照估计子网络的参数；

根据所述法向量优化子网络对应的训练样本，采用法向量参照库对法向量优化子网络进行训练，得到所述法向量优化子网络的参数，所述法向量参照库中包括法向量参照样本。

图10为本申请实施例三提供的电子设备的结构示意图，如图10所示，该设备包括：存储器110和处理器120；

存储器110，用于存储计算机程序；

其中，处理器120执行存储器110中的计算机程序，以实现如上所述各方法实施例所提供的方法。

在实施例中，以一电子设备对本申请提供的基于单帧图像的三维人脸重建装置进行示例。处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行程序指令，以实现上文的本申请的各个实施例中的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

本申请实施例四提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时用于实现如上所述各方法实施例所提供的方法。

实际应用中，本实施例中的计算机程序可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++、python等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

实际应用中，计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

前述对本申请的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本申请限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本申请的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本申请的各种不同的示例性实施方案以及各种不同的选择和改变。本申请的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种基于单帧图像的三维人脸重建方法，其特征在于，包括：

获取二维人脸图像；

将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果；

将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果；

根据所述反映射结果重建三维人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述预设三维人脸模型采用三维可形变模型3DMM。

3.根据权利要求1所述的方法，其特征在于，所述人脸表观属性分解网络包括：反照率估计子网络、光照估计子网络以及法向量优化子网络。

4.根据权利要求3所述的方法，其特征在于，所述人脸表观属性分解结果包括：完整反照率映射图、优化后法向量映射图、中低频光照系数以及高频光照系数；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果，包括：

将所述人脸法向量映射图输入训练好的的法向量优化子网络进行优化，得到优化后法向量映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入训练好的光照估计子网络，得到其输出的中低频光照系数以及高频光照系数；

将所述人脸纹理映射图输入至训练好的的反照率估计子网络，得到其输出的完整反照率映射图。

5.根据权利要求4所述的方法，其特征在于，所述将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果，包括：

将所述中低频光照系数以及高频光照系数输入预设渲染模型中进行渲染，得到漫反射渲染以及镜面反射渲染；

将所述完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染输入所述预设三维人脸模型中进行反映射，得到所述二维人脸图像对应的反照率、漫反射、高光以及法向量。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取所述人脸表观属性分解网络的各子网络对应的训练样本；

根据所述反照率估计子网络对应的训练样本，采用生成对抗网络和反照率参照库对反照率估计子网络进行训练，得到所述反照率估计子网络的参数，所述反照率参照库中包括反照率参照样本；

根据所述光照估计子网络对应的训练样本，对光照估计子网络进行训练，得到所述光照估计子网络的参数；

根据所述法向量优化子网络对应的训练样本，采用法向量参照库对法向量优化子网络进行训练，得到所述法向量优化子网络的参数，所述法向量参照库中包括法向量参照样本。

7.一种基于单帧图像的三维人脸重建装置，其特征在于，包括：

获取模块，用于获取二维人脸图像；

正映射模块，用于将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图；

属性分解模块，用于将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果；

反映射模块，用于将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果；

重建模块，用于根据所述反映射结果重建三维人脸图像。

8.根据权利要求7所述的装置，其特征在于，所述预设三维人脸模型采用三维可形变模型3DMM。

9.一种电子设备，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

其中，所述处理器执行所述存储器中的计算机程序，以实现如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-6中任一项所述的方法。