CN111402403A - 高精度三维人脸重建方法 - Google Patents

Abstract

本发明公开了一种高精度三维人脸重建方法，该方法构造了真实人脸数据库和合成人脸数据库，并利用这些数据训练深度神经网络，这样不仅提供了大量的带标签数据用于训练深度神经网络，也增加了三维人脸重建方法的鲁棒性，使得训练好的网络对任意输入的点光源下的人脸图像都可以得到高精度的法向，此过程中既利用了人脸图像信息，又避免了复杂耗时的优化过程，加快了三维人脸模型重建的速度，最终可以恢复出高质量三维人脸模型，并且，由于输入的是任意张点光源下的三维人脸图像，因此大大减少了数据采集的难度和成本，增加了方法的可应用性。此外，通过将人脸先验知识和点光源下的光度立体技术相结合，大大提高了三维人脸模型的质量。

Description

高精度三维人脸重建方法

技术领域

本发明涉及人脸图像处理技术领域，尤其涉及一种高精度三维人脸重建方法。

背景技术

近年来，随着计算机技术和通信技术的快速发展，图像作为一种便捷的信息传递方式，已成为人们获取信息的重要手段。由于人脸图像在身份验证、人机交互、监控、取证等领域有着广泛的应用，因此针对人脸图片的处理与识别已经成为机器识别和计算机视觉的主要课题。更进一步，人脸作为人身体中最具有代表性的部分，人们能够仅凭面部信息来获得极为丰富的含义，比如人的性别、种族、年龄、情绪等等。高质量三维人脸重建也一直是计算机视觉与图形学领域的研究热点，它在人脸数字化、动画和人脸识别等场景中具有广泛的应用。因此如何获得高质量的三维人脸模型具有重要和现实的研究意义。

由于人脸具有较多共性，如具有特定数目的眼睛、嘴巴、鼻子和耳朵且相对位置不变，因此可以建立一个人脸的参数化模型，将复杂的三维人脸参数化到一个低维的空间。传统的基于图像的三维人脸建模技术一般把参数化模型作为先验知识，利用人脸关键点信息和颜色信息来优化参数化模型的相关系数。但这些方法存在一些问题，比如：由于参数化模型的表达能力有限从而导致三维重建精度较低，与此同时基于颜色的优化要经过比较耗时的计算等。现如今，随着深度学习技术的发展，基于单张人脸图像的三维人脸重建方法也取得了重要的进步，相比于上述传统的优化方法，这一类方法效率更高且通常可以恢复出基本的人脸信息，比如身份和表情，但很少能恢复出足够的人脸细节，比如皱纹等。

而光度立体技术(Photometric Stereo)通过一系列不同光照下的图片可以估计出物体的高精度法向，进而可以恢复出物体的高质量三维模型。在过去，使用光度立体技术进行三维重建主要有两种方法：基于传统优化的方法和基于深度学习的方法。使用光度立体技术进行高精度三维人脸重建主要使用的是传统的优化方法，这类方法需要事先采集大量不同光照下的高分辨率人脸图像，之后需要设计较为复杂的优化过程才能达到高精度的要求，比如：公开数据集LightStage中所使用的采集设备和优化方法，这类方法通常所需要的设备成本和时间成本都比较高，不适合在日常生活中使用；而基于深度学习的方法可以降低时间成本，提高效率，但这类方法通常适用于一般物体，对于三维人脸重建缺乏一定的针对性。这两种方法都需要大量不同光照下的图像作为输入，并且通常使用的是平行光的光照条件(近似于太阳光)，在实际的人脸图像采集和处理过程中这两个要求都是难以实现的。

发明内容

本发明的目的是提供一种高精度三维人脸重建方法，可以适用于点光源条件下常规设备采集的人脸图像进行三维重建，并具备较高精度。

本发明的目的是通过以下技术方案实现的：

一种高精度三维人脸重建方法，包括：

对于真实采集的点光源人脸图像数据集合，拟合参数化模型系数，并计算点光源的位置和强度，从而计算出三维人脸模型的法向与反射率，得到真实人脸数据库R；

利用公开数据集LightStage中的反射率和三维模型合成不同光照条件下的人脸图像，并结合真实人脸数据库R进行数据增强，从而得到合成人脸数据库S；

利用真实人脸数据库R和合成人脸数据库S训练深度神经网络模型；

对输入的任意点光源下的人脸图像，利用训练好的深度神经网络模型估计对应的参数化模型系数以及三维人脸模型的法向，从而重建出三维人脸模型。

由上述本发明提供的技术方案可以看出，1)由训练好的深度神经网络得到参数化模型系数以及三维模型的法向，既利用了人脸图像信息，又避免了复杂耗时的优化过程，加快了三维人脸模型重建的速度；2)通过LightStage和数据增强的方法来合成训练数据，不仅提供了大量的带标签数据用于训练深度神经网络，也增加了三维人脸重建方法的鲁棒性；3)由于输入的是任意张点光源下的三维人脸图像，因此大大减少了数据采集的难度和成本，增加了方法的可应用性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种高精度三维人脸重建方法的流程图；

图2为本发明实施例提供的构建真实人脸数据库R的示意图；

图3为本发明实施例提供的构建合成人脸数据库S的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种高精度三维人脸重建方法，在介绍该方法之前，先针对三维人脸重建领域的相关技术背景进行说明。

在三维人脸重建领域，传统的优化方法或是难以达到高质量的重建效果，或是需要复杂的优化过程，所需时间成本较高；而基于神经网络的方法虽然速度快，但难以恢复出丰富的人脸细节。在光度立体技术领域，不论是传统的优化方法，还是基于深度学习的方法，它们都需要大量的图片作为输入，且光照条件较为理想化，不利于实际应用。为此，本发明实施例提供一种基于轻量级光度立体技术的高质量三维人脸重建方法。本发明实施例中三维人脸用参数化模型作为先验，参数化模型中的几何和纹理信息用PCA表示如下：

其中，S为三维几何信息，

为平均几何信息，A_id为身份的PCA基，A_exp为表情的PCA基，α_id和α_exp分别为身份和表情系数。T为纹理信息，

为平均纹理信息，A_alb为纹理的PCA基，α_alb为纹理系数。A_id,A_alb的获取可以用文献【P.Paysan,R.Knothe,B.Amberg,S.Romdhani,and T.Vetter.A 3d face model for pose and illumination invariant facerecognition.In IEEE International Conference on Advanced video and signalbased surveillance,pages 296–301,2009】中的Basel Face Model，A_exp的获取可以用文献【C.Cao,Y.Weng,S.Zhou,Y.Tong,and K.Zhou.Facewarehouse:A 3d facial expressiondatabase for visual computing.IEEE Transactions on Visualization and ComputerGraphics,20(3):413–425,2014】中的Facewarehouse。投影模型用标准透视投影表示如下：

q_i＝Π(R_i+t)

其中q_i和V_i分别是点在图像平面和世界坐标系下的坐标，R是由欧拉角pitch，yaw和roll构造的旋转矩阵，t是平移向量，Π是从三维到二维的透视投影映射。假设人脸为兰伯特曲面并用基于光度立体技术的近点光源条件表示光照，由此，图像的渲染由下面的成像公式来完成：

其中，

是在第j个点光源下第l个通道的颜色值，V_i,N_i和

分别表示三维顶点的坐标、法向和第l个通道的反射率，P_j和β_j分别表示第j个点光源的位置和强度，L_ij表示第j个点光源在第i个三维顶点上的方向。

基于上述技术背景知识，下面针对本发明所提供的方法进行介绍，如图1所示，为该方法的流程图，主要包括如下步骤：

步骤1、对于真实采集的点光源人脸图像数据集合，拟合参数化模型系数，并计算点光源的位置和强度，从而计算出三维人脸模型的法向与反射率，得到真实人脸数据库R。

本发明实施例中，所述真实人脸数据库R包括：若干彩色点光源人脸图像以及对应的标签；每一张彩色点光源人脸图像也即点光源人脸图像数据集合中的图像，均为RGB三通道图像；标签分为两部分：一部分是参数化模型系数，即x＝{α_id,α_exp,pitch,yaw,roll,t}；另一部分为光源的位置和强度、三维人脸模型的法向与反射率，即{P_j,β_j,N_i,ρ_i}，ρ_i中包含了三个通道的反射率。

优选的，在验证阶段，还可以利用真实人脸数据库R中的参数化模型系数与三维人脸模型的法向重建三维人脸模型，并将其作为参照对后续重建结果进行评估，以验证重建结果的精度。

下面主要针对真实人脸数据库R中标签的计算方式以及三维人脸模型重建过程进行介绍。

本发明实施例中，真实采集的点光源人脸图像数据集合包括了不同种族、不同年龄和不同性别的人在多个不同光照条件下采集所得人脸图像；示例性的，可以由84个不同种族、年龄和性别的人在三种不同光照条件下采集所得，每个人采集有29个不同的表情。

如图2所示，为了构造含有高质量三维模型的真实人脸数据库R，本步骤优选实施方式如下：

1)对于同一个人同一表情的多个(例如，3个)不同光照条件下的人脸图像，拟合出参数化模型系数，包括：身份系数、表情系数和姿态系数，即x＝{α_id,α_exp,pitch,yaw,roll,t}，其中的后四项构成姿态系数。所输入的多个人脸图像共享同样的参数化模型系数。

示例性的，可以通过(Luo Jiang,Juyong Zhang,Bailin Deng,Hao Li,andLigang Liu.3d face reconstruction with geometry details from a singleimage.IEEE Transactions on Image Processing,27(10):4756–4770,2018.)中所提到的反渲染方法可以拟合出参数化模型系数。

如图2中，左侧的线状虚线箭头表示利用同一个人同一表情的3个光照条件下的人脸图像，拟合参数化模型系数。

2)将参数化模型系数作为人脸先验知识，利用点光源下的光度立体技术计算点光源的位置和强度，结合成像公式与设定的目标函数来计算并更新三维人脸模型的法向与反射率。

图2中，点状虚线箭头表示计算光照信息；两条黑色实心箭头为法向计算与更新。

示例性的，可以通过(Xuan Cao,Zhang Chen,Anpei Chen,Xin Chen,Shiying Li,and Jingyi Yu.Sparse photometric 3d face reconstruction guided by morphablemodels.In IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pages 4635–4644,2018.)中所提出的点光源估计方法可以得到点光源的位置P_j和强度β_j，更进一步为了排除阴影对计算法向N_i和反射率

的影响，对三维模型上的每个面筛选可用光源如下：

其中，

表示三维模型上第k个面的法向，n表示输入图片的数量，点光源与输入图片是对应的，即输入的第j张图片对应的是第j个点光源，此处使用第k个面的重心坐标来计算L_kj。之后的优化过程都是在三维面上进行的，为了方便表示，后文的符号都没有加f的上标。根据上述技术背景介绍中的点光源下的成像公式，可以通过求解如下目标函数来更新所有可见面的法向

和反射率

其中，

是所有可见面的集合，

表示更新后的第k个面在第l个通道上的反射率、

表示的是一邻域面上在第l个通道上的反射率，

表示更新后的第k个面的法向、μ₁与μ₂表示权重，Ω_k表示第k个面的一邻域面的集合，N包含所有可见面在参数化模型上的法向。目标函数中第一项的目的是使得渲染得到的图片要和输入图片足够相像，第二项的目的是使得更新后的法向

和先验知识N足够接近，第三项的目的是使得更新后的反射率足够光滑。

3)利用最终更新的三维人脸模型的法向、以及参数化模型系数，重建出三维人脸模型。

根据更新后的三维面法向可以由如下优化方法计算得到高度场Z，从而恢复出高质量的三维人脸模型：

目标函数中的第一项使得计算得到的法向

和更新后的法向

足够接近，第二项要求恢复出的模型和参数化模型尽可能接近，第三项使得恢复出的模型具有一定的光滑性。

其中，ω₁与ω₂均表示权重，

表示像素点(x,y)处的目标法向(由透视投影得到)，Z⁰表示从参数化模型中得到的初始高度场，Δ表示Laplace算子，

可以通过反透视投影计算得到，其中e_p连接了(x,y)处顶点V_xy和它的第p个邻接顶点(它们的邻接关系由像素点的邻接关系所决定)：

由此，对同一个人同一表情的高质量三维人脸模型构造完成。

图2中，右侧黑色空心箭头表示重建三维人脸模型。

步骤2、利用公开数据集LightStage中的反射率和三维模型合成不同光照条件下的人脸图像，并结合真实人脸数据库R进行数据增强，从而得到合成人脸数据库S。

本步骤优选实施方式如下：

1)利用公开数据集LightStage(示例性的，选择的包括23个人的15个表情)中的反射率和三维模型，在随机点光源的光照条件下合成人脸图像。

2)进行数据增强。

为了满足网络训练的需求，需要进行数据增强，主要从如下两个方面进行：

一方面，如图3(a)所示，通过随机生成参数化模型系数{α_id,α_exp,α_alb}生成带纹理的三维模型(左侧第一行线状虚线箭头)，并合成人脸图像(右侧第一行点状虚线箭头)；同时随机生成{α_id,α_exp}得到不带纹理的三维模型，并将真实人脸数据库R中的反射率迁移到生成的三维模型上(左侧第二行线状虚线箭头)，再合成人脸图像(右侧第二行点状虚线箭头)；

另一方面，如图3(b)所示，将参数化模型注册(非刚性ICP配准)到公开数据集LightStage中的三维模型上(左侧的黑色箭头)，并将真实人脸数据库R中的反射率迁移到注册后的三维模型上(中间的加号)，再合成人脸图像(右侧的点状虚线箭头)。

通过以上过程，得到合成人脸数据库S。

本发明实施例中，所述合成人脸数据库S中包括：若干彩色点光源人脸图像以及对应的标签；彩色点光源人脸图像也即合成人脸图像，每一张彩色点光源人脸图像均为RGB三通道图像；标签分为两部分：一部分是参数化模型系数；另一部分为三维模型的法向，也即LightStage中三维模型的法向，以及在数据增强时从三维模型上得到的法向。

步骤3、利用真实人脸数据库R和合成人脸数据库S训练深度神经网络模型。

本发明实施例中，所述深度神经网络模型包括：代理估计网络ProxyNet、以及法向估计网络NormalNet。

1)ProxyNet的输入为人脸图像，输出为参数化模型系数；ProxyNet为残差卷积神经网络模型，依次包括：输入层、卷积层、非线性层、池化层、全连接层和损失层。

2)NormalNet的输入为人脸图像以及ProxyNet输出的参数化模型系数，输出为法向；NormalNet为全卷积神经网络模型，依次包括：输入层、卷积层、非线性层、池化层、去卷积层、融合层和损失层。

在验证阶段，利用真实采集的点光源人脸图像数据集合中的人脸图像输入至训练好的深度神经网络模型，利用深度神经网络模型输出的参数化模型系数以及三维人脸模型的法向重建出三维人脸模型A'；同时，利用步骤1中真实人脸数据库R中相应的参数化模型系数与三维人脸模型的法向重建三维人脸模型A，将三维人脸模型A作为参照对三维人脸模型A'对进行精度评估，以验证深度神经网络模型的性能。实验表明，三维人脸模型A与A'的相似度极为接近，可见通过本发明实施例上述方案重建的三维人脸模型具有较高准确度。

步骤4、对输入的任意点光源下的人脸图像，利用训练好的深度神经网络模型估计对应的参数化模型系数以及三维人脸模型的法向，从而重建出三维人脸模型。

相比于传统优化方法和现有的学习方法，本发明上述方案主要具有以下优点：

1)由深度神经网络训练得到参数化模型系数以及三维模型的法向，既利用了人脸图像信息，又避免了复杂耗时的优化过程，加快了三维人脸模型重建的速度；

2)通过LightStage和数据增强的方式来合成训练数据，不仅提供了大量的带标签数据用于训练深度神经网络，也增加了三维人脸重建方法的鲁棒性；

3)由于输入的是任意张点光源下的三维人脸图像，因此大大降低了数据采集的难度和成本，增加了方法的可应用性；

4)通过将人脸先验知识和点光源下的光度立体技术相结合，大大提高了三维人脸模型的质量。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种高精度三维人脸重建方法，其特征在于，包括：

对于真实采集的点光源人脸图像数据集合，拟合参数化模型系数，并计算点光源的位置和强度，从而计算出三维人脸模型的法向与反射率，得到真实人脸数据库R；

利用公开数据集LightStage中的反射率和三维模型合成不同光照条件下的人脸图像，并结合真实人脸数据库R进行数据增强，从而得到合成人脸数据库S；

利用真实人脸数据库R和合成人脸数据库S训练深度神经网络模型；

对输入的任意点光源下的人脸图像，利用训练好的深度神经网络模型估计对应的参数化模型系数以及三维人脸模型的法向，从而重建出三维人脸模型。

2.根据权利要求1所述的一种高精度三维人脸重建方法，其特征在于，

所述真实采集的点光源人脸图像数据集合包括了不同种族、不同年龄和不同性别的人在多个不同光照条件下采集所得人脸图像；

对于同一个人同一表情的多个不同光照条件下的人脸图像，拟合出参数化模型系数，包括：身份系数、表情系数和姿态系数；

将参数化模型系数作为人脸先验知识，利用点光源下的光度立体技术计算点光源的位置和强度，结合成像公式与设定的目标函数来计算并更新三维人脸模型的法向与反射率；

利用最终更新的三维人脸模型的法向、以及参数化模型系数，重建出三维人脸模型。

3.根据权利要求1或2所述的一种高精度三维人脸重建方法，其特征在于，所述真实人脸数据库R包括：若干彩色点光源人脸图像以及对应的标签；每一张彩色点光源人脸图像均为RGB三通道图像；标签分为两部分：一部分是参数化模型系数；另一部分为光源的位置和强度、三维人脸模型的法向与反射率。

4.根据权利要求1所述的一种高精度三维人脸重建方法，其特征在于，所述利用公开数据集LightStage中的反射率和三维模型合成不同光照条件下的人脸图像，并结合真实人脸数据库R进行数据增强，从而得到合成人脸数据库S，其包括：

首先，利用公开数据集LightStage中的反射率和三维模型，在随机点光源的光照条件下合成人脸图像；

然后，进行数据增强：通过随机生成参数化模型系数生成带纹理的三维模型，并合成人脸图像，以及通过随机生成参数化模型系数生成不带纹理的三维模型，并将真实人脸数据库R中的反射率迁移到不带纹理的三维模型上，再合成人脸图像；以及将参数化模型注册到公开数据集LightStage中的三维模型上，并将真实人脸数据库R中的反射率迁移到注册后的三维模型上，再合成人脸图像；

通过以上过程，得到合成人脸数据库S。

5.根据权利要求1或4所述的一种高精度三维人脸重建方法，其特征在于，所述合成人脸数据库S中包括：若干彩色点光源人脸图像以及对应的标签；彩色点光源人脸图像也即合成人脸图像，每一张彩色点光源人脸图像均为RGB三通道图像；标签分为两部分：一部分是参数化模型系数；另一部分为三维模型的法向。

6.根据权利要求1所述的一种高精度三维人脸重建方法，其特征在于，所述深度神经网络模型包括：代理估计网络ProxyNet、以及法向估计网络NormalNet；

ProxyNet的输入为人脸图像，输出为参数化模型系数；NormalNet的输入为人脸图像以及ProxyNet输出的参数化模型系数，输出为法向。

7.根据权利要求6所述的一种高精度三维人脸重建方法，其特征在于，ProxyNet为残差卷积神经网络模型，依次包括：输入层、卷积层、非线性层、池化层、全连接层和损失层。

8.根据权利要求6所述的一种高精度三维人脸重建方法，其特征在于，NormalNet为全卷积神经网络模型，依次包括：输入层、卷积层、非线性层、池化层、去卷积层、融合层和损失层。

9.根据权利要求6所述的一种高精度三维人脸重建方法，其特征在于，该方法还包括：

将真实采集的点光源人脸图像数据集合中的人脸图像输入至训练好的深度神经网络模型，利用深度神经网络模型输出的参数化模型系数以及三维人脸模型的法向，重建出三维人脸模型A'；

同时，利用真实人脸数据库R中相应的参数化模型系数与三维人脸模型的法向重建三维人脸模型A，将三维人脸模型A作为参照对三维人脸模型A'对进行精度评估。

Images