CN111445582A - 一种基于光照先验的单张图像人脸三维重建方法 - Google Patents

Abstract

本发明公开一种基于光照先验的单张图像人脸三维重建方法，属于计算机视觉领域。本发明解决的问题是：针对目前三维人脸重建技术缺失几何细节，且需要有较为严格的拍摄条件的情况，提出了一种基于光照先验的单张图像人脸三维重建方法。本发明的核心部分在于充分利用参数化人脸模型和环境光照等先验信息，首先以图像的人脸关键点驱动参数化三维人脸模型变形，得到粗略的三维人脸模型，再结合本征图像性质对人脸光照和纹理进行估计，最后利用图像光影优化人脸模型的几何细节，从而得到具有几何细节的三维人脸模型。本发明的算法输入为无约束的单张人脸图片，最终的输出结果为三维人脸模型。本发明的算法结果可运用于三维人脸建模，动画表情迁移和人脸图像重光照渲染等应用课题。

Description

一种基于光照先验的单张图像人脸三维重建方法

技术领域

本发明属于计算机视觉领域，提出了一种基于光照先验，利用单张人脸图片重建三维人脸模型的算法。

背景技术

人脸三维重建在计算机视觉领域有着十分广泛的应用，比如辅助人脸识别、人脸表情识别和三维面部表情动画制作等。虽然通过三维扫描设备或者多张图像可以重建出三维人脸模型，但是这一方法严重依赖于受控的条件，成本较高且不够便捷。近年来也出现了从单张图像直接恢复三维人脸的方法，然而其结果往往缺乏良好的几何细节。理论上，图像是由物体的几何结构、材质纹理、环境光照等诸多要素相互作用生成的，因此从单张图像出发反推这些构成要素是一个难以解决的病态问题，所以从单张图像恢复三维人脸依旧是一个极具挑战性的课题。

目前的单张图像人脸三维重建方法主要有两个较大的方向。其一是使用参数化三维人脸模型，利用包括特征点匹配等在内的方式，估计可形变模型的参数。这类方法虽然较为便捷，但却受限于参数化模型的低维度表示空间，其重建的结果只能表现整体的脸型，缺乏高频的几何细节。另一个方向则是利用图像像素间的强度变化情况，对人脸的几何细节部分进行优化。这一类方法在已知人脸大体形态、人脸纹理和光照等信息的情况下可以有效地恢复出精细的三维人脸模型，然而上述已知信息的获取本身也是十分困难的。

为了解决目前现有方法存在的弊端，本发明提出了一种基于光照先验的单张图像人脸三维重建方法。本方法结合了现有两类方法的优势，通过引入光照先验信息，使问题的求解变得更为鲁棒。具体而言，首先使用参数化模型得到粗略的整体三维人脸，再结合本征图像的性质和光照先验约束等估计环境的光照及人脸的纹理，最后利用上述步骤得到的诸多信息，结合输入图像本身的像素间强度变化，优化三维人脸模型的几何细节，从而得到具有几何细节的三维人脸模型。

发明内容

本发明的主要目的：针对目前三维人脸重建技术缺失几何细节，且需要有较为严格的拍摄条件的情况，提出了一种基于光照先验的单张图像人脸三维重建方法。只需要提供单张人脸照片，不需要严苛的拍摄条件，即可生成出具有几何细节的三维人脸模型，为各种相关场景应用提供逼真的三维人脸效果。

针对上述目的，本发明提供了使用光照先验的人脸三维建模的算法与系统，能够快速准确地得到模型结果，包括如下步骤：

步骤1：通过检测二维人脸特征点，使用基于数据驱动的3DMM模型进行初始人脸外形的求解；

步骤2：根据光照先验及人脸肤色模型，结合上一步得到的初始模型，估计出光照和纹理信息；

步骤3：利用图像的光影变化信息，在三维模型上进行细节的形变，得到精细的三维人脸模型。

进一步地，所述步骤1具体为：首先引入三维可形变模型(3DMM)，表示为X＝μ+U_shapeα+U_expβ。记该模型有p个点，X是将p个点的三维坐标按顺序堆叠而成的大小为3p的向量，X表征三维模型的几何形态。μ为平均脸模型坐标向量，结构与X相同。U_shape是整体脸型主元矩阵，大小为3p×199，U_exp为人脸表情主元矩阵，大小为3p×29；α，β分别为相应的整体脸型和人脸表情参数，它们分别是199维和29维的向量。α，β中的每一维变量各自符合特定的高斯分布：

通过调整α和β参数，可以产生不同形态的三维人脸模型。本步骤的主要任务即是α和β参数的求解。

求解过程具体为：利用人脸关键点检测技术，得到图像中人脸的二维特征点坐标W＝(w₁，w₂，...，w_n)，n的取值为特征点个数。W中每一个w_i表示图片上第i个特征点的二维坐标。在3DMM中存在与二维特征点W逐一对应的模型点索引C＝(c₁，c₂，...，c_n)，每一个c_i表示第i个二维特征点w_i对应于三维特征点在X中的索引。三维模型特征点与二维图像特征点存在弱透视投影关系：

其中标量s为缩放因子，R为旋转矩阵的前两维，大小为3×2，而T为平移量，大小为2×1。通过二维与三维点的对应关系，通过利用下面的能量函数来最小化w_i与

之间的偏差，以估计投影参数：

这一约束将投影误差降低到最小，初始时X＝μ，迭代时X为上一轮的求解结果。求解投影参数后，可以固定投影关系，运用下式求解3DMM的整体脸型和表情参数，即α和β。

其中λ₁，λ₂为标量，分别为人脸整体脸型参数α和人脸表情参数β的先验高斯分布约束的加权系数，这一能量函数添加了未知量的先验分布约束，剩余部分与上一步基本一致，只是求解目标变量不同。

二维的人脸特征点在实际分布上，五官定位点是比较准确的，但轮廓点则存在一些不足，轮廓点没有明显的定位条件，在发生自遮挡和俯仰角变化的情况下，轮廓点通常是不准确。为了使求解的结果能够更加精确，需要对这些点进行更新，以得到更加准确的损失函数。

对于未遮挡的轮廓二维特征点w_i，它们对应的模型特征点投影后的坐标

并不能准确落在w_i上，而是落到轮廓二维特征点组成的一条线上。为了保证约束的正确性，需要对轮廓二维特征点的坐标进行调整。

上述公式中

为距离投影后特征点最近的两个检测到的轮廓二维特征点，该公式表示由轮廓三维特征点投影后的位置

向附近二维特征点

形成的曲线作垂线，并用垂足坐标w′_i更新检测到的二维特征点w_i。

类似于未遮挡轮廓点更新中的方式，发生自遮挡时

不再落到轮廓二维特征点组成的一条线上，所以此时这个约束不再适用。此时轮廓二维特征点实际上落在由视角决定的观测边缘线，而这些二维特征点对应的三维模型特征点索引可以用下面的方法重新找到。

首先根据先前求解的投影参数s，R，T将模型渲染为二值图像，并记录Tr_i，j为图像的(i，j)像素点对应的三角形面片索引；通过腐蚀做差取得视角轮廓的像素点分布，根据Tr取得上述像素点所对应的三角面片索引，从而得到这些三角形面片所包含的三维模型点索引

C^e在X上的对应点投影至二维后可得到

此时W^e与C^e作为对应点有着与未遮挡轮廓点相同的问题，同样的，利用未遮挡轮廓点的更新方式，将W^e更新为W^e′。最终将C^e与W^e′作为附加的对应关系加入3DMM参数的求解中。

以上步骤1包括了投影参数求解，3DMM参数求解和特征点更新。经过数次迭代求解，本步骤将收敛得到与图像中人脸外形接近的结果。

进一步地，所述步骤2表现为：将二维人脸图像反投影至步骤1求解得到的三维模型上，使得三维点对应有RGB颜色值，引入人脸光照先验信息和3DMM人脸肤色模型，结合本征图像的性质，迭代求解人脸光照环境和人脸肤色。具体而言，通过深度缓冲检测获取步骤1所得三维模型与二维人脸图像的映射关系，记录可见三维点在模型上的索引，形成可见点索引集合

对模型可见区域的三维点赋予二维图像上对应像素点集插值而得的RGB值，三维模型上的颜色值按3DMM的组织形式堆叠，记为I。本步骤将结合人脸光照先验和人脸纹理参数模型，在三维空间中对可见三维点集的颜色值进行本征图像分解，估计出二维图像中人脸所处的光照环境及人脸肤色。

人脸纹理参数模型在结构上与三维可形变模型一致，表示为A＝μ_tex+U_texδ。其中A为人脸纹理向量，是将每个点RGB值堆叠而成的大小为3p×1的向量，U_tex是人脸纹理主元，大小为3p×199，μ_tex为平均人脸纹理向量。δ则为待求的人脸纹理参数向量，其大小为199×1。与形体参数类似，纹理参数具有相应的标准差向量σ_tex，使得δ满足高斯分布

三维模型颜色向量I与人脸纹理模型向量A之间存在着如下的联系：

即对第i个模型可见点，其颜色值

可由纹理向量

与光影向量

按位点乘而得，换言之，可将I分解为分别反映材质信息和几何光影信息的两个同大小的向量，即A和S。本征图像分解是一个病态问题，因此，我们额外引入了球谐光照及其先验信息来进一步表征光影信息S。

我们可以粗略地假定人脸是一个朗伯体，即仅具有漫反射的特性，而不具有高频的高光反射特性。那么RGB三通道的场景光照可以由一个3×9的矩阵L表征，称为球谐光照系数。

S_k＝LY(n_k)

其中S_k为模型上第k个点的RGB光影强度，是一个3×1的向量；L即为表征场景光照的球谐光照系数，它在整个场景中保持不变；n_k表示模型上第k个点的表面法向量，Y(n_k)表示模型上第k个点法向量对应于球谐光照的基底，Y(·)是一个3→9的函数映射，假定有法向量n＝(n_x，n_y，n_z)，其中n_x，n_y，n_z是该法向量在x，y，z三个方向上的分量，那么对应的Y(n)则是

结合人脸肤色模型，我们最终得到一个新的本征图像分解表示方法

注意到法向量

可由步骤1求得的模型计算得到，上式的未知量仅有大小为199的纹理参数向量δ和大小为3×9的球谐光照系数L。为了将光照系数约束在一个合理的范围内，我们创新性地使用了一个真实的人脸球谐光照系数数据集，从中我们计算得到了光照系数的平均值μ_L和光照系数协方差矩阵C_L。于是我们得到描述整个步骤2的优化方程。

式中符号.*表示两个大小相同的矩阵按元素位置相乘。λ₃，λ₄为标量，分别表示纹理参数向量δ的先验高斯分布约束的权重系数和光照L的先验约束的权重系数。在这个能量函数中，第一部分约束了本征图像的分解，第二部分将纹理参数约束在先验的高斯分布之中，第三部分则将光照系数约束在合理的先验范围内。初始时，我们设定δ＝0，首先求解光照系数L，其后再固定L不变，求解纹理参数δ。通过多次迭代求解的方式，我们最终解得人脸光照系数和肤色纹理参数。

进一步地，所述步骤3表现为：将步骤1中三维模型作为初始模型，将人脸光照环境、人脸肤色和三维模型的法向量一同渲染为二维图像，固定肤色和光照信息，将渲染图像与原图之间的差距作为代价函数进行最优化问题的求解，变量为三维模型的点坐标X。记变量n_i，j为图像上(i，j)位置的像素对应的法向量。步骤1中的Tr_i，j记录了每像素点与模型三角面片的对应关系，一个三角形Tr_i，j包含了三个点索引{v₁，v₂，v₃}，分别表示组成这个三角形的三个点在X中的编号。由此(i，j)像素与模型上的Tr_i，j三角面片是对应的，所以此像素对应的法向量可以由其对应面片得到：n_i，j＝N(X，Tr_i，j)。N为计算法向量的公式：

式中

表示X中第v_k个点的坐标(v_k∈Tr_i，j)。代表法向量由三角形两边叉乘后归一化得到。

此时问题可以描述为：

其中E_shading(X)表示为：

其中pixel指原图上的各个有效像素点位置的集合，这由之前的Tr赋值情况得到。这个代价函数中第一项为渲染的图像与原图的偏差值，使模型在对应光照和肤色下可以还原原图的信息；第二项为Uniform-Laplacian算符下的模型形状保持项，可以防止模型脱离步骤1中得到的初始人脸外形。其中λ₅为标量，表示Laplacian能量函数的加权系数，X是待求解的模型坐标变量，X₀为模型点的初始坐标，

为uniform的Laplacian算符，

可表示为一个大小为p×p的稀疏矩阵，矩阵中(i，j)位置的元素值与三维模型中第i点的一阶邻域

相关，r_i，j表示将带有肤色纹理A的三维模型X渲染到二维图像上得到的位于(i，j)的像素值。I_i，j为原始输入图像(i，j)像素的值。其余变量均与步骤2中的说明一致，其中Y(·)是一个3→9的函数映射，L为3×9的球谐光照系数。

最终通过非线性最优化方法求解这个问题，得到输出模型X。

附图说明

附图说明用于提供对本发明技术方案的进一步理解，并构成说明书的一部分，与本发明的实施一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图说明如下：

图1是本发明方法的流程图。

具体实施方式

以下将结合附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决问题，并达成技术效果的实现过程能充分理解并据以实施。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的不同计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本发明是一种基于光照先验的单张图像人脸三维重建方法，包括如下步骤：

步骤1：初始人脸外形求解。

输入无约束的单张人脸图像，检测二维特征点，利用特征点对应关系求解人脸投影姿态s，R，T。

在此基础上求解3DMM整体脸型与人脸表情参数α和β。

使用两种方式分别更新未遮挡轮廓点和自遮挡轮廓点的对应关系，并重新迭代求解投影姿态与3DMM参数，直到收敛得到初始化人脸模型。

步骤2：光照与纹理估计。

通过引用3DMM人脸纹理模型及人脸光照先验模型，迭代求解模型纹理与光照信息，从而为下一步骤提供先验数据。

步骤3：模型几何细节恢复。

在得到光照和纹理信息后，通过降低渲染图像与输入图像之间的偏差，可以恢复出目标人脸的精细几何细节。以下为能量函数的表示：

其中E_shading(X)表示为

经过以上三个步骤后就可以得到与目标人脸相一致的具有几何细节和纹理的三维人脸模型。

本领域的技术人员应该明白，上述的本发明的系统结构和各个步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将他们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所示出和描述的实施方式如上，但是所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (4)

1.一种基于光照先验的单张图像人脸三维重建方法及系统，其特征在于，包括如下步骤：

步骤1：通过检测二维人脸特征点，使用基于数据驱动的3DMM模型进行初始人脸外形的求解；

步骤2：根据光照先验及人脸肤色模型，结合上一步得到的初始模型，估计出光照和纹理信息；

步骤3：利用图像的光影变化信息，在三维模型上进行细节的形变，得到精细的三维人脸模型。

2.权利要求1所述方法的步骤1的特征在于，输入无约束的单张人脸图像，通过3DMM生成初始人脸模型后，针对未遮挡轮廓点与自遮挡轮廓点提出适用于两种不同情况的对应关系修复方式。针对未遮挡轮廓点直接利用投影关系：

投影后作垂线：

获得更新的对应二维特征点坐标；针对自遮挡轮廓点，根据先前求解的投影参数将模型渲染为二值图像，通过边缘检测，提取视角轮廓像素点对应的三角面片索引，从而得到自遮挡轮廓三维模型点索引

将X中C^e对应点投影至二维后得到

利用未遮挡轮廓点中作垂线的更新方式将W^e更新为W^e′，最终将C^e与W^e′作为新的对应关系加入3DMM参数的求解中。在此之后重新迭代求解投影姿态与3DMM参数，直到收敛得到初始化人脸模型。

3.权利要求1所述方法的步骤2的特征在于，根据步骤1得到的三维模型，结合3DMM人脸纹理模型及人脸光照先验模型，在三维空间中迭代求解模型纹理与光照信息，从而为下一步骤提供先验数据。

其中μ_tex为平均人脸纹理向量，U_tex是人脸纹理主元，δ则为待求的人脸纹理参数向量，L为表征场景光照的球谐光照系数。σ_tex为纹理参数δ应满足的高斯分布，μ_L和C_L分别为球谐光照系数的平均值和协方差矩阵。方程第一项约束了参数化模型构建出来的颜色与真实值的偏差，第二项为纹理参数δ的高斯约束项，第三项为光照参数L的先验约束项。

4.权利要求1所述方法的步骤3的特征在于，使用以下能量函数描述几何细节优化的问题：

其中E_shading(X)＝∑_{i，j∈pixtl}(r_i，j*max(LY(N(X，Tr_i，j))，0)-I_i，j)²

总能量函数中的第一项E_shading(X)为渲染的图像与原图的偏差值；第二项为Uniform-Laplacian算符下的模型形状保持项。其中X是待求解的模型坐标变量，X₀为模型点的初始坐标，

为uniform的Laplacian算符，

可表示为一个稀疏矩阵，矩阵中(i，j)位置的元素值与三维模型中第i点的一阶邻域

相关，r_i，j表示将带有肤色纹理A的三维模型X渲染到二维图像上得到的位于(i，j)的像素值。I_i，j为原始输入图像(i，j)像素的值。通过非线性优化这一总能量函数，步骤3最终可得到与图片人脸相一致的三维人脸模型。

Images