CN108447085B - 一种基于消费级rgb-d相机的人脸视觉外观恢复方法 - Google Patents

Abstract

本发明公开一种基于消费级RGB‑D相机的人脸视觉外观恢复方法，通过用消费级别的RGB‑D相机采集人脸三维几何模型和一组彩色照片作为算法输入，对不准确的相机位姿、人脸几何形状以及耦合在彩色照片中的未知人脸材质和环境光照进行联合优化，以恢复人脸几何模型的视觉外观。该方法能够模拟出人脸皮肤较薄处因光线射入皮肤被皮下血管和组织散射、吸收，从阴影处离开所引起的微弱倾向红色的偏移；且遵守能量守恒定律，更符合物理学规律，总体上看起来更为真实。本发明的方法能够恢复出接近彩色照片的具有真实感的人脸视觉外观。

Description

一种基于消费级RGB-D相机的人脸视觉外观恢复方法

技术领域

本发明涉及计算机图形学领域，尤其涉及一种基于消费级RGB-D相机的人脸视觉外观恢复方法。

背景技术

计算机图形学中的三维模型通常包含两方面的信息，即物体的形状和物体的视觉外观。传统的三维建模工具虽然日益改进，但构建稍显复杂的三维模型对于没有专业背景的普通用户来说，依旧是一件非常有难度的工作。通过专业的激光扫描技术能够获取较为精确的场景深度图，但代价高昂且十分耗时。随着各种面向普通消费者的深度相机的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。Newcombe等人提出了一个叫做KinectFusion的算法(Newcombe R A,Izadi S,Hilliges O,et al.KinectFusion:Real-time dense surface mapping and tracking[C].Mixed and augmented reality(ISMAR),2011 10th IEEE international symposium on.IEEE,2011:127-136)，首次实现了基于消费级RGB-D相机的实时稠密三维重建，同时能够获得三维模型的粗略彩色外观，为普通用户获取现实生活中各类物体和人物的几何信息提供了重大的便利。但是该方法致力于三维重建，对模型视觉外观只是简单对RGB颜色进行加权平均，无法解决因不准确的相机位置和镜头的畸变等原因而导致的错误匹配和外观模糊问题。

随着计算机视觉、虚拟现实和多媒体通信领域对真实感模型的需求与日俱增，对模型进行具有真实感的视觉外观恢复技术获得了更多的关注。Zhou等人提出了一种ColorMap算法(Zhou Q Y,Koltun V.Color map optimization for 3D reconstructionwith consumer depth cameras[J].ACM Transactions on Graphics(TOG),2014,33(4):155)将消费级RGB-D相机的位置和镜头畸变加入优化，能够对生活中的常见物体进行良好的材质恢复，但是算法没有将物体表面明显的镜面反射高光加入考虑，因此只能对漫反射材质的物体进行恢复。Wu等人的工作(Wu H,Wang Z,Zhou K.Simultaneous localizationand appearance estimation with a consumer RGB-D camera[J].IEEE transactionson visualization and computer graphics,2016,22(8):2012-2023)把物体表面的镜面反射高光加入考虑，获得了具有真实感的材质恢复结果，不过作者的工作仅限于对不透明物体进行建模，对透明和半透明物体如人体的皮肤来说，材质表面可能发生对物体视觉外观有着重要影响的次表面散射(Subsurface Scattering)现象，算法没有将这一现象考虑进去。

由于人体皮肤的结构非常复杂，要模拟人体皮肤外观是一个十分具有挑战性的问题，而人类又对于人脸异常熟悉，这使得人脸上的任何微妙之处都能够轻易引起人们的注意，这就需要对人脸的材质进行十分精确的建模。最简单的皮肤反射模型是双向反射分布函数(Bidirectional Reflectance Distribution Function，简称BRDF)，它描述了入射光线经过皮肤表面反射后如何在各个出射方向上分布。Blanz等人(Blanz V,Vetter T.Amorphable model for the synthesis of 3D faces[C].Proceedings of the 26thannual conference on Computer graphics and interactive techniques.ACM Press/Addison-Wesley Publishing Co.,1999:187-194)在不变的光照下通过照片估计出了人脸不同区域的各向同性的BRDF参数，Fuchs等人(Fuchs M,Blanz V,Lensch H,etal.Reflectance from images:A model-based approach for human faces[J].IEEETransactions on Visualization and Computer Graphics,2005,11(3):296-305)将这一约束放宽到了可变光照下。然而，上述模型都存在一个根本的局限，那就是忽略了对人脸皮肤的视觉外观有着重要影响的次表面散射现象，Krishnaswamy和Baranoski将其纳入考虑，引入了一种基于光谱和生物物理参数的皮肤双向表面散射分布函数(BidirectionalSurface Scattering Reflectance Distribution Function，简称BSSRDF)模型(Krishnaswamy A,Baranoski G V G.A biophysically‐based spectral model of lightinteraction with human skin[C].Computer Graphics Forum.Blackwell Publishing,Inc,2004,23(3):331-340)。但是由于该函数有八维之高，对于它的测量和表示都是一件非常困难的工作，Jensen等人首次使用了扩散理论为各项均匀材质的BSSRDF模型提出了实用的低维解析近似(Jensen H W,Marschner S R,Levoy M,et al.A practical model forsubsurface light transport[C].Proceedings of the 28th annual conference onComputer graphics and interactive techniques.ACM,2001:511-518)。

发明内容

针对现有技术的不足，本发明提出一种基于消费级RGB-D相机的人脸视觉外观恢复方法，该方法通过对人脸皮肤材质建模，通过一种联合优化的方法修正不准确的相机位姿、人脸几何形状，并估计耦合在彩色照片中的未知人脸材质和环境光照，以恢复人脸几何模型的视觉外观。

一种基于消费级RGB-D相机的人脸视觉外观恢复方法，其特征在于，该方法首先对人脸皮肤材质建模，然后通过联合优化的方法修正不准确的相机位姿、人脸几何形状，并估计耦合在彩色照片中的未知人脸材质和环境光照，以恢复人脸几何模型的视觉外观；

所述的人脸皮肤材质建模具体为：

(1)采用三层皮肤介质模型将皮肤结构简化为油脂层、表皮层和真皮层等三层；

(2)对由皮肤表皮层和真皮层贡献的漫反射部分采用基于光谱和生物物理参数的皮肤双 向表面散射分布函数对皮肤所具有的半透明效果进行建模；对发生在皮肤表面油脂层的镜面反射部分采用基于物理的双向反射分布函数进行建模；

所述的联合优化的方法包括如下步骤：

(1)对相机位姿进行线性参数化，使用高斯牛顿优化方法对相机位姿进行求解；

(2)对人脸材质进行逐点和逐区域地三步法优化，使用Nelder-Mead搜索方法对人脸材质的参数进行求解；

(3)对环境光照使用八面体映射的方法参数化，使用高斯牛顿优化方法对环境光照进行求解；

(4)对人脸几何结构添加平滑性和可积性约束，使用高斯牛顿优化方法对人脸几何结构进行求解。

进一步地，所述的联合优化的方法中的步骤(2)中的逐点和逐区域地三步法优化具体为：

(1)对人脸漫反射率进行逐点地估计；

(2)固定漫反射率，对人脸镜面反射率、粗糙度、退化散射系数、吸光率进行逐区域地优化；

(3)固定逐区域的人脸镜面反射率、粗糙度、退化散射系数、吸光率，对漫反射率进行逐点地优化。

进一步地，所述的联合优化中对环境光照进行优化时采用一个数据项约束和一个基于光源物理规律的普朗克轨迹的软约束的组合。

进一步地，所述的对人脸漫反射率逐点估计的估计值A(x)为：

其中，F_t(x，ω_i)是点x处、入射光方向为ω_i的菲涅尔项的折射部分，F_t(x，ω_o)是点x处、入射光方向为ω_o的菲涅尔项的折射部分，j代表第j张彩色照片，f_r(x，n，ω_o，ω_i)表示在点x处、法向量为n、入射光方向为ω_i、观察方向为ω_o的亮度纹理采样点：

其中，L(x，ω_o)表示点x处、观察方向为ω_o时人脸所受到的光照，f_s(·)为表示人脸镜面反射的双向反射分布函数模型，L(x，ω_i)表示点x处、入射光方向为ω_i时人脸所受到的光照，Ω是以点x为球心、以法向量n为轴所环绕的半球领域。

进一步地，所述的联合优化采用多层优化的方法，即自底向上建立多个层级的彩色照片{I_j}和代表人脸几何信息的点集X，底层为原始量级的数据，自底向上分辨率逐层降低，优化 从分辨率最低、点数最少的顶层数据开始，直到迭代算法在当前层收敛，再进入下一层优化。

进一步地，所述的人脸视觉外观恢复方法还包括后处理的过程，具体为：

(1)将人脸几何模型上的每一个点的材质表示为各区域中每种材质的线性组合；

(2)基于已经求出的相机位姿和环境光照对人脸几何模型上不属于人脸区域的点进行材质参数的求解和几何结构的修正；

(3)对不可见点及其他未加入优化的点的材质参数的求解，通过加权平均其周围的可见点的材质参数来得到。

本发明的有益效果是：

本发明提出的基于消费级RGB-D相机的人脸视觉外观恢复方法能够恢复出接近彩色照片的具有真实感的人脸视觉外观。相比于被普遍采用的朗伯模型，该方法能够模拟出人脸皮肤较薄处因光线射入皮肤被皮下血管和组织散射、吸收，然后从阴影处离开所引起的微弱倾向红色的偏移；与传统的Phong BRDF或Blinn-Phong BRDF等模型相比，该方法遵守能量守恒定律，更符合物理学规律，总体上看起来更为真实。

附图说明

图1是本发明对随机寻找的五位性别、年龄不同的志愿者进行的人脸视觉外观恢复结果图和本征图分解；

图2是本发明恢复出来的人脸视觉外观与输入的彩色照片的均方根误差雷达图；

图3是分别采用本发明提出的联合优化方法和KinectFusion算法生成的人脸视觉外观恢复结果的对比图；

图4是本发明使用的考虑次表面散射现象的BSSRDF模型恢复出的人物视觉外观和基于被普遍采用的朗伯模型恢复出的人脸视觉外观的对比图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种基于消费级RGB-D相机的人脸视觉外观恢复方法，该方法首先对人脸皮肤材质建模，然后通过联合优化的方法修正不准确的相机位姿、人脸几何形状，并估计耦合在彩色照片中的未知人脸材质和环境光照，以恢复人脸几何模型的视觉外观，具体如下：

一、人脸皮肤材质建模

这一步骤主要是针对人脸皮肤的复杂结构进行材质建模。本发明参考Donner和Jensen提出的三层皮肤介质模型(Donner C,Jensen H W.Light diffusion in multi-layered translucent materials[J].ACM Transactions on Graphics(ToG),2005,24(3):1032-1039)，将皮肤结构简化为油脂层(Thin Oily Layer)、表皮层(Epidermis)和真皮层(Dermis)三层，根据该模型，皮肤光照的镜面反射主要发生在其表面油脂层，而油脂层下面的表皮层和真皮层则贡献了皮肤光照中主要的漫反射部分。

本发明对漫反射部分使用BSSRDF模型的低维解析近似来对皮肤所具有的半透明效果进行建模，相比于被普遍采用的朗伯模型，使用BSSRDF能够模拟出人脸皮肤较薄处因光线射入皮肤被皮下血管和组织散射、吸收，然后从阴影处离开所引起的微弱倾向红色的偏移；对镜面反射部分采用基于物理的BRDF模型，与传统的Phong BRDF或Blinn-PhongBRDF等模型相比，该方法遵守能量守恒定律，更符合物理学规律，总体上看起来更为真实。

二、人脸视觉外观的联合优化

本发明的目标是对算法输入的点集逐点地计算出符合相机拍摄到的彩色照片{I_j}的最佳视觉外观，将目标函数定义为：

其中，T_j是相应的不准确相机位姿，Θ是未知的人脸皮肤反射模型参数，L是未知的环境光照，G是不准确的人脸几何结构。g(·)、f(·)、l(·)、z(·)分别是相机位姿、皮肤反射模型、环境光照、人脸几何结构的能量函数。

由于要求解的参数太多，对应的解空间过于庞大，为了避免优化陷入诸多局部最优，本发明通过迭代的方式进行联合优化。在每次迭代过程中，优化其中的一部分变量，固定另一部分变量，在每次迭代结束后，用经过优化后的值计算其余的变量，再次进入新的迭代优化，直到所有的能量函数和全局能量函数达到最小。

本发明的人脸视觉外观联合优化包括以下子步骤：

(1)相机位姿优化

给定彩色照片集合{I_j}和代表人脸几何信息的点集X在每一张彩色照片I_j中的对应可见点集X_j，对所有可见点集X_j中的每一个可见点x，通过对应的相机位姿T_j可以找到该点在相应彩色照片I_j上的投影点像素颜色I_j(x，T_j)。相机位姿的优化目的在于求解一组相机位姿{T_j}，使得点x在集合{I_j}中每一彩色张照片上的投影点颜色的一致性达到最大。本发明将相机位姿的优化函数定义为：

其中，

表示可见点x在{I_j}中所有彩色照片上投影点像素颜色I_j(x，T_j)的平均值：

在每次迭代中，按照如下方式更新T_j：

由于对相机位姿的优化函数是一个形如

的非线性最小二乘问题，因此适于通过解决非线性最小二乘问题的常见方法高斯牛顿法进行求解。

在实验中，当被扫描者缓慢稳定地转动时，可假设被扫描者只存在由一个旋转变换R_j和一个平移变换t_j所组成的刚体变换，其中j指代第j张彩色照片。该刚体变换可以表示为：

这里T_j是一个4×4的矩阵，为了便于进行计算，在每次迭代中算法将T_j在

周围局部线性化，并用一个与

相关的六维向量ξ_j＝(a_j，b_j，c_j，α_j，β_j，γ_j)^T参数化T_j。其中，(a_j，b_j，c_j)^T是刚体变换中的平移向量，(α_j，β_j，γ_j)^T是刚体变换中刚体分别绕X、Y、Z轴旋转的角速度。

在每次迭代中，α_j，β_j，γ_j每次的变化都很小，我们能够通过ξ_j把T_j表示为：

由此，对相机位姿的优化变量降为了六维的向量ξ_j。

2)材质优化

根据本发明对人脸皮肤材质的建模，对人脸材质的优化就是对人脸双向反射分布模型中未知的参数进行优化，这一过程中的优化变量包括镜面反射部分的镜面反射率ρ_s、粗糙度m和漫反射部分的漫反射率A(x)、退化散射系数σ_s′、吸光率σ_a。人脸材质的优化函数定义为：

其中，Θ＝(ρ_s，m，A，σ_s′，σ_a)^T为优化变量，I_j(x)表示人脸皮肤表面的点x在彩色照片I_j上的投影点的颜色值，I(x，ω_o，Θ)表示用我们对人脸皮肤材质的建模以Θ为参数、ω_o为观察方向计算出 来的点x的颜色值。

本发明根据人脸材质的先验知识，将脸部分为了十个不同的区域，类似于材质聚类的方法，假设在同一区域中的人脸皮肤材质参数都相同。但是，为了保证能够恢复出人脸皮肤表面的细节特征，如粉刺、雀斑、皱纹等，本发明对漫反射率A(x)进行逐点地估计。因此，本发明对人脸材质的优化分为三步：首先对漫反射率A(x)进行逐点地估计；然后固定逐点的漫反射率，逐区域地对人脸双向反射分布模型中镜面反射部分的镜面反射率ρ_s、粗糙度m和漫反射部分的退化散射系数σ_s′、吸光率σ_a进行优化；最后固定逐区域的漫反射率A(x)、退化散射系数σ_s′、吸光率σ_a，对漫反射率进行逐点地优化。

本发明对人脸皮肤表面漫反射率的估计，参照了Weyrich等人(Weyrich T,Matusik W,Pfister H,et al.Analysis of human faces using a measurement-basedskin reflectance model[C].ACM Transactions on Graphics(TOG).ACM,2006,25(3):1013-1024)的做法，假设人脸皮肤表面任意一点的镜面反射光总会在一些观察方向消失，因此认为该方向的反射光就是人脸皮肤表面上在该点完全的漫反射。

考虑到类似于人脸皮肤的半透明材质可能会发生次表面散射现象，对其视觉外观有重要的影响，本发明没有单纯地使用此时亮度最小的那一点的颜色值作为人脸皮肤表面的漫反射率(Wu H,Wang Z,Zhou K.Simultaneous localization and appearanceestimation with a consumer RGB-D camera[J].IEEE transactions on visualizationand computer graphics,2016,22(8):2012-2023)，而是通过用单位漫反射光照对此时皮肤表面反射出来的光照f_r(x，n，ω_o，ω_i)进行归一化作为人脸皮肤表面逐点漫反射率的估计值：

其中，F_t(x，ω_i)是点x处、入射光方向为ω_i的菲涅尔项的折射部分，F_t(x，ω_o)是点x处、入射光方向为ω_o的菲涅尔项的折射部分，j代表第j张彩色照片，f_r(x，n，ω_o，ω_i)表示点x处、法向量为n、入射光方向为ω_i、出射光方向为ω_o的亮度纹理采样点(Lensch H P A,Kautz J,Goesele M,et al.Image-based reconstruction of spatially varyingmaterials[M].Rendering Techniques 2001.Springer,Vienna,2001:103-114),通过用点x处的辐照度(Irradiance)对其观察方向为ω_o时的反射亮度进行归一化得到：

其中，L(x，ω_o)表示点x处、观察方向为ω_o时人脸所受到的光照，f_s(·)用来表示人脸镜面反射的BRDF模型，L(x，ω_i)表示点x处、入射光方向为ω_i时人脸所受到的光照，Ω是以点x为球心，以法向量n为轴所环绕的半球领域。

为了排除人脸的几何模型边界造成的不确定性和掠射角处发生的菲涅尔效应的影响，本 发明通过丢弃最小的k个A(x)的估计值来得到较为鲁棒的结果。

虽然对人脸材质的优化函数也是形如

的非线性最小二乘形式，可以使用高斯牛顿法进行优化。但是由于一次迭代要进行两步优化，每一步的优化结果会相互影响，如果使用需要导数信息的高斯牛顿法，算法极易陷入优化函数诸多的局部最小值当中。因此本发明对人脸材质的优化使用了一种不需要函数导数信息的Nelder-Mead搜索方法进行迭代优化。

Nelder-Mead搜索对于一个有着n个未知变量的函数，首先需要n+1个属于

的初始估计向量x₁、x₂、...、x_n+1，这些点构成了n维的单纯形(Simplex)。单纯形是几何学上某个n维以上的欧几里得空间(Euclidean Space)中的n+1个仿射无关的点集的凸包，可以将其简单理解为一个n维的几何体，它具有n+1个顶点。算法通过不断地对单纯形顶点以函数值升序排列y₁＜y₂＜…＜y_n+1＝y_h，对最差的单纯形向量x_h＝x_n+1进行替换，以试图将这个n维的几何体滚到一个尽可能低的水平，逐步逼近最优解。对于人脸材质优化，本发明定义单纯形向量x＝Θ，则其函数值y＝f(Θ)。

(3)环境光照优化

假设场景中的物体被一个密闭的球体包围，射向场景中的每一点的光线都来自这个球体。为了方便表示和存储该球面环境光照，本发明通过八面体映射(Octahedron Map)的方法(Engelhardt T,Dachsbacher C.Octahedron Environment Maps[C].VMV,2008:383-388)，分别将该环境球的正半球和负半球参数化到两个二维的正方形中。

相对于常用的立方体映射(Cube Map)、球体映射(Spherical Map)，本发明所使用的八面体映射能够方便地将环境球参数化到二维平面并尽可能地减少拉伸产生的畸变，同时还能保持内部连续无边界，非常有利于尽可能还原真实环境光照。

设环境球的半径为r，球心位于原点，则对应的八面体的六个顶点坐标分别为(±r，0，0)、(0，±r，0)、(0，0，±r)。通过下式可以计算出球面上的任意一点p在八面体表面的映射点p′：

其中，p_x、p_y、p_z分别为点p在x、y、z轴上的分量。

将环境球的正半球定义于y轴正方向，负半球定于y轴负方向，通过下式可以得到八面体上任意一点p′到二维矩形的映射点p″，其中，σ(·)为符号函数：

当p′_y＞0时，

否则，

因为模型的视觉外观会受到采集数据时的环境光照影响，为了用当前估计的环境光照计算出的物体外观I(L)与从Kinect相机中拍摄到的所有彩色照片{I_j}的差异最小，本发明对环境光照的优化定义了数据项约束l_s：

为了能充分利用有效光照采样数据尽可能准确恢复出环境光照，本发明参照了LiC等人(Li C,Zhou K,Lin S.Intrinsic face image decomposition with human facepriors[C].European Conference on Computer Vision.Springer,Cham,2014:218-233)的做法，对环境光照优化增加了一个基于光源物理规律的普朗克轨迹(Planckian locus)软约束。

普朗克定律(Planck's Law)描述了任意温度Γ下从一个黑体中发射的电磁辐射的辐射率与电磁辐射的频率之间的关系。根据普朗克定律，从一个黑体中发射的电磁辐射的辐射率会沿着普朗克轨迹在CIExy颜色空间分布。因此本发明假设场景中的光源符合普朗克黑体辐射定律，为了使算法估计出的环境球上每一有效采样点的色度在CIExy颜色空间中能够尽可能地沿着普朗克轨迹分布，本发明对环境光照优化增加软约束l_p：

y(x)＝ax³+bx²+cx+d

其中，x,y为色温Γ在CIExy颜色空间中的点坐标，y(x)表示光源根据其色温Γ在CIExy颜色空间中的普朗克轨迹(Kang B,Moon O,Hong C,et al.Design of advancedcolor:Temperature control system for HDTV applications[J].Journal of theKorean Physical Society,2002,41(6):865-871)：

当1667K≤Γ＜2222K时，

当2222K≤Γ＜4000K时，

当4000K≤Γ＜25000K时，

综上，本发明将环境光的能量函数定义为一个数据项l_s和一个基于光源物理规律的普朗克轨迹l_p的软约束的组合：

l(L)＝λ_lpl_p(L)+λ_lsl_s(L)

其中，λ_lp、λ_ls分别为l_p(L)和l_s(L)的权重。

由于已经将环境球参数化到了二维矩形上，可以方便地在每次迭代中计算其雅可比矩阵，因此本发明对环境光照的优化使用前述的高斯牛顿法。

(4)几何结构优化

由于从KinectFusion中得到人脸几何结构并不准确，本发明对人脸几何结构的三维模型上的法向量加入平滑性和可积性约束来对人脸几何结构进行优化，其优化函数为：

z(G)＝λ_SP_S+λ_IP_I

其中，λ_S、λ_I分别为P_S和P_I的权重，P_S为对人脸几何模型上逐点的法向量定义的平滑性约束，P_I为对人脸几何模型上逐点的法向量定义的可积性约束：

其中，R_x是点x的一环邻域，y₀，y₁是R_x中相邻的点，C(R_x)为R_x的面积。

因为对法向量的约束需要求导信息，其优化问题适用于通过前述的高斯牛顿法求解。为了便于进行逐点地优化，本发明将法向量在点x的一环邻域中局部参数化为二维的向量(u，v)^T，使得

通过上述步骤，在一台配置了

Core^TMi5-4430CPU和16GB 1600MHz DDR3内存的机器上实现了本发明的实施实例，实例数据采集过程是在一间装有数个色温为6500K、功率为28W的白炽灯的普通办公室中进行的。本发明的算法输入是一组从Kinect相机中拍摄到的彩色照片{I_j}和相应的相机位姿{T_j}，以及通过KinectFusion得到的代表人脸几何信息的点集X。

为了验证本发明的方法，随机寻找五位性别、年龄不同的志愿者进行数据采集，图1展示了相应的人脸视觉外观恢复结果的灰度图和本征图分解的灰度图，根据反馈回来的调查问卷，志愿者都表示能够接受本发明对其视觉外观的恢复。为了能够更加客观地衡量本发明恢复出来的人脸视觉外观与输入彩色照片的相似性，本发明将人脸三维几何模型上每一点的RGB颜色与其在相应彩色照片中的投影点颜色在RGB空间中的欧式距离作为误差，计算了本发明恢复出来的人脸视觉外观与输入彩色照片的均方根误差(Root Mean SquareError，简称RMSE)，如图2所示，其中图2(a)、图2(b)、图2(c)、图2(d)、图2(e)分别为志 愿者A、B、C、D、E对应的RMSE，外圈数字表示算法输入的彩色照片序号，同心圆半径表示算法的均方根误差值，最大半径为0.1。从中可以看到，本发明恢复出来的人脸视觉外观与输入的彩色照片总体的RMSE都不超过0.08，并且有超过半数的彩色照片的RMSE小至0.03左右。这说明本发明恢复出的人脸视觉外观总体上是十分接近于输入的真实彩色照片的。

相比于KinectFusion算法，本发明良好地处理了因不准确的相机位置和镜头的畸变等原因而导致的错误匹配使志愿者侧脸被背景色浸染的情况，而通过KinectFusion算法获得的结果出现了大面积区域被背景色浸染，如图3中的灰度图所示。此外，KinectFusion算法获得的结果还在侧脸还出现了错位现象，志愿者A的整个鼻子发生了向左的偏移，导致鼻梁出现在了原本鼻翼的位置；而志愿者B的整张脸都发生了偏移，并且其侧脸发生了由于扫描对象自身的晃动所引起的大面积的外观模糊现象。

相比于朗伯模型，使用考虑了次表面散射现象的BSSRDF模型恢复出的人物视觉外观整体上看起来更加柔和、更有生气，而使用朗伯模型恢复出的人物视觉外观整体上看起来更加生硬，如图4中的灰度图所示。在鼻孔处，使用次表面散射模型复出的人物视觉外观能够模拟出鼻孔处因光线射入皮肤被皮下血管和组织散射、吸收，然后从鼻下阴影离开所引起的微弱倾向红色的偏移，而使用朗伯模型恢复出的人物外观在鼻孔处只有阴影。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于消费级RGB-D相机的人脸视觉外观恢复方法，其特征在于，该方法首先对人脸皮肤材质建模，然后通过联合优化的方法修正不准确的相机位姿、人脸几何形状，并估计耦合在彩色照片中的未知人脸材质和环境光照，以恢复人脸几何模型的视觉外观；

所述的人脸皮肤材质建模具体为：

(1)采用三层皮肤介质模型将皮肤结构简化为油脂层、表皮层和真皮层等三层；

(2)对由皮肤表皮层和真皮层贡献的漫反射部分采用基于光谱和生物物理参数的皮肤双向表面散射分布函数对皮肤所具有的半透明效果进行建模；对发生在皮肤表面油脂层的镜面反射部分采用基于物理的双向反射分布函数进行建模；

所述的联合优化的方法包括如下步骤：

(1)对相机位姿进行线性参数化，使用高斯牛顿优化方法对相机位姿进行求解；

所述相机位姿的优化函数定义为：

其中，x为所有可见点集X_j中的每一个可见点，X_j为给定彩色照片集合{I_j}和代表人脸几何信息的点集X在每一张彩色照片I_j中的对应可见点集；I_j(x，T_j)为通过对应的相机位姿T_j找到的该点在相应彩色照片I_j上的投影点像素颜色；

表示可见点x在{I_j}中所有彩色照片上投影点像素颜色I_j(x，T_j)的平均值：

在每次迭代中，按照如下方式更新T_j：

T_j ^k+1＝T_j ^k+ΔT_j

(2)对人脸材质进行逐点和逐区域地三步法优化，使用Nelder-Mead搜索方法对人脸材质的参数进行求解；

其中，逐点和逐区域地三步法优化具体为：

(a)对人脸漫反射率进行逐点地估计；

(b)固定漫反射率，对人脸镜面反射率、粗糙度、退化散射系数、吸光率进行逐区域地优化；

(c)固定逐区域的人脸镜面反射率、粗糙度、退化散射系数、吸光率，对漫反射率进行逐点地优化；

(3)对环境光照使用八面体映射的方法参数化，使用高斯牛顿优化方法对环境光照进行求解；

(4)对人脸几何结构添加平滑性和可积性约束，使用高斯牛顿优化方法对人脸几何结构进行求解；

其中，平滑性和可积性约束定义为：

其中，P _S为对人脸几何模型上逐点的法向量定义的平滑性约束，P_I为对人脸几何模型上逐点的法向量定义的可积性约束，R_x是点x的一环邻域，y₀、y₁是R_x中相邻的点，C(R_x)为R_x的面积，n为向量，

(u，v)^T为法向量在点x的一环邻域中局部参数化后的二维的向量。

2.根据权利要求1所述的基于消费级RGB-D相机的人脸视觉外观恢复方法，其特征在于，所述的联合优化中对环境光照进行优化时采用一个数据项约束和一个基于光源物理规律的普朗克轨迹的软约束的组合。

3.根据权利要求1所述的基于消费级RGB-D相机的人脸视觉外观恢复方法，其特征在于，所述的对人脸漫反射率逐点估计的估计值A(x)为：

其中，F_t(x，ω_i)是点x处、入射光方向为ω_i的菲涅尔项的折射部分，F_t(x，ω_o)是点x处、入射光方向为ω_o的菲涅尔项的折射部分，j代表第j张彩色照片，f_r(x，n，ω_o，ω_i)表示在点x处、法向量为n、入射光方向为ω_i、观察方向为ω_o的亮度纹理采样点：

其中，L(x，ω_o)表示点x处、观察方向为ω_o时人脸所受到的光照，f_s(·)为表示人脸镜面反射的双向反射分布函数模型，L(x，ω_i)表示点x处、入射光方向为ω_i时人脸所受到的光照，Ω是以点x为球心、以法向量n为轴所环绕的半球领域。

4.根据权利要求1所述的基于消费级RGB-D相机的人脸视觉外观恢复方法，其特征在于，所述的联合优化采用多层优化的方法，即自底向上建立多个层级的彩色照片{I_j}和代表人脸几何信息的点集X，底层为原始量级的数据，自底向上分辨率逐层降低，优化从分辨率最低、点数最少的顶层数据开始，直到迭代算法在当前层收敛，再进入下一层优化。

5.根据权利要求1所述的基于消费级RGB-D相机的人脸视觉外观恢复方法，其特征在于，所述的人脸视觉外观恢复方法还包括后处理的过程，具体为：

(1)将人脸几何模型上的每一个点的材质表示为各区域中每种材质的线性组合；

(2)基于已经求出的相机位姿和环境光照对人脸几何模型上不属于人脸区域的点进行材质参数的求解和几何结构的修正；

(3)对不可见点及其他未加入优化的点的材质参数的求解，通过加权平均其周围的可见点的材质参数来得到。

Images