CN102346857B - 人脸图像光照参数和去光照图的高精度同时估计方法 - Google Patents

Abstract

一种人脸图像光照参数和去光照图的高精度同时估计方法，基于商图算法的参数化光照子空间框架，提出了一个改进的目标函数及其约束条件，允许人脸各像素点拥有独立的反射系数，更加符合人脸物理实际，提高了参数估计的精度；设计了一个类EM的迭代算法来求解该目标函数，能够高效地实现光照参数和去光照图的同时估计目的。相对于原商图系列算法，所提改进算法改善了人脸图像光照参数和去光照图的估计精确度，从而可以被直接用于提高基于光照参数的人脸图像光照重绘质量，以及基于去光照图的人脸识别系统准确率。

Description

人脸图像光照参数和去光照图的高精度同时估计方法

技术领域

本发明属于计算机视觉和图像处理领域技术领域，特别是一种人脸图像光照参数和去光照图的高精度同时估计方法。

背景技术

光照是影响人脸成像和人脸图像构成的重要因素，变化和未知的光照条件是人脸图像分析、合成以及识别技术实现的难点之一，人脸图像间光照差异的存在严重制约着现有人脸识别系统的性能。因此，对人脸图像光照效果的研究需求首先来自于建造对光照变化更加鲁棒的人脸识别系统。另外，人脸光照估计与重绘技术在计算机图形学领域也十分活跃，并被广泛地应用于虚拟现实、游戏制作、数字化电影后期制作等众多的用途。

针对光照因素在人脸图像分析、合成及人脸识别系统的研究中，光照参数估计及去光照图估计是其核心难点技术。光照参数估计指提取出给定人脸图像的与个体无关的光照因素参数化表达数值，它是进行光照重绘的基础；去光照图指从任意光照条件的人脸图像中去耦光照差异的因素，从而提取出的与光照无关的人脸滤波图像，该图像可被直接用于实现光照不变的人脸识别。

实现上述目标的算法根据是否采用3D形状建模以及是否基于朗伯特(Lambertain)反射模型，可以被划分为4个类别，这些方法通过对2D或3D的训练集设计不同的学习算法来提取其低维的参数，从而构造出各种不同含义的线性光照参数子空间。新样本通过在光照子空间中的投影或重构，分别用于实现光照估计、去光照图提取、光照鲁棒人脸识别等目的。

可渐变模型是一种具有人脸多属性综合绘制能力的人脸3D模型。该模型利用人脸形状与纹理的统计先验信息，采用Phong反射模型来估计和表达人脸表面的纹理特性，可以同时用于解决人脸光照与姿态的识别及合成问题。然而，该方法的实现复杂度较高，并且依赖于大规模人脸3D数据库的训练与学习。Kriegman等人发现任意照明条件下的人脸图像集可以在图像空间中构成凸锥(Convex Cone)的结构。通过学习每个人脸对象的多张不同照明图像，作者提出了3D人脸照明锥模型。该模型同样可以被用于解决人脸合成与识别中照明与姿态的组合变化问题。Jacobs等人提出了基于球面谐波表达的子空间模型，则通过构造一个9维的线性子空间来近似地表达凸朗伯特对象在所有可能光照条件下得到的图像集。

Shashua等人提出了基于人脸理想类假设的商图方法。该方法通过3个独立固定点光源的线性组合来表达三维世界的任意光照情况，能够在统一的数学框架下实现光照效果重绘、及光照不变的人脸识别任务。Chen等人将朗伯特对象的表面逐点反射系数命名为本质图(Intrinsic Image)，并通过在线性子空间中对该图的估计实现人脸光照的重绘。与基于3D人脸建模的方法相比，基于2D图像的子空间学习方法能够在较小的计算复杂度下，实现与3D方法接近的光照重绘效果。

张量脸模型通过构建多维的线性子空间可以同时处理人脸的多个不同属性(如光照、姿态、表情等)。针对光照重绘的特定任务，人脸图像的光照与身份这两个因素可以构成一个三模式的张量，也可以通过双线性子空间模型来表达。Lee等人针对人脸照明和形状因素，基于奇异值分解(SVD)提出了一个双线性模型，并报道可以获得比球面谐波等算法更有效的人脸图像光照变化的表达能力。

上述这些算法中大多数是设计用于对光照参数或去光照图中其中某一个目的进行专门求解，因此若是希望同时获得这两项估计值，则必须分别使用两个不同的算法进行求解，这样在实现上较为复杂。

商图算法因其简洁的运算以及在人脸识别与合成应用中的有效性，自提出以来，已引起了广泛的关注和进一步的发展。一系列改进的算法包括自商图(SelfQI)、非点光源商图(NPL-QI)、全变分商图(TV-QI)、形态学商图(MQI)、动态形态学商图(DMQI)、照明比例图(IRI)等陆续被提出。然而商图算法假设任一人脸对象i的表面具有恒定的反射系数ρ_i，从而任意两个人脸对象i与r间的商图

就被通过一个标量参数

来近似地表达。这种简化可以方便参数的求解过程。然而现实之中，人脸表面的反射系数是因点而异的，该项假设并不能够严格成立。这种近似表达给光照参数的估计引入了固有的误差，并将直接导致去光照图估计精度的损失，从而影响到人脸识别系统的识别率。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提供一种人脸图像光照参数和去光照图的高精度同时估计方法，在商图算法的参数化光照估计框架下提出了一个改进的目标函数及其约束条件，允许人脸各像素点拥有不同的反射系数，更加符合了人脸的物理实际；在增加了目标函数求解难度的时候设计出了一个类EM的迭代算法来求解该目标函数，并给出了求解算法的详细步骤，相对于原商图系列算法，所提改进算法改善了人脸图像光照参数和去光照图的估计精确度，从而可以被直接用于提高基于光照参数的人脸图像光照重绘质量，以及基于去光照图的人脸识别系统准确率。

为了达到上述目的，本发明所采用的技术方案是：

一种人脸图像光照参数和去光照图的高精度同时估计方法，采用朗伯特反射模型来建模人脸图像的成像，该模型如下式(1)所示：

I(p)＝ρ(p)n(p)^Ts(p)   (1)

式(1)中的人脸图像I通过其每一个表面点上反映纹理信息的逐点反射系数ρ乘以该点上的法向量n和光源向量s的内积来表达，p＝1…P，表示总像素数为P的图像I中的每一个像素；根据一个三维物体在3D空间中的光照向量可以用3个独立点光源的线性组合来近似表达这一原理，设s_j，j＝1…3表示一组线性独立的点光源集，则光源向量s可以表达为：

其中的光源组合权重系数x＝(x₁，x₂，x₃)^T即待估计的光照参数，它所张成的线性空间称为参数化光照子空间；接着采集N个人脸对象在这3个独立点光源s_j，j＝1…3分别照射下生成的3×N幅正面人脸图像，对这些图像进行特征点标定和后向变形(Warp)操作以实现像素级对准，获得训练样本集A_i，i＝1…N，其中每个样本A_i是一个P×3的非负实矩阵，表示第i个人脸对象在该组光源照射下得到的图像；设目标人脸对象r相对于训练样本集A_i，i＝1…N中任意第i个参考人脸对象的商图Q_i(p)为其两者间逐像素反射系数之

比：，ρ_i(p)和ρ_r(p)分别表示第i个参考人脸对象和目标人脸对象r在对应像素p上的反射系数；该定义下的商图集Q＝(Q_i，…，Q_N)是一组去耦了目标人脸图像光照因素而保留了其表面纹理差异特征的滤波图像，可被用于实现光照不变的人脸识别；设目标人脸图像T_I对应的对角阵diag(T_I)＝R，执行人脸光照参数和去光照图的同时估计核心算法，该算法流程描述如下：

Step1.参数初始化：

i＝1L N，这里u_x∈_i ^3×1和u_q∈_i ^P×1是单位向量；

Step2.将Q＝(Q₁，…，Q_N)代入线性方程组：

根据公式 $x={\left[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(A_i^T{A}_i\right)\right]}^{-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(A_i^T{\mathrm{RQ}}_i\right)$ 求解出x；

Step3.将x代入线性方程组：R^TRQ_i＝R^TA_ix，i＝1LN，分别求解出i＝1L N时对应的每一个商图Q_i的解：

p＝1LP，i＝1LN；

Step4.令i＝1L N，为第d步迭代中得到的第i个商图中所有像素的平均值，根据式

p＝1LP更新每一个商图Q_t上的每一个像素p处的灰度值；

Step.5判断如果满足 $\left|\right|x^{(d+1)}-x^{\left(d\right)}\left|\right|\≤\mathrm{\ϵ},$ $\left|\right|Q_i^{(d+1)}-Q_i^{\left(d\right)}\left|\right|\≤\mathrm{\ϵ},$ 则 $\hat{x}=x^{(d+1)}$ 即为所求光照参数，进入下一步；否则跳回Step2继续循环；

Step.6对所得商图i＝1…N求其平均图

并基于其标定特征点进行前向Warp操作以恢复其原始形状，即为所求目标人脸的去光照图，结束计算。

本发明的有益效果：

基于商图算法的参数化光照子空间框架，提出了一个改进的目标函数及其约束条件，允许人脸各像素点拥有独立的反射系数，更加符合人脸的物理实际，提高了参数估计的精度；设计了一个类EM的迭代算法来求解该目标函数，能够高效地实现光照参数和去光照图的同时估计目的。相对于原商图系列算法，所提改进算法提高了人脸图像光照参数和去光照图的估计精确度，从而可以被直接应用于提高基于光照参数的人脸图像光照重绘质量，以及基于去光照图的人脸识别系统准确率。

附图说明

图1为本发明的人脸图像光照训练集采集环境配置图。

图2为本发明所采用的标准参考人脸图像I^R及其形状特征点分布U^R，其中图2(a)为标准参考人脸图像，图2(b)为标准参考人脸图像形状特征点。

图3为本发明采集人脸光照样本图像完成灰度化及对准操作后的图像示例，其中图3(a)和图3(c)为完成灰度化、裁剪及背景去除后的图像，图3(b)和图3(d)为对应图像完成像素级对准变形后的结果。

图4为采用本发明方法所提取出的部分去光照图结果示例。

图5为本发明中光照参数和去光照图迭代估计算法的并行化实现框图。

具体实施方式

下面结合附图和实施例对本发明作更详细的说明。

人脸图像光照参数和去光照图的高精度同时估计方法，采用朗伯特反射模型来建模人脸图像的成像，该模型如下式(1)所示：

I(p)＝ρ(p)n(p)^Ts(p)   (1)

式(1)中的人脸图像I通过其每一个表面点上反映纹理信息的逐点反射系数ρ乘以该点上的法向量n和光源向量s的内积来表达，p＝1…P，表示总像素数为P的图像I中的每一个像素；根据一个三维物体在3D空间中的光照向量可以用3个独立点光源的线性组合来近似表达这一原理，设s_j，j＝1…3表示一组线性独立的点光源集，则光源向量s可以构建为：

其中的光源组合权重系数x＝(x₁，x₂，x₃)^T即待估计的光照参数，它所张成的线性空间即称为参数化光照子空间。

完成上述定义后，首先需要采集N个人脸对象在3个独立点光源s_j，j＝1…3分别照射下生成的3×N幅正面人脸图像。该图像采集系统布置在一个5×5×2.5M的房间中，如图1所示。被采集对象坐在升降椅上，通过调整椅子的高度使其双眼高度为1.3M且正对相机，距离相机为2.0M，拍摄时，要求被拍摄对象表情自然，眼睛平视正前方。3盏50W的卤素射灯(D0、D1、D2)作为点光源，依次安装在被拍摄者的正右方，正前方和正左方，距离被拍摄者1.8M，通过其开闭实现3种不同的光照条件。由于白平衡调节的准确性直接关系到人像面部色彩的真实性，在D0～D2全部打开的情况下调节拍摄相机的白平衡，并将IS0感光度设置为100，以减小弱光线条件下图像的噪声。所采集人脸图像完成灰度化、裁剪及背景去除后的部分样本如图3(a)和图3(c)所示。

不同人脸之间的像素级对准是所提核心算法实现的前提。假设人脸的形状由n个特征点来刻画，这里特征点可以通过主动形状模型(ASM)算法自动搜索，也可以通过手工进行标定。这样样本人脸图像／与预先定义的标准人脸图像I^R的形状特征就可以分别用矢量U^I＝(x₁，y₁，…，x_n，y_n)和

来表示。一个典型的标准人脸及其形状特征点分布如图2所示。利用图像后向变形(Warp)的方法，就得到了这两个人脸图像之间的位移光流场S_I＝(Δx₁，Δy₁，…，Δx_P，Δy_P)，其中P为图像中像素的个数，且在对应点处满足 $({\mathrm{\Δx}}_i,{\mathrm{\Δy}}_i)=(x_j,y_j)-(x_j^R,y_j^R)=(\mathrm{\Δx},\mathrm{\Δy}),$ 这里1≤i≤P，1≤j≤n。我们称S_I为I关于I^R的形状矢量。样本I按照S_I进行逐像素的位移后，即完成了样本人脸相对于参考人脸的对准操作，对准后的人脸图像T_I满足T_I(x，y)＝I(x+Δx(x，y)，y+Δy(x，y))。后续迭代算法即基于这些完成对准操作的人脸图像来实现。使用前向Warp技术也可由(S_I，T_I)重建出I。图3(b)和图3(d)示出了部分完成对准操作后的图像样本。

从这些完成像素级对准的人脸图像可以构成训练样本集A_i，i＝1…N，其中每个样本A_i是一个P×3的非负实矩阵，表示第i个人脸对象在三种不同光照条件下得到的图像；设目标人脸对象r相对于训练样本集A_i，i＝1…N中任意第i个参考人脸对象的商图Q_i(p)为其两者间逐像素反射系数之比：

ρ_i(p)和ρ_r(p)分别表示第i个参考人脸对象和目标人脸对象r在对应像素p上的反射系数；由于人脸都具有相似的3D形状结构，因此在所有图像已经完成像素级对准操作后，可以近似认为这些图像在对应点p处具有相同的法向量n，而区别仅仅存在于表面纹理反射系数ρ和光源条件s。因此该定义下的商图集Q＝(Q₁，…，Q_N)是一组去耦了目标人脸图像光照因素而仅保留了其表面纹理差异特征的滤波图像，可被用于实现光照不变的人脸识别。

设目标人脸图像T_I对应的对角阵diag(T_I)＝R，执行人脸光照参数和去光照图的同时估计核心算法，该核心算法流程描述如下：

Step1.参数初始化：

i＝1L N，这里u_x∈_i ^3×1和u_q∈_i ^P×1是单位向量；

Step2.将Q＝(Q₁，…，Q_N)代入线性方程组：

求解x；

Step3.将x代入线性方程组：R^TRQ_i＝R^TA_ix，i＝1L N，分别求解出i＝1L N时对应的每一个商图Q_i的解：p＝1LP，i＝1L N；

Step4.令

i＝1L N，为第d步迭代中得到的第i个商图中所有像素的平均值，根据式

p＝1LP更新每一个商图Q_t上的每一个像素p处的灰度值；

Step.5判断如果满足 $\left|\right|x^{(d+1)}-x^{\left(d\right)}\left|\right|\≤\mathrm{\ϵ},$ $\left|\right|Q_i^{(d+1)}-Q_i^{\left(d\right)}\left|\right|\≤\mathrm{\ϵ},$ 则 $\hat{x}=x^{(d+1)}$ 即为所求光照参数，进入下一步；否则跳回Step2继续循环；

Step.6对所得商图i＝1…N求其平均图

并基于其标定特征点进行前向Warp操作以恢复其原始形状，即为所求目标人脸的去光照图，结束计算。

图4给出了采用上述算法计算得出的部分去光照图像结果示例，它们和图3中的样本图像一一对应。可以看出，原有的显著光照差异在去光照图中已经被明显降低，该图将可以直接应用于实现光照鲁棒的人脸识别系统。

在核心算法的step2及step3中都存在线性方程组的求解问题。这些方程组都可以表述成Wt＝z的形式，其中W、z为已知矩阵和向量，t为未知向量。在step2中，

待求向量

。这是一个小规模的线性系统，可以通过逆矩阵求出未知变量t的精确解：t＝W^-1z。当W不满秩时，可以通过伪逆矩阵求出t的最小二乘解：

这里W^T＝[W^TW]^-1W^T，表示W的伪逆矩阵。在step3中，

待求向量

这是一个系数矩阵规模为P×P的线性系统，其求解时间及存储空间的开销都会随着图像尺寸的增加而急剧增大。但注意到R为对角阵，是一个稀疏矩阵，因此该方程组可以用笛卡尔积的形式来表达：i＝1…N，这里表示笛卡尔积，即图像间对应像素之积。因此方程组可以快速求解： $Q_i\left(p\right)=\frac{z\left(p\right)}{T_I^2\left(p\right)},p=1\·\·\·P,i=1\·\·\·N.$

另外，在核心算法的step3和step4中，每次循环中都需要更新每一个商图Q_i，i＝1…N，这是算法运行主要的计算负荷。然而由于第i个商图仅与目标人脸及第i个参考人脸相关，故不同商图之间的求解计算具有独立性。根据这一优良属性，商图的估算部分能并行进行，如图5所示，在多核处理器的环境下，这将有助于减少求解运算的时间开销。

Claims (1)

1.一种人脸图像光照参数和去光照图的高精度同时估计方法，其特征在于，采用朗伯特反射模型来建模人脸图像的成像，该模型如下式(1)所示：

I(p)＝ρ(p)n(p)^Ts(p)  (1)

式(1)中的人脸图像I通过其每一个表而点上反映纹理信息的逐点反射系数ρ乘以该点上的法向量n和光源向量s的内积来表达，p＝1…P，表示总像素数为P的图像I中的每一个像素；根据一个三维物体在3D空间中的光照向量可以用3个独立点光源的线性组合来近似表达这一原理，设s_j，j＝1…3表示一组线性独立的点光源集，则光源向量s可以表达为：

其中的光源组合权重系数x＝(x₁，x₂，x₃)^T即待估计的光照参数，它所张成的线性空间称为参数化光照子空间；接着采集N个人脸对象在这3个独立点光源s_j，j＝1…3分别照射下生成的3×N幅正面人脸图像，对这些图像进行特征点标定和后向变形(Warp)操作以实现像素级对准，获得训练样本集A_i，i＝1…N，其中每个样本A_i是一个P×3的非负实矩阵，表示第i个人脸对象在该组光源照射下得到的图像；设目标人脸对象r相对于训练样本集A_i，i＝1…N中任意第i个参考人脸对象的商图Q_i(p)为其两者间逐像素反射系数之比：

ρ_i(p)和ρ_r(p)分别表示第i个参考人脸对象和目标人脸对象r在对应像素p上的反射系数；该定义下的商图集Q＝(Q_i，…，Q_N)是一组去耦了目标人脸图像光照因素而保留了其表面纹理差异特征的滤波图像，可被用于实现光照不变的人脸识别；设目标人脸图像T_I对应的对角阵diag(T_I)＝R，执行人脸光照参数和去光照图的同时估计核心算法，该算法流程描述如下：

Step1.参数初始化： $x^{\left(1\right)}=\frac{1}{L}\·u_x,Q_i^{\left(1\right)}=u_q,$ i＝1…N，这里u_x∈_i ^3×1和u_q∈_i ^P×1是单位向量；

Step2.将Q＝(Q₁,...,Q_N)代入线性方程组：根据公式 $x={\left[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(A_i^T{A}_i\right)\right]}^{-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(A_i^T{\mathrm{RQ}}_i\right)$ 求解出x；

Step3.将x代入线性方程组：R^TRQ_i＝R^TA_ix，i＝1…N，分别求解出i＝1…N时对应的每一个商图Q_i的解：

p＝1…P，i＝1…N；

Step4.令

i＝1…N，为第d步迭代中得到的第i个商图中所有像素的平均值，根据式

更新每一个商图Q_i上的每一个像素p处的灰度值；

Step.5判断如果满足 $\left|\right|x^{(d+1)}-x^{\left(d\right)}\left|\right|\≤\mathrm{\ϵ},\left|\right|Q_i^{(d+1)}-Q_i^{\left(d\right)}\left|\right|\≤\mathrm{\ϵ},$ 则

即为所求光照参数，进入下一步；否则跳回Step2继续循环；

Step.6对所得商图

i＝1…N求其平均图

并基于其标定特征点进行前向Warp操作以恢复其原始形状，即为所求目标人脸的去光照图，结束计算。

Images