CN101046847A - 一种基于二次多项式光照模型的人脸光照对齐方法 - Google Patents

Abstract

本发明公开了一种基于二次多项式光照模型的人脸光照对齐方法，包括以下步骤：(1)建立光照模型；(2)对所有训练图像以及目标图像均进行形状规一化；(3)训练系数矩阵A_i和B_i，其中i＝2，…，64；(4)对目标人脸图像进行分解；(5)对目标人脸图像进行光照类型估计；(6)对目标人脸图像的光照分量进行对齐矫正；(7)目标人脸图像重构。本发明采用二次多项式描述了光照变化引起的图像变化，从而对基于LTV模型的光照处理算法中丢弃的人脸图像光照分量进行了对齐矫正再次利用，在获得更高的人脸识别率同时达到人脸视觉效果的改善。

Description

一种基于二次多项式光照模型的人脸光照对齐方法

                          技术领域

本发明涉及一种人脸光照对齐方法，尤其涉及一种基于二次多项式光照模型的人脸光照对齐方法。

                          背景技术

人脸技术在公共安全系统、身份鉴别、虚拟游戏等方面均有广泛应用，但是光照问题却是长期困扰该项技术实用化的主要原因之一。光照不均匀不仅影响视觉效果，而且严重影响人脸识别率。近二十年来，各种各样的光照处理技术被提出来用于人脸技术，但是其中大多数尚达不到实用要求或者不能适应多方面的应用要求。

Terrence Chen等人于2006年提出基于LTV模型的光照处理算法，即在对数域用全变分模型提取人脸图像的反射分量用于人脸识别。由于反射分量对光照变化不敏感，所以基于LTV模型的光照处理算法能取得很高的人脸识别结果。但是实际上，用LTV模型分解得到的光照分量中仍然含有大量对人脸识别有用的信息，这些成分在基于LTV模型的光照处理算法中并没有用于人脸识别。另外该方法仅仅是提取光照不变量用于人脸识别，并没有达到人脸可视效果上的真正改善，这也限制了该方法的应用范围。

                        发明内容

本发明的目的在于克服现有技术的不足，提供一种实用性强、应用范围广、可明显提高人脸识别率的基于二次多项式光照模型的人脸光照对齐方法。本方法对基于LTV模型的光照处理算法中丢弃的光照成分进行了对齐矫正后利用，在获得更高的人脸识别率同时达到视觉效果的改善。

本发明的目的通过下述技术方案实现：一种基于二次多项式光照模型的人脸光照对齐方法，包括下述步骤：

(1)建立光照模型。根据Yale B人脸库的采集条件，将人脸光照条件划分为64种，其中第1种为正面标准光照，对标准光照条件下的光照分量L_standrad和任意一种光照条件下的光照分量L_object，可以建立以下模型：

$L_{\mathrm{object}}(x,y)=\left\{\begin{array}{c}{A}_i(x,y)L_{s\tan \mathrm{dard}}^2(x,y)+B_i(x,y),i=2\mathrm{\Λ}64\\ L_{s\tan \mathrm{dard}}(x,y),i=1\end{array}\right.----\left(1\right)$

(2)对所有训练图像以及目标图像均进行形状规一化处理。即对每张图像，先检测若干个特征点的坐标，通过旋转使得每张人脸的两只眼睛处于水平位置，再运用双插值算法拉伸图像，使得这些特征点位于图像的固定位置，最后将图像裁剪为同一大小；

(3)训练系数矩阵A_i和B_i，i＝2Λ，64。用Yale B人脸库中的正面人脸采用最小二乘法对模型①进行训练，其中每张人脸图像的光照分量L用LTV模型分解获得(其分解过程见步骤(4))。第i种光照条件对应的系数矩阵A_i和B_i求解模型如下：

$\underset{A_i(x,y),B_i(x,y)}{\min }\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{|L_j^{\′}(x,y)-A_i(x,y)\·{L^2}_j(x,y)-B_i(x,y)|}^2$

$s.t\left\{\begin{array}{c}{a}^2{A}_i(x,y)+B_i(x,y)\≤{\stackrel{\‾}{L}}^{\′}(x,y)\\ -b^2{A}_i(x,y)-B_i(x,y)\≤-{\stackrel{\‾}{L}}^{\′}(x,y)\\ A_i(x,y)>c\end{array}\right.---\left(2\right)$

其中m为训练样本组数，L为标准光照条件下的人脸光照分量，L′为某特定光照条件下的人脸光照分量。a，b标记标准光照条件下光照分量的范围，即a≤L(x，y)≤b，c为一个大于0的数。另外 L′(x，y)为训练样本平均值，即

${\stackrel{\‾}{L}}^{\′}(x,y)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{L}_i^{\′}(x,y)---\left(3\right);$

(4)对目标人脸图像进行分解。对每张待进行光照对齐的人脸图像I_object，根据光照—反射模型I_object(x，y)＝L_object(x，y)R_object(x，y)，用LTV模型对其进行分解可以得到光照分量L_object和反射分量R_object。分解过程如下：

        f(x，y)＝logI_object(x，y)＝log R_object(x，y)+log L_object(x，y)      ④，

求解以下TV模型：

$u=\arg \underset{u}{\min }\∫|\▿u|+\mathrm{\λ}{\left|\right|f-u\left|\right|}_{L^1}\mathrm{dx}---\left(5\right),$

便可得到L_object≈exp(u)，R_object≈exp(f-u)                                  ⑥，

实际上步骤(3)中也是用同样的方法对所有训练样本进行分解。

(5)对目标人脸图像进行光照类型估计。对步骤(4)中分解得到的光照分量L_object，直接用主成分分析(principal component analysis，PCA)识别方法估计出I_object的光照类型。即I_object的光照条件与Yale B人脸库中的64种光照条件中的第i种最接近时，便记其光照类型为i，若光照类型为i＝1，则不用进行光照对齐。

(6)对目标人脸图像的光照分量L_object进行对齐矫正。根据步骤(5)中估计得到的光照类型i相应选取步骤(3)中训练得到的系数矩阵A_i和B_i，用以下式子对L_object进行对齐矫正：

$L_{\mathrm{aligned}}(x,y)=\left\{\begin{array}{c}{\left[\frac{L_{\mathrm{object}}(x,y)-B_i(x,y)}{A_i(x,y)}\right]}^{\frac{1}{2}},i=2,\mathrm{\Λ},64\\ L_{\mathrm{object}},i=1\end{array}\right.---\left(7\right),$

其中如果i＝1则不必再进行调整。

(7)目标人脸图像重构。用步骤(4)中分解得到的反射分量R_object和步骤(6)中光照对齐后得到的光照分量L_aligned重构最终图像：

I_aligned(x，y)＝L_aligned(x，y)R_object(x，y)         ⑧。

本发明与现有技术相比具有如下优点和有益效果：

1、本发明提出的省掉一次项的二次多项式模型能很好描述光照变化引起人脸图像的光照分量变化，用以进行光照对齐的结果真正达到了视觉效果的改善。

2、本发明方法对进行光照对齐的人脸图像不必进行严格的形状对齐，实际上，只需选取三个特征点进行简单的人脸形状对齐便可达到很好的光照对齐效果。而且提出的模型形式简单，非常容易实现。与基于LTV模型的光照处理算法相比，本发明方法有较大的改进，对用LTV模型提取的光照不变量R_object，本发明在整个算法过程中并没有对其进行任何不必要的调整。

3、本发明利用到光照分量中对人脸识别有用的信息，在基于LTV模型的光照处理算法的基础上再次提高识别率。最重要的是，利用到光照分量，本方法进行光照对齐的结果真正达到了视觉效果的改善。

                        附图说明

图1为本发明方法的操作流程图。

图2为本发明的2D训练图像以及目标图像形状规一化状态图；左为原人脸图；中为裁剪为112×92象素的人脸图；右为裁剪为112×100象素的人脸图。

图3为本发明的LTV模型分解结果图；左为原图；中为光照分量图；右为反射分量图。

图4为本发明的光照对齐结果图；左为原光照分量图；右为对齐后的光照分量图。

图5为本发明的光照对齐整体流程图。

图6为视觉效果恢复比较图。第一行为原图；第二行为基于LTV模型的光照处理算法的结果图；最后一行为本发明的光照对齐结果图。

                         具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

图1示出了本发明的操作过程，由图1可见，本基于二次多项式光照模型的人脸光照对齐方法，包括下述步骤：

(1)对所有训练图像以及目标图像均进行形状规一化，即对每张图像，先人工点取三个特征点(两只眼睛的中心点和嘴巴的中心点)的坐标，通过旋转使得每张人脸的两只眼睛处于水平位置，再运用双插值算法拉伸图像，使得这三个特征点位于图像的固定位置，最后将图像裁剪为同一大小(见图2)。

(2)训练系数矩阵A_i和B_i，i＝2…，64。用Yale B图库中的正面人脸采用最小二乘法模型②进行训练，其中每张图像的光照分量L用LTV模型分解获得(见图3)。

(3)对目标人脸图像进行分解。对每张待进行光照对齐的人脸图像I_object，用LTV模型对其进行分解可以得到光照分量L_object和反射分量R_object(见图3)。

(4)对目标人脸图像进行光照类型估计。直接用(3)中分解得到的光照分量L_object通过PCA识别方法估计出I_object的光照类型ii。

(5)对目标人脸图像的光照成分L_object进行对齐矫正。根据(4)中估计得到的光照类型ii相应选取(2)中训练得到的系数矩阵A_i和B_i，用式⑦对L_object进行对齐矫正(见图4)，矫正结果为L_aligned。

(6)目标人脸图像重构。用(3)中分解得到的反射分量R_object和(5)中光照对齐后得到的光照分量L_aligned按⑧式重构最终图像。

其中步骤(3)～步骤(6)显示了本发明对具体某张人脸图像的光照对齐整体流程(见图5)。

图6为本发明方法与其他几种光照处理方法在视觉效果方面的比较。第一行为原图，第二行为LTV模型的结果，最后一行为我们的方法处理结果。由图6对比可知，用本发明提出的方法，恢复得到的图像与标准图像整体灰度比较接近，阴影部分已经基本消除，同时能保留大量人脸细节信息，真正达到了视觉效果的恢复，能符合各种实际应用要求。

本发明通过以下实验对本发明的效果进行说明：人脸识别实验分别在100×100和112×92象素大小的两种图库(对齐后的Yale B人脸库)上进行，所用的识别方法为主成分分析(PCA)识别方法，用欧氏距离描述图像的相似度。Yale B人脸库的图像根据光照类型可以分为5个子集，用第1个子集里面每个人若干张图片进行训练，对其余4个子集进行识别，用各种光照处理方法处理后的图像进行人脸识别对应识别率如下(其中线性光照模型即用线性关系来描述光照变化引起人脸图像的变化，具体见“Xudong Xie，Kin-Man Lam，’Facerecognition under varying illumination based on 2D face shape model，’PatternRecognition 38(2005)221-230”，而LTV就是基于LTV模型的光照恢复算法，也就是用LTV模型分解得到反射分量进行识别)：

表1人脸识别结果(％)，其中选取30个主成分，用第1个子集里面每个人7张图片做训练样本(100×100大小图片)

	Set2	Set3	Set4	Set5
					未进行光照恢复	97.50	73.33	25.71	10.53
LTV	95.83	93.33	80.00	83.68
					线性光照模型	99.17	100.00	73.57	21.58
本文方法	98.33	100.00	88.57	90.53

表2人脸识别结果(％)，其中选取20个主成分，仅用第1个子集里面每个人3张图片做训练样本(100×100大小图片)

	Set2	Set3	Set4	Set5
					未进行光照恢复	96.67	70.83	26.43	12.10
LTV	99.17	91.67	79.29	81.58

线性光照模型	99.17	100.00	69.29	26.84
					本文方法	98.33	97.50	87.14	89.47

表3人脸识别结果(％)，其中选取30个主成分，用第1个子集里面每个人7张图片做训练样本(112×92大小图片)

	Set2	Set3	Set4	Set5
					未进行光照恢复	95.83	69.17	38.00	16.32
LTV	96.67	97.50	87.33	75.26
					线性光照模型	99.17	95.83	62.14	26.84
本文方法	98.33	99.17	84.67	80.53

表4人脸识别结果(％)，其中选取20个主成分，仅用第1个子集里面每个人3张图片做训练样本(112×92大小图片)

	Set2	Set3	Set4	Set5
					未进行光照恢复	96.67	70.83	35.71	17.37
LTV	99.17	95.83	86.00	77.36
					线性光照模型	99.17	95.83	62.14	25.26
本文方法	98.33	100	82.86	80.53

从实验结果可以看出，采用本发明进行光照恢复，在YaleB各个光照类型子集中均能较大地提高识别率。从识别结果可以得出，LTV模型分解得到的光照分量L中的确还存在可用的人脸细节信息，本文提出的方法利用这些信息，能再次提高人脸识别率。然而，对光照分量，仅仅用线性模型进行对齐矫正尚存在很大的误差。从上面识别实验可以看出，对光照变化比较大的图像，如第四、五个子集，用线性模型进行对齐，识别率并没有得到非常显著的提高。而本文选取二次多项式模型，从识别率可以看出确实二次多项式模型能较好地描述光照变化引起的人脸图像变换。

所述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1、一种基于二次多项式光照模型的人脸光照对齐方法，其特征在于包括以下步骤：

(1)建立光照模型；

(2)对所有训练图像以及目标图像均进行形状规一化处理；

(3)训练系数矩阵A_i和B_i，其中i＝2，Λ，64；

(4)对目标人脸图像进行分解；

(5)对目标人脸图像进行光照类型估计；

(6)对目标人脸图像的光照分量进行对齐矫正；

(7)目标人脸图像重构。

2、根据权利要求1所述的一种基于二次多项式光照模型的人脸光照对齐方法，其特征在于：所述步骤(1)中光照模型是

$L_{\mathrm{object}}(x,y)=\left\{\begin{array}{c}{A}_i(x,y)L_{s\tan \mathrm{dard}}^2(x,y)+B_i(x,y),i=2\mathrm{\Λ}64\\ L_{s\tan \mathrm{dard}}(x,y),i=1\end{array}\right.,$ 其中i＝1时，L_standrad为正面标准光照条件下的光照分量。

3、根据权利要求2所述的一种基于二次多项式光照模型的人脸光照对齐方法，其特征在于：所述步骤(3)是采用最小二乘法对光照模型中系数矩阵A_i和B_i进行训练。

4、根据权利要求3所述的一种基于二次多项式光照模型的人脸光照对齐方法，其特征在于：所述步骤(4)具体是对每张待进行光照对齐的目标人脸图像I_object，根据光照-反射模型I_object(x，y)＝L_object(x，y)R_object(x，y)，用LTV模型对I_object进行分解，得到光照分量L_object和反射分量R_object。

5、根据权利要求4所述的一种基于二次多项式光照模型的人脸光照对齐方法，其特征在于，所述步骤(5)具体是对光照分量L_object，直接用PCA识别方法估计出I_object的光照类型。

6、根据权利要求5所述的一种基于二次多项式光照模型的人脸光照对齐方法，其特征在于，所述步骤(6)具体是根据I_object的光照类型相应选取训练得到的系数矩阵A_i和B_i，用 $L_{\mathrm{aligned}}(x,y)=\left\{\begin{array}{c}{\left[\frac{L_{\mathrm{object}}(x,y)-B_i(x,y)}{A_i(x,y)}\right]}^{\frac{1}{2}}\\ L_{\mathrm{object}},i=1\end{array}\right.,$ i＝2，…，64对L_object进行对齐矫正，并得到矫正结果L_aligned。

7、根据权利要求6所述的一种基于二次多项式光照模型的人脸光照对齐方法，其特征在于，所述步骤(7)具体是用分解得到的反射分量R_object和光照对齐后得到的光照分量L_aligned重构最终图像：I_aligned(x，y)＝L_aligned(x，y)R_object(x，y)。

Images