CN102682276B - 一种光照变化条件下的人脸识别方法及基图像合成方法 - Google Patents

Abstract

本发明涉及一种光照变化条件下的人脸识别方法及基图像合成方法，人脸识别方法首先计算商图像；根据公式分别合成对应对象的九个基图像；计算出待识别图像的光照参数η；合成每一对象的一幅与待识别图像光照条件一致的新图像；由主成分分析方法分别计算出合成图像与待识别图像在PCA空间的投影系数向量ρ_i和ρ；计算两向量之间的欧氏距离，用最近邻方法完成分类识别。本发明的方法仅用每一对象在正常光照条件下的一幅图像作为训练集，就可以达到较高的识别率，且能够较好的克服光照变化的影响，从而有效地解决了复杂光照条件下的人脸识别及基图像合成问题。

Description

一种光照变化条件下的人脸识别方法及基图像合成方法

技术领域

本发明属于生物特征识别技术领域，涉及一种光照变化条件下的人脸识别方法及基图像合成方法。

背景技术

虽然人脸识别经过几十年的发展已经取得了很大的进步，但仍然存在许多问题，难以满足实际应用的要求，如光照、表情、姿态以及遮挡等问题。而人脸识别系统目前主要是基于图像的灰度信息进行识别的，因此，变化的光照条件对灰度图像的影响更大。假设同一个对象在相同的姿势下，由于不同的光照条件，可能会造成两幅图像的灰度分布差异比较大，从而致使在识别的过程中会把两幅图像误判成不同的类别。目前，在用户配合和受控的观测条件下，人脸图像识别系统取得了较好的识别性能，并已在现实中部分领域投入使用。但是，在非配合和非控制条件下的人脸图像识别依然面临着许多问题需要解决。FRVT和FERET的测试结果表明，在变化的光照条件和变化的姿态下，人脸识别系统的识别率会急剧下降，其中，光照条件的变化对人脸识别的影响优为明显，它是影响人脸识别系统性能的主要因素。解决光照影响问题一直是人脸识别领域的一个重要研究课题。

在光照变化情况下，最好使待识别图像和训练图像对应于相同的光照条件，得到的识别结果才具有较高的可信度。传统的对于光照变化问题的解决方案是：把待识别图像通过各种算法进行处理使得处理后的待识别图像的光照条件尽可能地与标准光照条件下的模板图像的光照条件相一致。不过当待识别图像的光照条件和标准光照条件差异比较大时，要把它正确地变换成标准光照条件下的图像是一件非常困难的工作，并且变换的效果也不尽人意。因此考虑通过合成与待识别图像光照条件一致的虚拟人脸图像来解决这个问题。申请号为200510011647.5中名称为“一种基于图像比的光照变化下的人脸识别方法”的中国专利，该方法需要大量的不同光照条件下的图像作为训练集(在实际应用中每个对象不可能有大量在不同光照条件下的图像来作为训练集)，并且采用统计子空间方法PCA来构建光照子空间，这使得所构建的光照子空间严重依赖于所选取的训练样本数，当选取的训练样本不充足或不能覆盖所有的光照情况时效果比较差。另外，对训练集中的图像用对齐算法来对齐是非常耗时的，并且是有误差的。这势必对最终的识别结果不利，导致最终的识别结果不理想。商图像方法只使用了三维光照子空间来估计所有的光照情况，因此对于极端光照条件下的图像就不能得到很好地处理效果。另外，该方法忽略了人脸自身阴影的存在，合成样本受阴影影响较明显。

发明内容

本发明的目的是提供一种光照变化条件下的人脸识别方法及基图像合成方法，以解决现有方法对于极端光照条件下的图像处理效果不佳，且不能处理人脸自身阴影的问题。

为实现上述目的，本发明的基图像合成方法步骤如下：

(1)给定N个人在九种光照方向统一配置下同一姿态的九幅基图像作为辅助训练样本集，记为{A₁，A₂，…，A_N}，其中(请对各参数表示的意思进行说明)，由训练样本集求出平均基图像

$\stackrel{\‾}{A}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i;$

(2)设能量函数为利用非负最小二乘法估计出训练集中任一图像y在平均基图像所组成的线性子空间上的投影系数x；

(3)根据公式计算得到图像y的商图像；

(4)根据商图像公式k＝1，…，9合成对象y的九幅基图像。

进一步的，所述步骤(1)中九种光照方向统一配置光源为(φ，θ)：{(0，0)，(68，-90)，(74，108)，(80，52)，(85，-42)，(85，-137)，(85，146)，(85，-4)，(51，67)}，其中，φ表示仰角，取值范围为[0，180]，θ表示方位角，取值范围是[-180，180]。

本发明的光照条件下的人脸识别方法步骤如下：

(1)给定N个人在九种光照方向统一配置下一个姿态的九个基图像作为训练样本集，求出平均基图像；利用非负最小二乘法估计出待识别图像y在平均基图像所组成的线性子空间上的投影系数x；根据公式计算商图像；

(2)根据公式k＝1，…，9分别合成对应对象的九个基图像；

(3)给定一幅待识别图像I_x，由商图像方法合成的九幅基图像计算出待识别图像的光照参数η；

(4)根据光照条件η，分别合成每一对象的一幅与待识别图像光照条件一致的新图像；

(5)由主成分分析方法分别计算出合成图像与待识别图像在PCA空间的投影系数向量ρ_i(i＝1，…N)和ρ；

(6)计算出向量ρ_i和向量ρ之间的欧氏距离；

(7)用最近邻方法完成分类(分类识别什么意思？能够描述的更准确些？)识别。

进一步的，所述步骤(1)中改进后的商图像方法是给定N个人在统一配置下的九个基图像作为辅助训练样本集{A₁，A₂，…，A_N}，其中具体步骤如下：

Step1.由辅助训练样本集求出平均基图像

$\stackrel{\‾}{A}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i---\left(3\right)$

Step2.计算训练集中任一图像y在平均基图像所组成的线性子空间上的投影系数x；

设能量函数如下：

$f\left(x\right)=\min {\left|\right|y-\stackrel{\‾}{A}x\left|\right|}_2---\left(4\right)$

通过非负最小二乘法估计出图像y在特征空间上的投影系数x；

Step3.用下面的公式计算商图像

$Q_y=\frac{y}{\stackrel{\‾}{A}x}---\left(5\right).$

进一步的，所述九种光照方向统一配置光源为(φ，θ)：{(0，0)，(68，-90)，(74，108)，(80，52)，(85，-42)，(85，-137)，(85，146)，(85，-4)，(51，67)}，其中，φ表示仰角，取值范围为[0，180]，θ表示方位角，取值范围是[-180，180]。

进一步的，所述步骤(3)中光照参数η＝(B^TB)^-1B^TI_x，其中B＝[I¹，…，I⁹]，表示待识别图像合成的九幅基图像对应的光照子空间。

进一步的，所述步骤(6)中向量ρ_i和向量ρ之间的欧氏距离e_i＝||ρ-ρ_i||₂，i＝1，…，N。

本发明的光照变化条件下的人脸识别方法及基图像合成方法，仅用每一对象在正常光照条件下的一幅图像作为训练集，就可以达到较高的识别率，且能够较好的克服光照变化的影响，从而有效地解决了复杂光照条件下的人脸识别及基图像合成问题。

附图说明

图1是YaleB人脸库中一对象在统一配置光源方向下的九幅图像；

图2是基图像合成实施例中原图像及其对应的商图像；

图3是基图像合成实施例中合成的基图像；

图4是人脸识别方法的流程图。

具体实施方式

现有的商图像计算：对象y相对于对象a的商图像定义如下：

$Q_y(x,y)=\frac{{\mathrm{\ρ}}_y(x,y)}{{\mathrm{\ρ}}_a(x,y)}=\frac{{\mathrm{\ρ}}_y(x,y)n{(x,y)}^T{s}_0}{{\mathrm{\ρ}}_a(x,y)n{(x,y)}^T{s}_0}=\frac{I_y}{I_a}---\left(1\right)$

其中，I_y和I_a分别表示对象y和对象a在光照方向S₀下所成的图像。假定某一对象a在s₁、s₂、s₃三种线性独立光照方向下所成的图像分别是I₁，I₂，I₃，那么存在系数x₁，x₂，x₃，满足：

$I_y=I_a\⊗Q_y=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{x}_i{I}_i\⊗Q_y---\left(2\right)$

其中，表示笛卡尔积，如果对象y的商图像已知，选取不同的系数x₁，x₂，x₃就可以合成该对象在三种不同光照方向下的图像。

人脸光照子空间：选择不同的9个光照方向作为基本光照方向，并将在这几个光照方向下获得的图像作为基图像来构造人脸线性光照子空间R，使子空间R逼近子空间H，这样所得的线性子空间R就能够有效地表示所有人脸光照情况。通过计算求得九个通用光照方向所对应的球面坐标为(φ，θ)：{(0，0)，(68，-90)，(74，108)，(80，52)，(85，-42)，(85，-137)，(85，146)，(85，-4)，(51，67)}。其中，φ表示仰角，取值范围为[0，180]，θ表示方位角，取值范围是[-180，180]。任一人脸对象在这个通用配置方向下所成的9幅图像构成了该对象的人脸光照子空间，其中YaleB人脸库中的一个对象在此通用配置下的图像如图1所示。

改进的商图像方法：

Step1.给定N个人在统一配置下的一个姿态的九个基图像作为辅助训练样本集{A₁，A₂，…，A_N}，其中由辅助训练样本集求出平均基图像

$\stackrel{\‾}{A}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{A}_i---\left(3\right)$

Step2.计算辅助训练集中图像y在平均基图像所组成的线性子空间上的投影系数x。

设能量函数如下：

$f\left(x\right)=\min {\left|\right|y-\stackrel{\‾}{A}x\left|\right|}_2---\left(4\right)$

通过非负最小二乘法估计出图像y在特征空间上的投影系数x。使方程(4)最小化不仅使近似于待识别图像y的光照情况，还使的外形与y近似，所以很好地满足了商图像的前提条件。

Step3.用下面的公式计算商图像

$Q_y=\frac{y}{\stackrel{\‾}{A}x}---\left(5\right)$

基图像合成方法：

由前面的分析可知，我们只要合成任一对象的九种光照基图像，就可以由这九个基图像来构造其人脸光照子空间。具体步骤如下：

Step1.计算训练样本集中九种典型光照图像的平均图像；

$\stackrel{\‾}{I_i}=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{A}_j(:,i)=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{I}_j^i,i=1,...,9---\left(6\right)$

Step2.求得九种典型光照图像的平均图像在线性子空间上的投影系数x(系数通过最小二乘法求得)；

Step3.利用下面的商图像公式合成对应对象的九个基图像。

$I^k=(\stackrel{\‾}{A}\·x)\⊗Q_y,k=1,...,9---\left(7\right)$

光照方向估计：

将由式(7)生成的任一对象的9幅基图像记为Iⁱ(i＝1，…，9)，则该对象的光照子空间可以记为B＝[I¹，…，I⁹]。如果该对象在任意光照条件下的一幅图像记为I_gen，则有

$I_{\mathrm{gen}}=\mathrm{B\η}=\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{\mathrm{\η}}_i{I}^i---\left(8\right)$

其中η＝[η₁，…，η₉]^T表示图像I_gen的光照参数。光照参数η通过最小化能量函数f(η)计算得到。

$f\left(\mathrm{\η}\right)={\left|\right|\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{\mathrm{\η}}_i{I}^i-I_x\left|\right|}_2---\left(9\right)$

通过式(9)可以得到

η＝(B^TB)^-1B^TI_x(10)

光照变化下的人脸识别方法：

Step1.给定一幅待识别图像I_x，由改进的商图像方法生成的9幅基图像按式(10)计算出该图像的光照参数η；

Step2.根据光照条件η，由式(8)分别合成每一对象的一幅与待识别图像光照条件一致的新图像；

Step3.由主成分分析方法分别计算出合成图像与待识别图像在PCA空间的投影系数向量ρ_i(i＝1，…N)和ρ；

Step4.由下式计算出向量ρ_i和向量ρ之间的欧氏距离：

e_i＝||ρ-ρ_i||₂，i＝1，…，N(11)

Step5.用最近邻方法完成分类识别任务。

综上可知，本人脸识别方法首先选取不同人在正常光照条件下的一幅图像作为训练集；然后，由于任一人脸对象在通用配置方向下所成的9幅真实图像构成了该对象的人脸光照子空间，基于此，提出了一种基于九维光照子空间的改进商图像方法；第三，利用改进后的商图像方法合成训练库中每一对象的九幅基图像；第四，估计出待识别图像的光照条件；第五，对训练集中的每一对象利生成的基图像合成与待识别图像光照条件一致的图像；第六，利用主成分分析方法(PCA)抽取特征完成分类识别任务。

实验采用扩展YaleB人脸库和CMUPIE人脸库进行实验。其中，扩展YaleB人脸库共有38个人，每人有9种姿态，每种姿态有45种光照条件。在实验中，选取每个对象的正面姿态的图像参与实验。记这个库中的前28个对象的图像作为库B1，后10个对象的图像为库B2。在库B2中选取每个对象在统一配置光源方向下的9幅图像，共90幅图像作为库B21，在库B2中选取每一对象在不共线的三个光源下的3幅图像，共30幅图像作为库B22。CMUPIE人脸图像库包括68个人，每一对象包括不同姿态、不同表情和不同光照下的图像。实验中，我们选取了在正面姿态和正常表情下的每一个对象的21种光照条件下的图像进行实验。需要说明的是，库B21和库B22为辅助库，原商图像方法和改进后商图像方法分别利用辅助库B22、B21生成训练集中每个对像的3幅和9幅基图像。此外，扩展YaleB人脸库中每幅图像剪裁为48×42，CMUPIE人脸库中每幅图像剪裁为32×32。

基图像合成：

为了比较原商图像方法和改进后的商图像方法，原商图像方法以扩展库B22作为辅助库，改进后的商图像方法以扩展库B21为辅助库，分别生成人脸库B1中某一对象在不同光照条件下的几幅图像的商图像，如图2所示。

图2中第一行与第四行图像是同一人脸图像在不同光照条件下的图像，其中，第一行图像光照条件与正常光照条件相比变化不是太大，并且图像没有阴影，第四行图像光照条件与正常光照条件相比变化比较大，且图像上有阴影存在。第二行和第五行分别是用原商图像方法得到的商图像，第三行和第六行是分别用改进后的商图像方法得到的商图像。从图2不难发现，当原图像的光照条件与正常光照条件相比变化不大且图像上没有阴影时，原商图像方法与改进后的商图像方法效果都不错，两种方法所得到的商图像都不随光照变化而变化，较好的满足了商图像理论。当所成像的光照条件与正常光照条件相比变化较大，尤其图像上有较大阴影时，原商图像方法得到的商图像效果比较差，受光照条件影响较明显，而改进后的商图像方法则效果较好。如图3是由改进后的商图像合成的每个对象的九幅基图像。

从图3和图1的对比可以看出，新合成的同一对象的9种基图像光照条件能够很好的接近原基图像中的光照条件，这说明改进后的方法不但能够很好地处理光照条件变化比较大的情况，而且也很好的弥补了原商图像方法不能处理带阴影图像的缺陷。

人脸识别方法的流程图如图4所示：

在两个人脸库上的识别结果分别如表1和表2所示。

表1不同方法基于B1人脸库的识别结果

表2不同方法基于CMUPIE人脸库的识别结果

从表1和表2可知，基于光照变化下的人脸识别方法的识别率远高于原商图像方法，而原商图像方法、IALDA等针对光照处理的方法的识别率也远高于PCA方法。这说明这些方法和所提出的光照无关方法对光照变化不敏感，尤其当光照变化不大时，所提出的光照无关方法达到了非常高的识别率。虽说在库B1上LTV方法和kao所提方法的识别率比所提的光照无关方法的识别率高，但文献LVT方法计算复杂度高，并且对参数取值比较敏感，kao所提方法尽管在光照变化比较大时识别效果比较好，但当光照条件变化不是很大时处理效果就不那么明显。

综上所述，在光照变化条件下本人脸识别方法比现有的其他方法更加实用、简单且较好的识别性能。

Claims (4)

1.一种光照条件下的人脸识别方法，其特征在于，该方法的步骤如下：

(1)给定N个人在九种光照方向统一配置下一个姿态的九个基图像作为训练样本集，求出平均基图像利用非负最小二乘法估计出待识别图像I_x在平均基图像所组成的线性子空间上的投影系数x；根据公式计算商图像；

(2)根据公式k＝1,…,9分别合成对应对象的九个基图像；

(3)给定一幅待识别图像I_x，由商图像方法合成的九幅基图像计算出待识别图像的光照参数η；

(4)根据光照参数η，分别合成每一对象的一幅与待识别图像光照条件一致的新图像；

(5)由主成分分析方法分别计算出合成图像与待识别图像在PCA空间的投影系数向量ρ_i和ρ，其中，i＝1,…N；

(6)计算出向量ρ_i和向量ρ之间的欧氏距离；

(7)用最近邻方法完成分类识别；

步骤3)中所述待识别图像的光照参数η的计算公式为：其中，η＝[η₁,…,η₉]^T，I_gen为生成图像，B为任一对像的光照子空间，B＝[I¹,…,I⁹]，I¹,…,I⁹为任一对像的9幅基图像；光照参数通过计算能量函数得到，通过能量函数f(η)得到光照参数η＝(B^TB)^-1B^TI_x。

2.根据权利要求1所述的光照条件下的人脸识别方法，其特征在于，所述步骤(1)中商图像方法是给定N个人在统一配置下的九个基图像作为训练样本集{A₁,A₂,…,A_N},其中具体步骤如下：

Step1.由训练样本集求出平均基图像

Step2.计算待识别图像I_x在平均基图像所组成的线性子空间上的投影系数x；

设能量函数如下：

通过非负最小二乘法估计出待识别图像在特征空间上的投影系数x；

Step3.用下面的公式计算商图像

3.根据权利要求2所述的光照条件下的人脸识别方法，其特征在于：所述九种光照方向统一配置光源为(φ,θ)：{(0，0)，(68，-90)，(74，108)，(80，52)，(85，-42)，(85，-137)，(85，146)，(85，-4)，(51，67)}，其中，φ表示仰角，取值范围为[0，180]，θ表示方位角，取值范围是[-180，180]。

4.根据权利要求1-3中任一项所述的光照条件下的人脸识别方法，其特征在于，所述步骤(6)中向量ρ_i和向量ρ之间的欧氏距离e_i＝‖ρ-ρ_i‖₂,i＝1,…,N。