CN103208012B - 一种光照人脸识别方法 - Google Patents

Abstract

本发明请求保护一种光照人脸识别方法，涉及计算机模式识别领域。将光照变化对人脸识别造成的影响从预处理﹑特征提取﹑分类器的设计三方面进行了改进，有效降低了光照变化对人脸识别性能的影响。本发明利用粗粒度区化算法，结合光照变化信息将连续对比度值域区间非线性划分成若干离散的子区间，并提取局部非线性多层对比度特征LNMCP作为人脸特征，有效弥补了局部二值模式LBP和LMCP的缺陷；并引入了模糊隶属函数存储被测试本属于各类的概率，最后通过信息熵计算各层权重，精确的融合各层分类子结果。本发明有效提高了人脸识别率。

Description

一种光照人脸识别方法

技术领域

本发明涉及计算机模式识别技术领域，具体地说，是一种人脸识别方法。

背景技术

目前，在个人身份认证识别技术中，人脸识别是一种比较有效的手段。人脸与其他生物特征识别技术相比，优势在于自然性和不易被待测个体察觉。所谓自然性，是指该识别方式同人类（甚至其他生物）进行个体识别时所利用的生物特征相同，都是选取人脸作为特征进行身份认证。另外，该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。其缺点是：当前的人脸识别算法对图像采集要求非常严格，对光照、姿态、表情等因素进行了限定，基本都是采用固定环境下（如固定光照﹑不能有表情﹑正视镜头等）采集的图像进行识别，这就使得系统的实用性大大降低。在这些干扰因素中，又以光照变化最为突出，特别是在户外人脸识别中，光照变化带来的干扰会导致同一人脸在不同光照下的图像相似度比不同人脸在相同光照下的图像相似度还要低^[1]。若训练样本又唯一^[2][3]，那么光照条件的不稳定性使得识别任务会变得更加艰巨。

为了消除光照变化对人脸识别的影响，科研人员做出了大量的工作，提出了许多有效的方法^[4]。其中，主动三维人脸^[5]、主动近红外人脸^[6]和热红外人脸^[7]因为不是在可见光谱内获得的人脸图像，因而能够非常好地解决光照干扰。但是它们需要额外的采集设备，并且需要测试者近距离的配合使用，所以在实际人脸识别系统中的使用受到限制。因此大多数的研究还是集中在利用可见光谱内的人脸图像领域。

以主成分分析PCA(Eigenface)^[8]和线性判别分析LDA(Fisherface)^[9]为代表的线性子空间方法被用来对包含不同光照条件下人脸图像的样本集进行训练，以得到涵盖所有光照条件的子空间特征。但是如果训练集或者测试集中存在剧烈的光照差异，那么此类方法的效果将大打折扣。Georghiades^[10]和Basri^[11]提出了将2D人脸映射为3D人脸模型的方法来消除光照影响，虽然实验数据表明此方法能够得到非常出众的识别效果，但是它的计算复杂度问题阻碍了其用于实际系统。局部二值模式LBP(LocalBinaryPattern)^[12-18]是一种非常简单有效的纹理分析和人脸识别方法，它只考虑了局部区域像素值之间的大小关系，而放弃了容易受光照影响的对比度关系，所以它能够消除光照变化带来的非线性干扰。然而，局部二值模式LBP由于放弃对比度信息也会造成纹理信息的丢失，影响人脸识别的效果。自商图像(QuotientImage)^[19][20]和Total-Variance自商图像^[21]通过图像自除并进行权重高斯滤波平滑操作后，可以较好地克服光照影响，但是这种方法是在假设没有阴影并且图像对齐的情况下才有效，因此缺乏运用到实际系统的条件。Zhang^[22]利用小波去噪技术提出了一种具有光照不变性的人脸结构表示方法，但是此方法需要指定一个经验域值参数，其普适性受到影响。

发明内容

本发明所要解决的技术问题是针对当前人脸识别技术在光照变化情形下的困境提供一套人脸识别框架。所提方法有效缓解了复杂光照变化下人脸识别面临的主要问题，从而提高识别性能。

本发明解决上述技术问题的技术方案是：一种光照人脸识别方法，包括步骤：对人脸图像进行光照归一化预处理；利用粗粒度区化法将预处理后的人脸图像对比度连续值域区间进行划分，选择拐点T₁,T₂,…T_N-1作为动态阈值点将对比度值域区间[minC,maxC]进行非线性划分为N层，提取每一层中包含了光照变化信息的人脸特征；计算模糊隶属函数保存每层特征隶属于各类的卡方距离，根据公式：

$K-\underset{c}{\arg \max }\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\frac{W_{1t}{\mathrm{\χ}}_1^t+\·\·\·W_{\mathrm{Nt}}{\mathrm{\χ}}_N^t}{N}$ 将各层人脸特征按权重进行了融合，当t取最大值得到的K即为识别结果，其中，表示第N层人脸特征模糊隶属于第t类的程度，W_Nt表示第N层特征模糊隶属于第t类时的融合权重。

为了将光照变化对图片的影响控制在一定范围内，所有图像必须进行归一化操作，否则当光照变化较为剧烈时，对比度值分层算法会受到光照的强烈干扰。故先将人脸图像转换到对数域，并利用差分高斯滤波器对光照不均匀的人脸图像进行平滑操作，然后进行全局对比度均衡化和直方图均衡化，以增强整个人脸图像的对比度；

局部非线性多层对比度分布LNMCP作为人脸识别特征:

针对某一人脸图像分块R_j，根据局部二值模式LBP算子求取该分块内所有局部区域内像素值对比度的最大值maxC和最小值minC，根据公式：

将该局部区域的对比度值线性等距离分层。

利用上述结果，再通过粗粒度区化算法求取结合光照变化情况的动态阈值点。这些新生成的动态划分点可实现对比度值域区间的非线性划分，从而提取包含光照动态变化信息的N层人脸特征。最后，为了充分利用N层特征在不同光照情形下的识别优势，以上N层特征被单独用于分类，并根据公式：

$\begin{array}{c}\underset{1}{\mathrm{\Π}}=\{(o^1,{\mathrm{\χ}}_1^1),\·\·\·,(o^c,{\mathrm{\χ}}_1^c)\}\\ .\\ .\\ .\\ \underset{N}{\mathrm{\Π}}=\{(o^1,{\mathrm{\χ}}_N^1),\·\·\·,(o^c,{\mathrm{\χ}}_N^c)\}\end{array}$

利用模糊隶属函数保存每层特征隶属于各类的卡方距离。

本发明对人脸分块进行粗粒度划分，可以合理、有效地划分对比度连续值域区间，其自适应性能够真实地反映出对比度值随光照变化在该区间的动态分布情况。通过局部非线性多层对比度分布提取的LNMCP人脸特征结合了光照动态变化信息，为了充分利用上述特征在不同光照情形下的识别优势，各分层特征被单独用于分类，并引入模糊隶属函数存储各层的分类结果,从而为最后的判定提供更多依据；信息熵的引入；为了更加精确地计算出多层特征之间的距离对全局特征距离的贡献率，通过计算所得的各层权重对不同层的分类结果进行了加权融合。从而估计出不同层次图像之间的距离对全局距离的贡献率，相对于无权重或固定权重，更适应于光照变化环境下的人脸识别。

附图说明

图1是本发明的工作流程图；

图2是两个人在不同光照变化下的原始输入人脸图像；

图3是对应图2预处理后的图像；

图4是LBP局部二值模式特征值的获取过程；

图5是LMCP特征值的获取过程。

具体实施方式

采用如下方法实施对人脸图像的处理。

步骤一、光照归一化预处理，该工作将光照变化对人脸图像的影响控制在一定范围之内，确保对比度值不被过度干扰；步骤二、局部非线性多层对比度分布LNMCP（LocalNonlinear Multi-layer Contrast Pattern)作为人脸识别特征，鉴于LMCP（Local Multi-layer Contrast Pattern）线性均等分层算法只能限定光照轻微变化下的对比度层次值的漂移，本发明利用粗粒度区化算法，结合光照变化信息将连续对比度值域区间非线性划分成若干离散的子区间，并提取局部非线性多层对比度特征LNMCP作为人脸特征，有效弥补了局部二值模式LBP和线性均等分层LMCP的缺陷；步骤三、模糊融合识别框架，上述各组特征被分别单独用于识别，并引入了模糊隶属函数存储被测试本属于各类的概率，最后通过信息熵计算各层权重，精确的融合各层分类子结果。

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示图1是本发明的工作流程图。本发明提出一种光照人脸识别方法，包括有如下步骤：

步骤一、光照归一化预处理：

为了将光照变化对图片的影响控制在一定范围内，所有图像必须进行归一化操作，否则当光照变化较为剧烈时，对比度值分层算法会受到光照的强烈干扰。故先将人脸图像转换到对数域，并利用差分高斯滤波器对光照不均匀的人脸图像进行平滑操作，然后进行全局对比度均衡化和直方图均衡化，以增强整个人脸图像的对比度；

步骤二、局部非线性多层对比度分布LNMCP作为人脸识别特征:

针对某一人脸图像分块R_j，根据局部二值模式LBP算子求取该分块内所有局部区域（以g_c为中心像素点，R为半径，P个邻居点的区域）内像素值对比度的最大值maxC和最小值minC，并根据公式：

将该值域区间[minC,maxC]的对比度值线性等距离分层。其中，L为线性分层的数量,l表示人脸图像分块R_j内各局部区域的第p个邻居点g_p对应的对比度层次，参数R，P，的值根据实验结果调试测取。

设s_l为某一对比度层次l上包含的记录条目数,s为所有对比度层上的记录条目总数，即s_l≤s,∑s_l=s。另又设φ(t)为s_l与s两者的比值,即φ(t)对在区间[minC,maxC]上的各等距离子区间X∈[X_m,X_m+1]上进行积分求得λ(X₁)，λ(X₂)，…λ(X_L)，并在此基础上用插值拟合得到拟合后的光滑曲线λ(X)。对以上光滑曲线λ(X)微分，令λ((X))′=0或者λ((X))′′=0求得光滑曲线拐点T₁,T₂,…T_N-1。

以上工作利用粗粒度区化法将对比度连续值域区间进行了有效地动态划分，所求拐点T₁,T₂,…T_N-1作为新的分区点，较等距离分区点能更真实地反映出像素对比度值随光照变化时在值域区间的动态分布情况，然后参照LMCP的编码原理提取非线性分层人脸特征。上述特征更适用于复杂光照变化下的人脸识别。

具体提取过程如下：针对某一人脸分块R_j，利用以上非线性分层的结果按照LMCP编码，可得到N组不同纹理信息的人脸分块特征。依次对所有人脸分块执行以上操作，并将位于同一层的人脸分块特征级联得到一张完整的人脸特征。该方法因为采用了对比度分层模型，相对于LBP算法增加了局部纹理特征的表述能力；更重要的是将对比度值区间结合光照情况进行了非线性分层，弥补了LMCP算法线性分层模型不符合光照是非线性变化这一事实。

步骤三、模糊融合识别框架：

结合光照变化情况获取动态阈值，将对比度值域区间非线性划分，从而提取到包含了光照变化信息的N层人脸特征。以上特征相对LBP特征，因为增添了对比度信息，所以包含了更丰富的纹理信息；更重要的是这些分层特征中包含了光照的动态变化规律，因此以上特征对复杂光照变化下的识别变得极为有效。与此同时，为了充分利用N层特征在不同光照情形下的识别优势，将以上N层特征单独用于分类，并根据公式：

$\begin{array}{c}\underset{1}{\mathrm{\Π}}=\{(o^1,{\mathrm{\χ}}_1^1),\·\·\·,(o^c,{\mathrm{\χ}}_1^c)\}\\ .\\ .\\ .\\ \underset{N}{\mathrm{\Π}}=\{(o^1,{\mathrm{\χ}}_N^1),\·\·\·,(o^c,{\mathrm{\χ}}_N^c)\}\end{array}$

利用模糊隶属函数保存待识别样本各层特征隶属于各类的卡方距离。其中，表示第N层人脸特征模糊隶属于第c类o^c的程度，表示待识别样本第N层特征的模糊识别结果。再根据公式：

$K-\underset{c}{\arg \max }\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\frac{W_{1t}{\mathrm{\χ}}_1^t+\·\·\·W_{\mathrm{Nt}}{\mathrm{\χ}}_N^t}{N}$

将以上各层特征的分类结果按权重进行融合，参数c表示所有的人脸图像类，上式中使得K取最大的t就是最终的判定结果,即待识别样本被判定为第t类。W_Nt表示第N层特征模糊隶属于第t类时的融合权重，可以通过信息熵计算获取，也可采用本领域技术人员知晓的常规方法获取。

采用信息熵计算权重的方法如下：假设一张人脸图像中被量化颜色i像素在整幅图像所占的百分比被表示为p_i，图像的颜色直方图被看作概率密度函数，某一人脸图像第N层特征的信息熵就可表示为：

$E_N=-\underset{i=0}{\overset{I-1}{\mathrm{\Σ}}}{p}_N^i{\log }_2{p}_N^i$

采用以上公式求得第t类所有人脸样本第N层特征的信息熵，再求其均值作为该类N层人脸特征的信息熵那么第N层特征模糊隶属于第t类时的融合权重W_Nt计算如下： $W_{\mathrm{Nt}}=\frac{\stackrel{\‾}{E_{\mathrm{Nt}}}}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\stackrel{\‾}{E_{\mathrm{Nt}}}}$

利用信息熵求得多层特征信息的准确量，从而估计出不同层次图像之间的距离对全局距离的贡献率，相对于无权重或固定权重，更适应于光照变化环境下的人脸识别。

对不同光照人脸图像数据集如图2所示，使用伽马校正、高斯差分滤波及对比度均衡化对实验人脸库进行预处理操作，以降低光照变化对特征提取的影响。伽马校正通过改变Gamma参数来控制人脸图像的整体亮度。利用高斯差分滤波器来实现对人脸图像光照不均匀的平滑处理。对比度均衡化的目的是对整个人脸图像的灰度级重新进行调节，是对图像整体对比度和亮度变化的一种标准化处理。经过以上预处理，可以得到光照变化相对均匀的人脸图像，故能有效避免光照对对比度值分层算法的强烈干扰。针对图2预处理后的图像见图3。

在执行上述步骤二时，考虑到光照变化对人脸图像像素值的影响存在以下规律，人脸分块内的变化相对于块间的变化更具有相似性。故本发明利用粗粒度区化算法找到各人脸分块对比度值域区间的拐点，作为该连续值域区间非线性划分的阈值点，并利用这些阈值点提取人脸分块的非线性分层特征，最后级联各层分块特征得到各层全脸特征。人脸图像中平坦区域居多，而平坦区域上的各点像素值差异不大，因此用以上人脸分块求得的动态阈值作为分块内各像素点的阈值进行LBP编码是可行的。

图4展示了原始LBP算子提取人脸特征值的过程。本发明利用粗粒度区化方法找到动态阈值点后，分层特征的提取算法参考了LMCP算法，其提取特征的原理见图5所示。

以上局部非线性多层对比度人脸特征LNMCP是根据光照动态变化获取，为了充分利用多层特征在不同光照情形下的识别优势，各分层特征被单独用于分类。鉴于光照变化造成人脸特征的非线性变化，在分类器的设计中，常规的判定YES/NO,显得不够科学，极易带来误识别，模糊隶属函数被引入。为了更为有效的融合各层特征的分类结果，可采用信息熵进行各层权重的估算。

接下来我们通过几组光照对比实例来验证本发明的有效性：

本发明采用YaleB、CMUPIE和OUTDOOR人脸库做为实验数据库。

首先，我们选择YALEB人脸数据库中10个人64种不同光照下拍摄的正面图像进行实验，以上数据集按光照方向被分为5个子集：光照条件最好的是Set1，然后依次变差，Set5最差。该人脸库上共设计了三组实验：实验1中Set1被用于训练；实验2中Set4被用于训练；实验3中每人一幅光照条件较好的图片被用于训练。实验结果如表1-3所示。

表1三个方法在YaleB数据库上实验1识别率对比（%）

方法	Set2	Set3	Set4	Set5	Ave
						LNMCP	100.00	100.00	100.00	100.00	100.00
LMCP	100.00	100.00	100.00	100.00	100.00
						LBP8,2	99.17	100.00	97.86	95.78	97.90

表2三个方法在YaleB数据库上实验2识别率对比（%）

方法	Set1	Set2	Set3	Set5	Ave
						LNMCP	100.00	100.00	100.00	100.00	100.00
LMCP	100.00	100.00	100.00	100.00	100.00
						LBP8,2	94.29	95.83	100.00	94.21	96.00

表3三个方法在YaleB数据库上实验3识别率对比（%）

方法	Set1	Set2	Set3	Set4	Set5	Ave
							LNMCP	100.00	100.00	100.00	100.00	100.00	100.00
LMCP	100.00	100.00	100.00	99.29	99.47	99.68
							LBP8,2	100.00	99.17	98.33	91.43	94.74	96.03

根据YALEB人脸数据库的实验结果，可以归纳为以下几点：

（1）LNMCP以及LMCP方法均取得了高于LBP的识别率，这是因为LNMCP以及LMCP在提取人脸特征时利用了邻居像素的对比度信息，构建了比LBP特征更加丰富的特征子空间。

（2）两个分层算法LNMCP与LMCP在前两组实验中均取得了100%的理想识别率。但在第三组单样本实验中LNMCP方法取得了高于LMCP的识别率，显然采用动态阈值提取的分层特征隐含了光照的非线性变化信息，更有益于光照变化情况下的分类。

其次，实验选取PIE人脸库的光照子集（C27)进行实验，每人光照条件最好的第10号图像训练（共计选取68幅），其余人脸图像（1380幅）测试，每幅图片调整为64×64，实验结果如表4所示。

表4三个方法在CMUPIE数据库上识别率对比（%）

从以上实验数据可知，当(P=8,R=2)时所提算法取得了优于LBP和LMCP的识别效果。实验表明参数(P,R)的选取对实验结果有影响，当前该组参数的选取主要通过人为设定，如何通过算法的方式对它进行设定是下一步需要深入探索的。

表5三个方法在户外人脸库上识别率对比（%）

最后，我们选取户外人脸库进行了测试，该人脸库包含132人，每人5幅图片，共计660幅图片。实验随机选取每人1幅图片训练（共计132幅），其余4幅图片测试（共计528幅），每幅图片调整为64×64,实验结果如表5所示。

观察实验数据可知，所提LNMCP方法在自然光照变化条件下采集的户外人脸库上取得了99.04％的理想成绩，远远大于LBP和LMCP的识别率。充分验证了所提方法对随机光照变化下的人脸识别是有效的。

Claims (2)

1.一种光照人脸识别方法，其特征在于，包括步骤：

(1)对人脸图像进行光照归一化预处理：

将人脸图像转换到对数域，利用差分高斯滤波器对人脸图像进行平滑操作，然后进行全局对比度均衡化和直方图均衡化；

(2)局部非线性多层对比度分布作为人脸识别特征:

利用粗粒度区化法将预处理后的人脸图像对比度连续值域区间进行划分，选择拐点T₁,T₂,…T_N-1作为动态阈值点将对比度值域区间[minC,maxC]进行非线性划分为N层，提取每一层中包含了光照变化信息的人脸特征；

所述粗粒度区化法具体为：针对某一人脸分块R_j，求取该分块内所有局部区域内像素值对比度的最大值maxC和最小值minC，根据公式：

将该局部区域的对比度值线性等距离分层，其中，L表示线性分层的数量,l表示人脸分块R_j内各局部区域的邻居点g_p对应的对比度层次；所述局部区域是指以g_c为中心像素点、R为半径、P个邻居点的区域；

设s_l为某一对比度层次l上包含的记录条目数,s为所有对比度层上的记录条目总数，即s_l≤s,Σs_l＝s；

另又设φ(t)为s_l与s两者的比值,即φ(t)对在区间[minC,maxC]上的各等距离子区间X∈[X_m,X_m+1]上进行积分求得λ(X₁),λ(X₂),…λ(X_L),并在此基础上用插值拟合得到拟合后的光滑曲线λ(X)；

对以上光滑曲线λ(X)微分，令λ((X))′＝0或者λ((X))″＝0，求得光滑曲线拐点T₁,T₂,…T_N-1；

(3)模糊融合识别框架

计算模糊隶属函数保存每层特征隶属于各类的卡方距离，根据公式：

存储待识别样本各层特征隶属于各类的情况，其中：表示待识别样本第N层特征的模糊识别结果，表示待识别样本的第N层人脸特征模糊隶属于第c类o^c的程度；

根据公式：将各层人脸特征按权重进行融合，当t取最大值得到的K即为识别结果，其中，表示第N层人脸特征模糊隶属于第c类的程度，W_Nt表示第N层特征模糊隶属于第t类时的融合权重，

所述融合权重通过信息熵计算获取，具体为，根据公式：

计算第N层特征模糊隶属于第t类时的融合权重W_Nt，其中，E_N为某一人脸图像第N层特征的信息熵，求其均值为该类N层人脸特征的信息熵。

2.根据权利要求1所述的识别方法，其特征在于，根据每个分层的人脸特征，按照LMCP编码，得到N组不同纹理信息的人脸分块特征，依次对所有位于同一层的人脸分块特征级联得到一张完整的人脸特征。