CN107239729A

CN107239729A - 一种基于光照估计的光照人脸识别方法

Info

Publication number: CN107239729A
Application number: CN201710228908.1A
Authority: CN
Inventors: 程勇; 焦良葆; 曹雪虹; 路红; 陈瑞
Original assignee: Nanjing Institute of Technology
Current assignee: Nanjing Institute of Technology
Priority date: 2017-04-10
Filing date: 2017-04-10
Publication date: 2017-10-10
Anticipated expiration: 2037-04-10
Also published as: CN107239729B

Abstract

本发明公开了一种基于光照估计的光照人脸识别方法，其方法为：首先依据图像成像模型从原始人脸图像中估计出初始光照，然后根据初始光照计算出光线遮挡校正光照与光照融合因子，构建光照融合模型，实现光线遮挡光照校正，接着运用全变分模型对光线遮挡校正后光照进行平滑滤波获取原始人脸图像的最终光照，最后运用光照不变量提取模型获取原始图像的光照不变量。本发明能较好地处理阴影边缘问题，提取包含丰富面部细节特征、更接近于原始人脸本征的光照不变量，不仅能满足图像的成像原理，光照的缓慢变化特性，还能适应复杂的照明环境。

Description

一种基于光照估计的光照人脸识别方法

技术领域

本发明涉及一种人脸识别方法，具体属于一种基于光照估计的光照人脸识别方法。

背景技术

复杂光照问题一直是人脸识别技术的一个研究热点，为了解决这个问题，国内外学者已经提出了许多方法。该类方法主要包括：基于光照估计的方法、基于高频特征提取的方法。这些方法本质上都是在假设光照缓慢变化，光照不变量快速变化的基础上，对人脸图像的光照和光照不变量进行分离，直接或间接的从人脸图像中提取光照不变的信息。

尽管这些方法在复杂光照人脸识别中已经取得明显的进步，但仍具有一定的局限性。一方面，复杂环境下光线受到人脸本身或其它遮挡物的影响，照射到人脸面部的光线不再是完全缓慢变化，人脸图像中光线遮挡区域和非遮挡区域之间存在光线快速变化现象。基于光照完全缓慢变化的光照估计方法所提的光照不变量不能很好地处理光线快速变化区域。而且现有光照估计算法大都通过低通平滑滤波实施光照估计，仅能满足光照的缓慢变化特征，估计的光照包含了过多的人脸本征信息，无法从人脸图像中获取准确的光照和光照不变量。另一方面，简单地假设人脸本征快速变化，仅从高频信息的角度提取光照不变量不够严谨和准确。

本发明在研究朗伯模型的基础上，考虑图像的成像模型、复杂的照明环境，结合图像融合和平滑滤波提出了一种基于有效光估计的复杂光照人脸识别方法。

发明内容

为克服现有技术的缺陷，本发明目的是在于提供一种有效的人脸图像光照估计、光照不变量提取算法，即基于有效光估计的复杂光照人脸识别方法，结合图像融合和平滑滤波运用光照不变量提取模型获取原始图像的光照不变量，能较好地处理阴影边缘问题，提取包含丰富面部细节特征、更接近于原始人脸本征的光照不变量。

为解决上述技术问题，提高复杂光照环境下人脸识别的光照鲁棒性，本发明的一种基于光照估计的光照人脸识别方法，其方法为：首先依据图像成像模型从原始人脸图像中估计出初始光照，然后根据初始光照计算出光线遮挡校正光照与光照融合因子，构建光照融合模型，实现光线遮挡光照校正，接着运用全变分模型对光线遮挡校正后光照进行平滑滤波获取原始人脸图像的最终光照，最后运用光照不变量提取模型获取原始图像的光照不变量。其具体方法如下：

(1)分析朗伯模型，目标物体的成像原理用朗伯模型进行描述，即一幅人脸图像表示为：

其中，F表示一幅人脸图像；R表示人脸表面的反射率和法向量的乘积，即为人脸本征，s表示成像光源，取值范围介于[0,1]；L表示外部光源照射到物体表面的光照强度；

(2)估计初始光照；通过分析图像成像模型得出数字图像的最大值小于或等于外部光源的光照强度，当从数字图像本身估计光照时，首先采用局部最大值统计滤波器从原始图像中估计初始光照，人脸图像F的初始光照估计模型如下：

L_p(x,y)＝max(F(i,j),(i,j)∈W)

其中，L_p为人脸图像F对应的初始光照，F(i,j)是以人脸图像点F(x,y)为中心的邻域像素，W代表邻域窗口；

(3)光线遮挡边缘光照校正；在初始光照估计的基础上，从光照变化速度描述和图像融合的角度，在初始光照基础上建立了一种光线遮挡边缘光照校正模型，人脸图像F初始光照L_p的遮挡边缘光照校正模型定义如下： L_mp(x,y)＝L_p(x,y)×(1-A'(x,y))+L_m(x,y)×A'(x,y)

L_m(x,y)＝min(L_p(i,j),(i,j)∈W)

其中，L_mp(x,y)为光线遮挡边缘光照校正结果；L_m(x,y)为光线遮挡边缘校正光照；A'(x,y)为光线遮挡边缘光照校正融合因子；A(x,y)为光照变化速度描述子，数值与光照变化速度成正比；m_A代表光照变化速度描述子的最大值；

(4)全变分平滑滤波；光线遮挡边缘光照校正后，对遮挡边缘校正后的光照运用全变分模型实施平滑处理消除包含在光照中的人脸本征信息，使得估计的最终光照能够满足光照的缓慢变化特性；基于全变分模型的最终光照估计模型表示为：

其中，L为从一幅人脸图像中估计的最终光照，为光照平滑正则项，为光照保真项，参数λ为平滑平衡因子，为表示梯度值。

所述步骤(1)中，人脸图像是人脸本征和成像光照相乘的产物；人脸本征的数值范围属于[0,1]；人脸图像的强度低于成像光照的强度。

所述步骤(1)中，基础的朗伯模型描述了目标物体的成像原理公式为

F(x,y)＝R(x,y)×L(x,y)。

所述步骤(2)中，在人脸本征快速变化区域估计的光照包含了人脸本征信息，所述人脸本征信息以噪声的形式存在于光照L_mp中。

所述步骤(3)中，在初始光照估计的基础上，从光照变化速度描述和图像融合的角度，在初始光照基础上建立了一种光线遮挡边缘光照校正模型。

述步骤(4)，基于全变分模型的平滑滤波运用偏微分方程的各向异性扩散特性，对遮挡边缘校正后的光照运用全变分模型实施平滑处理消除包含在光照中的人脸本征信息。

本发明在研究经典朗伯模型的基础上，考虑图像的成像模型、复杂的照明环境，结合图像融合和平滑滤波运用光照不变量提取模型获取原始图像的光照不变量。所提算法能较好地处理阴影边缘问题，提取包含丰富面部细节特征、更接近于原始人脸本征的光照不变量，不仅能满足图像的成像原理，光照的缓慢变化特性，还能适应复杂的照明环境。

附图说明

图1是本发明的算法流程图；

图2(a)本实施例的某人每个子集一幅原始图像；

图2(b)本实施例的某人MSR算法对应的光照不变量图像；

图2(c)本实施例的某人GF算法对应的光照不变量图像；

图2(d)本实施例的某人WF算法对应的光照不变量图像；

图2(e)本实施例的某人Luo算法对应的光照不变量图像；

图2(f)本实施例利用本发明算法对应的光照不变量图像；

图3为本实施例不同参数对应的平均识别率。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

参见图1，为了解决上述方法在复杂光照情况下人脸识别的效果不能令人满意的问题，本发明在基于经典简单的朗伯模型基础上，提出更有效的光照估计和光照不变量提取算法，以便提高复杂光照条件下人脸识别的准确率。本发明综合考虑图像的成像原理、光照缓慢变化特性和复杂照明环境，结合图像融合和平滑滤波，提出一种有效的人脸图像光照估计、光照不变量提取方法。所提算法能较好地处理阴影边缘问题，提取含有丰富面部细节特征、更接近于人脸本征的光照不变量。复杂光照Yale B+和CAS-PEAL-R1人脸库上的实验结果表明所提算法具有高效性。

为了达到上述目的，本发明所采取的技术方案是：

1.分析朗伯模型：

图像是指目标物体表面反射到图像获取传感器上形成的光线强度的度量。朗伯模型作为经典的可见光图像成像模型，被广泛应用于复杂光照人脸识别中。公式(1)给出了朗伯模型，描述了目标物体的成像原理。

F(x,y)＝R(x,y)×L(x,y) (1)

其中，和分别表示目标物体表面的反射率和法向量，s表示成像光源，表示目标物体的图像。

物体表面的反射率和法向量与成像光源无关，是物体的内在特征(光照不变量)。因此，目标物体的成像原理可以用简单的朗伯模型进行描述，即一幅人脸图像可以表示为：

其中，表示人脸本征(光照不变量)，数值范围属于[0,1]，表示成像光源(图像光照)。

由朗伯模型可知：人脸图像是人脸本征和成像光照相乘的产物；人脸本征的数值范围属于[0,1]；人脸图像的强度低于成像光照的强度；人脸图像的最大值比以往任何的光照估计方法更接近于成像光照。

2.初始光照估计

通过分析图像成像模型可知数字图像的最大值小于或等于外部光源的光照强度，另外，外部光源多属于点光源。基于此我们可以得出：从数字图像本身估计光照时，图像的局部最大值比其它数值都更接近于图像获取时的光照强度。因此，首先采用局部最大值统计滤波器从原始图像中估计初始光照，式(3)给出了人脸图像F的初始光照估计模型，

L_p(x,y)＝max(F(i,j),(i,j)∈W) (3)

其中，L_p为人脸图像F对应的初始光照，F(i,j)是以人脸图像点F(x,y)为中心的邻域像素，W代表邻域窗口。

3.光线遮挡边缘光照校正；

尽管基于局部最大值的初始光照估计模型能满足图像的成像模型，但该初始光照估计模型只有在光照缓慢变化时才有效，在光照快速变化区域(光线遮挡边缘)趋向于获取较大的光照强度，使得对应的光照不变量趋向于较小。鉴于此，在初始光照估计的基础上，从光照变化速度描述和图像融合的角度，在初始光照基础上建立了一种光线遮挡边缘光照校正模型，有效地克服了初始光照估计模型的不足。人脸图像F初始光照L_p的遮挡边缘光照校正模型定义如下：

L_mp(x,y)＝

L_p(x,y)×(1-A'(x,y))+L_m(x,y)×A'(x,y) (4)

L_m(x,y)＝min(L_p(i,j),(i,j)∈W) (7)

其中，L_mp为光线遮挡边缘光照校正结果；L_m为光线遮挡边缘校正光照；A' 为光线遮挡边缘光照校正融合因子；A为光照变化速度描述子，数值与光照变化速度成正比；m_A代表光照变化速度描述子的最大值。

4.全变分平滑滤波：

光线遮挡边缘光照校正后，从图像F估计的光照L_mp能较好地满足图像的成像模型和复杂光照环境，不能很好地满足光照的缓慢变化特性。在人脸本征快速变化区域估计的光照包含了过多的人脸本征信息，这些本征信息以噪声的形式存在于光照L_mp中。基于全变分模型的平滑滤波运用偏微分方程的各向异性扩散特性，在去除图像噪声的同时能有效地防止图像平坦区域的退化。因此，本文对遮挡边缘校正后的光照运用全变分模型实施平滑处理消除包含在光照中的人脸本征信息，使得估计的最终光照能够满足光照的缓慢变化特性。

基于全变分模型的最终光照估计模型可以表示为：

基于上述，本发明的方法为：首先依据图像成像模型从原始人脸图像中估计出初始光照，然后根据初始光照计算出光线遮挡校正光照与光照融合因子，构建光照融合模型，实现光线遮挡光照校正，接着运用全变分模型对光线遮挡校正后光照进行平滑滤波，获取原始人脸图像的最终光照，最后运用光照不变量提取模型获取原始图像的光照不变量。

为了验证所提算法的性能，本发明在两个著名的复杂光照人脸库Yale B+和 CAS-PEAL-R1上进行了验证实验。

Yale B+人脸库由Yale B和扩展Yale B组成，共包括38人，每人64种不同的光照情况。依据光源入射角度的不同，Yale B+人脸库可分为5个子集：子集1(0～12。)、子集2(13～25。)、子集3(26～50。),子集4(51～77。)和子集5 (>77。)。

所有图像经人工裁剪,尽量仅包含面部信息,图像尺度被调整为100×100。 CAS-PEAL-R1人脸库是中国科学院计算技术研究所建立的大规模中国人脸图像共享数据库，共包含1040人，30900幅人脸图像。

所有图像经人工裁剪,尽量仅包含面部信息,图像尺度被调整为100×100。 CAS-PEAL-R1人脸库是中国科学院计算技术研究所建立的大规模中国人脸图像共享数据库，共包含1040人，30900幅人脸图像。实验中首先在Yale B+人脸库上从识别效果的角度探讨了相关参数对所提算法的影响，然后从视觉效果和识别精度两个方面与经典算法多尺度视网膜模型(Multi-Scale Retinex,SR)，先进算法梯度脸(Gradientfaces,GF)、韦伯脸(Weberface,WF)和Luo的纹理增强模型进行了对比，给出了相应的实验结果。在特征提取和识别阶段，分别采用对光照敏感的主成分分析(Principal Component Analysis，PCA)提取整体特征和基于欧式距离的最近邻分类器实施类别判定。

对于参数选择，本发明所提算法包括邻域窗口W和平滑平衡因子λ两个关键参数，本实施例通过Yale B+人脸库上的识别性能考察了参数对光照不变量光照鲁棒性的影响，给出了参数选择方案。从Yale B+人脸库子集1和2中每人任意选取一幅人脸图像构成训练集，其余人脸图像构成测试集，重复上述训练集与测试集选取模式20次。

图3给出了不同参数对应的平均识别率，可以看出邻域窗口W为3×3时，各平滑平衡因子λ数值上的平均识别率均超过96％，明显高于其它邻域窗口的情况，而且在W＝3×3和λ＝0.55时达到最高识别率96.68％。因此，本文各实验中选择邻域窗口为3×3，平滑平衡因子为0.55。

1.Yale B+人脸库。

(1)视觉效果：

图2(a)-图2(f)Yale B+人脸库光照不变量视觉效果,其给出了某人每个子集一幅原始图像及不同算法对应的光照不变量，可以看出本文算法不仅能有效消除不同光照对人脸本征的影响，而且能够提取更接近于人脸本征的光照不变量，包含更丰富的面部细节特征。

(2)识别性能：

类识别实验中，首先，从64种不同光照人脸图像中，选择一幅正面光照人脸图像组成训练集(共38幅)，其它光照人脸图像组成测试集。表1给出了不同算法对应的识别结果，可以看出本文算法在极端光照子集4和子集5上获取了最高的识别率，明显高于其它算法；在其它子集上也取得了较高的识别率；在全部集合上(子集1-5)的识别率达到96.37％，高于其它算法。然后，为了验证算法的适应性，每人随机选取1幅人脸图像组成训练集，其余作为测试集，重复随机选取训练集和测试集80次，求取80种不同训练集和测试集的平均识别率。表1给出了不同算法对应的平均识别率，可以看出本文算法具有更强的适应性，各子集上的平均识别率都明显高于其它算法，全部子集上的平均识别率达到94.92％。

表1正面光照人脸图像作为训练集的识别率％

2.CAS-PEAL-R1人脸库。

图2(a)-图2(f)给出了某人不同光照5幅原始人脸图像及不同算法对应的光照不变量，可以看出本文算法能够消除光照变化对人脸本征影响的同时保留更多的面部细节特征。

(2)识别性能

表2给出了不同算法对应的识别率，可以看出本文算法的识别率达到 36.37％，明显高于其它算法，这进一步说明了本文算法的高效性。

表2CAS-PEAL-R1人脸库识别率％

本实施例的光照鲁棒人脸识别算法的机理，发现了当前复杂光照处理算法存在：假定人脸图像光照缓慢变化、人脸本征快速变化不够准确和严谨；以往基于光照估计的光照不变量提取方法仅能满足光照缓慢变化的特性，不能满足图像的成像模型及复杂的照明环境；基于高频信息的光照不变量提取方法仅能获取某频段的人脸本征信息，无法获取更加全面的人脸本征。

针对以上问题，本发明全面考虑图像的成像模型、复杂的照明环境，结合图像融合和平滑滤波提出了一种有效的人脸图像光照估计、光照不变量提取算法，不仅能满足图像的成像原理，光照的缓慢变化特性，还能适应复杂的照明环境。所提算法能较好地处理阴影边缘问题，提取包含丰富面部细节特征、更接近于原始人脸本征的光照不变量。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种基于光照估计的光照人脸识别方法，其特征在于，其方法如下：

L_p(x,y)＝max(F(i,j),(i,j)∈W)

(3)光线遮挡边缘光照校正；在初始光照估计的基础上，从光照变化速度描述和图像融合的角度，在初始光照基础上建立了一种光线遮挡边缘光照校正模型，人脸图像F初始光照L_p的遮挡边缘光照校正模型定义如下：L_mp(x,y)＝L_p(x,y)×(1-A'(x,y))+L_m(x,y)×A'(x,y)

<mrow> <msup> <mi>A</mi> <mo>&prime;</mo> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>A</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>m</mi> <mo>_</mo> <mi>A</mi> </mrow> </mfrac> </mrow>

L_m(x,y)＝min(L_p(i,j),(i,j)∈W)

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>L</mi> </munder> <mi>J</mi> <mrow> <mo>(</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mo>&Integral;</mo> <mo>&Integral;</mo> </mrow> <mi>&Omega;</mi> </munder> <mo>|</mo> <mo>&dtri;</mo> <mi>L</mi> <mo>|</mo> <mi>d</mi> <mi>&Omega;</mi> <mo>+</mo> <mfrac> <mi>&lambda;</mi> <mn>2</mn> </mfrac> <munder> <mrow> <mo>&Integral;</mo> <mo>&Integral;</mo> </mrow> <mi>&Omega;</mi> </munder> <msup> <mrow> <mo>(</mo> <mi>L</mi> <mo>-</mo> <msub> <mi>L</mi> <mrow> <mi>m</mi> <mi>p</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mi>d</mi> <mi>&Omega;</mi> </mrow>

2.根据权利要求1所述的光照人脸识别方法，其特征在于，所述步骤(1)中，人脸图像是人脸本征和成像光照相乘的产物；人脸本征的数值范围属于[0,1]；人脸图像的强度低于成像光照的强度。

3.根据权利要求1所述的光照人脸识别方法，其特征在于，所述步骤(1)中，基础的朗伯模型描述了目标物体的成像原理公式为

F(x,y)＝R(x,y)×L(x,y)。

4.根据权利要求1所述的光照人脸识别方法，其特征在于，所述步骤(2)中，)在人脸本征快速变化区域估计的光照包含了人脸本征信息，所述人脸本征信息以噪声的形式存在于光照L_mp中。

5.根据权利要求1所述的光照人脸识别方法，其特征在于，所述步骤(3)中，在初始光照估计的基础上，从光照变化速度描述和图像融合的角度，在初始光照基础上建立了一种光线遮挡边缘光照校正模型。

6.根据权利要求1所述的光照人脸识别方法，其特征在于，所述步骤(4)，基于全变分模型的平滑滤波运用偏微分方程的各向异性扩散特性，对遮挡边缘校正后的光照运用全变分模型实施平滑处理消除包含在光照中的人脸本征信息。