CN102214292A - 人脸图像的光照处理方法 - Google Patents

Abstract

本发明一种人脸图像的光照处理方法，属于图像处理领域。包括如下步骤：步骤1：输入人脸图像，并将人脸图像归一化为固定大小；步骤2：将归一化后的人脸图像用不同光照处理方法分别进行光照处理；步骤3：将光照处理后的各图像进行融合，并输出融合图像。本方法采用水平边缘滤波核的单尺度Retinex光照处理方法对人脸图片进行处理，突出了人脸图像的水平边缘，并将经不同光照处理方法所得的图像按各自权重系数进行融合，融合后的图像同时保留了融合前各方法的优点，从而提升了人脸识别的性能，加大了人脸的识别率。

Description

人脸图像的光照处理方法

技术领域

本发明属于图像处理领域，涉及一种图像的光照处理算法。

背景技术

在过去的十几年里，人脸识别受到了极大的关注，已经在商业和执法部门得到了广泛应用，如刑事鉴定、信用卡识别、安全系统、现场监控等。在这些实际应用中，人脸识别的应用环境是多样的，由于光照条件、面部表情、姿势、角度、发型等外界条件的影响，人脸识别的过程中要求这些外界条件相对稳定才能达到较高的识别率。由于人脸的表面是一个三维结构，点光源容易形成一些很强的投影，从而导致一些人脸细节的丢失，许多常用的识别方法对光照很敏感，故光照变化对人脸识别的过程影响巨大。

在过去的几年中，人脸识别对光照的处理已经有了很大的提高，但是在国际上举行的人脸识别供应商评测(Face Recognition Vendor Test，FRVT)和人脸识别挑战赛(Face Recognition Grand Challenge)中的测试表明，光照变化仍然是人脸识别性能提高的一个很重要的阻碍。

目前有许多方法用来解决光照问题。如Retinex方法，该方法采用高斯核平滑图像来估计光照部分，通过在对数域对原图与光照估计求差得到光照处理图像。其中的高斯滤波核F(x，y)为环绕中心点的高斯函数：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

其中，σ为高斯标准差，K为归一化因子，K＝1/∑F(x，y)。

由Retinex方法处理得到的图像可以较好的保留全局信息，但是由于由Retinex方法缺乏多尺度分析，故不能更好的提取细节信息。

后来，在Retinex的基础上又发展了LTV(Logarithmic Total Variation)方法。然而，虽然这两种方法不需要对光照进行假设，也不需要多个图像参与训练，但处理后的图像主要表现为全局性信息，相应的细节性信息有所不足。近年来，小波分析开始应用于人脸的光照处理。如《Multiscale facialstructure representation for face recognition under varyingillumination》.Zhang Taiping，Fang Bin，Yuan Yuan，etc.Pattern Recognition，2009，42(2)：251-258中多尺度人脸结构表示(Multiscale Facial StructureRepresentation，MFSR)方法，该方法用基于软阈值法的小波去噪模型估计光照部分，并认为人脸的不变部分等于原图与去噪后的图像之差。虽然多尺度人脸结构表示(MFSR)在光照数据库上取得了非常好的效果，但经过该方法光照处理所得的图像突出了人脸的细节信息，而图像中人脸的边缘、轮廓等大尺度特征信息不够清晰，满足不了人脸识别的需要。

另外，因为人脸的特征主要表现为水平方向，所以水平边缘信息相对于垂直边缘信息对人脸识别有着更重要的作用。但Retinex采用的高斯滤波各方向上的性质相同，不能有效地同时区分水平边缘信息和垂直边缘信息。

发明内容

本发明所要解决的技术问题是提供一种人脸图像的光照处理方法。本方法采用水平边缘滤波核的单尺度Ret inex光照处理方法对人脸图片进行处理，突出了人脸图像的水平边缘，并将经不同光照处理方法所得的图像按各自权重系数进行融合，融合后的图像同时保留了融合前各方法的优点，从而提升了人脸识别的性能，加大了人脸图像的识别率。

本发明公开了一种人脸图像的光照处理方法，包括如下步骤：

步骤1：输入人脸图像，并将人脸图像归一化；

步骤2：将归一化后的人脸图像用不同光照处理方法分别进行光照处理；

步骤3：将光照处理后的各图像进行融合，并输出融合图像。

所述步骤2中人脸图像进行光照处理时，利用单尺度Retinex方法进行光照处理，并采用水平边缘滤波核来突出人脸图像的水平边缘。

所述水平边缘滤波核为：

$F^{\′}(x,y)=K\·e^{-x^2/2{\mathrm{\σ}}^2}\·e^{-{\left|y\right|}^{\mathrm{\μ}}/2{\mathrm{\σ}}^2}$

其中，x，y分别为滤波核的坐标，μ为既定参数，σ为高斯标准差， 

为归一化因子，i、j分别为滤波核中的坐标。

所述既定参数为0至2之间的浮点数。

所述步骤3中各图像进行融合时，按光照处理时采用的各光照处理的方法权重系数进行融合。

所述各图像进行融合前单位化。

本发明提出了一种人脸图像的光照处理方法，采用水平边缘滤波核的单尺度Ret inex光照处理方法对人脸图像进行处理，突出了人脸的水平边缘细节信息，从而提高识别性能，并对不同光照预处理方法得到的图像进行融合，保留了图像的大尺度信息和细节信息，能够有效地提高识别性能。

附图说明

图1为本发明人脸图像的光照处理方法的流程图；

图2a为单尺度Retinex光照处理方法的高斯滤波核图像；

图2b为本发明人脸图像的光照处理方法的水平边缘滤波核图像；

图3为本发明人脸图像的光照处理方法的滤波过程示意图；

图4a为本发明人脸图像的光照处理方法中采用水平边缘滤波核进行光照处理的实施例原图；

图4b为采用标准的单尺度Retinex处理方法(SSR)得到的结果图；

图4c为本发明人脸图像的光照处理方法的实施例中采用水平边缘滤波核的 单尺度Retinex处理方法(H-SSR)得到的结果图像；

图5a为用标准Ret inex方法对人脸图像的处理效果；

图5b为本发明人脸图像的光照处理方法中采用水平边缘滤波核的单尺度Retinex方法(H-SSR)对人脸图像的处理效果图；

图6a为本发明人脸图像的光照处理方法中各光照处理方法进行融合实施例的原图；

图6b为本发明人脸图像的光照处理方法中采用水平边缘滤波核的单尺度Retinex方法(H-SSR)对实施例的原图进行光照处理所得的结果图像；

图6c为采用LTV方法对实施例原图进行光照处理所得的结果图像；

图6d为采用人脸多尺度结构表示方法(MFSR)对实施例原图进行光照处理所得的结果图像；

图7为本发明人脸图像的光照处理方法中实施例的光照处理方法处理后的图像进行融合的示意图；

图8为本发明人脸图像的光照处理方法中实施例的采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)和人脸多尺度结构表示方法(MFSR)处理后的图像进行融合后得到的结果图像；

图9为本发明人脸图像的光照处理方法中经不同光照处理方法所得图像的识别率曲线图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明公开了一种人脸图像的光照处理方法，如图1所示，包括如下步骤：

步骤1：输入人脸图像，并将人脸图像归一化为固定大小；

对输入的人脸图像进行处理，根据各人脸图像中双眼的位置截取人脸区域，将得到的人脸区域进行归一化，缩放为固定大小。

步骤2：将归一化后的人脸图像用不同光照处理方法分别进行光照处理；

采用不同的光照处理方法，将归一化后的各人脸图像分别进行处理。本实施例中，用SSR表示标准的单尺度Retinex光照处理方法，并以LTV(LogarithmicTotal Variation)方法和多尺度人脸结构表示(Multiscale Facial StructureRepresentation，MFSR)方法为参考分别对归一化后的人脸图像进行处理。

标准的单尺度Retinex光照处理方法(SSR)：根据朗伯反射模型，图像I(x，y)等于反射分量R与光照分量L的乘积：

I(x，y)＝R(x，y)·L(x，y)            (1)

由于光照分量L相对于反射分量R变化缓慢，因此可以通过对人脸图像进行平滑滤波，计算卷积从而获得L。但反射分量R求解涉时及到除法，计算比较耗时，因此重新对图像点(x，y)定义为：

$R^{\′}(x,y)=\log I(x,y)-\log [F(x,y)\⊗I(x,y)]---\left(2\right)$

R′(x，y)是标准的单尺度Retinex光照处理方法(SSR)的输出，I(x，y)为灰度图像， 

代表卷积。通过log变换后，除法运算变为减法运算，从而可以极大的 提高运算速度。另外，由于log变换本身在一定程度上也能消减光照效应，所以变换后的式子可以获得更好的光照处理效果。

在(2)式中，F(x，y)为滤波算子，表示环绕中心点的高斯函数：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}---\left(3\right)$

其中，σ为一常量，代表高斯标准差。

本方法利用单尺度Retinex方法进行光照处理，并采用水平边缘滤波核代替高斯滤波核估计光照部分，以突出人脸图像的水平边缘。

水平边缘滤波核定义为：

$F^{\′}(x,y)=K\·e^{-x^2/2{\mathrm{\σ}}^2}\·e^{-{\left|y\right|}^{\mathrm{\μ}}/2{\mathrm{\σ}}^2}---\left(4\right)$

其中，x，y为图像中当前点的坐标，μ为既定参数，σ为高斯标准差， 为归一化因子，整张图像对应的常量，i、j表示整张图像中的各坐标点，既定参数μ的值为0至2之间的浮点数。当μ＝1时，所得水平边缘滤波核如图2b所示。如图2a、图2b所示，相对于图2a中的高斯滤波核，图2b中的水平边缘滤波核在垂直方向上分配的权重更大，故图2b所示的图像中垂直方向上的灰度值更大。当如式(2)中对处于水平边缘上的点计算卷积时，水平边缘滤波核对水平边缘外的像素点分配较大的权重。

如图3所示，图像背景为白色，中间包含一条黑色水平边缘，分别用高斯滤波核和水平边缘滤波核对图像中心的白点计算卷积。虚框表示滤波核的作用范围，水平边缘滤波核在黑点的位置分配的权重较大，则虚框中得到的卷积与黑点处的灰度值更相近，而与虚框中心白点的灰度值差异较大。如果采用高斯滤波核，则虚框中得到的卷积接近白点位置的灰度值，而与黑点的灰度值差异较大。

标准的单尺度Retinex光照处理方法(SSR)的输出为当前点灰度值与卷积结果的差，而采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)可以增大当前点灰度值与卷积结果的差，进而突出水平边缘。如图4a、4b、4c所示，图4a为原图，带有一条黑色的水平边缘，图4b为标准的单尺度Retinex处理方法(SSR)处理得到的结果图像，图4c为采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)得到的结果图像，标准的单尺度Retinex光照处理方法中处理后的水平边缘中含有一条较亮的线，而基于水平边缘滤波核处理得到的图像效果更接近于原图，识别率更高。

如图5b、图5c所示，为对图5a进行光照处理的结果图像，相比标准单尺度Retinex方法(SSR)，采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)在处理后的图像上水平边缘表现更清晰，如左眉毛和嘴巴的左半部分。

以公开数据集卡内基梅隆大学人脸表情数据库(CMU PIE)中的Gallery集中的68张无光照图像作为参考对象，illumination集中的1428张有光照图像作为测试对象。用SSR表示基于高斯核的单尺度Retinex光照处理方法，σ＝14；H-SSR代表基于水平边缘滤波核的单尺度Retinex光照处理方法，既定参数μ＝0， 高斯标准差σ＝12。

未经处理的原图识别率为19.65％，经过光照处理后识别率有较大的提高，标准的单尺度Retinex光照处理方法(SSR)的识别率达到了74.23％。而采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)的识别率达到了78.43％，相比标准的单尺度Retinex光照处理方法(SSR)提高了4.2个百分点，提高了人脸识别的性能。

采用LTV方法和人脸多尺度结构表示(MFSR)方法分别对输入的人脸图像进行光照处理。

步骤3：将光照处理后的各图像进行融合，并输出融合图像。

如图6b、6c、6d所示，为不同光照处理方法的对图6a进行光照处理的效果图。由图中可以看出，通过人脸多尺度结构表示方法(MFSR)进行光照处理可以突出细节信息，但对人脸图像的大尺度特征保留效果较差；采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)对人脸图像的大尺度特征保留较好，但对细节信息保留较差；LTV方法主要提取的是小尺度特征，但与人脸多尺度结构表示方法(MFSR)所保留的细节信息存在较大的差异。因此，可以把采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)和LTV方法处理得到的图像分别与人脸多尺度结构表示方法(MFSR)处理得到的图像进行融合，融合后的识别效果更好。

如图7所示，各图像进行融合时，按光照处理时采用的各光照处理方法的权重系数进行融合，融合的方式如下：

R_new＝β·R₁+(1-β)·R₂(0≤β≤1)    (5)

R₁、R₂、R_new分别为两种光照处理方法以及两种光照处理方法进行融合后输出图像的灰度，β为权重系数。其中，R₁为采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)或者LTV光照处理方法的输出图像的灰度值，R₂为人脸多尺度结构表示方法(MFSR)光照处理方法的输出图像的灰度值。β表示采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)或者LTV光照处理方法对应的权重系数，显然，当β＝0时，融合后输出图像的灰度值等同于人脸多尺度结构表示方法(MFSR)进行光照处理输出图像的灰度值，当β＝1时，融合后输出图像的灰度值等同于采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)或者LTV光照处理方法输出图像的灰度值。

R₁、R₂在进行融合前需要归一化为单位向量，即：

$R_{i,j}=\frac{R_{i,j}}{\sqrt{{\mathrm{\Σ}}_j{R}_j^2}},$ i＝1，2；j＝1，2，...，n    (6)

上式中，n为归一化后的人脸图像的维数，如64×64大小的图像维数是4096。图8是采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)处理后的图像和人脸多尺度结构表示方法(MFSR)处理后的图像进行融合后得到的结果图像。

以公开数据集卡内基梅隆大学人脸表情数据库(CMU PIE)中的Illumination集为例，Illumination集中每人包含21张人脸图像，每张图像在不同的光照条件下拍摄得到，总共1428张。每次进行光照处理时选择对应的光照条件作为参考对象，并将余下的20种光照条件作为测试样本，则共进行21组光照处理实验。在采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)中，取既定参数μ＝0.3，高斯标准差σ＝2；在标准的单尺度Retinex光照处理方法(SSR)中，取高斯标准差σ＝2；在LTV方法中，取LTV方法中的尺度权重参数λ＝0.8；人脸多尺度结构表示光照处理方法中，参数η＝2.0。在采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)处理后的图像和人脸多尺度结构表示方法(MFSR)处理后的图像进行融合时，取权重系数β＝0.5；LTV方法处理后的图像与人脸多尺度结构表示方法(MFSR)处理后的图像进行融合时，取权重系数β＝0.6。

在实验中，所有图像先根据眼睛的位置进行对齐，然后截取人脸区域并归一化到128×128大小，在光照处理后，图像再缩放到32×32大小。

如表1所示，原图的识别率仅有36.19％，标准的单尺度Retinex光照处理方法的识别率为95.34％，采用水平边缘滤波核之后，单尺度Retinex光照处理方法的识别率提高了2.5个百分点，达到了97.8％，具有良好的识别效果。

从表1中同时可以看到，将两种方法融合后的识别性能都要好于任何一种单一的方法。其中由采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)与人脸多尺度结构表示方法(MFSR)处理后的图像进行融合后形成的人脸图像识别率最高，达到了99.41％。

与采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)处理后的图像和人脸多尺度结构表示方法(MFSR)处理后的图像进行融合后形成的人脸图像识别率相比，LTV方法处理后的图像与人脸多尺度结构表示方法(MFSR)处理后的图像进行融合后的人脸图像识别率较低，表明采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)相对于LTV方法，能够与人脸多尺度结构表示方法(MFSR)形成更好的互补性。

表1.不同光照处理方法所得结果图像的平均识别率

序号	方法	识别率％
			1	原图	36.19
2	SSR	95.34
			3	H-SSR	97.80
4	LTV	98.58
			5	MFSR	97.68
6	H-SSR+MFSR	99.41
			7	LTV+MFSR	99.31

图9为经不同光照处理方法所得图像的识别率曲线图。采用水平边缘滤波 核的单尺度Retinex光照处理方法(H-SSR)处理后的图像和人脸多尺度结构表示方法(MFSR)处理后的图像进行融合后形成人脸图像的识别率是最高的，即便是光照条件在很差的情况下，如序号所对应的Illumination集中1、2、15、16号对应的光照条件很差的图片时，也能取得较好的效果。

在本方法的其他实施例中，分别将采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)、人脸多尺度结构表示方法(MFSR)和LTV方法进行光照处理后的图像按各自的权重系数进行融合.采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)的权重系数为0.4，人脸多尺度结构表示方法(MFSR)的权重系数为0.3，LTV方法的权重系数为0.3，所得结果图像的平均识别率为99.35％，比采用水平边缘滤波核的单尺度Retinex光照处理方法(H-SSR)对同样的图像进行光照处理所得的识别率97.4％高出近2个百分点，取得了良好的识别效果。

Claims (6)

1.一种人脸图像的光照处理方法，其特征在于，包括如下步骤：

步骤1：输入人脸图像，并将人脸图像归一化；

步骤2：将归一化后的人脸图像用不同光照处理方法分别进行光照处理；

步骤3：将光照处理后的各图像进行融合，并输出融合图像。

2.根据权利要求1所述的方法，其特征在于：所述步骤2中人脸图像进行光照处理时，利用单尺度Retinex方法进行光照处理，并采用水平边缘滤波核，突出人脸图像的水平边缘。

3.根据权利要求2所述的方法，其特征在于：所述水平边缘滤波核为：

$F^{\′}(x,y)=K\·e^{-x^2/2{\mathrm{\σ}}^2}\·e^{-{\left|y\right|}^{\mathrm{\μ}}/{2\mathrm{\σ}}^2}$

其中，x，y为当前点的坐标，μ为既定参数，σ为高斯标准差，为归一化因子，i、j为整张图像中各点的坐标。

4.根据权利要求3所述的方法，其特征在于：所述既定参数为0至2之间的浮点数。

5.根据权利要求1所述的方法，其特征在于：所述步骤3中各图像进行融合时，按光照处理时采用的各光照处理方法权重系数进行融合。

6.根据权利要求5所述的方法，其特征在于：所述各图像进行融合前单位化。

Images