CN102867176B - 一种人脸图像归一化方法 - Google Patents

Abstract

本发明公开了一种人脸图像归一化方法，包括如下步骤：1）对目标人脸图像进行归一化处理，得到初始人脸灰度图；2）对所述初始人脸灰度图的灰度值进行调整，其中，使较平坦的人脸区域的灰度值相对减小，使较不平坦的人脸区域的灰度值相对增大。本发明提出的根据空间平坦度掩膜自适应的调整韦伯脸的放缩系数，能够利用正常光照条件下的人脸库图像不同空间位置的本征信息，当目标图像中由于光照造成阴影时，阴影部分会具有较小的放缩系数，因而不会产生大的响应，从而有效规避了原始韦伯脸方法不能有效处理阴影边缘的问题；另外本发明提出的多尺度自适应韦伯脸融合方法能够有效利用不同尺度下的互补信息，从而保留更多对人脸识别/认证的有用信息。

Description

一种人脸图像归一化方法

【技术领域】

本发明涉及计算机视觉和图像处理技术领域，具体涉及一种人脸图像归一化方法。

【背景技术】

近年来，人脸识别/认证由于其在公共安全、身份确认、多媒体检索和人机交互等领域的广泛应用，受到了众多科研院所和企业的重视，也进行了大量的相关研究。然而对现有的大多数人脸识别/认证系统来说，外部环境光照的变化依然严重制约着其性能。这主要是因为光照变化造成的同一个体脸部成像差异甚至有可能比不同个体间的差异更大，而在实际应用系统的设计中，由于识别/认证和注册时间、环境的不同，外部光照的变化几乎不可避免。因此，针对光照变化条件下的人脸图像进行归一化处理以消除/减小其对人脸识别/认证系统的影响已经成为当前图像处理、人脸识别相关领域的热点和难点。

为了消除/减小光照变化对人脸识别/认证系统带来的影响，国内外的研究者提出了许多方法，这些方法大致可以分为三类。一类是根据大量的不同光照条件下的人脸样本学习出可变光照下的人脸模型，如专利申请号为200710027817.8所提出的基于二次多项式模型的光照归一化方法，这类方法处理效果好，但是往往计算量大，耗时长，而且对大量训练样本的需求也限制了其实际应用。第二类方法采用传统的图像处理方法对变化光照条件下的人脸图像进行预处理，如直方图均衡化，对数变换等，这类方法由于没有考虑到光照形成模型，仅仅是调整目标图像的灰度分布，因而并不能取得理想的实用效果；第三类方法根据朗伯反射模型抽取光照不敏感量进行光照归一化，这一类方法由于效果好，同时复杂度比第一类方法低，因而获得广泛的关注。其中比较具有代表性的方法有基于LTV模型的方法(T.Chen,X.S.Zhou,D.Comaniciu and T.S.Huang,“Total Variation Models for Variable Lighting Face Recognition,”IEEE Transactionson Pattern Recognition and Machine Intelligence,28(9):1519-1524,2006)和发明人在前期工作中提出的基于韦伯脸的方法(B.Wang,W.F.Li,W.M.Yang and Q.M.Liao,“Illumination Normalization Based on Weber’s Law With Application to Face Recognition,”IEEE Signal Processing Letters,18(8):462-465,2011)。LTV模型在对数域使用全变分模型对人脸图像进行分解，使用其中的小尺度分量近似表征光照不变的反射分量。专利申请号为200810026852.2的发明提出了LTV模型的改进算法，但是这些基于LTV模型的方法计算量大，耗时较长。基于韦伯脸的方法使用一种局部二阶相对梯度作为光照不敏感表达，避免了显式求解反射分量，同时相较LTV模型方法具有更小的计算复杂度和更好的光照归一化结果。但是，基于韦伯脸的方法依然存在如下两个缺点：(1)求取的局部二阶相对梯度在阴影边缘处不具有光照不敏感性；(2)仅仅考虑到单一的尺度，而没有利用多尺度的信息，而近期众多的研究工作表明不同尺度下的信息具有互补特性。

【发明内容】

本发明的目的在于克服现有技术的不足，提供一种实用性强、有广泛应用前景并可明显提高人脸识别/认证率的人脸图像归一化方法。

本发明的方法尤其是针对基于韦伯脸的光照归一化算法进行了两点改进：

(1)利用不同人脸区域的本征特性：在正常光照条件下，鉴别力较强的眉眼、鼻、嘴巴等区域具有较大的梯度变化，鉴别力较小的额头、脸颊等区域具有较小的梯度变化，也即比较平坦；然而在有阴影的情况下，额头、脸颊等部位也会变得不平坦，即具有较大的梯度变化,这些阴影将对当前的许多人脸识别/认证算法带来负面影响。为了解决这一问题，我们提出根据正常光照条件下的多个样本生成平均平坦度掩膜，则该掩膜中较大的数值对应的是人脸中本来较不平坦的区域，较小的数值对应的是人脸中较平坦的区域；由于这一掩膜是利用正常光照条件下的多个人脸图像平均得来，因而具有较强鉴别力的区域(如眉眼、嘴巴等)对应的掩膜数值较大，容易出现阴影的区域(如脸颊)对应的掩膜数值较小，我们进而根据该掩膜生成对应的放缩系数矩阵，对具有较大掩膜系数的区域响应进行增强，对较小掩膜系数的区域响应进行抑制，这一改进可以有效去除/减小阴影边缘的影响；虽然具有较强鉴别力的区域(即较不平坦的人脸区域)也同样会产生阴影，但由于一方面这些区域所占人脸的总区域的大小的比例较小，对该区域的阴影不做抑制处理并不会带来较大的影响，另一方面这些区域主要包含的是对人脸识别/认证有用的鉴别信息，对该区域阴影的抑制处理也会抑制这些鉴别信息；在本发明中通过对占人脸大部分面积的较平坦的人脸区域的阴影进行抑制，可以有效去除/减小阴影边缘的影响。

(2)提出多尺度韦伯脸的计算方法，最终的输出是多个尺度下自适应韦伯脸的加权融合，这一改进可以充分利用不同尺度信息并抽取更多有用的鉴别信息。

一种人脸图像归一化方法，包括如下步骤：

1)对目标人脸图像进行归一化处理，得到初始人脸灰度图；

2)对初始人脸灰度图的灰度值进行调整，其中，使较平坦的人脸区域的灰度值相对减小，使较不平坦的人脸区域的灰度值相对增大。

优选地，在所述步骤2)中，

采用系数对初始人脸灰度图的灰度值进行放缩，采用较小系数使较平坦的人脸区域的灰度值相对减小，采用较大系数使较不平坦的人脸区域的灰度值相对增大。

优选地，通过如下步骤确定人脸区域的平坦的程度：

计算第i张正面光照下的人脸图像中某个像素点(x,y)的平坦度mask_i(x,y)：

${\mathrm{mask}}_i(x,y)=\underset{(\hat{x},\hat{y})\∈W_{(x,y)}^d}{\mathrm{\Σ}}\left(\mathrm{\δ}(\sqrt{h_x^2(\hat{x},\hat{y})+h_y^2(\hat{x},\hat{y})}-\mathrm{thresh})\right);$

计算M张正面光照下的人脸图像的相同位置的某个像素点(x,y)的平均平坦度mask_avg(x,y)：

${\mathrm{mask}}_{\mathrm{avg}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{mask}}_i(x,y);$

其中，表示中心在像素点(x,y)的大小为d×d的方形窗口，像素点是在该方形窗口内的像素点，和分别表示人脸图像中x方向和y方向的梯度幅度，thresh是一个表示像素点(x,y)周围的局部区域是否平坦的阈值；δ()是一个函数，当括号内的值大于等于0时，δ()＝1，当括号内的值小于0时，δ()＝0。

优选地，所述步骤1)包括如下步骤：

1.1)通过高斯滤波对目标人脸图像进行平滑处理，得到高斯滤波图I'(x,y)：

$I^{\′}(x,y)=I(x,y)*\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2});$

1.2)用卷积模板k_n(x,y)对所述高斯滤波图I'(x,y)进行卷积运算，得到局部二阶梯度图I″(x,y)：

I″(x,y)＝I'(x,y)*k_n(x,y)；

其中，卷积模板k_n(x,y)表示对像素点(x,y)采用的尺度为n的卷积模板，n为大于0的整数：

在所述步骤2)中，用放缩系数α(x,y)对初始人脸灰度图中的像素点(x,y)的灰度值进行调整，得到调整后的像素点(x,y)的灰度值

${\hat{I}}_n(x,y)=\arctan (\mathrm{\α}(x,y)\·\frac{I^{\′\′}(x,y)}{(I^{\′}(x,y)+\mathrm{\ϵ})});$

其中，ε是一个大于0的常系数，对于较平坦的人脸区域放缩系数α(x,y)较小，对于较不平坦的人脸区域放缩系数α(x,y)较大。

优选地，放缩系数α(x,y)通过如下步骤得到：

将平均平坦度mask_avg(x,y)归一化至[0,1]区间；

计算放缩系数α(x,y)＝mask_avg(x,y)·(α_max-α_min)+α_min；

其中，α_min和α_max分别是设定的放缩系数的下限值和上限值。

优选地，通过如下算法得到像素点(x,y)的融合灰度值

$\tilde{I}(x,y)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_n{\hat{I}}_n(x,y)$

其中，ω_n表示在尺度n下得到的灰度值的大于0的加权系数。

优选地，对融合灰度值进行归一化至[0,255]区间。

与现有技术相比，本发明具有如下优点：

1、本发明提出的根据空间平坦度掩膜自适应的调整韦伯脸的放缩系数，而不是像传统韦伯脸那样对所有的空间位置使用相同放缩系数，因而能够利用正常光照条件下的人脸库图像不同空间位置的本征信息，当目标图像中由于光照造成阴影时，阴影部分会具有较小的放缩系数，因而不会产生大的响应，从而有效规避了原始韦伯脸方法不能有效处理阴影边缘的问题。

2、本发明提出的多尺度自适应韦伯脸融合方法能够有效利用不同尺度下的互补信息，从而保留更多对人脸识别/认证的有用信息。

3、本发明算法易于实现，计算复杂度低，能满足实际人脸识别/认证应用的要求。

【附图说明】

图1是本发明一种实施例的流程图；

图2是本发明进行尺度n下自适应韦伯脸计算的流程图；

图3是本发明一种实施例的平均平坦度掩膜的灰度图；

图4是本发明在计算自适应韦伯脸时不同尺度n下的卷积模板示意图；

图5为本发明的一种实施例的算法流程示例图；

图6为光照归一化视觉效果比较图，a行为原图；b行为基于LTV模型的光照归一化算法的结果图；c行为基于韦伯脸的光照归一化算法的结果图；d行为本发明的光照归一化结果图。

【具体实施方式】

以下将结合附图，对本发明的具体实施例作进一步详细说明。

Step1:对人脸库中所有的训练人脸灰度图像和目标人脸灰度图像进行对齐裁减处理。即对每张人脸图像，先检测定位该人脸的双眼中心，通过旋转使得每张人脸图像的两只眼睛处于水平位置，再运用双线性插值算法拉伸人脸图像，使得拉伸后图像的左右眼中心位于该人脸图像的固定位置，最后将所有训练人脸图像和目标人脸图像裁减为统一大小。在此，可以将所有图像裁剪为120x120大小。

Step2:计算放缩系数矩阵。分五步进行：

Step2.1:对人脸库中的训练人脸图像中的每一张裁减对齐后的人脸图像g_i(x,y),计算其平坦度掩膜(也即平坦度)：

${\mathrm{mask}}_i(x,y)=\underset{(\hat{x},\hat{y})\∈W_{(x,y)}^d}{\mathrm{\Σ}}\left(\mathrm{\δ}(\sqrt{h_x^2(\hat{x},\hat{y})+h_y^2(\hat{x},\hat{y})}-\mathrm{thresh})\right);---\left(1\right)$

其中，人脸图像g_i(x,y)的下标表示第i张人脸图像，表示中心在某个像素点(x,y)的一个大小为d×d的方形窗口，像素点是在该方形窗口内的像素点，和分别表示x轴方向和y轴方向上的梯度幅度(通常是指水平和垂直方向的梯度幅度)。δ(j)是一个函数，当j≥0时，δ(j)＝1；当j＜0时，δ(j)＝0，thresh是一个阈值，用来表征该像素点(x,y)周围的局部区域是否平坦；平坦度掩膜mask_i(x,y)越大，表征像素点(x,y)周围的局部区域具有较大的梯度变化，即越不平坦；而平坦度掩膜mask_i(x,y)越小则表征该像素点(x,y)周围的局部局域具有较小的梯度变化，也即越平坦。在此，d＝7,thresh＝0.15。

Step2.2:将平坦度掩膜mask_i(x,y)归一化到[0,1]区间，此归一化的步骤可以省略。

Step2.3:对人脸库中的训练人脸图像中的所有裁减对齐后的人脸图像{g_i(x,y)|1≤i≤M},求取其平均平坦度掩膜，其中M是大于1的整数：

${\mathrm{mask}}_{\mathrm{avg}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{mask}}_i(x,y)---\left(2\right)$

Step2.4:将平均平坦度掩膜mask_avg(x,y)(也即平均平坦度)归一化到[0,1]区间。

Step2.5:计算放缩系数矩阵α(x,y)：

α(x,y)＝mask_avg(x,y)·(α_max-α_min)+α_min  (3)

其中α_min和α_max分别是设定的放缩系数矩阵α(x,y)中的取值的下限值和上限值。在此，α_min＝0.5，α_max＝4。

Step3:对于裁减对齐后的目标人脸图像I(x,y)，计算不同尺度n(1≤n≤N)下的自适应韦伯脸，N是大于1的正整数，在此，N＝3。分三步进行：

Step3.1:对目标人脸图像I(x,y)进行高斯滤波，以对目标人脸图像I(x,y)进行平滑处理，得到高斯滤波图I'(x,y)：

$I^{\′}(x,y)=I(x,y)*\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2});---\left(4\right)$

其中σ是高斯函数的标准差，在此，σ＝1.5。

Step3.2:对高斯滤波图I'(x,y)进行模板卷积求取其在尺度n下的局部二阶梯度图I″(x,y)：

I″(x,y)＝I'(x,y)*k_n(x,y)

其中k_n(x,y)是尺度n下的卷积模板，对应的模板大小为(2n+1)×(2n+1),其定义如下：

Step3.3:根据Step2.5得到的放缩系数矩阵α(x,y),Step3.1得到的高斯滤波图像I'(x,y)，以及Step3.2得到的尺度n下的局部二阶梯度图I″(x,y)，计算该尺度下的自适应韦伯脸(即得到像素点(x,y)对应的灰度值

${\hat{I}}_n(x,y)=\arctan (\mathrm{\α}(x,y)\·\frac{I^{\′\′}(x,y)}{(I^{\′}(x,y)+\mathrm{\ϵ})});---\left(6\right)$

其中ε为一个小的常数，用以防止上述式子出现分母为0的情况。

Step4:光照归一化人脸图像输出，分两步进行：

Step4.1:根据Step3中得到的不同尺度下的自适应韦伯脸通过加权融合得到：

$\tilde{I}(x,y)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_n{\hat{I}}_n(x,y)---\left(7\right)$

其中ω_n在尺度n下得到的灰度值的大于0的加权系数。在此，ω₁＝ω₂＝ω₃＝1。

Step4.2:将灰度值归一化到[0,255]区间。

由于人脸图像具有较强的结构性和相似性，因而本发明中有关系数的取值虽然是实验取得，但仍具有较强的适应性。另外，在上述步骤中，为了说明方便，对相关的系数给出了具体的取值，实际上，本发明方法在一定的取值范围内都具有良好的归一化效果，下面给出推荐的取值范围:式(1)中d＝{5,7,9,11},thresh∈[0.1,0.25],式(3)中α_min∈[0.2,0.7],α_max∈[3,5],式(4)中σ∈[1,2]。

本发明通过人脸识别实验对光照归一化效果进行说明：实验在扩展的Yale B人脸数据库上进行。识别方法采用模板匹配和最近邻分类器，人脸图像的相似性度量选用欧式距离。扩展的Yale B人脸库共计38人，每个人有不同光照条件下的65张正面照片，所有图像根据光照的变化程度被分为5个子集。使用中对每个人仅选取1张正面光照条件下的图片作为模板，用子集1～5的图像作为测试样本。用各种光照归一化方法处理后的图像进行人脸识别对应的识别率如表1所示，其中LTV为基于LTV模型的光照归一化方法，Weberface就是基于韦伯脸的人脸光照归一化方法。

表1.各种不同方法在扩展的Yale B人脸库上的识别率(％)比较

从图6及表1我们可以看到，本发明方法无论在视觉效果还是识别率上都要比LTV模型及传统的韦伯脸方法具有更好的效果。尤其值得注意的是，子集3和子集4中阴影现象比较明显，同时欧式距离对阴影比较敏感，因而会出现在这两个子集上识别率低于子集5的情况。但是，我们可以看到，本发明方法确实能够有效提升变化光照条件下的人脸识别性能，因而具有广泛的应用前景。

Claims (5)

1.一种人脸图像归一化方法，其特征是，包括如下步骤：

1)对目标人脸图像进行归一化处理，得到初始人脸灰度图；

2)对初始人脸灰度图的灰度值进行调整，其中，使在光照下较平坦、且在阴影下较不平坦的人脸区域的灰度值相对减小，使在光照下较不平坦的人脸区域的灰度值相对增大；

通过如下步骤确定人脸区域的平坦的程度：

计算第i张正面光照下的人脸图像中某个像素点(x,y)的平坦度mask_i(x,y)：

${\mathrm{mask}}_i(x,y)=\underset{(\hat{x},\hat{y})\∈W_{(x,y)}^d}{\mathrm{\Σ}}\left(\mathrm{\δ}(\sqrt{h_x^2(\hat{x},\hat{y})+h_y^2(\hat{x},\hat{y})}-\mathrm{thresh})\right);$

计算M张正面光照下的人脸图像的相同位置的某个像素点(x,y)的平均平坦度mask_avg(x,y)：

${\mathrm{mask}}_{\mathrm{avg}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{mask}}_i(x,y);$

其中，表示中心在像素点(x,y)的大小为d×d的方形窗口，像素点是在该方形窗口内的像素点，和分别表示人脸图像中x方向和y方向的梯度幅度，thresh是一个表示像素点(x,y)周围的局部区域是否平坦的阈值；δ()是一个函数，当括号内的值大于等于0时，δ()＝1，当括号内的值小于0时，δ()＝0。

2.如权利要求1所述的人脸图像归一化方法，其特征是，

所述步骤1)包括如下步骤：

1.1)通过高斯滤波对目标人脸图像I(x,y)进行平滑处理，得到高斯滤波图I'(x,y)：

$I^{\′}(x,y)=I(x,y)*\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{x^2-y^2}{{2\mathrm{\σ}}^2});$

1.2)用卷积模板k_n(x,y)对所述高斯滤波图I'(x,y)进行卷积运算，得到局部二阶梯度图I”(x,y)：

其中，σ是高斯函数的标准差；

I”(x,y)＝I'(x,y)*k_n(x,y)；

其中，卷积模板k_n(x,y)表示对像素点(x,y)采用的尺度为n的卷积模板，n为大于0的整数：

在所述步骤2)中，用放缩系数α(x,y)对初始人脸灰度图中的像素点(x,y)的灰度值进行调整，得到调整后的像素点(x,y)的灰度值

${\hat{I}}_n(x,y)=\arctan (\mathrm{\α}(x,y)\·\frac{I^{\′\′}(x,y)}{(I^{\′}(x,y)+\mathrm{\ϵ})});$

其中，ε是一个大于0的常系数。

3.如权利要求1所述的人脸图像归一化方法，其特征是：放缩系数α(x,y)通过如下步骤得到：

将平均平坦度mask_avg(x,y)归一化至[0,1]区间；

计算放缩系数α(x,y)＝mask_avg(x,y)·(α_max-α_min)+α_min；

其中，α_min和α_max分别是设定的放缩系数的下限值和上限值。

4.如权利要求2所述的人脸图像归一化方法，其特征是：通过如下算法得到像素点(x,y)的融合灰度值

$\tilde{I}(x,y)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_n{\hat{I}}_n(x,y)$

其中，ω_n表示在尺度n下得到的灰度值的大于0的加权系数。

5.如权利要求4所述的人脸图像归一化方法，其特征是：对融合灰度值进行归一化至[0,255]区间。