CN102279925B

CN102279925B - 链式处理人脸识别方法及系统

Info

Publication number: CN102279925B
Application number: CN 201110246431
Authority: CN
Inventors: 任东; 付元元; 董方敏; 蒋庭耀; 陈晓辉; 于海洋; 刘艳梅
Original assignee: China Three Gorges University CTGU
Current assignee: China Three Gorges University CTGU
Priority date: 2011-08-25
Filing date: 2011-08-25
Publication date: 2013-09-11
Anticipated expiration: 2031-08-25
Also published as: CN102279925A

Abstract

本发明公开了一种链式处理人脸识别方法及系统，涉及模式识别和计算机视觉技术领域，本发明在链式处理中根据待识别人脸图像的光照质量指数进行判断，避免光照较均匀的人脸图像由于进行光照预处理而误识别；对于需要进行光照预处理的人脸图像，采用光照正则化方法与梯度方向进行结合处理，这种结合有效削弱了光照变化对人脸识别的影响，整个链式处理提高了人脸识别的准确率及鲁棒性。

Description

链式处理人脸识别方法及系统

技术领域

本发明涉及模式识别和计算机视觉技术领域，特别涉及一种链式处理人脸识别方法及系统。

背景技术

经过四十多年的研究，人脸识别技术已经取得了重大进展，目前较好的人脸识别系统在用户比较配合、注册和识别环境条件比较一致的情况下已经能获得令人满意的结果，但在大规模人脸数据库、摄像环境不可控、用户不配合的情况下，这些人脸识别系统的性能急剧下降。因此，现有的人脸识别系统尚未成熟，仍面临诸多挑战，如光照变化、摄像设备差异、用户人脸姿态变化、表情变化、饰物遮挡及化妆等。只有较好的解决这些难题，才能开发出更鲁棒、符合实际应用的人脸识别系统，使人脸识别技术真正走向更大范围的实际应用。

本发明主要针对于人脸识别中的光照问题。为了削弱光照变化对人脸识别的影响，目前所提出的方法大致可分为三类即：光照变化建模、提取光照不敏感特征和光照预处理或正则化。

光照变化建模从人脸成像模型出发，对光照变化进行建模，为解决人脸光照问题提供了新思路，但这类方法需要基于一些假设、先验知识和较多的人脸样本图像，计算复杂度较高，对于实际应用系统显得较为苛刻，限制了这类方法从理论走向实际的应用。

提取光照不敏感特征的方法，其基本思想是直接在人脸图像上提取对光照不敏感的特征，用于分类识别。由于其对光照不敏感的相对性，仅仅依靠这类方法，并不能很好的解决光照问题。

光照预处理或正则化的方法，其基本思想是在进行人脸特征提取前，通过预处理的方式，削弱或消除光照的影响，以使训练样本人脸与待识别人脸均在不受光照影响的条件下，进行特征提取、匹配或分类识别。这类方法总体上操作简单，耗时较少，但无法满足人脸识别准确率的要求。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：在光照变化下，如何提高人脸识别的准确率及鲁棒性。

(二)技术方案

为解决上述技术问题，本发明提供了一种链式处理人脸识别方法，其特征在于，包括以下步骤：

S1：获取待识别人脸图像；

S2：根据参照人脸图像计算所述待识别人脸图像的光照质量指数，所述参照人脸图像为一副光照均匀的人脸图像；

S3：将所述光照质量指数与设定阈值比较，若所述光照质量指数大于或等于所述设定阈值，则执行步骤S4，否则执行步骤S5；

S4：计算所述待识别人脸图像和注册人脸图像之间的正则化相关值，以所述正则化相关值作为相似度度量，执行步骤S6；

S5：通过光照正则化方法对所述待识别人脸图像和所述注册人脸图像分别进行预处理，再分别对预处理后的待识别人脸图像和注册人脸图像提取梯度方向特征，计算所述预处理后的待识别人脸图像和注册人脸图像的梯度方向特征之间的L1距离，以所述L1距离作为相似度度量，执行步骤S6；

S6：根据最近邻分类法进行识别，以得到识别结果。

优选地，步骤S2之前，还包括步骤：

S21：对参照人脸图像和所述待识别人脸图像分别进行平滑处理。

优选地，步骤S2中，所述光照质量指数通过下式计算：

IQI (I_{p}) = \frac{Σ_{i = 1}^{m} Σ_{j = 1}^{n} H_{p} (i, j) \times H_{s} (i, j)}{| | H_{p} | | \times | | H_{s} | |}

其中，IQI(I_p)为待识别人脸图像I_p的光照质量指数，H_p为对待识别人脸图像I_p经过平滑处理后的图像，H_s为对参照人脸图像I_s经过平滑处理后的图像，H_p(i,j)为H_p在(i,j)处的像素值，H_s(i,j)为H_s在(i,j)处的像素值，||||为L2范数运算。

优选地，步骤S3中，所述设定阈值的取值区间为[0.85,1]。

优选地，步骤S4中，所述正则化相关值通过下式计算：

s (I_{p}, I_{r}) = \frac{< I_{p}, I_{r} >}{| | I_{p} | | \times | | I_{r} | |}

其中，s(I_p,I_r)为正则化相关值，I_p为待识别人脸图像，I_r为注册人脸图像，＜＞为内积运算。

优选地，步骤S5具体包括以下步骤：

S51：通过LogTVL2光照正则化方法对待识别人脸图像和所述注册人脸图像分别进行预处理，以获得统一光照条件下的待识别人脸图像和注册人脸图像；

S52：对所述统一光照条件下的待识别人脸图像和注册人脸图像分别提取梯度方向特征；

S53：计算所述统一光照条件下的待识别人脸图像和注册人脸图像的梯度方向特征之间的L1距离，以所述L1距离作为相似度度量。

优选地，步骤S51中通过下式获得所述统一光照条件下的待识别人脸图像X和注册人脸图像Y，

\{\begin{matrix} X = {\log I}_{p} - {\log L}_{p} \\ Y = {\log I}_{r} - {\log L}_{r} \end{matrix}

其中，

L_{p} = \min_{L_{p}} &Integral; ({| {ΔL}_{p} | + λ | | I_{p} - L_{p} | |}^{2}), L_{r} = \underset{L_{r}}{\min &Integral;} ({| | {ΔL}_{r} | | + λ | | I_{r} - L_{r} | |}^{2})

，上述L_p和L_r的计算公式采用迭代计算，迭代计算的终止条件为前一次迭代的结果与当前迭代结果的差的模小于阈值差，I_p为待识别人脸图像，L_p为待识别人脸图像I_p经过TVL2方法处理后的图像，▽L_p为L_p 的梯度，|▽L_p|为▽L_p的模，I_r为注册人脸图像，L_r为注册人脸图像I_r经过TVL2处理后的图像，▽L_r为L_r的梯度，|▽L_r|为▽L_r的模，λ为常数。

优选地，步骤S52中提取梯度方向特征时，

先将所述统一光照条件下的待识别人脸图像或注册人脸图像分别与高斯函数垂直方向和水平方向的导数进行卷积，获得垂直方向的梯度和水平方向的梯度；

然后通过下式提取所述统一光照条件下的待识别人脸图像或注册人脸图像的梯度方向特征GD(I)，

GD (I) = \arctan (\frac{I_{y}}{I_{x}}),

其中，I_y为垂直方向的梯度，I_x为水平方向的梯度。

最后将梯度方向换算到0度到360度范围内。

本发明还公开了一种链式处理人脸识别系统，包括：

图像获取模块，用于获取待识别人脸图像；

指数计算模块，用于根据参照人脸图像计算所述待识别人脸图像的光照质量指数，所述参照人脸图像为一副光照均匀的人脸图像；

比较判定模块，用于将所述光照质量指数与设定阈值比较，若所述光照质量指数大于或等于所述设定阈值，则执行相关值获取模块，否则执行梯度特征获取模块；

相关值获取模块，用于计算所述待识别人脸图像和注册人脸图像之间的正则化相关值，以所述正则化相关值作为相似度度量，执行识别模块；

梯度特征获取模块，用于通过光照正则化方法对所述待识别人脸图像和所述注册人脸图像分别进行预处理，再分别对预处理后的注册人脸图像和待识别人脸图像提取梯度方向特征，计算所述预处理后的注册人脸图像和待识别人脸图像的梯度方向特征之间的L1距离，以所述L1距离作为相似度度量，执行识别模块；

识别模块，用于根据最近邻分类法进行识别，以得到识别结果。

优选地，还包括：平滑处理模块，用于对参照人脸图像和所述待识别人脸图像分别进行平滑处理。

（三）有益效果

本发明在链式处理中根据待识别人脸图像的光照质量指数进行判断，避免光照较均匀的人脸图像由于进行光照预处理而误识别；对于需要进行光照预处理的人脸图像，采用光照正则化方法与梯度方向进行结合处理，这种结合有效削弱了光照变化对人脸识别的影响，整个链式处理提高了人脸识别的准确率及鲁棒性。

附图说明

图1是按照本发明一种实施方式的链式处理人脸识别方法流程图；

图2是图1所示的链式处理人脸识别方法中光照正则化方法的流程图；

图3是图1所示的链式处理人脸识别方法计算待识别人脸图像的光照质量指数时，所用的参照人脸图像和“Yale B+扩展的Yale B”人脸库中部分人脸图像分别经过高斯平滑处理后的图像；

图4是选用某张参照人脸图像时，“Yale B+扩展的Yale B”人脸库中所有人脸图像光照质量指数分布图；

图5是选用另一张参照人脸图像时，“Yale B+扩展的Yale B”人脸库中所有人脸图像光照质量指数分布图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

参照图1，本实施方式的链式处理人脸识别方法，包括以下步骤：

S1：获取待识别人脸图像；

S6：根据最近邻分类法进行识别，以得到识别结果。

优选地，步骤S2之前，还包括步骤：

S21：对所述参照人脸图像和待识别人脸图像分别进行平滑处理，所述平滑处理可以为频域低通滤波或空间域平滑等方法，本实施方式中采用频域高斯低通滤波。

优选地，步骤S2中，所述光照质量指数通过下式计算：

IQI (I_{p}) = \frac{Σ_{i = 1}^{m} Σ_{j = 1}^{n} H_{p} (i, j) \times H_{s} (i, j)}{| | H_{p} | | \times | | H_{s} | |}

优选地，步骤S3中，所述设定阈值的取值区间为[0.85,1]。

优选地，步骤S4中，所述正则化相关值通过下式计算：

s (I_{p}, I_{r}) = \frac{< I_{p}, I_{r} >}{| | I_{p} | | \times | | I_{r} | |}

优选地，步骤S5具体包括以下步骤：

S51：通过对数域L2范数约束下的总变分模型（LogTVL2）光照正则化方法对待识别人脸图像和所述注册人脸图像分别进行预处理，以获得统一光照条件下的待识别人脸图像和注册人脸图像；

参照图2，优选地，步骤S51中通过下式（即LogTVL2光照正则化方法）获得所述统一光照条件下的待识别人脸图像X和注册人脸图像Y，

\{\begin{matrix} X = {\log I}_{p} - {\log L}_{p} \\ Y = {\log I}_{r} - {\log L}_{r} \end{matrix}

其中，

L_{p} = \min_{L_{p}} &Integral; ({| {ΔL}_{p} | + λ | | I_{p} - L_{p} | |}^{2}), L_{r} = \underset{L_{r}}{\min &Integral;} ({| | {ΔL}_{r} | | + λ | | I_{r} - L_{r} | |}^{2})

，上述L_p和L_r的计算公式采用迭代计算，迭代计算的终止条件为前一次迭代的结果与当前迭代结果的差的模小于阈值差，I_p为待识别人脸图像，L_p为待识别人脸图像I_p经过L2范数约束下的总变分模型（TVL2）处理后的图像，▽L_p为L_p的梯度，|▽L_p|为▽L_p的模，I_r为注册人脸图像，L_r为对注册人脸图像I_r经过TVL2处理后的图像，▽L_r为L_r的梯度，|▽L_r|为▽L_r的模，λ为常数，并且λ也是LogTVL2光照正则化方法中唯一需要设置的参数。

优选地，步骤S52中提取梯度方向特征时，

GD (I) = \arctan (\frac{I_{y}}{I_{x}}),

其中，I_y为垂直方向的梯度，I_x为水平方向的梯度。

最后将梯度方向换算到0度到360度范围内，以便于计算后续所述统一光照条件下的待识别人脸图像或注册人脸图像的梯度方向特征之间的L1距离。

本发明提供了一种链式处理人脸识别系统，包括：

图像获取模块，用于获取待识别人脸图像；

优选地，所述系统还包括：平滑处理模块，用于对参照人脸图像和所述待识别人脸图像分别进行平滑处理。

为了验证本发明的有效性，选用了人脸识别光照问题研究中常用的人脸库“Yale B+扩展的Yale B”人脸库进行实验。“Yale B+扩展的Yale B”人脸数据库由耶鲁大学建立，它包含38个对象，每个对象的人脸图像包含9种姿态，64种光照条件。由于本发明主要关注于人脸识别中的光照问题，仅选用正面人脸图像进行实验。该人脸库根据光照方向将每个对象的64幅人脸图像划分成了5个子集，子集1的光照范围为0～12度，子集2为20～25度，子集3为35～50度，子集4为60～77度，子集5为85～128度，每个子集的人脸图像数分别为7、12、12、14和19，图像像素为100×100。

为了验证人脸图像光照质量指数的计算需要一幅光照近似均匀的人脸图像作为参照图像，为了验证不同的参照图像是否对人脸图像的光照质量指数的性能产生影响，选取了不同的人脸图像作为参照图像，实验中高斯核标准偏差设置为3.5。CMU-PIE人脸库中的68幅定义为光照均匀的人脸图像的平均图像和“Yale B+扩展的Yale B”人脸库中38幅定义为光照均匀的人脸图像的平均图像被选为参照图像，分别命名为CAF64，YAF38。图3给出了计算待识别人脸图像的光照质量指数时，所用的参照人脸图像和“Yale B+扩展的Yale B”人脸库中部分人脸图像分别经过高斯平滑处理后的图像，其中位于奇数行的人脸图像为待识别人脸图像，它们有相似的光照条件，位于偶数行的图像是与之相应的经过高斯平滑处理后的图像，可以看出，具有相似光照条件的人脸图像的经过高斯平滑处理后的图像具有很高的相似度，具有不同光照条件的人脸图像的经过高斯平滑处理后的图像之间的差异非常明显。

图4和图5分别给出了在选用CAF64和YAF38作为参照人脸图像时，“Yale B+扩展的Yale B”人脸库中所有人脸图像光照质量指数分布图，从图4中可以看出该人脸库子集1中98％的人脸图像的光照质量指数大于等于0.95，子集2、子集3中分别有70％、8％的人脸图像的光照质量指数有这样高的值，这说明子集1中的人脸图像的光照情况比子集2中的人脸图像更接近于均匀，子集3中的人脸图像存在明显的光照变化，子集4中几乎85％的人脸图像的光照质量指数为于区间[0.65，0.8]，子集5中82％左右的人脸图像的光照质量指数位于区间[0.45，0.65]，这说明子集4和子集5中的人脸图像的光照变化比较大，这种分布和该人脸库中的人脸图像的光照变化程度是一致的，说明人脸图像光照质量指数对人脸图像的光照变化程度进行定性衡量是有效性的，另外，图4和图5的分布趋势大致一致，由此可以得出参照人脸图像的选择并不影响光照质量指数的分布。

实验中，将“Yale B+扩展的Yale B”人脸库中的自定义的光照正常的人脸图像作为注册人脸库，所有图像作为待识别人脸。实验中分别将光照质量指数与对数域离散余弦变换法(LogDCT)、自商图像(SQI)进行了结合，比较了结合前后的识别效果。同时也将未作任何处理、直方图均衡化、梯度脸方法(gradientface)和链式处理法的识别结果进行了比较。LogDCT方法舍弃的离散余弦变换系数的个数设置为25；SQI的三个高斯窗的大小分别设置为5、9和15；计算人脸图像光照质量指数时，频域高斯低通滤波标准偏差设置为3；人脸图像光照质量指数阈值设定为0.95；LogTVL2光照正则化方法中参数λ设置为0.02；提取梯度方向时，高斯核标准偏差设置为0.8。在识别阶段采用最近邻分类器进行分类。实验结果如表1所示，表中各行数字部分为各种待比较方法分别在“Yale B+扩展的Yale B”人脸库子集1～5上的识别率。

表1 “Yale B+扩展的Yale B”人脸库上的识别率

	子集1	子集2	子集3	子集4	子集5
						未作任何处理	1	0.98	0.479	0.116	0.036
直方图均衡化	1	0.941	0.451	0.1407	0.172
						LogDCT	0.951	1	0.894	0.825	0.766
IQI+LogDCT	0.992	1	0.894	0.825	0.766
						SQI	0.928	1	0.925	0.939	0.927
IQI+SQI	0.989	1	0.925	0.939	0.927
						Gradientface	0.9696	1	0.897	0.873	0.887
链式处理方法	1	1	0.939	0.939	0.938

从表1中可以看出，对比LogDCT、SQI分别与IQI结合前后的识别结果，其中在子集1上的识别率有较大幅度的提高，分别提高了约4％、6％，而其它子集上的识别率不变，这主要是因为子集1中的人脸图像光照变化较小，在与光照质量指数(IQI)进行结合后，该子集中的大部分人脸图像被排除而未作光照预处理。实验结果表明光照质量指数能够有效的排除光照情况较好的人脸图像，避免了对这些图像做预处理产生负面效应而导致误判，本实施方式的链式处理人脸识别方法在各个子集上的识别率均比表中其它方法的识别率高，表明了本实施方式的链式处理人脸识别方法的有效性。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种链式处理人脸识别方法，其特征在于，包括以下步骤：

S1：获取待识别人脸图像；

S6：根据最近邻分类法进行识别，以得到识别结果。

2.如权利要求1所述的链式处理人脸识别方法，其特征在于，步骤S2之前，还包括步骤：

3.如权利要求2所述的链式处理人脸识别方法，其特征在于，步骤S2中，所述光照质量指数通过下式计算：

IQI (I_{p}) = \frac{Σ_{i = 1}^{m} Σ_{j = 1}^{n} H_{p} (i, j) \times H_{s} (i, j)}{| | H_{p} | | \times | | H_{s} | |}

4.如权利要求1所述的链式处理人脸识别方法，其特征在于，步

骤S3中，所述设定阈值的取值区间为[0.85,1]。

5.如权利要求1所述的链式处理人脸识别方法，其特征在于，

步骤S4中，所述正则化相关值通过下式计算：

s (I_{p}, I_{r}) = \frac{< I_{p}, I_{r} >}{| | I_{p} | | \times | | I_{r} | |}

其中，s(I_p,I_r)为正则化相关值，I_p为待识别人脸图像，I_r为注册人脸图像，＜＞为内积运算，||||为L2范数运算。

6.如权利要求2所述的链式处理人脸识别方法，其特征在于，

步骤S5具体包括以下步骤：

7.如权利要求6所述的链式处理人脸识别方法，其特征在于，

步骤S51中通过下式获得所述统一光照条件下的待识别人脸图像X和注册人脸图像Y，

\{\begin{matrix} X = {\log I}_{p} - {\log L}_{p} \\ Y = {\log I}_{r} - {\log L}_{r} \end{matrix}

其中，

L_{p} = \min_{L_{p}} &Integral; ({| {ΔL}_{p} | + λ | | I_{p} - L_{p} | |}^{2}), L_{r} = \underset{L_{r}}{\min &Integral;} ({| | {ΔL}_{r} | | + λ | | I_{r} - L_{r} | |}^{2})

，上述L_p和L_r的计算公式采用迭代计算，迭代计算的终止条件为前一次迭代的结果与当前迭代结果的差的模小于阈值差，I_p为待识别人脸图像，L_p为待识别人脸图像I_p经过TVL2方法处理后的图像，▽L_p为L_p的梯度，|▽L_p|为▽L_p的模，I_r为注册人脸图像，L_r为注册人脸图像I_r经过TVL2处理后的图像，▽L_r为L_r的梯度，|▽L_r|为▽L_r的模，λ为常数，||||为L2范数运算。

8.如权利要求7所述的链式处理人脸识别方法，其特征在于，

步骤S52中提取梯度方向特征时，

GD (I) = \arctan (\frac{I_{y}}{I_{x}}),

其中，I_y为垂直方向的梯度，I_x为水平方向的梯度；

最后将梯度方向换算到0度到360度范围内。

9.一种链式处理人脸识别系统，其特征在于，包括：

图像获取模块，用于获取待识别人脸图像；

比较判定模块，用于将所述光照质量指数与设定阈值比较；

相关值获取模块，用于当所述比较判定模块的比较结果为所述光照质量指数大于或等于所述设定阈值时，计算所述待识别人脸图像和注册人脸图像之间的正则化相关值，以所述正则化相关值作为相似度度量；

梯度特征获取模块，用于当所述比较判定模块的比较结果为所述光照质量指数小于所述设定阈值时，通过光照正则化方法对所述待识别人脸图像和所述注册人脸图像分别进行预处理，再分别对预处理后的注册人脸图像和待识别人脸图像提取梯度方向特征，计算所述预处理后的注册人脸图像和待识别人脸图像的梯度方向特征之间的L1距离，以所述L1距离作为相似度度量；

识别模块，用于根据所述相关值获取模块或所述梯度特征获取模块的计算结果并使用最近邻分类法进行识别，以得到识别结果。

10.如权利要求9所述的链式处理人脸识别系统，其特征在于，还包括：平滑处理模块，用于对参照人脸图像和所述待识别人脸图像分别进行平滑处理。