CN101763503B - 一种姿态鲁棒的人脸识别方法 - Google Patents

Abstract

本发明提供一种姿态鲁棒的人脸识别方法，该方法包括检测输入人脸图像的人脸区域、定位其面部关键特征点并且将人脸区域进行归一化处理；估计输入人脸的姿态，获取输入人脸的姿态类别；提取归一化处理后的人脸区域的特征；根据所提取的人脸区域的特征和基于所述姿态类别耦合的人脸数据利用岭回归模型来获取线性组合系数；将线性组合系数输入分类器，获取人脸识别的结果。通过应用本发明，降低了人脸识别对姿态差异的敏感性，在保持较好识别性能的同时，增强了人脸识别对各种应用场景的适应能力。

Description

一种姿态鲁棒的人脸识别方法

技术领域

本发明涉及人脸识别技术领域，更具体地，本发明涉及一种姿态鲁棒的人脸识别方法。

背景技术

人脸识别技术是一种通过计算机分析人的脸孔来辨别人体生物特征的识别技术，其内容涵盖计算机视觉、模式识别、图形学和认知科学等多个学科。相对于获取其他的人体生物特征，由于人脸图像的获取可以不需要用户的主动配合，并且认知度更强，从而在实际应用中人脸图像获取的容易程度大大地超过其他人体生物特征的获取，使得人脸的识别技术具有十分广泛的应用前景。

人脸图像容易获取的特点在为人脸识别技术带来广阔应用前景的同时也为图像采集之后的精确识别带来困难。在多数的应用场合中，人脸图像都是在非严格控制的条件下采集的，使得在图像中不可避免地存在包含姿态、光照和表情等方面的变化。这些变化增加了人脸识别的难度，较大地限制了人脸识别技术的应用推广。在这些变化中，姿态的变化是目前人脸识别技术中存在的最大瓶颈之一。由于人脸是三维的物体，当姿态角度不同时，会在二维图像上产生复杂的形变，从而导致严重的误配准。这使得目前流行的人脸识别技术对输入图像和注册图像的姿态差异非常敏感。当姿态差异超过一定的程度，人脸识别的准确性会大大降低。

现有技术中为了从根本上解决姿态问题，还使用一种三维人脸识别技术，在三维空间中表征人脸，但是大多数应用情况下所采集的都是二维人脸图像，该方法的应用范围受限。而且，三维人脸采集设备价格非常昂贵，还需要用户的配合，这些因素使得三维人脸识别技术的应用受到极大的限制。

发明内容

为了克服现有的人脸识别技术对姿态差异敏感所导致的识别性能下降的缺陷，本发明提供一种姿态鲁棒的人脸识别方法。

根据本发明的一个方面，提出了一种姿态鲁棒的人脸识别方法，包括：

步骤10)、检测输入人脸图像的人脸区域、定位其面部关键特征点并且将所述人脸区域进行归一化处理；

步骤20)、估计所述输入人脸的姿态，获取所述输入人脸的姿态类别；

步骤30)、提取所述归一化处理后的人脸区域的特征；

步骤40)、根据所提取的人脸区域的特征和基于所述姿态类别耦合的人脸数据利用岭回归模型来获取线性组合系数；

步骤50)、将所述线性组合系数输入分类器，获取人脸识别的结果。

其中，步骤40)进一步包括：

步骤410)、根据所述姿态类别选择对应的耦合人脸数据；

步骤420)、在所述每一姿态类别中，用所述耦合的人脸数据中的线性组合来表征输入人脸图像的特征向量；

步骤430)、根据下述岭回归模型来获取所述线性组合系数：

${\widehat{\mathrm{\β}}}_x={({\mathrm{XX}}^T+\mathrm{\λI})}^{-1}{X}^T{x}_{\mathrm{input}}$

${\widehat{\mathrm{\β}}}_y={({\mathrm{YY}}^T+\mathrm{\λI})}^{-1}{Y}^T{y}_{\mathrm{input}};$

其中，λ为正则化常数，I为单位对角矩阵，X和Y是不同姿态类别的所述人脸区域的特征，T为转秩运算符，x_input和Y_input分别是对应姿态类别的输入人脸图像的特征向量。

由此，通过应用本发明的基于岭回归的姿态鲁棒的人脸识别方法，较大程度地降低了人脸识别系统对姿态差异的敏感性，在保持较好识别性能的同时，增强了人脸识别对各种应用场景的适应能力。另外，本发明所提出的基于岭回归的姿态鲁棒人脸识别方法是基于二维图像的，对采集设备和处理器的计算性能的要求均比较低，进一步降低了设备成本和功率消耗。

附图说明

图1是示出根据本发明实施例的一种姿态鲁棒的人脸识别方法的流程图；

图2是面部特征点检测和人脸图像归一化效果示意图；

图3是面部局部Gabor幅值特征提取的效果示意图；

图4是耦合的多姿态人脸图像的效果示意图；和

图5是本发明的姿态鲁棒的人脸识别方法和“特征脸”方法的识别效果比较图。

具体实施方式

下面结合附图和具体实施例对本发明提供的一种姿态鲁棒的人脸识别方法进行详细描述。

图1示出根据本发明的实施例的一种基于岭回归的姿态鲁棒的人脸识别方法的流程。如图1所示，该方法包括：检测输入人脸图像的人脸区域、定位其面部特征点并且将人脸区域进行归一化处理(步骤10)；估计输入人脸的姿态，获取输入人脸的姿态角度或者姿态类别(步骤20)；提取归一化处理后的人脸区域的特征(步骤30)；根据所提取的人脸区域的特征和基于所获取的姿态角度或者姿态类别耦合的人脸数据利用岭回归模型来获取线性组合系数(步骤40)；将所述线性组合系数输入分类器，获取人脸识别的结果(步骤50)。

继续参考图1，更详细地描述根据本发明的实施例的一种基于岭回归的姿态鲁棒的人脸识别方法。步骤10中，首先对输入人脸图像进行预处理，检测输入人脸图像的人脸区域，定位输入人脸的面部关键特征点并且将人脸区域进行归一化处理。在一个实施例中，首先在原始输入图像中检测出人脸的位置，提取出一个粗略的人脸区域，其中，面部关键特征点包括两眼的眼睛中心、鼻尖点、嘴角点和眼角点等，这一步骤可以采用基于AdaBoost方法(PaulViola and Michael J.Jones.Robust Real-Time Face Detection.International Journalof Computer Vision，vol.57(2)，page 137-154，2004)得到的人脸检测器来实现。

通过输入人脸图像的检测，得到一个包含人脸的图像区域。这样的图像区域中的人脸位置、尺度和平面内的角度都不一样，无法直接用来进行识别。其中，此处人脸位置的概念是指当原始图像是大图，人脸图像的检测在大图中得到一个有人脸的小图时，人脸是偏左一些还是偏右一些这样的信息；而尺度是指人脸在图像中的大小，例如同一个人在照片A中人脸是100x100像素大小，而在照片B中是10x10大小。正是因为这种不一样，需要对人脸区域进行归一化处理，将人脸区域归一化为位置、尺度和平面角度等都一致的矩形图像区域。目前人脸图像的归一化通常基于多个面部关键特征点的位置来实现，因此需要首先进行面部关键特征点的检测。面部关键特征点的检测可以通过主动轮廓模型、主动表观模型或者类似人脸检测的AdaBoost等方法来实现。本实施例中采用速度较快的AdaBoost方法来检测多个具有明显结构特征的面部关键特征点，例如眼睛中心点、眼角点和嘴角点。在得到面部关键特征点的位置后，根据某种规则将人脸图像区域归一化成一致的位置、尺度和平面内角度的矩形区域。该特定规则包括归一化两眼间距、归一化嘴眼间距或基于三角剖分的图像变形等方法。此处以归一化嘴眼间距为例来说明人脸区域归一化的过程。在一个实施例中，人脸区域的平面内的旋转角度通过两眼中心点的直线归一化；通过两个眼睛的中心位置得到大约位于眉心下方的两眼中间点，利用该两眼中间点归一化人脸区域的位置；计算该两眼中间点和嘴中心点的距离，通过归一化这个距离实现人脸区域的尺度归一化。提取的面部关键特征点和归一化后的不同姿态的人脸区域的一个实例效果如图2所示，在本实施例中，通过两个嘴角点的位置来估算嘴中心的位置。

估计输入人脸的姿态，获取姿态角度或者姿态类别(步骤20)。对于姿态角度或者姿态类别，在以下步骤中可以同样地进行处理，例如，姿态角度是65度，可以将其划分到60-80度的姿态类别中。注册人脸和输入人脸的姿态差异是导致人脸识别的性能下降的主要影响因素之一。输入人脸的姿态估计通常有两种方式：在第一种方式中，通过用三维人脸模型去拟合输入人脸图像，获取输入人脸的姿态角度值；在第二种方式中，将人脸的姿态划分成多个类别，将输入人脸的姿态估计转化为一个分类问题，获取姿态类别的属性。以下以基于线性判别分析的人脸姿态类别估计方法为例来说明姿态估计的过程，其中，将人脸姿态划分成多个不同类别，赋予训练集合中的人脸图像相应的类别标签；然后，提取人脸图像的关键特征点，基于上述关键特征点和类别标签通过线性判别分析训练得到一组线性投影基向量；对于一幅输入人脸图像的特征向量，用这样的投影基向量将其投影到一个低维的线性子空间中，在这个子空间中用最近邻分类器判断其姿态类别属性。

提取归一化处理后的人脸区域的特征(步骤30)。这里所指的人脸区域的特征是指局部人脸特征、全局人脸特征或二者的分组或组合，人脸局部特征是指在面部关键特征点为中心的局部图像区域上提取的特征。特征的类型可以是纹理特征、变换特征、直方图特征或上述特征的组合。在本实施例中，以分组的人脸局部Gabor小波的特征(即变换特征和局部特征的分组)提取为例，说明人脸特征提取的过程。如图3所示，左侧特征点对应局部区域，右侧是在这个区域上40个Gabor滤波器的滤波幅值图像，把这40个图像向量化。由于存在步骤10获取的多个面部关键特征点，为降低计算量将每个面部关键特征点对应的局部特征分为一组。通过Gabor变换来实现Gabor小波的特征提取。Gabor变换是将Gabor小波和输入图像做卷积运算。Gabor小波可由公式(1)表示：

其中，a，b表示空域中像素的位置，

是径向中心频率，θ是Gabor小波的方向，σ是高斯(Gaussian)函数沿着x轴和y轴的标准差。f(a，b)表示人脸图像的灰度分布，通过对图像做灰度化处理得到。图像f(a，b)和Gabor小波Ψ(a，b，

θ)的卷积公式为：

这里*表示卷积运算。在Gabor变换过程中，径向中心频率

Gabor小波的方向θ可以有不同的值，也就可以得到不同方向和不同尺度的Gabor小波变换特征。在一个具体应用中，径向中心频率

的取值范围为{0，1，2，3，4}，方向θ的取值范围为{0，1，2，3，4，5，6，7}，由此可得到40个不同的Gabor小波变换特征。图3进一步示出面部局部Gabor小波幅值特征提取效果示意图。

根据所提取的人脸区域的特征和基于所获取的姿态角度或者姿态类别耦合的人脸数据利用岭回归模型来获取线性组合系数(步骤40)。如上文所述，姿态差异会导致人脸在二维图像上产生复杂的几何形变，使得直接比对不同姿态的人脸图像变得很困难。如果将人脸的姿态角度划分成多个不同的类别，就可以转化为如何识别来自不同姿态类别的人脸。在本发明的实施例中，针对不同的姿态类别的差异情况，用耦合的人脸数据来表征不同姿态类别的人脸，得到和姿态无关的人脸表示。用这样的人脸表示来间接识别人脸可以较大程度地降低姿态差异对识别系统的影响。

图4示出耦合的多姿态人脸图像的效果，如图4所示，耦合的人脸数据根据来自不同姿态类别但属于同一人的人脸图像对应耦合而成。为获取这种人脸表示，根据步骤20所获取的姿态角度或者姿态类别选择对应的耦合人脸数据，例如，注册人脸属于正面类别，输入人脸属于偏左60-80度的类别，假设数据库中有100个人，那么对应耦合的人脸数据就是这100个人的正面图像和偏左60-80度的图像，总共200张图像。在每一个单一的姿态类别中，一幅输入人脸图像的特征向量可以用耦合的人脸数据中的线性组合来表征。由于耦合人脸数据是由相同的人的人脸构成的，对于来自同一个人的人脸图像，在不同姿态类别下其线性组合系数可以认为是相似的。所以，这样的线性组合系数就是一种对姿态鲁棒的人脸表示。其具体求解过程如下：

假设训练集合中来自n个人的两个不同姿态类别的耦合的人脸特征为(X，Y)(例如步骤30获取的Gabor小波变换特征)。其中X＝{x₁，x₂，...，x_n}，Y＝{y₁，y₂，...，y_n}，x_i和y_i分别是第i个人的属于姿态1和姿态2的特征向量，i∈{1，2，...，n}。假设来自姿态1下的某个输入人脸的特征向量为x_input，可以通过训练集合X中的特征向量的线性组合来表征；来自姿态2下的某个输入人脸的特征向量为y_input，可以通过训练集合Y中的特征向量的线性组合来表征，那么可以得到：

${\hat{x}}_{\mathrm{input}}=X{\mathrm{\β}}_x$ ${\hat{y}}_{\mathrm{input}}=Y{\mathrm{\β}}_y---\left(3\right)$

其中β_x和β_y分别为对应的线性组合系数。由于X和Y是用来自相同身份的人的人脸图像耦合而成的，那么如果x_input和y_input来自同一个人的话那么β_x和β_y应该很相似。基于这种相似性，本发明中通过比对β_x和β_y来实现对不同姿态类别的特征向量的间接比对。通常线性组合系数β_x和β_y可以通过线性回归来获取。然而这种方式的获取的线性组合系数由于复共线性等问题非常不稳定，并不是很好的与姿态无关的身份表示。

在本发明的实施例中，用岭回归模型来获取线性组合系数β_x和β_y，解决线性回归系数的不稳定问题。岭回归是一种具有收缩特性的求解线性组合系数的方法，可以有效控制线性组合系数的方差。用岭回归模型估计线性组合系数的具体方法为：

${\widehat{\mathrm{\β}}}_x={({\mathrm{XX}}^T+\mathrm{\λI})}^{-1}{X}^T{x}_{\mathrm{input}}$

${\widehat{\mathrm{\β}}}_y={({\mathrm{YY}}^T+\mathrm{\λI})}^{-1}{Y}^T{y}_{\mathrm{input}}---\left(4\right)$

其中λ为一个正则化的常数，I为单位对角矩阵。T表示转秩运算符，(-1是逆矩阵运算符。如果在步骤30)中对特征进行过分组，则对每一组特征求解线性组合系数。

将所述线性组合系数输入分类器，得到人脸识别的结果(步骤50)。而分类器可以是单一的分类器，也可以是多个分类器的组合。如本领域内公知的，分类器的融合采用投票法、最大规则法、最小规则法或线性组合法来实现。由于在步骤30中采用了分组的特征，对每一组特征可以设计一个独立的分类器，在本实施例中，对应于5个面部关键特征点，将特征分为5组，每一组对应一个分类器。将多个分类器的输出结果进行融合得到最终的识别结果。

本实施例中以基于加法原则的贝叶斯后验概率法为例，来说明多分类器融合的过程。在步骤40中，对于每一组特征，输入人脸和注册人脸对应的特征向量可以表征为线性组合系数，这里用β_x和β_y分别表示它们。β_x和β_y之间的相似性可以通过欧式距离马氏距离相关系数等方式度量。本实施例中选择相关系数(correlation)来度量β_x和β_y的相似性。

$\mathrm{correlation}=\frac{{\mathrm{\β}}_x\·{\mathrm{\β}}_y}{\left|\right|{\mathrm{\β}}_x\left|\right|\left|\right|{\mathrm{\β}}_y\left|\right|}---\left(5\right)$

其中，·表示点积，‖β‖表示取β的模，相关系数越大，则表明相似度越高。

假设检测k组特征，每一组特征对应一个分类器，共计k个分类器，可以得到k个相似性值。假设某个分类器输出的相似性值为s_i，如果s_i服从高斯分布，则s_i对应的属于同一个人的概率和不同人的概率可通过公式(6)来表示。

$P\left(s_i\right|\mathrm{same})=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_i^{\mathrm{same}}}\exp [-\frac{1}{2}{\left(\frac{s_i-{\mathrm{\μ}}_i^{\mathrm{same}}}{{\mathrm{\σ}}_i^{\mathrm{same}}}\right)}^2]---\left(6\right)$

$P\left(s_i\right|\mathrm{dif})=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_i^{\mathrm{dif}}}\exp [-\frac{1}{2}{\left(\frac{s_i-{\mathrm{\μ}}_i^{\mathrm{dif}}}{{\mathrm{\σ}}_i^{\mathrm{dif}}}\right)}^2]$

其中，μ_i ^same和μ_i ^dif、σ_i ^same和σ_i ^dif分别表示属于同一人和不同人的高斯分布的均值和标准差。P(s_i|same)和P(s_i|dif)分别代表s_i属于同一人和不同人的条件概率密度。而s_i属于同一人的后验概率可以用公式(7)来表示。

$P\left(\mathrm{same}\right|s_i)=\frac{P\left(s_i\right|\mathrm{same})P\left(\mathrm{same}\right)}{P\left(s_i\right|\mathrm{same})P\left(\mathrm{same}\right)+P\left(s_i\right|\mathrm{dif})P\left(\mathrm{dif}\right)}---\left(7\right)$

其中，P(same)和P(dif)表示s_i属于同一人和不同人的先验概率，一般情况下可以假设二者相等。而P(same|s_i)表示s_i属于同一人的后验概率。对k个分类器，最终的总体相似度可以通过采取加法原则将不同的s_i对应的后验概率累加起来得到。

$S_{\mathrm{total}}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}P\left(\mathrm{same}\right|s_i)---\left(8\right)$

S_total表示融合多个分类器结果后最终的总体相似度，依据最近邻分类器，输入人脸的身份将会被识别为与其S_total值最大的那一个人。

相对于目前流行的人脸识别方法，本发明所提出的基于岭回归的姿态鲁棒人脸识别方法具有良好的姿态鲁棒性。图5为本发明的姿态鲁棒的人脸识别方法和“特征脸”方法在FERET人脸数据库的多姿态测试集上的性能比较的识别效果比较图。在图5中，深色柱体代表本发明的基于岭回归的姿态鲁棒人脸识别方法，浅色柱体代表“特征脸”方法，FERET数据库的多姿态测试集合包含了9个不同的姿态类别。设定注册人脸图像的姿态为正面，其余的8个姿态类别作为输入的测试图像。实验中选用了如图2所示的5个面部关键特征点。如图5所示，可以看到本发明所提出的方法相较作为基准测试的“特征脸”方法性能有非常明显的提升。这一实验结果正面本发明所提出的基于岭回归的姿态鲁棒人脸识别方法对姿态差异具有良好的鲁棒性。

综上所述，虽然姿态变化导致的复杂形变使得使用直接的二维图像进行比对变得非常不可靠，但通过对耦合的多姿态人脸图像进行统计学习可以实现间接的比对，可以在避免三维人脸识别的各种缺点的同时提高人脸识别技术对姿态变化的鲁棒性。本发明所提出的一种基于二维图像的对姿态变化鲁棒的人脸识别方法的核心是基于岭回归统计模型在耦合的多姿态人脸图像上训练而得到的分类器，这种分类器可实现不同姿态人脸图像的间接身份比对，从而降低了自动人脸识别系统对姿态差异的敏感性。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (10)

1.一种姿态鲁棒的人脸识别方法，包括：

步骤10)、检测输入人脸图像的人脸区域、定位其面部关键特征点并且将所述人脸区域进行归一化处理；

步骤20)、估计所述输入人脸的姿态，获取所述输入人脸的姿态类别；

步骤30)、提取所述归一化处理后的人脸区域的特征；

步骤40)、根据所述姿态类别选择对应的耦合训练集合，对于所述姿态类别，用所述耦合训练集合中人脸特征的线性组合来表征输入人脸图像的特征，基于所述耦合训练集合和所述输入人脸图像的特征，根据岭回归模型来获取所述线性组合系数；

步骤50)、将所述线性组合系数输入分类器，获取人脸识别的结果。

2.权利要求1的方法，其中，基于所述耦合训练集合和所述输入人脸的特征，根据岭回归模型来获取所述线性组合系数进一步包括如下应用所述岭回归模型来获取所述线性组合系统：

其中，λ为正则化常数，I为单位对角矩阵，X和Y是耦合训练集合中不同姿态类别的所述人脸区域的特征，T为转秩运算符，x_input和y_input分别是对应姿态类别的输入人脸图像的特征向量。

3.权利要求1的方法，其中，步骤10)进一步包括：

步骤110)、检测原始输入图像中的人脸的位置，提取出粗略的人脸区域；

步骤120)、定位面部关键特征点；

步骤130)、将人脸区域归一化为位置、尺度和平面角度一致的矩形图像区域。 

4.权利要求3的方法，其中所述面部关键特征点包括：两眼的眼睛中心、鼻尖点、嘴角点和眼角点。

5.权利要求4的方法，其中，所述归一化是基于归一化两眼间距、归一化嘴眼间距或基于三角剖分的图像变形的规则。

6.权利要求1的方法，其中，步骤20)还包括：通过获取输入人脸的姿态角度来确定姿态类别，其中使用三维人脸模型拟合输入人脸的图像，获取输入人脸的姿态角度值。

7.权利要求1的方法，其中，步骤20)进一步包括：

步骤210)、将人脸姿态划分成多个不同类别，赋予训练集合中的人脸图像相应的类别标签；

步骤220)、提取人脸图像的关键特征点，根据所述关键特征点和所述类别标签通过线性判别分析训练得到一组线性投影基向量；

步骤230)、对于输入人脸图像的特征向量，使用所述投影基向量投影到低维的线性子空间中，在所述子空间中用最近邻分类器判断姿态类别的属性。

8.权利要求1的方法，其中，步骤30)中，所述人脸区域的特征包括人脸局部特征、人脸全局特征或二者的分组或组合，所述人脸局部特征是指在所述面部关键特征点为中心的局部图像区域上提取的特征；其中所述 特征是纹理特征、变换特征、直方图特征或上述特征的组合。

9.权利要求1的方法，其中，步骤50)中，所述分类器是单一的分类器，或者是多个分类器的组合。

10.权利要求1的方法，其中，步骤50)还包括：通过投票法、最大规则法、最小规则法或线性组合法来实现分类器的融合，将多个分类器的输出结果进行融合来获取最终的识别结果。 

Images