CN103218609B - 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 - Google Patents

Abstract

本发明公开了一种基于隐最小二乘回归的自适应多姿态人脸识别方法。该方法包含一种基于隐最小二乘回归的多姿态人脸识别方法，其包括：检测输入的人脸图像的区域大小及位置；对检测到的人脸图像进行校正，得到校正后的人脸图像；从校正后的人脸图像中提取人脸面部的特征值；根据所提取的人脸面部的特征值估计校正后的人脸图像的姿态类别；根据所述姿态类别选择与其对应的变换矩阵以及偏移向量，并根据所述变换矩阵、偏移向量和提取的特征值计算得到该人脸图像的身份特征向量；从已知人脸图像检索库中搜索与所输入的人脸图像的身份特征向量相似度最高的已知人脸图像，并返回该已知人脸图像的身份信息作为识别结果。

Description

一种基于隐最小二乘回归的多姿态人脸识别方法及其装置

技术领域

本发明属于基于计算机的模式识别技术领域，具体地是指一种基于隐最小二乘回归的自适应多姿态人脸识别方法及其装置。

背景技术

人脸识别技术是试图赋予计算机类人的视觉感知功能，即根据面孔来辨别人物的身份。人脸识别研究始于二十世纪六十年代中后期，近五十年来得到了长足的发展，尤其近十年来，更成为一个热门的研究课题。人脸识别之所以得到重视，是因为其有重要的学术研究意义和巨大的潜在应用前景。人脸识别作为一个典型的图像模式分析、理解与分类计算问题，它为模式识别、图像处理、分析与理解、计算机视觉、人工智能、人机交互、计算机图形学、认知科学、神经计算等多门学科提供了一个良好的具体问题。另一方面，随着信息技术的不断发展以及交通网络的日益发达，人们的社会生活空间不断扩大。如何使得整个庞大的社会网络有条不紊、稳定安全地运转是各级政府和企事业部门面临的一个日益重要的问题。其中一个最关键的问题就是如何快速准确的进行身份的识别。由于每个人的生物特征具有与其他人不同的唯一性和在一定时期内不变的稳定性，不易伪造和假冒，所以利用生物识别技术进行身份认证，安全、可靠、准确。人脸识别是生物特征识别技术的重要组成部分，并且有着其他生物特征识别技术(如指纹识别、虹膜识别)所无法比拟的优势，对被识别者不具侵犯性，更加直接、友好，使用者无任何心理障碍。尤其值得注意的是，人脸识别技术对被识别者可以进行隐蔽操作，在视频监控领域有着重要的应用价值。

人脸识别技术经过多年的研究，已经有了一批比较成熟的理论和有效的算法。但是目前即使是世界上最成熟的人脸识别系统，也只能在采集条件比较理想、用户比较配合的条件下，才可以基本达到适用的程度。在非理想条件下，人脸图像的表观受到姿态、表情、遮挡、光照等因素的影响而产生较大的变化。尽管人类能够轻易地识别出复杂背景中人脸，但是对计算机而言却是一个相当大的挑战，它的识别率还远未达到理想的适用水平。影响人脸识别正确率的一个瓶颈问题就是姿态问题。人脸本质上是一个三维空间中的物体，当姿态发生变化的时候，通过成像设备得到的二维人脸图像不能完整的反映三维空间中物体的信息，甚至二维人脸图像的表观由于姿态变化所带来的差异要比在相同姿态下人的身份不同所带来的差异要大。人脸三维重构是从解决姿态问题的一个自然且有效的方式。利用三维图像采集设备来获取人脸的三维结构，是一种最直接的方法，但是其设备成本高，而且需要用户很好的配合，因而限制了应用的范围。另一方面在大多数的实际应用中所采集的都是二维图像，从二维图像中精确的重构人脸的三维形状，尤其是从单一的二维图像中重建三维人脸，其计算量大，难度也非常大。而从识别的角度出发，高精度的三维重建所得到的所有信息未必都是识别中有用的。因此，如何直接利用二维图像，而不经过三维重建，来完成多姿态的人脸识别成为一个研究的热点问题。

发明内容

本发明提供了一种基于隐最小二乘的自适应多姿态人脸识别方法。该方法在二维人脸图像上，利用统计机器学习的方法，将处于不同姿态下的人脸图像特征变换到一个与姿态无关的身份空间中，从而去除姿态因素的影响，并在身份空间中，完成人脸识别。

本发明公开的上述基于隐最小二乘回归的多姿态人脸识别方法，其包括：

步骤1、检测输入的人脸图像的区域大小及位置；

步骤2、对检测到的人脸图像进行校正，得到校正后的人脸图像；

步骤3、从校正后的人脸图像中提取人脸面部的特征值；

步骤4、根据所提取的人脸面部的特征值估计校正后的人脸图像的姿态类别；

步骤5、根据所述姿态类别选择与其对应的变换矩阵以及偏移向量，并根据所述变换矩阵、偏移向量和提取的特征值计算得到该人脸图像的身份特征向量；

步骤6、从已知人脸图像检索库中搜索与所输入的人脸图像的身份特征向量相似度最高的已知人脸图像，并返回该已知人脸图像的身份信息作为识别结果；

其中，所述变换矩阵与偏移向量用于将所述人脸图像变换到与姿态无关的身份空间，所述身份特征向量为人脸图像在与所述身份空间中的唯一身份标识。

本发明还公开了一种基于隐最小二乘回归的多姿态人脸识别装置，其包括：

人脸检测模块，其用于检测输入的人脸图像的区域大小及位置；

人脸校正模块，其用于对检测到的人脸图像进行校正，得到校正后的人脸图像；

特征提取模块，其用于从校正后的人脸图像中提取人脸面部的特征值；

姿态估计模块，其用于根据所提取的人脸面部的特征值估计校正后的人脸图像的姿态类别；

在线识别模块置，其用于根据所述姿态类别选择与其对应的变换矩阵以及偏移向量，并根据所述变换矩阵、偏移向量和提取的特征值计算得到该人脸图像的身份特征向量；其还用于从已知人脸图像检索库中搜索与所输入的人脸图像的身份特征向量相似度最高的已知人脸图像，并返回该已知人脸图像的身份信息作为识别结果；

其中，所述变换矩阵与偏移向量用于将所述人脸图像变换到与姿态无关的身份空间，所述身份特征向量为人脸图像在与所述身份空间中的唯一身份标识。

本发明的有益效果：本发明对于处于不同姿态下的人脸图像，通过与其姿态相应的线性变换，映射到一个与姿态无关的身份特征空间中，从而去除姿态因素的影响。同时本发明方法的训练过程，即训练与姿态相关的线性变换参数可以离线操作；在识别过程中，只需进行简单的代数运算，因此计算过程简单，时间复杂度很低，并且对识别的人脸类别数没有限制，具有很强的通用性和大规模扩展性。

附图说明

图1是本发明中基于隐最小二乘回归的自适应多姿态人脸识别方法的步骤流程图。

图2是对Multi-PIE人脸数据库中的样本进行关键点定位的结果示例。

图3是对Multi-PIE人脸数据库中的样本进行二维平面内旋转以及利用嘴眼中心距离进行尺度归一化的图像示例。

图4是对Multi-PIE人脸数据库中的样本根据关键点归一化后的图像示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明公开了一种基于隐最小二乘回归的自适应多姿态人脸识别方法及其装置。本发明公开的所述基于隐最小二乘回归的多姿态人脸识别方法及其装置是在微机WindowsXP环境下，采用面向对象的设计方法和软件工程规范，用C++语言实现的一种人脸识别方法及系统。

图1示出了本发明提出的基于隐最小二乘回归的多姿态人脸识别装置结构示意图。如图1所示，该识别装置包括：人脸检测模块、人脸校正模块、特征提取模块、姿态估计模块、离线训练模块和在线识别模块。下面对每个模块详细介绍。

(a)人脸检测模块。所述人脸检测模块用于对输入的图像判断其是否包含人脸，若包含人脸，则进一步确定人脸区域的大小及在图像中的位置，并将人脸图像从背景中分离出来。人脸检测模块是基础，本发明中优选采用PaulViola等提出的基于Haar特征和AdaBoost的人脸检测方法来实现(参见“PaulA.Viola，MichaelJ.Jones：RobustReal-TimeFaceDetection.InternationalJournalofComputerVision57(2)：137-154(2004)”)。

(b)人脸校正模块。人脸校正模块用于关键点定位和图像归一化。所述关键点定位是指在检测出的人脸图像中定位出面部器官的关键特征点，包括眼角点、眼中心点、嘴角点、鼻尖点、面部轮廓点等。这一步骤可以采用基于主动形状模型(ActiveShapeModel)的关键点定位方法实现。所述图像归一化是指根据检查出的关键点对人脸区域的位置、大小、平面角度等归一化到同一个标准。

在本发明优选实施例中，首先利用左眼中心和右眼中心来计算图像在平面内的旋转角度(即左右眼中心的连线与二位平面内平行于X轴的水平线之间的夹角)，使得在二维平面内旋转后的图像中两眼中心在同一条水平线上，如图3左边两图所示；然后计算左眼中心和右眼中心连线的中点(即两眼中心点)，通过两眼中心点定位人脸区域在二维平面的位置；最后通过归一化“嘴眼中心距离”(嘴眼中心距离是指嘴中心点与两眼中心点之间的距离，如图3右图所示)来归一化图像的尺度，使得归一化以后的图像中嘴眼中心距离是一个固定的大小。在实际应用中姿态变化主要在水平角度上，因此“嘴眼中心距离”相对而言是一个更准确的人脸尺度度量。人脸的尺度是指人脸在图像中的大小，例如在照片一中人脸区域是50*50像素大小，在照片二中是25*25大小，这样两幅照片中人脸区域的大小是不一致的。通过归一化嘴眼中心距离到同样的大小，使得归一化后的图像中人脸区域大小能够一致。

图2给出了定位的面部关键点示例图，图3给出了各种姿态下归一化后的人脸区域示例图。

(c)特征提取模块。所述特征提取模块用于在归一化后的人脸图像上提取出面部表观信息内容，包括整体表观特征。整体表观特征，即是从人脸图像的整体灰度分布规律中提取有用的信息；而局部表观特征则着重描述人脸的细节特点。本发明优选实施例中直接采用图像中的图像块灰度像素值作为整体表观特征：将每个L×M像素的二维人脸图像按照像素列的顺序转化为一维列向量的形式 $\hat{X}={(a_{11},a_{21},...,a_{\mathrm{LM}})}^T\∈R^n,$ a_lm表示二维图像上第l行第m列像素值，l＝1，...，L，m＝1，...，M。(a₁₁，a₂₁，...，a_LM)^T表示行向量(a₁₁，a₂₁，...，a_LM)的转置，Rⁿ表示n维实数向量空间；然后对一维向量进行单位化，即 $X=\hat{X}/{\left|\right|\hat{X}\left|\right|}_2,$ 其中 ${\left|\right|\hat{X}\left|\right|}_2={\left({\mathrm{\Σ}}_{l,m=1}^{L,M}{a_{\mathrm{lm}}}^2\right)}^{0.5}.$

(d)姿态估计模块。所述姿态估计模块用于获得姿态的角度。角度是一个连续的变量，在本发明的优选实施例中，以15度为一个间隔，将左转45度和右转45度之间的90度范围离散化为7个姿态类别。姿态估计的方法通常有两种类型：基于模型的方法和基于表观的方法。基于模型的方法利用某种集合模型或结构表示人脸的结构和形状，并通过所提取的人脸图像的的特征，在模型和图像之间建立对应关系，然后通过几何或其他方法实现姿态估计。基于表观的方法假定在3维姿态和2维人脸图像之间的某些性质之间存在一定的联系，并且认为通过大规模训练集上的学习可以找到这种联系。在本发明优选实施例中，采用一种数据驱动的姿态估计方法。首先收集一个参考数据集(该参考集可以用训练集代替)，该参考数据集中包含n个人，每个人在7种姿态下均有至少一幅图片；然后对于待估计的人脸图片，计算该图片与数据集中所有图片的结构化相似度，并进行排序，得到与待估计图片最相似的一幅图片，把最相似的这幅图片的姿态类别作为待估计图片的姿态。结构化相似度的计算公式如公式(1)所示：

$S_{I_1,I_2}\left(x\right)=\frac{u_1\left(x\right)u_2\left(x\right){\mathrm{\σ}}_{12}\left(x\right)}{[{u_1}^2\left(x\right)+{u_2}^2\left(x\right)][{{\mathrm{\σ}}_1}^2\left(x\right)+{{\mathrm{\σ}}_2}^2\left(x\right)]}---\left(1\right)$

其中I₁，I₂表示两幅图片，u₁、u₂分别表示I₁、I₂在位置x周围的一个小邻域内的图像块像素的平均值，σ₁₂表示I₁和I₂在位置x周围的一个小邻域内图像块像素的协方差，σ₁、σ₂表示I₁、I₂在位置x周围的一个小邻域内的图像块像素的方差。本发明优选实施例中邻域大小设为8×8像素区域。公式(1)计算的是两幅图片在一个位置处的相似度，将所有位置的相似度取均值作为两幅图片整体上的结构化相似度。

(e)离线训练模块。传统的人脸识别方法需要人脸是对齐的，即所提取的特征向量是等长和对齐的。只有对对应的元素进行统计才有意义。在没有姿态差异的情况下，特征向量的对齐问题不是一个严重的问题。但当姿态差异存在的时候，特征向量的对齐问题就凸显出来了。单幅图像只能反映其在某一个视角下的二维表观。当视角不一致时，二维图像中的人脸会产生复杂的形变，从而导致特征向量中元素出现严重的误配准，从而使得不同姿态下的人脸图像的特征向量处于不同的向量空间中。

所述离线训练模块用于在训练集上通过统计机器学习的方法来获得与姿态相关的变换参数，从而使得处于不同姿态下的人脸图像特征能够变换到一个与姿态无关空间中，即同一个人在不同姿态下的人脸图片，可以看作是由一个在理想的身份空间中的个体通过不同的变换或映射而得到。在身份空间中个体不随姿态变化而变化。

假设训练集中包含C个人，P个姿态类别，表示第i个人在姿态k下的图片数，表示第i个人在姿态k下的第j幅图片的特征向量，h_i表示第i个人的身份特征向量，即人在与姿态无关的身份空间中的唯一身份标识，W_k，m_k分别表示姿态k下的变换矩阵以及偏移量。不同姿态下的人脸图像的特征和身份特征向量之间关系的数学表示形式为：

$h_i=W_l^T{x}_{\mathrm{ij}}^k+m_k+{\mathrm{\ϵ}}_{\mathrm{ij}}^k,$ (为噪声)(2)

模型的参数为Θ＝{h₁，h₂，...，h_C，W₁，W₂，...，W_P，m₁，m₂...，m_P}。因为有噪声项的存在，所以在对每一幅人脸图片估计其身份特征向量时，与其真实的身份向量h_i存在误差。本发明优选实施例中在最小二乘原则下来估计模型的参数，即使得估计身份特征向量与真实身份特征向量尽可能接近。其数学表示形式为：

${\min }_{\mathrm{\Θ}}{\mathrm{\Σ}}_{k=1}^p\frac{1}{N^k}{\mathrm{\Σ}}_{i=1}^C{\mathrm{\Σ}}_{j=1}^{n_i^k}{\left|\right|h_i-W_k^T{x}_{\mathrm{ij}}^k-m_k\left|\right|}_2^2---\left(3\right)$

s.t. ${\left|\right|h_i\left|\right|}_2^2=1$ i＝1，…，C

其中，表示训练集中姿态k下的图片数量。上述模型与传统的最小二乘方法的区别在于回归量，即真实身份特征向量h_i是一个隐变量，所以上述模型被称为隐最小二乘模型。为了使得模型(3)得到可靠的解，本发明优选实施例考虑了先验知识的约束，即虽然对处于不同姿态的人脸图像特征采用不同的变换矩阵，但是对相邻姿态的变换矩阵而言，其差异应该很小。把该先验知识加入到模型(3)中，可以得到如下的数学表示形式：

${\min }_{\mathrm{\Θ}}{\mathrm{\Σ}}_{k=1}^p\frac{1}{N^k}{\mathrm{\Σ}}_{i=1}^C{\mathrm{\Σ}}_{j=1}^{n_i^k}{\left|\right|h_i-W_k^T{x}_{\mathrm{ij}}^k-m_k\left|\right|}_2^2+\mathrm{\λ}{\mathrm{\Σ}}_{k=1}^{P-1}{\left|\right|W_k-W_{k+1}\left|\right|}_2---\left(4\right)$

s.t.i＝1，...，C其中λ为平衡参数。

令H＝[h₁，h₂，...，h_C](5)

$X_i^k=[x_{i1}^k,...,x_{{\mathrm{in}}_i^k}^k]---\left(6\right)$

$X^k=[X_1^k,X_2^k,...,X_c^k]---\left(7\right)$

$A^k=[F_1^k;F_2^k;...;F_c^k]\∈R^{c\×N^k}---\left(9\right)$

$e_{N^k}={[\mathrm{1,1},...,1]}^T\∈R^{N^k\×1}---\left(10\right)$

模型(4)可以写成一个更简洁的形式：

${\min }_{\mathrm{\Θ}}{\mathrm{\Σ}}_{k=1}^p\frac{1}{N^k}{\left|\right|{\mathrm{HA}}^k-W_k^T{X}^k-m_k{e}_{N^k}^T\left|\right|}_F^2+\mathrm{\λ}{\mathrm{\Σ}}_{k=1}^{P-1}{\left|\right|W_k-W_{k+1}\left|\right|}_2---\left(11\right)$

s.t. ${\left|\right|h_i\left|\right|}_2^2=1$ i＝1，…，C

本发明优选实施例中提供了一种轮替迭代优化的方法来求解模型(11)。模型(11)可以分解为两个子问题：

子问题一：已知h₁，h₂，...，h_C时，求解即：

${\min }_{{\{W_i.m_i\}}_{i=1}^P}L---\left(12\right)$

其中 $L={\mathrm{\Σ}}_{k=1}^p\frac{1}{N^k}{\left|\right|{\mathrm{HA}}^k-W_k^T{X}^k-m_k{e}_{N^k}^T\left|\right|}_F^2+\mathrm{\λ}{\mathrm{\Σ}}_{k=1}^{P-1}{\left|\right|W_k-W_{k+1}\left|\right|}_2.$ 优化问题(12)的一个最直接的方法就是梯度下降。所述梯度就是指目标函数对参数的导数，而损失函数L对参数W_k和m_k的导数为：

$\∂L/\∂W_k=-2X^k/N^k\×{({\mathrm{HA}}^k-W_k^T{X}^k-m_k{e}_{N^k}^T)}^T$

$+2\mathrm{\&lambda;}\&times;\mathrm{\&delta;}(k>1)(W_{k-1}-W_k)+2\mathrm{\&lambda;}\&times;\mathrm{\&delta;}(k<p)(W_k-W_{k+1})---\left(13\right)$

$\&PartialD;L/\&PartialD;m_k=-2/N^k\&times;({\mathrm{HA}}^k-W_k^T{X}^k-m_k{e}_{N^k}^T)\&times;e_{N^k}---\left(14\right)$

其中δ(x)为指示函数，如果x为真，则返回1；否则返回0。求得梯度后，参数可以按照公式(15)进行更新，直至收敛。

$W_k=W_k-\mathrm{\&alpha;}\&PartialD;L/\&PartialD;W_k$ $m_k=m_k-\mathrm{\&alpha;}\&PartialD;L/\&PartialD;m_k---\left(15\right)$

α为迭代更新步长，更新步长是指每一次迭代过程中，参数延梯度方向变化的大小。在本发明优选实施例中，设α＝0.1。

子问题二：已知求解h₁，h₂，...，h_C。即：

${\min }_{h_1,h_2,...,h_C}G={\mathrm{\&Sigma;}}_{k=1}^p\frac{1}{N^k}{\left|\right|{\mathrm{HA}}^k-f(W_k,X^k)-m_k{e}_{N^k}^T\left|\right|}_F^2---\left(16\right)$

s.t. ${\left|\right|h_i\left|\right|}_2^2=1$ i＝1，...，C

这是一个凸二次问题，有唯一解。求损失函数G对H的导数，并令其等于零，得：

$\&PartialD;G/\&PartialD;H=0---\left(17\right)$

$\&DoubleRightArrow;{\mathrm{\&Sigma;}}_{k=1}^p\frac{2}{N^k}({\mathrm{HA}}^k-f(W_k,X^k)-m_k{e}_{N^k}^T)A^{k^T}=0---\left(18\right)$

$\&DoubleRightArrow;H=\left({\mathrm{\&Sigma;}}_{k=1}^p\frac{1}{N^k}(W_k^T{X}^k+m_k{e}_{N^k}^T)A^{k^T}\right){\left({\mathrm{\&Sigma;}}_{k=1}^p\frac{1}{N^k}{A}^k{A}^{k^T}\right)}^{-1}---\left(19\right)$

并归一化，使得H的每一列为单位向量，即i＝1，...，C。

在子问题一和二的基础上，求解原模型(11)的轮替迭代优化步骤是：

(i)随机初始化参数Θ＝{h₁，h₂，...，h_C，W₁，W₂，...，W_P，m₁，m₂...，m_P}。最大迭代次数为T，迭代计数器t＝0；

(ii)求解子问题一。

(iii)求解子问题二。

(iv)判断参数是否收敛，若收敛则此次迭代得到的参数Θ＝{h₁，h₂，...，h_C，W₁，W₂，...，W_P，m₁，m₂...，m_P}即为离线训练模块最终得到的参数，即不同姿态下不同人的身份特征向量以及与身份无关、而与姿态相关的变换矩阵和偏移向量。其中，令 $g\left(t\right)={\mathrm{\&Sigma;}}_{i=1}^C{\left|\right|h_i\left|\right|}^2+{\mathrm{\&Sigma;}}_{k=1}^P({\left|\right|W_k\left|\right|}_F^2+$ ${\left|\right|m_i\left|\right|}^2)$ 表示在第t次迭代后所有参数的模。Delta＝|g(t)-g(t+1)|表示两次迭代参数的变化的绝对值。如果Delta小于某一个阈值(如1e-10)，则说明参数已收敛，迭代终止；否则没有收敛，迭代计数器t加1，若迭代次数大于预设的最大迭代次数，则迭代终止，否则返回到步骤(ii)。

(f)在线识别模块。所述在线识别模块用于在线识别待检索图像的类别。

首先在线识别模块获取注册集中的样本个体的身份特征向量，所述注册集中的样本个体包括训练集中的样本个体和在线收集及输入的图像。在线识别模块获取注册集中样本个体的身份特征向量具体如下：

若注册集中样本个体是训练集中的样本个体，那么离线训练阶段得到的身份特征向量即为注册集中图像的身份特征向量；若注册集中的样本个体不是训练集中的样本个体，那么对注册集中的人脸图像，分别经过人脸检测、人脸校正、特征提取、姿态估计模块处理后，选择与其姿态相对应的变换矩阵以及偏移向量，计算注册集中图像的身份特征向量。

其次，在线识别模块获取待检索图像的身份特征向量。对待检索图像分别经过人脸检测、人脸校正、特征提取、姿态估计模块处理后，选择与其姿态相对应的变换矩阵以及偏移向量，并根据所提取的特征、姿态对应的变换矩阵以及偏移向量计算待识别图像的身份特征向量，其如下表示：

$h=W_k^{T}x+m_k---\left(20\right)$

其中，h为待检索图像的身份特征向量，W_k、m_k分别为待检索图像的姿态对应的变换矩阵和偏移向量，x为待检索图像的特征值。

最后，在线识别模块根据所述待检索图像的身份特征向量，从注册集获取与其相似度最高的人脸图像，将该获取的人脸图像类别作为所述待检测图像的类别输出。本发明优选实施例中，采用最近邻分类器，计算待检索图像的身份特征向量与注册集中所有图像的身份特征向量之间的余弦相似度：

cos(h_i，h_j)＝h_i ^Th_j/(||h_i||₂×||h_j||₂)(20)

从注册集选择与待检索图像相似度最高的人脸图片，以该人脸图片的身份信息作为待检索图像的身份信息。

本发明还公开了一种基于隐最小二乘回归的多姿态人脸识别方法。该方法包括：

步骤1：人脸检测步骤。该步骤中判断输入的人脸图像中是否包含有人脸，若包含人脸，则进一步确定人脸区域的大小及其位置；所述输入的人脸图像是训练集中的人脸图像或待识别的人脸图像。

步骤2：人脸校正步骤。该步骤中对所检测到的人脸进行人脸校正，其包括关键点定位和图像归一化。关键点定位指定位出面部器官的关键特征点，包括眼中心，嘴角点，面部轮廓点等。图像归一化指利用定位出的关键点，对人脸区域的位置、尺度等进行标准化。

步骤3：特征提取步骤。该步骤中在归一化后的人脸区域图像上提取整体表观信息特征，所述整体表观信息特征包括人脸图像中图像块的灰度像素值。

步骤4：姿态估计步骤。该步骤用于根据所提取的特征估计出所输入的人脸图像所属的姿态角度或类别。

步骤5：身份特征向量计算步骤。该步骤根据所得到的所输入的人脸图像的姿态类别选择与所述姿态类别对应的变换矩阵和偏移向量，所述变换矩阵和偏移向量预先由上述离线训练模块从训练集训练得到；然后根据所述变换矩阵和偏移向量计算该输入的人脸图像的身份特征向量。

步骤6：在线识别步骤。对于输入的人脸图像，根据计算得到的身份特征向量，从注册集中选择与所输入的人脸图像的身份特征向量相似度最高的已知人脸图像，并返回该已知人脸图像的身份信息作为识别结果。所述注册集中包括已知个人身份信息的人脸图像。

相对于目前流行的多姿态人脸识别方法，本发明所提出的基于隐最小二乘的多姿态人脸识别方法，计算简单，并且具有良好的姿态鲁棒性。通过实验在Multi-PIE上数据库上测试了本发明提出的上述方法及装置的性能。Multi-PIE数据库中包含337个人在不同姿态下的图片。本实验中考虑7种姿态(即角度为-45°，-30°，-15°，0°，15°，30°，45°)，并选择前231个人作为训练集，剩下的136个人作为性能评价集。对每一个人，在每种姿态下，选择自然表情且光照较好的6幅图片。在测试时，本实验以136个人在以某个姿态下的所有图像作为注册集，以另一个姿态下的所有图片作为测试集。表格1为本发明的方法在各种姿态对下的识别性能，最后一行(列)为每一行(列)的准确率的平均值。

表格1

总之，本发明对于任意姿态下的人脸图像都可以通过与其姿态相对应的线性变换，映射到一个与姿态无关的身份特征空间中，从而去除姿态因素的影响；并通过计算身份特征向量之间的相似度来实现对测试人脸样本图片的分类。同时本发明方法的训练过程，即训练与姿态相关的线性变换参数可以离线操作；在识别过程中，只需进行简单的代数运算，因此计算过程简单，时间复杂度很低，并且对识别的人脸类别数没有限制，具有很强的通用性和大规模扩展性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于隐最小二乘回归的多姿态人脸识别方法，其包括：

步骤1、检测输入的人脸图像的区域大小及位置；

步骤2、对检测到的人脸图像进行校正，得到校正后的人脸图像；

步骤3、从校正后的人脸图像中提取人脸面部的特征值；

步骤4、根据所提取的人脸面部的特征值估计校正后的人脸图像的姿态类别；

步骤5、根据所述姿态类别选择与其对应的变换矩阵以及偏移向量，并根据所述变换矩阵、偏移向量和提取的特征值计算得到该人脸图像的身份特征向量；

步骤6、从已知人脸图像检索库中搜索与所输入的人脸图像的身份特征向量相似度最高的已知人脸图像，并返回该已知人脸图像的身份信息作为识别结果；

其中，所述变换矩阵与偏移向量用于将所述人脸图像变换到与姿态无关的身份空间，所述身份特征向量为人脸图像在与所述身份空间中的唯一身份标识；

其中，步骤4中所述姿态类别包括人脸图像的姿态角度，而所述姿态角度通过计算参考数据集中每个图像与所输入的人脸图像之间的相似度，并选择参考数据集中最相似图像的姿态角度作为所输入的人脸图像的姿态角度，其中所述参考数据集中包括n个人在各种姿态类别下的人脸图像；

步骤3中所提取的特征值包括人脸图像的灰度像素值；步骤4中所述参考数据集中每幅图像与所输入的人脸图像之间的相似度如下计算：

其中，I₁，I₂表示两幅图片，u₁、u₂分别表示I₁、I₂在位置x周围的一个小邻域内的图像块灰度像素的平均值，σ₁₂表示I₁和I₂在位置x周围的一个小邻域内图像块灰度像素的协方差，σ₁、σ₂表示I₁、I₂在位置x周围的一个小邻域内的图像块灰度像素的方差。

2.如权利要求1所述的方法，其特征在于，不同姿态类别对应的姿态变换矩阵和偏移向量通过如下数学模型训练得到：

其中，C表示训练集中人的个数，P表示姿态类别个数，表示第i个人在姿态k下的图片数，表示第i个人在姿态k下的第j幅图片的特征值，h_i表示第i个人的身份特征向量，即人在与姿态无关的身份空间中的唯一身份标识，W_k、m_k分别表示姿态k下的变换矩阵以及偏移量。

3.如权利要求2所述的方法，其特征在于，所述数学模型进一步简写为：

H＝[h₁，h₂，...，h_C]

通过下述步骤求解上述简化后的数学模型：

步骤1)、初始化参数Θ＝{h₁，h₂，...，h_C，W₁，W₂，...，W_P，m₁，m₂，...，m_P}；

步骤2)、求解下述子问题模型一：

已知身份特征向量h₁，h₂，...，h_C，求解与姿态类别对应的变换矩阵及偏移量{W₁，W₂，...，W_P，m₁，m₂...，m_P}，得到：

首先，求解上述L对参数W_k以及m_k(k＝1，...，p)的导数：

其中，δ(x)为指示函数，如果x为真，则为1；否则为0；

其次，按照如下方式更新变换矩阵与偏移量，直至收敛：

其中，α为迭代更新步长；

步骤3)、求解下述子问题模型二：

已知求解h₁，h₂，…，h_C，得到：

求解上述模型G得到：

归一化使得H的每一列为单位向量，即

步骤4)、判断参数Θ是否收敛，若收敛则迭代终止，否则并返回步骤2)继续执行，直到参数Θ收敛或者达到最大迭代次数。

4.如权利要求1所述的方法，其特征在于，步骤2中人脸校正包括人脸图像中关键点定位和人脸图像的归一化。

5.如权利要求1所述的方法，其特征在于，步骤6中人脸图像的身份特征向量相似度如下计算：

cos(h_i，h_j)＝h_i ^Th_j/(||h_i||₂×||h_j||₂)

其中，hi和h_j分别表示两张人脸图像的身份特征向量。

6.如权利要求1所述的方法，其特征在于，步骤5中所述人脸图像的身份特征向量如下计算：

其中，h为待检索图像的身份特征向量，W_k、m_k分别为待检索图像的姿态对应的变换矩阵和偏移向量，x为待检索图像的特征值。

7.一种基于隐最小二乘回归的多姿态人脸识别装置，其包括：

人脸检测模块，其用于检测输入的人脸图像的区域大小及位置；

人脸校正模块，其用于对检测到的人脸图像进行校正，得到校正后的人脸图像；

特征提取模块，其用于从校正后的人脸图像中提取人脸面部的特征值；

姿态估计模块，其用于根据所提取的人脸面部的特征值估计校正后的人脸图像的姿态类别；

在线识别模块，其用于根据所述姿态类别选择与其对应的变换矩阵以及偏移向量，并根据所述变换矩阵、偏移向量和提取的特征值计算得到该人脸图像的身份特征向量；其还用于从已知人脸图像检索库中搜索与所输入的人脸图像的身份特征向量相似度最高的已知人脸图像，并返回该已知人脸图像的身份信息作为识别结果；

其中，所述变换矩阵与偏移向量用于将所述人脸图像变换到与姿态无关的身份空间，所述身份特征向量为人脸图像在与所述身份空间中的唯一身份标识；

其中，所述姿态类别包括人脸图像的姿态角度，而所述姿态角度通过计算参考数据集中每个图像与所输入的人脸图像之间的相似度，并选择参考数据集中最相似图像的姿态角度作为所输入的人脸图像的姿态角度，其中所述参考数据集中包括n个人在各种姿态类别下的人脸图像；

所述特征提取模块所提取的特征值包括人脸图像的灰度像素值；在线识别模块中所述参考数据集中每幅图像与所输入的人脸图像之间的相似度如下计算：

其中，I₁，I₂表示两幅图片，u₁、u₂分别表示I₁、I₂在位置x周围的一个小邻域内的图像块灰度像素的平均值，σ₁₂表示I₁和I₂在位置x周围的一个小邻域内图像块灰度像素的协方差，σ₁、σ₂表示I₁、I₂在位置x周围的一个小邻域内的图像块灰度像素的方差。