CN103218606A - 一种基于人脸均值和方差能量图的多姿态人脸识别方法 - Google Patents

Abstract

本发明涉及的是一种生物特征身份识别技术，特别是涉及一种基于人脸均值和方差能量图的多姿态人脸识别方法。本发明包括：检测人脸区域对人脸区域图像做尺寸归一化；构建狭义人脸均值能量图和广义人脸均值能量图；构建狭义人脸方差能量图和广义人脸方差能量图；将获得的特征进行融合，获得最终的特征向量；由基于欧氏距离的最近邻分类器进行分类识别。本发明不仅能够很好的节省存储空间，降低计算的复杂度，而且能够弱化单帧图像中出现的噪声干扰，人脸能量图蕴含了多种姿态下的人脸轮廓信息，对于大角度姿态变化的人脸识别，人脸能量图具有很大优势，不需要补零处理，提高了多姿态人脸识别的性能。

Description

一种基于人脸均值和方差能量图的多姿态人脸识别方法

技术领域

本发明涉及的是一种生物特征身份识别技术，特别是涉及一种基于人脸均值和方差能量图的多姿态人脸识别方法。

背景技术

针对人脸识别中姿态变化的难题已有的解决方法主要包括三类：三维识别方法、姿态校正方法、流形学习方法。基于三维模型的多姿态人脸识别是利用二维人脸图像重构三维虚拟人脸，并将三维人脸旋转形成三维人脸库后进行二维投影构建二维多姿态人脸库，从而人脸识别转化为某一角度下两幅照片的比对；或者采集三维人脸构建三维姿态人脸库，利用三维人脸进行识别，该方法对于正面和准正面视角都能够达到较好的识别效果，但该方法需要特殊的三维人脸采集设备，价格昂贵，而且三维人脸数据量较大，需要较大存储空间。基于姿态校正的多姿态人脸识别是通过求取非正面姿态样本向正面姿态样本的映射关系，实现测试人脸的姿态校正，这种校正能有效补偿姿态变化的影响，但当偏转角度较大时效果不佳，特别是当只有一只眼睛可见时识别率极低。基于流形学习的多姿态人脸识别将训练图像进行张量分解得类别系数矩阵和视角系数矩阵，利用视角系数构造视角流形模型，识别时利用测试图像和视角流形模型求取类别系数向量，与已知的类别系数向量比较得分类结果。该方法解决了多视角子空间的非线性问题，但只考虑了人脸图像左右摇摆的视角变化，没有考虑其他的姿态变化，并不能广泛应用于多姿态人脸识别。

Bobick等提出的将视频图像序列转化为运动能量图像（Motiong Energy Image，MEI）和运动历史图像(Motion History Image，MHI)，采用Mahalanobis距离作为模板相似性的度量，来进行运动类型的识别（Bobick A F,Davis JW.The Recognition of Human Movement UsingTemporal Templates[J].IEEE Trans on Pattern Analysis and Ma-chine Intelligence,2001,23(3):257-267P）。在后来的行为或者步态的识别中经常可以看到这个算法的踪影。步态识别作为行为识别的一个特例，杨晓超等将一个周期内的步态轮廓图的平均值称为步态能量图（杨晓超,周越,署光等，基于Gabor相位谱和流型学习的步态识别方法.电子学报,2009,37(4):753-757）。

已有的研究工作表明，多幅步态图像叠加形成的步态能量图信息反映了一个周期内不同时刻步态的变化情况，而且具有对周期的准确性要求不高的优点。借鉴这一思想，本发明将采集到的不同姿态的人脸图像叠加起来形成人脸能量图，这样一张图像同样能够反映不同姿态的人脸变化情况。但与步态能量图不同，人脸能量图没有周期性，它表示的是不同俯仰角度和不同摇摆角度的人脸姿态变化。

发明内容

本发明的目的在于提供一种能够有效提取俯仰变化和左右摇摆变化情况下人脸的关键信息，使识别效果得到较大改善，提高人脸识别系统性能的一种基于人脸均值和方差能量图的多姿态人脸识别方法。

本发明的目的是这样实现的：

本发明包括以下步骤：

（1）读取人脸库中的多姿态人脸图像，检测人脸区域，并对人脸区域图像做尺寸归一化；

（2）根据人脸区域图像俯仰角度划分人脸的俯仰变化范围，构建狭义人脸均值能量图和广义人脸均值能量图，作为多姿态人脸识别的初级特征；

（3）构建狭义人脸方差能量图和广义人脸方差能量图，作为多姿态人脸识别的初级特征；

（4）先对作为多姿态人脸初级特征的均值能量图和方差能量图执行主成分分析二次特征提取，将获得的特征进行融合，获得最终的特征向量；

（5）由基于欧氏距离的最近邻分类器进行分类识别。

人脸均值能量图为对采集到的不同姿态的人脸图像叠加形成人脸能量图，人脸均值能量图没有周期性，反应不同俯仰角度和不同摇摆角度的人脸姿态变化。

广义人脸均值能量图，指同一人在不同俯仰角度、不同左右摇摆角度下的图像叠加求和后再求平均得到的均值图像，每1个人包含1幅广义人脸均值能量图像，

多姿态灰度人脸图像I_j(x,y)，广义人脸均值能量图表示为：

$F(x,y)=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{I}_j(x,y)$

其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，x,y代表二维图像平面坐标。

狭义人脸均值能量图，指同一人在同一俯仰角度范围、不同左右摇摆角度下的图像叠加求和再求平均得到的均值图像，将俯仰角度在[-5°,5°]之间的人脸图像定义为平视范围人脸图像，将[5°,30°]间的定义为仰视范围人脸图像，[-30°,-5°]之间的定义为俯视范围人脸图像，根据人脸俯仰角度范围不同每1个人包含3幅能量图像，分别为仰视均值能量图、平视均值能量图、俯视均值能量图，

给定多姿态灰度人脸图像I_j(x,y)，狭义人脸均值能量图的表示为：

$F_k(x,y)=\frac{1}{M_k}\underset{j=1}{\overset{M_k}{\mathrm{\Σ}}}{I}_j(x,y),k=\mathrm{1,2,3}$

其中M_k代表同一俯仰角度范围、左右摇摆角度变化时图像的总数，k表示不同的俯仰角度范围，k=1表示仰视，k=2表示平视，k=3表示俯视，j表示第j个左右摇摆角度变化的图像，x,y代表二维图像平面坐标。

人脸方差能量图为对采集到的不同姿态的人脸图像与对应的人脸均值能量图做差求平方后再叠加形成人脸能量图。

广义人脸方差能量图，指同一人在不同俯仰角度、不同左右摇摆角度下的图像与广义人脸均值能量图差的平方和再求平均得到的图像，

对于给定的多姿态灰度人脸图像I_j(x,y)，广义人脸方差能量图表示为：

$D(x,y)=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{(I_j(x,y)-F(x,y))}^2$

其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，F(x,y)为广义人脸均值能量图，x,y代表二维图像平面坐标。

狭义人脸方差能量图，指同一人在同一俯仰角度范围、不同左右摇摆角度下的图像与相应的狭义人脸均值能量图差的平方和再求平均得到的图像，将俯仰角度在[-5°,5°]之间的人脸图像定义为平视范围人脸图像，将[5°,30°]间的定义为仰视范围人脸图像，[-30°,-5°]之间的定义为俯视范围人脸图像，根据人脸俯仰角度范围不同每1个人包含3幅方差能量图像，分别为仰视方差能量图、平视方差能量图、俯视方差能量图，

多姿态灰度人脸图像I_j(x,y)，狭义人脸方差能量图表示为：

$D_k(x,y)=\frac{1}{M_k}\underset{j=1}{\overset{M_k}{\mathrm{\Σ}}}{(I_j(x,y)-F_k(x,y))}^2,k=\mathrm{1,2,3}$

其中，M_k代表同一俯仰角度范围、左右摇摆角度变化时图像的总数，k表示不同的俯仰角度范围，k=1表示仰视，k=2表示平视，k=3表示俯视，F_k(x,y)表示某一俯仰角度范围内左右摇摆角度变化时得到狭义均值能量图，j表示第j个左右摇摆角度变化的图像，x,y代表二维图像平面坐标。

本发明的有益效果在于：本发明提供了一种基于人脸均值和方差能量图的多姿态人脸识别方法。人脸能量图融合了多幅人脸图像的综合信息，不仅能够很好的节省存储空间，降低计算的复杂度，而且能够弱化单帧图像中出现的噪声干扰，人脸能量图蕴含了多种姿态下的人脸轮廓信息，对于大角度姿态变化的人脸识别，人脸能量图具有很大优势。本发明通过K-L变换对初级特征做二次特征抽取，再将两组特征进行融合构成新的特征向量用于识别，能有效降低特征维数，避免了传统串行融合导致新特征向量维数急剧增加的问题，同时该方法能控制K-L变换中均值和方差能量图特征向量维数相同，此时能直接实现特征的并行融合，不需要补零处理。融合人脸均值与方差能量图的多姿态人脸识别方法很好的提高了多姿态人脸识别的性能。

附图说明

图1为一种基于人脸均值和方差能量图的多姿态人脸识别方法流程图；

图2为人脸在3维空间的变化图；

图3为多姿态人脸图像及人脸均值能量图；

图4为多姿态人脸图像及人脸方差能量图；

图5为结合K-L变换的特征级融合过程；

图6为新特征空间中的特征级融合的理论框架；

图7为人脸库中原图像图；

图8为归一化后的人脸图像；

图9为测试人脸图像库中部分人脸图像。

具体实施方式

下面结合附图对本发明作进一步描述：

一种基于人脸均值和方差能量图的多姿态人脸识别方法，首先需要从人脸数据库中读取多姿态人脸图像，并基于AdaBoost算法和手工分割方法对人脸图像进行人脸区域检测，然后基于人脸区域图像构建人脸均值能量图，再结合人脸区域图像和人脸均值能量图构建人脸方差能量图，最后结合K-L变换的特征提取方法与特征级融合策略将人脸均值和方差能量图进行特征融合，形成新的特征向量，通过最近邻分类完成人脸识别。

1、读取多姿态人脸图像与人脸区域检测

1.1、人脸姿态变化定义

结合图2，人脸在3维空间中的变化分别为沿X、Y、Z轴的平移和旋转，其中沿X轴的左右平移、沿Y轴的上下平移、沿Z轴的前后平移以及以Z轴为中心轴旋转某一角度引起的人脸图像倾斜都可以通过几何归一化的方法得到有效克服。但是对于人脸图像以X为中心轴旋转引起的上下俯仰变化、以Y轴为中心轴旋转引起的左右摇摆变化几何归一化也无法克服。本发明将人脸图像以X轴为中心轴旋转而引起的变化称为俯仰变化，按照旋转角度的不同可分为仰视、平视和俯视；人脸图像以Y轴为中心轴旋转带来的变化称为左右摇摆变化。

1.2、AdaBoost算法

给定样本图像集(x₁,y₁)，…，(x_n,y_n)，其中x_i表示第i个训练样本图像，i=1L n，n为样本总个数，y_i=0表示训练样本为非人脸、y_i=1表示训练样本为人脸图像。

初始化权值：w_1,i表示第1次循环时第i个训练样本的权值，令

分别表示非人脸图像和人脸图像的初始权值，其中m,l分别表示非人脸图像和人脸图像的个数。

AdaBoost算法具体描述如下：

(1)权值归一化， $w_{t,i}=\frac{w_{t,i}}{{\mathrm{\Σ}}_{j=1}^n{w}_{t,j}}$

其中，w_t,i表示第t次循环时第i个训练样本的权值，

w_t,j表示第t次循环中所有训练样本的权值求和。

对于每一个特征j，构造弱分类器h_j，其中弱分类器是指存在一定分类错误率ε_j、分类能力相对较弱的分类器，然后在每个特征值分布的极大值和极小值间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小。定义ε_j=∑_iw_t,i|h_j(x_i)-y_i|，弱分类器用h_j(x)表示如下：

$h_j\left(x\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& p_j{f}_j^x<p_j{\mathrm{\&theta;}}_j\\ 0& & \mathrm{otherwise}\end{array}\right.$

其中：h_j(x)为训练样本x的分类结果，p_j是方向指示符，是从样本x中取到的第j个特征的特征值，θ_j是第j个特征对左右的判决阈值，而

表示样本x在坐标(m′,n′)处的像素值，

(m,n)表示m′<m,n′<n时特征j的特征值；

(2)选择最小错误率ε_t=argminε_j，其对应的最优弱分类器为h_t(x)；

(3)更新样本权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\&beta;}}_t^{1-e_i}$

如果样本图像x_i被正确分类e_i=0，否则e_i=1，且

(4)最后输出强分类器

$h\left(x\right)=\left\{\begin{array}{cc}1& {\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t{h}_t\left(x\right)\&GreaterEqual;\frac{1}{2}{\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t\\ 0& \mathrm{otherwise}\end{array}\right.$

其中： ${\mathrm{\&alpha;}}_t=\log \frac{1}{{\mathrm{\&beta;}}_t};$

重复以上过程T次，t=1，…，T。

1.3、人脸区域检测

结合图7和图8，本发明需要首先从多姿态人脸库中读取具有俯仰变化和左右摇摆变化的多姿态人脸图像。然后通过AdaBoost算法和手工分割的方法获取有效的人脸区域。

Adaboost分类器是由多层弱分类器级联而成，由第一层分类器获得的正确结果触发第二层分类器，由第二层输出的正确结果触发第三层分类器，以此类推。相反，从任何一个层输出的被否定的结果都会导致的检测立即停止。通过设置每层的阈值，使得绝大多数人脸都能通过，非人脸不能通过，这样靠近级联分类器后端的层拒绝了大部分的非人脸。实验表明，对于双眼可见的人脸图像，AdaBoost算法可以有效地检测出人脸区域。

当人脸图像存在较大角度的倾斜时，采用AdaBoost算法将无法检测到有效的人脸图像。所以本发明针对部分无法自动检测到人脸区域的图像采用手工分割的方式实现了人脸区域的检测。在分割人脸区域图像的过程中需要遵守的原则是：首先要包含完整的人脸区域，同时需要保证所有分割出的人脸区域图像的眼睛处于同一水平位置。

1.4人脸区域图像尺寸归一化

在获得人脸区域图像后，需要对所有图像进行尺寸归一化。本发明中将人脸区域的尺寸统一归一化为230×270像素。图8和图9为检测出的人脸区域图像。

2、人脸均值能量图构建

本发明针对无法通过几何归一化方法进行校正的俯仰变化人脸图像和左右摇摆变化的人脸图像，借鉴步态识别中的步态能量图的思想提出了使用人脸均值能量图的解决方案。

步态能量图（GEI）是指通过加权平均的方法将一个周期内的步态图像合成一幅图像。它全面反映了一个周期内不同时刻步态的变化情况，而且具有对周期的准确性要求不高的优点。借鉴这一思想，本发明将不同姿态的人脸区域图像叠加起来形成人脸均值能量图，这样一张图像同样能够反映不同姿态的人脸变化情况。但与步态能量图不同，人脸均值能量图没有周期性，它表示的是不同俯仰角度和不同左右摇摆角度的人脸姿态变化。

2.1、狭义人脸均值能量图

以人脸的平视角度作为零度，人脸能够出现的最大俯仰角度为-45°和60°，一般情况下人脸的俯仰角分布在[-30°,30°]之间。本发明将俯仰角度在[-5°,5°]之间的人脸图像定义为平视范围人脸图像，将[5°,30°]间的定义为仰视范围人脸图像，[-30°,-5°]之间的定义为俯视范围人脸图像。根据俯仰角度范围不同，本发明提出狭义人脸均值能量图的概念，具体如下：

狭义人脸均值能量图(Narrow face mean energy image,NFMEI)：指同一人在同一俯仰角度范围、不同左右摇摆角度下的一系列图像叠加求和再求平均得到的均值图像，根据人脸俯仰角度范围不同每1个人包含3幅能量图像，分别为仰视均值能量图、平视均值能量图、俯视均值能量图。

给定多姿态灰度人脸图像Ij(x,y)，狭义人脸均值能量图的计算公式如（1）所示：

$F_k(x,y)=\frac{1}{M_k}\underset{j=1}{\overset{M_k}{\mathrm{\&Sigma;}}}{I}_j(x,y),k=\mathrm{1,2,3}---\left(1\right)$

其中，M_k代表同一俯仰角度范围、左右摇摆角度变化时图像的总数，k表示不同的俯仰角度范围（1表示仰视，2表示平视，3表示俯视），j表示第j个左右摇摆角度变化的图像，x,y代表二维图像平面坐标。

2.2、广义人脸均值能量图

本发明给出广义人脸均值能量图的概念，具体如下：

广义人脸均值能量图（Generalized face mean energy image,GFMEI），指同一人在不同俯仰角度、不同左右摇摆角度下的一系列图像叠加求和后再求平均得到的均值图像，每1个人包含1幅广义均值能量图。

对于给定的多姿态灰度人脸图像I_j(x,y)，广义人脸均值能量图的计算公式如（2）所示：

$F(x,y)=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{I}_j(x,y)---\left(2\right)$

其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，x,y代表二维图像平面坐标。

3、人脸方差能量图构建

3.1、狭义人脸方差能量图

根据俯仰角度范围不同，本发明提出狭义人脸方差能量图的概念，具体如下：

狭义人脸方差能量图（narrow face variance energy image,NFVEI）：指同一人在同一俯仰角度范围、不同左右摇摆角度下的图像与相应的狭义人脸均值能量图差的平方和再求平均得到的图像。

对于多姿态灰度人脸图像I_j(x,y)，狭义人脸方差能量图的定义如（3）所示：

$D_k(x,y)=\frac{1}{M_k}\underset{j=1}{\overset{M_k}{\mathrm{\&Sigma;}}}{(I_j(x,y)-F_k(x,y))}^2,k=\mathrm{1,2,3}---\left(3\right)$

其中，M_k代表同一俯仰角度范围、左右摇摆角度变化时图像的总数，k表示不同的俯仰角度范围（1表示仰视，2表示平视，3表示俯视），F_k(x,y)表示某一俯仰角度范围内左右摇摆角度变化时得到狭义均值能量图，j表示第j个左右摇摆角度变化的图像，x,y代表二维图像平面坐标。

3.1、广义人脸方差能量图

广义人脸方差能量图（generalized face variance energy image,GFVEI），指同一人在不同俯仰角度、不同左右摇摆角度下的图像与广义人脸均值能量图差的平方和再求平均得到的图像，每1类人1幅图像。

对于给定的多姿态灰度人脸图像I_j(x,y)，广义人脸方差能量图的定义如（4）所示：

$D(x,y)=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{(I_j(x,y)-F(x,y))}^2---\left(4\right)$

其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，F(x,y)为广义人脸均值能量图，x,y代表二维图像平面坐标。

本发明采用中国科学院计算所构建的CAS-PEAL-R1人脸库的非正面人脸图像子集进行实验，共包括1040人的人脸图像，每人包含21种不同的姿态变化，并且只含有姿态变化。这21种姿态变化是由三种俯仰变化（仰视、平视和俯视）和七种左右摇摆变化（从九个摄像头获取的图像中挑选）组合而成。

结合图3和图4，所示为某一人俯视、平视、仰视三种俯仰情况下发生七种左右摇摆变化时的图像及其对应的狭义人脸均值/方差能量图和广义人脸均值/方差能量图。

4、人脸均值和方差能量图的特征级融合

4.1结合K-L变换的特征级融合方法

人脸均值能量图和人脸方差能量图作为人脸特征提取得到的初级特征能够直接用于分类识别，结合图3和图4可知，这种初级特征的边缘部分仍存在一定的冗余信息，对于分类识别不利，所以需要对人脸能量图进行必要的特征提取。同时，借鉴特征级融合的思想，如果将两种特征进行有效的融合在一定程度上能够进一步提高多姿态人脸识别的准确率。因此，本发明提出一种结合K-L变换的特征级融合策略，该方法在对原始均值和方差能量图特征进行数据降维和二次特征抽取的同时，可以完成两种特征的有效融合，既降低了数据维数，去除了冗余信息，又充分利用了均值能量图和方差能量图的特征信息。结合K-L变换的特征级融合过程如图5所示。

算法步骤可归纳如下：

步骤1，特征映射。均值和方差能量图两组不同的特征向量构成原特征空间，均值特征为X^m×n、方差特征为Y^m×n（m?n），其中m为每个特征向量的长度，n为训练样本的个数。分别对两组特征执行K-L变换得X₂=W_PCA1X，Y₂=W_PCA2Y，其中X，Y为样本空间中长度为m的向量，W_PCA1和W_PCA2分别为将两组特征映射到同一空间的变换矩阵，维数分别为d₁×m，d₂×m。

步骤2，特征融合。特征融合算子K表示了一种特征融合方法，即：Z=K(X₂,Y₂)，可以是针对同一空间中特征向量的串行融合或并行融合（d₁=d₂）。

综合上述两个步骤可归纳出结合K-L变换的新的特征级融合方法为公式（5）：

Z=K(X₂,Y₂)=K(W_PCA1X,W_PCA2Y)                （5）

其中，串行融合可表达为公式（6）：

Z=[X₂,Y₂]=[W_PCA1X,W_PCA2Y]                 （6）

当d₁=d₂时，并行融合可表达为公式（7）：

Z=X₂+iY₂=W_PCA1X+iW_PCA2Y                   （7）

显然，通过串行融合得到的特征Z=[W_PCA1X,W_PCA2Y]在一定程度上增加了向量的维数，但是与Z=[X,Y]相比，维数得到了较大降低．而并行融合则保持了单组特征的维数，而且不需要进行补零运算。另外，如果串行融合后向量Z的维数仍然较大，则可以做进一步的降维处理。这样通过先降维再特征融合得到的特征向量可直接用于后续的分类识别。

4.2结合线性或非线性映射的特征级融合理论框架

4.1节针对人脸均值能量图和人脸方差能量图的特征级融合方法进行了分析和讨论，其中人脸均值和方差能量图在原特征空间中具有相同的维数，所以并不能体现出本发明方法具有维数统一功能的优点，但是在实际的特征提取和特征融合过程中，原特征空间中的两组特征往往并不具有相同的维数，而且也不能简单的采用K-L变换的方法进行映射。因此，本发明对结合K-L变换的特征级融合策略进行了推广，给出一种结合线性或非线性映射的特征级融合理论框架。如图6所示，可以描述为：

（1）假设原特征空间中的两组特征X∈R^m×n，Y∈R^k×n，n为样本的总数，m为特征向量X的长度，k为特征向量Y的长度，且m?n，k?n。

（2）采用某种映射分别将X∈R^m×n和Y∈R^k×n变换到一个低维数的特征空间中。即： $f_1\left(g\right):X\&Element;R^{m\&times;n}\&RightArrow;X_2\&Element;R^{l_1\&times;n};$ $f_2\left(g\right):Y\&Element;R^{k\&times;n}\&RightArrow;Y_2\&Element;R^{l_2\&times;n},$ 其中m?l₁，k?l₂。

（3）在低维特征空间中执行特征级融合，即：Z₂=K(X₂,Y₂)．根据融合策略的不同，融合得到的新特征Z₂会具有不同的维数，采用串行融合则Z₂为(l₁+l₂)×n维；当l₁=l₂时，采用并行融合则Z₂为l₂×n维。

（4）当新特征Z₂维数仍然较高或者仍然存在数据冗余时，可执行进一步的降维处理，即Z=Ψ(Z₂)，如果不存在冗余问题，则不需要执行该步骤．最终得到输出的融合特征Z。

采用数学语言可以总结出以上的步骤：

Z=Ψ{K(f₁(X),f₂(Y))}              （8）

对于公式（8）的含义我们作如下几点分析说明：

（1）对于映射函数 $f_1\left(g\right):X\&Element;R^{m\&times;n}\&RightArrow;X_2\&Element;R^{l_1\&times;n};$ $f_2\left(g\right):Y\&Element;R^{k\&times;n}\&RightArrow;Y_2\&Element;R^{l_2\&times;n}.$ 当映射函数为线性函数时，映射关系为：X₂=f₁(X)=W_xX和Y₂=f₂(Y)=W_yY，问题转化为对变换矩阵W_x和W_y的求解；当映射函数为非线性函数时，则需要求取一种未知的非线性映射关系。

（2）对于融合算子Z₂=K(X₂,Y₂)。一般在原始空间中可以使用的融合策略，在降维后的特征空间中都是适用的。其中，串行融合算子：Z₂=[X₂,Y₂]；当l₁=l₂时，并行融合算子：Z₂=X₂+iY₂。

5、测试人脸的分类识别过程

测试过程：

（1）首先需要从测试库中提取人脸图像，并基于AdaBoost算法对图像进行人脸区域检测，获得测试人脸区域图像样本T。

（2）分别采用训练过程获得映射函数W_PCA1和W_PCA2对图像T进行变换，映射后获得结果为T₁=W_PCA1T，T₂=W_PCA2T。

（3）按照训练样本的特征级融合方法将T₁和T₂进行融合，得到测试图像新的融合特征ZT。

（4）将测试图像的融合特征ZT与训练样本的融合特征Z进行最近邻分类得出分类结果。

Claims (7)

1.一种基于人脸均值和方差能量图的多姿态人脸识别方法，其特征在于，包括以下步骤：

（1）读取人脸库中的多姿态人脸图像，检测人脸区域，并对人脸区域图像做尺寸归一化；

（2）根据人脸区域图像俯仰角度划分人脸的俯仰变化范围，构建狭义人脸均值能量图和广义人脸均值能量图，作为多姿态人脸识别的初级特征；

（3）构建狭义人脸方差能量图和广义人脸方差能量图，作为多姿态人脸识别的初级特征；

（4）先对作为多姿态人脸初级特征的均值能量图和方差能量图执行主成分分析二次特征提取，将获得的特征进行融合，获得最终的特征向量；

（5）由基于欧氏距离的最近邻分类器进行分类识别。

2.根据权利要求1所述的一种基于人脸均值和方差能量图的多姿态人脸识别方法，其特征在于：所述的人脸均值能量图为对采集到的不同姿态的人脸图像叠加形成人脸能量图，人脸均值能量图没有周期性，反应不同俯仰角度和不同摇摆角度的人脸姿态变化。

3.根据权利要求1或2所述的一种基于人脸均值和方差能量图的多姿态人脸识别方法，其特征在于：所述的广义人脸均值能量图，指同一人在不同俯仰角度、不同左右摇摆角度下的图像叠加求和后再求平均得到的均值图像，每1个人包含1幅广义人脸均值能量图像，

多姿态灰度人脸图像I_j(x,y)，广义人脸均值能量图表示为：

$F(x,y)=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{I}_j(x,y)$

其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，x,y代表二维图像平面坐标。

4.根据权利要求3所述的一种基于人脸均值和方差能量图的多姿态人脸识别方法，其特征在于：所述的狭义人脸均值能量图，指同一人在同一俯仰角度范围、不同左右摇摆角度下的图像叠加求和再求平均得到的均值图像，将俯仰角度在[-5°,5°]之间的人脸图像定义为平视范围人脸图像，将[5°,30°]间的定义为仰视范围人脸图像，[-30°,-5°]之间的定义为俯视范围人脸图像，根据人脸俯仰角度范围不同每1个人包含3幅能量图像，分别为仰视均值能量图、平视均值能量图、俯视均值能量图，

给定多姿态灰度人脸图像I_j(x,y)，狭义人脸均值能量图的表示为：

$F_k(x,y)=\frac{1}{M_k}\underset{j=1}{\overset{M_k}{\mathrm{\&Sigma;}}}{I}_j(x,y),k=\mathrm{1,2,3}$

其中M_k代表同一俯仰角度范围、左右摇摆角度变化时图像的总数，k表示不同的俯仰角度范围，k=1表示仰视，k=2表示平视，k=3表示俯视，j表示第j个左右摇摆角度变化的图像，x,y代表二维图像平面坐标。

5.根据权利要求4所述的一种基于人脸均值和方差能量图的多姿态人脸识别方法，其特征在于：所述的人脸方差能量图为对采集到的不同姿态的人脸图像与对应的人脸均值能量图做差求平方后再叠加形成人脸能量图。

6.根据权利要求5所述的一种基于人脸均值和方差能量图的多姿态人脸识别方法，其特征在于：所述的广义人脸方差能量图，指同一人在不同俯仰角度、不同左右摇摆角度下的图像与广义人脸均值能量图差的平方和再求平均得到的图像，

对于给定的多姿态灰度人脸图像I_j(x,y)，广义人脸方差能量图表示为：

$D(x,y)=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{(I_j(x,y)-F(x,y))}^2$

其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，F(x,y)为广义人脸均值能量图，x,y代表二维图像平面坐标。

7.根据权利要求6所述的一种基于人脸均值和方差能量图的多姿态人脸识别方法，其特征在于：所述的狭义人脸方差能量图，指同一人在同一俯仰角度范围、不同左右摇摆角度下的图像与相应的狭义人脸均值能量图差的平方和再求平均得到的图像，将俯仰角度在[-5°,5°]之间的人脸图像定义为平视范围人脸图像，将[5°,30°]间的定义为仰视范围人脸图像，[-30°,-5°]之间的定义为俯视范围人脸图像，根据人脸俯仰角度范围不同每1个人包含3幅方差能量图像，分别为仰视方差能量图、平视方差能量图、俯视方差能量图，

多姿态灰度人脸图像I_j(x,y)，狭义人脸方差能量图表示为：

$D_k(x,y)=\frac{1}{M_k}\underset{j=1}{\overset{M_k}{\mathrm{\&Sigma;}}}{(I_j(x,y)-F_k(x,y))}^2,k=\mathrm{1,2,3}$

其中，M_k代表同一俯仰角度范围、左右摇摆角度变化时图像的总数，k表示不同的俯仰角度范围，k=1表示仰视，k=2表示平视，k=3表示俯视，F_k(x,y)表示某一俯仰角度范围内左右摇摆角度变化时得到狭义均值能量图，j表示第j个左右摇摆角度变化的图像，x,y代表二维图像平面坐标。

Images