CN101777131A - 双模人脸识别方法及装置 - Google Patents

Abstract

本发明公开了一种双模人脸识别方法。主要解决现有识别方法对人脸图像的纹理有很大依赖性的问题。其实现过程是：划分测试和训练图像集，对训练图像进行学习获得特征脸子空间和主动表观模型；将测试和训练图像投影到特征脸子空间得到纹理模型，并计算测试和训练图像纹理模型的距离；根据主动表观模型自动搜索测试和训练图像特征点，构造形状模型，将图编辑距离作为测试和训练图像形状模型之间的距离；两种距离的加权融合用于确定测试图像的身份信息。本发明方法与基于纹理或结构信息的识别方法相比，对于表情、光照、尺度有变化的人脸图像，尤其对于在光照变化下获取的人脸图像具有识别率更高的优点，可用于在多种因素影响下进行身份验证。

Description

双模人脸识别方法及装置

技术领域

本发明属于图像处理和计算机视觉领域，特别涉及双模人脸识别方法及装置，可用于模式识别领域中人脸的检索和识别。

背景技术

随着社会的不断发展和生活水平的日益提高，人们对社会安全、信息安全等问题日益关注，快速有效的身份认证成为当今时代亟待解决的问题之一。生物识别技术应运而生并快速成为计算机视觉领域的研究热点。目前，研究人员已经开展了人脸、指纹、虹膜、步态等特征方面的研究，并已经取得了广泛的应用。与其他生物特征相比，人脸图像最容易获取，利用人脸进行身份验证具有非侵犯性，因此，人脸识别技术引起了全世界范围内的广泛关注。人脸识别技术就是根据所获得的影像资料从已有的图像库中自动检索待识别人从而确定其身份，与手动的检索方法相比，自动检索不仅可以在很大程度上提高效率，将人们从这项极为耗时和枯燥的工作中解放出来，而且可以减少主观因素对识别结果的影响。

目前自动的人脸识别方法主要是基于机器学习的思想来进行，根据不同的机器学习算法，人脸识别的研究主要分为以下五类：

第一类是基于贝叶斯学习的方法。这是一类将贝叶斯学习理论用于人脸识别的方法，利用高斯概率密度定义人脸类别的先验概率，然后根据贝叶斯理论求取后验概率，用以判断待测人脸属于哪一类。为了将人脸识别这个多分类问题变成二分类问题，将两幅人脸的强度差异作为模式矢量，定义类内差异和类间差异为两个类别，类内差异是指同一个人的不同图像之间的不同，类间差异是指不同人的人脸图像之间的变化。这样，若根据贝叶斯理论求得的类内差异后验概率大于类间差异的后验概率，则这两个人脸图像属于同一个人，否则属于不同的人。该类方法中，是将图像的灰度信息作为图像的特征，西北工业大学的彭进业等人将图象的反对称双正交小波变化系数作为表达图像的特征。英特尔公司的Nefian则提出了利用嵌入式贝叶斯网络进行人脸识别的方法，最低层是观察向量集合，其余每一层都是一个嵌入式贝叶斯网络集合，同一层中每个嵌入式贝叶斯网络的参数是相互独立的，而它们依赖于上层的父嵌入式贝叶斯网络。用嵌入式贝叶斯网络进行人脸识别的具体方法是为训练库中的每个人脸求得嵌入式贝叶斯网络参数，根据待识别人脸图像的观察序列，针对于每个训练贝叶斯模型计算最佳状态分段的可能性，两者之间的最高匹配分数用来判断待识别图像的身份。

第二类是基于人工神经网络的方法。用于人脸识别的神经网络主要有感知机、反向传播网络、径向基函数网络、对向传播网络和Hopfield网络等。在每种神经网络训练完成后，网络的输入神经元数目是待识别人脸图象的特征维数，输出层的神经元个数是训练库中的模式类别数，输出层中某个神经元的输出值最大，则待识别人脸属于该输出神经元对应的类别。

第三类是基于支持向量机的方法。该类方法的基本思想是首先通过定义适当的内积函数将输入的人脸图像空间变换到一个高维空间，然后在这个新空间中求取最优线性分类面，将低维空间的线性不可分问题变换成高维空间的线性可分问题。显而易见，基本的支持向量机是二分类分类器，而人脸识别是一个多分类问题。因此，美国国家标准与技术研究院的Phillips提出了将“类间差别”和“类内差别”引入到人脸识别中，将人脸识别这个多分类问题转换成为二分类问题。对于每一个待识别人脸图象，支持向量机计算该人脸与训练集中每个人脸的相似度得分，最小得分所对应的人脸即为输出结果；另一种解决该问题的途径是采用“一对多”的方法，即对于m分类问题，需要训练m个支持向量机分类器：麻省理工学院的Heisele提出了两种基于全局的方法和一种基于局部的方法。在基于全局的方法中，由整个人脸图象的灰度值组成的一个特征向量，一种方法是对训练库中的每个人脸训练一个支持向量机分类器，计算对应于待识别的人脸图像的模式的类别标号，当类标记为0时，表示待识别的人脸不在训练样本集中，否则，待识别人脸的类别与类别标号一致；另一种方法是根据具体视角构造支持向量机分类器，在训练过程中从一个人的所有经过预处理后的图象的初始聚类开始，对于有最大方差的聚类通过超平面划分为两类，分割后，同一聚类中与其它人脸距离最小的人脸为该聚类的平均脸。当聚类数目达到最大时，迭代的聚类过程停止，平均脸被排列成二叉树的形式，节点表示平均脸，叶子表示最终聚类中的一些人脸图象。基于局部的方法则对人脸的各部分进行独立的检测，并对各部件进行特征提取，将它们合并成一个特征向量，使用上述方法进行分类。除了以上方法中采用图象的的灰度值构成特征向量外，还可以采用主成分分析方法提取特征向量，也可以采用Gabor小波变换得到特征向量，与支持向量机相结合完成人脸识别。

第四类是基于隐马尔可夫模型学习的方法。一维隐马尔可夫模型将人脸由上至下划分为若干个区域，如头发，额头，眼睛，鼻子和嘴巴，每个区域对应于该模型的一个状态。根据人脸水平方向也具有相对稳定的空间结构，因此可将沿垂直方向划分的状态分别扩充为一个一维隐马尔可夫模型，共同组成了二维隐马尔可夫模型和伪二维隐马尔可夫模型。通过对训练库中每个人的多幅图像进行学习为每类训练样本建立一个隐马尔可夫模型，提取待识别人脸图像的观测向量，最有可能产生该观测向量的模型所对应的类别就是这个待识别人脸的身份信息。

第五类是基于实例学习的方法。实例学习的方法包括最近邻法、局部加权回归法、基于案例的推理，其中已用于人脸识别的是最近邻法，局部加权回归法可以看作最近邻算法的一般形式。与上述的其它方法相比，最近邻法是最简单而且有效的分类方法，当样本的分布情况未知或为非正态分布时，该方法的优势尤为突出。人脸图像的分布情况十分复杂，很难用正态分布来描述，因此，将最近邻法有效地用于人脸识别中成为研究人员关注的焦点之一。

基于最近邻法的人脸识别方法是将待识别人脸图像的特征与训练库中图像的特征进行比较，最相似的训练样本的类别信息即为待识别人脸所属的类别。因此，该类方法的关键问题是如何有效地提取人脸图像的特征。

提取人脸图像特征的方法有以下三种：

1.弹性图方法。首先在人脸图像上手动标记特征点，这些特征点即为图中的节点，在每个特征点处进行小波变换，所得到的小波变换系数即为该节点的属性，利用特征点之间的距离向量定义图中的边。按上述方法对一组具有相同姿态的训练人脸图像构造图结构，并根据得到的一组图获得人脸束图。对于一幅新的人脸图像，根据训练得到的人脸束图利用弹性束图匹配算法提取该图像的特征点及每个特征点的属性。

2.子空间方法。该方法根据训练图像集采用不同的子空间方法构造人脸特征子空间，一幅新的人脸图像在某个特征子空间上的投影即为对应于该子空间方法的新图像的特征。常用的子空间方法包括：特征脸方法，见文献“TurkMA，Pentland A P.Eigenfaces forrecognition.Cogn.Neurosi，3(1)：71-86，1991”，ICA方法，见文献“Bartlett M S，Movellan JR，Sejnowski T J.Face Recognition by Independent Component Analysis.IEEE transactions onneural networks，13(6)：1450-1464，2002”，Fisherfaces方法，见文献“Belhumeur V I，Hespanha J P.Kriegman D J.Eigenfaces vs.fisherfaces：recognition using class specific linearprojection.IEEE transactions on pattern analysis and machine intelligence，19(7)：711-720，1997”，核主成分分析方法，见文献“Kim K I，Jung K，Kim H J.Face recognition using kernelprincipal component analysis.IEEE Signal Processing Letters，9(2)：40-42，2002”，拉普拉斯脸方法，见文献“He X，Yan S，Hu Y，Niyogi P，Zhang H J.Face recognition using Laplacianfaces，IEEE transactions on Pattern Analysis and Machine Intelligence，27(3)：1-13，2005”，张量子空间分析方法，见文献“He X，Cai D，Niyogi P.Tensor subspace analysis，In：Proc.19thAnnual Conference on Neural Information Processing Systems，Vancouver，British Columbia，Canada，5-8 December 2005”。

以上特征提取方法主要提取的是人脸图像的纹理信息，与图像的亮度信息关系密切，因此受人脸表情变化、尺度变化，尤其是光照变化的影响很大。为了克服光照的影响，台湾大学的Chen等人提出了基于人脸图像结构信息的识别方法，但是该方法提取的特征向量是由两两特征点之间的距离组成，忽略了两两点之间的方向变化信息。有限的人脸特征提取方法限制了基于最近邻法的人脸识别方法的应用，因此如何更为有效地提取人脸的特征，减少表情、尺度和光照等变化的影响成为实现高效的人脸识别的关键问题。

发明内容

本发明的目的在于解决现有方法无法有效地提取人脸图像的拓扑结构信息，减少人脸识别中对于象素亮度信息的依赖性，克服基于最近邻法的人脸识别方法中受表情、尺度和光照等变化影响大的不足，提供一种双模人脸识别方法，以更好地实现在表情、尺度和光照变化下的人脸识别效果。

实现本发明目的的技术方案：首先为待识别人脸图像和训练库中人脸图像分别建立纹理模型，将待识别人脸图像和训练图像的纹理模型进行比对，再为待识别图像和训练图像分别建立拓扑形状模型，将两者的拓扑形状模型进行比对，然后将两种比对的结果进行融合，最后利用最近邻分类法确定待识别人脸的类别信息，具体内容可通过识别方法和识别装置简述。

一.本发明的双模人脸识别方法，包括如下步骤：

1)将人脸图像样本集划分为训练集和测试集，并根据训练集建立特征脸子空间；

2)将训练集和测试集中的图像都投影到步骤1)中所建立的特征脸子空间，建立训练样本纹理模型；

3)计算测试集和训练集中图像的纹理模型之间的距离；

4)从训练集中选取每个人的少数图像，通过手动标记其特征点，根据这些特征点集为训练集中每个人建立一个主动表观模型；

5)利用步骤4)中建立的主动表观模型为训练集中剩余的图像和测试集中的图像提取特征点，构造训练集和测试集中每幅图像的拓扑形状模型；

6)计算测试集和训练集中图像的拓扑形状模型之间的距离；

7)将步骤3)中的纹理模型之间的距离和步骤6)中的形状模型之间的距离进行加权融合；

8)根据步骤7)中获得的测试集与训练集中图像之间的距离，利用最近邻分类法确定测试集中图像的类别信息。

二.本发明提供的双模人脸识别虚拟装置，包括：

样本集划分模块，用于将人脸图像样本集划分为训练样本集{P_i}，i＝1，2，…，M，和测试样本集{T_j}，j＝1，2，…，N；

特征脸子空间建立模块，用于根据训练样本集中的图像利用主成分分析方法建立特征脸子空间；

训练图像纹理模型建立模块，用于将训练样本集中的图像投影到特征脸子空间，建立训练样本纹理模型；

训练图像形状模型建立模块，用于从训练样本集中选取少数图像，通过手动标记其特征点，根据这些特征点集建立主动表观模型，并利用该模型自动搜索剩余训练图像中的特征点，构建训练样本形状模型；

测试图像纹理模型建立模块，用于将测试样本集中的图像投影到特征脸子空间建立模块中建立的特征脸子空间中，得到对应于每幅测试图像的纹理模型；

纹理模型对比模块，用于利用2-范数计算第j个测试样本纹理模型与第i个训练样本纹理模型之间的距离，记为d_text ^ij，i＝1，2，…，M，j＝1，2，…，N；

测试图像形状模型建立模块，用于根据训练图像形状模型建立模块中建立的主动表观模型，提取测试样本集中的图像特征点，建立测试样本形状模型；

形状模型对比模块，用于利用图编辑距离计算第j个测试样本形状模型与第i个训练样本形状模型之间的距离，记为d_shape ^ij，其中i＝1，2，…，M，j＝1，2，…，N；

距离度量融合模块，用于将由纹理模型对比模块获得的测试图像与训练图像的纹理模型之间的距离和由形状模型对比模块获得的测试图像与训练图像的形状模型之间的距离进行加权融合，即

其中权值w₁和w₂根据经验取值，j＝1，2，…，N，i＝1，2，…，M；

身份识别模块，用于利用最近邻分类器确定第j个测试样本的身份信息U，其中j＝1，2，…，N，即

$U=\underset{i}{\arg \min }\left\{d_{\mathrm{ij}}\right\}.$

上述双模人脸识别虚拟装置，其中所述的特征脸子空间建立模块包括：

图像重排子模块，用于将训练样本集中的每幅图像拉成一个列向量，所有图像的向量排成一个矩阵；

子空间张成子模块，根据图像重排子模块中得到的图像矩阵，计算训练图像集的协方差矩阵，并对协方差矩阵进行特征值分解获得特征向量，保留对应于若干个最大特征值的特征向量，这些特征向量张成了特征脸子空间。

上述双模人脸识别虚拟装置，其中所述的训练图像形状模型建立模块包括：

手动标记子模块，用于从训练样本集中选取每个人的少数图像，并为选取的图像手动标记特征点，构成手动标记的特征点集合s_n＝{(x_i，y_i)}，其中，x_i和y_i分别为特征点的横纵坐标，n＝1，2，…，L，i＝1，2，…，Z，L为选取的图像个数，Z为每幅图像上的特征点个数；

自动标记子模块，根据手动标记的特征点集合s_n＝{(x_i，y_i)}为训练样本集中的每个人构建一个主动表观模型，并利用该模型为训练样本集中的剩余图像自动标记特征点；

形状模型建立子模块，根据手动标记子模块中手动标记的特征点或自动标记子模块中利用主动表观模型自动标记的特征点，构建训练样本集中每幅图像的Delaunay三角剖分图，该图即为对于该图像的形状模型。

上述双模人脸识别虚拟装置，其中所述的测试图像形状模型建立模块包括：

特征点获取子模块，用于根据训练图像形状模型建立模块中构建的主动表观模型，为测试样本集中的图像自动标记特征点；

测试形状模型构建子模块，利用Delaunay三角剖分对自动标记的特征点进行连接，获得测试图像的形状模型。

本发明由于融合了人脸图像的纹理信息和结构信息，为人脸图像建立了纹理模型和结构模型，通过结构模型减小光照和尺度变化的影响，通过纹理模型克服表情变化的影响，实现两个模型的相互融合，相互补充。本发明与单纯利用人脸图像的纹理信息或结构信息的人脸识别方法相比较，具有如下优点：

a)对于表情、光照、尺度有变化的人脸图像可以达到更高的识别率，如图3、图4、表1和表2所示，与基于特征脸、核主成分分析、独立成分分析、拉普拉斯脸、Fisher脸、张量子空间分析、图编辑距离等算法的人脸识别方法相比，用本发明方法的识别性能更好；

b)与其它变化因素相比，对于在光照变化条件下获取的人脸图像，具有更大的优势，如表1和图3所示，将人脸图像进行去光照的处理后，再利用特征脸、核主成分分析、独立成分分析、拉普拉斯脸、Fisher脸和张量子空间分析等方法进行人脸识别，与这些方法相比，本发明方法在无需去光照处理的情况下仍然可以获得更高的识别率。

附图说明

图1为本发明的双模人脸识别方法流程图；

图2为本发明的双模人脸识别虚拟装置图；

图3为仿真人脸图像受到光照变化影响时的识别结果图；

图4为仿真人脸图像受到表情变化影响时的识别结果图。

具体实施方式

本发明的核心思想是考虑到相对于单纯利用人脸图像的纹理信息或形状结构信息进行人脸识别的方法，从纹理信息和结构信息两个视角来表征人脸图像，将两者进行融合互补可以更好地克服光照、表情及尺度变化对识别性能的影响。由于特征脸是目前应用最广泛的纹理信息表达方式，将人脸图像在特征脸上的投影作为其纹理模型；图像的结构信息则通过将图像变换为图模型来表达，图编辑距离具有很好的容错性，因此利用该距离作为结构模型之间的相似性度量。

参照图1，本发明的人脸识别步骤如下：

第一步，划分人脸图像样本集。

在人脸图像样本集中，从每个人的所有图像中随机选取半数图像作为训练样本集{P_i}，i＝1，2，…，M，对于不同人的图像，随机选取的图像序号是对应的，人脸图像样本集中剩余的图像构成测试样本集{T_j}，j＝1，2，…，N。

第二步，根据训练样本集{P_i}中的图像利用主成分分析方法建立特征脸子空间。

2.1)将训练样本集中的每幅图像P_i，i＝1，2，…，M，进行重新排列，拉成一个列向量，所有图像的向量排成一个图像矩阵；

2.2)根据上步中得到的图像矩阵，计算训练图像集的协方差矩阵，并对协方差矩阵进行特征值分解获得特征向量，保留对应于若干个最大特征值的特征向量，这些特征向量张成了特征脸子空间W。

第三步，建立训练样本集中图像的纹理模型。

对于训练样本集中的每幅图像P_i，i＝1，2，…，M，根据公式P_i＝W×c_i，计算将P_i投影到特征脸子空间W后的投影系数c_i，构成训练样本的纹理模型。

第四步，建立训练样本集中图像的形状模型。

4.1)从训练样本集中选取每个人的少数图像，并为选取的图像通过手动标记其特征点，构成手动标记的特征点集合s_n＝{(x_i，y_i)}，其中，x_i和y_i分别为特征点的横纵坐标，i＝1，2，…，Z，n＝1，2，…，L，L为选取的图像个数，Z为每幅图像上的特征点个数；

4.2)根据手动标记的特征点集合s_n＝{(x_i，y_i)}为训练样本集中的每个人构建一个主动表观模型，并利用该模型为训练样本集中的剩余图像自动标记特征点；

4.3)根据4.1)步中手动标记的特征点或4.2)步中利用主动表观模型自动标记的特征点，构建训练样本集中每幅图像的Delaunay三角剖分图，该三角剖分图即为对于该图像的形状模型。

第五步，建立测试样本集中图像的纹理模型。

将测试样本集中的图像T_j，j＝1，2，…，N，投影到第二步中计算的特征脸子空间W中，根据公式T_j＝W×t_j，得到对应于测试图像T_j的投影系数t_j，即为测试图像纹理模型。

第六步，比较测试样本纹理模型和训练样本纹理模型的相似度。

利用2-范数计算第j个测试样本纹理模型与第i个训练样本纹理模型之间的距离，即

$d_{\mathrm{text}}^{\mathrm{ij}}={\left|\right|c_i-t_j\left|\right|}_2,$

其中i＝1，2，…，M，j＝1，2，…，N，将该距离作为第j个测试样本纹理模型与第i个训练样本纹理模型之间的相似性度量。

第七步，根据第四步中建立的主动表观模型，提取测试样本集中的图像的特征点，建立测试样本形状模型。

7.1)根据第四步中构建的主动表观模型，为测试样本集中的图像_Tj，j＝1，2，…，N，自动标记特征点；

7.2)利用Delaunay三角剖分对自动标记的特征点进行连接构造三角剖分图，该三角剖分图即为测试图像的形状模型。

第八步，比较测试样本形状模型和训练样本形状模型的相似度。

利用图编辑距离计算第j个测试样本形状模型与第i个训练样本形状模型之间的距离，记为d_shape ^ij其中，i＝1，2，…，M，j＝1，2，…，N，图编辑距离包括基于隐马尔可夫模型的图编辑距离和基于边缘方向直方图的图编辑距离，在基于隐马尔可夫模型的图编辑距离中，为第j个测试样本和第i个训练样本的形状模型分别建立隐马尔可夫模型，计算两个隐马尔可夫模型之间的Kullback-Leibler距离，记为(HMM_GED)；在基于边缘方向直方图的图编辑距离中，分别计算这两个形状模型的边缘方向直方图，并求出两个边缘方向直方图之间的Earth Mover′s Distance，记为(EDH_GED)；

第九步，融合两种距离。

将第六步获得的测试图像与训练图像的纹理模型之间的距离和第八步获得的测试图像与训练图像的形状模型之间的距离进行加权融合，即

其中权值w₁和w₂根据经验取值，j＝1，2，…，N，i＝1，2，…，M；

第十步，利用分类器确定身份信息。

利用最近邻分类器确定第j个测试样本的身份信息U，其中j＝1，2，…，N，即

$U=\underset{i}{\arg \min }\left\{d_{\mathrm{ij}}\right\}.$

参照图2，本发明的虚拟装置包括：样本集划分模块、特征脸子空间建立模块、训练图像纹理模型建立模块、训练图像形状模型建立模块、测试图像纹理模型建立模块、纹理模型对比模块、测试图像形状模型建立模块、形状模型对比模块、距离度量融合模块、身份识别模块，其中特征脸子空间建立模块包括图像重排子模块和子空间张成子模块，训练图像形状模型建立模块包括手动标记子模块、自动标记子模块、和形状模型建立子模块，测试图像形状模型建立模块包括特征点获取子模块和测试形状模型构建子模块。整个装置的工作过程如下：

样本集划分模块，将人脸图像样本集划分为训练样本集{P_i}，i＝1，2，…，M，和测试样本集{T_j}，j＝1，2，…，N，并将获得的训练样本集输入特征脸子空间建立模块、训练图像纹理模型建立模块、训练图像形状模型建立模块、测试图像纹理模型建立模块和测试图像形状模型建立模块；

在特征脸子空间建立模块中，利用图像重排子模块，将训练样本集中的每幅图像拉成一个列向量，所有图像的向量排成一个矩阵，将所得到的图像矩阵输入子空间张成子模块，根据图像重排子模块中得到的矩阵，计算训练样本集中图像的协方差矩阵，并对协方差矩阵进行特征值分解获得特征向量，保留对应于若干个最大的特征值的特征向量，这些特征向量张成了特征脸子空间，该模块建立的特征脸子空间输出到训练图像纹理模型建立模块和测试图像纹理模型建立模块，在训练图像纹理模型建立模块中将训练样本集中的图像投影到特征脸子空间，建立训练样本纹理模型，将获得的纹理模型输入到纹理模型对比模块；

在训练图像形状模型建立模块中，利用手动标记子模块，用于从训练样本集中选取每个人的少数图像，并为选取的图像通过手动标记其特征点，构成手动标记的特征点集合s_n＝{(x_i，y_i)}，其中，x_i和y_i分别为特征点的横纵坐标，n＝1，2，…，L，i＝1，2，…，Z，L为选取的图像个数，Z为每幅图像上的特征点个数，将所得的特征点集输入自动标记子模块，根据手动标记的特征点集合s_n＝{(x_i，y_i)}为训练样本集中的每个人构建一个主动表观模型，并利用该模型为训练样本集中的剩余图像自动标记特征点，根据手动标记子模块中手动标记的特征点或自动标记子模块中利用主动表观模型自动标记的特征点，利用形状模型建立子模块构建训练样本集中每幅图像的Delaunay三角剖分图，该图即为对于该图像的形状模型，该模块获得的主动表观模型输入到测试图像形状模型建立模块，建立的训练图像形状模型输入到形状模型对比模块；

在测试图像纹理模型建立模块中，将测试样本集中的图像投影到从特征脸子空间建立模块输出的特征脸子空间中，得到对应于每幅测试图像的纹理模型，将获得的纹理模型输入到纹理模型对比模块，根据训练图像纹理模型建立模块输出的训练图像纹理模型，利用2-范数计算第j个测试样本纹理模型与第i个训练样本纹理模型之间的距离，记为d_test ^ij，j＝1，2，…，N，i＝1，2，…，M，将所有纹理模型之间的距离输入距离度量融合模块；

在测试图像形状模型建立模块中，利用特征点获取子模块，根据训练图像形状模型建立模块中输出的主动表观模型，为测试样本集中的图像自动标记特征点，并在测试形状模型构建子模块中利用Delaunay三角剖分对特征点获取子模块中获得的自动标记特征点进行连接，获得测试图像的形状模型，将这些模型输入到形状模型对比模块，与训练图像形状模型建立模块输出的训练图像形状模型进行比对，利用图编辑距离计算第j个测试样本形状模型与第i个训练样本形状模型之间的距离，记为d_shape ^ij，其中，j＝1，2，…，N，i＝1，2，…，M，图编辑距离包括基于隐马尔可夫模型的图编辑距离和基于边缘方向直方图的图编辑距离，在基于隐马尔可夫模型的图编辑距离中，为第j个测试样本和第i个训练样本的形状模型分别建立隐马尔可夫模型，计算两个隐马尔可夫模型之间的Kullback-Leibler距离，记为(HMM_GED)；在基于边缘方向直方图的图编辑距离中，分别计算这两个形状模型的边缘方向直方图，并求出两个边缘方向直方图之间的EarthMover′s Distance，记为(EDH_GED)，将所有形状模型之间的距离输入距离度量融合模块；

在距离度量融合模块中，将由纹理模型对比模块输出的测试图像与训练图像的纹理模型之间的距离和由形状模型对比模块输出的测试图像与训练图像的形状模型之间的距离进行加权融合，即

其中权值w₁和w₂根据经验取值，j＝1，2，…，N，i＝1，2，…，M；根据距离度量融合模块输出的测试图像与训练图像之间的距离，在身份识别模块中利用最近邻分类器确定第j个测试样本的身份信息U，其中j＝1，2，…，N，即

$U=\underset{i}{\arg \min }\left\{d_{\mathrm{ij}}\right\}.$

本发明的优点可通过以下实验进一步说明，为了验证本发明提出的人脸识别方法的有效性，将本发明方法分别与基于纹理信息的人脸识别方法，包括特征脸方法、ICA方法、Fisherfaces方法、核主成分分析方法、拉普拉斯脸方法、张量子空间分析方法和基于结构信息的方法，包括基于隐马尔可夫模型的图编辑距离方法、基于边缘方向直方图的图编辑距离方法和基于谱序列的图编辑距离方法(Spectral-GED)进行实验对比。

实验一：光照变化条件下的人脸识别

实验在卡内基梅隆大学的Terence Sim，Simon Baker和Maan Bsat等人建立的PIE数据库进行。在该实验中，除了上述方法外，将基于纹理信息的人脸识别方法和去光照的方法相结合，即先对图像通过同态滤波方法和直方图均衡化方法去光照，然后再利用上述识别方法进行识别。各个方法所获得的识别结果如图3所示。由图3可以看出，若图像没有进行去光照处理时，本发明方法将HMM-GED和EDH-GED分别与特征脸方法相结合，获得了较好的识别性能，优于单纯依赖于纹理信息或结构信息的方法，尤其当基于边缘方向直方图的图编辑距离与特征脸方法相结合时识别率最高。将基于谱序列的图编辑距离应用于本发明提出的框架中，其识别率高于特征脸方法、ICA方法、Fisherfaces方法。将图像去光照与基于纹理信息的人脸识别方法相结合时，本发明方法仍然具有最好的识别性能。计算上述方法的累计匹配分数，结果见表1。

表1.光照变化条件下9种人脸识别方法的累计匹配分数(％)

从该表可以得出与图3一致的结论，因此本发明方法对于人脸图像的光照变化具有鲁棒性。

实验二：表情变化条件下的人脸识别

实验在艾塞克斯大学的Libor Spacek博士等人建立的表情变化人脸数据库上进行。各个方法所获得的识别结果如图4所示。将三种图编辑距离方法分别与特征脸方法相结合的方法，以及特征脸方法均优于相应的图编辑距离方法和其它的基于纹理的识别方法，尤其将EDH-GED与特征脸方法相结合时可以获得最好的识别性能。因此本发明方法对于人脸图像的表情变化具有一定的容忍性。

实验三：尺度变化条件下的人脸识别

实验在艾塞克斯大学的Libor Spacek博士等人建立的尺度变化人脸数据库上进行，各个方法所获得的识别结果如表2所示。

表2.尺度变化条件下9种人脸识别算法的累计匹配分数(％)

由表2可见，本发明方法具有较好的识别性能，其中EDH-GED与特征脸相结合时获得了最好的识别效果。因此本发明方法在一定程度上可以克服人脸图像的尺度变化带来的影响。

Claims (9)

1.一种双模人脸识别方法，包括如下过程：

(1)将人脸图像样本集划分为训练样本集{P_i}，i＝1，2，…，M，和测试样本集{T_j}，j＝1，2，…，N；

(2)根据训练样本集中的图像利用主成分分析方法建立特征脸子空间；

(3)将训练样本集中的图像投影到特征脸子空间，建立训练样本纹理模型；

(4)从训练样本集中选取少数图像，通过手动标记其特征点，根据这些特征点集建立主动表观模型，并利用该模型自动搜索剩余训练图像中的特征点，构建训练样本形状模型；

(5)将测试样本集中的图像投影到步骤(2)建立的特征脸子空间中，得到对应于每幅测试图像的纹理模型；

(6)利用2-范数计算第j个测试样本纹理模型与第i个训练样本纹理模型之间的距离，记为d_text ^ij，i＝1，2，…，M，j＝1，2，…，N；

(7)根据步骤(4)中建立的主动表观模型，提取测试样本集中的图像特征点，建立测试样本形状模型；

(8)利用图编辑距离计算第j个测试样本形状模型与第i个训练样本形状模型之间的距离，记为d_shape ^ij其中，i＝1，2，…，M，j＝1，2，…，N；

(9)将步骤(6)中获得的测试图像与训练图像的纹理模型之间的距离和步骤(8)中获得的测试图像与训练图像的形状模型之间的距离进行加权融合，即

其中权值w₁和w₂根据经验取值，j＝1，2，…，N，i＝1，2，…，M；

(10)利用最近邻分类器确定第j个测试样本的身份信息U，其中j＝1，2，…，N，即

$U=\underset{i}{\arg \min }\left\{d_{\mathrm{ij}}\right\}.$

2.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(2)所述的“建立特征脸子空间”，按如下过程进行：

2a).将训练样本集中的每幅图像拉成一个列向量，所有图像的向量排成一个矩阵；

2b).根据上步中得到的图像矩阵，计算训练图像集的协方差矩阵，并对协方差矩阵进行特征值分解获得特征向量，保留对应于若干个最大特征值的特征向量，这些特征向量张成了特征脸子空间。

3.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(4)所述的“构建训练样本形状模型”，按如下过程进行：

3a).从训练样本集中选取每个人的少数图像，并为选取的图像通过手动标记其特征点，构成手动标记的特征点集合s_n＝{(x_i，y_i)}，其中，x_i和y_i分别为特征点的横纵坐标，i＝1，2，…，Z，n＝1，2，…，L，L为选取的图像个数，Z为每幅图像上的特征点个数；

3b).根据手动标记的特征点集合s_n＝{(x_i，y_i)}为训练样本集中的每个人构建一个主动表观模型，并利用该模型为训练样本集中的剩余图像自动标记特征点；

3c).根据3a)步中手动标记的特征点或3b)步中利用主动表观模型自动标记的特征点构建训练样本集中每幅图像的Delaunay三角剖分图，该图即为对于该图像的形状模型。

4.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(7)所述的提取测试样本集中的图像的特征点，建立其形状模型，按如下过程进行：

4a).根据第(4)步中构建的主动表观模型，为测试样本集中的图像自动标记特征点；

4b).利用Delaunay三角剖分对自动标记的特征点进行连接，获得测试图像的形状模型。

5.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(8)所述的“图编辑距离”包括基于隐马尔可夫模型的图编辑距离和基于边缘方向直方图的图编辑距离，在基于隐马尔可夫模型的图编辑距离中，为第j个测试样本和第i个训练样本的形状模型分别建立隐马尔可夫模型，计算两个隐马尔可夫模型之间的Kullback-Leibler距离，记为(HMM_GED)；在基于边缘方向直方图的图编辑距离中分别计算这两个形状模型的边缘方向直方图，并求出两个边缘方向直方图之间的Earth Mover′sDistance，记为(EDH_GED)。

6.一种双模人脸识别装置，包括：

样本集划分模块，用于将人脸图像样本集划分为训练样本集{P_i}，i＝1，2，…，M，和测试样本集{T_j}，j＝1，2，…，N；

特征脸子空间建立模块，用于根据训练样本集中的图像利用主成分分析方法建立特征脸子空间；

训练图像纹理模型建立模块，用于将训练样本集中的图像投影到特征脸子空间，建立训练样本纹理模型；

训练图像形状模型建立模块，用于从训练样本集中选取少数图像，通过手动标记其特征点，根据这些特征点集建立主动表观模型，并利用该模型自动搜索剩余训练图像中的特征点，构建训练样本形状模型；

测试图像纹理模型建立模块，用于将测试样本集中的图像投影到特征脸子空间建立模块中建立的特征脸子空间中，得到对应于每幅测试图像的纹理模型；

纹理模型对比模块，用于利用2-范数计算第j个测试样本纹理模型与第i个训练样本纹理模型之间的距离，记为d_text ^ij，i＝1，2，…，M，j＝1，2，…，N；

测试图像形状模型建立模块，用于根据训练图像形状模型建立模块中建立的主动表观模型，提取测试样本集中的图像特征点，建立测试样本形状模型；

形状模型对比模块，用于利用图编辑距离计算第j个测试样本形状模型与第i个训练样本形状模型之间的距离，记为d_shape ^ij，其中i＝1，2，…，M，j＝1，2，…，N；

距离度量融合模块，用于将由纹理模型对比模块获得的测试图像与训练图像的纹理模型之间的距离和由形状模型对比模块获得的测试图像与训练图像的形状模型之间的距离进行加权融合，即其中权值w₁和w₂根据经验取值，j＝1，2，…，N，i＝1，2，…，M；

身份识别模块，用于利用最近邻分类器确定第j个测试样本的身份信息U，其中j＝1，2，…，N，即

$U=\underset{i}{\arg \min }\left\{d_{\mathrm{ij}}\right\}.$

7.根据权利要求6所述的双模人脸识别装置，其中特征脸子空间建立模块，包括：

图像重排子模块，用于将训练样本集中的每幅图像拉成一个列向量，所有图像的向量排成一个矩阵；

子空间张成子模块，根据图像重排子模块中得到的图像矩阵，计算训练图像集的协方差矩阵，并对协方差矩阵进行特征值分解获得特征向量，保留对应于若干个最大特征值的特征向量，这些特征向量张成了特征脸子空间。

8.根据权利要求6所述的双模人脸识别装置，其中训练图像形状模型建立模块，包括：

手动标记子模块，用于从训练样本集中选取每个人的少数图像，并为选取的图像手动标记特征点，构成手动标记的特征点集合s_n＝{(x_i，y_i)}，其中，x_i和y_i分别为特征点的横纵坐标，n＝1，2，…，L，i＝1，2，…，Z，L为选取的图像个数，Z为每幅图像上的特征点个数；

自动标记子模块，根据手动标记的特征点集合s_n＝{(x_i，y_i)}为训练样本集中的每个人构建一个主动表观模型，并利用该模型为训练样本集中的剩余图像自动标记特征点；

形状模型建立子模块，根据手动标记子模块中手动标记的特征点或自动标记子模块中利用主动表观模型自动标记的特征点，构建训练样本集中每幅图像的Delaunay三角剖分图，该图即为对于该图像的形状模型。

9.根据权利要求6所述的双模人脸识别装置，其中测试图像形状模型建立模块，包括：

特征点获取子模块，用于根据训练图像形状模型建立模块中构建的主动表观模型，为测试样本集中的图像自动标记特征点；

测试形状模型构建子模块，利用Delaunay三角剖分对自动标记的特征点进行连接，获得测试图像的形状模型。

Images