CN100356387C - 基于随机采样的面部识别方法 - Google Patents

Abstract

LDA是一种常见的用于面部识别的特征提取技术。但是，在处理高维度的面部数据时，其通常会遇到小样本的问题。费舍人脸和零空间LDA(N-LDA)是两种常见的处理这个问题的方法。但是，在很多情况下，这些LDA分类器对于训练集合过拟合，并丢弃了一些有用的识别信息。在本发明中，通过分析两种LDA分类器的不同的过拟合问题，提出了一种利用随机子空间和随机样本组合以分别对其进行改进的方法。通过对于特征向量和训练样本的随机采样，构建多个稳定的费舍人脸和N-LDA分类器。可以将这两种互补式的分类器通过融合方式综合在一起，因此几乎能够保存所有的识别信息。这种方法也可以被应用到其它多种特征上，建立将形状、纹理和Gabor反应整体考虑的鲁棒的人脸识别系统。

Description

基于随机采样的面部识别方法

技术领域

本发明涉及用于面部识别的特征提取技术，尤其涉及利用随机采样的面部识别方法。

背景技术

线性判别分析(LDA)是一种用于面部识别的常见的特征提取技术。根据费舍标准(Fisher criteria)，LDA决定了一组投影向量，该组投影向量使得在投影特征空间中的类间的散布矩阵最大化，而使类内的散布矩阵最小化。由于通常对于每一类人脸，仅有少量样本用于训练，同一类别的类内散布矩阵将不能被很好地估计，并可能成为奇异矩阵，因此LDA分类器通常具有偏差，并且对于训练集的微小改变十分敏感。

下面简要说明主成分分析(PCA)方法和两种常规的LDA人脸识别方法，即费舍人脸(Fisherface)和零空间N-LDA方法。

首先需要说明，在本说明书中，术语“类”的含义是指训练集和参考图像库(Gallery)中的个体(人)。

对于基于表象的人脸识别，一个2D的人脸图像被视作一个在高维图像空间中的长度为N的向量。训练集包括属于L个独立分类{X_j}_j＝1 ^L的M个样本 $\{{\stackrel{\→}{x}}_i{\}}_{i=1}^M.$

I.PCA方法

PCA方法是利用Karhunen-Loeve变换来实现面部描述和识别。从训练集的整体协方差矩阵的特征向量中计算出特征脸集合，其中协方差矩阵由下式计算：

$C=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{({\stackrel{\→}{x}}_i-\stackrel{\→}{m})({\stackrel{\→}{x}}_i-\stackrel{\→}{m})}^T---\left(1\right)$

其中

是所有样本的均值，

$\stackrel{\→}{m}=\frac{1}{M}{\mathrm{\Σ}}_{i=1}^M{\stackrel{\→}{x}}_i---\left(2\right)$

最多存在M-1个有非零特征值的特征脸。通常，选择K个最大的特征脸(K个有最大特征值的特征脸)， $U=[{\stackrel{\→}{u}}_1,...{\stackrel{\→}{u}}_K],$ 用于形成PCA子空间。因为，在K维空间，这些特征脸能够在最小的重构误差下重建人脸图形。通过将人脸数据

投影到PCA子空间能够提取低维的人脸特征，

$\stackrel{\→}{w}=U^T(\stackrel{\→}{x}-\stackrel{\→}{m})---\left(3\right)$

不同特征脸的特征是不相关的，并且当人脸样本分布符合高斯分布时，这些特征是独立的。

在其他研究中选择了不同的子空间维度。在参考文献1，即H.Monn，和P.J.Phillips所著的“Analysis of PCA-Based Face Recognition Algorithms”(基于PCA的面部识别算法的分析)，刊于Empirical Evaluation Techniques inComputer Vision(计算机视觉的经验评价技术，K.W.Bowyer和P.J.Phillips编辑，IEEE Computer Society Press(IEEE计算机协会出版社)，Los Alamitos，加利福尼亚，1998年)中，PCA子空间的维度选择为特征脸总数的40％。

在参考文献2，即D.Swets和J.Weng所著的“Using DiscriminantEigenfeatures for Image Retrieval”(在图像检索中使用判别特征，IEEE Trans.on PAMI(IEEE关于PAMI的会刊)，第16卷，第8期，第831-836页，1996年8月)中，选出的特征脸含有总能量的95％。他们都丢弃了小特征值对应的特征脸。

II.费舍人脸方法

LDA试图找到一个投影向量集合W能够最好地识别不同类别。根据费舍标准，通过使类间散布矩阵S_b的行列式的值与类内散布矩阵S_w的行列式的值之间的比率最大化，可以实现这一点：

$W=\arg \max \left|\frac{W^T{S}_{b}W}{W^T{S}_{w}W}\right|---\left(4\right)$

其中S_b和S_w定义为，

$S_w=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{{\stackrel{\→}{x}}_k\∈X_i}{\mathrm{\Σ}}({\stackrel{\→}{x}}_k-{\stackrel{\→}{m}}_i){({\stackrel{\→}{x}}_k-{\stackrel{\→}{m}}_i)}^T---\left(5\right)$

$S_b=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{n}_i({\stackrel{\→}{m}}_i-\stackrel{\→}{m}){({\stackrel{\→}{m}}_i-\stackrel{\→}{m})}^T---\left(6\right)$

其中

是具有n_i个样本的类别X_i的人脸均值。W能够由S_w ^-1S_b的特征向量计算得到(参见参考文献3：K.Fukunnaga所著的“Introduction to StatisticalPattern Recognition”(统计学图案识别的介绍，Academic Press(学院出版社)，第二版，1991年)。S_w的秩最大为M-L。不过在人脸识别中，每个类别通常仅有少量样本，M-L相对于人脸向量长度N很小。所以S_w可能会成为奇异阵，从而使得S_w ^-1难以计算。

为了解决上述现有的LDA分类器的问题，提出了一种两阶段的PCA+LDA方法，即费舍人脸(Fisherface)方法。通过PCA，高维度的人脸数据被映射到了一个低维度的特征空间，随后在低维度的PCA子空间中执行LDA处理。通常，在PCA子空间，具有较小特征值的特征脸被去除。由于这些特征脸也可能会包括一些有用的识别信息，它们的移除可能会带来判别信息的遗失。为构建一个稳定的LDA分类器，PCA子空间的维数取决于训练集的大小。当PCA子空间的维数相对较高时，所构建的LDA分类器通常具有偏差并且不稳定。训练集的轻微的噪声扰动就可能会造成投影向量的较大的改变。因此，为构建一个稳定的LDA分类器，当训练集较小时，一些判别信息不得不被丢弃。

参见参考文献4，即V.Belhumeur，J.Hespanda，和D.Kiregeman所著的，“Eigenfaces vs.Fisherfaces：Recognition Using Class Specific Linear Projection”(特征脸与费舍人脸的比较：使用类别所特定的线性投影进行识别，IEEE Trans.on PAMI(IEEE关于PAMI的会刊)，第19卷，第7期，第711-720页，1997年7月)，在费舍人脸方法中，首先，将人脸数据投影到一个由M-L个最大的特征脸张成的PCA子空间。随后，在M-L维子空间中执行LDA，使得S_w成为非奇异的。但是，在很多情况下，M-L维相对于训练集仍然太高。当训练集较小时，S_w将不能很好地被估计。训练集的轻微的噪声抖动将会很大地改变S_w的逆矩阵。因此，LDA分类器通常具有偏差并且不稳定。

III.零空间LDA

在参考文献5，即L.Chen，H.Liao，M.Ko，J.Liin，和G.Yu所著的“ANew LDA-based Face Recognition System Which can Solve the Small SampleSize Problem”(一种能够解决小样本规模问题的新的基于LDA的面部识别系统，Pattern Recognition(图案识别)，第33卷，第10期，第1713-1726页，2000年10月)中，提出了满足W^TS_wW＝0的零空间S_w也包含了很多判别信息。有可能找出某些投影向量W满足W^TS_wW＝0和W^TS_bW≠0，这样式(4)中的费舍准则必定会达到它的最大值。这样，就提出了在零空间S_w上应用的LDA方法。首先，零空间S_w被计算为

V^TS_wV＝0    (7)

类间散布矩阵被投影到零空间S_w，

${\tilde{S}}_b=V^T{S}_{b}V---\left(8\right)$

LDA投影向量被定义为W＝VΦ，其中Φ含有 中前几个最大特征值对应的特征向量。

N-LDA也会对训练集产生过拟合。S_w的秩r(S_w)受min(M-L，N)的限制。因为噪声的存在，r(S_w)几乎等于这个界限。零空间的维度是max(0，N-M+L)。如参考文献4中的试验所示，当训练样本数目大时，零空间S_w变小，这样将导致过多的在零空间以外的判别信息丢失。一个极端的情况是当训练集很大以至M-L＝N。这样，在这个空间中不能获得任何信息，因为零空间的维度为零。

综上所述，费舍人脸方法和零空间LDA方法因不同的原因都遭遇了过拟合的问题。即，在费舍人脸方法中，当训练集与高维特征向量相比较小的时候，过拟合就会发生。与费舍人脸方法相反，在N-LDA中，过拟合问题在训练样本数较大时发生，因为零空间过小以至不含有足够的判别信息。

发明内容

鉴于现有技术的上述问题，本发明的目的是提供一种基于LDA的面部识别的方法，通过引入随机采样来克服现有的费舍人脸方法和零空间LDA方法所存在的上述缺陷。

根据本发明的基于随机采样的面部识别方法可包括：对面部特征空间进行随机采样；根据全部的面部训练集和随机采样得到的不同的随机子空间训练出多个线性判别分析分类器；对所述面部训练集进行随机采样；根据得到的随机采样集训练出多个零空间线性判别分析分类器；将要识别的面部数据输入至所述多个线性判别分析分类器和零空间线性判别分析分类器；以及将多个线性判别分析分类器和零空间线性判别分析分类器的输出融合。

在本发明的方法中，为了构造稳定的LDA分类器，对训练集进行多次采样，以减少训练样本数与特征向量长度之间的矛盾。利用这种随机采样的方法，可以构造多个稳定的LDA分类器。通过将这些分类器融合来构造一个更强大的分类器，它能够覆盖整个特征空间而不丢失判别信息。

根据本发明的一种实施方案，采用随机子空间的方法对基于费舍脸的识别方法进行改进。该方法包括：对面部训练集中的面部特征值进行随机采样，产生多个随机子空间；由所述多个随机子空间分别训练出多个LDA分类器；将要被识别的面部数据输入至这多个LDA分类器；最后按照预定的规则将所述多个LDA分类器的输出融合。

优选地，在上述方法中，对具有M个训练样本的面部训练集先进行PCA处理，去掉具有零特征值的特征脸，保留M-1个特征脸作为构造所述随机子空间的候选者。对所述面部训练集的M-1个特征脸进行随机采样，产生多个随机子空间。

优选地，在上述方法中，每个随机子空间包含所述面部训练集中依次具有最大特征值的多个特征脸，以及所述面部训练集的随机的多个具有其它特征值的特征脸。

本发明的方法首次将随机子空间应用到面部识别问题领域。本发明可以直接采样原始的特征向量，而优选的方式是对面部训练集经过PCA处理后形成的PCA子空间中进行采样。这样，特征空间的维度被大大地减小了，而并没有损失判别信息。在进行PCA处理之后，不同特征脸上的特征是不相关的，因而更为独立，从而能够取得更好的准确率。此外，本发明中的随机子空间可以不是完全随机的。随机子空间的维度是固定的，即由训练集决定的，以使得LDA分类器稳定。每个随机子空间由N₀+N₁个维度张成，其中，前N₀个维度固定为训练集中N₀个具有最大值的特征脸，从而包含了大部分的人脸结构信息。其余的N₁个维度可以随机地从训练集中其他M-1-N₀个特征脸中选出。

根据本发明的另一种实施方案，针对零空间LDA存在的当训练样本的数量较大时零空间较小的问题，可以通过随机样本组合(Bagging)对训练集采样来生成随机采样集(bootstrap replica)，这样每个随机采样集都有较小数目的训练样本。基于这个策略，本发明的通过随机样本组合来增强基于零空间LDA的人脸识别的方法可包含下列步骤：

对面部训练集包含的M个训练样本进行随机采样，产生多个随机采样集，每个随机采样集含有从所述面部训练集包含的L个类中随机选出的L₁个类的训练样本，其中L₁＜L；由所述多个随机采样集分别训练出多个随机样本组合N-LDA分类器；将要被识别的面部数据输入至这多个随机样本组合N-LDA分类器；最后按照预定的融合规则将所述多个N-LDA分类器的输出组合。

优选地，在上述方法中，在对所述训练样本进行所述随机采样之前，对所述训练集先进行PCA处理，将所述面部训练集的所有面部数据投影到M-1个具有非零特征值的特征脸。然后，对所述PCA处理后的面部训练集进行所述训练样本的随机采样。

根据本发明的方法，可以随机地对类别进行采样，但没有在每个类里的样本随机地采样。这是因为在人脸识别中通常会有大量的类别(人)，但在每个类别中只有少量的样本(如果在每个类别中有足够多的样本，也可以尝试在每个类中随机采样数据)。例如，在试验图库(下文将说明)中有295个人而每个人只有两个样本供训练用。由随机采样集T_i构造的N-LDA不仅能够有效地分类在这个随机采样集中的L₁个个体，而且能够区分T_i以外的人，因为人脸共享相似的内在变化。使用K个分类器能够更好地覆盖训练集中所有的L个类别。

根据本发明的一个优选方案，可以将上述两种实施方案(即随机子空间的方法和随机样本组合(Bagging)的方法)集成，来实现基于LDA的人脸识别。

费舍人脸是从S_w的主子空间计算得到的，满足W^TS_wW≠0；而N-LDA是从它的正交子空间计算得到的，满足W^TS_wW＝0。两者都丢弃了某些判别信息。但是，由于被两种分类器保留的信息是互补的。这样，可以组合这两类互补的由随机采样生成的多个LDA分类器来构造最终的分类器。

附图说明

图1显示了根据本发明的一优选实施方式的示意图，将通过随机采样方法改进的费舍人脸方法和N-LDA方法集成在一起；

图2是人脸图形模板的示意图；

图3是XM2VTS数据库中在四个不同时间拍摄的同一人的人脸图像；

图4显示了在减少的PCA子空间中利用不同数量的PCA特征脸的费舍人脸的分类器的识别正确率；

图5显示了使用多数决投票规则，组合20个由随机子空间构造的LDA分类器的识别正确率。每个随机子空间从589个非零特征值的特征脸中随机选择100个特征脸；

图6显示了使用多数决投票规则，组合不同数目的由随机子空间构造的LDA分类器的识别正确率。每个随机子空间从589个非零特征值的特征脸中随机选择100个特征脸；

图7显示的是使用多数决投票和求和规则，组合20个由随机子空间构造的LDA分类器的识别正确率。在每个随机子空间，将前50个维度固定为50个具有最大特征值的特征脸，然后从剩余的539张特征脸中随机选择另外50个；

图8显示了组合20个由随机子空间构造的N-LDA分类器的识别准确率；

图9显示了使用多数决投票和求和规则，组合20个由随机样本组合随机采样集构造的N-LDA分类器的识别准确率。其中每个随机采样集含有150个训练人；

图10显示的是组合由含有不同数目(L)的训练人的随机样本组合随机采样集构造的20个费舍人脸分类器的识别准确率。PCA空间由100个最大特征脸张成。组合的规则是多数决投票。

具体实施方式

下面参考附图说明本发明的具体实施方式。

虽然图像空间的维数很高，但是，只有部分空间(子空间)包括判别信息。这些子空间是由协方差C中的非零特征值对应的特征向量张成的。从M个训练样本中计算出的协方差矩阵，最多具有M-1个非零特征值对应的特征向量。在剩下的与零特征值对应的特征向量中，所有的训练样本具有零投影，并且不包含判别信息。因此，本发明中的两种LDA算法都是先将高维的图像数据投影到M-1维的PCA子空间，然后再进行随机采样。当然，也可以不进行PCA处理，直接在原数据上进行随机采样。

随机子空间以及随机样本组合是两种常规的用于增强弱分类器的随机采样技术。关于随机子空间方法可参见如下参考文献：

参考文献6：T.Kam Ho所著的“The Random Subspace Method forConstructing Decision Forests”(用于构造决策丛的随机子空间方法)，IEEETrans.on PAMI(IEEE关于PAMI的会刊)，第20卷，第8期，第832-844页，1998年8月。

参考文献7：T.Kam Ho所著的“Nearest Neighbor in Random Subspace”(随机子空间中的最近的邻居)，Intelligent Data Analysis(智能数据分析)，3，第191-209页，1999年。

关于随机样本组合可参见如下参考文献：

参考文献8：L.Breiman所著的“Bagging Predictors”(随机样本组合预估器)，Machine Learning(机器学习)，第24卷，第2期，第123-140页，1996年。

在随机子空间的方法中，通过随机采样，从原始的高维特征向量中产生一组低维子空间。在最终判决中，多个构建在由随机采样产生的低维子空间中的分类器被融合。在随机样本组合中，通过对训练集的随机采样产生随机的随机采样集，且所有分类器的输出结果最终被融合。

如上所述，在费舍人脸方法中，当训练集相对于高维度的特征向量较小时发生过拟合。该问题可以通过采用随机子空间以减少特征向量的维数的方法解决。在N-LDA方法中，当训练样本的数量较大时零空间较小。由于每个随机采样集包含更少的训练样本，这个问题可以通过随机样本组合来减弱。费舍人脸方法和N-LDA方法都丢弃了一些判别信息。不过，由于这两类分类器在两个互为正交的子空间中进行计算，它们互为补充，可以通过融合规则将它们组合，如图1所示。

下面首先说明本发明的一个实施方案。在该方案中，通过随机子空间方法对费舍人脸方法进行了改进。

在该实施方案中，首先对含有M个样本的面部训练集执行PCA处理，去掉所有带有零特征值的特征脸，保留M-1个特征脸U_t＝{u₁，...，u_M-1}作为构造随机子空间的候选者。然后，对这M-1个特征脸进行随机采样，产生K个随机子空间{S_i}_i＝1 ^K。每个随机子空间S_i由N₀+N₁个维度张成，其中，前N₀个维度固定为U_t中N₀个具有最大特征值的特征脸，其余的N₁个维度随机地从U_t中其他M-1-N₀个特征脸中选出。

随机子空间是由两个部分组成的。前N₀个最大特征脸包含了大部分的人脸结构信息。如果它们没有被包含在随机子空间中，则LDA分类器的准确率会过低。尽管已经提出许多的多分类器融合系统来增强弱分类器，但如果每个单独的LDA分类器很差的话，融合方法将会更为复杂。在本发明的方法中，在每个随机子空间中的LDA分类器都具有令人满意的准确率。而N₁个随机维度覆盖了大部分剩余的较小的特征脸。这样，整个分类器组也具有一定程度的差错多样性(error diversity)。使用诸如多数决投票等简单的融合规则就能够取得好的识别性能。

从K个随机子空间按照常规的方法训练出K个LDA分类器{C_i(x)}。这里，子空间分类方法中的“训练”指用数据训练集计算相应子空间方法的投影向量(矩阵特征向量)集合的过程。例如，对于PCA方法，即从训练集的整体协方差矩阵的特征向量中计算出特征脸集合。

最后，将输入的面部数据并行地送入K个LDA分类器，并将K个LDA分类器的输出融合。

在上述方案中，K值的选择可以通过多次的识别试验来确定，根据每次试验中选择的K值和所得到的识别结果，选择准确率最高的试验中所用的K值。同样，N₀和N₁的值也可以采用这种方式来选择。

关于将多个分类器的输出融合的方法，已经有许多现有的技术可以使用，例如参考文献2以及下列的文献中所提出的技术：

参考文献9：J.Kittler和F.Roli编辑的：Multiple Classifier Systems(多分类器系统)。

参考文献10：A.Ross和A.Jain所著的“Information Fusion in Biometrics”(生物特征中的信息融合)，Pattern Recognition Letters(图案识别学报)，第2115-2125页，第24卷，2003年。

参考文献11：L.Hong和A.K.Jain所著的“Integrating Faces andFingerprints for Personal Identification”(用于个人鉴别的面部和指纹的集成)，IEEE Trans.on PAMI(IEEE关于PAMI的会刊)，第20卷，第12期，第1295-1307页，1998年。

参考文献12：W.P.Kegelmeyer和K.Bowyer所著的“Combination ofMultiple Classifier Using Local Accuracy Estimates”(利用局部精度预估的多分类器的组合)，IEEE Trans.on PAMI(IEEE关于PAMI的会刊)，第19卷，第4期，第405-410页，1997年。

参考文献13：L.I.Kuncheva所著的“Switching Between Selection andFusion in Combining Classifiers：An Experiment”(在分类器的组合中进行选择和融合的切换：一项实验)，IEEE Trans.on Systems，Man，and Cybernetics，Part B(IEEE关于系统、人类和控制论的会刊，B部分)，第32卷，第2期，2002年4月。

参考文献14：S.B.Yacoub，Y.Abdeljaoud，和E.Mayoraz所著的“Fusionof Face and Speech Data for Person Identity Verification”(用于个人身份鉴别的面部和语音融合)，IEEE Transactions on Neural Networks(IEEE关于神经元网络的会刊)，第1065-1074页，第10卷，第5期，1999年9月。

上述参考文献中所介绍的分类器融合方法均可以用于本发明中。

根据本发明的一个实施例，可以使用多数决投票的融合规则来组合LDA分类器。

在该例中，每个LDA分类器C_k(x)＝i分配一个类别标签给输入的人脸数据C_k(x)＝i，将该事件表示为一个二进制的函数

由多数决投票，最终的类别被选择为

$\mathrm{\β}\left(x\right)=\underset{X_i}{\arg \max }\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_k(x\∈X_i)---\left(10\right)$

根据另一实施例，也可采用求和规则来组合LDA分类器。

假设P(X_i|C_k(x))是在LDA分类器C_k(x)的测量下x属于X_i的概率。按照求和规则，最终判决的类别被选择为

$\mathrm{\β}\left(x\right)=\underset{X_i}{\arg \max }\underset{k=1}{\overset{K}{\mathrm{\Σ}}}P\left(X_i\right|C_k\left(x\right))---\left(11\right)$

P(X_i|C_k(x))能够从LDA分类器的输出估计出来。而对于LDA分类器C_k(x)，类别X_i的中心m_i和输入人脸数据x被投影到LDA向量W_k，

$w_k^i=W_k^T{m}_i---\left(12\right)$

$w_k^x=W_k^{T}x---\left(13\right)$

按照如下方法来估计P(X_i|C_k(x))：

$\hat{P}\left(X_i\right|C_k\left(x\right))=(1+\frac{{\left(w_k^x\right)}^T\left(w_k^i\right)}{\left|\right|w_k^x\left|\right|\·\left|\right|w_k^i\left|\right|})/2---\left(14\right)$

其被归一到[0，1]。

在本发明的优选实施方案中，可将上述的随机采样LDA方法用于集成包括形状、纹理和Gabor响应在内的多个特征。

大多数其他多特征集成系统是基于匹配相似度层次或判决层次融合，而本发明的集成方法是从特征值层次开始的。在特征值层进行集成传递了最丰富的信息，但由于如下两个原因它的实现更为困难。第一，不同种类的特征在尺度上是不兼容的。第二，新的组合特征向量有更高的维度，而这加重了小样本的问题。本发明的方法解决了这两个问题。通过PCA将不同的特征归一化，通过随机采样解决了小样本的问题。

下面说明在XM2VTS人脸数据库中使用本发明的方法的具体例子。关于XM2VTS人脸数据库可参见参考文献17，K.Messer，J.Matas，J.Kittler，J.Luettin，和G.Matitre所著的“XM2VTSDB：The Extended M2VTS Database”(XM2VTSDB：扩展的M2VTS数据库)，Second International Conference onAVBPA(第二届国际AVBPA研讨会)，1999年3月。

在该数据库中，共有295个人，每个人有四张在不同时间段的正面照片。图3显示了一些例子。在该例中，每张人脸类别的两张面部照片被选出来做训练和参考，而剩余的两张用于测试。采用在FERET测试中使用的识别测试协议。关于FERET测试可参见参考文献18，即P.J.Phillips，H.Moon，S.A.Rizvi，和P.J.Rauss所著的“The FERET Evaluation Methodology for FaceRecognition Algorithms”(对面部识别算法的FERET评价方法论)，IEEETrans.on Pattern Analysis and Machine Intelligence(IEEE图案分析和机器智能会刊)，第22卷，第10期，第1090-1104页，2000年10月。测试时，以参考集中被确认为与测试图像最相像的图像为对象，以被评价的判别方法判别该图像的类(个体)与测试图像的类相同的正确率作为评测的依据。

首先比较随机子空间LDA和传统的使用整体特征的费舍人脸方法。在预处理中，通过对如图3所示的所有人脸图像(即包括训练集、图库和测试集在内的所有图像)进行常规的平移、旋转和缩放处理来进行归一化，使得所有图像中人脸的双眼各自的中心处于相同位置。用46×81蒙片(mask)移去大部分的背景。这样图像空间的维度为46×81＝3726。利用直方图进行光线均衡处理。

图4显示了由具有不同数目的特征脸PCA子空间构造的单LDA分类器的准确率。由于在训练集中有295个类别，共590张人脸图像，所以有589张具有非零特征值的特征脸。按照费舍人脸方法，PCA子空间维度为M-L＝295。然而，结果显示了使用由295个特征脸构造的单费舍人脸分类器的准确率只有79％，这是因为相对于训练集，这个维度过高。从图中可以看出，当PCA子空间维度被设置为100时，LDA分类器有更好的准确率92.88％。所以对于这一数据集，为了构造稳定的LDA分类器，100是更合适的维度。因此，在下面将要详细说明的实施例中，选择100作为随机子空间的维度来构造复合LDA分类器。显然，对于不同的数据集，这一维度可能是不同的。

首先，从589个对应非零特征值的特征脸中随机选择(随机采样)100个特征脸。图5给出了使用多数决投票方法组合20个LDA分类器的结果。显然，LDA分类器的数目K不是限制性的。

由于是随机采样，每个单独的LDA分类器的准确率很低，一般介于50％到70％。使用上述的多数决投票方法，弱分类器被大大增强，可以达到87％的准确率。这表明由不同的随机子空间构造的LDA分类器是彼此互补的。在图6中，随着分类器的数目K的增加，组合的分类器的准确率获得改善，甚至更优于图4中最高的准确率。当然，还可以进一步增加分类器数目和使用更为复杂的融合规则，从而进一步改善性能。

根据本发明的一个优选实施例，通过提高每个单独的弱分类器的性能来提高组合分类器准确率。为了改善每个单独的LDA分类器的准确率，可以采用如前文所述的方法，在每个随机子空间，将前50个维度固定为50个具有最大特征值的特征脸，然后从剩余的539张特征脸中随机选择另外50个。显然，对于不同的数据库，最大特征脸的数目和随机特征脸的数目都可以不同。

如图7所示，在该实施例中，单LDA分类器的性能被明显地改善了。它们都与基于前100个特征脸的LDA分类器相似。这表明(u₅₁，...，u₁₀₀}并不必然比那些特征值更小的特征脸具有更多的判别信息。这些分类器也是彼此互补的，所以将它们相互融合能够取得更好的准确率。

当采用零空间LDA(N-LDA)方法进行面部识别时，针对零空间LDA存在的当训练样本的数量较大时零空间较小的问题，可以通过随机样本组合的方法，即对训练集随机采样并组合来生成随机独立的随机采样集(bootstrap replica)，这样每个随机采样集都有较小数目的训练样本。因此，根据本发明的优选实施例，通过随机采样增强基于N-LDA的人脸识别的方法可包括下列步骤：

首先，对具有L个类共M个样本的面部训练集进行PCA处理，将所有人脸数据投影到M-1个具有非零特征值的特征脸U_t＝{u₁，...，u_M-1}。需要说明，执行PCA处理步骤的目的是减少后续处理数据量和提高效率，但并非是必须的。

然后，从所述面部训练集通过随机采样来产生K个随机采样集{T_i}_i＝1 ^K。每个随机采样集含有从L个类中随机选出的L₁个类的训练样本(其中L₁＜L)。随机采样集的数目K一般通过多次的识别试验确定，以找出最佳或接近最佳的值。同样，L₁的值也是这样确定的。

在本发明的该实施例中，产生了20个随机采样集，每个随机采样集含有150个类用于训练。

从每个随机采样集中训练一个N-LDA分类器，并使用融合规则来融合多个分类器的输出。

从每个随机采样集训练的单独的N-LDA分类器比原有的基于整个训练集的分类器的性能差。然而，当多个分类器被融合时，其带来的识别准确率得到显著的改善，并且比现有的N-LDA分类器更好。组合方法仍可以采用前述的方法，例如多数决投票或求和规则等。图9显示了根据本发明的基于随机样本组合的N-LDA的性能。

下面说明根据本发明的又一种优选实施方案，通过将由随机子空间生成的费舍人脸分类器和由随机样本组合生成的N-LDA分类器集成，进一步改善识别准确率。图1是这种方案的示意图。

在一个具体实施例中，组合10个由随机子空间构造的费舍人脸分类器和10个由随机样本组合复制构造的N-LDA分类器。显然，分类器的数目的确定方法同上，也是通过多次试验找出的最佳或接近最佳的数目。此外，费舍人脸分类器和N-LDA分类器的数目也不是必须相同的。

利用随机采样，构建的LDA分类器是稳定的，并且将分类器的输出融合可以包括大部分的人脸特征空间，因此很少丢失判别信息。这种随机采样方法也能被应用于多种特征的综合。对于人脸识别，整体特征和局部特征都是十分重要的。

在本发明的又一种实施方式中，选择了三类典型的特征：形状、纹理、局域Gabor小波响应。将这些特征经过归一化并通过PCA去相关，形成了综合的特征向量。多LDA分类器通过从综合向量以及用于识别的训练样本中随机采样实现，即形成了一个组合了形状、纹理和Gabor响应的鲁棒的人脸识别系统。

利用常规的可变形状模型的方法(例如参考文献15：A.Lanitis，C.J.Taylor,和T.F.Cootes所著的“Automatic Interpretation and Coding of FaceImages Using Flexible Models”(利用可变模型对面部图像的自动解释和编码)，IEEE Trans.on PAMI(IEEE关于PAMI的会刊)，第19卷，第7期，第743-756页，1997年7月)，将人脸图像分解为形状和纹理。形状向量 由连接图2所示的对准后的35个基准点的坐标形成。将人脸图像变形为一个平均的人脸形状，通过对形状正规化的图像进行采样获得纹理向量

。如在参考文献16(L.Wiskott，J.M.Fellous，N.Krueger和C.von der Malsburg所著的“Face Recognition by Elastic Bunch Graph Matching”(通过弹性串图形匹配进行面部识别)，IEEE Trans.on Pattern Analysis and Machine Intelligence(IEEE图案分析和机器智能会刊)，第19卷，第7期，第775-779页，1997年)中所述的方法，将一组5个尺度8个方向的Gabor核与每个基准点周围的局部块进行卷积。得到Gabor特征向量

，

用35×40个的Gabor响应幅度来表示脸部局部的纹理。

这样，该多特征多分类器面部识别的方法包括：

1.分别对三种特征向量(feature vector)

， 和

进行PCA处理，计算矩阵特征向量(eigenvector)U_s，U_t，U_g和特征值λ_i ^s，λ_i ^t，λ_i ^g。所有对应零特征值的矩阵特征向量都被去掉。

2.对于每个人脸图像，将每种特征投影到相应的特征向量，并通过对特征值求和来将它们归一化，使得它们都具有相同的尺度，具体方法如下：

${\stackrel{\→}{w}}_j=U_j^T{\stackrel{\→}{V}}_j/\sqrt{{\mathrm{\Σ\λ}}_i^j,}(j=s,t,g)---\left(15\right)$

3.将

， ，

依次串接成为一个大的特征向量。

4.应用图1所示的随机采样方法来处理所得到的大特征向量，以生成多个LDA分类器。

在该实施例中，使用求和规则融合20个分类器，取得了99.83％的识别准确率。显然，对于不同的数据库，分类器的数目可以是不同的。对于590个测试样本，该实施例的方法只误识别了一个类。

表1显示了基于随机采样的LDA与常规方法的结果比较。其中，R-LDA(1)表示基于随机子空间的费舍人脸方法，R-LDA(2)表示基于随机样本组合的N-LDA方法；R-LDA(3)表示将基于随机子空间的费舍人脸方法和基于随机样本组合的N-LDA方法集成的方法。表中所列的这些传统的方法包括：

1、特征脸方法，见参考文献19：M.Turk和A.Pentland所著的“FaceRecognition Using Eigenfaces”(使用特征脸进行面部识别)，IEEEInternational Conference Computer Vision and Pattern Recognition(IEEE国际计算机视觉和图案识别会议)，第586-591页，1991年；

2、费舍人脸方法，见参考文献4；

3、贝叶斯分析法，见参考文献20，B.Moghaddam，T.Jebara，和A.Pentland所著的“Bayesian face recognition”(贝叶斯法的面部识别)，PatternRecognition(图案识别)，第33卷，第1771-1782页，2000年；

上述三种方法都是基于整体特征的子空间人脸识别方法。

4、弹性图匹配方法(EBGM)，见参考文献16。该方法使用Gabor特征的相关性作为对相似性的度量。

表1

特征	方法	准确率
			整体特征	特征脸	85.59％
费舍人脸	92.88％
		贝叶斯法		92.71％
R-LDA(1)	96.10％
		R-LDA(2)		95.59％
R-LDA(3)	97.63％
		纹理		欧几里德距离	85.76％
形状	欧几里德距离		49.50％
		Gabor特征		EBGM	95.76％
多个特征的集成	R-LDA(3)		99.83％

从表1可以看出，本发明的方法具有优于现有的识别方法的性能。

尽管已参考本发明的优选实施方案对本发明进行了说明和描述，应该理解，对本领域的技术人员来说，在不脱离本发明精神和范围的情况下可对本发明进行各种变化和改进。本发明的范围仅由所附权利要求确定。

Claims (11)

1.一种基于随机采样的面部识别方法，包括：

对面部特征空间进行随机采样；

根据全部的面部训练集和随机采样得到的不同的随机子空间训练出多个线性判别分析分类器；

对所述面部训练集进行随机采样；

根据得到的随机采样集训练出多个零空间线性判别分析分类器；

将要识别的面部数据输入至所述多个线性判别分析分类器和零空间线性判别分析分类器；以及

将多个线性判别分析分类器和零空间线性判别分析分类器的输出融合。

2.根据权利要求1所述的方法，其特征在于，所述训练出线性判别分析分类器的步骤包括：

对所述面部训练集中的面部特征值进行随机采样，产生多个随机子空间；和

由所述多个随机子空间分别训练出多个线性判别分析分类器。

3.根据权利要求2所述的方法，其特征在于，在对所述面部特征值进行所述随机采样之前，对所述面部训练集进行主成分分析处理，去掉具有零特征值的特征脸，保留M-1个特征脸作为构造所述随机子空间的候选者，并对所述M-1个特征脸进行随机采样，产生多个随机子空间，其中M为面部训练集中样本的个数。

4.根据权利要求3所述的方法，其特征在于，每个所述随机子空间包含所述面部训练集的依次具有最大特征值的多个特征脸，以及所述面部训练集的随机的多个具有其它特征值的特征脸。

5.根据权利要求1所述的方法，其特征在于，

所述根据得到的随机采样集训练出多个零空间线性判别分析分类器的步骤包括：

对具有L个类共M个样本的面部训练集的训练样本进行随机采样，产生多个随机采样集，每个随机采样集含有从所述L个类中随机选出的L₁个类的训练样本，其中L₁＜L；

由所述多个随机采样集分别训练出多个随机样本组合零空间线性判别分析分类器。

6.根据权利要求5所述的方法，其特征在于，在对所述训练样本进行所述随机采样之前，对所述训练集进行主成分分析处理，将所述面部训练集的所有面部数据投影到M-1个具有非零特征值的特征脸，并且对所述主成分分析处理后的面部训练集进行所述训练样本的随机采样。

7.根据权利要求1所述的方法，其特征在于，

所述训练出多个线性判别分析分类器的步骤包括：

对所述面部训练集中的面部特征值进行随机采样，产生多个随机子空间；

由所述多个随机子空间分别训练出多个随机子空间线性判别分析分类器，并且

所述根据得到的随机采样集训练出多个零空间线性判别分析分类器的步骤包括：

对具有L个类共M个样本的面部训练集的训练样本进行随机采样，产生多个随机采样集，每个随机采样集含有从所述L个类中随机选出的L₁个类的训练样本，其中L₁＜L；

由所述多个随机采样集分别训练出多个随机样本组合零空间线性判别分析分类器。

8.根据权利要求7所述的方法，其特征在于，进一步包括：在对所述面部特征值和所述训练样本进行所述随机采样之前，对所述训练集进行主成分分析处理，去掉具有零特征值的特征脸。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述对面部训练集的随机采样是对作为特征值的形状、纹理、局域Gabor小波响应进行的，并且所述对形状、纹理、局域Gabor小波响应的随机采样包括：分别对形状、纹理、局部Gabor小波响应的特征向量

和

进行主成分分析处理，得到矩阵特征向量U_s，U_t，U_g和特征值λ_i ^s，λ_i ^t，λ_i ^g，并去掉所有对应零特征值的矩阵特征向量；

对于每个人脸图像，将每种特征投影到所述矩阵特征向量U_s，U_t，U_g，并进行归一化，以合并成为一个总特征向量；和

对所述总特征向量进行随机采样。

10.根据权利要求1至8任一项所述的方法，其特征在于，用于将所述多个线性判别分析分类器的输出融合的规则包括：多数决投票规则，求和规则。

11.根据权利要求9所述的方法，其特征在于，用于将所述多个线性判别分析分类器的输出融合的规则包括：多数决投票规则，求和规则。

Images