CN101673348B - 基于监督等度规投影的人脸识别方法 - Google Patents

Abstract

本发明提供的是一种基于监督等度规投影的人脸识别方法。包括人脸样本训练过程和人脸样本测试过程。人脸样本训练过程有包括首先对人脸训练图像进行预处理、采用Gabor小波对图像进行滤波、提出新的距离公式计算训练样本的邻接矩阵、由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D、求取描述人脸训练样本数据的低维投影矩阵、通过投影转换矩阵A计算训练样本在低维空间的投影等步骤；人脸样本测试过程又包括对人脸测试图像进行预处理、采用Gabor小波对图像进行滤波、计算测试样本在低维空间的投影和采用最近邻算法判断测试样本的类别等过程。本发明具有对样本数据的结构描述更强，可以消除高阶冗余、计算代价小，更适合于模式分类任务等特点。

Description

基于监督等度规投影的人脸识别方法

(一)技术领域

本发明涉及一种图像处理技术领域的方法，具体地说，涉及一种基于监督等度规投影的人脸识别方法。

(二)背景技术

近年来，人脸识别在模式识别领域受到广泛的关注，其中子空间分析是人脸识别领域的重要方法，子空间分析法具有描述性强、计算代价小、易实现及可分性好等特点，因此成为人脸识别领域的研究热点，其中最广泛应用的两个算法是PCA(Principal Components Analysis，PCA)和LDA(Linear Discriminant Analysis，LDA)。PCA是一种非监督学习方法，目标是寻找在最小平方意义下给出数据最优表征的子空间。LDA是一种监督学习方法，通过最大化类间散度和类内散度比率来寻找最佳线性判别空间，得到最佳判别能力特征。因此，LDA所生成的子空间实现了数据可分，比PCA更适合分类任务。

然而，目前有研究表明人脸图像很有可能存在于非线性子流形中，基于PCA和LDA的全局算法是基于欧式空间的，因此它们所提取的特征对于分类问题未必最优。自2000年以来，出现了很多非线性流形算法，比如局部线性嵌入(LocallyLinear Embedding，LLE)，等距映射(Isometric map，ISOMAP)和拉普拉斯映射(Laplacian Eigenmap，LE)等，它们在数据的可视化方面都比较出色。但当前此类非线性流形学习算法存在一大缺点就是对新数据处理困难，即只在训练数据上进行了处理，测试数据点在做识别时计算复杂度较高。这一缺陷导致非线性算法在实际应用中具有较大的局限性。为解决该问题，有学者提出了上述非线性流形学习算法的线性化算法，如局部保局投影(Locality Preserving Projection，LPP)和邻域保持嵌入(Neighborhood Preserving Embedding，NPE)，作为线性算法，这几种算法能直接获得新数据点的低维映射结果，同时能够有效描述数据的流形结构，在人脸识别等模式识别领域具有较强的实用性，但是由于此类算法均是非监督的算法，在做模式分类时，具有一定局限性。此外，流形学习算法不能有效地消除图像中如高阶相关等冗余信息，影响了算法的识别率。

(三)发明内容

本发明的目的在于提供一种能够提取样本新的特征来消除图像高阶冗余信息，不仅能保持样本的流形结构，而且能直接得到高维数据到低维空间的投影矩阵，大大减小计算成本，还能增强分类判别能力的基于监督等度规投影的人脸识别方法。

本发明的目的是这样实现的：

其实现步骤如下：

(1)人脸样本训练过程

①首先对人脸训练图像进行预处理，获取高维空间中原始训练样本矩阵X；

②用Gabor小波对图像进行滤波，得到新的图像特征。

③引入训练样本的类别信息，采用距离公式计算训练样本的邻接矩阵，得到训练样本的权值距离所述距离公式为：

$d(x_i,x_j)=\left\{\begin{array}{cc}\sqrt{1-e^{\frac{-d^2(x_i,x_j)}{\mathrm{\β}}}}& C_i=C_j\\ \sqrt{e^{\frac{d^2(x_i,x_j)}{\mathrm{\β}}}}& C_i\≠C_j\end{array}\right.---\left(1\right)$

在得到样本点权值距离矩阵后，应用k近邻或ε邻域算法得到训练样本的邻接矩阵D_G；其中d(x_i，x_j)为样本间的欧式距离，β为经验参数，C_i表示样本x_i所属的类别；

④由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D，用两点间最短路径近似两点间测地线距离；

⑤计算投影转换矩阵，通过保持映射前后人脸训练样本测地线距离给出目标函数，通过求解目标函数求取描述人脸训练样本数据的低维投影矩阵；

⑥通过投影转换矩阵A计算训练样本在低维空间的投影，令Y＝[y₁，y₂…y_N]为训练样本的低维投影，则Y＝A^TX；

(2)人脸样本测试过程

①对人脸测试图像进行预处理，获取高维空间中原始测试样本x；

②计算测试样本在低维空间的投影，通过投影转换矩阵A，测试样本x的低维投影为y＝A^Tx；

③采用最近邻算法判断测试样本的类别，在低维空间中对y与Y采用最近邻算法，则与y最近的训练样本所对应的类别即为测试样本类别。

本发明还可以包括：

1、人脸样本训练过程中所述预处理是将每幅人脸训练图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率。最后将每幅图像都进行均值为0、方差为1的规格化。

2、所述Gabor小波对图像进行滤波，得到新的图像特征，处理过程是，将原始训练图像I(x，y)与Gabor小波滤波器进行卷积计算，二维Gabor小波滤波器定义为： ${\mathrm{\Φ}}_{u,v}=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{(-{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2/2{\mathrm{\σ}}^2)}(e^{i{k}_{u,v}z}-e^{-{\mathrm{\σ}}^2/2})---\left(2\right)$

$k_{u,v}=k_v{e}^{i{\mathrm{\φ}}_u}---\left(3\right)$

其中，u，v表示Gabor核的方向和尺度，z＝(x，y)为坐标值，‖·‖表示向量模。k_v＝k_max/f_v，φ_u＝πu/8。k_max为最高采样频率，f_v为频率域中的采样步长。

3、所述Gabor小波对图像进行滤波，得到新的图像特征是将图像进行Gabor小波滤波，若x_i′为滤波后的新特征，将x_i′堆叠为一M维长向量，即构成一个原始训练样本，所有训练图像构成一个原始训练样本矩阵X＝[x₁，x₂…x_N]∈R^M×N，N为训练样本个数，矩阵X的每一列代表了一个原始训练样本。

4、所述由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D为直接用邻接矩阵D_G中权值距离代替。

5、所述由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D为通过最短路径算法得到，即通过下式计算：D_ij＝min{D_G(x_i，x_j)，D_G(x_i，x_p)+D_G(x_p，x_j)}，由此可得到描述样本全局流形结构并含训练样本类别信息的距离矩阵D。

6、所述计算投影转换矩阵的具体过程为：函数f为高维空间到低维空间的投影函数，y_i为x_i的低维投影，y_i＝f(x_i)，目标函数为保持映射前后训练样本的测地线距离(最短路径)，即：

$f^{\mathrm{opt}}=\arg \min \underset{i,j}{\mathrm{\Σ}}{(D_{\mathrm{ij}}-d(f\left(x_i\right),f\left(x_j\right)))}^2---\left(4\right)$

其中d(f(x_i)，f(x_j))为对应低维空间的欧式距离；令 $S_{\mathrm{ij}}={D_{\mathrm{ij}}}^2,$ 采用与原始ISOMAP算法相同的处理方式，用中心化矩阵 $H=I-\frac{1}{m}{\mathrm{ee}}^T$ 中心化后得τ(D)＝-HSH/2；D_Y表示降维后子空间中的欧式距离矩阵，τ(D_Y)为对应的内积矩阵，则上述的目标函数等价于：

其中， ${\left|\right|A\left|\right|}_{L^2}=\sqrt{{\mathrm{\Σ}}_{i,j}{A_{i,j}}^2}$ ；考虑映射函数f(x)＝a^Tx，则τ(D_Y)＝Y^TY＝X^Taa^TX；则

式的目标函数转化为：

X[τ(D_G)]X^Ta＝λXX^Ta          (5)

对公式(5)求解得到的前d个最大特征值对应的特征向量构成了投影转换矩阵A＝[a₁，a₂…a_d]。

7、人脸样本测试过程中所述对人脸测试图像进行预处理，是将每幅测试图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率。最后将每幅图像都进行均值为0、方差为1的规格化人并堆叠为一M维长向量，x∈R^M，即构成一个原始测试样本。

本发明所涉及的人脸识别方法，不同于上述的线性及非线性流形算法，本质上是监督等距映射的线性化算法。因此具有上述算法无法比拟的优点，这些优点主要体现在：

(1).保持了样本数据的流形结构信息，相对于传统线性算法如PCA、LDA等算法中基于全局欧式距离的假设，本发明克服了传统线性算法在处理非线性问题时的不足，其对样本数据的结构描述更强。

(2).去除了图像的高阶冗余信息，从而使流形学习方法能够充分地提取人脸图像中最为有效的鉴别特征。

(3).能获得低维空间的投影转换矩阵，通过该投影转换矩阵可直接获取训练及测试样本在低维空间的投影，克服了非线性流形算法在测试阶段难以获得测试数据低维投影的问题，计算代价小。

(4).作为监督算法，考虑了样本的类别信息，使得不同类样本远离，增强了算法的分类判别能力，更适合于模式分类任务。

(四)附图说明

图1是本发明算法步骤的流程图；

图2是采用改进后的距离计算公式得到的样本距离描述图；

图3是ORL人脸库的部分人脸图像；

图4是YaleB人脸库的部分人脸图像。

(五)具体实施方式

下面结合附图举例对本发明做更详细地描述：

其实现步骤如下：

(1)人脸样本训练过程

①首先对人脸训练图像进行预处理，以获取高维空间中原始训练样本矩阵X；这里的处理是将每幅训练图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率。最后将每幅图像都进行均值为0、方差为1的规格化。

②Gabor小波对图像进行滤波，若I(x，y)表示原始图像，则新的图像特征 ${x_i}^{\′}=I(x,y)\⊗{\mathrm{\Φ}}_{u,v}(x,y),$

表示卷积，将新特征堆叠为一M维长向量x_i，即构成一个原始训练样本。则所有训练图像构成一个原始训练样本矩阵X＝[x₁，x₂…x_N]∈R^M×N，N为训练样本个数，矩阵X的每一列代表了一个原始训练样本。

③引入训练样本的类别信息，采用改进后的距离公式计算训练样本的邻接矩阵；给定所有训练样本的类别信息后，则可采用改进后的距离计算公式(1)得到训练样本的权值距离。在得到样本点权值距离矩阵后，应用k近邻或ε邻域算法可得到训练样本的邻接矩阵D_G。采用上述公式在k近邻的计算中，增大了不同类样本的距离，使得算法保持同类样本距离并使不同类样本远离，从而提高了算法的分类判别能力。

④由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D，用两点间最短路径近似两点间测地线距离；具体的处理可以分为两种情况：距离较近的点直接用邻接矩阵D_G中权值距离代替，而距离较远的点则通过最短路径(Floyd)算法得到，即通过下式计算：D_ij＝min{D_G(x_i，x_j)，D_G(x_i，x_p)+D_G(x_p，x_j)}，由此可得到描述样本全局流形结构并含训练样本类别信息的距离矩阵D。

⑤计算投影转换矩阵，通过保持映射前后人脸训练样本测地线距离(最短路径)给出目标函数，通过求解目标函数求取描述人脸训练样本数据的低维投影矩阵而目标函数可转化为一般的特征值求解问题。对公式(5)求解得到的前d个最大特征值对应的特征向量构成了投影转换矩阵A＝[a₁，a₂…a_d]。

⑥通过投影转换矩阵A计算训练样本在低维空间的投影，令Y＝[y₁，y₂…y_N]为训练样本的低维投影，则有Y＝A^TX。

(2)人脸样本测试过程

①对人脸测试图像进行预处理，以获取高维空间中原始测试样本x；这里的处理是将每幅训练图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率。最后将每幅图像都进行均值为0、方差为1的规格化。

②Gabor小波对图像进行滤波，若I(x，y)表示原始测试图像，则新的图像特征 ${y_i}^{\′}=I(x,y)\⊗{\mathrm{\Φ}}_{u,v}(x,y),$

表示卷积，将新特征矩阵堆叠为一M维长向量y_i，即构成一个原始测试样本。

③计算测试样本在低维空间的投影，通过投影转换矩阵A，测试样本x的低维投影为y＝A^Tx。

④采用最近邻算法判断测试样本的类别。在低维空间中对y与Y采用最近邻算法，则与y最近的训练样本所对应的类别即为测试样本类别。

通过以上步骤可完成最终的人脸识别。

为验证算法有效性，下面的实施例采用两类公用人脸库，即ORL和YaleB人脸库，ORL人脸库有40个人，每人10张图片，一共400张。图像是在不同时间拍摄的，人的面部表情和面部细节有着不同程度的变化(比如眼睛睁或闭、笑或严肃、戴或不戴眼镜)；人脸姿态也有相当程度的变化，深度旋转或平面旋转可达20°，人脸的尺度也有多达10°的变化，原始图像大小为112×92。图2是取自ORL人脸库的某个人的部分样本。YaleB人脸库有38人，每人在9种不同姿态和64种不同光照情况下，一共16128张；在实验中，选取每个人在不同光照下的正面图像，每人64张，原始图像尺寸大小为640×480。图3是来自YaleB人脸库某个人的部分样本。为了便于处理，两类人脸库的每张图像均数字化为64×64的像素矩阵，每个人脸库都可分成训练集及测试集，令l为每类人脸训练样本个数，剩余样本作为测试样本，对于ORL人脸库，l可取(2，3，4，5，6，7)，对于YaleB人脸库，l可取(5，10，20，30，40，50)。以下以ORL人脸库为例，训练样本个数l取5时算法的具体实施方案。

(1)人脸样本训练过程

①对人脸训练图像进行处理，获取高维空间中原始训练样本矩阵X；将每幅训练图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率。最后将每幅图像都进行均值为0、方差为1的规格化。

②Gabor小波对图像进行滤波，若I(x，y)表示原始图像，则新的图像特征 ${x_i}^{\′}=I(x,y)\⊗{\mathrm{\Φ}}_{u,v}(x,y),$ 表示卷积，u，v分别取值2、4，把滤波后得到的图像特征按行堆叠为一2×4×32×32＝8192维向量，作为一个原始训练样本。对于每个人，随机选择5个训练样本进行训练，剩余5个作为测试样本，生成一组训练测试样本集。所有的训练样本组成一个8192×200的样本矩阵X，即训练样本个数为200，样本维数为8192，矩阵X的每一列代表一个训练样本。

③引入样本的类别信息，采用改进后的距离公式计算训练样本的邻接矩阵；ORL人脸库样本类别数为10类，令C_i(i＝1，…10)为样本x_i对应的类别，对所有训练样本标定其类别信息，则可采用改进后的距离计算公式得到训练样本的权值距离，该距离公式为：

$d(x_i,x_j)=\left\{\begin{array}{cc}\sqrt{1-e^{\frac{-d^2(x_i,x_j)}{\mathrm{\β}}}}& C_i=C_j\\ \sqrt{e^{\frac{d^2(x_i,x_j)}{\mathrm{\β}}}}& C_i\≠C_j\end{array}\right.$

公式中参数β的值取所有训练样本欧式距离的平均值，图1表示采用该距离公式进行样本间距离的计算结果，可以看出，同类样本间距离小于不同类样本间距离，这在一定程度上提高了算法的分类判别能力。在得到样本点两两距离矩阵后，应用k近邻算法可得到训练样本的邻接矩阵D_G，实施例中k取值4，得到的邻接矩阵D_G的大小为200×200。

④用最短路计算法计算样本最短路径来近似样本间测地线距离，令D_ij为x_i和x_j间最短路径距离，D_ij可近似视为两点间测地线距离，D_ij的求解可以分两种情况求解：对于距离较近的点(邻接点)可以直接用D_G(x_i，x_j)代替，对于距离较远的点则通过下式计算得到，D_ij＝min{D_G(x_i，x_j)，D_G(x_i，x_p)+D_G(x_p，x_j)}；由此可得到描述样本全局流形结构并含训练样本类别信息的距离矩阵D。

⑤计算投影转换矩阵；计算X[τ(D_G)]X^Ta＝λXX^Ta的特征值及特征向量，求解得到的前d个最大特征值对应的特征向量构成了投影转换矩阵A＝[a₁，a₂…a_d]。

⑥通过投影转换矩阵A计算训练样本在低维空间的投影，令Y＝[y₁，y₂…y_N]为训练样本的低维投影，则有Y＝A^TX

(2)人脸样本测试过程

①对人脸测试图像进行处理，以获取高维空间中原始测试样本x；这里的处理是将每幅训练图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率。最后将每幅图像都进行均值为0、方差为1的规格化。

②Gabor小波对图像进行滤波，若I(x，y)表示原始测试图像，则新的图像特征 ${y_i}^{\′}=I(x,y)\⊗{\mathrm{\Φ}}_{u,v}(x,y),$ 表示卷积，u，v分别取值2、4，把滤波后得到的图像特征按行堆叠为一2×4×32×32＝8192维向量，作为一个原始测试样本。

③通过投影转换矩阵A计算测试样本的低维投影，测试样本x的低维投影为y＝A^Tx。

④采用最近邻算法判断测试样本的类别；在低维空间中对y与Y采用最近邻算法，则与y最近的训练样本所对应的类别即为测试样本类别。

对不同的训练样本个数l值，从每类人脸样本中随机选取l个作为训练集，剩余作为测试集，构成一组训练-测试集，并统计所有测试样本的识别率，重复做20次，最后取20次识别率的平均值作为最终的识别率。

Claims (5)

1.基于监督等度规投影的人脸识别方法，其特征是：

(1)人脸样本训练过程

①首先对人脸训练图像进行预处理，获取高维空间中原始训练样本矩阵X＝[x₁，x₂…x_N]，N为训练样本个数；

②采用Gabor小波进行滤波得到训练样本的小波特征；

所述Gabor小波对图像进行滤波，得到新的图像特征，处理过程是，将原始训练图像I(x，y)与Gabor小波滤波器进行卷积计算，二维Gabor小波滤波器定义为： ${\mathrm{\Φ}}_{u,v}=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{(-{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2/{2\mathrm{\σ}}^2)}(e^{{\mathrm{ik}}_{u,v}z}-e^{-{\mathrm{\σ}}^2/2})---\left(2\right)$

$k_{u,v}=k_v{e}^{{\mathrm{i\φ}}_u}---\left(3\right)$

其中，u，v表示Gabor核的方向和尺度，z＝(x，y)为坐标值，||·||表示向量模；k_v＝k_max/f_v，φ_u＝πu/8；k_max为最高采样频率，f_v为频率域中的采样步长；

得到新的图像特征是将图像进行Gabor小波滤波，若x_i′为滤波后的新特征，将x_i′堆叠为一M维长向量，即构成一个原始训练样本，所有训练图像构成一个原始训练样本矩阵X＝[x₁，x₂…x_N]∈R^M×N，N为训练样本个数，矩阵X的每一列代表了一个原始训练样本；

③引入训练样本的类别信息，采用距离公式计算训练样本的邻接矩阵，得到训练样本的权值距离，所述距离公式为： $d(x_i,x_j)=\left\{\begin{array}{cc}\sqrt{1-e^{\frac{{-d}^2(x_i,x_j)}{\mathrm{\β}}}}& C_i=C_j\\ \sqrt{e^{\frac{d^2(x_i,x_j)}{\mathrm{\β}}}}& C_i\≠C_j\end{array}\right.;$

在得到样本点权值距离矩阵后，应用k近邻或ε邻域算法得到训练样本的邻接矩阵D_G，其中d(x_i，x_j)为样本间的欧式距离，β为经验值，C_i为样本x_i所属的类别；

④由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D，用两点间最短路径近似两点间测地线距离；

⑤计算投影转换矩阵，通过保持映射前后人脸训练样本测地线距离给出目标函数，通过求解目标函数求取描述人脸训练样本数据的低维投影矩阵；

所述计算投影转换矩阵的具体过程为：函数f为高维空间到低维空间的投影函数，y_i为x_i的低维投影，y_i＝f(x_i)，目标函数为保持映射前后训练样本的测地线距离、即最短路径，即：

$f^{\mathrm{opt}}=\arg \min \underset{i,j}{\mathrm{\Σ}}{(D_{\mathrm{ij}}-d(f\left(x_i\right),f\left(x_j\right)))}^2$

其中d(f(x_i)，f(x_j))为对应低维空间的欧式距离；令S_ij＝D_ij ²，采用与原始ISOMAP算法相同的处理方式，用中心化矩阵中心化后得τ(D)＝-HSH/2；D_Y表示降维后子空间中的欧式距离矩阵，τ(D_Y)为对应的内积矩阵，则上述的目标函数等价于：

其中，

考虑映射函数f(x)＝a^Tx，则τ(D_Y)＝Y^TY＝X^TaaT^X；则式的目标函数转化为：

X[τ(D_G)]X^Ta＝λXX^Ta

对公式X[τ(D_G)]X^Ta＝λXX^Ta求解得到的前d个最大特征值对应的特征向量构成了投影转换矩阵A＝[a₁，a₂…a_d]；

⑥通过投影转换矩阵A计算训练样本在低维空间的投影，令Y＝[y₁，y₂…y_N]为训练样本的低维投影，则Y＝A^TX；

(2)人脸样本测试过程

①对人脸测试图像进行预处理，获取高维空间中原始测试样本x；

②采用Gabor小波进行滤波得到测试样本的小波特征；

③计算测试样本在低维空间的投影，通过投影转换矩阵A，测试样本x的低维投影为y＝A^Tx；

④采用最近邻算法判断测试样本的类别，在低维空间中对y与Y采用最近邻算法，则与y最近的训练样本所对应的类别即为测试样本类别。

2.根据权利要求1所述的基于监督等度规投影的人脸识别方法，其特征是：人脸样本训练过程中所述预处理是将每幅人脸训练图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率；最后将每幅图像都进行均值为0、方差为1的规格化。

3.根据权利要求2所述的基于监督等度规投影的人脸识别方法，其特征是：所述由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D为直接用邻接矩阵D_G中权值距离代替。

4.根据权利要求3所述的基于监督等度规投影的人脸识别方法，其特征是：所述由训练样本邻接矩阵D_G计算训练样本间的最短路径距离矩阵D为通过最短路径算法得到，即通过下式计算：D_ij＝min{D_G(x_i，x_j)，D_G(x_i，x_p)+D_G(x_p，x_j)}，由此可得到描述样本全局流形结构并含训练样本类别信息的距离矩阵D。

5.根据权利要求4所述的基于监督等度规投影的人脸识别方法，其特征是：人脸样本测试过程中所述对人脸测试图像进行预处理，是将每幅人脸训练图像进行裁剪，将其分辨率设置为64×64，然后进行下采样，以达到32×32的分辨率，最后将每幅图像都进行均值为0、方差为1的规格化，构成一个原始测试样本。

Images