CN103226699B - 一种基于分离度差有监督局部保持投影的人脸识别方法 - Google Patents

Abstract

本发明涉及的是一种生物特征身份识别领域，特别涉及一种基于分离度差有监督局部保持投影的人脸识别方法。本发明包括以下步骤：从人脸库中读取人脸图像；对人脸图像进行特征提取，形成人脸特征；对人脸区域图像进行特征提取，从而获得特征提取所需变换矩阵和训练人脸图像的特征；针对测试人脸图像进行特征提取，并通过基于欧氏距离的最近邻分类器进行分类识别。本发明避免了人脸识别中的小样本问题，同时也使得有监督局部保持投影方法不再受限于PCA过程保留特征维数。避免了由于小样本导致的类内分离度矩阵奇异的问题和难以选取PCA与SLPP最优匹配维数的问题。

Description

一种基于分离度差有监督局部保持投影的人脸识别方法

技术领域

本发明涉及的是一种生物特征身份识别领域，特别涉及一种基于分离度差有监督局部保持投影的人脸识别方法。

背景技术

局部保持投影(LocalityPreservingProjection,LPP)是一种局部线性特征提取方法，作为拉普拉斯特征映射的线性近似，它能够提取反映高维样本非线性流形的低维特征，同时也能够处理训练样本外的数据。局部保持投影本质上是一种无监督降维，并不能充分利用训练样本的类别信息(HeX,NiyogiP.Localitypreservingprojections[J].AdvancesinNeuralInformationProcessingSystems.2003,16:153-160)。

申中华等则从保留类内局部结构和类间分离度的角度出发提出一种有监督的局部保留投影方法(SupervisedLocalityPreservingProjection,SLPP)，在一定程度上提高了局部保持投影方法的性能，但该方法确定的目标函数为Rayleigh商形式，其求解过程类似于传统的Fisher准则，因此，在人脸识别等小样本应用中，会遇到类内分离度矩阵奇异的问题，一般的解决思路是采用PCA和SLPP相结合，但降维过程中SLPP保留特征的维数将严重受限于PCA过程中所保留的特征维数(申中华,潘永惠,王士同.有监督的局部保留投影降维算法[J],模式识别与人工智能,2008,21(2):233-239.)。

发明内容

本发明的目的在于提供一种能够有效避免有监督局部保持投影在小样本情况下导致类内分离度矩阵奇异的特征提取人脸识别方法。

本发明的目的是这样实现的：

本发明包括以下步骤：

(1)从人脸库中读取人脸图像；

(2)对人脸图像进行特征提取，形成人脸特征；

(3)对人脸区域图像进行特征提取，从而获得特征提取所需变换矩阵和训练人脸图像的特征：

1)定义类内分离度矩阵为G_W＝XL^WX^T，类内分离度J_W＝a^TXL^WX^Ta＝a^TG_Wa和类间分离度矩阵为G_B＝XL^BX^T，类间分离度J_B＝a^TXL^BX^Ta＝a^TG_Ba，其中a为所求的投影向量，若W为类内相似度矩阵，L^W为通过W求取的类内拉普拉斯矩阵，X为高维欧氏空间中的训练样本，B为类间相似度矩阵，L^B为通过B求取的类间拉普拉斯矩阵；

2)构造出差模式的目标函数参数η为非负的可调因子；

3)求解广义分离度差矩阵(G_B-ηG_W)的特征值和特征向量确定出最优的投影轴；

(4)针对测试人脸图像进行特征提取，并通过基于欧氏距离的最近邻分类器进行分类识别。

本发明的有益效果在于：本发明采用基于差模式的目标函数代替基于Rayleigh商形式的目标函数，避免了人脸识别中的小样本问题，同时也使得有监督局部保持投影方法不再受限于PCA过程保留特征维数。避免了由于小样本导致的类内分离度矩阵奇异的问题和难以选取PCA与SLPP最优匹配维数的问题。

附图说明

图1为基于分离度差有监督局部保持投影的人脸识别流程图；

图2为部分训练样本图像；

图3为部分测试样本图像；

图4为Yale人脸库上的实验结果比较示意图；

图5为ORL人脸库上的实验结果比较示意图；

具体实施方式

下面结合附图对本发明作进一步描述：

一种基于分离度差有监督局部保持投影的人脸识别方法，首先需要从人脸数据库中读取人脸图像，然后针对人脸区域图像进行特征提取，最后通过最近邻分类完成人脸识别。

1、读取人脸图像

结合图2和图3，本发明使用了2个人脸数据库，Yale人脸库，ORL人脸库。Yale人脸库包含了15个人的165幅照片，每个人由11幅照片所构成，为256级灰度，这些照片在不同表情和光照等条件下拍摄，其分辨率为100×100。实验中使用每人的前6幅图像作为训练样本，共90幅，剩余75幅图像作为测试样本。

ORL人脸数据库，包括40个人，每人10幅，共400幅人脸图像，图像为256级灰度，分辨率为112×92(宽×高)像素。拍摄于不同时间，采用统一的黑色均匀背景，一定范围内存在光照、面部表情变化(睁眼或者闭眼、微笑或者严肃)以及脸部细节变化(如是否戴眼镜)。所有的照片都是正面直立的，允许一定角度的头部倾斜和旋转。实验中使用每人的前5幅图像作训练样本，共200幅，剩余200幅图像用于测试。

2、人脸特征提取方法

2.1、局部保持投影(LPP)

假设在高维欧氏空间R^D中存在样本X＝[x₁,x₂…,x_N]，其中N为样本的个数，D为样本的维数。局部保持投影的目标是寻找变换矩阵a，可将样本X映射到一个相对低维数的特征空间R^d，其中维数d＜＜D，如公式(1)：

x_i→y_i＝a^Tx_i,i＝1,2…N(1)

其中y_i为降维之后的向量。

假设局部保持投影的相似度矩阵为W，最小化目标函数为：

$min\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{w}_{ij}---\left(2\right)$

其中，w_ij是相似度矩阵W中的元素。最小化的目的是使高维空间中x_i和x_j相近时，经过变换得到的低维y_i和y_j也是相近的。目标函数可修改为如下形式：

$\frac{1}{2}\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{w}_{ij}=a^{T}X(D-W)X^{T}a=a^T{\mathrm{XLX}}^{T}a---\left(3\right)$

其中D是对角矩阵，D_ii是权值矩阵W第i行或第i列的和，即L＝D-W是拉普拉斯矩阵。

为保证a≠0加入约束条件，则最终可转化为求特征值、特征向量问题：

XLX^Ta＝λXDX^Ta(4)

其中λ为式(4)的特征值，a为与特征值相对应的特征向量。将前d个最小特征值按逆序排列，得到其相应的特征向量依次为a₁,a₂,…a_d，它们组成了变换矩阵a＝[a₁,a₂,…a_d]，降维过程就可表示为x_i→y_i＝a^Tx_i，其中y_i是d维向量。

2.2、有监督局部保持投影(SLPP)

有监督局部保持投影在保持类内局部结构的情况下，同时考虑使类间样本在低维空间中的分离程度达到最大。

类内相似度矩阵：对于任意数据点，只在其同类数据点中进行近邻搜索，类内近邻点x_i与x_j之间的相似程度为W_ij，则所有W_ij构成的矩阵W称为类内相似度矩阵。

类间相似度矩阵：对于任意数据点，只在其不同类的数据点中进行近邻搜索，x_i与x_j之间的相似程度为B_ij，所有元素B_ij构成的矩阵B称为类间相似度矩阵。

有监督局部保持投影的思想为：对于投影之后相距较远的类内近邻点引入一个大的惩罚，这样通过使得类内结构得到保留，分离程度达到最小；对于投影后相距较近的类间近邻点引人一个小的惩罚，这样通过使得类间样本分离程度达到最大。其目标函数为：

$max\frac{\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{B}_{ij}}{\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{W}_{ij}}---\left(5\right)$

假设a为所求的投影向量，则y^T＝a^TX，则目标函数可变为：

$max\frac{a^{T}X(D^B-B)X^{T}a}{a^{T}X(D^W-W)X^{T}a}=max\frac{a^T{\mathrm{XL}}^B{X}^{T}a}{a^T{\mathrm{XL}}^W{X}^{T}a}---\left(6\right)$

其中，X＝[x₁,…x_m]。D^B和D^W是对角矩阵，是类间相似度矩阵B_ij第i行或第i列的和，即而是类内相似度矩阵W_ij第i行或第i列的和，即L^B＝D^B-B为类间拉普拉斯矩阵，L^W＝D^W-W为类内拉普拉斯矩阵。最终，公式(5)可转化为广义特征值问题，特征方程为：

XL^BX^Ta＝λXL^WX^Ta(7)

通过求解上述方程的最大特征值对应的特征向量可确定最优的投影向量。

2.3、基于分离度差的有监督局部保持投影(SDDSLPP)

有监督局部保持投影的目标函数为Rayleigh商形式，对于人脸识别等小样本问题必然会遇到XL^WX^T为奇异的困难，因此需要在对样本进行有监督局部保持投影之前做PCA降维操作，这样不可避免的使有监督局部保持投影保留特征的维数受到了前期降维操作的影响，很难确定有监督局部保持投影过程中最优投影轴的个数。

鉴于上述问题，本发明提出一种基于分离度差的有监督局部保持投影特征提取方法。首先提出类内分离度矩阵和类间分离度矩阵的概念，并以这两个矩阵为基础构造出差模式的目标函数，最终通过求解广义分离度差矩阵的特征值和特征向量确定出最优的投影轴。该方法能够避免小样本问题的出现。

若W为类内相似度矩阵，L^W为通过W求取的类内拉普拉斯矩阵，则类内分离度矩阵G_W＝XL^WX^T，类内分离度J_W＝a^TXL^WX^Ta＝a^TG_Wa，它反映了样本类内结构的保持程度，类内分离程度越小表明在低维空间样本的类内结构得到更好地保持。

若B为类间相似度矩阵，L^B为通过B求取的类间拉普拉斯矩阵，则类间分离度矩阵G_B＝XL^BX^T，类间分离度J_B＝a^TXL^BX^Ta＝a^TG_Ba，类间分离度越大表明不同类间的样本在低维空间相距较远。

与有监督局部保持投影的思想相同，需要最小化类内分离度且最大化类间分离度。本发明提出的基于分离度差的有监督局部保持投影，其目标函数最终表达形式为：

$\underset{a\≠0}{max}{a}^T(G_B-{\mathrm{\ηG}}_W)a---\left(8\right)$

其中，矩阵(G_B-ηG_W)称为广义分离度差矩阵，参数η为非负的可调因子，用于调整最大化G_B＝XL^BX^T和最小化G_W＝XL^WX^T。另外，加入约束条件||a||＝1，则公式(8)达到最大值的投影方向等价于求解一个二次规划问题：

$\underset{\left|\right|a\left|\right|=1}{max}J\left(a\right)=\underset{\left|\right|a\left|\right|=1}{max}{a}^T(G_B-{\mathrm{\ηG}}_W)a---\left(9\right)$

J(a)＝a^T(G_B-ηG_W)a的最优投影方向为矩阵(G_B-ηG_W)的最大特征值对应的特征向量。对于多类分类问题，需要保留多个投影方向，因此需要保留前d个最大特征值对应的特征向量作为最终的投影方向，即a＝[a₁,…a_d]。降维过程就可表示为x_i→y_i＝a^Tx_i，其中y_i是降维后的向量。

下面给出该方法的具体步骤：

步骤1：建立邻接关系图。分别构建类内邻接图和类间邻接图，采用k近邻方法。类内邻接图：当点x_i属于点x_j或点x_j属于点x_i的k个类内近邻之一时，点x_i和点x_j相互连接。类间邻接图：当点x_i属于点x_j或点x_j属于点x_i的k个类间近邻之一时，点x_i和点x_j相互连接。

步骤2：构建相似度矩阵。分别构建类内相似度矩阵和类间相似度矩阵。

类内相似度W_ij，对于类内邻接图有：

类间相似度B_ij，对于类间邻接图有：

其中参数t为所有样本数据点之间的距离的平均值。

步骤3：计算矩阵G_W和矩阵G_B。

步骤4：选定合适的参数η，计算矩阵(G_B-ηG_W)。

步骤5：求解矩阵(G_B-ηG_W)的前d个最大特征值λ₁＞λ₂＞…λ_d对应的特征向量a₁,a₂,…a_d，即投影矩阵a＝[a₁,…a_d]。

降维以后的结果为：

x_i→y_i＝a^Tx_ia＝[a₁,a₂,…a_d](10)

其中，x_i为原始n维空间向量，y_i为将x_i映射到d维低维空间后的向量，而a为一个D×d的矩阵。

3、测试人脸的分类识别过程

测试过程：

(1)首先需要从测试库中提取人脸图像T。

(2)分别采用训练过程获得的变换矩阵a＝[a₁,…a_d]对图像T进行变换，获得结果为T_y＝a^TT。

(3)将测试图像的特征T_y与训练样本特征计算欧式距离，采用最近邻分类得出分类结果。

通过实验说明本发明的有效性：

为更好地验证本发明提出方法的有效性，将局部保持投影、有监督局部保持投影进行了实验比较。结合图4和图5分别给出了不同人脸库上各方法的特征最终保留维数和最优识别效果。

通过实验数据分析可知，局部保持投影识别率较低，这是由于该方法属于无监督学习方法，未能充分利用样本的类别信息。有监督局部保持投影属于有监督学习方法，它使得识别效果得到一定程度的改善，但是其最优识别效果需要在PCA和SLPP维数达到最佳匹配的情况下才能实现，而这种最佳匹配的获得需要进行大量的对比实验。

本发明提出的一种基于分离度差有监督局部保持投影的人脸识别方法，将基于Rayleigh商形式的准则函数改进为基于差形式的准则函数，避免了由于小样本导致的类内分离度矩阵奇异的问题和难以选取PCA与SLPP最优匹配维数的问题，而且识别效果较已有方法有一定程度的改善。对比实验也证明了本发明所提出方法的有效性。

Claims (1)

1.一种基于分离度差有监督局部保持投影的人脸识别方法，其特征在于，包括以下步骤：

(1)从人脸库中读取人脸图像；使用Yale人脸库，ORL人脸库；Yale人脸库包含15个人的165幅照片，每个人由11幅照片所构成，为256级灰度，分辨率为100×100；

ORL人脸数据库，包括40个人，每人10幅，共400幅人脸图像，图像为256级灰度，分辨率为112×92像素；

(2)对人脸图像进行特征提取，形成人脸特征；

(2.1)局部保持投影

在高维欧氏空间R^D中存在样本X＝[x₁,x₂…,x_N]，其中N为样本的个数，D为样本的维数；局部保持投影的目标是寻找第一变换矩阵a_-1，将样本X映射到一个低维数的特征空间R^d，其中维数d＜＜D：

x_i→y_i＝a_-1 ^Tx_i,i＝1,2…N；

其中y_i为降维之后的向量；

局部保持投影的类内相似度矩阵为W，最小化目标函数为：

$min\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{W}_{ij};$

其中，W_ij是类内相似度矩阵W中的元素；目标函数修改为：

$\frac{1}{2}\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{W}_{ij}={a_{-1}}^{T}X(D-W)X^T{a}_{-1}={a_{-1}}^T{\mathrm{XLX}}^T{a}_{-1};$

其中D是对角矩阵，D_ii是类内相似度矩阵W第i行的和，即L＝D-W是拉普拉斯矩阵；

为保证a_-2≠0加入约束条件，求特征值、特征向量：

XLX^Ta_-2＝λXDX^Ta_-2；

其中λ为特征值，a_-2为与特征值相对应的特征向量；将前d个最小特征值按逆序排列，得到相应的特征向量依次为a₁,a₂,…a_d，组成了第二变换矩阵a_-3＝[a₁,a₂,…a_d]，降维过程表示为x_i→y_i＝a_-3 ^Tx_i，其中y_i是d维向量；

类内相似度矩阵：对于任意数据点，只在其同类数据点中进行近邻搜索，类内近邻点x_i与x_j之间的相似程度为类内相似度W_ij，则所有W_ij构成的矩阵W称为类内相似度矩阵；

(2.2)有监督局部保持投影

类间相似度矩阵：对于任意数据点，只在其不同类的数据点中进行近邻搜索，x_i与x_j之间的相似程度为类间相似度B_ij，所有B_ij构成的矩阵B称为类间相似度矩阵；

对于投影之后相距较远的类内近邻点引入惩罚，通过使得类内结构得到保留，分离程度达到最小；对于投影后相距较近的类间近邻点引入惩罚，通过使得类间样本分离程度达到最大；目标函数为：

$max\frac{\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{B}_{ij}}{\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{W}_{ij}};$

a_-1为所求的第一变换矩阵，y^T＝a_-1 ^TX，则目标函数变为：

$max\frac{{a_{-1}}^{T}X(D^B-B)X^T{a}_{-1}}{{a_{-1}}^{T}X(D^W-W)X^T{a}_{-1}}=max\frac{{a_{-1}}^T{\mathrm{XL}}^B{X}^T{a}_{-1}}{{a_{-1}}^T{\mathrm{XL}}^W{X}^T{a}_{-1}}$

其中，X＝[x₁,x₂…x_N]；D^B和D^W是对角矩阵，是类间相似度矩阵B第i行的和，即而是类内相似度矩阵W第i行的和，即L^B＝D^B-B为类间拉普拉斯矩阵，L^W＝D^W-W为类内拉普拉斯矩阵；最终，转化为广义特征值问题，特征方程为：

XL^BX^Ta_-1＝λXL^WX^Ta_-1；

通过求解上述方程的最大特征值对应的特征向量可确定最优的变换矩阵；

(2.3)基于分离度差的有监督局部保持投影

W为类内相似度矩阵，L^W为通过W求取的类内拉普拉斯矩阵，则类内分离度矩阵G_W＝XL^WX^T，类内分离度J_W＝a_-1 ^TXL^WX^Ta_-1＝a_-1 ^TG_Wa_-1，B为类间相似度矩阵，L^B为通过B求取的类间拉普拉斯矩阵，则类间分离度矩阵G_B＝XL^BX^T，类间分离度J_B＝a_-1 ^TXL^BX^Ta_-1＝a_-1 ^TG_Ba_-1；

其目标函数最终表达形式为：

$\underset{a_{-1}\≠0}{max}{a_{-1}}^T(G_B-{\mathrm{\ηG}}_W)a_{-1};$

其中，矩阵(G_B-ηG_W)称为广义分离度差矩阵，参数η为非负的可调因子，用于调整最大化G_B＝XL^BX^T和最小化G_W＝XL^WX^T，加入约束条件||a_-1||＝1，达到最大值的投影方向等价于求解一个二次规划问题：

$\underset{\left|\right|a_{-1}\left|\right|=1}{max}J\left(a_{-1}\right)=\underset{\left|\right|a_{-1}\left|\right|=1}{max}{a_{-1}}^T(G_B-{\mathrm{\ηG}}_W)a_{-1};$

J(a_-1)＝a_-1 ^T(G_B-ηG_W)a_-1的最优投影方向为矩阵(G_B-ηG_W)的最大特征值对应的特征向量；保留前d个最大特征值对应的特征向量作为最终的第三变换矩阵，即a_-4＝[a'₁,…a'_d]；降维过程为x_i→y_i＝a_-4 ^Tx_i，其中y_i是降维后的向量；

(3)对人脸区域图像进行特征提取，从而获得特征提取所需变换矩阵和训练人脸图像的特征：

(3.1)建立邻接关系图；分别构建类内邻接图和类间邻接图，采用k近邻方法，类内邻接图：当点x_i属于点x_j的k个类内近邻之一或点x_j属于点x_i的k个类内近邻之一时，点x_i和点x_j相互连接；类间邻接图：当点x_i属于点x_j的k个类间近邻之一或点x_j属于点x_i的k个类间近邻之一时，点x_i和点x_j相互连接；

(3.2)构建相似度矩阵；分别构建类内相似度矩阵和类间相似度矩阵；

类内相似度W_ij，对于类内邻接图有：

类间相似度B_ij，对于类间邻接图有：

其中参数t为所有样本数据点之间的距离的平均值；

(3.3)计算矩阵G_W和矩阵G_B；

(3.4)选定合适的参数η，计算矩阵(G_B-ηG_W)；

(3.5)求解矩阵(G_B-ηG_W)的前d个最大特征值λ₁＞λ₂＞…λ_d对应的特征向量a'₁,…a'_d，即第三变换矩阵a_-4＝[a'₁,…a'_d]；

降维以后的结果为：

x_i→y_i＝a_-4 ^Tx_ia_-4＝[a'₁,…a'_d]

其中，x_i为原始D维空间向量，y_i为将x_i映射到d维低维空间后的向量，而a_-4为一个D×d的矩阵；

(4)针对测试人脸图像进行特征提取，并通过基于欧氏距离的最近邻分类器进行分类识别；

(4.1)首先需要从测试库中提取人脸图像T；

(4.2)采用训练过程获得的第三变换矩阵a_-4对图像T进行变换，获得结果为T_y＝a_-4 ^TT；

(4.3)将测试图像的特征T_y与训练样本特征计算欧式距离，采用最近邻分类得出分类结果。