CN109241813B - 基于判别稀疏保持嵌入的非约束人脸图像降维方法 - Google Patents

Abstract

本发明提供一种基于判别稀疏保持嵌入的非约束人脸图像降维方法，通过1)计算样本重构关系矩阵W，在计算样本稀疏重构关系时，引入类别标签，分别构建类内重构关系矩阵和类间重构关系矩阵，并且在稀疏重构阶段增加类内、类间紧凑度约束，有效增大待测样本与同类样本的重构关系，而减弱待测样本与异类样本的重构关系；2)计算低维投影矩阵P，计算低维投影矩阵时，增加全局约束因子，不仅考虑了样本的局部稀疏关系，也考虑了全局分布特性，进一步削弱异类伪近邻样本对低维投影的干扰，更准确挖掘出隐藏在复杂冗余数据中的低维流形本质结构；3)实现高维样本数据的低维线性映射；该方法大大提高非约束环境下人脸识别的准确性。

Description

基于判别稀疏保持嵌入的非约束人脸图像降维方法

技术领域

本发明涉及一种基于判别稀疏保持嵌入的非约束人脸图像降维方法，是以非约束环境下人脸识别为应用背景，进行高维人脸数据的低维映射研究，主要包括样本稀疏重构关系的优化和低维投影目标函数的改进。

背景技术

随着互联网、传感技术的飞速发展，计算机处理的人脸图像数据越来越呈现海量、复杂的特点。因此，对海量复杂人脸数据进行有效降维，挖掘出掩藏在高维表象下有用的本质信息显得尤为重要。一方面可减少数据维度，节约存储空间，提高系统的运行效率；另一方面，又可获取数据本质特征，增强系统的表征能力。

鉴于非约束环境下获取的人脸图像受光照、姿态、表情、遮挡、年龄、分辨率等多种因素混合干扰，导致高维人脸数据结构复杂、冗余度高且呈现非线性分布。因此，传统的线性降维方法(如PCA、LDA等)不能有效处理这种在高维空间中扭曲的真实数据，有时甚至会削弱和破坏高维数据中隐含的局部几何结构。为了有效挖掘高维数据中隐含的低维本质结构，以核学习和流形学习为代表的非线性降维方法得到广泛应用。核学习虽然在一定程度上起到了非线性降维的作用，但其本质仍是在高维的隐特征空间利用线性方法降维，并且核矩阵设计、以及通过核矩阵将数据映射到更高维的隐特征空间的内在机制和直观意义都尚不明确，这极大的限制了核学习的发展。而流形学习的本质是从局部可坐标化的拓扑空间中挖掘高维数据内在的流形结构，是对传统欧式空间研究的推广，符合人眼视觉感知机制，因此，流形学习能够更准确、更有效的从真实复杂数据中寻找事物的本质特征，是一种能够恢复数据内在扭曲结构的非线性降维方法。

目前，传统的流形学习算法(如LE、LLE、Isomap等)均采用隐式函数把数据从高维空间映射到低维空间，缺乏对新样本的归纳能力。而局部保持投影(Locality preservingprojections,LPP)和近邻保持嵌入(Neighborhood preserving embedding,NPE)则分别是对传统的拉普拉斯特征映射(Laplacian Eigenmap,LE)和局部线性嵌入(Locally LinearEmbedding,LLE)的线性化改进，在不改变原有目标函数基础上增加线性约束，得到映射函数解析式，未知新样本的低维坐标可直接由显式函数计算得到，在模式识别领域得到广泛应用。

需要注意的是，LPP和NPE在数据降维中也有其局限性。一方面，LPP和NPE的基本思想是以邻域样本之间的距离测度作为权值条件，约束达到在低维空间中仍保持该局部属性的降维方法，但在实际应用中，样本之间距离测度的可区分性会随着数据维数的增加而减弱，因此，利用距离测度描述高维数据的局部属性并不能准确挖掘出样本中隐含的低维流形本质结构。另一方面，近邻图参数选择也是LPP和NPE的技术难点，近邻个数k和高斯核σ的微小变化都会导致结果大相径庭。

鉴于此，为了解决以上问题，乔立山提出稀疏保持投影(Sparsity PreservingProjections,SPP)算法，通过构造全局字典避免近邻图参数选择，优化得到每一个样本在全局字典下的稀疏表示系数，建立样本间的稀疏重构关系图，实现保持高维样本间稀疏重构关系的数据低维投影。

虽然样本间稀疏重构关系相比距离测度具有更好的鲁棒性，这使得SPP在人脸识别中取得较好效果，但SPP是一种非监督的全局学习算法，没有引入类别标签信息，尽管乔立山指出稀疏重构系数中已隐含鉴别信息，但这个结论是基于训练样本充分多，且同类样本充分近似的假设条件下得到的。事实上，在真实环境下采集的人脸图像复杂多变，由于表情、遮挡、光照、年龄等因素影响，同类样本间会表现出很大差异，导致待测样本不能完全被同类样本近似稀疏表示，同时还会出现个别异类样本错误逼近的情况，使得投影矩阵不准确，识别准确性受影响。

总的来说，现有流形学习算法的不足之处在于：

1.LPP、NPE及其改进算法是传统流形学习算法的线性实现，有效保持了样本之间的局部近邻关系，但在高维空间中，以样本之间的欧式距离大小描述近邻关系不具有可区分性，因此，以距离测度表示近邻关系不能准确挖掘出掩藏在高维冗余数据中有用的低维本质信息。

2.在以LPP和NPE为代表的局部保持降维算法中，近邻图的构造起着至关重要的核心作用，但合适的图参数选择仍是这类算法的一个技术难点，微小的近邻图参数变化都会导致算法性能急剧下降。

SPP及其改进算法是通过保持样本稀疏重构关系实现高维数据的低维映射。相比LPP和NPE算法，SPP根据样本间的稀疏关系可以更准确描述高维数据内蕴的局部结构，并且稀疏表示系数的准确性直接决定了低维流形结构的准确性。但在处理非约束环境下获取的人脸数据时，样本复杂多变，传统SPP作为一种无监督降维方法，优化得到稀疏重构权值并不能准确体现鉴别信息，并且，在进行低维投影时，也没有考虑样本的全局分布特性，，影响了非约束人脸识别的准确性。

发明内容

本发明的目的是提供一种基于判别稀疏保持嵌入的非约束人脸图像降维方法，(Discriminative Sparsity Preserving Embedding，DSPE)，对于非约束环境中获取的真实人脸图像，可以更准确消除高维数据中的冗余信息，抽取本质特征，增强表征能力；同时，也减少了数据维度，节约存储空间，提高系统的运行效率，。解决现有技术中存在的上述问题。

本发明的技术解决方案是：

一种基于判别稀疏保持嵌入的非约束人脸图像降维方法，包括以下步骤，

1)计算样本重构关系矩阵W＝W^w+W^b，其中，W^w为类内重构关系矩阵，W^b为类间重构关系矩阵；

2)计算低维投影矩阵P，从最小化类内重构误差和最大化类间重构误差两个方面约束求解待测样本x_ij的最佳低维投影矩阵，则基于最大边界准则定义投影矩阵目标函数为：

这里约束P^TP＝I，使投影矩阵P单位正交，I为单位矩阵，T表示矩阵转置；将最小化低维空间类内散度S_w和最大化低维空间类间散度S_b的矩阵表达式带入目标函数中，由拉格朗日乘子法得到目标方程

这里M^b＝I-W^b-(W^b)^T+(W^b)^TW^b，由类间重构关系矩阵W^b表示，I为单位矩阵；同理M^w＝I-W^w-(W^w)^T+(W^w)^TW^w，由类内重构关系矩阵W^w表示，定义全局类内紧凑矩阵X_w表示为

X_i是第i类样本子集，

是第i类样本子集的均值矩阵；定义全局类间离散矩阵X_b表示为

是所有样本的均值矩阵，

是第i类样本子集的均值矩阵，λ为拉格朗日参数，T表示矩阵转置；

选取前d个最大特征值对应的特征向量，构成最佳低维映射矩阵P＝[p₁,p₂…,p_d]；

3)实现高维样本数据的低维线性映射：

x_i→y_i＝P^Tx_i (3)

其中，i＝1，2，...，N，x_i为人脸图像的训练样本集X中的第i个人脸图像，y_i为采用低维投影矩阵P对人脸图像x_i降维后得到的低维本质特征数据；

进而在分类器上进行人脸识别。

进一步地，计算样本重构关系矩阵W，具体为，设训练样本集X由c类样本子集X₁,X₂,...,X_c组成，

，这里m,n表示图像的大小，N为图像个数，R表示实数集，假设第k类有n_k个样本，则满足

共N个训练样本，任意样本x_ij描述为第i类的第j个样本，分别求解x_ij与其他样本包括同类样本与异类样本的重构关系。

进一步地，分析待测样本x_ij与同类样本的重构关系，构建类内重构关系矩阵W^w，目标函数如下：

这里，定义e＝[1,1,...,1]^T∈R^N×1为单位向量，e^T表示单位向量转置，

约束样本x_ij由字典

稀疏表示的权重和为1；F为Frobenius范数，定义为

λ₁和λ₂分别为稀疏约束比例参数，调节λ₁和λ₂可以使目标函数达到最优；

其中，l(x_ij)表示样本x_ij的类别标签，l(x_ij)取1,2,...,c中任意值；定义

为类内字典，由与x_ij相同类别且不包括x_ij的训练样本组成，表示为

为第l(x_ij)类样本的个数；根据目标函数(4)，优化得到样本x_ij的类内稀疏表示系数

是与x_ij同类样本的稀疏表示系数的平均值，最小化

可以使样本的类内稀疏表示系数接近中心值，增强待测样本与同类样本的紧凑度；

为了降低计算复杂度，首先初始化均值向量

为零向量，优化求解同类所有样本的

然后计算平均值

最后带入式(4)，根据最小二乘法分析得到解析式(5)，由此计算得到最佳类内稀疏表示系数

因此，得到测样本x_ij的类内稀疏表示系数形式为

，则同类所有样本的类内稀疏表示系数矩阵为

由此得到所有训练样本的类内重构关系矩阵为

进一步地，分析待测样本x_ij与异类样本的重构关系，构建类间重构关系矩阵W^b，目标函数如下：

这里，定义e＝[1，1，...，1]^T∈R^N×1为单位向量，e^T表示单位向量转置，

约束样本x_ij由字典

稀疏表示的权重和为1；F为Frobenius范数，定义为

λ₃和λ₄分别为稀疏约束比例参数，调节λ₃和λ₄可以使目标函数达到最优；

这里定义

为类间字典，由与x_ij不同类别的训练样本组成；假设x_ij属于第i类样本，则

表示为

根据目标函数(6)，优化得到样本x_ij的类间稀疏表示系数

其中

是与x_ij同类样本的类间稀疏表示系数的平均值，记为

最小化

使样本的类间稀疏表示系数接近中心值，增大异类样本间的离散度；

采用最小二乘法分析得到目标函数的解析式，计算最佳类间稀疏表示系数

假设待测样本x_ij属于第i类，则得到x_ij的类间稀疏表示系数

的形式为

为了便于描述类间重构关系矩阵W^b，将

扩展为N维列向量，即

则第i类样本子集的扩展类间稀疏重构权值矩阵表示为

由此得到所有样本的类间重构关系矩阵

进一步地，最小化低维空间类内散度S_w的矩阵表达式由以下得到：为了使低维空间中同类样本尽可能聚合，在最小化类内重构误差条件下，增加全局类内约束条件，使得低维投影数据既保留了样本间局部类内稀疏重构关系，又考虑了同类样本子集的全局紧凑度分布特性，定义目标函数如下：

这里为了描述方便，不考虑样本类别，定义x_i为训练样本集X中的第i个样本，x_j为第j个样本，

是类内重构关系矩阵W^w中的第i行第j列的数值，描述了样本x_i与x_j的类内重构关系；定义X_w表示为

X_i是第i类样本子集，

是第i类样本子集的均值矩阵，约束

最小，可以使得各类样本子集类内紧凑；分析目标函数(8)，经推导得到：

其中，M^w表示为I-W^w-(W^w)^T+(W^w)^TW^w，W^w为类内重构关系矩阵。

进一步地，最大化低维空间类间散度S_b的矩阵表达式由以下得到：为了使低维空间中异类样本尽可能分离，在最大化类间重构误差条件下，增加全局类间约束条件，使得低维投影数据既保留了样本间局部类间稀疏重构关系，又考虑了异类样本子集的全局离散度分布特性，定义目标函数如下：

其中，

是类间重构关系矩阵W^b中的第i行第j列的数值，描述了样本x_i与x_j的类间重构关系；定义X_b表示为

是所有样本的均值矩阵，

是第i类样本子集的均值矩阵，约束

最大，使得各类样本子集类间分离，分析目标函数(10)，经推导得到：

其中，M^b表示为I-W^b-(W^b)^T+(W^b)^TW^b，W^b为类间重构关系矩阵。

本发明从两个方面进行改进：(1)在计算样本稀疏重构关系时，引入类别标签，分别构建类内重构关系矩阵和类间重构关系矩阵，并且在稀疏重构阶段增加类内、类间紧凑度约束，有效增大待测样本与同类样本的重构关系，而减弱待测样本与异类样本的重构关系；(2)计算低维投影矩阵时，增加全局约束因子，不仅考虑了样本的局部稀疏关系，也考虑了全局分布特性，可以进一步削弱异类伪近邻样本对低维投影的干扰，增强低维空间中同类数据分布的紧凑性，以及异类数据间的疏远度，更准确挖掘出隐藏在复杂冗余数据中的低维流形本质结构。

本发明的有益效果是：该种基于判别稀疏保持嵌入的非约束人脸图像降维方法DSPE，引入类别标签，分别构建类内重构关系矩阵W^b和类间重构关系矩阵W^w，并且在稀疏重构阶段增加了类内稀疏系数紧凑度约束

和类间稀疏系数紧凑度约束

用以增强高维空间中待测样本与同类样本的重构关系，而削弱与异类样本的重构关系；然后，在最大化类间重构误差和最小化类内重构误差基础上，增加全局约束因子

和

使得数据低维投影时不仅考虑了样本的局部稀疏关系，也考虑了全局分布特性，有效提高投影矩阵准确性，进一步削弱异类样本与待测样本的近邻关系，大大提高非约束环境下人脸识别的准确性。

附图说明

图1是本发明实施例基于判别稀疏保持嵌入的非约束人脸图像降维方法的的流程示意图。

图2是AR、Extended Yale B、LFW和Pubfig四种数据库部分样本图像示意图。

图3是Extended Yale B库的二维可视化结果的示意图。

图4是PubFig库的二维可视化结果的示意图。

图5是在不同维度下各种降维方法的识别率的示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

针对稀疏保持投影算法(Sparsity Preserving Projections,SPP)中利用全局字典表示样本间稀疏重构关系以及投影过程没有从全局角度分析样本的结构特征的问题，本发明提出一种有监督的判别稀疏保持嵌入算法(Discriminative Sparsity PreservingEmbedding,DSPE)，旨在达到以下发明目的：

(1)通过引入类别标签，建立局部类内字典和类间字典，使得待测样本由同类样本和异类样本分别稀疏表示，并且在稀疏表示基础上增加类内紧凑度约束和类间紧凑度约束，用以增强高维空间中待测样本与同类样本的重构关系，而削弱与异类样本的重构关系；

(2)在最大化类间重构误差和最小化类内重构误差基础上，增加了训练样本的类内全局约束和类间全局约束，使得数据低维投影时不仅考虑了样本的局部稀疏关系，也考虑了全局分布特性，进一步削弱异类伪近邻样本对低维投影的干扰，增强低维空间中同类数据分布的紧凑性，以及异类数据间的疏远度，更准确挖掘出隐藏在复杂冗余数据中的低维流形本质结构；

(3)在计算样本重构关系矩阵时，采用最小二乘法得到解析式，可以快速求解样本稀疏重构权值，大大降低了算法的时间复杂度；

(4)对于真实环境中获取的非约束人脸图像，DSPE可以更准确消除高维数据中的冗余信息，抽取本质特征，增强表征能力；同时，也减少了数据维度，节约存储空间，大大提高了人脸识别的可靠性和有效性。

稀疏保持投影算法(Sparsity Preserving Projections,SPP)的实现原理

稀疏保持投影算法基本思想是通过保持样本之间的稀疏重构关系不变来进行低维投影映射。基本实现步骤是：

1)计算样本之间的重构关系矩阵W。假设有N个训练样本，构建样本矩阵X＝[x₁,x₂,...,x_N]∈R^mn×N，其中x_i是将大小为m×n的图像按行拉成的列向量。对任意训练样本x_i，利用除样本x_i的剩余所有样本构建字典X_i＝[x₁,...,x_i-1,0,x_i+1,...,x_N]∈R^mn×N，对x_i进行稀疏表示，目标函数如下：

其中，s_i是x_i在字典X_i下的稀疏表示向量，s_i＝[α_i1,...,α_ii-1,0,α_ii+1...,α_iN]^T∈R^{N ×1}。这里定义e＝[1，1，...，1]^T∈R^N×1为单位向量，e^Ts_i＝1可以约束样本x_i由字典X_i稀疏表示的权重和为1。依次计算每个训练样本的稀疏表示向量，得到样本之间的重构关系矩阵W＝[s₁,...,s_i,...,s_N]∈R^N×N，W是对称矩阵，对角线上权值恒为零α_ii＝0。

2)计算低维映射矩阵P。为保证原始高维空间中人脸数据集的稀疏重构关系映射到低维流形子空间后仍然保持，设计目标函数如下：

其中，P是将高维样本数据x_i映射到低维空间的投影矩阵，其最优值可通过求解X(W+W^T-W^TW)X^TP＝λXX^TP的广义特征值问题得到。选取前d个最大特征值对应的特征向量，构成最佳低维映射矩阵P＝[p₁,p₂...,p_d]。

3)实现高维样本数据的低维线性映射。

x_i→y_i＝P^Tx_i (3)

其中，i＝1，2，...，N，x_i为人脸图像的训练样本集X中的第i个人脸图像，y_i为采用低维投影矩阵P对人脸图像x_i降维后得到的低维本质特征数据；

进而在分类器上进行人脸识别。

实施例的判别稀疏保持嵌入算法(Discriminative Sparsity PreservingEmbedding,DSPE)的实现原理如下：

本发明从两个方面对SPP进行改进：(1)在计算样本重构关系时，通过引入类别标签，构建类内字典和类间字典，使得待测样本由同类样本和异类样本分别稀疏表示，并且在稀疏表示基础上增加类内紧凑度约束和类间紧凑度约束，增强高维空间中待测样本与同类样本的重构关系，而削弱与异类样本的重构关系；(2)计算低维映射矩阵P时，在最大化类间重构误差和最小化类内重构误差基础上，增加全局类内、类间约束因子，使得数据低维投影时不仅考虑了样本的局部稀疏关系，也考虑了全局分布特性，进一步提高投影矩阵的准确性。

实施例的基于判别稀疏保持嵌入的非约束人脸图像降维方法，具体实现如下：

1)计算样本重构关系矩阵W。设训练样本集X由c类样本子集X₁,X₂,...,X_c组成，

，假设第k类有n_k个样本，则满足

共N个训练样本。任意样本x_ij描述为第i类的第j个样本，下面从两个方面分别求解x_ij与其他样本的重构关系。

①分析待测样本x_ij与同类样本的重构关系，构建类内重构关系矩阵W^w，目标函数如下：

这里，l(x_ij)表示为样本x_ij的类别标签，l(x_ij)可以取1,2,...,c中任意值。e＝[1，1，...，1]^T∈R^N×1为单位向量。定义

为类内字典，由与x_ij相同类别且不包括x_ij的训练样本组成，表示为

为第l(x_ij)类样本的个数。根据目标函数(4)，优化得到样本x_ij的类内稀疏表示系数

可以约束样本x_ij由类内字典

稀疏表示的权重和为1。

是与x_ij同类样本的稀疏表示系数的平均值，最小化

可以使样本的类内稀疏表示系数接近中心值，增强待测样本与同类样本的紧凑度。由于式(4)中

值与稀疏表示系数

有关，传统方法采用交替方向迭代算法分别优化求解

和

本发明为了降低计算复杂度，首先初始化均值向量

为零向量，优化求解同类所有样本的

然后计算平均值

最后带入式(4)，根据最小二乘法分析得到解析式(5)，由此计算得到最佳类内稀疏表示系数

因此，得到待测样本x_ij的类内稀疏表示系数的形式为

，则同类所有样本的类内稀疏表示系数矩阵为

由此得到所有训练样本的类内重构关系矩阵

②分析待测样本x_ij与异类样本的重构关系，构建类间重构关系矩阵W^b，目标函数如下：

这里，定义

为类间字典，由与x_ij不同类别的训练样本组成。假设x_ij属于第i类样本，则

表示为

根据目标函数(6)，优化得到样本x_ij的类间稀疏表示系数

其中

是与x_ij同类样本的类间稀疏表示系数的平均值，记为

最小化

可以使样本的类间稀疏表示系数接近中心值，增大异类样本间的离散度。与前面方法一样，这里仍采用最小二乘法分析得到目标函数的解析式，计算最佳类间稀疏表示系数

假设待测样本x_ij属于第i类，则得到x_ij的类间稀疏表示系数

表示形式为

为了便于描述类间重构关系矩阵W^b，将

扩展为N维列向量，即

，则第i类样本子集的扩展类间稀疏重构权值矩阵表示为

，由此得到所有样本的类间重构关系矩阵

③最后，由前面分析，计算得到样本重构关系矩阵W＝W^w+W^b。

2)计算低维投影矩阵P。从最小化类内散度和最大化类间散度两个方面约束求解待测样本x_ij的最佳低维投影矩阵。

①最小化低维空间类内散度S_w。为了使低维空间中同类样本尽可能聚合，在最小化类内重构误差条件下，增加全局类内约束条件，使得低维投影数据既保留了样本间局部类内稀疏重构关系，又考虑了同类样本子集的全局紧凑度分布特性。定义目标函数如下：

这里为了描述方便，不考虑样本类别，定义x_i为训练样本集X中的第i个样本，x_j为第j个样本，

是类内重构关系矩阵W^w中的第i行第j列的数值，描述了样本x_i与x_j的类内重构关系。定义X_w表示为

X_i是第i类样本子集，

是第i类样本子集的均值矩阵，约束

最小，可以使得各类样本子集类内紧凑。分析目标函数(8)，经推导得到：

其中，M^w表示为I-W^w-(W^w)^T+(W^w)^TW^w，W^w为类内重构关系矩阵。

②最大化低维空间类间散度S_b。为了使低维空间中异类样本尽可能分离，在最大化类间重构误差条件下，增加全局类间约束条件，使得低维投影数据既保留了样本间局部类间稀疏重构关系，又考虑了异类样本子集的全局离散度分布特性。定义目标函数如下：

其中，

是类间重构关系矩阵W^b中的第i行第j列的数值，描述了样本x_i与x_j的类间重构关系。定义X_b表示为

是所有样本的均值矩阵，

是第i类样本子集的均值矩阵，约束

最大，可以使得各类样本子集类间分离。分析目标函数(10)，经推导得到：

其中，M^b表示为I-W^b-(W^b)^T+(W^b)^TW^b，W^b为类间重构关系矩阵。

③为了既满足最小化类内散度，又满足最大化类间散度两个条件，则基于最大边界准则定义投影矩阵目标函数为：

将S_w和S_b的矩阵表达式带入目标函数中，由拉格朗日乘子法得到目标方程

选取前d个最大特征值对应的特征向量，构成最佳低维映射矩阵

P_opt＝[p₁,p₂...,p_d]。

3)实现高维样本数据的低维线性映射。

本发明分别在AR、Extended Yale B、LFW和Pubfig四个数据库上进行实验仿真，与传统经典降维方法(PCA、LDA、LPP、NPE、LSDA、SPP和DSNPE)进行结果比较和数据分析，得到以下结论：

(1)本发明在四个数据库上的识别率均高于传统经典降维方法，这说明了DSPE可以有效提取高维、复杂、冗余数据蕴含的低维本质特征；

(3)本发明的稀疏重构时间远远小于SPP和DSNPE的稀疏重构时间，这说明本发明在稀疏重构阶段的改进以及快速求解稀疏重构权值的方法，可以大幅度降低算法的时间复杂度，为本发明实用化提供可能。

(2)将传统经典降维方法和本发明应用在支持向量机(SVM)、K近邻(KNN)和稀疏表示分类(SRC)三种分类器上，发现DSPE的识别结果稳定，这说明了本发明具有很好的分类器普适性和稳定性；

(4)本发明与近期最新研究成果进行比较，非约束人脸识别率仍有一定提高，这也体现了本发明的先进性。

实验仿真：

由于AR、Extended Yale B、LFW和Pubfig数据库的人脸图像受姿态、光照、遮挡、表情等因素影响，尤其是LFW和Pubfig数据库，它们是在非约束环境下获取的，人脸图像复杂多变，因此分别在这四种数据库上进行实验仿真，能够充分验证算法的有效性和鲁棒性。人脸数据库的介绍如下：

AR数据库(Aleix Martinez and Robert Benavente database)是在严格控制外界环境条件下采集的具有不同的面部表情、照明条件和遮挡(包括太阳镜和围巾)的人脸正视图。有120类人(65男55女)同时参加了间隔14天的两次采集拍摄，共1680张人脸图像。在两阶段中，每类人每个阶段有13张图像，包括7张表情和光照有变化的无遮挡图像、6张有遮挡图像(3张太阳镜遮挡和3张围巾遮挡)。本次实验中，选取每类人两阶段中表情和光照有变化且无遮挡的共14张图像进行实验仿真，从中随机选取7张图像作为训练样本，剩余7张图像作为测试样本。图像进行灰度化处理，并归一化为50*40像素大小。

Extended Yale B数据库，包含38类人的2414张脸部正视图像。在实验室控制的照明条件下，每类人大约拍摄64张照片。本次实验中，选取38类人的所有图像进行实验，随机选取每类人的16张图像作为训练样本，剩余图像作为测试样本。图像归一化为32*32像素大小。

LFW数据库(Labeled Faces in the Wild database)，是从Internet上随机收集得到的，包含了在非约束环境下捕捉到的共有13233张的5749类人的人脸图像。其中，有1680类人的图像数目大于或等于两幅，图像绝大部分为彩色图像，灰度图像只占极少数。LFW中的人脸图像包含了光照、表情、姿态、遮挡、年龄、种族等多种干扰因素，几乎包括了非约束环境中所有干扰因素，对于人脸识别来说非常具有挑战性。本次实验中，我们选取有20张以上(包括20张)图像的人进行识别，得到62类人，供3023张图像进行实验仿真，其中每类人10张图像作为训练样本，剩余图像作为测试样本。对LFW数据库进行人脸检测预处理，去除背景干扰。图像归一化为128*128像素大小。

PubFig数据库(Public Figures Face Database)与LFW数据库类似，包括从互联网上采集到的200类知名人物的58797张图像。数据库中的人脸都是非约束环境下拍摄的，包含部分遮挡(眼镜、帽子等饰物)、极端光照、较大的姿势变换(>45°)、不同种族、年龄等干扰因素。本次实验中，从PubFig数据库中随机选取99类人，每类人选择20张图像进行实验仿真，其中每类人10张图像作为训练样本，剩余图像作为测试样本。同样也对PubFig数据库进行人脸检测预处理，去除背景干扰。图像归一化为128*128像素大小。四个数据库的部分样本图像如图1所示。

1.本发明与PCA、LDA、LPP、NPE、LSDA、SPP和DSNPE的二维可视化结果比较

考虑AR库和Extended Yale B库是实验人脸数据库(即数据库中图像是在实验环境下产生的，干扰因素单一)，而LFW库和PubFig库是真实人脸数据库(即数据库中图像是在真实环境下产生的，干扰因素复杂多变)，这里以Extended Yale B数据库和PubFig数据库为例，采用PCA、LDA、LPP、NPE、LSDA、SPP、DSNPE和本发明八种方法，对以上两个数据库进行降维，任选其中四类子集的二维可视化结果如图2～3所示。从图中结果可以看出，在两个数据库上，尤其是在真实数据库(PubFig库)上，相比其他算法，DSPE使各类样本低维数据分布更集中，类间边界更明显，有利于非约束人脸的准确分类。

2.本发明与PCA、LDA、LPP、NPE、LSDA、SPP和DSNPE降维效果比较

为验证本发明相比PCA、LDA、LPP、NPE、LSDA、SPP和DSNPE，更能准确挖掘出隐藏在高维冗余数据中的本质特征，分别在AR、Extended Yale B、LFW和PubFig四种数据库上进行投影降维，并使用SRC分类器进行人脸辨别。实验结果如表1～表4所示，表中罗列了八种方法在四个数据库上的最佳识别率、对应维度以及原始高维数据转换为低维数据的降维时间。为避免计算投影矩阵时的奇异性问题，采用PCA对原始数据进行预处理降维，要求降维后AR、Extended Yale B、LFW和PubFig数据库分别保持98％、99％、98％和95％的能量。这里取经验值λ₁＝λ₃＝0.05，λ₂＝λ₄＝1。

表1 AR库中各种方法的最佳识别率(％)及其对应维度(d)和降维时间(s)

降维方法	PCA	LDA	LPP	NPE	LSDA	SPP	DSNPE	DSPE
									识别率	99.17	96.90	96.90	97.50	97.38	98.57	99.40	99.76
维数	201	81	111	301	271	281	331	71
									降维时间	2.21	2.64	3.42	3.93	3.57	1779.78	626.53	168.56

表2 Extended Yale B库中各种方法的最佳识别率(％)及其对应维度(d)和降维时间(s)

降维方法	PCA	LDA	LPP	NPE	LSDA	SPP	DSNPE	DSPE
									识别率	87.89	89.53	91.81	92.97	90.48	91.53	92.36	96.01
维数	151	37	97	141	141	151	101	111
									降维时间	2.34	2.72	2.92	3.67	3.20	419.67	135.53	29.48

表3 LFW库中各种方法的最佳识别率(％)及其对应维度(d)和降维时间(s)

降维方法	PCA	LDA	LPP	NPE	LSDA	SPP	DSNPE	DSPE
									识别率	35.79	55.89	56.30	55.10	56.30	41.45	56.26	64.84
维数	322	61	65	181	151	322	231	81
									降维时间	11.22	8.07	11.39	13.87	10.47	507.09	175.17	38.35

表4 PubFig库中各种方法的最佳识别率(％)及其对应维度(d)和降维时间(s)

降维方法	PCA	LDA	LPP	NPE	LSDA	SPP	DSNPE	DSPE
									识别率	32.12	26.16	25.76	25.05	27.27	30.51	35.35	37.88
维数	290	98	108	271	251	281	281	261
									降维时间	12.81	11.25	17.36	20.57	15.36	2280.7	894.25	309.01

从表1-4中可以看出，本发明在AR、Extended Yale B、LFW和PubFig四个数据库上的识别率分别为99.76％、96.01％、64.84％和37.88％，均高于其他算法的识别率。可见，无论在实验数据库还是真实数据库上，均体现了本发明在人脸降维、识别上的优越性。尤其值得注意的是，在LFW和PubFig两个具有挑战的真实人脸数据库上，本发明具有更明显的优势，比SPP算法分别提升了23.39％和7.37％。这说明，本发明可以有效克服SPP的局限性，稀疏重构时不仅考虑了同类样本间的近邻关系，也考虑异类样本间的非近邻关系；低维投影时不仅考虑了样本间的局部稀疏重构关系，而且考虑了全局分布特性，以样本稀疏关系代替欧式距离能够更准确挖掘出隐藏在复杂冗余数据中的低维流形本质结构，对准确区分受不同因素干扰的真实环境中的非约束人脸图像十分有效。

下面仍以AR、Extended Yale B、LFW和PubFig数据库为例，用SRC分类器识别不同算法的不同投影维度下的低维子空间样本，用以分析算法与投影维度的关系。不同子空间维度下算法识别率的变化趋势如图4所示。可以看出，无论投影空间维度如何变化，本发明低维映射的优越性不受影响。

3.本发明与SPP和DSNPE的时间复杂度比较

考虑本发明DSPE算法和SSP算法、DSNPE算法都需要采用范数优化得到稀疏重构权值，时间复杂度远大于PCA、LDA、LPP、NPE等显式映射算法，因此本节主要讨论DSPE、SSP和DSNPE的时间复杂度问题，包括稀疏重构时间t_C和低维映射时间t_P两部分。实验环境为2.50GHz Intel(R)Core(TM)i5-2450M CPU，4GB RAM，Win7 64位及Matlab R2013a，分别在AR库、Extended Yale B库、LFW库和PubFig库上进行实验仿真，结果如表5所示。

分析表中结果可知，首先，本发明和SPP算法、DSNPE算法在四个数据库上的低维映射时间t_P均远远小于稀疏重构时间t_C，并且它们的低维映射时间也相差不大，因此，认为本发明和SPP算法、DSNPE算法的时间复杂度主要集中在稀疏重构阶段，而数据低维投影阶段对系统运行时间影响可以忽略。其次，我们发现，随着数据库中训练样本个数、图像分辨率以及人的类别数增加，本发明和SPP算法、DSNPE算法的稀疏重构时间t_C也随之增加，但SPP的计算复杂度最高，DSNPE次之，DSPE最低。分析原因，首先，在SPP算法中，每一个样本的重构权值都需要基于所有样本进行全局稀疏约束求解，而DSNPE算法和DSPE算法则从类内重构、类间重构两个方面约束求解，计算复杂度明显降低。DSNPE算法相比SPP算法，计算复杂度下降了65％左右，而DSPE算法相比SPP算法，计算复杂度则下降了90％左右。其次，虽然在本发明和DSNPE算法中，样本重构权值都是基于类内重构和类间重构两个方面约束求解的，但本发明在求解重构权值时，采用Frobenius范数稀疏约束，优化得到解析式，相比DSNPE算法，DSPE的计算复杂度又明显降低。结合前面的结论，我们发现，本发明不仅准确描述了样本间稀疏重构关系，提高了人脸识别精度，而且相比SPP算法，本发明大幅度降低了计算复杂度，是一种快速有效的人脸降维、识别算法，为后续模型的实用化提供研究思路。

表5 在四个数据库中本发明和SPP、DSNPE的稀疏重构时间以及低维映射时间(s)

4.本发明与PCA、LDA、LPP、NPE、LSDA、SPP和DSNPE在不同分类器上识别结果比较

本节仍在AR、Extended Yale B、LFW和PubFig四个数据库上，分析不同算法采用不同分类器的识别效果，讨论算法对分类器的普适性和稳定性，进一步验证本发明提取复杂人脸数据的低维流形本质结构的准确性。

基于表1～表4得到的最佳投影维度，采用本发明和以上七种经典算法对四种数据库进行降维，然后分别在KNN、SVM和SRC三种分类器上进行人脸识别，仿真结果如表6～表9所示。对表6～表9中结果进行分析，我们发现，无论采用哪种分类器，本发明的识别效果均优于其余算法(除了在Extended Yale B库上，略低于NPE算法)，并且在三个分类器上，本发明识别性能稳定，尤其体现在真实数据库上，不会因为数据复杂多变，而出现识别率大幅度上升或者下降的情况。

可见，本发明相比其他经典算法具有更好的分类器普适性和稳定性，尤其是在复杂多变的真实数据库上，无论是采用基于欧式距离的传统KNN分类器，还是采用近几年受到广泛关注的新兴SVM、SRC分类器，本发明均可以取得不错的、稳定的识别结果。这也进一步说明了，采用本发明投影真实环境中采集的非约束人脸数据，得到的低维子空间更接近真实的流形结构，揭示了数据的本质特征。

表6 AR库中不同分类方法下的识别率(％)

表7 Extended Yale B库中不同分类方法下的识别率(％)

表8 LFW库中不同分类方法下的识别率(％)

表9 PubFig库中不同分类方法下的识别率(％)

5.本发明和最新研究成果的比较

本发明与两个有代表性的最新研究成果进行比较。

2015年Gao等人在《IEEE Transactions on Image Processing》上提出一种结合稀疏表示和判别准则的降维算法(SRC-FDC)，并成功应用在人脸识别问题上，在AR数据库和Extended Yale B数据库上都取得很好的识别效果。为了说明本发明的先进性，我们采用与文献相同的实验样本和计算方法，得到仿真结果如表10所示。其中，AR数据库有120类人，每类14张图片，随机选取每类人的7张作为训练样本，其余剩下的样本作测试，重复10次实验，计算平均值和标准差；Extended Yale B数据库有31类人，每类人64张图片，随机选取每类人的32张作为训练样本，其余剩下的作测试，重复10次实验，计算平均值和标准差。

2016年Zhang等人在《IEEE Transactions on Image Processing》上又提出一种正交迹比优化投影算法(TR-SRC-DP)，在迹比优化同时增加正交约束实现降维，同样也在AR库和Extended Yale B库上验证说明算法的有效性。AR数据库包含120类人，每类14张图片，随机选取每类人的7张作为训练样本，其余剩下的样本作测试；Extended Yale B数据库包含38类人，每类人大约64张图片，随机选取每类人的16张作为训练样本，其余剩下的样本作测试。我们采用与文献相同的实验样本和计算方法，得到仿真结果如表11所示。

表10 本发明和SRC-FDC算法结果比较

表11 本发明和TR-SRC-DP算法结果比较

从实验结果可知，相比最新研究成果SRC-FDC算法和TR-SRC-DP算法，DSPE在AR数据库和Extend Yale B数据库上识别率均匀提升，进一步说明了本发明的先进性。

Claims (5)

1.一种基于判别稀疏保持嵌入的非约束人脸图像降维方法，其特征在于：对于非约束环境中获取的真实人脸图像，消除高维数据中的冗余信息，抽取本质特征，减少数据维度，以获取低维本质特征，进而在分类器上进行人脸识别；具体包括以下步骤，

1)选取人脸图像作为训练样本，计算人脸图像间的重构关系矩阵W＝W^w+W^b，其中，W^w为同类人脸图像间的类内重构关系矩阵，W^b为不同类人脸图像间的类间重构关系矩阵；具体为，设人脸图像的训练样本集X由c类人脸图像样本子集X₁,X₂,...,X_c组成，

这里m,n表示图像的大小，N为人脸图像个数，R表示实数集，假设第k类人脸有n_k个图像，则满足

共N个人脸图像作为训练样本，待测人脸图像x_ij表示第i类人脸的第j个图像，分别求解待测人脸图像x_ij与其他人脸图像包括同类人脸图像与异类人脸图像的重构关系，分析待测人脸图像x_ij与同类样本的重构关系，构建类内重构关系矩阵W^w；分析待测人脸图像x_ij与异类样本的重构关系，构建类间重构关系矩阵W^b；

2)计算待测人脸图像x_ij的最佳低维投影矩阵P；定义低维空间类间散度和低维空间类内散度，从最小化类内重构误差和最大化类间重构误差两个方面约束求解待测人脸图像x_ij的最佳低维投影矩阵，则基于最大边界准则定义投影矩阵目标函数为：

这里约束P^TP＝I，使投影矩阵P单位正交，I为单位矩阵，T表示矩阵转置；

将最小化低维空间类内散度S_w和最大化低维空间类间散度S_b的矩阵表达式带入目标函数中，由拉格朗日乘子法得到目标方程

这里M^b＝I-W^b-(W^b)^T+(W^b)^TW^b，由类间重构关系矩阵W^b表示，I为单位矩阵；同理M^w＝I-W^w-(W^w)^T+(W^w)^TW^w，由类内重构关系矩阵W^w表示，定义全局类内紧凑矩阵X_w表示为

X_i是第i类人脸图像子集，

是第i类人脸图像子集的均值矩阵；定义全局类间离散矩阵X_b表示为

是所有人脸图像样本的均值矩阵，

是第i类人脸图像样本子集的均值矩阵，λ为拉格朗日参数，T表示矩阵转置；

选取前d个最大特征值对应的特征向量，构成最佳低维投影矩阵P＝[p₁,p₂…,p_d]；

3)实现高维人脸图像数据的低维线性映射，以获取人脸图像的低维本质特征：

x_i→y_i＝P^Tx_i (3)

其中，i＝1，2，...，N，x_i为人脸图像的训练样本集X中的第i个人脸图像，y_i为采用低维投影矩阵P对人脸图像x_i降维后得到的低维本质特征数据；

进而在分类器上进行人脸识别。

2.如权利要求1所述的基于判别稀疏保持嵌入的非约束人脸图像降维方法，其特征在于：分析待测人脸图像x_ij与同类人脸图像的重构关系，构建类内重构关系矩阵W^w，目标函数如下：

这里，定义e＝[1,1,...,1]^T∈R^N×1为单位向量，e^T表示单位向量转置，

约束待测人脸图像x_ij由字典

稀疏表示的权重和为1；F为Frobenius范数，定义为

λ₁和λ₂分别为稀疏约束比例参数，调节λ₁和λ₂可以使目标函数达到最优；

其中，l(x_ij)表示待测人脸图像x_ij的类别标签，l(x_ij)取1,2,...,c中任意值；定义

为类内字典，由与x_ij相同类别且不包括x_ij的人脸图像组成，表示为

为第l(x_ij)类人脸图像集的个数；根据目标函数(4)，优化得到待测人脸图像x_ij的类内稀疏表示系数

是与x_ij相同类别的人脸图像的稀疏表示系数的平均值，最小化

可以使x_ij的类内稀疏表示系数

接近中心值，增强待测人脸图像x_ij与同类样本的紧凑度；

为了降低计算复杂度，首先初始化均值向量

为零向量，优化求解同一类别的所有人脸图像的

然后计算平均值

最后带入式(4)，根据最小二乘法分析得到解析式(5)，由此计算得到待测人脸图像x_ij的最佳类内稀疏表示系数

因此，得到待测人脸图像x_ij的类内稀疏表示系数形式为

则同类所有人脸图像的类内稀疏表示系数矩阵为

由此得到所有人脸图像的类内重构关系矩阵为

3.如权利要求1所述的基于判别稀疏保持嵌入的非约束人脸图像降维方法，其特征在于：分析待测人脸图像x_ij与不同类人脸图像的重构关系，构建类间重构关系矩阵W^b，目标函数如下：

这里，定义e＝[1,1,...,1]^T∈R^N×1为单位向量，e^T表示单位向量转置，

约束样本x_ij由字典

稀疏表示的权重和为1；F为Frobenius范数，定义为

λ₃和λ₄分别为稀疏约束比例参数，调节λ₃和λ₄可以使目标函数达到最优；

这里定义

为类间字典，由与x_ij不同类别的人脸图像组成；假设x_ij属于第i类样本，则

表示为

根据目标函数(6)，优化得到待测人脸图像x_ij的类间稀疏表示系数

其中

是与x_ij同类人脸图像的类间稀疏表示系数的平均值，记为

最小化

使人脸图像的类间稀疏表示系数接近中心值，增大待测人脸图像与异类样本的离散度；

采用最小二乘法分析得到目标函数的解析式，计算最佳类间稀疏表示系数

假设待测样本x_ij属于第i类，则得到x_ij的类间稀疏表示系数

的形式为

为了便于描述类间重构关系矩阵W^b，将

扩展为N维列向量，即

则第i类人脸图像子集的扩展类间稀疏重构权值矩阵表示为

由此得到所有人脸图像的类间重构关系矩阵

4.如权利要求1-3任一项所述的基于判别稀疏保持嵌入的非约束人脸图像降维方法，其特征在于：最小化低维空间类内散度S_w的矩阵表达式由以下得到：为了使低维空间中同类人脸图像特征数据尽可能聚合，在最小化类内重构误差条件下，增加全局类内约束条件，使得低维投影数据既保留了人脸图像间的局部类内稀疏重构关系，又考虑了同类人脸图像的全局紧凑度分布特性，定义目标函数如下：

这里为了描述方便，不考虑样本类别，定义x_i为人脸图像的训练样本集X中的第i个人脸图像，x_j为第j个人脸图像，

是类内重构关系矩阵W^w中的第i行第j列的数值，描述了人脸图像x_i与x_j的类内重构关系；定义X_w表示为

X_i是第i类人脸图像子集，

是第i类人脸图像子集的均值矩阵，约束

最小，可以使得各类人脸图像子集类内紧凑；分析目标函数(8)，经推导得到：

其中，M^w表示为I-W^w-(W^w)^T+(W^w)^TW^w，W^w为类内重构关系矩阵。

5.如权利要求1-3任一项所述的基于判别稀疏保持嵌入的非约束人脸图像降维方法，其特征在于：最大化低维空间类间散度S_b的矩阵表达式由以下得到：为了使低维空间中类人脸图像特征数据尽可能分离，在最大化类间重构误差条件下，增加全局类间约束条件，使得低维投影数据既保留了人脸图像间局部类间稀疏重构关系，又考虑了异类人脸图像子集的全局离散度分布特性，定义目标函数如下：

其中，

是类间重构关系矩阵W^b中的第i行第j列的数值，描述了人脸图像x_i与x_j的类间重构关系；定义X_b表示为

是所有人脸图像的均值矩阵，

是第i类人脸图像子集的均值矩阵，约束

最大，使得各类人脸图像子集类间分离，分析目标函数(10)，经推导得到：

其中，M^b表示为I-W^b-(W^b)^T+(W^b)^TW^b，W^b为类间重构关系矩阵。

Images