CN105893947A - 基于多局部相关特征学习的两视角人脸识别方法 - Google Patents

Abstract

本发明公布了一种基于多局部相关特征学习的双视角人脸识别方法，主要在相关特征学习中使用多种局部信息来更好地掌握数据间真实的非线性结构，从而提高人脸识别的准确性。其实现过程为：确定每个训练样本的多种局部块；构建一个相关特征学习和多局部融合的统一优化框架，然后交替迭代求解相关投影方向和多局部融合系数；最后对训练和测试样本进行特征提取和特征融合，并使用最近邻分类器进行识别。与现有技术相比，本发明提出的人脸识别方法更具有效性和鲁棒性。

Description

基于多局部相关特征学习的两视角人脸识别方法

技术领域

本发明涉及模式识别和图像处理等领域，具体涉及到一种基于多局部相关特征学习的双视角人脸识别方法。

背景技术

人脸识别是一种生物特征识别，具有非接触式采集、可隐蔽性采集、远程传输、快速跟踪以及网络监控等特点，比指纹识别、虹膜识别和基因识别等其他生物特征识别更具优势。人脸识别具有广泛的应用价值，它可以应用于海关监控、罪犯追踪、档案管理、客户身份鉴别、人机交互系统认证、岗位检查、多媒体数据检索、信息安全、机器视觉、虚拟现实技术等等，具有显著的经济价值和社会效益。

人脸有丰富的表情，并且容易受光照、角度、遮挡等因素的影响，因此人脸识别是一个非常艰巨的任务，它涉及到模式识别、人工智能、图象处理、计算机视觉等领域。尽管如此，仍然有很多学者在不断地研究它，并且每年都有大量与人脸识别相关的研究成果在各类期刊杂志和学术会议中发表，同时也涌现出了很多新的方法和技术，比如主成分分析(PCA)、线性鉴别分析(LDA)、局部保持投影(LPP)，近邻保持投影(NPP)，以及他们的相关方法。但是这些方法都属于单视角方法，对人脸图像的采集的要求比较高，对光照、角度等因素比较敏感，所以基于这些方法还是难于很好地应用于实际生活中的人脸识别。为了解决这个问题，很多学者考虑使用多个视角同时观察一个目标，来自各个视角的信息可以相互补充，这样可以更好地进行目标识别。其中典型相关分析(CCA)就可以在最大相关准则下从两个视角数据中提取相关特征，因此它可以用于两视角的人脸识别。

CCA早在1936年就被H.Hotelling提出，主要研究的是两个随机变量间的线性相关性。在2005年，Sun等人首次将CCA应用于模式识别领域，使用CCA从两组高维数据中学习低维的相关特征，然后在给定的特征融合策略下形成有效的鉴别矢量集，并在人脸与字符识别中验证了方法的可行性。但是CCA属于线性无监督的子空间学习方法，因此难于适用于实际采集的非线性高维数据，这在很大程度上限制了CCA在实际应用中的推广。为了更好地掌握数据的非线性结构，局部保持CCA(LPCCA)方法已经被提出，该方法在相关分析框架中引入了高维未处理数据的局部近邻关系，在相关特征的学习过程中尽量保持数据间的局部信息，并在姿态估计中验证了该方法的优越性。最近，Wang等人借助正则化技术提出了另外一种LPCCA(ALPCCA)方法，该算法在最大化所有样本相关性的同时也最大化了局部样本间的相关性。为了进一步增强相关特征的鉴别力，局部鉴别CCA(LDCCA)方法将样本的类信息引入了LPCCA方法，通过最大化类内近邻样本的相关性和最小化类间近邻样本的相关性，来尽可能地保持样本间的监督局部信息。但是，这些基于局部近邻信息的CCA方法，全部都是仅仅考虑了样本的一种近邻关系。在人脸识别这一实际应用中，实际采集的人脸数据往往具有复杂的非线性结构，仅仅依靠一种近邻关系是难于反映出数据间真实的非线性结构，进而影响人脸识别的准确度。针对这一问题，本发明提出了一种基于多局部相关特征学习的两视角人脸识别方法，该方法在人脸识别中更具有效性和鲁棒性。

发明内容

本发明的目的在于针对上述问题提出了一种基于多局部相关特征学习的两视角人脸识别方法，并通过多种局部近邻信息来更好地掌握数据间的非线性结构，从而提高了人脸识别在实际应用中的准确性和鲁棒性。本发明的关键技术是使用每个样本的多种局部块来更好得掌握数据间的非线性结构，并提出了一个相关特征学习和多局部融合的统一优化框架和求解方法。本发明的具体实现步骤如下：

1、将两个视角的每幅图像都转化为列向量，以形成训练样本矩阵X和Y。

同一目标可以从两个视角获得不同的图像信息，这两种图像信息可以从不同的角度去更全面地描述同一个目标，所以基于两视角的人脸识别比单视角的人脸识别更具优势。首先，从两个视角获得的所有图像被转化为灰度图像，然后再把每幅图像的数据转化为一个列向量，以便组成两个训练样本矩阵X＝[X₁，X₂，...，X_N]∈R^p×N和Y＝[y₁，y₂，...，y_N]∈R^q×N，其中p和q是样本维数，N是样本个数。矩阵X中的所有样本都来自于同一个视角，矩阵Y中的所有样本都来自于另一个视角，而且{x_i,y_i}(i＝1,2,...,N)对应同一个目标。

2、构建相关特征学习和多局部融合的统一优化框架。

构建相关特征学习和多局部融合的统一框架的具体过程如下：

(2a)两视角相关特征学习的等价优化问题。

两视角相关特征学习的优化问题为：

$\begin{array}{cc}\underset{U,V}{\max }& tr\left(U^T{S}_{xy}V\right)\\ s.t.U^T{S}_{xx}U=I,& V^T{S}_{yy}V=I\end{array}$

其中另外，和分别为X和Y的样本均值，U＝[u₁，u₂，...，u_d]∈R^p×d和V=[v₁,V₂,...,v_d]∈R^q×d分别是X和Y的相关投影方向，Tr(·)定义的是迹操作。

对于X中任意一个样本x_i，它的全局块可以由该样本和它所有的近邻样本共同组成，即 其中为x_i的第g个最近邻样本。基于全局块，X和Y的协方差矩阵S_xy可以等价的写为：

$\begin{array}{c}{S}_{xy}=\frac{1}{N}{\Σ}_{i=1}^N(x_i-\stackrel{\‾}{x}){(y_i-\stackrel{\‾}{y})}^T\\ =\frac{1}{N}{\Σ}_{i=1}^N\left(\frac{1}{N^2}{\Σ}_{j=1}^{N-1}\right(x_i-x_{i_j}\left){\Σ}_{r=1}^{N-1}{\left(y_i-y_{i_r}\right)}^T\right)\end{array}$

因此，两视角相关特征学习的优化问题可以等价的转化为下面的优化问题：

$\begin{array}{cc}\underset{U,V}{\max }& tr\left(U^T\right({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^{N-1}{\mathrm{\Σ}}_{r=1}^{N-1}\left(x_i-x_{i_j}\right){\left(y_i-y_{i_r}\right)}^T\left)V\right)\\ s.t.& U^T{S}_{xx}U=I,V^T{S}_{yy}V=I\end{array}$

注意，常数是否存在不会改变上述优化问题的解，所以上述优化问题将该常数省略。

(2b)构建每个样本的多种局部块。

局部块由一个样本和该样本的前K个最近邻样本组成，如在样本矩阵X中任意一个样本x_i的局部块可以表示为其中为x_i的第g个最近邻样本。在人脸识别中样本间的关系往往是非常复杂的，仅仅使用一种近邻关系难于准确揭示样本间的非线性结构信息，为此，根据多种距离测度计算出多种近邻关系，进而可以为一个样本构建多种局部块，然后使用多种局部块共同去描述样本间的非线性关系。使用线性聚集策略，原来的局部块X_i由来更好地描述，其中是x_i的第j种局部块，是中的第g个最近邻样本，M是每个样本的局部块个数，是的融合系数。同样样本y_i的局部块也可以由 来描述，其中

(2c)将多局部信息自然地融入相关特征特征学习的优化目标

将(2a)中的全局块转换成局部块，局部信息被自然地引入了相关特征学习的优化目标中，即：

$\underset{{\hat{X}}_i,{\hat{Y}}_i}{\arg \max }tr\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^K{\mathrm{\Σ}}_{r=1}^K\right({\hat{x}}_i-{\hat{x}}_{i_j}\left){\left({\hat{y}}_i-{\hat{y}}_{i_r}\right)}^T\right)$

其中，和另外,和是x_i和的相关特征，同样和也表示相关特征。通过一些简单的代数操作，上述优化目标可以等价的转化为下面的矩阵形式：

$\underset{{\hat{X}}_i,{\hat{Y}}_i}{\arg \max }tr\left({\mathrm{\Σ}}_{i=1}^N{\hat{X}}_i{L}_i{\hat{Y}}_i^T\right)$

其中，e_K＝[1,1,…,1]^T∈R^K×1。

为了更好地揭示数据间的非线性结构，本发明使用多种局部块的线性组合去代替原来的局部块，即其中是的融合系数。对于样本集合Y也是同样的， 为了在优化问题中确定唯一的融合系数，约束和因此，多局部相关特征学习的优化目标为：

$\underset{{\hat{X}}_{i^j},{\hat{Y}}_{i^r},w_j^{\left(x\right)},w_r^{\left(y\right)}}{\arg \max }tr\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\right(w_j^{\left(x\right)}{\hat{X}}_{i^j}\left)L_i\right({\hat{Y}}_{i^r}^T{w}_r^{\left(y\right)}\left)\right)$

其中，和

假设局部块中的所有相关特征都来自于同一特征集则可以表示为其中是局部块的选择矩阵。的每一列都用于从选择出的一个相关特征，比如的第g个相关特征是中的第t个相关特征，则的第g列仅仅是第t个元素为1，其余的(N-1)个元素全为0.对于局部块同样也引入选择矩阵以至于借助于这些选择矩阵，多局部相关特征学习的优化目标可以等价地写为：

$\underset{\hat{X},\hat{Y},w_j^{\left(x\right)},w_r^{\left(y\right)}}{\arg \max }tr\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\right(w_j^{\left(x\right)}\hat{X}{S}_{i^j}^{\left(x\right)}\left)L_i\right(S_{i^r}^{\left(y\right)T}{\hat{Y}}^T{w}_r^{\left(y\right)}\left)\right)$

(2c)将鉴别信息融入相关特征学习。

在很多实际应用中，无监督特征学习方法一般很难仅仅通过掌握和保持某种结构信息就将数据很好地分入不同的类，并且很多研究已经证明了监督信息在特征学习中的重要性。为此，在本发明的方法中也进一步考虑了监督信息。类似于LDA，每个视角的相关特征的类内散布被构建：

${\hat{S}}_{wx}=U^T{S}_{wx}U$ ${\hat{S}}_{wy}=V^T{S}_{wy}V$

其中，和分别为x和y的散布矩阵，其中和分别为x_i和y_i的类内均值。类似LDA，本发明的方法也通过约束类内相关特征的散布信息来使同一类的相关特征尽可能压缩，进而增强相关特征的类分离性。

(2d)构建相关特征学习和多局部融合的统一优化框架。

经过(2a)，(2b)和(2c)，可以得到多局部相关特征学习的优化框架：

$\begin{array}{cc}\underset{U,V,w_j^{\left(x\right)},w_r^{\left(y\right)}}{\max }& tr\left(U^T\right({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\left(w_j^{\left(x\right)}{w}_r^{\left(y\right)}\right){\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i_r}^{\left(y\right)T}{Y}^T\left)V\right)\\ s.t.& U^T{S}_{wx}U=I,V^T{S}_{wy}V=I,\\ & {\mathrm{\Σ}}_{j=1}^M{w}_j^{\left(x\right)}=1,w_j^{\left(x\right)}\≥0,\\ & {\mathrm{\Σ}}_{r=1}^M{w}_r^{\left(y\right)}=1,w_r^{\left(y\right)}\≥0\end{array}$

该优化框架是一个多优化参数问题，为了使其更易于优化求解，本发明进一步使用了下面的参数融合策略：

在上面的优化问题中两个相互独立的优化参数和共同来衡量两个局部块和的重要性。因此这两个参数可以融合为一个新的参数，然后使用这个新的参数来衡量和的重要性。因为和是非负的，所以一定存在一个新的多局部融合系数使得成立。类似于(2c)的优化问题，为了确保在优化求解中的唯一性，同样也约束在这个参数融合策略下，相关特征学习和多局部融合的统一优化框架可以简化为：

$\begin{array}{cc}\underset{U,V,w_{jr}}{\max }& tr\left(U^T\right({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{\left(w_{jr}\right)}^2{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^T\left)V\right)\\ s.t.& U^T{S}_{wx}U=I,V^T{S}_{wy}V=I,{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{w}_{jr}=1\end{array}$

3、计算每个视角的相关投影方向。

使用迭代求解法来迭代求解U,V和在这个迭代求解方法中，通过固定其中一些优化参数来求解其余优化参数。当固定时，使用下面的优化问题求解相关投影方向U和V：

$\begin{array}{cc}\underset{U,V}{\max }& tr\left(U^T{C}_{xy}V\right)\\ s.t.& U^T{S}_{wx}U=I,V^T{S}_{wy}V=I\end{array}$

其中借助于拉格朗日乘子法，该优化问题可以转化为下面的广义特征值分解问题：

$\left\{\begin{array}{c}{C}_{xy}{S}_{wy}^{-1}{C}_{xy}^{T}u={\mathrm{\λ}}^2{S}_{wx}u\\ C_{xy}^T{S}_{wx}^{-1}{C}_{xy}v={\mathrm{\λ}}^2{S}_{wy}v\end{array}\right.$

求解该广义特征值分解问题，可以获得前d个最大特征值对应的特征向量进而可以获得两个视角的相关投影方向U＝[u₁,u₂,...,u_d]∈R^p×d和V=[v₁,v₂,...,v_d]∈R^q×d。

4.计算多种局部信息的融合系数。

当固定U和V时，使用下面的优化问题求解多局部融合系数

$\begin{array}{cc}\underset{w_{jr}}{\max }& {\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{\left(w_{jr}\right)}^{2}tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)\\ s.t.& {\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{w}_{jr}=1\end{array}$

通过引入拉格朗日乘子，可以获得拉格朗日函数：

设定对于(i,j＝1,2,..,M)导数为0，可以得到：

通过求解上述方程组，可得：

$\begin{array}{c}{w}_{11}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^1}^{\left(x\right)}{L}_i{S}_{i^1}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\\ w_{12}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^1}^{\left(x\right)}{L}_i{S}_{i^2}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\\ .\\ .\\ .\\ w_{MM}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^M}^{\left(x\right)}{L}_i{S}_{i^M}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\end{array}$

5、重复步骤(3)和(4)，直到达到最大迭代次数或收敛，跳转到步骤(6)。

6、对训练集和测试集的样本进行特征提取和特征融合，然后使用最近邻分类器进行识别

对于训练样本矩阵X和Y，通过投影可以获得相关特征U^TX和V^TY，然后使用简单的特征融合策略去融合两个视角的相关特征：

$z_i^{\left(x\right)}=U^T{x}_i+V^T{y}_i$

其中{x_i,y_i}(i＝1,2,...,N)是对应同一个目标的两个样本，为融合后的相关特征。

对于测试集，每幅图像同样被转化为列向量，以形成测试样本然后使用上面的特征融合策略来融合测试样本的相关特征其中n为样本个数。最后，对融合后的相关特征使用最近邻分类器来进行识别.

本发明采用每个样本的多种局部块去更好地揭示样本间的非线性结构，并构建了一个相关特征学习与多局部融合的统一优化框架，然后交替迭代求解相关投影方向和多局部融合系数。与现有技术相比，基于多局部相关特征学习的两视角人脸识别方法能够更好地掌握数据间真实的非线性结构，因而可以有效地提高人脸识别的准确性和鲁棒性。

附图说明

图1本发明方法的流程图

图2 JAFFE人脸数据库中一个人的代表性图像

图3在JAFFE人脸数据中本发明方法在不同训练样本数和不同近邻参数下的识别率

图4在AR人脸数据中本发明方法在不同训练样本数和不同近邻参数下的识别率

具体实施方式

下面结合附图和实例，对发明的具体实施方式做进一步描述。以下实例仅用于说明本发明，但不用来限制本发明的范围。

接下来的实例是针对AR人脸数据库，该数据库有126个人(男70人，女56人)的4000余幅彩色图像构成，每人26张图像，分为两组，每组13张，拍摄时间间隔为两周，分别反映了人脸的表情、光照和遮挡的变化。在接下来的实验中本发明使用了该数据库的一个子集，一共有120个人(男65人，女55人)，每人有无遮挡的14幅图像。当随机选取该数据中每个人的6幅图像作为训练图像时，本发明的具体实施步骤为：

步骤一、从每个人的14幅无遮挡图像中随机选出6幅图像作为训练图像，一共720幅。然后将所有的彩色训练图像转化为灰度图像，再使用Daubechies和Symlets小波转换获得每幅灰度图像的两个低频子图像(即，每幅图像的两个视角图像)。最后将每一幅低频子图像从上到下、从左到右的顺序展成一个列向量x_i∈R^p×1，y_i∈R^q×1，进而组成两个视角的训练样本矩阵X＝[x₁,x₂,...,x_N]∈R^p×N和Y＝[y₁,y₂,...,y_N]∈R^q×N，其中{x_i,y_i}(i＝1,2,...,N)对应同一幅AR中的人脸图像，N＝720。注意，在该实验中本发明使用两种小波去模拟两个视角，但是在实际应用中，可以使用两个传感器从不同的视角去实地采集同一目标的两个种数据。

步骤二、基于欧式距离、余弦距离和1-范数距离这三种距离测度，可以得到每个样本三种基于距离的近邻样本集，进而为每个样本构建三种不同的局部块，每种局部块都由该样本和它的前K个最近邻样本组成。比如，对于任意样本x_i，它的三种局部块为其中为x_i的第j种局部块，为中x_i第g个最近邻样本，同样，任意样本y_i的三种局部块为

步骤三、给出所有局部块的选择矩阵。

因为所有的局部块中的样本都是来自于训练样本X和Y，为此可以使用训练样本矩阵和选择矩阵统一表示这些局部块。对于任意局部块都可以给出它的选择矩阵以至于的每一个列都是用于从X中选择出的一个样本，比如的第g个样本是X中的第t个样本，则的第g列仅仅是第t个元素为1，其余的(N-1)个元素全为0.对于局部块同样可以给出选择矩阵以至于

步骤四、优化求解每个视角的相关投影方向。

当首次执行步骤四时，初始化 其中M＝3；在接下来的迭代过程中，步骤四中的使用步骤五优化求解出的多局部融合系数

通过下面的广义特征值分解问题，可以求出在这种多局部融合系数下最优的相关投影方向U和V：

$\left\{\begin{array}{c}{C}_{xy}{S}_{wy}^{-1}{C}_{xy}^{T}u={\mathrm{\λ}}^2{S}_{wx}u\\ C_{xy}^T{S}_{wx}^{-1}{C}_{xy}v={\mathrm{\λ}}^2{S}_{wy}v\end{array}\right.$

其中，和 当S_wx和S_wy奇异的时候，它们的逆矩阵是不存在，为了解决这一问题，本发明使用正则化技术：用S_wx+η_xI_x和S_wy+_ηyI_y来分别代替S_wx和S_wy，其中I_x和I_y是两个单位矩阵，η_x＞0和η_y＞0是两个正则化参数，在这个实验中本发明直接将这两参数设定为η_x＝η_v＝0.001。

通过求解该广义特征值分解问题，可以获得前d个最大特征值对应的特征向量进而可以获得两个视角的相关投影方向U＝[u₁,u₂,...,u_d]∈R^p×dand V=[v₂,v₂,...,v_d]∈R^q×^d。

步骤五、优化求解多种局部信息的融合系数。

经过步骤四，相关投影方向U和V已经被求出，在这种U和V下的最优多局部融合系数为：

$\begin{array}{c}{w}_{11}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^1}^{\left(x\right)}{L}_i{S}_{i^1}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\\ w_{12}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^1}^{\left(x\right)}{L}_i{S}_{i^2}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\\ .\\ .\\ .\\ w_{MM}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^M}^{\left(x\right)}{L}_i{S}_{i^M}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\end{array}$

步骤六、重复步骤四和步骤五，达到最大迭代次数后，跳转到步骤七。在该实验中，将最大迭代次数经验地设为5。

步骤七、通过简单的特征融合策略，融合训练样本的相关特征，

获得相关投影方向后，对训练样本X和Y进行投影可以获得它们的相关特征U^TX和V^TY。为了最后的识别目的，使用简单的特征融合策略将两个视角的相关特征进行融合：

其中{x_i,y_i}(i＝1,2,...,N)是对应同一个目标的两个样本，为融合后的相关特征。

步骤八、将该数据集中每个人剩余的8幅图像作为测试对象，一共960幅图像。对所有的测试图像，进行和训练样本同样的预处理操作，进而获得它们的两个测试样本矩阵和其中n＝960。使用最终获得的相关投影方向U和V，同样可以提取测试样本的相关特征和并根据步骤七中的特征融合策略获得了融合后的相关特征

最后使用带有欧式距离测度的最近邻分类器对融合后的相关特征进行识别。为了保证训练样本选择的随机性，独立进行10次随机实验，这些随机实验的平均识别率为99.07％，即在960幅的测试人脸图像中有951幅被正确识别.

本发明的有效性可以通过以下实验进一步验证：

1.实验内容

本发明提出了基于多局部相关特征学习的两视角人脸识别(multi-localitycorrelation feature learning for two-view face recognition,简写为MLCFL)方法，为了验证本发明的有效性，在两个人脸数据库(JAFFE人脸数据库和AR人脸数据库)上进行了实验，并与其他六个两视角人脸识别的经典方法进行了对比，即图正则化的多集典型相关分析(GrMCCA)、局部鉴别典型相关分析(LDCCA)、多视角鉴别分析(MvDA)、鉴别典型相关分析(DCCA)、可选局部保持典型相关分析(ALPCCA)和局部保持典型相关分析(LPCCA)。

2.实验参数的选择

本发明的方法考虑了样本间的局部近邻关系，在实验中近邻参数K通过交叉验证法在区间[5,10,15,20,25]中选择最优参数。Chaudhuri等人已经证明在理论上这两个视角的低维子空间可以由前(c-1)对相关投影方向精确张成，其中c为类别数。为此，在迭代过程中，选择前(c-1)对相关投影方向去计算多局部融合系数，即，在步骤(5)中，U＝[u₁,u₂,...,u_c-1]∈R^p×(c-1)和V=[v₁,v₂,...,v_c-1]∈R^q×(c-1)被用来计算多局部融合系数

对于ALPCCA和LPCCA，近邻参数K也需要被考虑，该参数的确定方法与上面相同。

对于LDCCA，类内近邻参数K₁、类间近邻参数K₂和平衡参数η这三个参数需要被考虑。这些参数的选择方法：参数K₁和K₂的选择范围是从1到(f-1)，其中f为每类中训练样本的个数，参数η的选择范围是[[0.001,0.01,0.1,1,10,100]，然后使用交叉验证法在这些范围中选择最优参数。

对于MvDA和DCCA，在子空间投影方向的学习中没有额外的参数需要考虑。

3.实验结果：

实验一：

表1 MLCFL、GrMCCA、LDCCA、MvDA、DCCA、ALPCCA与LPCCA在JAFFE人脸数据库上的实验结果

	3Train	4Train	5Train	6Train	7Train
						MLCFL	97.81±2.52	99.13±1.06	99.26±1.19	99.67±0.83	99.79±0.34
GrMCCA	96.72±2.39	99.08±0.95	99.57±0.65	99.61±0.63	99.65±0.68
						LDCCA	97.54±1.84	99.31±0.66	99.51±0.56	99.67±0.64	99.51±0.94
MvDA	95.41±3.44	98.09±1.25	98.90±0.95	99.15±1.23	99.44±0.72
						DCCA	93.01±4.95	93.93±3.50	95.15±3.43	97.78±1.52	97.06±2.35
ALPCCA	92.95±3.44	96.30±1.39	97.91±1.09	97.91±0.74	96.78±1.55
						LPCCA	78.80±5.09	80.81±5.94	83.25±3.12	69.87±6.35	63.22±8.73

A±B:A表示的是平均识别率(％)，B表示的是标准差

JAFFE人脸数据库包含了来自10位日本女性的213幅灰度图像，这些图像包含了七种表情：生气、厌恶、恐惧、高兴、悲伤、惊讶与平和。在图2中，给出了其中一个人的代表性图像。这个实验主要是为了验证本发明的方法在剧烈的表情变化下的人脸识别性能。在这个实验中，从每个人中随机选择q(q＝3,4,5,6,7)幅人脸图像作为训练图像，其余的作为测试图像，然后独立进行10次随机实验，在表1中给出了所有方法的实验结果。

在这些对比的方法中，GrMCCA和LDCCA是基于局部近邻信息的监督非线性方法，MvDA和DCCA是基于类标签信息的监督线性方法，而ALPCCA和LPCCA是基于局部近邻信息的无监督方法。从表1的实验结果来看，与MvDA和DCCA相比较，GrMCCA和LDCCA有着更好的人脸识别率，这在一定程度上揭示了局部近邻信息在特征学习中的有效性。在所有的人脸识别方法中，两个无监督方法始终显示出了最低的人脸识别率，这在一定程度上显示了监督信息在特征学习中的重要性。和这些对比方法相比，本发明的方法不仅通过每个样本的多种局部块更好地得掌握了数据间的非线性结构，而且在每个视角数据中充分考虑的类内散布信息以至于进一步增强了相关特征的鉴别力。从表1中的平均识别率和标准差可以看出，本发明的人脸识别方法不仅有着最高的准确性，而且也有着很好的鲁棒性。

实验二：

表2 MLCFL、GrMCCA、LDCCA、MvDA、DCCA、ALPCCA与LPCCA在AR人脸数据库上的实验结果

	3Train	4Train	5Train	6Train	7Train
						MLCFL	94.03±0.96	97.68±0.39	98.81±0.41	99.07±0.45	99.37±0.26
GrMCCA	93.01±1.00	96.86±0.54	98.39±0.56	98.86±0.53	99.31±0.27
						LDCCA	93.10±1.17	96.83±0.48	98.40±0.46	98.89±0.48	99.33±0.25
MvDA	93.83±0.87	97.53±0.41	98.75±0.43	99.04±0.50	99.31±0.28
						DCCA	93.03±1.24	96.76±0.52	98.27±0.50	98.74±0.49	99.13±0.29
ALPCCA	90.19±0.77	95.23±0.62	96.96±0.57	98.09±0.73	98.82±0.30
						LPCCA	72.73±2.88	78.67±3.11	82.38±2.53	86.20±3.28	87.82±2.15

A±B:A表示的是平均识别率(％)，B表示的是标准差

为了进一步验证本发明的有效性，在著名的AR人脸数据库上也进行了实验验证。在这个试验中本发明使用了AR数据库的一个子集，一共有120个人(男65人，女55人)，每人有无遮挡的14幅图像。从每个人中随机选择q(q＝3,4,5,6,7)幅人脸图像作为训练图像，其余的作为测试图像，然后独立进行10次随机实验，在表2中展示了所有方法的实验结果。在表2中可以看出，所有监督的人脸识别方法有着相似的人脸识别率，并且在人脸识别的准确性上始终优于无监督的人脸识别方法(即，ALPCCA和LPCCA)。表2中的实验结果同样给出一个合理的观察：本发明的人脸识别方法是一种非常有效并且相对鲁棒的人脸识别方法。

实验三：

为了分析近邻参数K对本发明方法的识别性能的影响，在图3中给出了在JAFFE人脸数据库中本发明方法在不同训练样本数和不同近邻参数下详细的识别率。同样在图4中也显示在AR数据库上详细的识别率。本发明的方法不是仅仅使用一种局部近邻信息，而是同时使用多种局部信息去共同揭示数据间的非线性结构，这在一定程度上减弱了本发明方法的识别性能对该近邻参数的依赖。在图3和图4中，可以明显看出，本发明方法的识别精度主要受到训练样本数目的影响，对该近邻参数具有很好的鲁棒性。

以上实验表明，本发明基于多局部相关特征学习的两视角人脸识别方法在实际的人脸识别中具有更好的准确性和鲁棒性。需要指出的是本发明虽然是对人脸的识别方法，但是不仅仅局限于人脸的识别，在实际应用中，也可以对其他的目标进行识别，本发明提出的方法具有广泛性和普适性。

Claims (4)

1.基于多局部相关特征学习的两视角人脸识别方法，其过程包含如下步骤：

(1)将训练集中两个视角的每幅图像都转化为列向量，以形成训练样本矩阵X＝[x₁,x₂,...,x_N]∈R^p×N和Y＝[y₁,y₂,...,y_N]∈R^q×N，其中p和q是样本维数，N是样本个数，并且{x_i,y_i}(i＝1,2,...,N)对应同一个目标；

(2)确定每个训练样本的多种局部块，并构建相关特征学习和多局部融合的统一优化框架；

(3)计算每个视图的一组相关投影方向；

(4)计算多局部融合系数；

(5)重复步骤(3)和(4)，直到最大迭代次数或收敛，跳转到步骤(6)；

(6)对训练集和测试集的样本进行投影和融合，然后使用最近邻分类器进行识别。

2.根据权利要求1所述的基于多局部相关特征学习的两视角人脸识别方法，其特征在于，步骤(2)所述的确定每个样本的多种局部块并构建相关特征学习和多局部融合的统一优化框架的具体过程为：

(2a)为每个样本构建多种局部块:

局部块由一个样本和该样本的前K个最近邻样本组成，如在样本矩阵X中任意一个样本x_i的局部块可以表示为其中为x_i的第g个最近邻样本；在人脸识别中样本间的关系往往是非常复杂的，仅仅使用一种近邻关系难于准确揭示样本间的非线性结构信息，为此，本发明根据多种距离测度计算出多种近邻关系，进而为一个样本构建多种局部块，然后使用多种局部块同时去描述样本间的非线性关系；借助线性聚集策略，原来的局部块X_i由来更好地描述，其中是x_i的第j种局部块，是中的第g个最近邻样本，M是每个样本的局部块个数，是的融合系数；同样样本y_i的局部块也由来描述，其中

(2b)构建的相关特征学习和多局部融合的统一优化框架：

$\begin{array}{cc}\underset{{\hat{X}}_{i^j},{\hat{Y}}_{i^r},w_j^{\left(x\right)},w_r^{\left(y\right)}}{\arg \max }& tr\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\left({\mathrm{\Σ}}_{g=1}^K{\mathrm{\Σ}}_{f=1}^K{w}_j^{\left(x\right)}\left({\hat{x}}_i-{\hat{x}}_{i_g^j}\right)w_r^{\left(y\right)}{\left({\hat{y}}_i-{\hat{y}}_{i_f^r}\right)}^T\right)\right)\\ s.t.& {\hat{S}}_{wx}=I,{\hat{S}}_{wy}=I\\ & {\mathrm{\Σ}}_{j=1}^M{w}_j^{\left(x\right)}=1,w_j^{\left(x\right)}\≥0\\ & {\mathrm{\Σ}}_{r=1}^M{w}_r^{\left(y\right)}=1,w_r^{\left(y\right)}\≥0\end{array}$

其中，I为单位矩阵，为x_i的相关特征，U∈R^p×d为样本矩阵X的相关投影方向；另外，V∈R^q×d为样本矩阵Y的相关投影方向，和分别是和的类内散布，其中和是分别是相关特征和所在类的类内均值；

(2c)计算每个局部块的选择矩阵:

假设局部块中的所有相关特征都来自于同一特征集则可以表示为其中是局部块的选择矩阵；的每一列都用于从选择出的一个相关特征，比如的第g个相关特征是中的第t个相关特征，则的第g列仅仅是第t个元素为1，其余的(N-1)个元素全为0.对于局部块同样也引入选择矩阵以至于借助于选择矩阵和简单的代数运算，(2b)中的统一优化框架可以被等价地转化为：

$\begin{array}{cc}\underset{U,V,w_j^{\left(x\right)},w_r^{\left(y\right)}}{\max }& tr\left(U^T\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\left(w_j^{\left(x\right)}{w}_r^{\left(y\right)}\right){\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^T\right)V\right)\\ s.t.& U^T{S}_{wx}U=I,V^T{S}_{wy}V=I,\\ & {\mathrm{\Σ}}_{j=1}^M{w}_j^{\left(x\right)}=1,w_j^{\left(x\right)}\≥0,\\ & {\mathrm{\Σ}}_{r=1}^M{w}_r^{\left(y\right)}=1,w_r^{\left(y\right)}\≥0\end{array}$

其中e_K＝[1,1,...,1]^T∈R^K×1；另外，和 分别为X和Y的散布矩阵，其中和分别为x_i和y_i的类内均值；

(2d)优化参数的融合策略:

在上面的优化问题中两个相互独立的优化参数和共同来衡量两个局部块和的重要性；因此这两个参数可以融合为一个新的参数，然后使用这个新的参数来衡量和的重要性；因为和是非负的，所以一定存在一个新的多局部融合系数w_jr使得成立；类似于上面的优化问题，为了确保w_jr在优化求解中的唯一性，同样也约束在这个优化参数的融合策略下，(2b)中的统一优化框架可以简化为：

$\begin{array}{cc}\underset{U,V,w_{jr}}{\max }& tr\left(U^T\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{\left(w_{jr}\right)}^2{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^T\right)V\right)\\ s.t.& U^T{S}_{wx}U=I,V^T{S}_{wy}V=I,{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{w}_{jr}=1\end{array}.$

3.根据权利要求1所述的基于多局部相关特征学习的两视角人脸识别方法，其特征在于，步骤(3)所述的计算每个视图的一组相关投影方向的具体方法为：

本发明使用迭代求解法来迭代求解U,V和w_jr；在这个迭代求解方法中，通过固定其中一些优化参数来求解其余优化参数；当固定w_jr时，使用下面的优化问题求解相关投影方向U和V：

$\begin{array}{cc}\underset{U,V}{\max }& tr\left(U^T{C}_{xy}V\right)\\ s.t.& U^T{S}_{wx}U=I,V^T{S}_{wy}V=I\end{array}$

其中借助于拉格朗日乘子法，该优化问题可以转化为下面的广义特征值分解问题：

$\left\{\begin{array}{c}{C}_{xy}{S}_{wy}^{-1}{C}_{xy}^{T}u={\mathrm{\λ}}^2{S}_{wx}u\\ C_{xy}^T{S}_{wx}^{-1}{C}_{xy}v={\mathrm{\λ}}^2{S}_{wy}v\end{array}\right.$

求解该广义特征值分解问题，可以获得前d个最大特征值对应的特征向量进而可以获得两个视角的相关投影方向U＝[u₁,u₂,...,u_d]∈R^p×d和V＝[v₁,v₂,...,v_d]∈R^{q ×d}。

4.根据权利要求1所述的基于多局部相关特征学习的两视角人脸识别方法，其特征在于，步骤(4)所述的计算多局部融合系数的具体方法如下：

当固定U和V时，使用下面的优化问题求解多局部融合系数w_jr：

$\begin{array}{c}\underset{w_{jr}}{\max }{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{\left(w_{jr}\right)}^{2}tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)\\ \begin{array}{cc}s.t.& {\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M{w}_{jr}=1\end{array}\end{array}$

通过引入拉格朗日乘子，可以获得拉格朗日函数：

设定对于w_jr(i,j＝1,2,..,M)导数为0，可以得到：

通过求解上述方程组，可得：

$\begin{array}{c}{w}_{11}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^1}^{\left(x\right)}{L}_i{S}_{i^1}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\\ w_{12}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^1}^{\left(x\right)}{L}_i{S}_{i^2}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ w_{MM}=\frac{\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^M}^{\left(x\right)}{L}_i{S}_{i^M}^{\left(y\right)T}{Y}^{T}V\right)}}{{\mathrm{\Σ}}_{j=1}^M{\mathrm{\Σ}}_{r=1}^M\frac{1}{tr\left({\mathrm{\Σ}}_{i=1}^N{U}^T{\mathrm{XS}}_{i^j}^{\left(x\right)}{L}_i{S}_{i^r}^{\left(y\right)T}{Y}^{T}V\right)}}\end{array}.$