CN104573714A - 自适应无参数的特征提取方法 - Google Patents

Abstract

本发明公开了一种新的无参数的有监督的特征提取算法。该发明在原有的特征提取算法的基础上对其进行改进，使之更加合理。首先该发明使用相关系数描述样本之间的相似性，通过建立类内散布矩阵来描述流形的局部结构，然后根据类与类之间相关系数的关系建立类间散布矩阵去描述流形之间的离散关系，最后建立目标函数使用Fisher准则对其进行求解，使其在达到类内散布矩阵最小的同时，类间散布矩阵达到最大，在整个过程中不需要人为设定任何参数，实现了无参数化。在三个数据库上的实验表明该发明的识别率较原始算法有所提高，达到了预期的效果。

Description

自适应无参数的特征提取方法

技术领域

本发明属于目标识别领域的特征提取方法，具体是一种自适应无参数的特征提取方法。

背景技术

随着科学技术的发展，人类获得的数据越来越多，而且这些数据往往具有很高的维数，对于典型的图像数据来说，其维数就是图像的像素数，而图像的像素数一般都很高。如何从这些高维的数据提取中有用的数据用来进行后续的处理是个巨大的问题。特征提取技术是解决这个问题的一个重要的方法。对于许多问题例如数据可视化、计算机视觉和模式识别特征提取都是一个基础性的问题。对于人脸识别来说，特征提取是完成人脸识别的关键。

在过去几十年中，人们提出了很多关于特征提取的方法，这些方法中有监督学习的方法也有非监督学习的方法，有线性的方法也有非线性的方法。在这些方法中，文献二(I.Joliffe,Principal Component Analysis.Springer-Verlag,1986)中提出了主成分分析(PCA)，文献三(K.Fukunnaga,Introduction to Statistical PatternRecognition,second ed.Academic Press,1991)提出了线性判别式分析(LDA)是两种使用最多的线性特征提取方法。PCA将原始的高维数据映射到由全部原始数据协方差矩阵的最大特征值对应的特征向量所张成一个低维子空间中。PCA能够在最小均方意义下，寻找最能代表原始数据的投影方法。另外，由于没用利用到类别信息，所以PCA是一种完全的非监督学习方法。

与PCA不同，LDA是一种有监督的学习方法，最早可以追溯到1936年Fisher发表的论文，其本质思想是选择使Fisher准则函数达到极值的向量作为最佳投影方向。从而使得样本在该方向上投影后，能够同时达到类间离散度最大和类内离散度最小。

然而，PCA和LDA都是从全局的欧式结构进行考虑的而不是从流形结构上进行考虑。而最近的研究表明人脸图像有可能是驻留在一个非线性的流形之上，同时不同的人脸图像会处在不同的流形之上。为此人们提出了很多流形学习算法来寻找嵌入在原始高维数据中的本质低维流形，在这些算法中包括等距特征映射算法(ISOMAP)(文献4，J.B.Tenenbaum,V.de.Silva,J.C.Langford,A global geometric framework fornonlinear dimensionality reduction,Science 290(2000)2319–2323.)，局部线性嵌入(LLE)(文献5，S.T.Roweis,L.K.Saul,Nonlinear dimension reduction bylocally linear embedding,Science 290(2000)2323–2326.)和拉普拉斯特征映射(LE)(文献6，M.Belkin,P.Niyogi,Laplacian eigenmaps for dimensionalityreduction and data representation,Neural Computation 15(6)(2003)1373–1396.)等。实验表明这些算法对于模拟数据和真实的数据，比如人脸图像能够找到这些数据的有意义的低维嵌入。He等人提出了局部保留映射(LPP)(文献7，X.He,S.Yan,Y.Hu,P.Niyogi,H.Zhang,Face recognition using laplacian faces,IEEE Transactionson Pattern Ana1ysis and Machine Intel 1igence 27(3)(2005)328–340.)，LPP的目标函数是最小化映射后的数据的局部散布矩阵。与其他的流形学习算法相比较，LPP算法拥有明显的优势比如能够得到更加明显的映射，更加易于计算等。但是这些算法都属于非监督学习算法，无法利用到数据的类别信息而且在计算的过程中需要认为的设定一下参数，而这些参数对于最终结果的影响很大。但是如何选取这些参数，却没有统一的标准。

在文献8(Bo Li,De-Shuang Huang,ChaoWang,Kun-Hong Liu,Feature extractionusing constrained maximum variance mapping,Pattern Recognition 41(2008)3287–3294)中Bo等人提出了CMVM算法(constrained maximum variance mapping)，该算法将不同类别分开同时保持任意流形的全局结构。换句话说改算法可以在得到最优结果的同时不破坏其他类大的全局结构。这种算法在分离不同的类别时，将与本类不同的其他全部类都考虑进去，这样虽然能够达到将不同类的分开的目的，但是由于各个类之间的距离不同，距离最远的和距离最近的类应该分别对待而不应该是一视同仁。同时在构建局部散布矩阵时没有考虑到近邻点的类别信息，有可能会使得一个点的近邻包含不是该点算在类的点，对后续的处理有不利影响。文献9(Shuicheng Yan,Dong Xu,BenyuZhang,Hong-Jiang Zhang,Qiang Yang,Senior,Stephen Lin,Graph Embedding andExtensions:A General Framework for Dimensionality Reduction,IEEE Transactionson Pattern Analysis and Machine Intelligence,Vol,29,No.1,January,2007)中Yan等人提出了MFA算法(Marginal Fisher Analysis)该算法设计了一个本质图(intrinsicgraph)来描述流形内部的紧凑性和另外一个惩罚矩阵来描述不同类之间的离散性。本质图描述了每一类的类内部近邻点的关系，并且每个点都与它的K近邻相连，惩罚矩阵描述了边缘点的邻域关系，不同类的边缘点点对被连接起来。但是该算法存在不同类之间的边缘点点对的个数难以确定，而且距离最远的和距离最近的类应该分别对待而不应该是一视同仁。文献10(Wankou Yang,Changyin Sun,Lei Zhang,A multi-manifolddiscriminant analysis method for image feature extraction,Pattern Recognition44(2011)1649–1657)中Wankou Yang等人提出MMDA算法(Multi-ManifoldDiscriminant Analysis)，该算法在LPP的基础上，使用每一类数据的类内权重矩阵的和去加权该类的均值，然后将类间均值视为新的数据，寻找一个最优的投影矩阵使得加权类均值的类间散布矩阵达到最大同时每一类的类内散布矩阵达到最小。但是该算法存在使用加权的类均值去衡量类内数据存在一定的偏差，尤其是当数据分布比较无规则的情况下这种表现更加明显。然而原始的LPP算法以及由其衍生出的一些算法普遍存在着两个明显的缺陷：①原始LPP是一种非监督的算法，不能有效的利用不同类别之间的类别信息，这样将其直接运用于分类时，分类的效果不会很理想；②LPP的参数的选择问题，对于同一个数据集如果LPP的参数不一样，最终的结果也不一样。

发明内容

针对原始LPP及很多基于LPP的算法存在的问题本发明提出了一种自适应无参数的特征提取算法。

实现本发明目的的技术方案为：一种自适应无参数的特征提取算法，步骤如下：

步骤一：计算任意两个样本之间的相关系数P_ij，使用增强的无参数的局部保留算法的建立类内权重矩阵W，具体参见文献1(Fadi Dornaika,Ammar Assoum,Enhanced andparameterless Locality Preserving Projections for face recognition,Neurocomputing 99(2013)448–457)，使用得到的类内权重矩阵W建立类内散布矩阵用于描述流形内的局部结构。

步骤二：寻找出相邻的类；依据步骤一中得到的相关系数P_ij构成的矩阵P，计算任意一类c_i与其他所有类的相关系数的平均值m_i，计算任意一类c_i与某一类c_j的相关系数的平均值m_ij，如果m_ij≥m_ii，则认为c_i，c_j为相邻的类；

步骤三：建立一个大小为n_i*n_j的矩阵G，用于存储步骤二中得到的任意两个相邻的类之间样本与样本的关系，矩阵G初始化为全零，其中n_i，n_j为属于任意两个相邻的类c_i，c_j样本的数目；

步骤四：对于属于c_i的任意一个样本c_ik计算其与属于c_j的任意样本c_jl的相关系数P_kl，如果两个样本的相关系数大于或等于c_ik与c₂上所有样本的相关系数的均值m，即P_kl≥m，则置矩阵G中对应位置上G(i,j)＝1，遍历属于c_i的所有的样本，由于相关系数的性质可知，G为对称矩阵，即同时可以得到属于c_j的每个样本与属于c_i的每个样本之间的关系；

步骤五：按行扫描G，使用集合freq记录每行中1所在的位置，也就是对应样本在c_i类中的下标号，统计freq中一共出现多少个互异的样本以及每个样本出现的次数，如果某个样本出现的次数大于或等于平均次数T，T＝freq中样本的总数目/互异的样本数目，则认为该样本与c_i类相邻，并置这两类的类间权重矩阵B对应位置上B(i,j)＝1；

步骤六：按列扫描G，使用集合freq记录每列中1所在的位置，也就是对应样本在c_j类中的下标号，统计freq中一共出现多少个互异的样本以及每个样本出现的次数，如果某个样本出现的次数大于或等于平均次数T，T＝freq中样本的总数目/互异的样本数目，则认为该样本与c_j类相邻，并置这两类的类间权重矩阵B对应位置上B(i,j)＝1；

步骤七：根据步骤一和步骤六得到的类内权重矩阵和类间权重矩阵，建立类内散布矩阵和类间散布矩阵，组成目标函数，在Fisher准则下求解目标函数，得到最优投影方向，在此方向对样本进行投影，完成特征提取。

本发明与现有技术相比，本发明克服了现存的特征提取算法中存在的的需要设置参数的问题，实现了自适应无参数的特征提取算法。其优点在于：

(1)为了减小图像中噪声的影响，使用相关系数替代传统的欧式距离去衡量样本之间的关系。

(2)对于同一类样本，依据样本相关系数的均值和各个相关系数之间的关系自适应的建立类内权重矩阵，实现建立类内权重矩阵时的无参数化。

(3)对于不同类，依据类与类之间相关系数的关系自适应的选择出相互近邻的类。

(4)对于任意两个相邻的类，采用基于相关系数的方法自适应的选择出更加能反映出两者关系的样本来建立类间权重矩阵，实现建立类间权重矩阵时的无参数化。

得到类内权重矩阵和类间权重矩阵后，建立类内散布矩阵和类间散布矩阵用于描述类内的局部结构和类间的离散性，在Fisher准则下求得一个最优的投影方向，在此投影方向上类间散布矩阵达到最大的同时类内散布矩阵达到最小，从而完成特征提取。

附图说明

图1是两个相邻类样本之间相互关系的示意图。

图2是本发明算法得到的矩阵G。

图3是AR数据集中两个人的人脸图像。

图4是红外数据集中人和杯子不同姿态下的图像。

图5是PIE数据集中两个人不同姿态下的图像。

具体实施方式

假设样本为X＝[x₁,x₂,...,x_N]∈R^m，一共有C类，每一类的样本数目为n_i，其中i<＝C，特征提取之后的对应的样本为Y＝[y₁,y₂,…,y_N]∈R^d，其中d<<m，最优投影矩阵为A，即Y＝A^T*X。

原始的LPP算法以及由其衍生出的一些算法普遍存在着两个明显的缺陷：①原始LPP是一种非监督的算法，不能有效的利用不同类别之间的类别信息，这样将其直接运用于分类时，分类的效果不会很理想；②LPP的参数的选择问题，对于同一个数据集如果LPP的参数不一样，最终的结果也不一样。针对LPP存在的问题本文提出了一种新的基于LPP的无参数特征提取算法。

本发明的出发点是在尽量分开不同类的同时保持类内局部关系不变。为此需要更加准确的衡量不同类之间的离散性，在LDA中使用每一类的均值和总的均值来衡量不同类之间的离散性，但是由于类内数据分布的不确定性，类均值不能很好的反映整个类上的数据分布，因此用于计算出的类间散布矩阵就会有差错。在CMVM中，则是将两类之间的全部数据都不加区分的都考虑进来，这样虽然能将真正近邻的数据包含进来，但是同时也会将许多不需要考虑的样本带入进来，会干扰有用的信息，不利于后续的处理。在MMDA中，使用每一类的类内权重矩阵的和去加权该类的均值，然后使得类间散布矩阵达到最小，其本质上还是使用类内均值去处理，不能完全的反映数据之间的信息。而在真是的数据之中，任意两类数据之间往往只是有一部分数据距离较近，其他的部分距离相对较远，为此，只要能找出两类数据之间距离较近的部分，然后使用这些距离较近的样本进行处理即可。

由于真实的图像的数据包含一定的噪声，尤其是对于一些低照度下采集的图像，直接使用欧式距离来衡量两幅图像之间的距离在某些情况下可能会出现差错，为了使这种影响能够达到最小同时为了能够实现自适应和无参数化，使用样本的相关性去衡量两个样本之间的相似性，从而来实现参数的自适应选择。

步骤一：计算任意两个样本之间的相关系数P_ij，如公式(1)所示。

$P_{\mathrm{ij}}=\frac{\mathrm{cov}(x_i,x_j)}{\sqrt{D\left(x_i\right)*D\left(x_j\right)}}---\left(1\right)$

对于类内权重矩阵W的计算，使用采用文献1(Fadi Dornaika,Ammar Assoum,Enhanced and parameterless Locality Preserving Projections for face recognition,Neurocomputing 99(2013)448–457)中的方法，在某个类中如果某个样本x_i与样本x_j的相关系数P_ij大于该样本与该类内的相关系数的均值m_ij的话，则认为样本x_j在x_i的近邻中并置对应的W(i,j)＝1。遍历所有样本，完成构建类内权重矩阵并使用得到的类内权重矩阵建立类内散布矩阵用来描述流形的局部结构。使用类内权重矩阵建立类内散布矩阵的过程如公式(2)所示。

$\begin{array}{c}{J}_L=\underset{i,j}{\overset{m}{\mathrm{\&Sigma;}}}(Y_i-Y_j){(Y_i-Y_j)}^T{W}_{\mathrm{ij}}=2\underset{i}{\overset{m}{\mathrm{\&Sigma;}}}{Y}_i{D}_{\mathrm{ii}}{Y}_i^T-2\underset{i,j}{\overset{m}{\mathrm{\&Sigma;}}}{Y}_i{L}_{\mathrm{ij}}{Y}_j^T=2Y(D-W)Y^T\\ =2A^{T}X(D-W)X^{T}A,D_{\mathrm{ii}}=\underset{j}{\overset{m}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}\end{array}---\left(2\right)$

步骤二：使用下面的方法计算类间权重矩阵B。计算每一类c_i与其他所有类的相关系数的平均值m_i和与某一类c_j的相关系数的平均值m_ij，如果类c_i与某一类c_j的相关系数的平均值m_ij大于总的平均值m_i的话，那么就认为这两类c_i，c_j就是相邻的类。对于某两个相邻的类比如c₁和c₂，仍然使用相关系数去寻找这两类之间的相邻的点，具体的方法在步骤三中叙述。

步骤三：本步骤分为四小步，分别为：

3.1建立一个大小为n1*n2的矩阵G用于存储两类之间样本与样本的关系并初始化为0。

3.2对于c1类上的每个样本c_1i，统计其与c₂类上任意样本c_2j的相关系数m1_ij，如果两个样本的相关系数大于或者是等于c_1i与c₂上所有样本的相关系数的均值m1，即m1_ij>＝m1则置对应位置的G(i,j)＝1，遍历c₁上的所有的样本，由于相关系数的性质可知，G为对称矩阵即c₂类上的每个样本与c₁类上的每个样本之间的关系也能同时得到。

3.3按行扫描G，使用freq记录每行中1所在的位置，也就是对应样本在c2类中的下标号，统计freq中一共出现多少个互异的样本以及freq中样本的数目，如果某个样本出现的次数大于等于平均次数(freq中样本的总数目/互异的样本数目)，则认为该样本点与c1类相邻，并置对应位置上的B(i,j)＝1。

3.4按列扫描G，进行同样的处理，得到c₁上与c₂类相邻的样本。并设置对应的位置上的B(i,j)＝1。使用得到的类间权重矩阵建立类间散布矩阵用于描述流形之间的离散性。使用得到的类间权重矩阵建立类间散布矩阵的过程如公式(3)所示。

$\begin{array}{c}{J}_D=\underset{ij}{\overset{N}{\mathrm{\&Sigma;}}}(Y_i-Y_j){(Y_i-Y_j)}^T{B}_{\mathrm{ij}}=2\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{Y}_i{Q}_{\mathrm{ii}}{Y}_i^T-2\underset{ij}{\overset{N}{\mathrm{\&Sigma;}}}{Y}_i{B}_{\mathrm{ij}}{Y}_j^T=2Y(Q-W)Y^T\\ =2A^{T}X(Q-B)X^{T}A,Q_{\mathrm{ii}}=\underset{j}{\overset{N}{\mathrm{\&Sigma;}}}{B}_{\mathrm{ij}}\end{array}---\left(3\right)$

步骤四：根据类间权重矩阵和类内权重矩阵，建立目标函数如公式(4)所示。

$J\left(A\right)=\arg \max \frac{A^{T}X(Q-B)X^{T}A}{A^{T}X(D-W)X^{T}A}---\left(4\right)$

使用拉格朗日乘积的方法去求解目标函数，如公式(5)所示。

J1(A)＝max(J_D-λ{A^TX(D-W)X^TA-X(D-W)X^T})

＝max{A^TX(Q-B)X^TA-λ(A^TX(D-W)X^TA-X(D-W)X^T)}(5)

＝max{A^TX(Q-B)X^TA-λA^TX(D-W)X^TA+λX(D-W)X^T}

对公式(5)对A求偏导，结果如公式(6)所示。

$\frac{\&PartialD;J_1\left(A\right)}{\&PartialD;A}=2X(Q-B)X^{T}A-2\mathrm{\&lambda;X}(D-W)X^{T}A=0---\left(6\right)$

公式(6)所示的问题可以通过公式(7)中所示的广义特征值问题来解决。

X(Q-B)X^TA＝λX(D-W)X^TA(7)

将求得的特征值λ按照大小从大到小进行排列，即λ₁≥λ₂,…,λ_m-1≥λ_m，这样取前d个最大的特征值λ对应的特征向量就是要求的A。完成特征提取。

下面通过一个具体的例子来说明本发明建立类间散布矩阵的过程。假设两个相邻的类c₁和c₂之间的关系如下图1所示，经过上述的四步得到的近邻的样本为c₁₃、c₁₄、c₁₅和c₂₃、c₂₄相邻。

计算图1中任意两个样本之间的相关系数，并得到矩阵G。假设得到的G如图2所示。

按行扫描G得到的freq为freq＝[2,3,3,4,3,4,3,4]，统计[2,3,4]各自出现的次数，为[1,4,3]，三类出现的平均次数为出现次数大于等于T的样本为3和4，这样c₂上与c₁类相近邻的样本为c₂₃、c₂₄，经过同样的方法可以选择出在c₁上与c₂类相近邻的样本为c₁₃、c₁₄、c₁₅。这样就可以设置对应位置的类间权重矩阵B(i,j)＝1。这样遍历全部样本就能得到类间权重矩阵B。

结合图3、4和5，本发明的识别率与其他算法相比较在识别率上有明显的优势，分别在AR数据集、红外数据集和PIE数据集上做识别率的实验，其中L为采用每一个人前L个样本作为训练集，其余的作为测试集，最终各种算法的结果分别列在表1,、表2和表3。其中括号中的数字为达到最高识别率时，样本的维数。通过对表中各种算法识别率的对比发现，总体来说，本发明算法识别率最高。

表1各种算法在AR数据集上的识别率

表2各种算法在红外数据集上的识别率

表3各种算法在PIE数据集上的识别率

Claims (1)

1.一种自适应无参数的特征提取方法，其特征在于包括以下步骤：

步骤一：计算任意两个样本之间的相关系数P_ij，使用增强的无参数的局部保留算法建立全部样本所属类的类内权重矩阵W；

步骤二：寻找相邻类；依据步骤一中得到的相关系数P_ij构成的矩阵P，计算任意一类c_i与其他所有类的相关系数的平均值m_i，计算任意一类c_i与某一类c_j的相关系数的平均值m_ij，如果m_ij≥m_i i，则认为c_i、c_j为相邻的类；

步骤三：建立一个大小为n_i*n_j的矩阵G，用于存储步骤二中得到的任意两个相邻的类之间样本与样本的关系，矩阵G初始化为全零，其中n_i、n_j为属于任意两个相邻的类c_i、c_j样本的数目；

步骤四：对于属于c_i的任意一个样本c_ik计算其与属于c_j的任意一个样本c_jl的相关系数P_kl，如果这两个样本的相关系数P_kl，大于或等于c_ik与属于c_j的所有样本的相关系数的均值m，即P_kl≥m，则置矩阵G中对应位置上G(i,j)＝1，遍历属于c_i的所有的样本，得到属于c_i的每个样本与属于c_j的每个样本之间的关系，由于相关系数的性质可知，G为对称矩阵，即同时可以得到属于c_j的每个样本与属于c_i的每个样本之间的关系；

步骤五：按行扫描G，使用集合freq记录每行中1所在的位置，也就是对应样本在c_i类中的下标号，统计freq中一共出现多少个互异的样本以及每个样本出现的次数，如果某个样本出现的次数大于或等于平均次数T，T＝freq中样本的总数目/互异的样本数目，则认为该样本与c_i类相邻，并置这两类的类间权重矩阵B对应位置上B(i,j)＝1；

步骤六：按列扫描G，使用新的集合freq1记录每列中1所在的位置，也就是对应样本在c_j类中的下标号，统计freq1中一共出现多少个互异的样本以及每个样本出现的次数，如果某个样本出现的次数大于或等于平均次数T1，T1＝freq1中样本的总数目/互异的样本数目，则认为该样本与c_j类相邻，并置这两类的类间权重矩阵B对应位置上B(i,j)＝1；

步骤七：根据步骤一和步骤六得到的类内权重矩阵W和类间权重矩阵B，建立类内散布矩阵和类间散布矩阵，组成目标函数，在Fisher准则下求解目标函数，得到最优投影方向，在此方向对样本进行投影，完成特征提取。