CN103218617B - 一种多线性大间距的特征提取方法 - Google Patents

Abstract

本专利提供的是一种多线性大间距的特征提取方法。首先，提取视频流样本的一个周期的步态序列数据，并且表示成张量结构；第二，用多线性主成分分析（MPCA）进行张量数据预处理，使高维的张量数据投影到一个低维的张量结构，去除冗余和噪声信息；第三，优化类间Laplacian散度和类内Laplacian散度之差，使其值最大，通过不断迭代求值，使其解收敛并达到迭代终止条件，得到各个模式下的投影矩阵，通过张量乘法得到一个维数更低、带有监督信息的低维张量；最后，通过基于欧氏距离的最近邻分类器进行分类。本发明所提供的方法较MPCA有更高的识别率，最终降维后的特征也更短一些。

Description

一种多线性大间距的特征提取方法

技术领域

本发明属于机器学习和模式识别领域，具体地说是一种多线性大间距的特征提取方法。

背景技术

随着数据收集以及存储能力的提高，在各个应用领域每天都会产生大量多维数据，行之有效的特征提取方法就变得尤为重要。传统的基于向量的降维方法，例如主成分分析（Principalcomponentanalysis，PCA），线性判别分析（Lineardiscriminantanalysis，LDA）以及局部保留投影（Localpreserveprojection，LPP）都是将图像矩阵转换成更高维数的向量，这在图像序列识别中必然会带来维数灾难。而且，采用Fisher判别准则的方法（如LDA）需要计算类内散度矩阵的逆，这会带来小样本问题，同时也破坏了原始图像的结构信息。

为了获得更好的特征提取性能，在图像（或图像序列）处理中直接利用矩阵或张量数据形式进行特征提取。Yang等人提出了二维主成分分析（TwodimensionalPCA,2DPCA）^[1]，Li等人提出了二维判别分析方法（TwodimensionalLDA，2DLDA）^[2]，这不但提高了特征提取的效率，还可避免原始图像特征向量化造成结构信息的破坏。但是，对于图像序列乃至更多模式的数据，例如灰度图像序列，彩色图像等，基于矩阵的特征提取方法并不能有效地处理多模式的高维数据。因此，基于张量的特征提取方法逐渐成为研究的热点。吕海平等人提出了多线性主成分分析（Multilinearprincipalcomponentanalysis,MPCA）^[3]，并且归纳了张量在多线性子空间学习中的研究成果^[4]。MPCA虽然没有破坏张量数据的结构信息，但是是一种无监督的学习方法，因此识别率可以进一步提高。Tao等人提出了广义张量判别分析(GeneralTensorDiscriminantAnalysis,GTDA)是一种有监督的张量学习方法，它是优化类间散度与类内散度之差达到最大^[5]。

与本发明相关的公开报道有：

[1]YangJ,ZhangD,FrangiAF,YangJY.Two-dimensionalPCA:anewapproachtoappearance-basedfacerepresentationandrecognition(二维主成分分析：一种基于外观的人脸表示与识别新方法).IEEEtransactionsonPatternAnalysisandMachineIntelligence（国际IEEE模式分析与机器智能期刊）,2004,26(1):131-137。

[2]LiM,YuanBZ.2D-LDA:astatisticallineardiscriminantanalysisforimagematrix（二维线性判别分析：一种对图像矩阵的统计线性判别分析）.PatternRecognitionLetters（国际模式识别快报）,2005,26(5):527-532。

[3]HaipingLu,PlataniotisKN,VenetsanopoulosAN.MPCA:MultilinearPrincipalComponentAnalysisofTensorObjects（MPCA:张量个体的多线性主成分分析）.IEEETransactionsonNeuralNetworks.（国际IEEE神经网络期刊）2008,19(1):18-39。

[4]HaipingLu,K.N.Plataniotis,A.N.Venetsanopoulos.AsurveyofMultilinearSubspaceLearningforTensorData（张量数据的多线性子空间学习方法综述）.PatternRecognition（国际模式识别期刊）,2011,44(7):1540-1551。

[5]DachengTao,XuelongLi,XindongWu,etal.GeneralTensorDiscriminantAnalysisandGaborFeaturesforGaitRecognition（广义张量判别分析和Gabor特征的步态识别方法）.IEEETransactionsonPatternAnalysisandMachineIntelligence（国际IEEE模式分析与机器智能期刊）.2007,29(10):1700-1715。

传统的基于向量的特征提取方法是通过将图像矩阵（或图像序列）向量化来实现的，但在多模式数据降维中会造成维数灾难和破坏原始特征的结构信息。而已有的张量方法，MPCA、GTDA虽然得到了令人鼓舞的识别效果，但是识别性能仍有提升的空间。

发明内容

为了克服这些缺点，本发明的目的在于提供一种既能避免维数灾难，同时引入监督信息和Laplacian矩阵，优化类间Laplacian散度与类内Laplacian散度之差达到最大，可避免小样本问题，同时获得具有更高识别性能的多线性大间距的特征提取方法。

本发明是通过如下技术方案来实现的：

假设第m个训练样本用N阶张量表示，其中，R代表空间，I_n(n=1,…,N)为张量的“n-模式”的维数，那么M个训练样本集合可以表示为{χ_m,m=1,…,M}，它们是张量空间中的张量；将张量空间映射到其中，P_n(n=1,…,N)表示降维后的张量的“n-模式”的维数，映射后的张量能捕捉到原始张量数据“变化”最大的方向用Laplacian散度之差来度量，即使类间Laplacian散度与类内Laplacian散度之差最大。

具体操作步骤如下：

（1）预处理阶段：利用MPCA方法对整个张量训练集进行降维处理，得到的特征记为

其中，是找到原始张量数据“变化”最大的方向投影后的张量，是寻找到的投影矩阵集合，其中Q_n(n=1,…,N)表示张量经MPCA降维后的“n-模式”的维数，T为转置。图2所示是三阶张量的乘法。

（2）多线性大间距的投影矩阵初始化阶段：采用全投影的初始化方法，求J^*的特征分解，得到其特征值按照从大到小排列，初始化投影矩阵由J^*的前P_n个大的特征值对应的特征向量组成，

$J^{*}={\mathrm{\Φ}}_b^{\left(n\right)*}-{\mathrm{\Φ}}_w^{\left(n\right)*}={\mathrm{\Φ}}_t^{\left(n\right)*}-{2\mathrm{\Φ}}_w^{\left(n\right)}---\left(2\right)$

其中，为类间Lalacian散度初始化矩阵，为类内Laplacian散度初始化矩阵，为整体Laplacian散度初始化矩阵；

${\mathrm{\Φ}}_t^{\left(n\right)*}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)})(L\⊗{I_P}_n){(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)})}^T$

$=\frac{1}{{2M}^2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-Z_{i\left(n\right)})(L\⊗{I_P}_n){(Z_{m\left(n\right)}-Z_{i\left(n\right)})}^T---\left(3\right)$

${\mathrm{\Φ}}_w^{\left(n\right)*}=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)})(L_w\⊗{I_p}_n){(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)})}^T$ (4)

$=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\frac{1}{{2M}_i}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}\underset{k=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})(L_w\⊗{I_P}_n){(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})}^T$

${\mathrm{\Φ}}_b^{\left(n\right)*}={\mathrm{\Φ}}_t^{\left(n\right)*}-{\mathrm{\Φ}}_w^{\left(n\right)*}---\left(5\right)$

其中，角标(n)表示n模式，表示P_n×P_n大小的单位阵，表示Kronecker积，c表示样本集的类别数，M_i(i=1,…,c)表示第i类的样本数，Z_m(n)表示第m个样本的n-模式矩阵，为样本集整体的n-模式均值矩阵

${\stackrel{\‾}{Z}}_{\left(n\right)}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{m\left(n\right)}---\left(6\right)$

表示第i类第j个样本的n-模式矩阵，表示第i类n-模式的均值矩阵

${\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)}=\frac{1}{M_i}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}{Z}_{j\left(n\right)}^{\left(i\right)}---\left(7\right)$

为了保持张量的内在非线性流形结构，在散度矩阵中引入Laplacian矩阵的高斯相似度矩阵W，它其中的元素w_ij为

$w_{\mathrm{ij}}=e^{\left(\frac{{-\left|\right|z_i-z_j\left|\right|}^2}{{2\mathrm{\σ}}^2}\right)---\left(8\right)}$

其中，σ是热核参数，z_i和z_j分别表示经MPCA降维后第i个张量样本和第j个张量样本的向量化结果，当i样本和j样本属于同一个类别，则计算||z_i-z_j||²；否则将||z_i-z_j||²置为+∞；D为对角矩阵，对角元素为

$d_{\mathrm{ii}}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}---\left(9\right)$

则Laplacian矩阵L

L=D-W(10)

第i类中第k个样本和第l个样本的Laplacian相似性为

$w_{\mathrm{kl}}^{\left(i\right)}=e^{\left(\frac{{-\left|\right|z_k-z_l\left|\right|}^2}{{2\mathrm{\σ}}^2}\right)---\left(11\right)}$

其中，z_k和z_l分别表示和的向量化结果

第i类的相似度矩阵记为W⁽ⁱ⁾，它其中的第k行第l列的元素是D⁽ⁱ⁾是第i类的对角阵，对角元素

$d_{\mathrm{kk}}=\underset{l=1}{\overset{M_i}{\mathrm{\Σ}}}{w}_{\mathrm{kl}}^{\left(i\right)}---\left(12\right)$

第i类的Laplacian矩阵

$L_w^{\left(i\right)}=D^{\left(i\right)}-W^{\left(i\right)}---\left(13\right)$

则Laplacian矩阵L_w

$L_w=\mathrm{diag}(\frac{L_w^{\left(1\right)}}{M_1},\frac{L_w^{\left(2\right)}}{M_2},\·\·\·,\frac{L_w^{\left(c\right)}}{M_c})---\left(14\right)$

P_n一般都是依据经验人为设定，此处通过约束条件n-模式截断后整体散度保留下来的前P_n个最大特征值之和与截断前全投影下的特征值之和的比值testQ⁽ⁿ⁾(n=1,…,N)来确定；

${\mathrm{testQ}}^{\left(n\right)}=\frac{\underset{i_n=1}{\overset{P_n}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i_{\left(n\right)}}^{\left(n\right)*}}{\underset{i_n=1}{\overset{I_n}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i_{\left(n\right)}}^{\left(n\right)*}}---\left(15\right)$

其中，是全投影下n-模式第i_(n)个特征值；

为了简化testQ⁽ⁿ⁾(n=1,…,N)的选取问题，令testQ=testQ⁽¹⁾=testQ⁽²⁾=…=testQ^(N)；

（3）循环迭代求得最优投影矩阵；固定其他所有投影矩阵不变，不断优化类间Laplacian散度与类内Laplacian散度之差J达到最大，直到求得n模式投影矩阵收敛为止；

$J={\mathrm{\Φ}}_b^{\left(n\right)}-{\mathrm{\Φ}}_w^{\left(n\right)}={\mathrm{\Φ}}_t^{\left(n\right)}-2{\mathrm{\Φ}}_w^{\left(n\right)}---\left(16\right)$

其中，

${\mathrm{\Φ}}_t^{\left(n\right)}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L\⊗{I_P}_n){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T{(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)})}^T$ (17)

$=\frac{1}{{2M}^2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-Z_{i\left(n\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L\⊗{I_P}_n){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T{\left(Z_{m\left(n\right)}{Z}_{i\left(n\right)}\right)}^T$

${\mathrm{\Φ}}_w^{\left(n\right)}=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L_w\⊗{I_P}_n){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T{(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)})}^T$ (18)

$=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\frac{1}{{2M}_i}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}\underset{k=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L_w\⊗{I_P}_n){{\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})}^T$ ${\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}={\tilde{U}}^{(n+1)}\⊗{\tilde{U}}^{(n+2)}\⊗\·\·\·\⊗{\tilde{U}}^{\left(N\right)}\⊗{\tilde{U}}^{\left(1\right)}\⊗{\tilde{U}}^{\left(2\right)}\⊗\·\·\·\⊗{\tilde{U}}^{(n-1)}---\left(19\right)$

迭代终止条件：保证迭代前后两次的每个模式（n=1,…,N）的投影矩阵ε是设定阈值，表示第t次迭代n-模式的投影矩阵

（4）计算投影后的张量：

（5）计算待测试样本χ′投影后张量和训练样本投影后形成新的训练集合的欧氏距离Dis，采用最近邻分类器测试识别；若

$\mathrm{Dis}({\mathrm{\χ}}_m,{\mathrm{\χ}}^{\′})=\arg \underset{i}{\min }\mathrm{Dis}(y_i,y^{\′})$

$=\left|\right|{\mathrm{\χ}}_m{\×}_1{\tilde{V}}^{\left(1\right)T}{\×}_2{\tilde{V}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{V}}^{\left(N\right)T}{\×}_1{\tilde{U}}^{\left(1\right)T}{\×}_2{\tilde{U}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{U}}^{\left(N\right)T}---\left(21\right)$

$-{\mathrm{\χ}}^{\′}{\×}_1{\tilde{V}}^{\left(1\right)T}{\×}_2{\tilde{V}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{V}}^{\left(N\right)T}{\×}_1{\tilde{U}}^{\left(1\right)T}{\×}_2{\tilde{U}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{U}}^{\left(N\right)T}{\left|\right|}_F$

则χ′属于χ_m所在的类别，其中，||||_F表示F范数；y_i(i=1,…,M)表示训练样本集经式(20)得到的张量特征，y′对应χ′的最终的张量特征。

本发明的有益效果：本发明提供了一种多线性大间距的特征提取方法，不仅引入了监督信息，而且还引入了具有流形结构的Laplacian矩阵，优化类间Laplacian散度与类内Laplacian散度之差达到最大。该方法不仅在识别性能上有所改善，而且很好地克服了小样本问题。

附图说明

图1：本发明的流程图。

图2：张量乘法示例（以三阶张量乘法为例说明）。

图3：不同testQ时的识别率比较结果。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

一种多线性大间距的特征提取方法，具体操作步骤如下：

（1）预处理阶段：利用MPCA方法对整个张量训练集进行降维处理，得到的特征记为

其中，是找到原始张量数据“变化”最大的方向投影后的张量，是寻找到的投影矩阵集合，其中Q_n(n=1,…,N)表示张量经MPCA降维后的“n-模式”的维数；T为转置；

（2）多线性大间距的投影矩阵初始化阶段：采用全投影的初始化方法，求J^*的特征分解，得到其特征值按照从大到小排列，初始化投影矩阵由J^*的前P_n个大的特征值对应的特征向量组成，

$J^{*}={\mathrm{\Φ}}_b^{\left(n\right)*}-{\mathrm{\Φ}}_w^{\left(n\right)*}={\mathrm{\Φ}}_t^{\left(n\right)*}-2{\mathrm{\Φ}}_w^{\left(n\right)}---\left(2\right)$

其中，为类间Lalacian散度初始化矩阵，为类内Laplacian散度初始化矩阵，为整体Laplacian散度初始化矩阵；

${\mathrm{\Φ}}_t^{\left(n\right)*}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)})(L\⊗{I_P}_n){(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)})}^T$

$=\frac{1}{{2M}^2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-Z_{i\left(n\right)})(L\⊗{I_P}_n){\left(Z_{m\left(n\right)}{Z}_{i\left(n\right)}\right)}^T---\left(3\right)$

${\mathrm{\Φ}}_w^{\left(n\right)*}=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)})(L_w\⊗{I_P}_n){(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)})}^T$ (4)

$=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\frac{1}{{2M}_i}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}\underset{k=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})(L_w\⊗{I_P}_n){(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})}^T$

${\mathrm{\Φ}}_b^{\left(n\right)*}={\mathrm{\Φ}}_t^{\left(n\right)*}-{\mathrm{\Φ}}_w^{\left(n\right)*}---\left(5\right)$

其中，角标(n)表示n模式，表示P_n×P_n大小的单位阵，表示Kronecker积，c表示样本集的类别数，M_i(i=1,…,c)表示第i类的样本数，Z_m(n)表示第m个样本的n-模式矩阵，为样本集整体的n-模式均值矩阵

${\stackrel{\‾}{Z}}_{\left(n\right)}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{Z}_{m\left(n\right)}---\left(6\right)$

表示第i类第j个样本的n-模式矩阵，表示第i类n-模式的均值矩阵

${\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)}=\frac{1}{M}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}{Z}_{j\left(n\right)}^{\left(i\right)}---\left(7\right)$

为了保持张量的内在非线性流形结构，在散度矩阵中引入Laplacian矩阵的高斯相似度矩阵W，它其中的元素w_ij为

$w_{\mathrm{ij}}=e^{\left(\frac{{-\left|\right|z_i-z_j\left|\right|}^2}{{2\mathrm{\σ}}^2}\right)---\left(8\right)}$

其中，σ是热核参数，z_i和z_j分别表示经MPCA降维后第i个张量样本和第j个张量样本的向量化结果，当i样本和j样本属于同一个类别，则计算||z_i-z_j||²；否则将||z_i-z_j||²置为+∞；D为对角矩阵，对角元素为

$d_{\mathrm{ii}}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}---\left(9\right)$

则Laplacian矩阵L

L=D-W(10)

第i类中第k个样本和第l个样本的Laplacian相似性为

$w_{\mathrm{kl}}^{\left(i\right)}=e^{\left(\frac{{-\left|\right|z_k-z_l\left|\right|}^2}{{2\mathrm{\σ}}^2}\right)---\left(11\right)}$

其中，z_k和z_l分别表示和的向量化结果

第i类的相似度矩阵记为W⁽ⁱ⁾，它其中的第k行第l列的元素是D⁽ⁱ⁾是第i类的对角阵，对角元素

$d_{\mathrm{kk}}=\underset{l=1}{\overset{M_i}{\mathrm{\Σ}}}{w}_{\mathrm{kl}}^{\left(i\right)}---\left(12\right)$

第i类的Laplacian矩阵

$L_w^{\left(i\right)}=D^{\left(i\right)}-W^{\left(i\right)}---\left(13\right)$

则Laplacian矩阵L_w

$L_w=\mathrm{diag}(\frac{L_w^{\left(1\right)}}{M_1},\frac{L_w^{\left(2\right)}}{M_2},\·\·\·,\frac{L_w^{\left(c\right)}}{M_c})---\left(14\right)$

P_n通过约束条件n-模式截断后整体散度保留下来的前P_n个最大特征值之和与截断前全投影下的特征值之和的比值testQ⁽ⁿ⁾(n=1,…,N)来确定；

${\mathrm{testQ}}^{\left(n\right)}=\frac{\underset{i_n=1}{\overset{P_n}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i_{\left(n\right)}}^{\left(n\right)*}}{\underset{i_n=1}{\overset{I_n}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i_{\left(n\right)}}^{\left(n\right)*}}---\left(15\right)$

其中，是全投影下n-模式第i_(n)个特征值；

为了简化testQ⁽ⁿ⁾(n=1,…,N)的选取问题，令testQ=testQ⁽¹⁾=testQ⁽²⁾=…=testQ^(N)；

（3）循环迭代求得最优投影矩阵；固定其他所有投影矩阵不变，不断优化类间Laplacian散度与类内Laplacian散度之差J达到最大，直到求得n模式投影矩阵收敛为止；

$J={\mathrm{\Φ}}_b^{\left(n\right)}-{\mathrm{\Φ}}_w^{\left(n\right)}={\mathrm{\Φ}}_t^{\left(n\right)}-2{\mathrm{\Φ}}_w^{\left(n\right)}---\left(16\right)$

其中，

${\mathrm{\Φ}}_t^{\left(n\right)}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L\⊗{I_P}_n){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T{(Z_{m\left(n\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)})}^T$ (17)

$=\frac{1}{{2M}^2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(Z_{m\left(n\right)}-Z_{i\left(n\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L\⊗{I_P}_n){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T{\left(Z_{m\left(n\right)}{Z}_{i\left(n\right)}\right)}^T$

${\mathrm{\Φ}}_w^{\left(n\right)}=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L_w\⊗{I_P}_n){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T{(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\‾}{Z}}_{\left(n\right)}^{\left(i\right)})}^T$ (18)

$=\frac{1}{M}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\frac{1}{{2M}_i}\underset{j=0}{\overset{M_i}{\mathrm{\Σ}}}\underset{k=1}{\overset{M_i}{\mathrm{\Σ}}}(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)}){\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}(L_w\⊗{I_P}_n){{\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}^T(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})}^T$

${\tilde{U}}_{{\mathrm{\Φ}}^{\left(n\right)}}={\tilde{U}}^{(n+1)}\⊗{\tilde{U}}^{(n+2)}\⊗\·\·\·\⊗{\tilde{U}}^{\left(N\right)}\⊗{\tilde{U}}^{\left(1\right)}\⊗{\tilde{U}}^{\left(2\right)}\⊗\·\·\·\⊗{\tilde{U}}^{(n-1)}---\left(19\right)$

迭代终止条件：保证迭代前后两次的每个模式（n=1,…,N）的投影矩阵ε是设定阈值，表示第t次迭代n-模式的投影矩阵

（4）计算投影后的张量：

（5）计算待测试样本χ′投影后张量和训练样本投影后形成新的训练集合的欧氏距离Dis，采用最近邻分类器测试识别；若

$\mathrm{Dis}({\mathrm{\χ}}_m,{\mathrm{\χ}}^{\′})=\arg \underset{i}{\min }\mathrm{Dis}(y_i,y^{\′})$

$=\left|\right|{\mathrm{\χ}}_m{\×}_1{\tilde{V}}^{\left(1\right)T}{\×}_2{\tilde{V}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{V}}^{\left(N\right)T}{\×}_1{\tilde{U}}^{\left(1\right)T}{\×}_2{\tilde{U}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{U}}^{\left(N\right)T}---\left(21\right)$

$-{\mathrm{\χ}}^{\′}{\×}_1{\tilde{V}}^{\left(1\right)T}{\×}_2{\tilde{V}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{V}}^{\left(N\right)T}{\×}_1{\tilde{U}}^{\left(1\right)T}{\×}_2{\tilde{U}}^{\left(2\right)T}{\×}_3\·\·\·{\×}_N{\tilde{U}}^{\left(N\right)T}{\left|\right|}_F$

则χ′属于χ_m所在的类别，其中，||||_F表示F范数；y_i(i=1,…,M)表示训练样本集经式(20)得到的张量特征，y′对应χ′的最终的张量特征。

实验的数据库选择的是CASIA（B）步态数据库，该库含有124个人，每人6个正常步态样本，对每个样本都提取视频流样本的一个周期的步态序列数据，选择前3个样本进行训练，后3个样本进行测试识别。本专利所提供的方法一般迭代5次就收敛到终止条件，所以操作中采用5次迭代即可。投影后张量保留的维数由testQ值确定，这样可简化维数保留的选择问题。实验中：σ=1。

如图3所示是本专利所提供的方法在不同testQ下的识别率曲线，可以看出：在testQ=96%时，该方法获得最佳的识别率为93.55%，此时张量的维数降为18x23x13。

表1是本专利所提供的方法与MPCA和GTDA方法在识别率、testQ和最终保留特征的维数上的比较结果。可以看出：本专利所提供的方法较MPCA和GTDA方法有更高的识别率，特征最终保留的维数也较MPCA低一些。

表一各种方法的比较

	MPCA	GTDA	本专利提供的方法
				识别率	92.74%	90.59%	93.55%
testQ值	90%	97%	96%
				最终保留特征的维数	330	70	242

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (1)

1.一种多线性大间距的特征提取方法，其特征是，假设第m个训练样本用N阶张量表示，其中，R代表空间，I_n(n＝1,…,N)为张量的“n-模式”的维数，那么M个训练样本集合可以表示为它们是张量空间中的张量；将张量空间映射到 $R^{P_1}\&CircleTimes;R^{P_2}\&CircleTimes;...\&CircleTimes;R^{P_N}(P_n<I_n,n=1,...,N),$ 其中，P_n(n＝1,…,N)表示降维后的张量的“n-模式”的维数，映射后的张量能捕捉到原始张量数据“变化”最大的方向用Laplacian散度之差来度量，即使类间Laplacian散度与类内Laplacian散度之差最大；

具体操作步骤如下：

(1)预处理阶段：利用多线性主成分分析MPCA方法对整个张量训练集进行降维处理，得到的特征记为

其中，是找到原始张量数据“变化”最大的方向投影后的张量，是寻找到的投影矩阵集合，其中Q_n(n＝1,…,N)表示张量经MPCA降维后的“n-模式”的维数；T为转置；×₁，×₂，×₃…×_N表示张量与矩阵的1，2，3...N模式的乘积；

(2)多线性大间距的投影矩阵初始化阶段：采用全投影的初始化方法，求J^*的特征分解，得到其特征值按照从大到小排列，初始化投影矩阵由J^*的前P_n个大的特征值对应的特征向量组成，

$J^{*}={\mathrm{\&Phi;}}_b^{\left(n\right)*}-{\mathrm{\&Phi;}}_w^{\left(n\right)*}={\mathrm{\&Phi;}}_t^{\left(n\right)*}-2{\mathrm{\&Phi;}}_w^{\left(n\right)*}---\left(2\right)$

其中，为类间Laplacian散度初始化矩阵，为类内Laplacian散度初始化矩阵，为整体Laplacian散度初始化矩阵；

$\begin{array}{c}{\mathrm{\&Phi;}}_t^{\left(n\right)*}=\frac{1}{M}\underset{m=1}{\overset{M}{\&Sigma;}}(Z_{m\left(n\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)})(L\&CircleTimes;I_{P_n}){(Z_{m\left(n\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)})}^T\\ =\frac{1}{2M^2}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{i=1}{\overset{M}{\&Sigma;}}(Z_{m\left(n\right)}-Z_{i\left(n\right)})(L\&CircleTimes;I_{P_n}){(Z_{m\left(n\right)}-Z_{i\left(n\right)})}^T\end{array}---\left(3\right)$

$\begin{array}{c}{\mathrm{\&Phi;}}_w^{\left(n\right)*}=\frac{1}{M}\underset{i=1}{\overset{c}{\&Sigma;}}\underset{j=1}{\overset{M_i}{\&Sigma;}}(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)}^{\left(i\right)})(L_w\&CircleTimes;I_{P_n}){(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)}^{\left(i\right)})}^T\\ =\frac{1}{M}\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{2M_i}\underset{j=1}{\overset{M_i}{\&Sigma;}}\underset{k=1}{\overset{M_i}{\&Sigma;}}(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})(L_w\&CircleTimes;I_{P_n}){(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})}^T\end{array}---\left(4\right)$

${\mathrm{\&Phi;}}_b^{\left(n\right)*}={\mathrm{\&Phi;}}_t^{\left(n\right)*}-{\mathrm{\&Phi;}}_w^{\left(n\right)*}---\left(5\right)$

其中，角标(n)表示n模式，表示P_n×P_n大小的单位阵，表示Kronecker积，c表示样本集的类别数，M_i(i＝1,…,c)表示第i类的样本数，Z_m(n)表示第m个样本的n-模式矩阵，为样本集整体的n-模式均值矩阵

${\stackrel{\&OverBar;}{Z}}_{\left(n\right)}=\frac{1}{M}\underset{m=1}{\overset{M}{\&Sigma;}}{Z}_{m\left(n\right)}---\left(6\right)$

表示第i类第j个样本的n-模式矩阵，表示第i类n-模式的均值矩阵

${\stackrel{\&OverBar;}{Z}}_{\left(n\right)}^{\left(i\right)}=\frac{1}{M_i}\underset{j=1}{\overset{M_i}{\&Sigma;}}{Z}_{j\left(n\right)}^{\left(i\right)}---\left(7\right)$

为了保持张量的内在非线性流形结构，在散度矩阵中引入Laplacian矩阵的高斯相似度矩阵W，它其中的元素w_ij为

$w_{ij}=e^{\left(\frac{-\left|\right|z_i-z_j|{|}^2}{2{\mathrm{\&sigma;}}^2}\right)}---\left(8\right)$

其中，σ是热核参数，z_i和z_j分别表示经MPCA降维后第i个张量样本和第j个张量样本的向量化结果，当i样本和j样本属于同一个类别，则计算||z_i-z_j||²；否则将||z_i-z_j||²置为+∞；D为对角矩阵，对角元素为

$d_{ii}=\underset{i=1}{\overset{M}{\&Sigma;}}{w}_{ij}---\left(9\right)$

则Laplacian矩阵L

L＝D-W(10)

第i类中第k个样本和第l个样本的Laplacian相似性为

$w_{kl}^{\left(i\right)}=e^{\left(\frac{-\left|\right|z_k-z_l|{|}^2}{2{\mathrm{\&sigma;}}^2}\right)}---\left(11\right)$

其中，z_k和z_l分别表示和的向量化结果

第i类的相似度矩阵记为W⁽ⁱ⁾，它其中的第k行第l列的元素是D⁽ⁱ⁾是第i类的对角阵，对角元素

$d_{kk}=\underset{l=1}{\overset{M_i}{\&Sigma;}}{w}_{kl}^{\left(i\right)}---\left(12\right)$

第i类的Laplacian矩阵

$L_w^{\left(i\right)}=D^{\left(i\right)}-W^{\left(i\right)}---\left(13\right)$

则Laplacian矩阵L_w

$L_w=diag(\frac{L_w^{\left(1\right)}}{M_1},\frac{L_w^{\left(2\right)}}{M_2},...,\frac{L_w^{\left(c\right)}}{M_c})---\left(14\right)$

P_n通过约束条件n-模式截断后整体散度保留下来的前P_n个最大特征值之和与截断前全投影下的特征值之和的比值testQ⁽ⁿ⁾(n＝1,…,N)来确定；

${\mathrm{testQ}}^{\left(n\right)}=\frac{\underset{i_{\left(n\right)}=1}{\overset{P_n}{\&Sigma;}}{\mathrm{\&lambda;}}_{i_{\left(n\right)}}^{\left(n\right)*}}{\underset{i_{\left(n\right)}=1}{\overset{I_n}{\&Sigma;}}{\mathrm{\&lambda;}}_{i_{\left(n\right)}}^{\left(n\right)*}}---\left(15\right)$

其中，是全投影下n-模式第i_(n)个特征值；

为了简化testQ⁽ⁿ⁾(n＝1,…,N)的选取问题，令testQ＝testQ⁽¹⁾＝testQ⁽²⁾＝…＝testQ^(N)；

(3)循环迭代求得最优投影矩阵；固定其他所有投影矩阵不变，不断优化类间Laplacian散度与类内Laplacian散度之差J达到最大，直到求得n模式投影矩阵收敛为止；

$J={\mathrm{\&Phi;}}_b^{\left(n\right)}-{\mathrm{\&Phi;}}_w^{\left(n\right)}={\mathrm{\&Phi;}}_t^{\left(n\right)}-2{\mathrm{\&Phi;}}_w^{\left(n\right)}---\left(16\right)$

其中，

$\begin{array}{c}{\mathrm{\&Phi;}}_t^{\left(n\right)}=\frac{1}{M}\underset{m=1}{\overset{M}{\&Sigma;}}(Z_{m\left(n\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}(L\&CircleTimes;I_{P_n}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}^T{(Z_{m\left(n\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)})}^T\\ =\frac{1}{2M^2}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{i=1}{\overset{M}{\&Sigma;}}(Z_{m\left(n\right)}-Z_{i\left(n\right)}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}(L\&CircleTimes;I_{P_n}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}^T{(Z_{m\left(n\right)}-Z_{i\left(n\right)})}^T\end{array}---\left(17\right)$

$\begin{array}{c}{\mathrm{\&Phi;}}_w^{\left(n\right)}=\frac{1}{M}\underset{i=1}{\overset{c}{\&Sigma;}}\underset{j=1}{\overset{M_i}{\&Sigma;}}(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)}^{\left(i\right)}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}(L_w\&CircleTimes;I_{P_n}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}^T{(Z_{j\left(n\right)}^{\left(i\right)}-{\stackrel{\&OverBar;}{Z}}_{\left(n\right)}^{\left(i\right)})}^T\\ =\frac{1}{M}\underset{i=1}{\overset{c}{\&Sigma;}}\frac{1}{2M_i}\underset{j=1}{\overset{M_i}{\&Sigma;}}\underset{k=1}{\overset{M_i}{\&Sigma;}}(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}(L_w\&CircleTimes;I_{P_n}){\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}^T{(Z_{j\left(n\right)}^{\left(i\right)}-Z_{k\left(n\right)}^{\left(i\right)})}^T\end{array}---\left(18\right)$

${\tilde{U}}_{{\mathrm{\&Phi;}}^{\left(n\right)}}={\tilde{U}}^{(n+1)}\&CircleTimes;{\tilde{U}}^{(n+2)}\&CircleTimes;...\&CircleTimes;{\tilde{U}}^{\left(N\right)}\&CircleTimes;{\tilde{U}}^{\left(1\right)}\&CircleTimes;{\tilde{U}}^{\left(2\right)}\&CircleTimes;...\&CircleTimes;{\tilde{U}}^{(n-1)}---\left(19\right)$

迭代终止条件：保证迭代前后两次的每个模式(n＝1,…,N)的投影矩阵ε是设定阈值，表示第t次迭代n-模式的投影矩阵

(4)计算投影后的张量：

(5)计算待测试样本投影后张量和训练样本投影后形成新的训练集合的欧氏距离Dis，采用最近邻分类器测试识别；若

则属于所在的类别，其中，||||_F表示F范数；表示训练样本集经式(20)得到的张量特征，对应的最终的张量特征。