CN103729652B - 基于稀疏保持流形嵌入的高光谱遥感影像分类方法 - Google Patents

Abstract

本发明公开了一种基于稀疏保持流形嵌入的高光谱遥感影像分类方法，对训练样本数据点由其余训练样本进行稀疏表示，通过各数据点的稀疏系数可得所有训练样本的稀疏表示矩阵S；根据稀疏表示矩阵S构建无向权重图G；根据无向权重图G设置各边线的权重系数，得到权值矩阵W；由权值矩阵W，保持数据间由稀疏表示体现的相似性不变，得到投影矩阵A；根据投影矩阵A，分别对训练样本和测试样本实现数据的维数约简，得到低维鉴别特征；利用分类器分类，判断出测试样本的低维鉴别特征所属类别，即得到测试样本的类别信息。本发明能够更有效地提取出鉴别特征，且分类结果更准确，对高光谱遥感影像的地物分类效果更好。

Description

基于稀疏保持流形嵌入的高光谱遥感影像分类方法

技术领域

本发明涉及高光谱遥感影像特征提取和分类方法的改进，具体涉及一种基于稀疏保持流形嵌入的高光谱遥感影像分类方法，属于高光谱遥感影像特征提取和分类技术领域。

背景技术

科学研究者们于20世纪80年代初在多光谱遥感的基础上提出了高光谱遥感。高光谱遥感影像的光谱分辨率高达10^-2λ数量级(属于纳米级)，波段范围从可见光到短波红外，光谱波段数多达数十个甚至数百个以上，高光谱分辨率高的特点使高光谱图像数据相邻波段间的间隔较窄，存在波段重叠区域，光谱通道不再离散而呈现出连续，因此高光谱遥感通常又被称为成像光谱遥感。高光谱遥感不仅可以解决地物大类的识别问题，而且可以进行类内细分或精细光谱特征提取。高光谱遥感影像分类首先需要对待测数据进行特征提取，实现维数约简，然后再对提取出来的特征进行分类。

一、特征提取方法介绍

高光谱遥感影像是由成像光谱仪获取的，含有丰富的信息，给地物研究带来了新的机遇。但由于高光谱遥感影像数据量大、数据间相关性强、冗余度大、维数高、信息隐含，传统分类方法很易导致Hughes现象，即“维数灾难”。因此，如何从高维数据中有效地提取出隐含特征，降低数据维数成为高光谱遥感影像在数据处理方面研究的重点。

1、稀疏表示方法

现有研究发现高光谱遥感影像在高维空间中呈现出稀疏分布，由于稀疏表示能够较好地反映各数据在全局结构中的相似性，能够有效地提取出各数据的鉴别特征，现稀疏表示在高光谱遥感分类中已有一些应用，并有较好的效果。

稀疏表示(SR)是以压缩感知理论为基础，最初主要在生理视觉研究、语音处理、信号处理中得到广泛应用，近年被成功地引入到模式识别领域。稀疏表示的主要思想是在一个训练样本足够大的空间内，对于某一个样本，可以近似地由训练样本中同类样本子空间线性表示；当某个样本用整个样本空间表示时，其表示系数是稀疏的，即绝大多数的系数为零，只存在少数反映此样本内在特性的系数为非零。稀疏表示能从全局结构中揭示出反映某样本内在特性的信息，且能反映出数据间的相似关系，受局部空间分布和噪声影响较小，在高光谱遥感影像特征提取的应用中具有较好的优势。

稀疏系数矩阵S是对各数据点由其余数据线性表示得到的系数值，某个数据点的稀疏系数只有少数能够反映该数据在全局结构中内在特性的系数为非零，其余系数全为零，即某个数据点不为零的稀疏系数对应的数据点几乎属于同类数据，非同类数据间的稀疏系数几乎全部为零，这表明稀疏表示能够较好地揭示出各数据在全局结构中的内在特性；两个数据间的稀疏系数值若为非零，则表示两个数据间具有一定的内在关联性，其值越大表示两个数据间的内在关联性越强。现有的主要算法有稀疏主元分析(SPCA)和稀疏保持投影(SPP)。

1.1)SPCA是主成分分析为基础发展的。主成分分析主要算法思想是消除各主成分之间的相关性，使各主成分的方差在该主成分中达到最大值，但是每个主成分都是由所有数据线性组合得到，大部分单位特征向量不为零，以至于对主成分解释困难。为能很好地解释各主成分，并突出主要的成分，应使大部分单位特征向量都为零，稀疏表示正具有此特点，能够使反映数据特征的几个单位特征向量为非零，其余大部分单位特征向量为零，因而学者们结合弹性网络思想提出了稀疏主成分分析。SPCA算法消除了数据间的相关性，并且数据尽可能的稀疏，各主成分能够得到更好的解释，使主要的部分更加突出，提取出的特征更能反映数据的内在性质，更能有效地实现数据的降维。但SPCA算法的参数设置比较困难，这对算法的性能有很大的影响。

1.2)SPP算法是以稀疏理论为基础，对数据进行重构，使其重构误差最小化来得到投影矩阵，它是一种全局线性维数约简方法。SPP算法在重构时，其重构系数是稀疏的，这能够从全局数据中提取出反映各数据内在特征的信息，并使该数据的内在特性得到保持。SPP算法通过稀疏表示得到重构系数，不需要人为的设置参数，减少了参数选择的影响，在模式识别方面具有较好的优势；同时，SPP算法具有投影矩阵，能够很好地处理新样本。SPP算法已在人脸识别中得到广泛的应用，并对受姿态和光照变换的人脸有较好的效果，但在高光谱遥感数据分类中应用还相对较少。

2、图嵌入方法

图嵌入(Graph Embedding,GE)思想也是实现数据维数约简的一种方法。图嵌入是通过数据集X构建反映数据几何分布关系的无向权重图矩阵G={X,W}，其中X为图G中的顶点，W=[w_ij]_N×N表示各顶点间连线边的权值矩阵，w_ij表示图G中顶点x_i与x_j之间连线边的权值大小，反映了两个数据点之间的相似程度；再由图G构建维数约简方法，进而得到各数据点的低维鉴别特征。图嵌入主要思想是在低维嵌入空间中保持在高维空间中构建的图G中各顶点间相似关系不变，得到最佳的低维嵌入特征。图嵌入方法在低维嵌入空间中能够很好地保持原始数据在高维空间的相似关系，具有较好的维数约简效果，但是相似性度量方式和权值设置方式对维数约简的结果有较大影响，也会影响最终分类结果的准确。主要算法有线性判别算法(LDA)、局部线性嵌入算法(LLE)、拉普拉斯特征映射算法（LE）、邻域保持嵌入算法(NPE)和局部保持投影算法(LPP)。

2.1）LDA是一种监督的维数约简方法，由1936年Fisher提出的Fisher判别准则寻求最佳的鉴别投影方向，基本思想是使类内数据尽可能的聚集，类间数据尽可能的分散，从而使维数约简后的不同类型数据能够最大的区分开，又称为Fisher线性鉴别分析(FisherLinear Discriminant Analysis)，在处理类别可分性大的数据具有很好的优势。LDA算法为全局线性维数约简方法，在二分类问题中有很好的应用，但高光谱遥感属于多类数据，且为非线性结构，维数约简后各类的区分度并不明显，运用LDA提取特征效果并不突出。

2.2）LLE算法的主要思想是非线性结构数据在局部范围呈现出线性结构，保持这种局部的线性结构关系，从高维数据中揭示出低维流形结构，进而提取出各数据的流形特征，实现维数约简。其主要方法是在高维空间中各数据点用k个近邻点线性表示，维数简约后保持与每个对应近邻点的权值不变，重构维数简约后对应的数据点，使重构误差最小，能够有效地提取出非线性结构数据的流形特征。LLE算法通过对数据的局部重构，在低维空间中保持局部重构关系不变，提取出数据中隐含的低维流形特征，揭示出数据中的非线性结构关系，对高光谱遥感数据能够有效地展示出数据的内在几何结构。但LLE算法的近邻选取，对结果影响较大。

2.3）LE算法的基本思想是在高维空间中相距较远的数据点，维数约简后在低维嵌入空间中仍相距较远；较近的数据点，维数约简后仍相距较近；目的是使数据点间的局部几何结构在低维空间得到保持，并能最佳的表达出来。LE算法运用了谱图理论，通过对各数据间设置不同的权值，使数据间的局部邻域信息在低维空间中能够较好地体现出来。LE算法保证了几何结构为近邻的数据点从高维空间投影到低维空间中近邻位置关系不变，能够有效地提取出数据的流形特征。但对于几何位置较远的数据点，投影到低维空间后仍相距较远，易产生空洞现象。

2.4）NPE算法从本质上看是LLE算法的线性逼近，数据集在降到低维空间后，保持数据固有的局部邻域流形不变，得到从高维空间到低维空间的投影矩阵；遇到新样本时，可通过投影矩阵直接得到低维嵌入数据。NPE算法保持数据的局部邻域结构不变，提取出高维数据中的低维流形结构，且能够更有效地处理新样本，实现维数约简。但其同样受近邻选取的影响较大，并且为线性维数约简方法，对非线性结构的数据效果不是很好。

2.5）LPP算法的主要思想是在低维空间中保持原有数据在高维空间中的近邻关系不变，其实质是对LE算法进行线性化。LPP算法具有明确的投影矩阵，能够直接把新样本投影到低维空间中。LPP算法能够很好地处理新样本问题，并能较好地保持数据的局部几何结构，实现数据降维。但LPP只考虑了数据的局部关系，受近邻选取影响较大，并受噪声影响大。

二、高光谱遥感数据的分类方法

在高光谱遥感影像中不同地物的差异通过像元的光谱信息及几何空间信息进行表达，不同的地物类型具有不同的光谱信息或几何空间特性。高光谱遥感影像分类就是以影像像元的光谱和空间特征为基础，对每个像元或比较均质的像元组中所代表的不同类别地物进行类别属性的确定和标注。通过对高光谱遥感影像中各地物的光谱信息和几何空间信息进行分析，获得可分性最大的特征，选择适当的分类系统，将各个像元划分为对应的类别属性中。传统的分类方法主要有如下几种。

1.k最近邻分类(k-NN)

k最近邻算法(k-Nearest Neighbor,k-NN)是一种比较经典的分类方法，该方法由k个已知近邻来判断未知数据点的类别信息，其理论已经非常成熟，在模式分类中得到了广泛的应用。k-NN算法不需要对样本进行训练，受噪声影响较小，但k值对算法的结果影响较大，其值的选择需要反复地进行调整；在维数较高时，计算时间较长。

2光谱角制图分类(SAM)

光谱角制图(Spectral Angle Mapping,SAM)是对地物光谱波形相似性的一种度量，它把每条光谱都视为波谱空间的一个矢量，通过计算未知光谱与已知光谱间夹角来确定光谱间的相似程度，进而确定未知光谱曲线的类别信息。由于光谱曲线间的夹角越小表示两光谱曲线越相似，属于同类光谱的可能性越大，从而可以通过计算光谱曲线间的夹角来确定未知光谱曲线所属类别。

SAM是一个基于统计特征的算法，与光谱矢量的模无关，具有较好的抗干扰能力，受光照变化影响小，并且受“同物异谱”现象的影响小，现已在光谱数据分类中得到广泛的应用，具有较好的分类效果。但是SAM算法在两种光谱曲线相似程度很大时，对光谱曲线区分度较难，不能取得较好的分类效果。

3支持向量机分类(SVM)

支持向量机(Support Vector Machines,SVM)是以统计学中的VC维理论和结构风险最小原理为理论基础，根据有限的样本信息在模型的复杂度(即特定训练样本的学习精度)和学习能力(即正确识别任意样本的能力)之间寻求最佳折衷，以获得最好的推广能力。SVM算法是以统计学为基础寻求数据间的最优分类面，通过把非线性数据映射到核函数空间，使其线性化，进而简化了计算复杂度，具有较好的分类效果；但是如何选择子空间和建立合适模型成为SVM运用的难点。

通过上述现有技术介绍可以看出，目前的特征提取方法和分类方法都存在各自不足，特征提取方法不能有效地提取出鉴别特征，几种分类方法要么影响因素多，要么存在某些局限性，两者都会导致分类结果准确性受到影响。

发明内容

针对现有技术存在的上述不足，本发明的目的是提供一种能够更有效地提取出鉴别特征，且分类结果更准确，对高光谱遥感影像的地物分类效果更好的基于稀疏保持流形嵌入的高光谱遥感影像分类方法。

为了实现上述目的，本发明采用的技术方案如下：

基于稀疏保持流形嵌入的高光谱遥感影像分类方法，其特征在于：其步骤为，

1）从数据集中随机选取一定数量的样本作为训练样本，其类别信息已知，再随机选取一定数量的样本作为测试样本；

2）对训练样本数据点x_i由其余训练样本进行稀疏表示，跟据(1)式计算得到数据点x_i的稀疏系数s_i，最终可得到所有训练样本的稀疏表示矩阵S，其稀疏求解函数为：

$\min {\left|\right|x_i-{\mathrm{Xs}}_i\left|\right|}_2^2$

(1)

s.t.||s_i||₁<ε,s_i≥0

其中：s_i表示数据点x_i由数据集X中除x_i以外其余数据线性组合的稀疏系数；||·||₀表示计算l₀范数，即为s_i中非零元素的个数；ε为误差阈值；

3）根据稀疏表示矩阵S构建无向权重图G，在图G中，若x_i与x_j间的稀疏系数为非零，对应的顶点用边线连接，若x_i与x_j间的稀疏系数为零，对应的顶点不用边线连接；

4）根据无向权重图G设置各边线的权重系数，如果有边线连接，就把该边线相对应的两个顶点之间的稀疏系数作为该边线的权值，如果没有连接边，权值就设置为零，得到权值矩阵W，即：

$w_{\mathrm{ij}}=\left\{\begin{array}{c}{s}_{\mathrm{ij}},s_{\mathrm{ij}}\&NotEqual;0\\ 0,s_{\mathrm{ij}}=0\end{array}\right.---\left(2\right)$

其中：w_ij表示数据点x_i与x_j之间的权值，且有权值矩阵W=[w_ij]_N×N；s_ij表示数据点x_i与x_j之间的稀疏系数；

5）由权值矩阵W，保持数据间由稀疏表示体现的相似性不变，根据式(3)可得到投影矩阵A；

$\min \frac{1}{2}\underset{i,j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(y_i-y_j)}^2{w}_{\mathrm{ij}}=\underset{i,j=1}{\overset{N}{\mathrm{\&Sigma;}}}(y_i{w}_{\mathrm{ij}}{y}_i^T-y_i{w}_{\mathrm{ij}}{y}_j^T)=\mathrm{tr}\left({\mathrm{YLY}}^T\right)=\mathrm{tr}\left(A^T{\mathrm{XLX}}^{T}A\right)---\left(3\right)$

其中：D为对角矩阵，且L为拉普拉斯矩阵，且L=D-W；W为权值矩阵；低维嵌入Y=A^TX，A为投影矩阵；

6）根据投影矩阵A，分别对训练样本和测试样本实现数据的维数约简，得到低维鉴别特征；

7）根据训练样本的低维鉴别特征和类别信息，利用分类器分类，判断出测试样本的低维鉴别特征所属类别，即得到测试样本的类别信息。

第7）步的分类器按稀疏保持分类方法进行分类，稀疏保持分类方法是通过稀疏表示在全局结构中揭示出的相似关系，通过计算未知数据对各类数据由稀疏表示反映的相似性权值来对未知数据进行分类；其过程为：

①在维数约简后，用所有已知数据点对未知数据进行稀疏表示得到稀疏系数，如式(4)所示：

$\min {\left|\right|y_i-{\mathrm{Ys}}_i\left|\right|}_2^2$

(4)

s.t.||s_i||₁<ε,s_i≥0

其中：s_i表示未知数据点y_i由已知数据Y线性组合的稀疏系数；||·||₀表示计算l₀范数，即为s_i中非零元素的个数；ε为误差阈值；

②根据稀疏系数计算未知数据与各类已知数据的相似性权值，即把未知数据与某类已知数据中的各数据相似性权值之和作为该类数据的相似性权值，再根据权值的大小来确定未知数据所属类别，并把未知数据归为权值最大的类别；权值求解如式(5)所示：

$l_i=\underset{k=1}{\overset{c}{\max }}w(y_i,k)=\underset{k=1}{\overset{c}{\max }}\underset{j=1}{\overset{N_k}{\mathrm{\&Sigma;}}}\left(\frac{s_{\mathrm{ij}}^k}{d(y_i,y_j^k)}\right)---\left(5\right)$

其中：max(·)表示求最大值计算；l_i为未知数据y_i所得到的类别；c表示已知数据的类别数；w(y_i,k)表示未知数据y_i与第k类数据间的相似性权值，即为y_i与第k类各数据的相似性权值之和；N_k表示第k类数据的个数；为第k类已知类别数据；表示未知数据y_i与第k类已知数据间的稀疏系数；表示未知数据y_i与第k类已知数据间的欧氏距离。

本发明提出了一种基于SPE的特征提取方法，该方法是根据稀疏表示揭示出的相似性，并由稀疏系数大小来反映相似性程度，结合图嵌入原理，使这种相似性在低维嵌入空间中得到保持。同其他图嵌入算法(如LPP和LE算法)相比，本发明以稀疏表示和图嵌入原理为基础，能够很好地揭示出各数据在全局结构中的相似关系，并保持这种全局结构中的相似关系不变，同时受局部几何结构的影响较小，能更有效地提取出鉴别特征；SPE算法的参数设置简单，只需在稀疏表示时简单的设置一个阈值变量；SPE算法是通过稀疏表示原理自动地选取数据间的相似关系，不需要人为设置近邻，减小了近邻设置和选取方式带来的影响。

本发明提出了一种基于SPC的分类方法，该方法是通过稀疏表示在全局结构中揭示的相似性，根据稀疏系数得到各类数据的相似性权重对未知数据进行分类，由于这种相似性很好地体现出各类数据在全局结构中的内在特性，在分类时不同类型的数据更易区分，能更准确判断所属类别，分类效果更好。

因此，本发明提出的基于稀疏保持流形嵌入的高光谱遥感影像分类方法，能够更有效地提取出鉴别特征，且分类结果更准确，对高光谱遥感影像的地物分类效果更好。在Botswana和Urban高光谱遥感数据集上的对比实验结果也表明，本分类方法较其它现有各种方法都有明显优势。

附图说明

图1-本发明分类流程图。

图2-Botswana高光谱遥感影像图。

图3-各算法对Botswana数据集在不同训练样本数不同维度下的总体分类精度图。

图4-Urban高光谱遥感影像图。

图5-各算法对Urban数据集在不同训练样本数不同维度下的总体分类精度图。

图6-不同方法对Urban数据集的每类地物分类结果图。

具体实施方式

以下结合附图对本发明进行详细说明。

根据稀疏表示原理分析可知，稀疏表示能够从全局结构中得到与各数据点相关性强的数据，且能很好地从全局数据中揭示出各数据间的内在关系。由图嵌入方法分析可知，图嵌入能够在低维空间中较好地保持高维空间中的某种相似性，但相似性度量方法和权值选取方法对图嵌入的结果影响大。针对此情况，本发明提出了一种基于稀疏表示的图嵌入方法，即稀疏保持嵌入(Sparsity Preserving Embedding,SPE)。

稀疏保持嵌入(SPE)算法主要思想是以稀疏表示和图嵌入为基础，在低维嵌入空间中保持数据在高维空间中的稀疏特性不变，即先由稀疏表示揭示出各数据在高维全局空间中的内在相似性，再由图嵌入方法在低维嵌入空间中保持各数据的这种内在相似性不变。SPE算法首先通过稀疏表示得到稀疏系数矩阵，并根据稀疏系数矩阵构建无向权重图G，其构建方式为：如果稀疏系数为非零，在图G中构建一连线边；如果稀疏系数为零，在图G中就不用边线连接。再设置图G中各连线边的权值，数据越相似，相距越近，权值越大；由前面分析知，稀疏系数能够反映数据在高维空间中的内在相似性，其值越大数据间的相似性越强；根据以上关系，SPE算法中图G的边权值设置为稀疏系数值，即图G中顶点x_i与x_j之间的连线边的权值w_ij设置为数据点x_i与x_j之间的稀疏系数s_ij。其主要流程为：

①计算数据集X的稀疏系数。

为得到非负稀疏系数，在稀疏理论的LASSO算法形式基础上，增加约束条件s_i≥0。对数据集X采用稀疏表示的方法得到稀疏系数矩阵S。其稀疏求解函数变为：

$\min {\left|\right|x_i-{\mathrm{Xs}}_i\left|\right|}_2^2$

(6)

s.t.||s_i||₁<ε,s_i≥0

其中：s_i表示数据点x_i由数据集X中除x_i以外其余数据线性组合的稀疏系数；||·||₀表示计算l₀范数，即为s_i中非零元素的个数；ε为误差阈值；

②构建无向图G。

根据稀疏系数矩阵S构建无向图G。在图G中，如果两顶点x_i与x_j之间的稀疏系数s_ij为非零，就在这两个顶点间设置一条边；如果两顶点x_i与x_j之间稀疏系数s_ij为零，该两个顶点之间不设置边。

③设置边权值W。

根据图G设置各边的权值，由前分析，把图G中有连线边的权值设置为该边线对应的两顶点间的稀疏系数值，没有边线的权值设置为零，即：

$w_{\mathrm{ij}}=\left\{\begin{array}{c}{s}_{\mathrm{ij}},s_{\mathrm{ij}}\&NotEqual;0\\ 0,s_{\mathrm{ij}}=0\end{array}\right.---\left(7\right)$

其中：w_ij表示数据点x_i与x_j之间的权值，且有权值矩阵W=[w_ij]_N×N；s_ij表示数据点x_i与x_j之间的稀疏系数；

④计算投影矩阵A。

稀疏表示能够揭示各数据在高维全局结构空间中的相似性关系，在低维空间中保持数据的这种相似性关系不变，即保持由稀疏表示反映出的各数据在高维空间中的内在相似关系不变，根据图嵌入原理得到投影矩阵，进一步提取出各数据的低维嵌入特征。其数学模型为：

$\begin{array}{c}\min \frac{1}{2}\underset{i,j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(y_i-y_j)}^2{w}_{\mathrm{ij}}\\ =\frac{1}{2}\underset{i,j=1}{\overset{N}{\mathrm{\&Sigma;}}}(y_i{w}_{\mathrm{ij}}{y}_i^T-y_i{w}_{\mathrm{ij}}{y}_j^T+y_j{w}_{\mathrm{ij}}{y}_j^T-y_j{w}_{\mathrm{ij}}{y}_i^T)\\ =\underset{i,j=1}{\overset{N}{\mathrm{\&Sigma;}}}(y_i{w}_{\mathrm{ij}}{y}_i^T-y_i{w}_{\mathrm{ij}}{y}_j^T)\\ =\mathrm{tr}\left(Y(D-W)Y^T\right)\\ =\mathrm{tr}\left({\mathrm{YLY}}^T\right)\\ =\mathrm{tr}\left(A^T{\mathrm{XLX}}^{T}A\right)\end{array}----\left(8\right)$

其中：D为对角矩阵，且L为拉普拉斯矩阵，且L=D-W；W为权值矩阵，即W=[w_ij]_N×N；A为投影矩阵。

为得稳定解，使降维数据Y对矩阵D单位化，增加约束：

YDY^T=I→A^TXDX^TA=I (9)

根据约束条件，对公式(8)用Lagrange乘子法可得：

XLX^TΑ=λXDX^TA (10)

通过对公式(10)求取广义特征值特征向量，取出d个最小的特征值及其对应的特征向量a₁,a₂,L,a_d，令A=[a₁,a₂,L,a_d]，降维数据为Y=A^TX。

本发明提出的稀疏保持嵌入(SPE)算法是根据稀疏表示揭示出的相似性，并通过稀疏系数大小来反映相似性程度，结合图嵌入原理，使这种相似性在低维嵌入空间中得到保持。同其他图嵌入算法(如LPP和LE算法)相比，SPE算法以稀疏表示和图嵌入原理为基础，能够很好地揭示出各数据在全局结构中的相似关系，并保持这种全局结构中的相似关系不变，同时受局部几何结构的影响小，能更有效地提取出鉴别特征；SPE算法的参数设置简单，只需在稀疏表示时简单的设置一个阈值变量；SPE算法是通过稀疏表示原理自动地选取数据间的相似关系，不需要人为设置近邻，减小了近邻设置和选取方式带来的影响。

根据稀疏表示理论，非同类数据间的稀疏系数几乎为零，同类数据间的稀疏系数大多为非零，稀疏系数越大数据间的相关性越强，能够很好地揭示出数据间的相似性关系，并能体现出同类数据间的共有特性；结合图嵌入能够保持数据间相似不变的思想，本发明提出了稀疏保持分类(Sparsity Preserving Classifier,SPC)。该分类方法是通过稀疏表示在全局结构中反映出的相似性，通过计算未知数据对各类已知数据由稀疏表示反映出的相似性权值来对未知数据进行分类。

SPC算法的主要过程为：

①在维数约简后，用所有已知数据点对未知数据进行稀疏表示得到稀疏系数，如式(11)所示：

$\min {\left|\right|y_i-{\mathrm{Ys}}_i\left|\right|}_2^2$

(11)

s.t.||s_i||₁<ε,s_i≥0

其中：s_i表示未知数据点y_i由已知数据Y线性组合的稀疏系数；||·||₀表示计算l₀范数，即为s_i中非零元素的个数；ε为误差阈值。

②根据稀疏系数计算未知数据与各类已知数据的相似性权值，即把未知数据与某类已知数据中的各数据相似性权值之和作为该类数据的相似性权值，再根据权值的大小来确定未知数据所属类别，并把未知数据归为权值最大的类别。权值求解如式(12)所示：

$l_i=\underset{k=1}{\overset{c}{\max }}w(y_i,k)=\underset{k=1}{\overset{c}{\max }}\underset{j=1}{\overset{N_k}{\mathrm{\&Sigma;}}}\left(\frac{s_{\mathrm{ij}}^k}{d(y_i,y_j^k)}\right)---\left(12\right)$

其中：max(·)表示求最大值计算；l_i为未知数据y_i所得到的类别；c表示已知数据的类别数；w(y_i,k)表示未知数据y_i与第k类数据间的相似性权值，即为y_i与第k类各数据的相似性权值之和；N_k表示第k类数据的个数；为第k类已知类别数据；表示未知数据y_i与第k类已知数据间的稀疏系数；表示未知数据y_i与第k类已知数据间的欧氏距离。

SPC算法是通过稀疏表示在全局结构中揭示的相似性，根据非负稀疏系数得到数据间的相似性权重对数据进行分类，由于这种相似性很好地体现出各类型数据在全局结构中的内在特性，在分类时不同类型的数据更易区分，能更准确判断所属类别，分类效果更好。

因此本发明提出的稀疏保持嵌入和稀疏保持分类方法，其核心思想是：首先通过稀疏表示得到稀疏系数，再通过稀疏系数设置数据间的相似性权重，在低维空间中保持相似性权重不变，进而提取出鉴别特征，最后，通过稀疏保持分类算法进行分类即可确定未知数据的类别。其流程图为图1，具体步骤如下：

1）从数据集中随机选取一定数量的样本作为训练样本，其类别信息已知，再随机选取一定数量的样本作为测试样本；

2）对训练样本数据点x_i由其余训练样本进行稀疏表示，跟据(13)式计算得到数据点x_i的稀疏系数s_i，最终可得到所有训练样本的稀疏表示矩阵S，其稀疏求解函数为：

$\min {\left|\right|x_i-{\mathrm{Xs}}_i\left|\right|}_2^2$

(13)

s.t.||s_i||₁<ε,s_i≥0

其中：s_i表示数据点x_i由数据集X中除x_i以外其余数据线性组合的稀疏系数；||·||₀表示计算l₀范数，即为s_i中非零元素的个数；ε为误差阈值；

3）根据稀疏表示矩阵S构建无向权重图G，在图G中，若x_i与x_j间的稀疏系数为非零，对应的顶点用边线连接，若x_i与x_j间的稀疏系数为零，对应的顶点不用边线连接；

4）根据无向权重图G设置各边线的权重系数，如果有边线连接，就把该边线相对应的两个顶点之间的稀疏系数作为该边线的权值，如果没有连接边，权值就设置为零，得到权值矩阵W，即：

$w_{\mathrm{ij}}=\left\{\begin{array}{c}{s}_{\mathrm{ij}},s_{\mathrm{ij}}\&NotEqual;0\\ 0,s_{\mathrm{ij}}=0\end{array}\right.---\left(14\right)$

其中：w_ij表示数据点x_i与x_j之间的权值，且有权值矩阵W=[w_ij]_N×N；s_ij表示数据点x_i与x_j之间的稀疏系数；

5）由权值矩阵W，保持数据间由稀疏表示体现的相似性不变，根据式(15)可得到投影矩阵A；

$\min \frac{1}{2}\underset{i,j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(y_i-y_j)}^2{w}_{\mathrm{ij}}=\underset{i,j=1}{\overset{N}{\mathrm{\&Sigma;}}}(y_i{w}_{\mathrm{ij}}{y}_i^T-y_i{w}_{\mathrm{ij}}{y}_j^T)=\mathrm{tr}\left({\mathrm{YLY}}^T\right)=\mathrm{tr}\left(A^T{\mathrm{XLX}}^{T}A\right)---\left(15\right)$

其中：D为对角矩阵，且L为拉普拉斯矩阵，且L=D-W；W为权值矩阵；低维嵌入Y=A^TX，A为投影矩阵。

6）根据投影矩阵A，分别对训练样本和测试样本实现数据的维数约简，得到低维鉴别特征；

7）根据训练样本的低维鉴别特征和类别信息，利用分类器分类，判断出测试样本的低维鉴别特征所属类别，即得到测试样本的类别信息。所述第7）步的分类器按稀疏保持分类方法进行分类，稀疏保持分类方法是通过稀疏表示在全局结构中揭示出的相似关系，通过计算未知数据对各类数据由稀疏表示反映的相似性权值来对未知数据进行分类。其过程为：

①在维数约简后，用所有已知数据点对未知数据进行稀疏表示得到稀疏系数，如式(16)所示：

$\min {\left|\right|y_i-{\mathrm{Ys}}_i\left|\right|}_2^2$

(16)

s.t.||s_i||₁<ε,s_i≥0

其中：s_i表示未知数据点y_i由已知数据Y线性组合的稀疏系数；||·||₀表示计算l₀范数，即为s_i中非零元素的个数；ε为误差阈值；

②根据稀疏系数计算未知数据与各类已知数据的相似性权值，即把未知数据与某类已知数据中的各数据相似性权值之和作为该类数据的相似性权值，再根据权值的大小来确定未知数据所属类别，并把未知数据归为权值最大的类别。权值求解如式(17)所示：

$l_i=\underset{k=1}{\overset{c}{\max }}w(y_i,k)=\underset{k=1}{\overset{c}{\max }}\underset{j=1}{\overset{N_k}{\mathrm{\&Sigma;}}}\left(\frac{s_{\mathrm{ij}}^k}{d(y_i,y_j^k)}\right)---\left(17\right)$

其中：max(·)表示求最大值计算；l_i为未知数据y_i所得到的类别；c表示已知数据的类别数；w(y_i,k)表示未知数据y_i与第k类数据间的相似性权值，即为y_i与第k类各数据的相似性权值之和；N_k表示第k类数据的个数；为第k类已知类别数据；表示未知数据y_i与第k类已知数据间的稀疏系数；表示未知数据y_i与第k类已知数据间的欧氏距离。

上述已知数据点即训练样本数据，未知数据为测试样本。

为验证SPE算法和SPC算法对高光谱遥感影像的地物分类效果，本发明选取了Botswana和Urban高光谱遥感数据集进行地物分类实验。实验时，把本发明提出的SPE+SPC与现有的LDA、LLE、NPE、LE、LPP、SPP、SPE和SPE+SRC分别比较，其中LDA、LLE、NPE、LE、LPP、SPP和SPE采用传统的最近邻分类器分类。

实验设置为：为研究训练样本数变化对实验结果的影响，实验中选取了不同的训练样本数对各算法进行实验对比；为研究SPE算法的特征提取效果，对LDA、LLE、NPE、LE、LPP、SPP和SPE进行了不同训练样本下总体分类精度随嵌入维数变化的对比实验；为研究SPC算法的分类效果，对SPE+SPC、SPE+SRC和SPE在各训练样本下进行了总体分类精度随低维嵌入维数变化的对比实验；为比较最终分类效果，对各算法进行了地物分类对比实验。

Botswana数据集实验

Botswana高光谱遥感影像数据集于2001年5月31日由美国宇航局通过EO-1卫星上高光谱传感器获得，该影像由1476×256像素组成，包括波长为400～2500nm共有242个波段，空间分辨率达到30m，光谱分辨率达到10nm，覆盖了博茨瓦纳奥卡万戈三角洲地区长7.7km的带状地带，去除受大气吸收和噪声影响的波段，将剩下的145个(10～55，82～97，102～119，134～164，187～220)波段用于实验研究。图2为Botswana高光谱遥感影像的假彩色图及其真实地物分布情况。实验中，本发明选取了14种常见地物进行实验分析，其地物类别信息如表1所示。

表1Botswana数据集的类别信息

实验参数设置为：在研究训练样本数对地物分类的影响时，从每类地物中分别随机选取20、25、30和35个数据点作为训练样本，分别用20-train、25-train、30-train和35-train表示，对各训练样本分别进行10次重复实验，每次实验都随机选取50个数据点作为测试样本，分别用各种算法进行实验求取总体分类精度，并把10次实验的平均值作为最终结果；为各算法达到最优，对需设置近邻数的算法近邻设置为6，对LPP算法的热核参数设置为2，对稀疏阈值SPP设置为0.5，SRC设置为0.01，SPE设置为0.005，SPC设置为0.5；对所选全部地物进行分类时，每类随机选取35个数据点为训练样本，LDA低维嵌入维度选取在该训练样本数下的最高总体分类精度所在维度，其余算法的低维嵌入维数选取为40，由于各算法在低维嵌入维数为40时，总体分类精度都基本达到平稳。

表2各算法对Botswana数据集的最高总体分类精度(平均值±方差(%)(维数))

图3给出了各种算法总体分类精度随训练样本数和维数变化的结果，表2给出了在不同训练样本下不同算法总体分类精度的最高值及其方差。根据图3和表2，在训练样本数为20-train、25-train、30-train、35-train变化时，可得到以下结论：

①在某一确定训练样本数下，随着低维嵌入维数的增加，总体分类精度随之不断增加，最终趋于平稳，由于随着低维嵌入维度的增加，所含信息更丰富，总体分类精度也随之增加，当信息足够丰富时，总体分类精度趋于平稳。

②随着训练样本数的增加，各算法的总体分类精度和最高总体分类精度都呈现出增加趋势，这是因为训练样本数越多，已知信息越丰富，在特征提取时，可利用的信息就越充足，使各算法的总体分类精度也就越高。

③SPE算法比LLE、NPE、LE、LPP和SPP的总体分类精度和最高总体分类精度都好，由于SPE算法通过稀疏表示能够很好地从全局结构中揭示出数据间的相似关系，减小了局部几何结构带来的影响，且不受近邻选取和选取方式的影响，并能较好地体现出各类型数据在全局结构中的相似关系，维数约简后保持相似关系不变，使提取出的鉴别特征更有效，总体分类精度更好。

④SPE+SPC算法比SPE和SPE+SRC的总体分类精度和最高总体分类精度都好，由于SPC算法能较好地揭示出各数据在全局结构中的相似关系，通过与各类数据的稀疏系数得到相似性权重并用于数据的分类，更容易区分不同类型的数据，具有更好的分类效果。

⑤SPE+SPC算法是SPE与SPC的结合，该算法与本发明提到的其余算法相比较，其总体分类精度和最高总体分类精度都最好，对训练样本数为20-train、25-train、30-train、35-train变化时，SPE+SPC算法的最高总体分类精度比LDA分别提升了3.61%、2.26%、1.87%、1.43%，比LLE分别提升了4.13%、6.73%、7.17%、7.77%，比NPE分别提升了5.06%、5.89%、4.81%、5.47%，比LE分别提升了7.40%、10.26%、9.51%、9.67%，比LPP分别提升了6.67%、5.04%、3.97%、3.29%，比SPP分别提升了16.37%、13.91%、12.56%、12.96%，比SPE分别提升了3.16%、3.50%、1.99%、1.59%，比SPE+SRC分别提升了2.40%、2.90%、1.39%、1.00%。

表3不同方法对Botswana数据集的每类地物分类精度(%)

表3给出了在不同方法下各类地物的分类精度，根据表3可得到以下结论：

①SPE算法对各类地物的分类精度都比SPP算法的好，大部分比LLE、NPE、LE和LPP的好，总体分类效果都比LLE、NPE、LE、LPP和SPP好，这说明SPE算法能够更好地揭示出各数据在全局结构中的相似关系，提取的特征更能反映出各数据在全局结构中的特性。

②SPE+SPC算法各类地物的分类精度基本都比SPE+SRC算法和SPE算法效果都好，总分类效果也好于SPE+SRC和SPE，说明SPC分类方法比最近邻和SRC分类有更好的效果。

③SPE+SPC算法对结合了SPE和SPC对各类地物的分类效果基本都比本发明提到的其余算法效果好，总体分类效果都比本发明提到的其余算法更好，说明SPE+SPC算法结合了SPE和SPC更有利于地物分类，总分类果更好。

表4不同方法对Botswana数据集的分类结果

表4给出了不同算法地物分类的总精度和Kappa系数，由表4可得到如下结论：

①SPE算法的总分类精度和Kappa系数比LLE、NPE、LE、LPP、SPP、SPE都好，说明SPE提取的鉴别特征更有效，分类结果更好。

②SPE+SPC算法的总分类精度和Kappa系数比SPE和SPE+SRC都好，说明SPC比SRC和最近邻分类器更有利于地物分类，其分类结果更好。

③SPE+SPC算法的总分类精度和Kappa系数比其余算法都好，与LDA、LLE、NPE、LE、LPP、SPP、SPE和SPE+SRC相比，总分类精度分别提升了1.39%、22.08%、5.70%、11.64%、3.08%、13.08%、2.12%、0.71%，Kappa系数分别提升了0.015、0.240、0.062、0.126、0.033、0.142、0.023、0.008。

Urban数据集实验

Urban高光谱遥感影像数据集于1995年10月由美国陆军地理空间中心通过HYDICE传感器获得，该影像由307×307像素组成，包括波长为400～2500nm共有210个波段，空间分辨率达到2m，光谱分辨率达到10nm，覆盖了美国德克萨斯州科帕拉斯区域(靠近胡德堡)，去除48个(1～4，76，87，101～111，136～153，198～210)受大气吸收和噪声影响的波段用于实验研究。图4为Urban高光谱遥感影像的假彩色图及其真实地物分布情况。实验中，本发明选取了4种常见地物进行实验分析，其地物类别信息如表5所示。

表5Urban数据集的类别信息

在设置本实验的各参数时，把本发明对Urban高光谱遥感数据集的参数设置中的随机选取20、25、30和35个数据点作为训练样本改为随机选取70、80、90和100个数据点作为训练样本，分别用70-train、80-train、90-train和100-train表示，把随机选取50个数据点作为测试样本改为随机选取150个数据点作为测试样本，对所选全部地物进行分类时，把随机选取35个数据点为训练样本，改为随机选取100个数据点为训练样本，其余参数不变。

表6各算法对Urban数据集的最高总体分类精度(平均值±方差(%)(维数))

图5给出了各种算法总体分类精度随训练样本数和维数变化的结果，表6给出了在不同训练样本下不同算法总体分类精度的最高值及其方差。训练样本数为70-train、80-train、90-train、100-train变化时，根据图5和表6可得到以下结论：

①在某一确定训练样本数下随着低维嵌入维数的增加，总体分类精度随之不断增加，达到一定维度后，总体分类精度基本趋于平稳；随着训练样本数的增加，各算法的总体分类精度和最高总体分类精度都呈现出增加趋势。

②SPE算法比LDA、LLE、NPE、LE、LPP和SPP的总体分类精度和最高总体分类精度都好；SPE+SPC算法比SPE和SPE+SRC的总体分类精度和最高总体分类精度都好。

③SPE+SPC算法与本发明提到的其余算法相比总体分类精度和最高总体分类精度都最好，随着训练样本数为70-train、80-train、90-train、100-train变化时，SPE+SPC算法的最高总体分类精度比LDA分别提升了11.75%、8.83%、8.07%、6.60%，比LLE分别提升了6.05%、7.68%、8.20%、8.18%，比NPE分别提升了7.45%、8.55%、8.55%、7.57%，比LE分别提升了7.93%、11.02%、9.60%、9.90%，比LPP分别提升了9.85%、7.85%、7.68%、7.15%，比SPP分别提升了9.78%、8.98%、8.48%、8.60%，比SPE分别提升了5.22%、4.55%、4.40%、4.20%，比SPE+SRC分别提升了3.75%、3.63%、3.83%、3.20%。

图6给出了不同算法各类地物的分类结果，根据图6可得到以下结论：

①SPE算法比LLE、NPE、LE、LPP、SPP分类效果更好，说明本文提出的SPE算法能更有效地提取出各数据的鉴别特征。

②SPE+SPC算法比SPE和SPE+SRC分类效果好，说明本文提出的SPC比SRC和最近邻分类器分类效果都好。

③结合SPE和SPC的SPE+SPC算法比本发明提到的其余算法效果好，说明SPE+SPC能更有效地提取出鉴别特征，实现更有效的地物分类。

表7不同方法对Urban数据集的每类地物分类精度(%)

表7给出了在不同方法下各类地物的分类精度，根据表7可得到以下结论：

SPE对各类地物的分类精度基本比LDA、LLE、NPE、LE、LPP和SPP的好，总体分类效果都比它们都好；SPE+SPC对各类地物的分类精度基本都比SPE+SRC和SPE效果都好，总分类效果都比SPE+SRC和SPE好；SPE+SPC对各类地物的分类效果基本都比本发明提到的其余算法效果好，总体分类精度也更好。

表8不同方法对Urban数据集的分类结果

表8给出了不同算法地物分类的总精度和Kappa系数，根据表8可以得到如下结论：

SPE算法的总分类精度和Kappa系数比LDA、LLE、NPE、LE、LPP、SPP都好，SPE+SPC算法的总分类精度和Kappa系数比SPE和SPE+SRC都好；SPE+SPC算法与LDA、LLE、NPE、LE、LPP、SPP、SPE和SPE+SRC相比，总分类精度分别提升了5.99%、8.09%、6.09%、8.01%、5.90%、8.55%、4.48%、3.33%，Kappa系数分别提升了0.084、0.108、0.084、0.111、0.081、0.120、0.062、0.048。

本发明在稀疏表示研究的基础上，由于稀疏表示能够较好地揭示出各数据在全局结构中的相似性，同类数据间的稀疏系数基本为非零，非同类数据间的稀疏系数基本为零，且稀疏系数越大，数据间的相似性越强，并结合图嵌入理论，提出了SPE算法和SPC算法。SPE算法主要是通过稀疏表示得到数据间的相似关系，根据图嵌入方法，在低维空间中保持相似性不变，提取出各数据的鉴别特征；SPC算法主要是通过稀疏表示得到数据间的相似性，由稀疏系数计算与各类数据的相似性权重，把未知数据归属于相似性权重最大的类别，进而实现分类。

由本发明分析和实验可知，本发明提出的SPE算法通过稀疏表示能够较好地揭示出各数据点在全局结构中的相似性，不需选取近邻，且不受局部几何结构带来的影响，并在低维嵌入空间中保持这种相似性不变，能更有效地提取出低维鉴别特征，比LLE、NPE、LE、LPP和SPP特征提取的效果都好。本发明提出的SPC算法与最近邻分类器和SRC算法相比类别判断更准确，具有更好的分类效果。最后结合SPE算法和SPC算法能更有效地提取出鉴别特征，分类更准确，其总体分类效果比LDA、LLE、NPE、LE、LPP、SPP、SPE和SPE+SRC都更好。在Botswana和Urban高光谱遥感影像数据集上的地物分类实验结果表明：本发明能更有效地改善高光谱遥感影像的地物分类，SPE+SPC算法与LDA、LLE、NPE、LE、LPP、SPP、SPE和SPE+SRC相比，总体分类精度提升了0.71%～22.08%，Kappa系数提升了0.008～0.240。

本发明的上述实施例仅仅是为说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化和变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (2)

1.基于稀疏保持流形嵌入的高光谱遥感影像分类方法，其特征在于：其步骤为，

1)从数据集中随机选取一定数量的样本作为训练样本，其类别信息已知，再随机选取一定数量的样本作为测试样本；

2)对训练样本数据点x_i由其余训练样本进行稀疏表示，跟据(1)式计算得到数据点x_i的稀疏系数s_i，最终可得到所有训练样本的稀疏表示矩阵S，其稀疏求解函数为：

$\begin{array}{cc}\min & {||x_i-{\mathrm{Xs}}_i||}_2^2\\ s.t.& {||s_i||}_1<\mathrm{\&epsiv;},s_i\&GreaterEqual;0\end{array}---\left(1\right)$

其中：s_i表示数据点x_i由数据集X中除x_i以外其余数据线性组合的稀疏系数；||·||₁表示计算l₁范数，即为s_i中各元素的绝对值之和；ε为误差阈值；

3)根据稀疏表示矩阵S构建无向权重图G，在图G中，若x_i与x_j间的稀疏系数为非零，对应的顶点用边线连接，若x_i与x_j间的稀疏系数为零，对应的顶点不用边线连接；

4)根据无向权重图G设置各边线的权重系数，如果有边线连接，就把该边线相对应的两个顶点之间的稀疏系数作为该边线的权值，如果没有连接边，权值就设置为零，得到权值矩阵W，即：

$w_{ij}=\{\begin{array}{c}{s}_{ij},s_{ij}\&NotEqual;0\\ 0,s_{ij}=0\end{array}---\left(2\right)$

其中：w_ij表示数据点x_i与x_j之间的权值，且有权值矩阵W＝[w_ij]_N×N；s_ij表示数据点x_i与x_j之间的稀疏系数；

5)由权值矩阵W，保持数据间由稀疏表示体现的相似性不变，根据式(3)可得到投影矩阵A；

$\begin{array}{cc}\min & \frac{1}{2}\underset{i,j=1}{\overset{N}{\&Sigma;}}{(y_i-y_j)}^2{w}_{ij}\underset{i,j=1}{\overset{N}{\&Sigma;}}(y_i{w}_{ij}{y}_i^T-y_i{w}_{ij}{y}_j^T)=tr\left({\mathrm{YLY}}^T\right)=tr\left(A^T{\mathrm{XLX}}^{T}A\right)\end{array}---\left(3\right)$

其中：D为对角矩阵，且L为拉普拉斯矩阵，且L＝D-W；W为权值矩阵；低维嵌入Y＝A^TX，A为投影矩阵；

6)根据投影矩阵A，分别对训练样本和测试样本实现数据的维数约简，得到低维鉴别特征；

7)根据训练样本的低维鉴别特征和类别信息，利用分类器分类，判断出测试样本的低维鉴别特征所属类别，即得到测试样本的类别信息。

2.根据权利要求1所述的基于稀疏保持流形嵌入的高光谱遥感影像分类方法，其特征在于：所述第7)步的分类器按稀疏保持分类方法进行分类，稀疏保持分类方法是通过稀疏表示在全局结构中揭示出的相似关系，通过计算未知数据对各类数据由稀疏表示反映的相似性权值来对未知数据进行分类；其过程为：

①在维数约简后，用所有已知数据点对未知数据进行稀疏表示得到稀疏系数，如式(4)所示：

$\begin{array}{cc}\min & {||y_i-{\mathrm{Ys}}_i||}_2^2\\ s.t.& {||s_i||}_1<\mathrm{\&epsiv;},s_i\&GreaterEqual;0\end{array}---\left(4\right)$

其中：s_i表示未知数据点y_i由已知数据Y线性组合的稀疏系数；||·||₁表示计算l₁范数，即为s_i中各元素的绝对值之和；ε为误差阈值；

②根据稀疏系数计算未知数据与各类已知数据的相似性权值，即把未知数据与某类已知数据中的各数据相似性权值之和作为该类数据的相似性权值，再根据权值的大小来确定未知数据所属类别，并把未知数据归为权值最大的类别；权值求解如式(5)所示：

$l_i=\underset{k=1}{\overset{c}{\max }}w(y_i,k)=\underset{k=1}{\overset{c}{\max }}\underset{j=1}{\overset{N_k}{\&Sigma;}}\left(\frac{s_{ij}^k}{d(y_i,y_j^k)}\right)---\left(5\right)$

其中：max(·)表示求最大值计算；l_i为未知数据y_i所得到的类别；c表示已知数据的类别数；w(y_i,k)表示未知数据y_i与第k类数据间的相似性权值，即为y_i与第k类各数据的相似性权值之和；N_k表示第k类数据的个数；为第k类已知类别数据；表示未知数据y_i与第k类已知数据间的稀疏系数；表示未知数据y_i与第k类已知数据间的欧氏距离。