CN111860612A - 无监督高光谱图像隐低秩投影学习特征提取方法 - Google Patents

Abstract

本发明公开的无监督高光谱图像隐低秩投影学习特征提取方法，旨在提供一种能够实现快速、高鲁棒性的无监督高光谱特征提取方法。本发明通过下述技术方案予以实现：首先将输入的高光谱图像数据按比例划分成训练集和测试集；设计鲁棒性权重函数，计算训练集样本两两之间的光谱相似度，根据训练集构建谱约束矩阵和图正则化约束；然后将隐低秩表示模型的行表示系数近似分解，结合谱约束矩阵和图正则化约束构建隐低秩投影学习模型，采用交替迭代乘子法优化求解隐低秩投影学习模型，获取低维投影矩阵，输出所有测试集样本的类别，将训练集的低维特征作为支持向量机的训练样本，对测试集的低维特征进行分类，以分类结果的质量评估特征提取的性能。

Description

无监督高光谱图像隐低秩投影学习特征提取方法

技术领域

本发明涉及航空、航天、农业管理、灾害预报、环境监测、资源勘探、土地规划与利用、灾害动态监测、农作物估产、气象预报等很多领域的遥感图像处理技术，具体涉及无监督高光谱图像隐低秩投影学习特征提取方法。

背景技术

高光谱图像具有图谱合一的特点，是近期国内外发展起来的新的遥感技术。与多光谱图像相比，高光谱图像光谱波段数目多、光谱分辨率高、波段宽度窄，能够以较高的可信度区分和辨识地物目标。但是，高光谱图像的这些优点是以其较高的数据维数和较大的数据量为代价的，且高光谱图像波段间相关性较高，造成了信息的冗余。目标识别和分类等图像处理并不一定需要全部的波段来进行，因此对高光谱图像进行数据降维是十分必要的。遥感图像的特征提取是进行遥感图像自动识别的关键技术。遥感是一种远离目标，在不与目标对象直接接触的情况下，通过某种平台上装载的传感器获取其特征信息，然后对所获取的信息进行提取、判定、加工处理及应用分析的综合性技术。它是目前为止能够提供全球范围的动态观测数据的唯一手段。高光谱图像经由成像光谱仪获得。高光谱遥感是在传统二维空间遥感的基础上增加了一维光谱遥感后形成的一种三维遥感技术，高光谱图像数据呈现出三维立方体的形式，立方体式数据很好的融合了地物的空间信息和光谱信息，其空间特性描述了对应地物的空间特征，其光谱特性描述了相应地物每个像元的光谱信息。高光谱图像在采集与传输过程中不可避免地会受到各种噪声，例如高斯噪声、脉冲噪声、条纹等的污染，严重制约了高光谱图像的进一步应用。同时，高光谱图像维数的急剧增长，导致了“维数灾难”。高光谱遥感技术是指利用机载或星载的高光谱成像光谱仪获取包含地物特征信息的几十数百个连续的光谱波段堆叠组成高光谱图像，对获得的高光谱图像进行分析处理从而实现对地物详细认知的一种技术。高光谱图像由一个光谱维和两个空间维构成，图像中每一个像素点代表地面某区域的物体，空间分辨率不同，所表示的区域也不同，每个像素点对应着一条连续的光谱曲线。信息丰富是高光谱图像的优点但是处理不好也有可能成为其缺点。数十上百个光谱波段的超大数据量会给后期的处理带来很多的不便，在数据处理过程中的计算和存储方面尤为凸显。就目前的硬件条件而言，要想直接处理如此大量的数据是比较难做到的，当然要是想做到也是可以的只不过成本会高很多。同时由于光谱相似性，在连续上百个窄光谱波段中有很多波段都是相似的，这样在一定程度上就存在数据的冗余现象，冗余的数据并不会给我们带来什么帮助反而会占用本就不多的存储空间，以及降低数据处理的效率。采集到的大量细节数据不无例外的会包括噪声，这样会使得原本纯净的数据受到污染而且还会对地物分类识别的精度造成不好的影响。如果不能很好地克服高光谱数据的缺点那么高光谱数据就会变得“信息丰富而知识匮乏”。

高光谱图像具有丰富的光谱信息，同时也具有良好的空间结构特征，即所谓的“图谱合一”特性，因此，高光谱图像在农业管理、环境监测、军事侦察等诸多领域得到广泛应用。然而，高光谱图像同时存在光谱维度高，信息冗余大、有标签训练样本少等问题，这些严重制约了高光谱图像处理技术的进一步推广。研究表明，特征提取技术是解决数据维度高、信息冗余大的有效手段，而且特征提取技术也是高光谱图像处理技术方向的研究热点。在遥感图像的分类识别过程中，图像的各种特征提取技术在其中扮演了重要角色。遥感图像特征提取主要包括三个部分:光谱特征提取、纹理特征提取以及形状特征提取。光谱信息反映了地物反射电磁波能量的大小，是图像目视判读的基本依据。在目前的遥感图像处理研究中，多利用光谱特征。

特征提取技术通过映射或变换将高维数据变成低维特征，在降低数据维度的同时保留了数据中有价值的信息，便于后续的分类或其它处理。迄今为止，研究学者已提出了大量特征提取方法，并不断结合新的理论、新的技术来拓展特征提取方法的范围。通常，根据有无带标签的训练样本，特征提取方法可以分为无监督、半监督和有监督三种算法。主成分分析是一种最经典的无监督特征提取方法，其通过最大化方差找到一个线性投影矩阵，保留数据中最重要的特征信息。之后，研究学者又相继提出了最小噪声分离变换、独立主成分分析等方法。隐式低秩表示(LatLRR)作为经典的无监督特征提取算法已应用于模式识别领域。然而该算法得到的特征维数无法降低,且由于算法分别学习2个低秩矩阵,因此无法保证整体最优；另外,算法忽略了样本在学习过程中存在的残差。无监督鉴别投影(UnsupervisedDiscriminant Projection，UDP)准则函数可以通过非局部散度与局部散度之比的最大化来描述的。用UDP算法投影后，尽管在最大程度上实现了相互邻近的样本的集中和相互远离的样本之间的分离，但由于特征分量之间信息的高度冗余，所以，所获得的真正有效的鉴别信息并不多。无法消除模式样本各特征分量之间的相关性，从而使得错误率在某些时候随着鉴别矢量个数的增加收敛速度变得十分缓慢。然而，这些无监督的方法在没有使用样本标签信息的情况下，特征提取的性能并不能满足实际需求。为此，有学者提出了线性判别分析方法，由数据的均值和方差入手，设计了类内散度矩阵和类间散度矩阵，并使类内散度最小，类间散度最大来增强同类数据的聚集性和不同类数据的可分性。但上述特征提取方法均是以统计学理论为基础，优点是模型简单、易于理解、便于求解，缺点是忽略了数据的空间结构，缺乏对数据的有力表征。这一类方法属于传统特征提取方法的范畴。

随着稀疏表示在人脸识别上的成功应用，以稀疏表示为基础的特征提取方法不断涌现。例如，以无监督方式构建的稀疏图嵌入模型，通过一个像素的稀疏重构系数来定义像素的邻接像素，进而得到稀疏图，然后利用局部保持投影技术得到低维投影矩阵。在稀疏图嵌入的基础上，结合样本标签信息，有学者提出了稀疏图判别分析模型，并以类内构图的方式扩展为块稀疏图判别分析模型。随后，又衍生出了加权稀疏图判别分析、拉普拉斯正则化协作图、稀疏图学习等方法。然而，稀疏图仅能挖掘高光谱数据的局部结构信息，有学者认为全局结构信息更为重要，因此，以低秩表示为基础，提出了低秩图嵌入模型。该算法能够最大限度的保持原始数据在各个空间中的整体几何结构，可以有效地对受损的人脸图像进行恢复。然而现有的低秩表示算法对训练样本中含噪的图像去噪恢复的稳定性不好，导致识别率较低。低秩表示模型是一个无约束的算法，具有一定的局限性，对于稀疏矩阵的稀疏性有特别的要求，去噪效果不稳定。在满足某些条件下，低秩算法的一个特性就是来自同一个子空间数据之间的联系可以通过低秩表示系数来得到准确的揭示，并用此特性进行数据子空间的分割。但是，该算法在原始数据的整体几何结构得到保持的同时，数据的局部几何结构不能得到保持，对于局部噪声很敏感，去噪恢复的效果不好。随后，结合稀疏图和低秩图，学者提出了稀疏低秩图判别分析模型，同时挖掘高光谱数据的局部结构和全局结构，特征提取性能的改善十分明显。

目前低秩表达(LatLLR)主要用在子空间分割上，也就是给定一组数据，这组数据是从某几个子空间上来的，通过低秩表达可以达到对来自这几个子空间的数据进行聚类，可以找到哪些数据时来自具体的哪个子空间。首先子空间分割有很多种方法比如基于概率模型的。考虑到相邻高光谱波段的强相关性，Kumar等人提出通过融合相邻高光谱波段的方法降低高光谱影像的特征维数。该方法首先根据特定的准则将高光谱影像分割成多个波段子集。最后通过加权求和计算每个波段子集的融合波段获得降维后的高光谱数据。该方法在降维高光谱数据的同时，能够有效的保留数据的物理特性。然而，波段分割通常涉及复杂的聚类和优化过程，因此增加了降维方法的计算复杂度。由于高光谱数据在成像过程中不可避免地受到光照条件、大气条件、传感器精度等因素的影响，因而数据中存在不同程度的噪声。这些噪声严重影响了特征提取的性能。从另一个方面来说，随着我国高分专项地不断推进，已获取了大量有价值的高光谱遥感数据，然而新的问题是有标签的数据太少，而且数据标注需要花费大量的人力物力。这种情况下，无监督特征提取方法有着更为广阔的应用前景。

发明内容

本发明的目的是针对高光谱数据光谱维度高、信息冗余大、有标签样本少等问题，提供一种能够实现快速、高鲁棒性的无监督高光谱特征提取方法，以弥补现有特征提取技术的不足。

本发明的上述目的可以通过以下措施来实现，一种无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于，包括如下步骤：

首先将输入的无样本标签信息的高光谱图像数据按比例划分成训练集和测试集；设计鲁棒性权重函数，计算训练集样本两两之间的光谱相似度，根据训练集构建谱约束矩阵，同时根据局部保持投影规则构建图正则化约束；然后将隐低秩表示模型的行表示系数近似分解，分解成相同尺度的两个矩阵的乘积，并以其中一个矩阵作为投影矩阵，结合谱约束矩阵和图正则化约束构建隐低秩投影学习模型；采用交替迭代乘子法优化求解隐低秩投影学习模型，获取低维投影矩阵，提取测试集低维表示特征；采用支持向量机分类器输出所有测试集样本的类别，将训练集的低维特征作为支持向量机的训练样本，对测试集的低维特征进行分类，以分类结果的质量评估特征提取的性能。

本发明相比于现有技术的有效增益在于：

(1)本发明根据训练集构建谱约束矩阵，同时根据局部保持投影规则构建图正则化约束；引入隐低秩表示模型，通过行空间和列空间的表示学习，能够有效克服噪声等干扰因素的不利影响；同时，将模型中的行表示系数分解成相同尺度的两个矩阵的乘积，并以其中一个矩阵作为投影矩阵，与原模型相比，新模型可以实现任意维度低维特征的提取。

(2)本发明为弥补隐低秩表示仅能挖掘数据全局结构的不足，设计设了鲁棒性权重函数，谱约束和图正则化约束，谱约束从原始数据空间挖掘数据的局部结构，图正则化约束从低维特征空间挖掘数据的局部结构；二者与隐低秩表示模型的结合能够更好地挖掘高光谱数据本征结构，提升低维特征的可分性。

(3)本发明将隐低秩表示模型的行表示系数近似分解，分解成相同尺度的两个矩阵的乘积，以其中一个矩阵作为投影矩阵，并结合谱约束矩阵和图正则化约束构建隐低秩投影学习模型，设计了表示学习与投影学习一体化模型，通过模型的优化求解即可得到低维投影，有效避免了图嵌入模型的复杂过程，而且表示学习与投影学习相互作用，能够明显改善低维投影的判别性。

本发明采用交替迭代乘子法优化求解隐低秩投影学习模型，获取低维投影矩阵，提取测试集低维表示特征，采用支持向量机分类器输出所有测试集样本的类别，将训练集的低维特征作为支持向量机的训练样本，对测试集的低维特征进行分类，以分类结果的质量评估特征提取的性能。在公开高光谱数据集上的仿真实验表明所提出方法的特征提取性能明显优于其它的无监督特征提取方法，提取的低维特征能够获得更高的高光谱图像分类精度。

本发明适用于高光谱图像特征提取。本发明的核心是结合谱约束和图正则化约束的隐低秩表示学习与投影学习一体化模型，实现数据本征结构的准确挖掘，进而提升低维特征的判别性。只要是有关图像特征提取或降维，本发明都是有效的。

附图说明

图1是本发明无监督的隐低秩投影学习高光谱图像特征提取流程图。

图2是图1隐低秩投影学习模型的求解流程图。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图和具体实施方式对本发明做更进一步的具体说明，但本发明的应用范围不限于此：以下结合具体实施例，并参照附图，对本发明进一步详细说明。

具体实施方式

参阅图1。根据本发明，首先将输入的无样本标签信息的高光谱图像数据按比例划分成训练集和测试集；设计鲁棒性权重函数，计算训练集样本两两之间的光谱相似度，根据训练集构建谱约束矩阵，同时根据局部保持投影规则构建图正则化约束；然后将隐低秩表示模型的行表示系数近似分解，分解成相同尺度的两个矩阵的乘积，并以其中一个矩阵作为投影矩阵，并结合谱约束矩阵和图正则化约束构建隐低秩投影学习模型；采用交替迭代乘子法优化求解隐低秩投影学习模型，获取低维投影矩阵，提取测试集低维表示特征，采用支持向量机分类器输出所有测试集样本的类别，将训练集的低维特征作为支持向量机的训练样本，以分类结果的质量评估特征提取的性能。

具体包括以下步骤：

步骤1，在可选实施例中，将输入的高光谱图像数据划分成训练集和测试集。根据设定的比例，将输入具有(N+M)个样本的高光谱数据，划分成包含N个样本的训练集和包含M个样本的测试集

和包含M个样本的测试集

其中，∈表示属于，

表示实数空间，d表示样本的光谱维度，输入高光谱数据的样本总数为(N+M)个。

步骤2，谱约束构矩阵构建。根据训练集，构建谱约束矩阵C和设计谱约束矩阵C中的第ij个元素C_ij的鲁棒性权重函数

式中，x_i表示第i个训练样本，x_j表示第j个训练样本，dist(x_i,x_j)表示训练样本x_i和训练样本x_j之间的欧氏距离，

表示任意元素，

表示对任意标号为i的样本x_i与样本x_j之间距离的最大值。

步骤3，图正则化约束构建。根据局部保持投影规则，构建图正则化约束表达式

式中，min表示函数最小值，P表示投影矩阵，i和j表示元素标号，∑表示元素之和，

表示2范数的平方，x_i表示第i个训练样本，x_j表示第j个训练样本，T表示矩阵转置，W_ij表示图权重矩阵W的第ij个元素，D是对角阵，对角元素是图权重矩阵的每一行或每一列之和，L表示拉普拉斯矩阵，Tr(·)表示矩阵的迹。

图权重矩阵W由下式计算得到：

式中，x_i表示第i个训练样本，x_j表示第j个训练样本，∈表示属于，N_k(x_j)表示第第j个训练样本x_j的k个最近邻样本。

步骤4，所述步骤4进一步包括以下步骤：

隐低秩表示模型可以表示为：

s.t.X＝XZ+LX+E

式中，min表示函数最小值，X表示训练样本集，Z表示列空间表示系数，L表示行空间表示系数，E表示噪声，||·||_*表示矩阵核范数，||·||_2,1表示矩阵21范数，λ表示正则化参数，s.t.表示约束。

本实施例将行空间表示系数进行分解，以相同维度的两个矩阵的乘积表示，并经过相应变换，可以得到

s.t.X＝XZ+QP^TX+E,Q^TQ＝I

式中，P和Q表示分解矩阵，β表示正则化参数，

表示矩阵的F范数的平方，F是F范数的标志，||·||₁表示矩阵1范数，T表示矩阵转置，I表示单位矩阵。进一步结合步骤2的谱约束矩阵和步骤3的图正则化约束，构建隐低秩投影学习模型，其表达式如下：

s.t.X＝XZ+QP^TX+E,Q^TQ＝I

式中，⊙表示矩阵元素点乘，γ表示正则化参数。

如图2所示，求解隐低秩投影学习模型：

采用交替方向乘子法求解隐低秩投影学习模型，引入辅助变量A和变量B，得到如下待优化模型：

s.t.X＝XZ+QP^TX+E,Z＝A,P＝B,Q^TQ＝I

上述优化模型的拉格朗日函数为：

式中，l(·)表示拉格朗日函数，<·>表示矩阵内积，Y₁、Y₂、Y₃表示拉格朗日乘子，μ表示惩罚因子。

初始化拉格朗日函数中的矩阵：Z＝A＝0，P＝B＝0，E＝0，Y₁＝0，Y₂＝0，Y₃＝0。交替方向乘子法的规则是每次仅更新一个变量而保持其它变量不变，第t+1次迭代的变量值如下：

式中，t表示第t次迭代，1表示全1矩阵，

S₂＝XLX^T，

表示阈值为

软阈值运算。

Q_t+1可通过如下方法得到最优解：

式中，

表示矩阵的奇异值分解，Q_t+1＝UV^T。

采用交替方向乘子法优化求解隐低秩投影学习模型，判断是否达到收敛条件：如果为否，则继续执行交替方向乘子法优化求解和迭代运算；如果为是，达到最大迭代次数或变量前后两次迭代结果的误差小于某一设定阈值，获得最后一次迭代的投影矩阵P即为最优低维投影矩阵，则终止迭代。

步骤5，计算训练集和测试集的低维特征。利用步骤4求得的投影矩阵P对训练集X和测试集Y分别执行特征提取运算：训练集X的低维特征

测试集Y的低维特征

步骤6，采用支持向量机分类器输出所有测试集样本的类别。将训练集X的低维特征

作为支持向量机的训练样本，对测试集Y的低维特征

进行分类，以最终测试集样本的类别分类准确率评估特征提取算法的性能。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于，包括如下步骤：

首先将输入的无样本标签信息的高光谱图像数据按比例划分成训练集和测试集；设计鲁棒性权重函数，计算训练集样本两两之间的光谱相似度，根据训练集构建谱约束矩阵，同时根据局部保持投影规则构建图正则化约束；然后将隐低秩表示模型的行表示系数近似分解，分解成相同尺度的两个矩阵的乘积，并以其中一个矩阵作为投影矩阵，结合谱约束矩阵和图正则化约束构建隐低秩投影学习模型；采用交替迭代乘子法优化求解隐低秩投影学习模型，获取低维投影矩阵，提取测试集低维表示特征；采用支持向量机分类器输出所有测试集样本的类别，将训练集的低维特征作为支持向量机的训练样本，对测试集的低维特征进行分类，以分类结果的质量评估特征提取的性能。

2.如权利要求1所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：根据设定的比例，将输入具有(N+M)个样本的高光谱数据，划分成包含N个样本的训练集、M个样本的测试集

和M个样本的测试集

其中，

表示实数空间，d表示样本的光谱维度。

3.如权利要求1所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：根据训练集，构建谱约束矩阵C和设计谱约束矩阵C中的第ij个元素C_ij的鲁棒性权重函数：

式中，x_i表示第i个训练样本，x_j表示第j个训练样本，dist(x_i,x_j)表示训练样本x_i和训练样本x_j之间的欧氏距离，

表示任意元素，

表示对任意标号为i的样本x_i与样本x_j之间距离的最大值。

4.如权利要求1所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：根据局部保持投影规则，

构建图正则化约束表达式

式中，min表示函数最小值，P表示投影矩阵，i和j表示元素标号，∑表示元素之和，

表示2范数的平方，x_i表示第i个训练样本，x_j表示第j个训练样本，T表示矩阵转置，W_ij表示图权重矩阵W的第ij个元素，D是对角阵，对角元素是图权重矩阵的每一行或每一列之和，Tr(·)表示矩阵的迹，L表示拉普拉斯矩阵。

5.如权利要求1所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：隐低秩表示模型表示为：

式中，min表示函数最小值，Z表示列空间表示系数，L表示行空间表示系数，E表示噪声，λ表示正则化参数，s.t.表示约束，X表示训练样本集，||·||_*表示矩阵核范数，||·||_2,1表示矩阵21范数。

6.如权利要求1所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：将行空间表示系数进行分解，以相同维度的两个矩阵的乘积表示，并经过相应变换得到

s.t.X＝XZ+QP^TX+E,Q^TQ＝I

式中，P和Q表示分解矩阵，β表示正则化参数，F是F范数的标志，

表示矩阵的F范数的平方，||·||₁表示矩阵1范数，T表示矩阵转置，I表示单位矩阵。

7.如权利要求6所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：采用交替方向乘子法求解隐低秩投影学习模型，引入辅助变量A和变量B，得到如下待优化模型：

s.t.X＝XZ+QP^TX+E,Z＝A,P＝B,Q^TQ＝I

上述优化模型的拉格朗日函数为：

式中，l(·)表示拉格朗日函数，<·>表示矩阵内积，Y₁、Y₂、Y₃表示拉格朗日乘子，μ表示惩罚因子。

8.如权利要求7所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：初始化拉格朗日函数中的矩阵：Z＝A＝0，P＝B＝0，E＝0，Y₁＝0，Y₂＝0，Y₃＝0，并且第t+1次迭代的变量值

S₂＝XLX^T，

式中，t表示第t次迭代，1表示全1矩阵，λ表示正则化参数，

表示阈值为

软阈值运算。

9.如权利要求1所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于采用交替方向乘子法优化求解隐低秩投影学习模型，判断是否达到收敛条件：如果为否，则继续执行交替方向乘子法优化求解和迭代运算；如果为是，达到最大迭代次数或变量前后两次迭代结果的误差小于某一设定阈值，获得最后一次迭代的投影矩阵P即为最优低维投影矩阵，则终止迭代。

10.如权利要求1所述的无监督高光谱图像隐低秩投影学习特征提取方法，其特征在于：将训练集X的低维特征

作为支持向量机的训练样本，对测试集Y的低维特征

进行分类，以最终测试集样本的类别分类准确率评估特征提取算法的性能。

Images