CN114220007A - 基于过完备深度低秩子空间聚类的高光谱图像波段选择方法 - Google Patents

Abstract

本发明公开了一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法，通过对网络模型参数初始化，输入高光谱立方体和选择的波段数；划分训练样本，训练网络，计算损失函数，通过反向传播更新网络参数；保存网络参数，计算相似性图，利用谱聚类得到聚类结果，选择离聚类中心最近的波段作为最优波段子集；通过支持向量机(SVM)进行分类并评价分类结果。采用过完备表示和不完全表示的深度卷积自动编码器网络进行特征融合，提取更有意义和更丰富的光谱空间信息，用低秩表示获得更加鲁棒的亲和力矩阵来执行子空间聚类，提高子空间聚类的性能和确保准确选取信息波段子集。

Description

基于过完备深度低秩子空间聚类的高光谱图像波段选择方法

技术领域

本发明属于高光谱图像无监督波段选择技术领域，尤其涉及一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法。

背景技术

高光谱图像具有广泛的连续窄带、高空间分辨率、丰富的光谱和空间信息，已被广泛应用于目标检测、农业、军事等各个领域。然而，高光谱图像波段众多且相邻波段相关性强，导致存在大量冗余信息。此外，高光谱数据的高维性不仅增加了时间复杂度和空间复杂度，还会导致休斯现象或维数灾难，导致分类性能的恶化。因此，对高光谱图像进行降维处理是十分必要的。波段选择是高光谱图像进行降维的常用方法。

许多工作基于子空间聚类方法进行波段选择，通过各种方式构造鲁棒的亲和力矩阵来提高子空间聚类的性能。例如改进的稀疏子空间聚类方法、拉普拉斯正则化低秩子空间聚类方法等。其中，改进的稀疏子空间聚类方法通过使用L₁-范数并加入L₂-范数来构造稀疏亲和力矩阵。拉普拉斯正则化低秩子空间聚类方法采用核范数来约束亲和力矩阵为低秩，并引入拉普拉斯正则化促进亲和力矩阵每行的分片平滑性。然而，这些子空间聚类的波段选择方法将高光谱数据表示为同一子空间中的自表达字典的线性组合，导致缺乏对光谱带之间固有的非线性关系的考虑。此外，这些方法将每个光谱波段视为独立的特征来评估其重要性，没有充分考虑高光谱的全局光谱相互关系，使高光谱样本关系不能被充分利用且难以与后续处理(如分类)相结合。现有技术中公开了一种深度学习与子空间聚类相结合的方法—基于深度子空间聚类的无监督高光谱图像波段选择，相较于传统子空间聚类方法，深度子空间聚类方法可以学习非线性谱空间关系，提取空间信息，但它采用通用不完全表示的“encoder-decoder”模型，对输入数据的不完全表示，提取的空间特征有限。此外，亲和力矩阵的鲁棒性和子空间聚类的性能有待进一步提高。

发明内容

根据现有技术存在的问题，本发明公开了一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法，具体包括如下步骤：

根据高光谱图像的特性构建以卷积自动编码器为基础的深度学习网络模型，其中该模型包括通用编码器、过完备编码器、自表达层、子空间聚类和解码器；

在自表达层加入低秩约束并初始化深度学习网络模型；

将高光谱波段图像和选择的波段子集数输入至该深度学习网络模型中，计算深度学习网络模型的损失函数，通过反向传播更新该模型参数直到达到最大训练次数停止训练，从而获得自表达系数矩阵；

根据自表达系数矩阵构造亲和矩阵，采用谱聚类方式得到聚类结果，根据该聚类结果获得高光谱图像每个类别中的平均波段；

将所述平均波段作为聚类中心，计算每个波段到聚类中心的距离，其中离聚类中心最近的波段为所选择的波段子集。

所述通用编码器为不完全表示结构、其卷积层后设置最大池化层，所述过完备编码器为过完备表示结构、其卷积层后设置上采样层。

采用深度学习网络模型的损失函数求解自表达系数矩阵和亲和力矩阵方式为：

设

为N×M像素和b波段的原始三维高光谱立方体，波段选择的目标是选择一个波段子集

编码器表示为一个函数z＝E(x；θ_e)，其中x为输入，θ_e为参数，z为潜在表示，解码器定义为

其中潜在表示z作为解码器的输入，利用均方误差作为卷积自动编码器的损失函数：

将自表达层嵌入到卷积自动编码器中，假设高光谱b个波段图像位于k个子空间并集S中，即S＝S₁∪S₂...∪S_k，表示在全空间S中，有k个子空间，维数为

并满足d₁+d₂+…+d_k＝b，则该假设表达式为：

Min||C||_p s.t Z＝ZC,diag(C)＝0

其中

表示编码器的输出或者潜在矩阵，

表示自表达系数矩阵，diag(C)＝0约束C对角元素为0；

在该假设表达式中加入L₂-范数，优化问题重写为：

其中λ是平衡系数，用来平衡两项；

深度学习网络模型的损失函数为：

其中X是输入波段图像的张量形式，

表示重建的波段图像，α是自表达系数项的系数，通过模型训练得到自表达系数矩阵C；

由自表达系数矩阵构造亲和力矩阵为：

A＝|C|+|C|^T

其中A是相似性图。

在自表达层加入低秩约束时将所述优化问题修改为：

rank(C)≤m

其中m(m<<b)是限制自表达系数矩阵C的最大可能秩的超参数，

用全连接的线性层

及其转置来代替自表达层C，自表达层看作是

形式的对称矩阵，该优化问题重写为：

将网络模型损失函数改为低秩约束下的网络模型损失函数为：

将亲和力矩阵改为低秩约束下的亲和力矩阵：

由于采用了上述技术方案，本发明提供的一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法，该方法考虑到深度子空间聚类采用通用不完全表示的编码器模型，对输入高光谱波段图像学习到的空间特征有限，因此可以有效选择信息波段子集，因此子空间聚类的性能有一定的提高，通过引入过完备表示，采用过完备表示和不完全表示组成的编码器，同时加入低秩约束，提高了子空间聚类和确保准确选择信息波段子集。使用三组基准高光谱数据集进行实验，实验结果表明，此方法选取的波段子集可以获得更好的分类结果

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述波段选择方法的总体流程图；

图2是本发明提供的一种基于深度低秩子空间聚类的高光谱图像波段选择方法的网络结构模型；

图3是本发明中过完备表示和不完备表示原理示意图；

图4a-图4c是本发明实施例中Indian Pine数据集以及分类结果图；

图5a-图5c是本发明实施例中Pavia数据集以及分类结果图；

图6a-图6c是本发明实施例中Salinas数据集以及分类结果图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法，包括以下步骤：

S1：根据高光谱图像的特性构建以卷积自动编码器为基础的深度学习模型，其中该模型包括通用编码器、过完备编码器、自表达层、子空间聚类、解码器；

S2：在自表达层加入低秩约束并初始化网络模型参数，将高光谱波段图像和选择的波段子集数输入至该深度学习网络模型中，计算网络模型损失函数，通过反向传播更新该模型参数直到达到最大训练次数停止训练，从而得到自表达系数矩阵；

S3：根据自表达系数矩阵构造亲和矩阵，采用谱聚类方式来得到聚类结果；

S4：根据该聚类结果获得高光谱图像每个类别中的平均波段，将平均波段作为聚类中心，计算每个波段到聚类中心的距离，离聚类中心最近的波段就是所选择的波段子集。

进一步的，通用编码器和过完备编码器介绍如下：

所述通用编码器为不完全表示结构、其卷积层后设置最大池化层，所述过完备编码器为过完备表示结构、其卷积层后设置上采样层。

进一步地：上述通过网络模型损失函数求解自表达系数矩阵和亲和力矩阵过程如下：

S1-1：设

为N×M像素和b波段的原始三维高光谱立方体。波段选择的目标是选择一个波段子集

S1-2：编码器表示为一个函数z＝E(x；θ_e)，其中x为输入，θ_e为参数，z为潜在表示。同样，解码器可以定义为

其中潜在表示z作为解码器的输入。最后，利用均方误差作为卷积自动编码器的损失函数：

S1-3：将自表达模型嵌入到卷积自动编码器中，假设高光谱b个波段图像位于k个子空间并集S中，即S＝S₁∪S₂...∪S_k，这表示在全空间S中，有k个子空间，维数为

并满足d₁+d₂+…+d_k＝b。从数学上分析，则假设表达式可以表示为：

Min||C||_p s.t Z＝ZC,diag(C)＝0

其中

表示编码器的输出或者潜在矩阵，

表示自表达系数矩阵，diag(C)＝0约束C对角元素为0，以避免平凡解。

S1-4：为了获取自表达系数矩阵C，同时避免高光谱波段极高相关性而导致的“过于稀疏”的系数解，并使其能够通过卷积自动编码器进行训练，在模型中加入L₂-范数，S1-3中优化问题可以重写为：

其中λ是平衡系数，用来平衡两项。

S1-5：网络模型损失函数为：

其中X是输入波段图像的张量形式，

表示重建的波段图像，α是自表达系数项的系数。通过模型训练得到自表达系数矩阵C。

S1-6：由自表达系数矩阵构造亲和力矩阵为：

A＝|C|+|C|^T

其中A是相似性图。

进一步地：确定在自表达层加入低秩约束介绍如下：

S2-1：为了解决反向传播计算梯度的计算成本并学习低秩表示，在深度自动编码器的潜在空间引入低秩约束，将S1-4所述优化问题修改为：

rank(C)≤m

其中m(m<<b)是限制自表达系数矩阵C的最大可能秩的超参数。

S2-2：用全连接的线性层

及其转置来代替自表达层C，自表达层可以看作是

形式的对称矩阵。S2-1中公式可以改为：

S2-3：将S1-5中损失函数改为低秩约束下的损失函数为：

S2-4：将S1-6中的亲和力矩阵改为低秩约束下的亲和力矩阵：

下面通过真实高光谱数据，对本发明提供的一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法进行实际应用效果分析和评价。

A.数据来源：来源于三组公开高光谱数据集——Indian Pine数据、Salinas数据及Pavia数据。

(1)Indian Pine数据集

Indian Pine数据集是1992年通过美国宇航局喷气推进实验室的机载可见红外成像光谱仪(AVIRIS)传感器在美国印第安纳州西北部的印第安松树试验场采集的。图像由224个光谱波段和145×145像素组成，波长范围在400～2500nm之间，空间分辨率为20m。该数据集的伪彩色图和真实地物信息图像分别如图4a、图4b所示，包含16种植被的标记类，在进行波段选择之前，去掉24个覆盖水分吸收区域的光谱波段，分别是104-108、150-163和220，最终总共使用200个波段。

(2)Pavia数据集

Pavia数据集是2002年由德国航空航天中心操作的一架飞机上通过反射光学系统成像光谱仪系统(ROSIS)在意大利北部的帕维亚大学捕获的。图像由103个光谱波段和610×340像素组成，波长范围在430-860nm之间，空间分辨率为1.3m。该数据集的伪彩色图和真实地物信息图像分别如图5a、图5b所示，包含9种城市土地覆盖类别。

(3)Salinas数据集

Salinas数据集是1998年由AVIRIS传感器采集到的美国加利福尼亚州萨利纳斯五巷的场景。图像由224个光谱波段和512×217像素组成，波段范围在360-2500nm之间，空间分辨率为3.7m。该数据集的伪彩色图和真实地物信息图像分别如图6a、图6b所示，包含16种代表不同的水果和蔬菜的标记类，在进行波段选择之前，去掉水分吸收的20个光谱波段，分别是108–112、154–167和224，最终总共使用204个波段。

B.搭建网络结构，对于编码器，融合了过完备表示和不完全表示的潜在表示的空间特征，过完备表示和不完备表示原理示意图如图3所示。表1显示了具体的网络结构，网络结构模型图如图2所示。

表1

C.网络参数设置为α＝1.0,λ＝1e-3，网络训练次数设置为50。为了量化评价所选波段子集的分类性能，采用支持向量机(SVM)来实现高光谱图像分类，其中SVM选择高斯径向基核函数，从每个类中随机选择10％的样本作为训练集对网络进行训练，而其余的样本作为测试集对网络的最终性能进行评价。为了减少随机选取带来的不稳定性，最后的结果是通过对10次单独运行进行平均得到的。

D.采用三个指标来衡量分类性能：总体精度(Overall Accuracy,OA)、平均分类精度(Average accuracy,AA)和一致性检验Kappa系数。

OA：将正确识别的数据量加起来，再除以数据总量。

AA：这种测量是通过平均所有类别的精度计算的。

Kappa系数：该系数评估预测与标签之间的一致性，它是通过考虑混淆矩阵中的所有元素来计算的。

E.对分类结果分析和评价

本发明提供的一种基于过完备深度低秩子空间聚类的高光谱波段选择方法(以下简称“过完备深度低秩子空间聚类”)在三组公开高光谱数据集的分类结果如表2-4所示，对应的分类结果图如附图4c、5c和6c所示。

本实验引入基于深度子空间聚类的无监督高光谱图像波段选择(以下简称“深度子空间聚类”)作为参考。

表2 Indian Pine数据集分类结果

表3 Pavia数据集分类结果

表4 Salinas数据集分类结果

根据分类结果，可以得到如下结论：

(1)在三个真实高光谱数据上分类结果表明，本发明选择出的波段子集都取得不错的分类精度，同时Kappa系数也较高，证明本发明可以选择适用于分类的波段子集。

(2)相较于深度子空间聚类，过完备深度低秩子空间聚类取得了更高的整体类别精度，在OA、AA和Kappa系数方面有更好的分类结果，证明了低秩约束的加入，有利于获得更加鲁棒的亲和力矩阵，可以有效提高子空间聚类的性能和确保准确选取信息波段子集。

本发明针对深度子空间聚类采用通用不完全表示的编码器模型提取空间特征有限，以及子空间聚类的性能有待进一步提高等问题，提供了一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法。通过引入过完备表示将空间特征映射到更高的空间维度，学习到的空间特征更加详细，同时确保子空间聚类能够应用于高光谱图像的非线性结构。此外，在自表达层之前融合了过完备表示和不完全表示的潜在表示的空间特征，能够提取更有意义和更丰富的光谱空间信息。同时在自表达层加入低秩约束，利用低秩表示获得更加鲁棒的亲和力矩阵来执行子空间聚类，提高子空间聚类的性能和确保准确选取信息波段子集。在三组公开高光谱数据集上的分类结果表明本发明提供的一种基于过完备深度低秩子空间聚类的高光谱波段选择方法的有效性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于过完备深度低秩子空间聚类的高光谱图像波段选择方法，其特征在于包括：

根据高光谱图像的特性构建以卷积自动编码器为基础的深度学习网络模型，其中该模型包括通用编码器、过完备编码器、自表达层、子空间聚类和解码器；

在自表达层加入低秩约束并初始化深度学习网络模型；

将高光谱波段图像和选择的波段子集数输入至该深度学习网络模型中，计算深度学习网络模型的损失函数，通过反向传播更新该模型参数直到达到最大训练次数停止训练，从而获得自表达系数矩阵；

根据自表达系数矩阵构造亲和矩阵，采用谱聚类方式得到聚类结果，根据该聚类结果获得高光谱图像每个类别中的平均波段；

将所述平均波段作为聚类中心，计算每个波段到聚类中心的距离，其中离聚类中心最近的波段为所选择的波段子集。

2.根据权利要求1所述的方法，其特征在于：所述通用编码器为不完全表示结构、其卷积层后设置最大池化层，所述过完备编码器为过完备表示结构、其卷积层后设置上采样层。

3.根据权利要求1所述的方法，其特征在于：采用深度学习网络模型的损失函数求解自表达系数矩阵和亲和力矩阵方式为：

设

为N×M像素和b波段的原始三维高光谱立方体，波段选择的目标是选择一个波段子集

编码器表示为一个函数z＝E(x；θ_e)，其中x为输入，θ_e为参数，z为潜在表示，解码器定义为

其中潜在表示z作为解码器的输入，利用均方误差作为卷积自动编码器的损失函数：

将自表达层嵌入到卷积自动编码器中，假设高光谱b个波段图像位于k个子空间并集S中，即S＝S₁∪S₂...∪S_k，表示在全空间S中，有k个子空间，维数为

并满足d₁+d₂+…+d_k＝b，则该假设表达式为：

Min||C||_p s.t Z＝ZC,diag(C)＝0

其中

表示编码器的输出或者潜在矩阵，

表示自表达系数矩阵，diag(C)＝0约束C对角元素为0；

在该假设表达式中加入L₂-范数，优化问题重写为：

其中λ是平衡系数，用来平衡两项，深度学习网络模型的损失函数为：

其中X是输入波段图像的张量形式，

表示重建的波段图像，α是自表达系数项的系数，通过模型训练得到自表达系数矩阵C；

由自表达系数矩阵构造亲和力矩阵为：

A＝|C|+|C|^T

其中A是相似性图。

4.根据权利要求3所述的方法，其特征在于：在自表达层加入低秩约束时将所述优化问题修改为：

rank(C)≤m

其中m(m<<b)是限制自表达系数矩阵C的最大可能秩的超参数，

用全连接的线性层

及其转置来代替自表达层C，自表达层看作是

形式的对称矩阵，该优化问题重写为：

将网络模型损失函数改为低秩约束下的网络模型损失函数为：

将亲和力矩阵改为低秩约束下的亲和力矩阵：

Images