CN109858531B - 一种基于图的高光谱遥感图像快速聚类算法 - Google Patents

Abstract

本发明涉及高光谱遥感和机器学习技术领域，具体涉及一种适用于高光谱遥感图像的基于图的快速聚类算法。利用空间平滑技术挖掘出高光谱图像中的空间信息，构建锚点图加速聚类过程，增加非负松弛约束直接得到最终的聚类索引矩阵，而不用借助于其他的聚类算法，有效解决了传统基于图方法无法处理大规模高光谱遥感图像聚类问题。

Description

一种基于图的高光谱遥感图像快速聚类算法

技术领域

本发明涉及高光谱遥感和机器学习技术领域，具体涉及一种适用于大规模高光谱遥感图像的基于图的快速聚类算法。

背景技术

高光谱遥感图像是利用成像和光谱技术获取的，它最主要的特点是图谱合一，在获取地面图像空间信息的同时，得到每个地物的连续光谱信息，为监测地球表面提供了丰富的光谱和空间信息。因此，高光谱遥感图像在精细农业、矿产资源探测、环境监测和海洋调查等领域得到了广泛的应用。由于人工标注价格昂贵，标注质量参差不齐，因此在无标签的情况下对高光谱遥感图像聚类成为非常有价值和潜力的方向，近年来引起了广泛的关注。

高光谱遥感图像聚类的目的是将给定的图像分割成组，使同一组中的像元尽可能相似，而分配给不同组的像元则不同。随着成像光谱技术的迅猛发展，目前需要处理的高光谱遥感图像呈现维度高和规模大的特性，维度高指光谱特征波段多，可以为每个像元提供几十个，数百个甚至上千个波段，规模大指空间像元多，每个波段的像元个数达到几万，几十万甚至几百万，因此实现高光谱遥感图像聚类是一个非常具有挑战性的任务。另外，像元在空间位置上是具有一定联系的，空间上距离很近的像元在很大概率上属于同一类。因此，对高光谱遥感图像聚类需要考虑到像元周围的局部空间结构。

基于图的聚类算法是近年来机器学习领域的热点之一，由于其可以很好的学习高维数据之间的相似关系，同时可以很好地处理“非簇状”数据，受到了广泛关注，具有很好的应用前景。但是基于图的聚类算法计算复杂度高，难以在大规模高光谱遥感数据上应用。此类算法的高计算复杂度主要来自两个方面：相似性矩阵的构造和拉普拉斯矩阵的特征值分解。因此，在考虑像元局部空间结构基础上，研究适用于大规模高光谱遥感数据的快速聚类算法十分有必要。

发明内容

要解决的技术问题

本发明考虑到传统的基于图的聚类方法由于计算平台的限制，无法处理大规模高光谱图像数据，并且高光谱图像中存在的奇异点及噪声也会对高光谱图像处理带来一系列的问题。本发明提出一种基于图的高光谱遥感图像快速聚类算法。

技术方案

一种基于图的高光谱遥感图像快速聚类算法，其特征在于步骤如下：

步骤1：利用空间平滑方法挖掘高光谱遥感图像的空间信息

采用空间平滑方法对高光谱遥感图像的像元x_ij进行处理，其中x_ij的值取窗口内的平均值或者中间值来重构高光谱图像，得到平滑后的图像；

步骤2：利用相似度自学习技术构建锚点图

采用k均值算法对数据点X聚类，所述的数据点

表示空间平滑之后的高光谱遥感数据矩阵，n表示空间像元的个数，d表示每个像元的波段数；m个聚类中心

即为产生的锚点；

通过相似度自学习方法得到数据点X和锚点A之间的相似性矩阵，其模型如下：

其中，z_ij为Z中的第i行第j列元素，

是Z的第i行，γ是规则化参数；令

是一个向量，它的第j个元素为d_ij，因此，(2)式可以写成如下向量形式：

z_i具有稀疏特性，并且有k个非零元素，

式的解为：

计算相似矩阵W：

W＝ZΛ^-1Z^T (6)

其中，对角矩阵

定义为

步骤3：基于非负约束锚点图的快速聚类

根据步骤2得到的相似矩阵W计算其对应的拉普拉斯矩阵L＝D-W，度矩阵

是一个对角矩阵，对角线上的元素为

结合非负松弛正交约束建立如下利用非负松弛方法的灵活的基于图的聚类模型：

由(6)式可知，矩阵W可以写成W＝BB^T，其中

此外，相似矩阵W是自动归一化的，即度矩阵D＝I，其中，I是一个单位矩阵，因此L＝I-BB^T；采用如下增强拉格朗日乘法器(Augmented Lagrangian Multiplier，ALM)算法来求解该问题；

引入变量G，G为逼近F的替代变量，式(10)可以写成如下形式：

该问题可以转换为求解如下问题：

从而可以采用迭代优化算法来进行求解：

固定G求F，式(12)变成：

采用ALM算法将式(13)转换成如下形式：

因此，式(13)可以简化为如下模型：

其中，M＝(1-μ)G-BB^TG+Λ；设M的奇异值分解是M＝UΛV^T，其中

因此，有：

其中，

λ_ii和Φ_ii分别是矩阵Λ和Φ的第(i，i)个元素；

注意：ΦΦ^T＝I_K，I_K是一个K×K的单位矩阵，所以-1≤Φ_ii≤1；另一方面，λ_ii≥0，因为λ_ii是矩阵M的奇异值；因此Tr(F^TM)＝∑_iλ_iiΦ_ii≥-∑_iλ_ii，当Φ_ii＝-1(1≤i≤K)时，等式成立；也就是说，当Φ＝[-I_K，0]时，Tr(F^TM)达到了最小；又有Φ＝V^TF^TU，因此，式(14)的最优解为：

F＝UΦ^TV^T＝U[-I_K，0]V^T (16)

固定F求G，式(12)变成：

其中，

注意：

式(17)可以写成如下形式：

其中，

对于不同的G_ij，上述问题是独立的的，因此对于每一个G_ij，可以求解如下问题：

如果H_ij≥0，G_ij的优化解等于H_ij，如果H_ij＜0，G_ij的优化解等于0；

第i个数据点x_i按照l_k＝max_kG_ik被分配聚类标签l_i。

步骤1中的空间平滑方法采用的窗口为3×3、5×5或者7×7。

有益效果

本发明提出的一种适用于高光谱遥感图像的基于图的快速聚类算法。利用空间平滑技术挖掘出高光谱图像中的空间信息，构建锚点图加速聚类过程，增加非负松弛约束直接得到最终的聚类索引矩阵，而不用借助于其他的聚类算法，有效解决了传统基于图方法无法处理大规模高光谱遥感图像聚类问题。有益效果如下：

1、通过空间平滑技术挖掘出了更多的空间信息，为后续构建锚点图及聚类分析打造了较好的平台。

2、根据相似度自学习技术构造锚点图Z，Z的参数少，稀疏性强，大大降低了计算复杂度。

3、对聚类索引矩阵F增加非负松弛约束，可以直接获得聚类索引，而不需要借用K均值或其他的聚类手段。

4、整个模型的计算复杂度为O(ndm+nK²+nKc+K³)，而传统的基于图的聚类算法的计算复杂度为O(n²d+n³)或者O(n²d+n²k)，其中，n，d，m，k，c分别是样本的数量，维度，锚点数，类别数以及近邻点个数。由于n》》m，n》》k，n》》c，因此，计算复杂度得到了明显的降低。

附图说明

图1为高光谱遥感图像的灰度图

图2为本发明考虑的高光谱遥感图像空间信息挖掘模型

图3为本发明由1000个原始数据点和100个锚点产生的锚点图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明设计了一种基于图的大规模高光谱遥感图像快速聚类算法，首先利用空间平滑技术挖掘高光谱遥感图像的空间信息，然后利用相似度自学习技术构建锚点图，基于锚点图实现快速聚类。其具体步骤如下：

(1)高光谱遥感图像空间信息挖掘：根据高光谱图像的空间分布特点，即相近的数据点属于同一类的概率较大，利用空间近邻像元对中心像元进行重构，可以增大同类像元间的相似性以及异类像元间的差异性。有利于获取更为有效的鉴别特征，从而更好地实现了像元间的相似性度量。

(2)结合高光谱图像空间信息的锚点图的构造：利用步骤(1)获得的平滑后的图像，采用k均值选点方式从空间平滑之后的高光谱遥感数据中选取少于原始数据点个数的锚点，并根据相似度自学习技术构造锚点图Z，得到的Z。构造Z的计算复杂度为O(ndm)，而传统相似度矩阵的构建需要O(n²d)的计算复杂度。由获得的锚点图Z可得到对应的相似矩阵，该相似矩阵W是一个双随机矩阵，并且具有对称性，自动标准化特点。

(3)基于非负松弛约束灵活图的聚类：对聚类索引矩阵F增加非负松弛约束，采用增强拉格朗日乘法器求解该模型，可以直接获得聚类索引，而不需要借用k均值或其他的聚类手段。

具体实施例：

1、高光谱遥感图像空间信息挖掘

高光谱遥感图像每一个波段都是一张图像，图1是由Indian数据库的灰度图。

表示第d个波段的位于第i行第j列的像元，以3×3窗口为例，采用图2的空间平滑技术对像元x_ij处理。

x_ij的值可以取窗口内的平均值(即该窗口内9个像素值的平均值替换窗口内中心点的像素值)或者中间值(即将该窗口内9个像素值从小到大排列，取第5个值替换窗口内中心点的像素值)来重构高光谱图像。窗口的大小可以根据高光谱遥感图像的空间大小调整，比如为5×5或者7×7。利用空间近邻像元对中心像元进行重构，可以增大同类像元间的相似性以及异类像元间的差异性，获得了更为有效的鉴别特征，从而更好地实现了像元间的相似性度量。

2、基于相似度自学习技术的锚点图构造

表示空间平滑之后的高光谱遥感数据矩阵，n表示空间像元的个数，d表示每个像元的波段数。锚点选取方法采用k均值算法对X聚类，m个聚类中心

即为产生的锚点。图3显示了利用二环人造数据构建的锚点图，原始数据点包含1000个样本点。锚点是利用k均值算法是从原始数据中选取100个锚点。

数据点X和锚点A之间的相似性矩阵可以通过相似度自学习技术得到，其模型如下：

其中，z_ij为Z中的第i行第j列元素，

是Z的第i行，γ是规则化参数。令

是一个向量，它的第j个元素为d_ij，因此，(2)式可以写成如下向量形式：

z_i具有稀疏特性，并且有k个非零元素，因此，学习到的Z是稀疏的，可以大大降低后续处理过程的复杂度。参数γ可以通过计算得到

(4)式的解为：

因此，求矩阵Z的计算复杂度为O(ndm)。

相似矩阵W可以通过下式进行计算：

W＝ZΛ^-1Z^T (6)

其中，对角矩阵

定义为

而传统相似度矩阵W的构建需要的计算复杂度为O(n²d)。

3、基于非负约束锚点图的快速聚类

在图论中，根据步骤2得到的相似矩阵W可以计算其对应的拉普拉斯矩阵L＝D-W，度矩阵

是一个对角矩阵，对角线上的元素为

传统基于图的聚类方法的目标函数为：

其中，

是聚类索引矩阵，c是类别数。由于F被约束为离散值，使式(7)难以求解，一个已知的求解方法是将F由离散值松弛为连续值。但是，计算得到的F有混合标记，可能严重偏离了真实解，并且必须借用其他聚类手段如k均值聚类求得最终解。

为了避免该局限性，本发明提出了一种新的更加准确的松弛方法。由于F是非负矩阵，一个更加准确的松弛条件是对F增加一个非负约束。

F^TF＝I，F≥0 (8)

定理1：如果矩阵F同时满足正交约束F^TF＝I以及非负约束F≥0，那么矩阵F的每一行中只有一个元素是正的，并且其他元素为0，因此F非常接近于理想的聚类索引矩阵。理由如下：

证明：f_i表示矩阵F的第i列，f_j(j≠i)表示F的任意一列，从正交约束F^TF＝I，可以得到：

由于F≥0，f_i和f_j的每一个元素都是非负的。因此，对于每一个r有f_rif_rj＝0。假设f_i中的第r个元素是正的，那么f_j中对应的第r个元素一定是0。

从定理1可以得出如下结论，如果矩阵F同时满足正交约束以及非负约束，那么获得的F可以直接用于分配数据点的标签。因此，本发明结合非负松弛正交约束建立如下利用非负松弛方法的灵活的基于图的聚类模型：

由(6)式可知，矩阵W可以写成W＝BB^T，其中

此外，相似矩阵W是自动归一化的，即度矩阵D＝I，其中，I是一个单位矩阵，因此L＝I-BB^T。我们采用如下增强拉格朗日乘法器(Augmented Lagrangian Multiplier，ALM)算法来求解该问题。

引入变量G，G为逼近F的替代变量，式(10)可以写成如下形式：

该问题可以转换为求解如下问题：

从而可以采用迭代优化算法来进行求解：

固定G求F，式(12)变成：

采用ALM算法将式(13)转换成如下形式：

因此，式(13)可以简化为如下模型：

其中，M＝(1-μ)G-BB^TG+Λ。设M的奇异值分解是M＝UΛV^T，其中

因此，有：

其中，

λ_ii和Φ_ii分别是矩阵Λ和Φ的第(i，i)个元素。

注意：ΦΦ^T＝I_K，I_K是一个K×K的单位矩阵，所以-1≤Φ_ii≤1。另一方面，λ_ii≥0，因为λ_ii是矩阵M的奇异值。因此Tr(F^TM)＝∑_iλ_iiΦ_ii≥-∑_iλ_ii，当Φ_ii＝-1(1≤i≤K)时，等式成立。也就是说，当Φ＝[-I_K，0]时，Tr(F^TM)达到了最小。又有Φ＝V^TF^TU，因此，式(14)的最优解为：

F＝UΦ^TV^T＝U[-I_K，0]V^T (16)

固定F求G，式(12)变成：

其中，

注意：

式(17)可以写成如下形式：

其中，

对于不同的G_ij，上述问题是独立的的，因此对于每一个G_ij，可以求解如下问题：

如果H_ij≥0，G_ij的优化解等于H_ij，如果H_ij＜0，G_ij的优化解等于0。

正如前面所述，G的解接近于理想的聚类索引矩阵，可以被直接用于分配数据点的聚类标签。第i个数据点x_i按照l_k＝max_kG_ik被分配聚类标签l_i。

整个模型的计算复杂度为O(ndm+nK²+nKc+K³)，而传统的基于图的聚类算法的计算复杂度为O(n²d+n³)或者O(n²d+n²k)，其中，n，d，m，k，c分别是样本的数量，维度，锚点数，类别数以及近邻点个数。

Claims (2)

1.一种基于图的高光谱遥感图像快速聚类算法，其特征在于步骤如下：

步骤1：利用空间平滑方法挖掘高光谱遥感图像的空间信息

采用空间平滑方法对高光谱遥感图像的像元x_ij进行处理，其中x_ij的值取窗口内的平均值或者中间值来重构高光谱图像，得到平滑后的图像；

步骤2：利用相似度自学习技术构建锚点图

采用k均值算法对数据点X聚类，所述的数据点

表示空间平滑之后的高光谱遥感数据矩阵，n表示空间像元的个数，d表示每个像元的波段数；m个聚类中心

即为产生的锚点；

通过相似度自学习方法得到数据点X和锚点A之间的相似性矩阵Z，其模型如下：

其中，z_ij为Z中的第i行第j列元素，

是Z的第i行，γ是规则化参数；令

是一个向量，它的第j个元素为d_i,j，因此，(2)式可以写成如下向量形式：

z_i具有稀疏特性，并且有k个非零元素，

(4)式的解为：

计算相似矩阵W：

W＝2Λ^-1Z^T (6)

其中，对角矩阵

定义为

步骤3：基于非负约束锚点图的快速聚类

根据步骤2得到的相似矩阵W计算其对应的拉普拉斯矩阵L=D-W，度矩阵

是一个对角矩阵，对角线上的元素为

结合非负松弛正交约束建立如下利用非负松弛方法的灵活的基于图的聚类模型：

由(6)式可知，矩阵W可以写成W=BB^T，其中

此外，相似矩阵W是自动归一化的，即度矩阵D＝I，其中，I是一个单位矩阵，因此L＝I-BB^T；采用如下增强拉格朗日乘法器算法来求解公式(10)问题；

引入变量G，G为逼近F的替代变量，式(10)可以写成如下形式：

公式(11)可以转换为求解如下问题：

从而可以采用迭代优化算法来进行求解：

固定G求F，式(12)变成：

采用ALM算法将式(13)转换成如下形式：

因此，式(13)可以简化为如下模型：

其中，M＝(1-μ)G-BB^TG+Λ；设M的奇异值分解是M＝UΛV^T，其中

因此，有：

其中，

λ_ii和Φ_ii分别是矩阵Λ和Φ的第(i，j)个元素；

注意：ΦΦ^T＝I_K，I_K是一个K×K的单位矩阵，所以-1≤Φ_ii≤1；另一方面，λ_ii≥0，因为λ_ii是矩阵M的奇异值；因此Tr(F^TM)＝∑_iλ_iiΦ_ii≥-∑_iλ_ii，当Φ_ii＝-1，1≤i≤K时，等式成立；也就是说，当Φ＝[-I_K，0]时，Tr(F^TM)达到了最小；又有Φ＝V^TF^TU，因此，式(14)的最优解为：

F＝UΦ^TV^T＝U[-I_K，0]V^T (16)

固定F求G，式(12)变成：

其中，

注意：

式(17)可以写成如下形式：

其中，

对于不同的G_ij，公式(18)是独立的，因此对于每一个G_ij，可以求解如下问题：

如果H_ij≥0，G_ij的优化解等于H_ij，如果H_ij＜0，G_ij的优化解等于0；

第i个数据点x_i按照l_k=max_kG_ik被分配聚类标签l_i。

2.根据权利要求1所述的一种基于图的高光谱遥感图像快速聚类算法，其特征在于步骤1中的空间平滑方法采用的窗口为3×3、5×5或者7×7。

Images