CN103886333B - 遥感图像的主动谱聚类方法 - Google Patents

Abstract

本发明提供了一种遥感图像的主动谱聚类方法，首先，提取遥感图像特征并构建k‑NN图，利用k‑NN图进行遥感影像谱聚类；然后，主动选择出邻域标号最混乱的遥感图像，并对其与邻居间的边进行提问获得成对约束信息，采用成对约束信息对k‑NN图进行提纯，并基于提纯后的k‑NN图重新对遥感图像进行谱聚类。本发明方法降低了数据标记难度，对操作者专业知识无太高要求；显著提高了遥感图像聚类结果准确度和海量遥感图像的分析处理能力。

Description

遥感图像的主动谱聚类方法

技术领域

本发明属于遥感图像分析领域，特别涉及一种遥感图像的主动谱聚类方法。

背景技术

随着遥感技术发展，遥感图像在分辨率和数量都迅速增长，目前已积累了海量的高空间分辨率、高光谱分辨率的遥感图像数据。但是，一方面，对于这些海量遥感图像数据的图像解译工作量大；另一方面，由于图像分辨率提升，自动智能解译难度高。目前这些海量的遥感图像数据并没有得到有效的利用^[1]。如何从大量遥感图像数据中提取出有用的场景信息是遥感图像分析的重要任务和技术难题之一。

虽然监督分类方法能从遥感图像数据中有效获取遥感图像的场景信息，但这类方法需要大量的人工地物标记数据，而这些标记数据的获取一般都比较困难，需要耗费大量的人力物力。发展不需要标记数据的无监督分类方法（即聚类）是解决该问题的有效方法之一。而相对于监督分类结果，聚类结果往往不能满足图像分类要求，往往需要在聚类基础上加入少量的标记数据作为辅助信息，以半监督（Semi-Supervised）聚类方式来完成遥感图像分类。

为了选择能够更有效提高聚类效果的标记数据，可在半监督聚类基础上加入主动学习，形成主动聚类（Active Clustering）方式。目前的主动聚类算法大多聚类数目限制于两类^[3～4]、算法实现的复杂度太高^[5]、主动学习的对象只针对于边界点与稀疏点^[4]。

有关参考文献：

[1]D.Tuia and G.Camps-Valls,"Recent advances in remote sensing imageprocessing,"in Image Processing(ICIP),200916th IEEE International Conferenceon,pp.3705-3708,2009.

[2]C.Xiong,D.Johnson,and J.J.Corso,"Spectral active clustering viapurification of the k-nearest neighbor graph,"in Proc.of European Conferenceon Data Mining,2012.

[3]X.Wang and I.Davidson,"Active spectral clustering,"in Data Mining(ICDM),2010IEEE10th International Conference on,pp.561-568,2010.

[4]K.L.Wagstaff,M.desJardins,and Q.Xu,"Active constrained clusteringby examining spectral Eigenvectors,"in8th International Conference onDiscovery Science,Singapore,October8-11,2005.

[5]S.C.Hoi and R.Jin,"Active kernel learning,"in Proceedings ofthe25th international conference on Machine learning,pp.400-407,2008.

发明内容

本发明的目的是提供一种遥感图像的主动谱聚类方法，该方法能在没有任何可用标记数据的情况下，利用用户提供的“影像相似”和“影像不相似”的成对约束信息，提高遥感图像的聚类准确。

为解决上述技术问题，本发明采用如下的技术方案：

遥感图像的主动谱聚类方法，包括步骤：

步骤1，建立遥感图像数据集I的相似矩阵S，相似矩阵S中元素s_ij表示遥感图像数据集I中遥感图像i和遥感图像j的相似程度；

步骤2，以相似矩阵S为边的权重矩阵构建遥感图像数据集I的k-NN图，k-NN图中顶点表示遥感图像数据集I中的遥感图像，与顶点I_i相连的各顶点为顶点I_i邻域中邻居，即所有顶点中与顶点I_i相似程度最高的前k个顶点；

步骤3，根据k-NN图对遥感图像数据集I中遥感影像进行谱聚类；

步骤4，找出邻域中邻居类别分布最混乱的顶点，对该顶点与其邻域中邻居连接的边进行提问，操作者根据谱聚类结果进行回答，获得被提问边的成对约束信息，所述的成对约束信息包括“必须连接对”和“不可连接对”，“必须连接对”指被提问边所连接的两个顶点属于同一类别，“不可连接对”指被提问边所连接的两个顶点属于不同类别；

步骤5，根据成对约束信息删除k-NN图中“不可连接对”对应的被提问边，获得提纯后的k-NN图；

步骤6，对提纯后的k-NN图重新执行步骤3～5，直至操作者提出结束指令或k-NN图中所有边都被提问过且都为“必须连接对”。

步骤1进一步包括子步骤：

1.1采用词袋模型描述遥感图像数据集I中各遥感图像，并分别提取特征；

1.2采用直方图正交核获取遥感图像数据集I中任意两幅遥感图像的特征的相似程度，构建遥感图像数据集I的相似矩阵S。

所述的遥感图像的特征包括密集SIFT描述子与颜色描述子。

步骤2进一步包括子步骤：

2.1以遥感图像数据集I中各遥感图像为顶点、以相似矩阵S为边的权重矩阵W构建无向完全图，相似矩阵S中元素s_ij表示连接遥感图像i和遥感图像j的边的权重；

2.2对无向完全图中各顶点I_i，分别进行操作：在连接顶点I_i与其他顶点的所有边中，仅保留前k个最大权重对应的边，并在权重矩阵W中将删除边的权重更新为0，保留边的权重不变；对无向完全图中所有顶点完成上述操作后，即获得遥感图像数据集I的k-NN图及其权重矩阵W'。

步骤3中采用NJW谱聚类对遥感图像数据集I中遥感影像进行谱聚类。

步骤4中所述的找出邻域中邻居类别分布最混乱的顶点，具体为：

4.1对顶点I_i邻域中邻居的各聚类标号，分别求聚类标号对应的将所有聚类标号对应的求和，获得顶点I_i的熵，表示顶点I_i邻域中聚类标号为l的邻居数占所有邻居数的比例；

4.2获取k-NN图中所有顶点对应的熵，熵最大的顶点即为邻域中邻居类别分布最混乱的顶点。

为提高计算效率，子步骤4.1中进行熵计算的顶点I_pure指与邻域内邻居连接的边已被全部提问的顶点集。

为了更有效的利用成对约束信息，在执行步骤5前，基于已有的成对约束信息和新获得的成对约束信息，通过逻辑判断获得扩展后的成对约束信息，基于扩展后的成对约束信息执行步骤5。

与现有技术相比，本发明具有如下特点：

1、本发明方法以主动学习方式选择信息量最大的样本对作为辅助的监督信息进行聚类，能够快速选择出优质的标记数据并处理多类聚类的问题。同时，本发明采用样本对的相似性替代传统方法使用样本的类别进行监督信息，降低数据标记的难度，对操作者专业知识要求不高，且大大提高了海量遥感图像的分析处理能力。

2、在遥感图像谱聚类的基础上加入主动提问环节，根据用户回答获取成对约束信息，采用成对约束信息提纯k-NN图，以显著提高遥感图像聚类结果准确度。

3、在主动提问环节中，基于邻域内邻居类别分布最混乱的原则选择信息量最大的图像顶点，以该图像顶点与其邻域内邻居连接的边作为提问对象，可在较少的提问次数下得到较好结果，从而提高效率。

附图说明

图1为本发明的一种具体流程图；

图2为k-NN图构建示意图，其中，图（a）为无向完全图，图（b）为k-NN图；

图3为约束信息扩展示意图，图（a）表示已有的成对约束信息，图（b）表示加入新的成对约束信息，图（c）表示成对约束信息扩展结果；

图4为遥感影像聚类结果对比图，其中，图（a）为遥感图像原图；图（b）为遥感图像真实类别的标注图；图（c）为未加入成对约束信息的遥感影像聚类结果示意图；图（d）为本发明加入成对约束信息遥感影像主动聚类结果示意图。

具体实施方式

为了更清晰直观地表达本发明技术方案及技术效果，以下将结合图详细说明本发明的具体实施方式。

图1为本发明遥感图像的主动谱聚类方法的具体流程示意图：首先，提取遥感图像特征并构建k-NN图，利用k-NN图进行遥感影像谱聚类；然后，主动选择出邻域标号最混乱的遥感图像，并对其与邻居间的边进行提问获得成对约束信息，采用成对约束信息对k-NN图进行提纯，并基于提纯后的k-NN图进行遥感图像谱聚类，以逐步提高聚类准确性。

具体步骤如下：

步骤1，建立遥感图像的相似矩阵。

遥感图像的相似矩阵的建立属于本技术领域内的常规技术，为了便于理解，下面将提供建立遥感图像相似矩阵的一种具体实施方法。

要对遥感图像进行聚类，首先需要提取遥感图像的特征，采用提取的特征描述遥感图像；然后，根据遥感图像的特征来建立各遥感图像间的相似矩阵。本步骤以遥感图像的直方图向量作为特征来描述遥感图像，并计算遥感图像直方图向量间的距离，最终获得遥感图像间的相似矩阵。

对输入的包含n幅遥感图像的遥感图像数据集I＝{I₁,I₂,...,I_n}，为了有效描述遥感图像的场景信息，采用词袋（bag-of-words）模型描述各遥感图像。具体而言，分别提取各遥感图像的密集SIFT描述子与颜色描述子

遥感图像颜色描述子的提取包括步骤：

（1）从高分辨率遥感图像中提取密集重复的小图像块（patch）。下面以举例方式说明密集重复的小图像块的提取：例如一幅9×9格图片，采用3×3格窗口在该图片上截取小图像块，从左上角开始截取第一个小图像块后，右移一格再截取第二个小图像块；如此扫描整幅图，截取的所有图像块即为密集重复的小图像块。

（2）对各小图像块分别进行处理：对小图像的RGB三个通道分别计算各通道的像素值均值和像素值标准差，构建小图像对应的包含6个元素的向量。

（3）对各小图像对应的向量进行聚类，获得聚类中心，利用聚类中心分别对各小图像块编码，得到遥感图像的颜色分布直方图向量即颜色描述子。

密集SIFT描述子与颜色描述子均为直方图向量，为结合密集SIFT描述子与颜色描述子两种描述子的图像信息，将同一幅遥感图像的SIFT描述子与颜色描述子向量进行串接，获得一个新直方图向量，作为遥感图像特征

获得遥感图像特征h_i后，接下来需要构建遥感图像的相似矩阵以用于后续谱聚类。本具体实施方式中利用直方图正交核（HIK,histogram intersection kernel)来度量遥感图像特征间的相似程度，并采用遥感图像特征间的相似程度构建相似矩阵S：

式（1）中，M为遥感图像特征h_i的长度；h_i[m]和h_j[m]分别为遥感图像数据集I中第i幅遥感图像和第j幅遥感图像的特征向量中第m个元素值；s_ij为相似矩阵中第j行、第i列的元素，表示第i幅遥感图像和第j幅遥感图像的相似程度，s_ij∈[0,1]，s_ij为1时表示第i幅遥感图像和第j幅遥感图像完全相似，s_ij为0时表示第i幅遥感图像和第j幅遥感图像完全不相似。

步骤2，根据遥感图像的相似矩阵建立k-NN图。

将遥感图像数据集I中各遥感图像作为顶点，将步骤1获得的遥感图像的相似矩阵S作为邻接矩阵，即k-NN图中边的权重矩阵W，构建无向完全图。无向完全图中连接顶点I_i和顶点I_j的边的权重为s_ij。

对无向完全图中各顶点I_i，找出与顶点I_i前k个最相似的顶点，这k个顶点构成顶点I_i的邻域，仅保留顶点I_i与这些最相似顶点间的边，即在连接顶点I_i与其他顶点的所有边中，仅保留前k个最大权重对应的边，从而构建k-NN图G。在权重矩阵W中保留k-NN图G中边的权重、其余权重更新为0，则获得k-NN图的权重矩阵W'。这里k表示顶点邻域内邻居数目，本具体实施方式中k取30。

下面将以图2为例说明k-NN图的建立流程：

首先，k取2，顶点A、B、C、D、E分别代表遥感图像，图（a）为构建的无向完全图，各边的权重见图2（a）中所示；对顶点A，仅保留以顶点A为端点的边中前2个最大权重对应的边，即以A和B为端点的边以及以A和C为端点的边。对其他顶点逐一进行上述操作，最终获得图2（b）所示的k-NN图G。

步骤3，根据k-NN图G对遥感影像进行谱聚类。

本具体实施方式采用NJW谱聚类法，具体步骤如下：

3.1根据k-NN图G的权重矩阵W'构建归一化拉普拉斯（Laplacian）矩阵L：

式（2）中，D为度矩阵，为对角矩阵，D_ij为度矩阵D中第i行、第j列的元素，W'_ij为权重矩阵W'中第j行、第i列的元素，度矩阵D中对角线上各元素值为权重矩阵W'中对应行的元素之和。

3.2对归一化拉普拉斯矩阵进行特征分解，利用前c个最大特征值对应的特征向量组成矩阵U∈R^n×c，其中，R^n×c表示n×c维的实数空间；c指聚类中心数目，根据实际情况人为给出，本具体实施方式中，c=8。

3.3将矩阵U的行向量转换为单位向量，得到矩阵U′。U′中每一行可以看作描述对应的遥感图像，对矩阵U′进行k-means聚类则可以得到遥感图像的聚类结果。

步骤4，通过主动提问方式获得成对约束信息。

结合步骤3的聚类结果与k-NN图G，通过主动学习方式选择出能够有效提高聚类结果、包含信息量最大的遥感图像对，用于对用户提问，从而获得成对的约束信息。

本步骤是本发明提出的新型主动学习方法，采用提纯k-NN图G的思想来实现主动选择。本步骤核心思想是：由于谱聚类是在遥感图像的k-NN图G上进行的，为了得到更加准确的谱聚类结果，k-NN图G应该尽可能纯净。对于一个完全纯净的k-NN图来说，每一条边连接的两个顶点都应该属于同一类，即每个顶点邻域中邻居应该属于同一类。那么，要对k-NN图G进行提纯，需要做的工作就是把k-NN图G中的“错误边”去除。这里，“错误边”指连接了两个属于不同类别顶点的边。例如，连接两个不同类别顶点但权重比较大的边，在构建k-NN图的时候就有可能被保留下来，成为“错误边”。

在谱聚类前由于还没能得到遥感图像的真实聚类标号，无法直接将k-NN图中的“错误边”找出来。使用谱聚类得到的聚类标号，根据对完全纯净的k-NN图理解，通过完全纯净的k-NN图所得到的聚类结果应该也满足k-NN图的结构，即k-NN图中每一条边所连接的两个顶点的聚类标号相同。因此，k-NN图G中如果一条边所连接的两个顶点被分配到了不同的聚类簇时，这条边就有可能是“错误边”。寻找出最有可能为“错误边”的边，即不确定性最大的边，通过提问用户的方式进行确认，就能够将用户确认结果作为约束信息对k-NN图G进行提纯。

为了能够更准确地寻找出可能为“错误边”的边，这里使用顶点的不确定性作为主动学习的依据。

本步骤的具体实施方式如下：

首先，寻找出邻域中邻居聚类标号分布最混乱的顶点。

邻域中邻居聚类标号分布最混乱的顶点与其邻域中邻居顶点连接的边更有可能存在“错误边”。定义熵H(I_i)来描述顶点I_i邻域中邻居聚类标号分布的混乱程度：

式（3）中，表示遥感图像I_i邻域中聚类标号为l的邻居数占所有邻居数的比例，可描述邻域内各聚类标号出现的概率，为遥感图像I_i邻域内邻居顶点的集合，c_v为遥感图像I_i的邻居v的聚类标号，k为遥感图像I_i邻域中邻居数目，#{·}表示对应集合元素的个数。

对遥感图像I_i邻域中邻居的各聚类标号，分别求对应的然后将所有的求和，即为遥感图像I_i对应的熵H(I_i)。熵H(I_i)能直接描述遥感图像邻域中邻居的聚类标号分布的混乱程度，熵值越大表示对应遥感图像邻域中邻居聚类标号分布越混乱。那么，根据熵值找出邻域中邻居聚类标号分布最混乱的图像顶点

式（4），argmax{·}表示最大值对应的参数，这里表示找出使H(I_i)最大的遥感图像

还需要处理一种特殊情况：如果图像顶点与其邻域中邻居连接的所有边都已被提问过，证明这些边都是正确边（已被提问而仍被保留在k-NN图中的边，证明其不是“错误边”。那么该图像顶点的邻域已经是纯净的，再对其进行提问无法得到新的有效信息，故不再提问的考虑范围之内。为提高效率，寻找邻域中邻居聚类标号分布最混乱的图像顶点的公式应该改为：

式（5）中，I_pure指与邻域内邻居连接的所有边已经被全部提问的图像顶点的集合。

得到邻域内邻居聚类标号分布最混乱的图像顶点后，选择图像顶点与其邻域内所有邻居连接的边作为问题，对用户进行提问，其中，表示k-NN图G中顶点和顶点I_j之间存在边，即顶点I_j在顶点的邻域内。操作者根据谱聚类结果进行回答，根据操作者回答结果，即可将这些边转化为一系列的成对约束信息，成对约束信息指两幅遥感图像是否属于同一类别的信息。这里的成对约束信息具体包括两种：1）“必须连接对”（Must-Link）：指已确定边所连接的两个顶点属于同一类别；2）“不可连接对”（Cannot-Link）：指已确定边所连接的两个顶点属于不同类别。

步骤5，k-NN图提纯。

根据步骤4中得到的成对约束信息，去除k-NN图中连接不同类别图像的边，将连接同一类别图像的边的权重修改为1，重新构建提纯的k-NN图。

为了更有效地利用成对约束信息，可先对约束信息进行扩展。结合已有的约束信息与新获得的约束信息，通过简单的逻辑判断获得更多的成对约束信息。具体包括三种逻辑判断，下面将结合图3进行说明：

1）根据传递闭包思想，与同一顶点以“必须连接对”连接的顶点应该属于同一类别，可以将这些顶点构成“顶点群”，“顶点群”中顶点间应该都以“必须连接对”连接，见图3（a-1）、3（b-1）、3（c-1）。

2）若有新的约束信息“必须连接对”连接了两个分别来自不同“顶点群”的顶点，则这两个“顶点群”可以合并，合并后的“顶点群”内所有顶点间都以“必须连接对”连接，见图3（a-2）、3（b-2）、3（c-2）。

3）若有新的约束信息“不可连接对”连接了两个分别来自不同“顶点群”的顶点，则这两个“顶点群”属于不同类别，该两个“顶点群”内所有顶点间都以“不可连接对”连接，见图3（a-3）、3（b-3）、3（c-3）。

通过约束信息扩展，可以得到更多的约束信息。利用这些约束信息对k‐NN图直接进行提纯。将“不可连接对”对应的边从k‐NN图中去除。具体实现方法为：对相似矩阵进行修改，将“不可连接对”对应的相似程度s_ij置为最小，即0，将“必须连接对”对应的相似程度s_ij置为最大，即1。

步骤6，停止。

采用成对约束信息扩展后，重新执行步骤2～5，直至用户提出停止指令或k-NN图已完全纯净，k-NN图已完全纯净指k-NN图中所有边均以“必须连接对”连接且I＝I_pure。

下面将结合图4说明本发明的有益效果。

图4（a）为从GeoEye-1获取的北京通州区马驹桥镇的遥感图像原图。将其按网格切割为1600幅较小的遥感图像作为待聚类遥感图像数据，图4（b）为这些待聚类遥感图像数据的真实类别标记，不同颜色代表对应的遥感图像属于不同类别。图4（c）为未加入成对约束信息直接对遥感影像进行分类的结果，图4（d）为本发明采用成对约束信息的遥感影像聚类结果。从图中可以看出，图4（c）虽然能将较多局部相同的图像块聚类为同一类别，但存在错分现象，如农田对应的图像被聚类至不同类别。而采用本发明方法的聚类结果中，见图4（d），遥感图像中不同的场景都能正确地聚类到不同类别。

Claims (5)

1.遥感图像的主动谱聚类方法，其特征在于，包括步骤：

步骤1，建立遥感图像数据集I的相似矩阵S，相似矩阵S中元素s_ij表示遥感图像数据集I中遥感图像i和遥感图像j的相似程度；

步骤2，以相似矩阵S为边的权重矩阵构建遥感图像数据集I的k-NN图，k-NN图中顶点表示遥感图像数据集I中的遥感图像，与顶点I_i相连的各顶点为顶点I_i邻域中邻居，即所有顶点中与顶点I_i相似程度最高的前k个顶点；

步骤2进一步包括子步骤：

2.1以遥感图像数据集I中各遥感图像为顶点、以相似矩阵S为边的权重矩阵W构建无向完全图，相似矩阵S中元素s_ij表示连接遥感图像i和遥感图像j的边的权重；

2.2对无向完全图中各顶点I_i，分别进行操作：在连接顶点I_i与其他顶点的所有边中，仅保留前k个最大权重对应的边，并在权重矩阵W中将删除边的权重更新为0，保留边的权重不变；对无向完全图中所有顶点完成上述操作后，即获得遥感图像数据集I的k-NN图及其权重矩阵W'；

步骤3，根据k-NN图对遥感图像数据集I中遥感影像进行谱聚类；

步骤4，找出邻域中邻居类别分布最混乱的顶点，对该顶点与其邻域中邻居连接的边进行提问，操作者根据谱聚类结果进行回答，获得被提问边的成对约束信息，所述的成对约束信息包括必须连接对和不可连接对，必须连接对指被提问边所连接的两个顶点属于同一类别，不可连接对指被提问边所连接的两个顶点属于不同类别；

步骤4中所述的找出邻域中邻居类别分布最混乱的顶点，具体为：

4.1对顶点I_i邻域中邻居的各聚类标号，分别求聚类标号对应的将所有聚类标号对应的求和，获得顶点I_i的熵，表示顶点I_i邻域中聚类标号为l的邻居数占所有邻居数的比例；

4.2获取k-NN图中所有顶点对应的熵，熵最大的顶点即为邻域中邻居类别分布最混乱的顶点；

子步骤4.1中进行熵计算的顶点I_pure指与邻域内邻居连接的边已被全部提问的顶点集；

步骤5，根据成对约束信息删除k-NN图中不可连接对对应的被提问边，获得提纯后的k-NN图；

步骤6，对提纯后的k-NN图重新执行步骤3～5，直至操作者提出结束指令或k-NN图中所有边都被提问过且都为必须连接对。

2.如权利要求1所述的遥感图像的主动谱聚类方法，其特征在于：

步骤1进一步包括子步骤：

1.1采用词袋模型描述遥感图像数据集I中各遥感图像，并分别提取特征；

1.2采用直方图正交核获取遥感图像数据集I中任意两幅遥感图像的特征的相似程度，构建遥感图像数据集I的相似矩阵S。

3.如权利要求2所述的遥感图像的主动谱聚类方法，其特征在于：

所述的遥感图像的特征包括密集SIFT描述子与颜色描述子。

4.如权利要求1所述的遥感图像的主动谱聚类方法，其特征在于：

步骤3中采用NJW谱聚类对遥感图像数据集I中遥感影像进行谱聚类。

5.如权利要求1所述的遥感图像的主动谱聚类方法，其特征在于：

在执行步骤5前，基于已有的成对约束信息和新获得的成对约束信息，通过逻辑判断获得扩展后的成对约束信息，基于扩展后的成对约束信息执行步骤5。