CN102930533A - 一种基于改进k-均值聚类的半监督高光谱影像降维方法 - Google Patents

Abstract

本发明公开了一种基于改进K-均值的半监督高光谱影像降维方法，包括以下步骤：1)选择需进行降维的高光谱影像及其典型地物光谱；2)利用相似性非监督法对影像进行波段选择，确定取代K-均值初始聚类中心的波段；3)将影像的典型地物光谱输入到K-均值，计算各波段之间的距离，将各波段分配到离其最近的聚类中心；4)以重新计算后的各聚类中心代替原指定的初始聚类中心；5)计算各波段与当前聚类中心的距离，将波段分配至离其最近的聚类中心；6)不断重复4)和5)，直到所有波段所属的聚类中心不再变动，得到降维特征数据；7)计算此时的类间与类内距离之比。本发明的方法具有复杂度低、适应度高等特点。

Description

一种基于改进K-均值聚类的半监督高光谱影像降维方法

技术领域

本发明属于高光谱遥感图像处理技术领域，具体涉及一种基于改进K-均值聚类的半监督高光谱影像降维方法。

背景技术

高光谱遥感(Hyperspectral Remote Sensing)是指利用很多窄的电磁波波段获取物体有关数据的技术，它是20世纪最后20年人类在对地观测方面取得的重大技术突破之一，也是当前及今后几十年内的遥感前沿技术。与常规多光谱遥感相比，高光谱数据具有数据量大、波段很多很窄、波段相关性强、信息冗余多、图谱一体化等特征。但正是其海量数据和高维特征给高光谱数据的传输和存储都带来了较大的困难，同时也对传统的遥感图像数据处理技术提出了新的挑战。所以，对高光谱数据的快速处理和充分挖掘一直是困扰人们的一个问题。面对高光谱数十、数百个波段的数据，在提高数据处理效率的同时；如何有效利用、提取、分析感兴趣的最大信息，已成为有待研究的新课题。

针对高光谱的高维、海量信息，必须对其进行“降维”操作，以提高数据处理效率、有效利用高光谱的最大信息。高光谱“降维”为高光谱影像分析提供了减少数据量、降低空间复杂度的方法，主要有两种方法：即波段选择和特征提取。波段选择即从众多波段中选择感兴趣的若干波段，或选择信息量大、相关性小的若干波段，虽然该方法较好地保留了原始图像数据的信息，然而由于剔除了大部分波段，不可避免地损失了部分高光谱数据及细节信息；特征提取则采取一个线性或者非线性的特征提取器或者转换方程，将高维的空间投影到一个低维的空间，与波段选择相比，特征提取建立在各光谱波段间的重新组合和优化的基础之上，使类别间的可分性更大，因而得到了广泛的应用。

聚类分析实质上是特征提取的一种算法，它根据数据本身的特性将相似的数据归类；因此，该类算法在处理遥感数据时，也可以把数据分成若干个聚类，其中有些聚类包含了数据的重要特征。K-均值算法作为最早提出且应用广泛的聚类算法，具有简单、可伸缩性和效率高等优点，已广泛应用于数据挖掘、机器学习和模式识别等领域。K-均值算法的基本思想为：对于一个给定的包含L个对象的遥感数据，以及一个事先给定的聚类个数k，该算法利用一定的划分准则函数，通过一个迭代过程可以将数据划分为k个组，其中k≤n，这样每一组代表一个聚类，划分后的聚类符合聚类算法的原则：即同一类中的个体有较大的相似性，不同类的个体具有较大的差异性。

假定X＝{x_i},i＝1,...,L为L维遥感影像数据集，该数据将被分割成k个聚类中心，C＝{c_k,k＝1,...,K}。K-均值算法通过寻找一个使不同波段与聚类中心之间距离的平方差最小，实现分组的目的。设μ_k为聚类中心c_k的均值，则μ_k与聚类c_k中所有波段的距离平方差可以定义为：

$J\left(c_k\right)=\underset{x_i\∈c_k}{\mathrm{\Σ}}{\left|\right|x_i-{\mathrm{\μ}}_k\left|\right|}^2$

K-均值的目标是最小化所有聚类的平方差之和，即

$J\left(C\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{x_i\∈c_k}{\mathrm{\Σ}}{\left|\right|x_i-{\mathrm{\μ}}_k\left|\right|}^2$

上式的目标最小化函数就是著名的NP难题(即使当k=2时)，因此，K-均值作为一个贪心算法，只能收敛到局部最小；尽管最近的研究已经证明当聚类能够较好地区分开时该算法可以收敛到全局最优。K-均值算法为了减少平方差，需要事先指定k个初始聚类中心，并且每个中心都指定了其模式；因此，随着聚类个数k的增加(当k=L时J(C)=0)，平方差也将随之降低，直到聚类k达到一定数目时，平方差也将达到最小。该算法的主要步骤可以概括如下(如图1所示)：

1)初始聚类中心的选择，即确定最初类别数和类别中心

一般选择前k个波段作为初始聚类中心，也可以利用其他方法进行选择；

2)在第k次迭代中，计算各个波段与初始聚类中心的距离，将其归入到距离其最近的类别；对于所有的i≠j,i＝1,2,...,k,j＝1,2,...,k，如果 $\left|\right|X-c_j^{\left(k\right)}\left|\right|<\left|\right|X-c_i^{\left(k\right)}\left|\right|,$ 则

其中

是以为中心的类，i和j分别为聚类中心的标号；

3)由上一步得到

的新聚类中心

$c_J^{(k+1)}=\frac{1}{N}\underset{X\&Element;C_j^{\left(k\right)}}{\mathrm{\&Sigma;}}X$

其中，Nj为

聚类中的波段个数。

符合使J(C)最小的原则；

4)计算新的聚类中心，以计算后的新聚类中心代替原来指定的初始聚类中心；

5)不断重复步骤2)和3)，直到所有波段所属的聚类中心不再变动，迭代结束。

K-均值算法有三个需要用户自定义的参数：聚类个数k、初始聚类中心和距离判别函数；其中最重要的参数为聚类个数和初始聚类中心。一般来说，K-均值算法的运行与k值的大小无关，实验中一般选择符合实际情况的k值。关于初始聚类中心问题，不同的初始聚类中心会导致不同的最终聚类结果，因为K-均值算法一般情况下会收敛到局部最优。一个克服局部最优的方法是，选择不同的初始聚类中心，重复运行该算法k次，最终选择能够使平方差最小的那组结果。关于距离测度问题，一般情况下选择欧式距离测度计算各个波段与聚类中心之间的距离，因此该算法得到的是球状的聚类结果。同时，也可以利用其他不同的距离测度函数，如城市街区距离(Cityblock)、马氏距离(Mahalanobis)、闵氏距离(Minkowski)、相关系数(Correlation Coefficients)、光谱角度距离(SAM)等等。

虽然K-均值算法得到了广泛的应用，然而该算法却存在以下问题：1)初始聚类中心问题。对初始聚类中心十分敏感，不同的初始聚类中心可能导致不同的结果；2)聚类个数问题。需要预先指定聚类的个数k，当无法获得数据的先验知识时，无法预测该值的具体大小；3)聚类中心计算问题。在选择聚类中心时使用简单平均的方法，没有区分含有不同信息量的不同波段的重要性差异。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种基于改进K-均值聚类的半监督高光谱影像降维方法，能够提高降维效果，解决信息丢失问题。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于改进K-均值聚类的半监督高光谱影像降维方法，包括以下步骤：

步骤1，选择需进行降维的高光谱影像及其典型地物光谱，人工设定需降维的聚类中心个数k的值，所述k的值小于影像维数；

步骤2，利用相似性非监督算法对影像进行波段选择，确定取代K-均值初始聚类中心的波段；

步骤3，将影像的典型地物光谱数据输入到K-均值算法，计算各波段之间的距离，将各波段分配到离其最近的聚类中心；

步骤4，一旦所有波段分配完毕，以重新计算后的各聚类中心代替原指定的初始聚类中心；

步骤5，计算各波段与当前聚类中心的距离，将波段分配至离其最近的聚类中心；

步骤6，不断重复步骤4和步骤5，直到所有波段所属的聚类中心不再变动，得到降维特征数据；

步骤7，计算此时类间距离与类内距离之比RICD。

进一步地，还包括步骤8：多次重复所述步骤1至步骤7，每次设定的k值均不同，得到不同k值下的RICD值；

步骤9：以k值为横坐标，RICD的值为纵坐标得到一条曲线，根据曲线的突变特征，曲线上出现拐点的位置最有可能是k的取值，根据虚拟维数法得到最优的k值。

进一步地，所述步骤2中，利用相似性非监督算法对影像进行波段选择包括如下步骤：

步骤1)，选择一个L维度的大小为M×N的影像数据；

步骤2)，选择B₁和B₂作为初始的波段对，并形成一个波段子集Φ＝{B₁,B₂}；步骤3)，选择与现有波段子集最不相似的波段B₃，得到更新后的波段子集Φ'＝Φ∪{B₃}；

步骤4)，重复上一步骤，直到得到k个具体波段。

进一步地，所述步骤3)中利用线性预测作为波段相似性度量的标准，步骤如下：步骤A)，假定在集合Φ中有N个像元的B₁和B₂两个波段，利用B₁和B₂对与B₁和B₂最不同的一个波段B进行估计：

a₀+α₁B₁+a₂B₂＝B'

其中B'为B₁和B₂对B的估计值或者线性预测值，a₀、α₁和a₂为能够最小化线性预测误差e＝||B-B'||的参数；

步骤B)，设参数向量为a＝(a₀,α₁,a₂)^T，采用最小二乘法求解，

a＝(X^TX)^-1X^Ty

式中，X为N×3的矩阵，其第一行值为1，第二行包括B₁中所有N个像元，第三行包括B₂中所有像元；y为N×1的向量，它包括了B的所有像元；

步骤C)，将能够使线性预测误差e最大的波段(即与B₁和B₂最不相似的波段)B，选作B₃放入集合Φ中。

进一步地，所述步骤5中，计算各波段与当前聚类中心的距离采用以下计算公式：

$d^2(x_i,{\stackrel{\&OverBar;}{x}}^{\left(k\right)})=\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{(x_{\mathrm{ij}},{\stackrel{\&OverBar;}{x}}_j^{\left(k\right)})}^2$

式中，

为波段x_i与聚类中心

的距离，K为影像聚类中心的个数，x_ij为第j个聚类中心中的第i个波段，为第j个聚类中心，j为聚类中心的标号，范围为1到K之间。

进一步地，所述步骤7中，类间距离与类内距离之比采用以下计算公式：

RICD＝d_intra/d_inter

其中为类间平均距离，x_j为第j个聚类中心；

为类内平均距离，x_ij为第j个聚类中心中的第i个波段，

为第j个聚类的位置中心。

有益效果：本发明根据非相似性波段选择算法得到的波段数据来代替传统K-均值算法中随机生成的初始聚类中心，改变了K-均值算法对初始聚类中心敏感的缺点；传统K-均值算法在聚类时利用了全部的数据，而改进算法仅仅利用了典型地物的光谱数据，大大降低了计算量。同时提出了一种聚类个数的评估方法，即计算类间距离与类内距离之比，用于评估最优的聚类个数。本发明降维速度快，得到的降维特征数据含有最大的信息量，其后续分类精度大大高于同类降维算法。

附图说明

图1为K-均值原理示意图；

图2为改进K-均值流程图；

图3为相似性非监督波段选择算法示意图；

图4为基于改进K-均值的高光谱影像降维方法流程图；

图5(a)为分别采用本发明方法和K-均值相关算法对高光谱影像Pines进行降维后的分类精度对比图，图5(b)为分别采用本发明方法和其他聚类方法对高光谱影像Pines进行降维后的分类精度对比图；

图6(a)至图6(d)分别为采用RICD、R²、SR²和pseudo F算法对高光谱影像Cuprite数据k值估计图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明的思路是：将半监督学习和聚类分析引入高光谱影像降维中，即首先分析传统K-均值算法存在的初始值不稳定、聚类中心数目难以确定等两方面的问题，提出相应的半监督改进方法；并将改进半监督K-均值算法应用于高光谱影像特征提取中。该方法的特点在于，与聚类分析仅仅利用原始数据或者监督方法利用先验样本标签数据不同，本发明将具有代表性的地物类别的光谱数据引入聚类分析算法，改进了聚类分析方法的非监督特性；本发明提出的半监督聚类分析的思想不仅扩展了聚类分析算法的应用范围，而且对于推进高光谱影像分析方面的研究具有重要理论和现实意义。

实施例1：实验数据采用AVIRIS传感器于1992年6月在印第纳州西北部获取的Indian Pines地区的影像。该数据覆盖了从0.4到2.4um光谱区间的220个光谱波段，光谱分辨率为10nm，空间分辨率为20m。对数据集进行预处理，删除水吸收和低SNR波段后，保留了202个波段。该数据大小为145×145，共含有16个不同的地物类型，各个地物具有不同数量的样本数据；实验中，采用各地物所有样本的均值作为该地物的典型光谱特征。

如图4所示，具体实现步骤为：

(1)对原始高光谱遥感影像数据进行数据预处理，去除噪声波段，然后确定所要选择的波段数目k、典型光谱数据和训练样本数据。

(2)选择B₁和B₂作为初始的波段对，并形成一个波段子集Φ＝{B₁,B₂}；

(3)，选择与现有波段子集LP误差最大的波段B₃，得到更新后的波段子集Φ＝Φ∪{B₃}；

(4)重复执行步骤(2)和步骤(3)直到得到k个波段；如图3所示

(5)将得到的k个波段作为K-均值算法的初始聚类中心，将影像的典型地物光谱数据输入到K-均值算法，计算各波段之间的距离 $d^2(x_i,{\stackrel{\&OverBar;}{x}}^{\left(k\right)})=\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{(x_{\mathrm{ij}},{\stackrel{\&OverBar;}{x}}_j^{\left(k\right)})}^2,$ 将各波段分配到离其最近的聚类中心；

(6)一旦所有波段分配完毕，以重新计算后的各聚类中心代替原指定的初始聚类中心；

(7)计算各波段与当前聚类中心的距离，将波段分配至离其最近的聚类中心；

(8)不断重复步骤(6)和步骤(7)，直到所有波段所属的聚类中心不再变动，得到降维特征数据；

(9)计算类内距离与类间距离之比RICD＝d_intra/d_inter，不断重复以上步骤1至步骤8，如图2所示，得到不同k值下的RICD的值；

(10)对得到降维后的特征数据进行分类，采用分类总体精度对降维算法的性能进行评估。

为与现有其他类似算法进行比较，选择了SKM、RKM、UKM、LDA、PCA、BG(U)、BG(CC)、WaLuMI及WaLuDi等算法进行对比分析。分类结果如图5(a)和图5(b)所示，可以看出，相比其他降维方法，本发明的方法SKMd的分类精度结果是最高的。

同时，为进行对比分析，计算了各个算法的运算复杂度，并在Pines数据上进行实际分析可以得到下表1：

表1各算法的运算复杂度

特征数	5	10	15
				SKMd	20.16	18.30	24.08

RKM	998.85	2068.78	2366.58
				WaLuMI	209.73	219.28	232.48
WaLuDi	284.83	260.57	262.17

可以看出，本发明提出的半监督的聚类分析方法SKMd的运行时间大大低于其它类似算法，如RKM、WaLuMI和WaLuDi等。

实施例2：采用AVIRIS传感器于1997年6月19日获取的内华达地区224波段的高光谱影像Cuprite数据，子图像大小为350×350像素，数据空间分辨率为20m。在删除了水吸收和低SNR波段后，保留了189个波段，该影像含有五种矿物：明矾石(Alunite)、水铵长石(Buddingtonite)、方解石(Calcite)、高岭石(Kaolinite)和白云母(Muscovite)。根据实地调查，该影像实际上含有20种以上的矿物。

为了验证所提出的k值估计算法，设计了本实验。根据已有文献，该数据的VD即端元数目为22个左右。因此，从理论上说，对该数据利用K-均值聚类时，其k值也应该在22个左右。算法RICD、R²、SR²和pseudo F的实验结果如图6(a)至图6(d)所示。

根据评估k值数目的理论，曲线上出现拐点的位置最有可能是k的取值；根据图6(a)至图6(d)中各算法的k值估计结果，可以判断出可能的k值数目。可以看出RICD算法得到的可能值为：3、9、18、22；R²算法和SR²得到的可能值分别为3、9、15、22和9、12、15、21、27；而pseudo F算法得到的结果为：3、9、15、25。可以看出，前三种算法得到的结果基本一致，相同值为9和22。这与VD的结果是相符的，也说明改进K-均值算法中k值估计方法的有效性。

表2Cuprite数据k值估计结果

算法	K值估计
		R2	3,9,15,22
SR2	9,12,15,21,27
		pseudoF	3,9,15,25
RICD	3,9,18,22
		最终结果	9,22

需要说明的是，在某些情况下“距离-特征”曲线上可能找不到任何拐点，此时就无法判断和估计k值的大小。幸运的是，该情况不可能同时发生在所有k值估计算法上；因此，总可以根据某一算法估计k值，这也是本发明提出新方法的意义所在。

Claims (6)

1.一种基于改进K-均值聚类的半监督高光谱影像降维方法，其特征在于，包括以下步骤：

步骤1，选择需进行降维的高光谱影像及其典型地物光谱，人工设定需降维的聚类中心个数k的值，所述k的值小于影像维数；

步骤2，利用相似性非监督算法对影像进行波段选择，确定取代K-均值初始聚类中心的波段；

步骤3，将影像的典型地物光谱数据输入到K-均值算法，计算各波段之间的距离，将各波段分配到离其最近的聚类中心；

步骤4，一旦所有波段分配完毕，以重新计算后的各聚类中心代替原指定的初始聚类中心；

步骤5，计算各波段与当前聚类中心的距离，将波段分配至离其最近的聚类中心；步骤6，不断重复步骤4和步骤5，直到所有波段所属的聚类中心不再变动，得到降维特征数据；

步骤7，计算此时类间距离与类内距离之比RICD。

2.根据权利要求1所述基于改进K-均值聚类的半监督高光谱影像降维方法，其特征在于，还包括步骤8：多次重复所述步骤1至步骤7，每次设定的k值均不同，得到不同k值下的RICD值；

步骤9：以k值为横坐标，RICD的值为纵坐标得到一条曲线，根据曲线的突变特征，曲线上出现拐点的位置最有可能是k的取值，根据虚拟维数法得到最优的k值。

3.根据权利要求1所述一种基于改进K-均值聚类的半监督高光谱影像降维方法，其特征在于：所述步骤2中，利用相似性非监督算法对影像进行波段选择包括如下步骤：

步骤1)，选择一个L维度的大小为M×N的影像数据；

步骤2)，选择B₁和B₂作为初始的波段对，并形成一个波段子集Φ＝{B₁,B₂}；步骤3)，选择与现有波段子集最不相似的波段B₃，得到更新后的波段子集Φ'＝Φ∪{B₃}；

步骤4)，重复上一步骤，直到得到k个具体波段。

4.根据权利要求2所述基于改进K-均值聚类的半监督高光谱影像降维方法，其特征在于：所述步骤3)中利用线性预测作为波段相似性度量的标准，步骤如下：步骤A)，假定在集合Φ中有N个像元的B₁和B₂两个波段，利用B₁和B₂对与B₁和B₂最不同的一个波段B进行估计：

a₀+α₁B₁+a₂B₂＝B'

其中B'为B₁和B₂对B的估计值或者线性预测值，a₀、α₁和a₂为能够最小化线性预测误差e＝||B-B'||的参数；

步骤B)，设参数向量为a＝(a₀,α₁,a₂)^T，采用最小二乘法求解，

a＝(X^TX)^-1X^Ty

式中，X为N×3的矩阵，其第一行值为1，第二行包括B₁中所有N个像元，第三行包括B₂中所有像元；y为N×1的向量，它包括了B的所有像元；

步骤C)，将能够使线性预测误差e最大的波段，选作B₃放入集合Φ中。

5.根据权利要求1所述基于改进K-均值聚类的半监督高光谱影像降维方法，其特征在于：所述步骤5中，计算各波段与当前聚类中心的距离采用以下计算公式：

$d^2(x_i,{\stackrel{\&OverBar;}{x}}^{\left(k\right)})=\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{(x_{\mathrm{ij}},{\stackrel{\&OverBar;}{x}}_j^{\left(k\right)})}^2$

式中，

为波段x_i与聚类中心

的距离，K为影像聚类中心的个数，x_ij为第j个聚类中心中的第i个波段，

为第j个聚类中心，j为聚类中心的标号，范围为1到K之间。

6.根据权利要求1所述基于改进K-均值聚类的半监督高光谱影像降维方法，其特征在于：所述步骤7中，类间距离与类内距离之比采用以下计算公式：

RICD＝d_intra/d_inter

其中 $d_{\mathrm{intra}}=\underset{j}{\mathrm{\&Sigma;}}\left|\right|x_j-{\stackrel{\&OverBar;}{x}}^{\left(k\right)}\left|\right|$ 为类间平均距离，x_j为第j个聚类中心； $d_{\mathrm{inter}}=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}\left|\right|x_{\mathrm{ij}}-{\stackrel{\&OverBar;}{x}}_j\left|\right|$ 为类内平均距离，x_ij为第j个聚类中心中的第i个波段，

为第j个聚类的位置中心。

Images