CN109583469A - 基于互信息的k均值高光谱图像波段聚类方法 - Google Patents

Abstract

一种基于互信息的K均值高光谱图像波段聚类方法，通过波段间的平均互信息选取聚类中心加入到K均值聚类迭代中，包括平均互信息的计算、聚类中心的确定、代表性波段组合的选择、分类及其评价。通过计算波段区间内部和外部平均互信息，直接选取波段作为聚类中心加入到聚类迭代中，利用K均值聚类完成波段的聚类过程，使得各波段聚类在具有代表性且图像信息较丰富的波段周围，以各聚类中心波段作为最优波段组合。本发明在保留了高光谱图像的光谱信息同时，得到更高的图像分类精度。

Description

基于互信息的K均值高光谱图像波段聚类方法

技术领域

本发明属于遥感图像处理领域，主要涉及的是一种对高光谱遥感图像非监督的波段选择的方法，可应用于高光谱图像数据的降维，分类和目标识别等领域。

背景技术

随着光谱成像仪的发展，高光谱遥感技术已成为遥感领域的热点之一。高光谱图像是指在可见光到红外光的光谱范围内已较高的光谱分辨率获得目标地物的连续光谱图像。正因为其丰富的光谱信息，高光谱遥感已广泛应用于环境监测、目标识别和地物分类等方面。然而，高光谱图像丰富的光谱信息是以较高的数据维和较大的数据量为代价的，会造成存储和计算效率的下降。在对高光谱图像进行分类等应用时，随着数据维数的增加，甚至会产生严重的Hughes现象(随着数据维数的增加，分类精度出现下降的现象)。针对上述问题，如何在尽量不损失数据信息的前提下进行高光谱数据降维是一个亟待解决的问题。

解决这个问题主要包括两种方式，第一种是基于变换的特征提取，这类方法通过对高维数据进行变换，将高维数据降至低维甚至一维。虽然这类方法速度较快，但改变了数据的原始特征和语义信息，如主成分分析(Principle Component Analysis,PCA)，独立成分分析(Independent Component Analysis,ICA)，线性识别分析(Linear DiscriminantAnalysis,LDA)和最大噪声分数(Maximum Noise Fraction,MNF)等。第二类是基于非变换的波段选择方法，波段选择方法是从高光谱图像中选出部分最具代表性的波段，选出的波段具有信息量大、相邻波段间冗余少、不同波段类别可分性好等特点。波段选择方法又可分为有监督和无监督两种不同方法。有监督的波段选择方法是在已知样本的先验知识的情况下，通过最大化类间距离实现波段选择。然而在实际应用中，通常难以获得各类别的先验信息。因此，非监督的波段选择方法被更广泛的应用。

发明内容

为了克服已有非监督波段选择算法中波段容易聚集在某一波段区间内和类别可分性不高的不足，本发明提供了一种类别可分性较高的基于互信息的K均值高光谱图像波段聚类方法。

本发明解决其技术问题所采用的技术方案是：

一种基于互信息的K均值高光谱图像波段聚类方法，通过波段间的平均互信息选取聚类中心加入到K均值聚类迭代中，所述方法包括如下步骤：

1)利用MATLAB中multibandread()函数读取去噪和量化后的高光谱图像{B₁,…,B_l,…B_L}，确定需要选择的波段数目k；

2)将连续光谱空间上的波段均匀分成k个区间，以此作为聚类的初始分类；

3)在相同的波段分类内，计算每个波段的类内平均互信息与类外平均互信息的商b；

4)对所有波段类别，取该聚类波段中b最大的波段为当前类别的聚类中心；

5)计算每一个波段与各聚类中心的相似程度，确定其归类；

6)若此次迭代未改变聚类结果，则结束迭代，进入步骤7)；否则转到步骤2)；

7)输出包含信息量多且有代表性的波段组合。

进一步，所述步骤2)中，对于K均值算法初始距离中心的选择，通过在连续光谱空间上对波段进行均匀划分的方法来确定聚类的初始分类。

再进一步，所述步骤3)和步骤4)中，当获得了图像中任意像素点亮度值的概率密度函数后，图像的信息熵如下

其中，i表示图像中第i个像素，x_i为第i个像素的亮度值，p(x_i)为该亮度值的概率，N为图像中像素个数；

现在考虑随机变量X和Y，设它们的概率密度函数分别为p(x)和p(y)，联合概率密度函数为p(x,y)，则这两个随机变量间的互信息表示为

其中，Ω_X,Ω_Y分别为随机变量的范围区间，x,y为Ω_X,Ω_Y内可能出现的值。若随机变量x,y为离散时，对应的互信息可变换为

其中，Ω_X,Ω_Y分别为随机变量的全体可能值构成的集合，x,y为Ω_X,Ω_Y内可能出现的值；对于高光谱图像，每一个波段均可以看成一个包含若干个可能值的随机变量，其中对应的亮度值即为该随机变量的可能值；因此，对于高光谱图像中任意两个波段B_i和B_i，波段间的互信息为

式中，Ω_X,Ω_Y分别为波段B_i和B_j波段中全体亮度值的集合，p(x)和p(y)分别为波段B_i和B_j波段中亮度值为x和x的像素点出现的概率，(x,y)为两波段中相同位置亮度值为(x,y)的全部像素点出现的概率；为了将波段间互信息用图像熵表示，将上式互信息变换为如下形式

I(B_i,B_j)＝H(B_i)+H(B_j)-H(B_i,B_j) (5)

其中H(B_i,B_j)为两波段的联合熵，其定义为单一波段的信息熵，在确定好每个聚类的波段分类后，为了选择当前分类的聚类中心，需要选择一种较好的判决准则用于衡量波段的优越性；对于第i个波段分类B_i，首先计算类内所有波段的平均互信息I_iw，即

其中，b_i和b_j分别为波段分类B_i内的第i个和第j个波段，I_iw表示第i个波段的类内平均互信息；同样，需要计算分类B_i中的第i个波段的类外平均互信息I_ib

其中，B_j为第j个分类，为了确定当前分类B_j中的聚类中心，需要找到其波段分类中平均互信息与类外平均互信息商最大的波段作为当前分类的聚类中心，即

上述波段聚类中心选择方法，充分考虑相同波段分类中每个波段的类内平均互信息和类外平均互信息，不仅选择了与类内其余波段最相似的波段，而且该波段与类外波段的相似性最小，这样既能保持类内信息量最大，又能保持类外信息量最小。

所述步骤5)中，给定一组波段(B₁,…,B_l,…B_L)，其中每个波段被排列成N维向量，其中N是像素的数量，K均值波段聚类旨在将L个波段划分为K个类C＝{c₁,…,c_m,…c_k}(1≤m≤k)，最小化以下目标函数：

其中μ_m是c_m的聚类中心,D(·,·)是一个距离度量，用于衡量一个波段与其所分配的聚类中心之间的相似性，对最靠近聚类中心的波段进行分组，通过迭代的方法，逐次更新聚类中心的值，直到得到最好的结果。

本发明的技术构思为：直接选取候选波段作为波段分类的聚类中心，使得波段选择的效果更为直接，所选波段更能代表所在分类的光谱信息。聚类中心波段的选择在考虑类内距离的基础上加入类内外互信息，不仅选择了与类内其余波段最相似的波段作为聚类中心，而且该波段与类外波段的相似性最小，这样既能保持类内信息量最大，同时保持类外信息量最小。这样就把选择信息量较大的波段和去除冗余波段紧密地结合在一起，聚类的目的也不再是单纯地选择尽可能不同的波段，而是选择包含信息多且有代表性的波段组合。

本发明的有益效果主要表现在：在保留了高光谱图像的光谱信息同时，得到更高的图像分类精度。

附图说明

图1为本发明实验流程图。

图2为Indian pines高光谱图像第5、17、30波段组合成的伪彩色图像及地面真实类别分布图，其中，(a)为伪彩色图像，(b)为地面真实类别分布图。

图3为本发明给出的波段选择方法与现有波段选择方法WaLuDi，WaLuMI，LP和OSP方法的获得的波段组合的分类精度曲线图，其中，(a)采用最近邻(k-nearest neighbour，KNN)分类器得到的分类精度图，(b)采用支撑向量机(support vector machine，SVM)分类器得到的分类精度图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于互信息的K均值高光谱图像波段聚类方法，通过波段间的平均互信息选取聚类中心加入到K均值聚类迭代中；

应用不同的训练样本和不同的分类器对选择的代表性波段进行分类处理，以验证本发明的有效性和适用性。

如图1所示为所发明的基于互信息的K均值高光谱图像波段聚类方法的流程图，包括如下步骤：

1)利用MATLAB中multibandread()函数读取去噪和量化后的高光谱图像{B₁,…,B_l,…B_L}，确定需要选择的波段数目k。参照图2，本发明输入图像为Indian pines高光谱图像，图像大小为145像素145像素，共有224个波段，光谱范围从，去除噪声过大和水汽吸收波段后剩余185个波段，光谱分辨率为，空间分辨率为，真实地物共有16种类别，主要包括农作物，牧草、人工建筑和道路等类别，其中苜蓿、收割牧草、燕麦和公路这4类因样本数过少被移除为背景，将玉米未耕和玉米少耕合并为玉米，大豆未耕和大豆少耕合并为大豆未耕，因此剩余9类作为主要类别，如表1所示。

表1

2)将连续光谱空间上的波段均匀分成k个区间，以此作为聚类的初始分类。

3)当获得了图像中任意像素点亮度值的概率密度函数后，图像的信息熵如下

其中，i表示图像中第i个像素，x_i为第i个像素的亮度值，p(x_i)为该亮度值的概率，N为图像中像素个数；

现在考虑随机变量X和Y，设它们的概率密度函数分别为p(x)和p(y)，联合概率密度函数为p(x,y)，则这两个随机变量间的互信息表示为

其中，Ω_X,Ω_Y分别为随机变量的范围区间，x,y为Ω_X,Ω_Y内可能出现的值。若随机变量x,y为离散时，计算高光谱图像两两波段间的互信息：

其中，Ω_X,Ω_Y分别为随机变量的全体可能值构成的集合，x,y为Ω_X,Ω_Y内可能出现的值。对于高光谱图像，每一个波段均可以看成一个包含若干个可能值的随机变量，其中对应的亮度值即为该随机变量的可能值。因此，对于高光谱图像中任意两个波段B_i和B_i，波段间的互信息为

式中，Ω_X,Ω_Y分别为波段B_i和B_j波段中全体亮度值的集合，p(x)和p(y)分别为波段B_i和B_j波段中亮度值为x和x的像素点出现的概率，(x,y)为两波段中相同位置亮度值为(x,y)的全部像素点出现的概率。为了将波段间互信息用图像熵表示，可以将上式互信息变换为如下形式

I(B_i,B_j)＝H(B_i)+H(B_j)-H(B_i,B_j) (5)

其中H(B_i,B_j)为两波段的联合熵，其定义为单一波段的信息熵。

4)在确定好每个聚类的波段分类后，为了选择当前分类的聚类中心，需要选择一种较好的判决准则用于衡量波段的优越性。对于第i个波段分类B_i，首先计算类内所有波段的平均互信息I_iw，即

其中，b_i和b_j分别为波段分类B_i内的第i个和第j个波段，I_iw表示第i个波段的类内平均互信息。同样，需要计算分类B_i中的第i个波段的类外平均互信息I_ib

其中，B_j为第j个分类。为了确定当前分类B_j中的聚类中心，需要找到其波段分类中平均互信息与类外平均互信息商最大的波段作为当前分类的聚类中心，即

上述波段聚类中心选择方法，充分考虑类内的互信息和类外的互信息，不仅选择了与类内其余波段最相似的波段，而且该波段与类外波段的相似性最小，这样既能保持类内信息量最大，又能保持类外信息量最小。聚类的目的也从单纯地在所有波段中选择尽可能不同的波段，变成了选择信息量大且有代表性的波段组合。

5)计算每一个波段与各聚类中心的相似程度，确定其归类。利用K均值聚类进行高光谱图像波段聚类。给定一组波段(B₁,…,B_l,…B_L)，其中每个波段被排列成N维向量，其中N是像素的数量。K均值波段聚类旨在将L个波段划分为K个类C＝{c₁,…,c_m,…c_k}(1≤m≤k)，最小化以下目标函数^[12]：

其中μ_m是c_m的聚类中心,D(·,·)是一个距离度量，用于衡量一个波段与其所分配的聚类中心之间的相似性。对最靠近聚类中心的波段进行分组，通过迭代的方法，逐次更新聚类中心的值，直到得到最好的结果。

6)若此次迭代未改变聚类结果，则结束迭代，进入步骤7)；否则转到步骤2)；

7)输出包含信息量多且有代表性的波段组合。

8)在执行完选择确定数量的代表性波段后，选取占全体样本25％的样本作为训练样本，剩余样本作为检测样本，分别选取5、10、15、20、25、30、35、40、45、50这10种不同代表性波段数，并且分别选择最近邻(k-nearest neighbour，KNN)分类器和支持向量机(Support Vector Machine,SVM)分类器以验证本文方法对于不同分类器的适用性，对比试验使用广泛使用的WaLuDiWaLuMI、LP和OSP波段选择方法。所有代表性波段选择实验代码均是在MATLAB 2010b上编写，操作系统为Windows 7，硬件环境为Intel core i5 2.2Gz处理器，内存4GB。分类精度(Overall Accuracy,OA)的计算公式如下

Claims (4)

1.一种基于互信息的K均值高光谱图像波段聚类方法，其特征在于，通过波段间的平均互信息选取聚类中心加入到K均值聚类迭代中，所述方法包括如下步骤：

1)利用MATLAB中multibandread()函数读取去噪和量化后的高光谱图像{B₁,…,B_l,…B_L}，确定需要选择的波段数目k；

2)将连续光谱空间上的波段均匀分成k个区间，以此作为聚类的初始分类；

3)在相同的波段分类内，计算每个波段的类内平均互信息与类外平均互信息的商b；

4)对所有波段类别，取该聚类波段中b最大的波段为当前类别的聚类中心；

5)计算每一个波段与各聚类中心的相似程度，确定其归类；

6)若此次迭代未改变聚类结果，则结束迭代，进入步骤7)；否则转到步骤2)；

7)输出包含信息量多且有代表性的波段组合。

2.如权利要求1所述的一种基于互信息的K均值高光谱图像波段聚类方法，其特征在于，所述步骤2)中，对于K均值算法初始距离中心的选择，通过在连续光谱空间上对波段进行均匀划分的方法来确定聚类的初始分类。

3.如权利要求1或2所述的一种基于互信息的K均值高光谱图像波段聚类方法，其特征在于，所述步骤3)和步骤4)中，当获得了图像中任意像素点亮度值的概率密度函数后，图像的信息熵如下

其中，i表示图像中第i个像素，x_i为第i个像素的亮度值，p(x_i)为该亮度值的概率，N为图像中像素个数；

现在考虑随机变量X和Y，设它们的概率密度函数分别为p(x)和p(y)，联合概率密度函数为p(x,y)，则这两个随机变量间的互信息表示为

其中，Ω_X,Ω_Y分别为随机变量的范围区间，x,y为Ω_X,Ω_Y内可能出现的值。若随机变量x,y为离散时，对应的互信息可变换为

其中，Ω_X,Ω_Y分别为随机变量的全体可能值构成的集合，x,y为Ω_X,Ω_Y内可能出现的值；对于高光谱图像，每一个波段均可以看成一个包含若干个可能值的随机变量，其中对应的亮度值即为该随机变量的可能值；因此，对于高光谱图像中任意两个波段B_i和B_i，波段间的互信息为

式中，Ω_X,Ω_Y分别为波段B_i和B_j波段中全体亮度值的集合，p(x)和p(y)分别为波段B_i和B_j波段中亮度值为x和x的像素点出现的概率，(x,y)为两波段中相同位置亮度值为(x,y)的全部像素点出现的概率；为了将波段间互信息用图像熵表示，将上式互信息变换为如下形式

I(B_i,B_j)＝H(B_i)+H(B_j)-H(B_i,B_j) (5)

其中H(B_i,B_j)为两波段的联合熵，其定义为单一波段的信息熵，在确定好每个聚类的波段分类后，为了选择当前分类的聚类中心，需要选择一种较好的判决准则用于衡量波段的优越性；对于第i个波段分类B_i，首先计算类内所有波段的平均互信息I_iw，即

其中，b_i和b_j分别为波段分类B_i内的第i个和第j个波段，I_iw表示第i个波段的类内平均互信息；同样，需要计算分类B_i中的第i个波段的类外平均互信息I_ib

其中，B_j为第j个分类，为了确定当前分类B_j中的聚类中心，需要找到其波段分类中平均互信息与类外平均互信息商最大的波段作为当前分类的聚类中心，即

上述波段聚类中心选择方法，充分考虑相同波段分类中每个波段的类内平均互信息和类外平均互信息，不仅选择了与类内其余波段最相似的波段，而且该波段与类外波段的相似性最小，这样既能保持类内信息量最大，又能保持类外信息量最小。

4.如权利要求1所述的一种基于互信息的K均值高光谱图像波段聚类方法，其特征在于，所述步骤5)中，给定一组波段(B₁,…,B_l,…B_L)，其中每个波段被排列成N维向量，其中N是像素的数量，K均值波段聚类旨在将L个波段划分为K个类C＝{c₁,…,c_m,…c_k}(1≤m≤k)，最小化以下目标函数：

其中μ_m是c_m的聚类中心,D(·,·)是一个距离度量，用于衡量一个波段与其所分配的聚类中心之间的相似性，对最靠近聚类中心的波段进行分组，通过迭代的方法，逐次更新聚类中心的值，直到得到最好的结果。