CN105760900B - 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于近邻传播聚类和稀疏多核学习的高光谱分类方法，主要解决现有技术对高光谱图像分类性能不佳的问题。其实现方案是：首先，利用所有波段中的训练样本构造核矩阵集合；其次，利用近邻传播方法进行聚类，选择高辨别力低冗余性的核矩阵子集；再次，利用选择的核矩阵子集，通过稀疏约束的多核学习方法，学习出核权重和支撑矢量系数；最后，利用学习到的分类器，对未知高光谱图像进行分类。本发明采用的多核学习分类方法，利用不同函数不同参数的多种核，能够处理具有多变局部分布的复杂高光谱数据，获得高精度的高光谱图像分类结果，可用于农业监测、地质勘探、灾害环境评估等领域地物的区分和辨别。

Description

基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法

技术领域

本发明属于遥感图像处理技术领域，具体是一种高光谱图像的分类方法，可用于农业监测、地质勘探、灾害环境评估等领域地物的区分和辨别。

背景技术

三十多年来，随着科学技术的发展，遥感技术也得到了巨大的发展。高光谱遥感系统更是在对地观测领域占据极其重要的地位。高光谱遥感技术是在多光谱遥感技术的基础之上发展起来的新型遥感技术。相对多光谱图像而言，高光谱图像能提供更丰富的地物光谱信息。高光谱图像可获取目标地物在紫外、可见光、近红外和中红外等大量波段内近似连续的光谱信息，并以图像的形式描述地物的空间分布关系，从而建立“图谱合一”的数据，实现地物的精确定量分析与细节提取，极大地提高人类认知客观世界的能力。

由于高光谱遥感图像具有波谱覆盖范围广、光谱分辨率高、信噪比高等优势，在众多领域具有巨大的应用潜力和需求。同时，高光谱遥感数据获取技术的发展为遥感技术在各个领域的应用提供了可靠的前提保证。在军用领域，一系列的军事实验表明，高光谱遥感有较强的探测能力，是其它侦察手段强有力的补充。在两栖作战中，高光谱影像能为战场指挥官提供诸如：登陆点选择、障碍物识别、地表特征识别、水下障碍物判断以及地表对部队机动、火力的影响和敌军力量分布等情报。在民用领域，高光谱遥感影像已经被用于地质勘探、灾害环境评估、土壤监测、城市城区制图、城区环境监测、农业产量估计、农作物分析、及沿海地区水域环境分析等方面。

对于高光谱影像而言，无论是军事领域的应用，还是民用领域的应用，都是以精确的分类识别为基础的。因此，设计实用高效的高光谱图像分类方法，已经成为军事目标侦查、战场指挥、地质调查、农业监测等领域的迫切需求。

目前，大量研究者已经提出了许多经典的分类方法用于高光谱图像分类，包括：贝叶斯分类方法、fisher分类方法、k近邻方法、决策树方法、支撑矢量机SVM方法等。在众多的方法中，由于在解决小样本非线性问题上的卓越表现，SVM分类器被最为广泛的使用。但是，在SVM中，如果核函数和核参数没有选择恰当，分类器的性能就会受到影响。近些年来，研究者们提出了一种新的多核学习方法。它可以同时优化不同函数不同参数的多个核和相应的分类器，取得了更好的分类性能。但是，由于巨大的核规模使得多核学习方法计算复杂度较高，难以高效地处理复杂的高光谱图像数据。此外，在高光谱图像数据中，当有标签样本数量有限时，大量的光谱波段会引起Hughes现象，造成多核学习的分类性能下降。

综上，已有多核学习分类方法直接用于高光谱图像分类，存在核规模过大、分类精度差的问题。

发明内容

本发明的目的在于针对上述已有方法的不足，提出一种基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法，以改善高光谱分类性能，提高分类精度。

为实现上述目的，本发明的技术方案是利用每个波段的训练样本构造核矩阵集合，通过近邻传播算法对核矩阵集合进行聚类，且仅保留聚类中心的核矩阵；根据保留的核矩阵，选择对应的波段，利用保留的核矩阵、选择的波段和训练样本集合，通过稀疏约束的多核学习方法，学习出核权重和SVM分类器的支撑向量系数；使用该分类器对测试样本进行分类，得到高光谱图像分类结果，具体步骤包括如下：

1.一种基于近邻传播聚类和稀疏多核学习的高光谱分类方法，包括：

(1)获取训练样本集X_p和测试样本集X_q：

输入高光谱图像：该图像包含l个光谱波段，n个样本；

随机取这些样本的10％组成初始训练样本集：1≤i≤l，其余样本组成初始测试样本集其中，pp，qq分别代表初始训练样本和初始测试样本的数量，满足pp+qq＝n；

对训练样本集X_pp和测试样本集X_qq分别进行列归一化操作，得到列归一化后的训练样本集X_p和测试样本集X_q；

(2)获取训练样本集X_p的核矩阵集合K：

(2a)抽取初始训练样本集X_p中第i个波段p表示列归一化后初始训练样本的数量；

(2b)利用中任意两个样本和计算高斯核矩阵其中σ_j是第j个核参数；通过m个不同核参数构成核矩阵

(2c)抽取训练样本集X_p中所有l个波段通过上述(2a)和(2b)步骤得出核矩阵集合为：

共有m×l个核矩阵，将做变换，即则K表示为K＝{K₁,K₂,…,K_t,…,K_ml}，1≤t≤ml；

(3)计算核矩阵集合K中任意两个核K_a,K_b基于核排列的相似度，得到一个m×l行m×l列的相似度矩阵S(K_a,K_b)，其中K_a和K_b是核矩阵集合K＝{K₁,K₂,…,K_t,…,K_ml}中第a个和第b个核矩阵，1≤a≤m×l，1≤b≤m×l；

(4)通过近邻传播聚类算法，对K中包含的m×l个核进行聚类，得到c个核矩阵聚类中心序列{λ₁,λ₂,…,λ_γ,…,λ_c}，1≤γ≤c，并保留该聚类中心序列的核，对核矩阵集合K进行更新，得到更新后的核矩阵集合

(5)对训练样本集和测试样本集进行更新：

根据核矩阵聚类中心序列{λ₁,λ₂,…,λ_γ,…,λ_c}，1≤γ≤c，通过β_γ＝「λ_γ/m]计算出选择的波段序列编号{β₁,β₂,…,β_γ,…,β_c}，并去掉重复的序列编号，得到最终的波段序列编号{β₁,β₂,…,β_s,…,β_d}；1≤s≤d≤c

根据最终的波段序列编号将训练样本集更新为：将测试样本集更新为：

(6)将更新后的核矩阵集合K′、训练样本集X_p′、训练样本标签集Y_p＝{y_k＝±1，1≤k≤p}，通过多核学习方法，学习出核矩阵集合K′的核权重和SVM分类器的支撑向量系数；使用该SVM分类器，对测试样本集合X_q′进行分类，得到所有测试样本的类别标签Y_q，即为高光谱图像的分类结果。

本发明与现有技术相比具有如下优点：

本发明由于利用近邻传播聚类，仅保留高辨别力低冗余性的核矩阵，减少了核规模，从而减少了波段数目，克服了已有多核学习因核规模过大而引起的时间复杂度过高的问题；同时由于本发明利用稀疏多核学习，进一步减少了波段数目，避免Hughes现象引起的分类性能下降的问题；此外由于采用的多核学习分类方法，利用了不同函数不同参数的多种核，对比于经典的K近邻，Fisher分类器，SVM分类器，能够处理具有多变局部分布的复杂数据，具有更广阔的应用前景。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的Indian Pines高光谱图像的伪彩图和分类参考图；

图3是用本发明及现有四种方法对Indian Pines高光谱图像的分类结果对比图。

具体实施方式

参照图1，本发明的实施步骤如下：

步骤1，输入高光谱图像，获取训练样本和测试样本。

(1.1)输入高光谱图像：该图像包含l个光谱波段，n个样本；

(1.2)从这n个样本中随机选取出10％样本组成训练样本集用其余样本组成测试样本集其中，pp，qq分别代表训练样本和测试样本的数量，满足pp+qq＝n；

步骤2，对训练样本集X_pp和测试样本集X_qq分别进行列归一化操作，得到列归一化后的训练样本集X_p和测试样本集X_q。

步骤3，利用归一化后的训练样本集X_p中l个波段，通过m个不同核参数，构造高斯核矩阵集合K。

(3.1)抽取训练样本集X_p中第i个波段利用中任意两个样本和计算高斯核矩阵其中σ_j是第j个核参数；

(3.2)通过m个不同核参数构成核矩阵

(3.3)抽取训练样本集X_p中所有l个波段通过上述步骤计算出的核矩阵集合为：

(3.4)将做变换，即则K表示为K＝{K₁,K₂,…,K_t,…,K_ml}，1≤t≤ml。

步骤4，计算核矩阵集合K中任意两个核K_a和K_b基于核排列的相似度，得到一个m×l行m×l列的相似度矩阵S(K_a,K_b)。

(4.1)当a≠b时，计算核矩阵集合K中任意两个核K_a和K_b之间的基于核排列的相似度：

其中，<K_a,K_b>_F代表核矩阵K_a和K_b的Frobenius积，∑表示求和符号，Tr表示矩阵迹函数，和分别表示训练样本集中第u个样本和第v个样本；

(4.2)当a＝b时，计算核矩阵集合K中任意一个核K_a和由训练样本类别标签Y_p构成的理想核矩阵K_ideal＝Y_pY_p ^T之间的基于核排列的相似度：

其中，T表示向量的转置。

步骤5，通过聚类获取核矩阵集合K′。

现有的聚类方法有k-means聚类算法、层次聚类算法、SOM聚类算法、FCM聚类算法和近邻传播聚类算法等。

本发明通过近邻传播聚类算法，对K中包含的m×l个核进行聚类，得到c个核矩阵聚类中心序列{λ₁,λ₂,…,λ_γ,…,λ_c}，1≤γ≤c，并保留该聚类中心序列的核，对核矩阵集合K进行更新，得到更新后的核矩阵集合其步骤如下：

(5.1)令初始的吸引度矩阵R和归属度矩阵A为m×l行m×l列全0矩阵，初始迭代次数g＝1；

(5.2)令g＝g+1，通过公式<3>至<5>进行迭代，更新吸引度矩阵R和归属度矩阵A，其中，吸引度矩阵R中第a行第b列的元素R(a,b)和归属度矩阵A中第a行第b列的元素A(a,b)表示如下：

其中，S(a,b)表示核矩阵集合K中第a个核K_a和第b个核K_b之间基于核排列的相似度，S(a,b')表示核矩阵集合K中第a个核K_a和第b'个核K_b'之间基于核排列的相似度，b'≠b，R(b,b)表示吸引度矩阵R中第b行第b列的元素，R(a',b)表示吸引度矩阵R中第a'行第b列的元素，a'≠a，A(a,b')表示归属度矩阵A中第a行第b'列的元素，b'≠b；

(5.3)重复步骤(5.2)，直到迭代次数g＝1000，迭代结束；

(5.4)根据迭代结束后得到的吸引度矩阵R和归属度矩阵A，作如下判断：

如果满足A(a,a)+R(a,a)＞0，则用所对应的序列号a组成聚类中心{λ₁,λ₂,…,λ_γ,…,λ_c}，其中A(a,a)表示归属度矩阵A中第a行第a列的元素，R(a,a)表示吸引度矩阵R中第a行第a列的元素，1≤γ≤c，a＝γ，其中c是聚类中心的个数；

否则，则舍弃序列号a所对应的聚类中心；

(5.5)根据得到的聚类中心序列{λ₁,λ₂,…,λ_γ,…,λ_c}，对核矩阵集合K进行更新，得到更新后的核矩阵集合

步骤6，获取训练样本集合X_p′和测试样本集X_q′。

根据核矩阵聚类序列{λ₁,λ₂,…,λ_γ,…,λ_c}，通过计算出选择的波段序列编号{β₁,β₂,…,β_γ,…,β_c}；

在选择的波段序列中有可能存在重复的，去掉重复的序列编号，得到最终的波段序列编号{β₁,β₂,…,β_s,…,β_d}，1≤s≤d≤c；

根据最终的波段序列编号将训练样本集更新为：将测试样本集更新为：

步骤7，将更新后的核矩阵集合K′、训练样本集X_p′、训练样本标签集Y_p＝{y_k＝±1，1≤k≤p}，通过多核学习方法，学习出核矩阵集合K′的核权重和SVM分类器的支撑向量系数；使用该SVM分类器，对测试样本集合X_q′进行分类，得到所有测试样本的类别标签Y_q，即为高光谱图像的分类结果。

(7.1)输入训练样本集X_p′、训练样本标签集Y_p，核矩阵集合K′，根据L1稀疏约束的多核学习优化目标函数<6>，通过交替优化，得到支撑矢量系数α和核权重d_γ：

其中，C是一个平衡因子，其取值为常数，p是训练样本的个数，α_k和α_u分别是支撑矢量系数α中第k个和第u个元素，y_k和y_u分别是训练样本标签集Y_p中第k个和第u个元素，K_λγ(x_k′,x_u′)是训练样本集X_p′中样本的第k个样本x_k′和第u个样本x_u′的核；

(7.2)利用支撑矢量系数α和核权重d_γ，通过下式<7>计算求得SVM偏执量b：

其中，S＝{x_k′,1≤k≤p,α_k≠0}表示支撑矢量样本的集合，N_S是S集合中支撑矢量样本对应的支撑向量的个数；

(7.3)利用支撑矢量系数α，核权重d_γ，SVM偏执量b，通过下式<8>，得到测试样本集合X_q′的类别标签Y_q：

本发明的效果可以通过以下实验进一步说明。

1.仿真条件

本实验采用的数据是典型的AVIRIS高光谱图像：该数据是美国印第安纳州西北部印第安遥感试验区的高光谱图像，总共有16类地物，成像时间为1992年6月。数据共有220个波段，每个波段图像的大小为145×145，空间分辨率为20m。由第50个，第27个和第17个波段构成伪彩色图像，如图2(a)所示。该图像的真实标记图如图2(b)所示。Indian Pines图像由16类地物组成，具体包括：alfalfa,corn-notill,corn-mintill,corn,grass-pasture,grass-trees,grass-pasture-mowed,hay-windrowed,oats,soybean-notill,soybean-mintill,soybean-clean,wheat,woods,building-grass-trees-drives,stone-steel-towers种类。

仿真实验在CPU为Intel Core(TM)2Duo、主频2.33GHz、内存2G的WINDOWS 7系统上使用MATLAB R2009a进行仿真。

2.仿真内容

在实验中，采用本发明与已有四种方法对Indian Pines高光谱图像进行分类。已有的四种方法包括：K最近邻方法KNN，支持向量机SVM，最大相关最小冗余的方法mRMR，基于非负矩阵的多核学习方法NMF-MKL。在KNN中，K值设置为5。在SVM中，使用高斯核函数。在mRMR中，使用直方图来评估互信息。

在实验中，从每一类中随机选取10％的样本作为训练样本，剩余的90％样本作为测试样本。实验进行30次独立迭代，列举了相应指标的均值和标准差结果。这里使用的评估分类结果的指标包括：正确分类的测试样本数目和整体测试样本数目之比OA、所有类别分类精确度的均值AA和评估分类结果一致性的Kappa系数。

用本发明与已有的KNN、SVM、mRMR、NMF-MKL这四种方法对Indian Pines高光谱图像进行分类，结果如表1所示。

表1五种方法对Indian Pines高光谱图像的分类结果

在表1中，展示了五种方法对于Indian Pines高光谱图像中每种类别的分类精度和对所有类别的OA、AA、和Kappa结果。

从表1可以看出，由于SVM在小样本非线性问题上的卓越性能，SVM取得了比KNN更好的分类性能。对比于KNN，SVM，NMF-MKL，mRMR，本发明能够有效地去除噪音的、冗余的、不相关的波段，获得更好的分类性能。对于大多数类别，本发明都取得了比其它四种对比方法更好的分类精度。对于所有类别的OA、AA、Kappa指标，本发明方法也取得了比其它四种对比方法更好的结果。

用KNN、SVM、mRMR，NMF-MKL这四种方法和本发明对Indian Pines高光谱图像通过实验比对进行分类，得到五种方法对16类地物的真实分类，如图3所示，其中：图3(a)是KNN对Indian Pines高光谱图像的分类图，图3(b)是SVM对Indian Pines高光谱图像的分类图，图3(c)是mRMR对Indian Pines高光谱图像的分类图，图3(d)是NMF-MKL对Indian Pines高光谱图像的分类图，图3(e)是本发明对Indian Pines高光谱图像的分类图。

比较图3中白色矩形框标注的wood和soybean-notill类别的分类结果，可以发现使用本发明方法比其它对比方法具有更好的区域一致性。比较白色矩形框标注的grass-pasture和soybean-clean类别的分类结果，可以发现使用本发明方法比其它对比方法具有更好的边缘保持能力。

综上，本发明利用近邻传播算法，选择高辨别力低冗余性的核矩阵，通过稀疏约束的多核学习方法，同时优化核权重和分类器，取得了高精度的高光谱图像分类结果。

Claims (4)

1.一种基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法，包括：

(1)获取训练样本集X_p和测试样本集X_q：

输入高光谱图像：该图像包含l个光谱波段，n个样本；

随机取这些样本的10％组成初始训练样本集：1≤i≤l，其余样本组成初始测试样本集其中，pp，qq分别代表初始训练样本和初始测试样本的数量，满足pp+qq＝n；

对训练样本集X_pp和测试样本集X_qq分别进行列归一化操作，得到列归一化后的训练样本集X_p和测试样本集X_q；

(2)获取训练样本集X_p的核矩阵集合K：

(2a)抽取初始训练样本集X_p中第i个波段p表示列归一化后初始训练样本的数量；

(2b)利用中任意两个样本和计算高斯核矩阵其中σ_j是第j个核参数；通过m个不同核参数构成核矩阵 表示第i样本的第m个核参数，m＝5，1≤j≤m；

(2c)抽取训练样本集X_p中所有l个波段通过上述(2a)和(2b)步骤得出核矩阵集合为：共有m×l个核矩阵，将做变换，即则K表示为K＝{K₁,K₂,…,K_t,…,K_ml}，1≤t≤ml；

(3)计算核矩阵集合K中任意两个核K_a,K_b基于核排列的相似度，得到一个m×l行m×l列的相似度矩阵S(K_a,K_b)，其中K_a和K_b是核矩阵集合K＝{K₁,K₂,…,K_t,…,K_ml}中第a个和第b个核矩阵，1≤a≤m×l，1≤b≤m×l；

(4)通过近邻传播聚类算法，对K中包含的m×l个核进行聚类，得到c个核矩阵聚类中心序列{λ₁,λ₂,…,λ_γ,…,λ_c}，1≤γ≤c，并保留该聚类中心序列的核，对核矩阵集合K进行更新，得到更新后的核矩阵集合

(5)对训练样本集和测试样本集进行更新：

根据核矩阵聚类中心序列{λ₁,λ₂,…,λ_γ,…,λ_c}，1≤γ≤c，通过计算出选择的波段序列编号{β₁,β₂,…,β_γ,…,β_c}，并去掉重复的序列编号，得到最终的波段序列编号{β₁,β₂,…,β_s,…,β_d}，1≤s≤d≤c；

根据最终的波段序列编号将训练样本集更新为：将测试样本集更新为：

(6)将更新后的核矩阵集合K′、训练样本集X_p′、训练样本标签集Y_p＝{y_k＝±1，1≤k≤p}，通过多核学习方法，学习出核矩阵集合K′的核权重和SVM分类器的支撑向量系数；使用该SVM分类器，对测试样本集合X_q′进行分类，得到所有测试样本的类别标签Y_q，即为高光谱图像的分类结果。

2.根据权利要求1所述的基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法，其中步骤(3)中计算核矩阵集合K中任意两个核的基于核排列的相似度S(K_a,K_b)，按如下步骤进行：

当a≠b时，通过下式计算核矩阵集合K中任意两个核K_a和K_b之间基于核排列的相似度：

其中，<K_a,K_b>_F代表核矩阵K_a和K_b的Frobenius积，∑表示求和符号，Tr表示矩阵迹函数，和分别表示训练样本集中第u个样本和第v个样本；

(2.2)当a＝b时，计算核矩阵集合K中任意一个核K_a和由训练样本类别标签Y_p构成的理想核矩阵K_ideal＝Y_pY_p ^T之间基于核排列的相似度：

其中，T表示向量的转置。

3.根据权利要求1所述的基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法，其中步骤(4)中通过近邻传播聚类算法，对K中包含的m×l个核进行聚类，按如下步骤进行：

(4.1)将吸引度矩阵R和归属度矩阵A初始化为m×l行m×l列全0矩阵，迭代次数g初始化为1；

(4.2)令g＝g+1，通过公式<3>至<5>进行迭代，更新吸引度矩阵R和归属度矩阵A，其中，吸引度矩阵R中第a行第b列的元素R(a,b)和归属度矩阵A中第a行第b列的元素A(a,b)表示如下：

其中，S(a,b)表示核矩阵集合K中第a个核K_a和第b个核K_b之间基于核排列的相似度，S(a,b')表示核矩阵集合K中第a个核K_a和第b'个核K_b'之间基于核排列的相似度，b'≠b，R(b,b)表示吸引度矩阵R中第b行第b列的元素，R(a',b)表示吸引度矩阵R中第a'行第b列的元素，a'≠a，A(a,b')表示归属度矩阵A中第a行第b'列的元素，b'≠b；

(4.3)重复步骤(4.2)，直到迭代次数g＝1000，迭代结束；

(4.4)根据迭代结束后得到的吸引度矩阵R和归属度矩阵A，如果满足A(a,a)+R(a,a)＞0，其中A(a,a)表示归属度矩阵A中第a行第a列的元素，R(a,a)表示吸引度矩阵R中第a行第a列的元素，将所对应的序列号a组成聚类中心{λ₁,λ₂,…,λ_γ,…,λ_c}，1≤γ≤c，γ＝a，其中c是聚类中心的个数。

4.根据权利要求1所述的基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法，步骤(6)中通过多核学习方法，学习出核权重d_γ和SVM分类器的支撑向量系数α；使用该分类器，对测试样本集合X_q′进行分类，得到所有测试样本的类别标签Y_q，按如下步骤进行：

(6.1)输入训练样本集X_p′、训练样本标签集Y_p，核矩阵集合K′，根据如下L1稀疏约束的多核学习优化目标函数<6>，通过交替优化，得到支撑矢量系数α和核权重d_γ：

其中，C是一个平衡因子，其取值为常数，p是训练样本的个数，α_k和α_u分别表示支撑矢量系数α中第k个和第u个元素，y_k和y_u分别表示训练样本标签集Y_p中第k个和第u个元素，是训练样本集X_p′中样本的第k个样本x_k′和第u个样本x_u′的核；

(6.2)利用支撑矢量系数α和核权重d_γ，通过下式<7>计算求得SVM偏执量b：

其中，S＝{x_k′,1≤k≤p,α_k≠0}表示支撑矢量样本的集合，N_S是S集合中支撑矢量样本对应的支撑向量的个数；

(6.3)利用支撑矢量系数α，核权重d_γ，SVM偏执量b，通过下式<8>得到测试样本集合X_q′的类别标签Y_q：