CN103903007A - 一种基于空-谱信息的高光谱半监督分类方法 - Google Patents

Abstract

本发明属于遥感信息处理技术领域，具体涉及一种基于空-谱信息的高光谱半监督分类方法。本发明包括：参数设置；空-谱信息提取；分类过程；半监督分类无标签样本的选取。本发明将空间信息与光谱信息相结合可以有效地有监督分类方法的性能，随无标签训练样本数的增多本文所提方法性能提升，这是因为当无标签样本增多时，其提供了更多的空间分布信息，使得分类器做出更好的预测。

Description

一种基于空-谱信息的高光谱半监督分类方法

技术领域

本发明属于遥感信息处理技术领域，具体涉及一种基于空-谱信息的高光谱半监督分类方法。

背景技术

随着遥感技术的发展，高光谱图像得到了广泛应用。然而在处理高光谱数据时，有监督分类方法受到了限制：1、高光谱数据高维数与有限的训练样本之间的矛盾，引起了hughes现象，严重影响了有监督分类性能；2、高光谱图像覆盖区域大，实地考察困难且周期长，有标签样本的获取需要耗费大量的人力物力。区别于监督分类只利用有标签样本和无监督分类只利用无标签样本，半监督分类是综合利用有标签样本和无标签样本蕴含的信息，来提高分类方法性能的技术。在近十多年里，多种高光谱图像半监督分类方法相继提出，其中，基于支持向量机（SVM）的半监督分类方法最为常见，在这类方法中，将无标签样本蕴含的分布信息，融入到支持向量机中。如Kuo等人提出基于空间信息的半监督支持向量机方法（SC³SVM），是较为典型的空间信息与半监督方法相结合的方法，其利用了有标签样本的空间邻域信息来选择无标签训练样本，重新训练分类器，进而提高性能。虽然该方法有效的缓解了有监督学习中有标签样本不足的问题，但是依然存在明显不足，当有标签样本过少的情况下，该方法性能提高不明显。传统的分类方法一般建立在光谱信息之上，空间信息没有得到有效挖掘和利用。

在此背景下，本发明提出一种新的基于空-谱信息的半监督分类方法，更加有效的利用了样本的空间信息，且选取的无标签样本更具代表性，性能提高更为明显。

发明内容

本发明目的在于更加有效的利用样本的空间信息，提出一种基于空-谱信息的高光谱半监督分类方法。

本发明的目的是这样实现的：

（1）参数设置：选取训练集和多分类器策略，以及确定Gabor滤波器和基于概率模型的

支持向量机的参数：

1.1选取N个类别进行分类，每类选取s个样本，共l_n＝s×N个有标签样本组成初始训练集 $D_l^0=\{(x_{l_1},y_{l_1}),...,(x_{l_n},y_{l_n})\},$ 剩余样本为无标签样本 $D_u=\{x_{u_1},x_{u_2},...,x_{u_n}\},$ 其中

表示第l_i个像元的光谱特征，

表示

的标签，u_n表示无标签样本的个数。对迭代次数进行初始化k＝0，且每次迭代加入训练集的无标签样本

迭代终止条件为加入训练集的无标签样本总数为n_u；

1.2Gabor滤波器最大频率为f_max，且频率和尺度个数分别为U、V，高斯半径为σ，Gabor函数的相角为φ；

1.3利用m次交叉验证获得基于概率模型支持向量机最优的高斯半径和惩罚参数；

1.4采用“一对余”多分类器策略将多分类问题转化成多个二分类问题。

（2）空-谱信息提取：、，利用主成分分析方法对高光谱图像进行特征提取，得到每个像元的光谱信息x^w∈R^a，利用二维Gabor滤波器对第一主成分分量进行空间信息提取，得到每个像元的空间信息x^s∈R^b，且将x^w和x^s进行级联，得到x＝(x^w,x^s)∈R^a+b：

2.1光谱信息提取：利用主成分分析方法对高光谱图像进行特征提取，得到每个像元的光谱信息x^w∈R^a；

2.2空间信息提取：利用二维Gabor滤波器对第一主成分分量I进行空间信息提取，

为二维Gabor滤波器的核函数，其中，x和y表示I中某点坐标，f和θ分别为Gabor函数的频率和方向角，φ表示Gabor函数的相角，σ表示高斯半径，γ表示高斯的方向角，为提取I的空间信息，需利用多个不同频率不同方向角的Gabor滤波函数与I(x_n,y_n)进行卷积，令：

$f_u=f_{\max }/{\sqrt{2}}^u,{\mathrm{\θ}}_v=\frac{v}{6}\mathrm{\π},$

u＝0,...,U-1,v＝0,...,V-1

卷积运算后，得到每个像元的空间信息x^s，且对其进行特征提取有：x^s∈R^b；

2.3空-谱信息融合：将x^w和x^s进行级联，得到x＝(x^w,x^s)∈R^a+b；

（3）分类过程：利用训练样本集

对N个基于概率模型的支持向量机进行训练，且对测试样本集进行分类，得到一个后验概率矩阵P_{N×n_test}，，求取P_{N×n_test}每一列的最大值得到n_test维向量P_{1×n_test}，且最大值对应的行数为该测试样本预测标签

i＝1，...，n_test;

（4）半监督分类无标签样本的选取：选取信息最大的无标签样本加入训练集，且重新训练分类器：

4.1空间邻域信息提取：对

求一阶空间邻域样本，去除冗余信息，将空间邻域样本的预测标签同其对应的训练样本标签进行对比，若相等则保留该空间邻域样本得到

4.2主动学习：采用RS、BT以及MBT三种不同的主动学习策略，对进一步简化，从中选取信息量最大的n个样本组成集合更新训练集

返回步骤2，直至满足终止条件，训练集中无标签样本总数为n_u。

本发明的有益效果在于：

本发明将空间信息与光谱信息相结合可以有效地有监督分类方法的性能，随无标签训练样本数的增多本文所提方法性能提升，这是因为当无标签样本增多时，其提供了更多的空间分布信息，使得分类器做出更好的预测。

附图说明

图1有标签样本空间邻域信息的提取策略；

图2a）基于光谱信息分类图；

图2b）基于空-谱信息分类；

图3a）无标签样本数对总体分类精度OA的影响图；

图3b）无标签样本数对Kappa系数的影响图；

图4a）有监督方法分类结果；

图4b）SC³SVM分类结果；

图4c）所提新方法分类结果。

具体实施方式

下面结合附图举例对本发明做更详细地描述。

本发明包括参数设置、空-谱信息提取、分类过程、半监督分类无标签样本的选取四个步骤。具体分析步骤如下：

步骤S1：参数设置。选取训练集和多分类器策略，以及确定Gabor滤波器和基于概率模型的支持向量机的参数。

步骤S2：空-谱信息提取。利用主成分分析方法（PCA）对高光谱图像进行特征提取，得到每个像元的光谱信息x^w∈R^a。利用二维Gabor滤波器对第一主成分分量进行空间信息提取，得到每个像元的空间信息x^s∈R^b，且将x^w和x^s进行级联，得到x＝(x^w,x^s)∈R^a+b；

步骤S3：分类过程。利用训练样本集对基于概率模型的分类器进行训练，且得到每个测试样本的预测标签

n_test表示测试样本的个数；

步骤S4：半监督分类无标签样本的选取。利用空间邻域信息提取策略与主动学习相结合选取信息量最大的无标签样本加入训练集，且重新训练分类器。

本发明为一种有效利用样本空间信息的半监督分类方法，包括参数设置、空-谱信息提取、分类过程、半监督分类无标签样本的选取四个步骤。参数设置是提出新方法初始化的过程；空-谱信息提取将每个像元的光谱信息和空间信息相结合；分类过程利用训练样本训练分类器，且获得测试样本预测标签；半监督分类无标签样本的选取是利用空间邻域信息提取策略与主动学习相结合选取出信息量最大样本作为无标签训练样本，加入训练集。下面给出详细过程：

当前任务是提取样本的空-谱信息；且第k次迭代利用有标签训练样本集

的空间邻域信息

结合主动学习方法选取具有空间分布信息的无标签样本

将其加入训练样本集

重新训练分类器，从而提高所提方法的分类精度。具体分析步骤如下：

步骤S1：参数设置。选取训练集和多分类器策略，以及确定Gabor滤波器和基于概率模

型的支持向量机的参数。该步骤进一步包括以下步骤：

步骤S1.1：选取N个类别进行分类，每类选取s个样本，共l_n＝s×N个有标签样本组成初始训练集 $D_l^0=\{(x_{l_1},y_{l_1}),...,(x_{l_n},y_{l_n})\},$ 剩余样本为无标签样本 $D_u=\{x_{u_1},x_{u_2},...,x_{u_n}\},$ 其中

表示第l_i个像元的光谱特征，

表示

的标签，u_n表示无标签样本的个数。对迭代次数进行初始化k＝0，且每次迭代加入训练集的无标签样本

迭代终止条件为加入训练集的无标签样本总数为n_u；

步骤S1.2：Gabor滤波器最大频率为f_max，且频率和尺度个数分别为U、V，高斯半径为σ，Gabor函数的相角为φ；

步骤S1.3：利用m次交叉验证获得基于概率模型支持向量机最优的高斯半径和惩罚参数；

步骤S1.4：采用“一对余”多分类器策略将多分类问题转化成多个二分类问题。

步骤S2：空-谱信息提取。利用主成分分析方法（PCA）对高光谱图像进行特征提取，得到每个像元的光谱信息x^w∈R^a。利用二维Gabor滤波器对第一主成分分量进行空间信息提取，得到每个像元的空间信息x^s∈R^b，且将x^w和x^s进行级联，得到x＝(x^w,x^s)∈R^a+b，该步骤进一步包括以下步骤：

步骤S2.1：光谱信息提取。利用主成分分析方法（PCA）对高光谱图像进行特征提取，得到每个像元的光谱信息x^w∈R^a；

步骤S2.2：空间信息提取。利用二维Gabor滤波器对第一主成分分量I进行空间信息提取，

为二维Gabor滤波器的核函数，其中，x和y表示I中某点坐标，f和θ分别为Gabor函数的频率和方向角，φ表示Gabor函数的相角，σ表示高斯半径，γ表示高斯的方向角。为提取I的空间信息，需利用多个不同频率不同方向角的Gabor滤波函数与I(x_n,y_n)进行卷积，令：

$f_u=f_{\max }/{\sqrt{2}}^u,{\mathrm{\θ}}_v=\frac{v}{6}\mathrm{\π},$

u＝0,...,U-1,v＝0,...,V-1

卷积运算后，得到每个像元的空间信息x^s，且对其进行特征提取有：x^s∈R^b；

步骤S2.3：空-谱信息融合。将x^w和x^s进行级联，得到x＝(x^w,x^s)∈R^a+b；

步骤S3：分类过程。利用训练样本集

对N个基于概率模型的支持向量机进行训练，且对测试样本集进行分类，得到一个后验概率矩阵P_{N×n_test}，利用“一对多”策略，求取P_{N×n_test}每一列的最大值得到n_test维向量P_{1×n_test}，且最大值对应的行数为该测试样本预测标签

i＝1，...，n_test。

步骤S4：半监督分类无标签样本的选取。利用空间邻域信息提取策略与主动学习相结合选取信息最大的无标签样本加入训练集，且重新训练分类器。该步骤可以分解为下面两个步骤进行操作：

步骤S4.1：空间邻域信息提取。对

求一阶空间邻域样本，去除冗余信息（背景噪声以及不属于测试样本类别的样本），将空间邻域样本的预测标签同其对应的训练样本标签进行对比，若相等则保留该空间邻域样本得到

图1给出了本发明有标签样本空间邻域信息的提取策略。

步骤S4.2：主动学习。采用RS、BT以及MBT三种不同的主动学习策略，对进一步简化，从中选取信息量最大的n个样本组成集合

更新训练集

返回步骤S2，直至满足终止条件，训练集中无标签样本总数为n_u。

为了说明本发明的有效性，特进行如下实验论证。实验数据来自1992年获取的美国印第安纳州西北部印第安农林AVIRIS高光谱遥感图像，其包含144×144个像元，16个类别，220个波段，由于噪声等因素除去其中的20个波段。图像除去背景以外包含16类植被的有监督数据。

首先设置本发明的一些参数：选取样本数较多的8个类别（第2，3，6，8，10，11，12，14类），且每类取10个有标签样本组成训练集

其样本个数l_n＝80，迭代次数进行初始化k＝0，每次迭代

个数取20，且终止条件n_u＝120；Gabor滤波器最大频率为f_max＝0.25，且频率和尺度个数分别为U＝10，V＝6，高斯半径σ＝1，Gabor函数的相角为φ＝0；光谱特征维数a＝20，空间信息的维数b＝7；利用5次交叉验证得到基于概率模型SVM最优的高斯半径δ＝0.75，惩罚参数C＝128。

第一组实验中重点研究空-谱信息对性能的影响。如图2所示，a）中只利用光谱信息x^w；b）中利用光谱信息以及空间信息x＝(x^w,x^s)。通过该组比较可知将空间信息与光谱信息相结合可以有效地有监督分类方法的性能。

第二组实验中重点研究无标签样本个数对性能的影响。实验结果如图3所示，表明不论采用何种主动学习方法（RS，BT和MBT），当不断增加无标签样本的个数，从OA和Kappa系数上分析，随无标签训练样本数的增多本文所提方法性能提升，这是因为当无标签样本增多时，其提供了更多的空间分布信息，使得分类器做出更好的预测。

第三组实验中重点研究不同主动学习方法对新方法性能的影响。选择三种不同的主动学习方法（RS，BT和MBT）。所得结果如表1所示，可以归纳为：1）采用RS方法，提出新方法性能整体呈现上身趋势，但是时有波动，虽然RS可以使得所提新方法性能得到了改进却不是最优的；2）MBT，BT较RS，提出新方法性能提升的幅度较大，当加入少数的无标签样本，采用MBT，提出新方法性能要好于BT，但是随着无标签样本个数的增加，采用BT策略的新方法性能要明显好于采用MBT策略的性能；3）通过求取kappa系数的置信区间，可以确定求得的kappa系数，可以较准确的表示分类方法的性能。

表1不同无标签样本不同主动学习方法对新方法性能的影响

第四组实验中重点比较了经典半监督分类方法SC³SVM与本文提出方法性能提高的幅度。实验结果如图4所示，a）为有监督方法分类结果b）SC³SVM分类结果c）本文所提出方法分类结果，明显新提出方法较SC³SVM半监督分类方法对有监督分类方法性能的提高幅度大，充分说明所提新方法更有效地利用了训练样本的空间信息，提高半监督方法的分类性能。

Claims (1)

1.一种基于空-谱信息的高光谱半监督分类方法，其特征在于：

（1）参数设置：选取训练集和多分类器策略，以及确定Gabor滤波器和基于概率模型的支持向量机的参数：

1.1选取N个类别进行分类，每类选取s个样本，共l_n＝s×N个有标签样本组成初始训练集 $D_l^0=\{(x_{l_1},y_{l_1}),...,(x_{l_n},y_{l_n})\},$ 剩余样本为无标签样本 $D_u=\{x_{u_1},x_{u_2},...,x_{u_n}\},$ 其中

表示第l_i个像元的光谱特征，表示

的标签，u_n表示无标签样本的个数，对迭代次数进行初始化k＝0，且每次迭代加入训练集的无标签样本

迭代终止条件为加入训练集的无标签样本总数为n_u；

1.2Gabor滤波器最大频率为f_max，且频率和尺度个数分别为U、V，高斯半径为σ，Gabor函数的相角为φ；

1.3利用m次交叉验证获得基于概率模型支持向量机最优的高斯半径和惩罚参数；

1.4采用“一对余”多分类器策略将多分类问题转化成多个二分类问题；

（2）空-谱信息提取：利用主成分分析方法对高光谱图像进行特征提取，得到每个像元的光谱信息x^w∈R^a，利用二维Gabor滤波器对第一主成分分量进行空间信息提取，得到每个像元的空间信息x^s∈R^b，且将x^w和x^s进行级联，得到x＝(x^w,x^s)∈R^a+b：

2.1光谱信息提取：利用主成分分析方法对高光谱图像进行特征提取，得到每个像元的光谱信息x^w∈R^a；

2.2空间信息提取：利用二维Gabor滤波器对第一主成分分量I进行空间信息提取，

为二维Gabor滤波器的核函数，其中，x和y表示I中某点坐标，f和θ分别为Gabor函数的频率和方向角，φ表示Gabor函数的相角，σ表示高斯半径，γ表示高斯的方向角，为提取I的空间信息，需利用多个不同频率不同方向角的Gabor滤波函数与I(x_n,y_n)进行卷积，令：

$f_u=f_{\max }/{\sqrt{2}}^u,{\mathrm{\θ}}_v=\frac{v}{6}\mathrm{\π},$

u＝0,...,U-1,v＝0,...,V-1

卷积运算后，得到每个像元的空间信息x^s，且对其进行特征提取有：x^s∈R^b；

2.3空-谱信息融合：将x^w和x^s进行级联，得到x＝(x^w,x^s)∈R^a+b；

（3）分类过程：利用训练样本集

对N个基于概率模型的支持向量机进行训练，且对测试样本集进行分类，得到一个后验概率矩阵P_{N×n_test}，，求取P_{N×n_test}每一列的最大值得到n_test维向量P_{1×n_test}，且最大值对应的行数为该测试样本预测标签

i＝1，...，n_test;

（4）半监督分类无标签样本的选取：选取信息最大的无标签样本加入训练集，且重新训练分类器：

4.1空间邻域信息提取：对

求一阶空间邻域样本，去除冗余信息，将空间邻域样本的预测标签同其对应的训练样本标签进行对比，若相等则保留该空间邻域样本得到

4.2主动学习：采用RS、BT以及MBT三种不同的主动学习策略，对

进一步简化，从中选取信息量最大的n个样本组成集合更新训练集

返回步骤2，直至满足终止条件，训练集中无标签样本总数为n_u。

Images