CN104182767B - 主动学习和邻域信息相结合的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种主动学习和邻域信息相结合的高光谱图像分类方法。针对高光谱图像中标签样本的建立需要实地考察及传统方法只考虑单一的光谱信息问题。其实现步骤是：(1)用初始已标记样本集X_l训练SVM分类器；(2)用SVM分类器从未标注样本集X_u中挑选信息量最大的q个样本由专家标注；(3)将专家标注后的q个样本放入X_l中；(4)用更新后X_l重新训练SVM分类器；(5)根据停止准则判断是否退出循环；(6)迭代完成后用训练好的SVM分类器对测试样本集进行测试；(7)利用X_l中每个样本的邻域信息对测试结果进行修正，得到最终分类结果。本发明实现了高光谱图像的空谱结合，相比其他同类方法，可以得到更好的分类结果。

Description

主动学习和邻域信息相结合的高光谱图像分类方法

技术领域

本发明属于高光谱图像处理方法与应用技术领域，涉及一种同时利用主动学习和邻域信息的高光谱图像分类方法，可用于地图制图、植被调查、海洋遥感、农业遥感、大气研究、环境监测等领域。

背景技术

遥感是20世纪60年代发展起来的对地观测综合性技术，是指在不直接接触的情况下，对目标或自然现象远距离探测和感知的一种技术。遥感作为一门新兴的综合性探测技术科学，其发展还不到50年，而高光谱分辨率遥感就更年轻了，至今还不到30年的历史。但他们由于建立在现代物理学、电子计算机技术、数学方法和地学规律基础上，发展迅猛，已在地理学、地质学、生态学、环境科学、大气科学和海洋学等学科领域得到广泛的研究和应用。近年来，高光谱遥感正由航空遥感为主转向航空和航天遥感相结合的阶段，成为地图制图、植被调查、海洋遥感、农业遥感、大气研究、环境监测等领域的有效技术手段。

高光谱遥感是将成像技术和光谱技术相结合的多维信息获取技术，同时探测目标的二维几何空间与一维光谱信息，获取高分辨率的连续、窄波段的图像数据。一般认为，光谱分辨率在10^-1λ数量级范围内的遥感称为多光谱遥感，光谱分辨率在10^-2λ数量级范围内的遥感称为高光谱遥感，光谱分辨率在10^-3λ数量级范围内的遥感称为超光谱遥感。高光谱遥感数据的光谱分辨率高达10^-2λ数量级，在可见光到短波红外波段范围内光谱分辨率为纳米(nm)级，光谱波段数多达数十个甚至数百个以上，各光谱波段之间通常是连续的，因此高光谱遥感通常又被称为成像光谱遥感。

高光谱图像分类是基于图像像元的光谱与空间特性，对每个像元所代表的不同类别地物进行类别属性的确定和标注。经过科技工作者多年的研究和探索，高光谱图像分类技术取得了巨大的发展，形成了一系列针对高光谱图像特点的地物分类算法。归纳起来，这些算法主要从两个方面进行考虑：分别是基于光谱特征空间的分类方法和基于数据统计特性的分类方法。

基于光谱特征空间的高光谱图像分类，是一类基于图像光谱特征的分类方法，该方法建立在对高光谱图像光谱特征提取和变换的基础上，利用基于地物物理光学性质的光谱曲线来进行地物识别。

基于统计特征的分类策略，通常可分为无监督和监督分类两种方法，无监督分类方法不需要先验知识，可以直接对原始高光谱遥感图像进行分类，虽然分类精度往往有所欠缺，但容易实现，也是常用的分类方法之一，例如K均值聚类。监督分类策略需要一定的先验知识，首先要经过学习、训练得到分类器，并利用得到的分类器对未标签的样本进行分类。而半监督分类在学习过程中融合了标签样本和未标签样本的信息，利用海量未标签样本所含信息来改进分类器，提高分类精度。

现有的高光谱图像分类方法有K均值聚类、决策树方法、Naive Bayesian学习方法、人工神经网络、K近邻法(K nearest neighbor，KNN)、支持向量机(Support VectorMachines，SVM)等等。在机器学习领域，目前基于结构风险最小化原理的支持向量机在理论研究和算法实现上都取得了很大进展，与传统分类器相比较取得了较好的分类效果，成为解决“维数灾难”和“过学习”问题的有力手段。相对于传统地物分类方法，SVM于高光谱分类具有比较好的效果，因为支持向量机应用于分类时具有适用于高维特征空间、小样本统计学习等特点，这些特点降低了高光谱图像分类中Hughes现象的影响，目前SVM在高光谱分类中已经有了很多成功的应用。

然而，传统的SVM方法的不足在于，训练分类器时需要大量已经标注好的样本参与训练，但是，标注样本并不是越多越好，过多的标注样本会产生冗余，增加计算的工作量；而且，大量的已标注样本中并不是每个样本都是对分类器的训练有用的。因此，在进行样本标注时，除了要保证一定的数量外，还应保证标注样本的质量，这样不但能提高分类器的分类性能，而且能减少人工标注的工作量。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种主动学习和邻域信息相结合的高光谱图像分类方法，以在训练样本数量很少的情况下，提高分类效果。

为实现上述目的，本发明的实现步骤包括如下：

(1)把大小为m×n的待分类高光谱图像中的所有像元作为总样本集X，在总样本集X中随机选择1％的样本进行专家标记，作为已标记样本集X_l，将其余样本集X_u作为未标记样本集，并用已标记样本集X_l对初始的SVM分类器进行训练，设置最大迭代次数T，T>0，并开始第一次迭代；

(2)用训练后的SVM分类器根据主动学习的采样策略从未标记样本集X_u中挑选出信息含量最大的q个样本，由专家进行标记，其中q小于X_u中样本的个数；

(3)将专家标记后的q个样本放入已标记样本集X_l中，并将该q个样本从未标记样本集X_u中移除，得到更新后的已标记样本集X_l’和未标记样本集X_u’，令已标记样本集X_l＝X_l’，未标记样本集X_u＝X_u’；

(4)用已标记样本集X_l重新对SVM分类器进行训练，完成一次迭代；

(5)根据停止准则判断是否退出迭代：如果达到最大迭代次数，则退出迭代，继续下一步骤，否则返回步骤2，进行下一次迭代，并使迭代次数加一；

(6)利用步骤(4)中训练好的SVM分类器对未标记样本集X_u进行测试得到初始测试结果；

(7)应用已标记样本集X_l中每个样本的邻域信息对步骤(6)中的测试结果进行修正，得到最终分类结果：

(7a)对于已标记样本集X_l中的一个样本(x_i,y_i)，判断与其相邻的四个样本x_i-n,x_i-1,x_i+1,x_i+n是否在未标记样本集X_u中：如果在，分别求样本x_i-n,x_i-1,x_i+1,x_i+n与x_i的光谱相关系数S_i-n,S_i-1,S_i+1,S_i+n；如果不在，则初始测试结果中样本x_i-n,x_i-1,x_i+1,x_i+n对应的标签不变，其中，x_i表示高光谱图像中第i个样本的特征向量，y_i表示高光谱图像中第i个样本的标签，(x_i,y_i)∈X_l，n为待分类高光谱图像的列数；

(7b)将光谱相关系数S_i-n,S_i-1,S_i+1,S_i+n分别与设定的阈值ω进行大小比较，根据比较的结果对初始测试结果中对应样本的标签进行修正，其中0.95<ω<1；

(7c)重复步骤(7a)和(7b)对已标记样本集X_l中所有的样本进行修正，得到的修正结果则为最终的分类结果。

本发明与现有技术相比具有以下优点：

1.本发明采用基于支持向量机的主动学习方法来选择训练样本集，主动学习在学习过程中选择最有利于分类器性能的样本来进一步训练分类器，与传统的有监督分类方法相比，它最大的优点是当仔细、合理地选择训练样本后，需要的实际训练样本数量将大大减少，这就意味着人工标注的工作量也将随之减少，同时，分类器的性能也将有所提高。

2.本发明应用已标注样本集中样本的邻域信息对初始测试结果进行修正这一步，不仅在主动学习中利用到了高光谱图像的光谱信息，而且在对初始测试结果进行修正的过程中利用了高光谱图像的空间信息，达到了空-谱结合的目的，也使分类正确率有了很大的提升。

附图说明

图1是本发明的实现流程图；

图2是本发明中用SVM分类器从未标注样本集X_u中挑选信息含量最大的q个样本的流程图；

图3是应用已标注样本集X_l中每个样本的邻域信息对初始测试结果进行修正的流程图；

图4是本发明所采用的高光谱图像的真实16类地物标签图；

图5是用本发明和对比方法对高光谱图像进行分类的结果图；

具体实施方式

参照图1，本发明的具体步骤如下：

步骤1,用已标记样本集X_l对初始的SVM分类器进行训练。

将图4中大小为m×n的待分类高光谱图像中的所有像元作为总样本集X，在总样本集X中随机选择1％的样本进行专家标记，作为已标记样本集X_l，将其余样本集X_u作为未标记样本集，并用已标记样本集X_l对初始的SVM分类器进行训练，设置最大迭代次数T，T>0，并准备第一次迭代；

SVM方法是从线性可分情况下的最优分类面提出的，它是实现统计学习理论思想的方法。所谓最优分类面就是要求分类面不但能将两类无错误地分开，而且要使两类的分类间隔最大。SVM的决策函数可以表达为：

f(x)＝ω^TΦ(x)+b 1)

ω和b分别表示权值向量和偏斜量。Φ(x)是非线性映射函数，用于将低维空间线性不可分的样本映射到高维空间，使得样本在高维空间中线性可分。f(x)＝ω^TΦ(x)+b＝0所表示的超平面即为SVM的分类面，f(x)＝ω^TΦ(x)+b＝±1所表示的超平面称为SVM分类器的边界(margin)。

对于两类分类问题，设在d维空间中有一组训练样本x_i∈R^d，i＝1,...,N,样本的类别标签为y_i∈{+1,-1}。SVM就是要寻找一个最优分类面，使得该分类面既能最大化分类间隔又能正确分类训练样本x_i∈R^d，i＝1,...,N。具体可以表述为：

其中，ξ_i代表松弛变量。C是惩罚因子，用来控制对松弛变量ξ_i的惩罚程度。通过拉格朗日乘子法求解公式(2)中的优化问题可得：

其中，是拉格朗日乘子。公式(3)中有相当多的值会等于0，而那些值不等于0的样本被称之为支持向量。将(3)式代入(1)式后可将SVM的决策函数重写为：

其中，M表示支持向量的个数。Φ(x_i)^TΦ(x)的值可以通过核函数k(x_i,x)＝Φ(x_i)^TΦ(x)求得，而不需要知道映射函数Φ(·)的显示表达式。本发明中的核函数采用的是径向基核函数，即：

k(x_i,x)＝exp(-γ||x_i-x||²) 5)

对于任一测试样本x，将其代入SVM分类器，则样本的分类标签y可由下式得到：

y＝sgn(f(x)) 6)

即f(x)>0，则样本x属于+1类，f(x)<0，则样本属于-1类。

步骤2，用训练后的SVM分类器根据主动学习的采样策略从未标记样本集X_u中挑选出信息含量最大的q个样本，由专家进行标记，其中q小于X_u中样本的个数。

根据步骤1中训练得到的SVM分类器，采用一种采样算法从未标注样本集X_u中选择信息含量最大即最有利于分类器性能的q个样本。在这个过程中，采取何种采样算法是关键，如何选择新的样本进行评价直接关系到整个算法的性能。根据样本到当前SVM分类面的距离对样本进行采样的MS方法是主动学习中比较流行的采样方法之一，它的原理是抽取那些最难分类的样本进行标注。对SVM分类器来说，越靠近分类面的样本，越难确定它们的类别，而且也越有可能成为支持向量，所以，最靠近分类面的样本被认为是信息含量最大的样本，在下一次迭代中选择最靠近当前分类面的q个样本进行标注。

参照图2，本步骤的具体实现如下：

(2a)对于未标记样本集X_u＝{x_u1，x_u2，…,x_uk}，分别计算每个样本x_u1，x_u2，…,x_uk与上一次迭代过程中训练得到的SVM分类器的分类面之间的距离，记做|f(x_u1)|,|f(x_u2)|,…|f(x_uk)|；

(2b)对该k个距离值|f(x_u1)|,|f(x_u2)|,…|f(x_uk)|进行从小到大的排序；

(2c)选择前q个距离最小的未标记样本进行标记。

步骤3，用标注后的q个样本更新已标记样本集X_l和未标记样本集X_u。

将专家标记后的q个样本放入已标记样本集X_l中，并将该q个样本从未标记样本集X_u中移除，得到更新后的已标记样本集X_l’和未标记样本集X_u’，令已标记样本集X_l＝X_l’，未标记样本集X_u＝X_u’。

步骤4，用已标记样本集X_l重新对SVM分类器进行训练，完成一次迭代。

步骤5，判断是否退出迭代。

根据停止准则判断是否退出迭代：如果达到最大迭代次数，则退出迭代，继续下一步骤，否则返回步骤2，进行下一次迭代，并使迭代次数加一。

最大迭代次数的设置，可以根据专家对标注工作量的接受程度来定，假设标注专家在主动学习的迭代过程中最多愿意标注q个样本，则最大迭代次数的取值即设定为1。

步骤6，利用步骤(4)中训练好的SVM分类器对未标记样本集X_u进行测试，得到初始测试结果。

步骤7，应用已标记样本集X_l中每个样本的邻域信息对步骤(6)中的测试结果进行修正，得到最终分类结果。

参照图3，本步骤的具体实现如下：

(7a)对于已标记样本集X_l中的一个样本(x_i,y_i)，判断与其相邻的四个样本x_i-n,x_i-1,x_i+1,x_i+n是否在未标记样本集X_u中：如果在，分别求样本x_i-n,x_i-1,x_i+1,x_i+n与x_i的光谱相关系数S_i-n,S_i-1,S_i+1,S_i+n；如果不在，则初始测试结果中样本x_i-n,x_i-1,x_i+1,x_i+n对应的标签不变，其中，x_i表示高光谱图像中第i个样本的特征向量，y_i表示高光谱图像中第i个样本的标签，(x_i,y_i)∈X_l，n为待分类高光谱图像的列数；

(7b)将光谱相关系数S_i-n,S_i-1,S_i+1,S_i+n分别与设定的阈值ω进行大小比较，根据比较的结果对初始测试结果中对应样本的标签进行修正，其中0.95<ω<1,其中，修正的步骤按如下规则进行：

如果S_i-n>ω，则把初始测试结果中样本x_i-n对应的标签修正为y_i；如果S_i-n≤ω，则初始测试结果中样本x_i-n的标签不变；

如果S_i-1>ω，则把初始测试结果中样本x_i-1对应的标签修正为y_i；如果S_i-1≤ω，则初始测试结果中样本x_i-1的标签不变；

如果S_i+1>ω，则把初始测试结果中样本x_i+1对应的标签修正为y_i；如果S_i+1≤ω，则初始测试结果中样本x_i+1的标签不变；

如果S_i+n>ω，则把初始测试结果中样本x_i+n对应的标签修正为y_i；如果S_i+n≤ω，则初始测试结果中样本x_i+n的标签不变；

(7c)重复步骤(7a)和(7b)对已标记样本集X_l中所有的样本进行修正，得到的修正结果则为最终的分类结果。

本发明的效果可以通过以下仿真结果进一步说明：

1.实验条件

实验环境为：windows XP，SPI，CPU Pentium(R)4，基本频率2.4GHZ，软件平台为MatlabR2010a。

本发明所用的数据集AVIRIS Indiana Pines是高光谱分类实验中一个常用的数据，它是由美国国家航天局的机载可见/红外成像光谱仪(AVIRIS)对美国Indiana州西北部印第安遥感实验区的成像，于1992年获取。它包含了农作物、草地及森林植被的混合区，共十六类地物。整幅图像大小为145×145像素，空间分辨率20m×20m，去掉20个杂波波段后剩余200个波段，波长范围为400～2500nm。

光谱相关系数的阈值设置为0.96。设置初始已标注训练样本为50个，包含16类，q为50，即每次选择50个信息含量最大的样本进行标注后加入到已标注样本集中，迭代次数为19，即标注专家在主动学习的迭代过程中总共标注950个样本，也就是说，总训练样本数为1000个，剩余的都为测试样本。

2.实验内容

用本发明方法和现有的两种分类方法对以上数据集进行分类，这两种分类方法分别为：基于随机采样RS的主动学习方法和基于样本到当前SVM分类面的距离对样本进行采样MS主动学习方法，这两种方法都没有结合图像的邻域信息。三种方法所用的分类器都是SVM分类器，实验中采用网格搜索法对SVM分类器的参数C和γ进行自动寻优，实验结果如图5所示，其中：

图5(a)是采用基于随机采样RS的主动学习方法对待分类高光谱图像进行分类的结果图；

图5(b)是采用基于样本到当前SVM分类面的距离对样本进行采样MS主动学习方法对待分类高光谱图像进行分类的结果图；

图5(c)是采用本发明方法对待分类高光谱图像进行分类的结果图。

根据上述实验，得到三种方法对图像分类的数值统计结果，如表1所示。

表1分类结果的数值统计

由表1可以看出：基于RS的主动学习方法由于每一代选择加入的训练样本是随机产生的，所以导致分类精度整体偏低；基于MS的主动学习方法很明显比基于RS的主动学习方法效果好很多，而且在迭代前期，分类精度上升的趋势很明显；本发明的方法不仅保留了基于MS的主动学习方法的优点，而且在其基础上又有很大的提升，本发明方法在训练样本较少的情况下也能得到相对较好的结果，比如在训练样本只有300个的情况下，应用本发明方法就可使分类精度达到80％以上，而在850个训练样本的情况下，应用本发明方法的分类结果就达到90％以上。与两种对比算法相比，本发明不仅在前期主动学习阶段利用了高光谱图像的光谱信息，而且在主动学习完成之后又利用到了图像的空间信息，实现了高光谱图像的空-谱结合，相比现有同类方法，得到更好的分类结果。

Claims (3)

1.一种主动学习和邻域信息相结合的高光谱图像分类方法，包括如下步骤：

(1)把大小为m×n的待分类高光谱图像中的所有像元作为总样本集X，在总样本集X中随机选择1％的样本进行专家标记，作为已标记样本集X_l，将其余样本集X_u作为未标记样本集，并用已标记样本集X_l对初始的SVM分类器进行训练，设置最大迭代次数T，T>0，并开始第一次迭代；

(2)用训练后的SVM分类器根据主动学习的采样策略从未标记样本集X_u中挑选出信息含量最大的q个样本，由专家进行标记，其中q小于X_u中样本的个数；

(3)将专家标记后的q个样本放入已标记样本集X_l中，并将该q个样本从未标记样本集X_u中移除，得到更新后的已标记样本集X_l’和未标记样本集X_u’，令已标记样本集X_l＝X₁’，未标记样本集X_u＝X_u’；

(4)用已标记样本集X_l重新对SVM分类器进行训练，完成一次迭代；

(5)根据停止准则判断是否退出迭代：如果达到最大迭代次数，则退出迭代，继续下一步骤，否则返回步骤2，进行下一次迭代，并使迭代次数加一；

(6)利用步骤(4)中训练好的SVM分类器对未标记样本集X_u进行测试得到初始测试结果；

(7)应用已标记样本集X_l中每个样本的邻域信息对步骤(6)中的测试结果进行修正，得到最终分类结果：

(7a)对于已标记样本集X_l中的一个样本(x_i,y_i)，判断与其相邻的四个样本x_i-n,x_i-1,x_i+1,x_i+n是否在未标记样本集X_u中：如果在，分别求样本x_i-n,x_i-1,x_i+1,x_i+n与x_i的光谱相关系数S_i-n,S_i-1,S_i+1,S_i+n；如果不在，则初始测试结果中样本x_i-n,x_i-1,x_i+1,x_i+n对应的标签不变，其中，x_i表示高光谱图像中第i个样本的特征向量，y_i表示高光谱图像中第i个样本的标签，(x_i,y_i)∈X_l，n为待分类高光谱图像的列数；

(7b)将光谱相关系数S_i-n,S_i-1,S_i+1,S_i+n分别与设定的阈值ω进行大小比较，根据比较的结果对初始测试结果中对应样本的标签进行修正，其中0.95<ω<1；

(7c)重复步骤(7a)和(7b)对已标记样本集X_l中所有的样本进行修正，得到的修正结果则为最终的分类结果。

2.根据权利要求1中所述的方法，其中步骤(2)所述的用训练后的SVM分类器根据主动学习的采样策略从未标记样本集X_u中挑选出信息含量最大的q个样本，由专家进行标记，其步骤如下：

(2a)对于未标记样本集X_u＝{x_u1，x_u2，…,x_uk}，分别计算每个样本x_u1，x_u2，…,x_uk与上一次迭代过程中训练得到的SVM分类器的分类面之间的距离，记做|f(x_u1)|,|f(x_u2)|,…|f(x_uk)|；

(2b)对该k个距离值|f(x_u1)|,|f(x_u2)|,…|f(x_uk)|进行从小到大的排序；

(2c)选择前q个距离最小的未标记样本进行标记。

3.根据权利要求1中所述的方法，其中步骤(7b)所述的将光谱相关系数S_i-n,S_i-1,S_i+1,S_i+n分别与设定的阈值ω进行大小比较，根据比较结果对初始测试结果中对应样本的标签进行修正，按如下规则进行：

如果S_i-n>ω，则把初始测试结果中样本x_i-n对应的标签修正为y_i；如果S_i-n≤ω，则初始测试结果中样本x_i-n的标签不变；

如果S_i-1>ω，则把初始测试结果中样本x_i-1对应的标签修正为y_i；如果S_i-1≤ω，则初始测试结果中样本x_i-1的标签不变；

如果S_i+1>ω，则把初始测试结果中样本x_i+1对应的标签修正为y_i；如果S_i+1≤ω，则初始测试结果中样本x_i+1的标签不变；

如果S_i+n>ω，则把初始测试结果中样本x_i+n对应的标签修正为y_i；如果S_i+n≤ω，则初始测试结果中样本x_i+n的标签不变。