CN105046673A - 基于自学习的高光谱图像和可见光图像融合分类方法 - Google Patents

Abstract

基于自学习的高光谱图像和可见光图像融合分类方法，属于高光谱图像小样本分类领域。现有的主动学习算法忽略了对候选样本集的确定过程，且人工标记候选样本集中信息量最大的样本存在程耗时费力的问题。一种基于自学习的高光谱图像和可见光图像融合分类方法，首先，获取大量未标记样本的对象标签；然后，根据对象标签和分类标签确定候选样本集，这样在确定候选样本的同时获得样本的标签，避免人工标记的过程。本发明具有提高分类精度的优点。

Description

基于自学习的高光谱图像和可见光图像融合分类方法

技术领域

本发明涉及一种基于自学习的高光谱图像和可见光图像融合分类方法。

背景技术

主动学习在高光谱图像小样本分类问题中表现出良好的性能，因而得到了广泛的研究。然而已有的主动学习算法研究重点均在于，如何从确定的候选样本集中选择信息量最大的样本进行人工标记并加入训练集中，忽略了对候选样本集的确定，且人工标记候选样本过程耗时费力。此外，经典的主动学习算法不能很好地实现高光谱图像和可见光图像的协同分类。

发明内容

本发明的目的是为了解决现有的主动学习算法忽略了对候选样本集的确定过程，以及人工标记候选样本集中信息量最大的样本存在程耗时费力的问题，而提出一种基于自学习的高光谱图像和可见光图像融合分类方法。

一种基于自学习的高光谱图像和可见光图像融合分类方法，所述融合分类方法通过以下步骤实现：

步骤一、将已经过配准的可见光图像分割成可见光图像区域组，则同一可见光图像区域及其内部所有像元属于同一类别，将可见光图像区域中含有属于训练样本的像元定义为训练型像元，将训练型像元的类别标签y_k指定给含有训练型像元的可见光图像区域；则由第k个训练样本所在的可见光图像区域中所有未标记样本组成未标记样本子集由所有未标记样本子集组成未标记样本集O^U，即：且未标记样本集O^U中所有样本都具有相应类别标签y；

其中，初始训练样本集X^L表示为：y_k∈{1,2,...,C}，k∈[1,n]，属于第k个训练样本所在的可见光图像区域，C表示可见光图像区域的类别个数，表示第k个训练样本所在的可见光图像区域中所有未标记样本组成的未标记样本子集，表示所有未标记样本子集组成的未标记样本集O^U；

步骤二、利用初始训练样本集X^L训练SVM高光谱分类模型；

步骤三、利用SVM高光谱分类模型对未标记样本子集O^U进行分类，得到分类器预测标签

步骤四、判断类别标签y_k与分类器预测标签是否相等，若相等，则将类别标签y_k加入到候选样本集中，建立由未标记样本子集和类别标签y_k两个量组成的候选样本，在获得候选样本的同时，确定候选样本实际标签；若不等，则舍弃；

步骤五、利用步骤四建立的候选样本构成候选样本集X^C，设候选样本集X^C和支持向量所在的集合为支持向量集合X^SV；之后遍历候选样本集X^C中第1到第N个候选样本，查找与候选样本x_i的标签y_i一致的支持向量

步骤六、根据欧式距离计算公式： $d_{ij}=\sqrt{\underset{m}{\Σ}{(x_{im}-{\mathrm{SV}}_{jm})}^2}---\left(1\right);$ 计算候选样本x_i与各支持向量之间的欧式距离d_ij，衡量候选样本x_i与支持向量之间的光谱相似度；其中，候选样本x_i，i∈[1,N]，N表示候选样本x_i的个数，SV_j表示第j个支持向量，j∈[1,M]，M表示具有与x_i相同类别标签的支持向量个数；

步骤七、选取步骤六获得的每个候选样本x_i的欧式距离d_ij中的最小欧式距离即： $d_{ij}^{min}=\underset{j}{\arg \min }{d}_{ij};$

步骤八、判断步骤七获得的最小欧式距离与给定阈值δ之间的大小关系，若为小于关系，则保留最小欧式距离对应的候选样本x_i，并形成优化的候选样本集若为大于等于关系，则剔除最小欧式距离对应的候选样本；

步骤九、输出步骤八中形成的优化的候选样本集

步骤十、利用主动学习模型从优化的候选样本集中选择具有最大信息量的样本构成最大信息量样本集X^I；

步骤十一、将步骤八形成的优化的候选样本集清空，即：

将优化的候选样本集更新为新的优化的候选样本集X^C′；

根据X^L′＝X^L∪X^I(3)

将初始训练样本集X^L更新为新的训练样本集X^L′；

根据O^U′＝O^U\X^I(4)

将未标记样本子集更新为新的未标记样本子集

步骤十二、重复迭代步骤二至步骤十一的过程，直到满足终止条件：最大迭代次数或设定的训练样本数量，输出由训练集X^L训练得到的SVM高光谱分类模型。

本发明的有益效果为：

本发明通过自学习分类模型进行自学习过程，综合考虑了对象标签和分类器预测标签，从大量的未标记样本中选择出具有最大信息量的样本，加入到训练集中。通过多次迭代，训练得到的分类器能更好地拟合未标记样本的分布情况，提升分类精度。

再通过判别对象内部的未标记样本到各自类别的支持向量间的光谱相似性，剔除高光谱图像在区域的边缘处经常产生的与训练样本具有显著差异的混合像元，在训练学习的过程中应避免选择这类像元，从而得到更加准确的分类模型。

本发明基于主动学习的协同分类方法相对于传统监督分类方法，对高光谱图像分类结果的精度提高至94-96％，得到符合要求的分类结果。

附图说明

图1为本发明方法的流程图；

图2为本发明设计的基于区域分割自学习方法确定训练样本过程示意图；图中，图2-a表示由图像分割得到的标记样本所在的区域，图2-b表示由分类器根据光谱特征得到的预测概率，图2-c表示建立的候选样本集，图2-d表示经主动学习算法选择的新训练样本；

图3为本发明步骤五至步骤八所示的由已知样本和未知样本训练得到的SVM分类超平面示意图；图中，3-a表示由初始训练样本得到的分类超平面；3-b表示主动学习第一次迭代得到的候选样本及训练得到的超平面；3-c表示经过优化得到的候选样本及训练得到的超平面，且子图3-b和子图3-c中点划线表示图3-a中的分类超平面；

图4为实施例涉及的由ROSIS传感器在Pavia大学获得的高光谱图像；图中，子图4-a表示Pavia大学高光谱图像，子图4-b表示Pavia大学全色图像，子图4-c表示Pavia大学地面真值图；

图5为实施例涉及的由ROSIS传感器在Pavia市中心获得的高光谱图像；图中，子图5-a表示Pavia市中心高光谱图像，子图5-b表示Pavia市中心全色图像，子图5-c表示Pavia市中心地面真值图；

图6为实施例涉及的Pavia大学的分类结果示意图；

图7为实施例涉及的Pavia市中心的分类结果示意图；

图8为实施例涉及的Pavia大学图像取5个初始训练样本的一次分类结果；图中，子图8-a表示采用SVM方法达到精度为63.70％的分类结果示意图，子图8-b表示采用MS主动学习方法达到精度为76.18％的分类结果示意图，子图8-c表示采用MBT主动学习方法达到精度为76.80％的分类结果示意图，子图8-d表示采用MS主动学习方法达到精度为75.24％的分类结果示意图，子图8-e表示Groundtruthmap示意图。

具体实施方式

具体实施方式一：

本实施方式的基于自学习的高光谱图像和可见光图像融合分类方法，关于基于高分影像分割的自学习方法，高分辨率影像提供了地物精细的空间和结构信息，使得传统的基于像元光谱特征的分类方法不能获得较为满意的结果。随着分辨率的提升，地物的连续性和均匀性发生了改变，相同地物常反射出不同的光谱特征，即“同物异谱”现象。这种现象造成了分类制图中常出现斑点空洞的噪声现象，因此形成了面向对象的分类方法。面向对象以图像分割为基础，将高分辨率影像分割成大小不一的由相同地物构成的多个区域，每个区域由具有相似特征的多个像元组成。近年来，形成了多种图像分割的算法，比如边缘检测方法、形态学分水岭方法、区域生长方法等等。

基于高分影像分割的自学习算法假设在最优分割尺度下，属于同一个对象的所有像元具有相同的类别标签。因此，对于给定的一个标记样本，位于同一个局部区域内的其它未标记样本很大程度上可能属于该标记样本的所属类别，称之为对象类别标签。该自学习算法综合了样本的光谱特征和空间信息，考虑对象标签和分类器对像元的预测标签之间的一致性，并选择其中部分样本作为新的训练样本。

如图1所示，所述融合分类方法通过以下步骤实现：

步骤一、将已经过配准的可见光图像选取适当尺度分割成可见光图像区域组，则在最优分割尺度下，同一可见光图像区域及其内部所有像元属于同一类别，将可见光图像区域中含有属于训练样本的像元定义为训练型像元，将训练型像元的类别标签y_k指定给含有训练型像元的可见光图像区域；则由第k个训练样本所在的可见光图像区域中所有未标记样本组成未标记样本子集由所有未标记样本子集组成未标记样本集O^U，即：且未标记样本集O^U中所有样本都具有相应类别标签y；

其中，初始训练样本集X^L表示为：y_k∈{1,2,...,C}，k∈[1,n]，属于第k个训练样本所在的可见光图像区域，C表示可见光图像区域的类别个数，表示第k个训练样本所在的可见光图像区域中所有未标记样本组成的未标记样本子集，表示所有未标记样本子集组成的未标记样本集O^U；

步骤二、利用初始训练样本集X^L训练SVM高光谱分类模型；

步骤三、利用SVM高光谱分类模型对未标记样本子集O^U进行分类，得到分类器预测标签

步骤四、判断类别标签y_k与分类器预测标签是否相等，若相等，则将类别标签y_k加入到候选样本集中，建立由未标记样本子集和类别标签y_k两个量组成的候选样本，在获得候选样本的同时，确定候选样本实际标签，避免人工标记的过程；若不等，则舍弃；

至此，进行如图2所示的基于区域分割自学习方法的主要思想的过程，以在确定候选样本的同时获得样本的标签，避免人工标记的过程；

步骤五、利用步骤四建立的候选样本构成候选样本集X^C，设候选样本集X^C和支持向量所在的集合为支持向量集合X^SV；之后遍历候选样本集X^C中第1到第N个候选样本，查找与候选样本x_i的标签y_i一致的支持向量

步骤六、根据欧式距离计算公式： $d_{ij}=\sqrt{\underset{m}{\Σ}{(x_{im}-{\mathrm{SV}}_{jm})}^2}---\left(1\right);$ 计算候选样本x_i与各支持向量之间的欧式距离d_ij，衡量候选样本x_i与支持向量之间的光谱相似度；其中，候选样本x_i，i∈[1,N]，N表示候选样本x_i的个数，SV_j表示第j个支持向量，j∈[1,M]，M表示具有与x_i相同类别标签的支持向量个数；

步骤七、选取步骤六获得的每个候选样本x_i的欧式距离d_ij中的最小欧式距离即： $d_{ij}^{min}=\underset{j}{\arg \min }{d}_{ij};$

步骤八、判断步骤七获得的最小欧式距离与给定阈值δ之间的大小关系，若为小于关系，则保留最小欧式距离对应的候选样本x_i，并形成优化的候选样本集若为大于等于关系，则剔除最小欧式距离对应的候选样本；至此，进行如图3所示的剔除具有显著光谱差异的候选样本过程，得到更加精确的分类结果。

步骤九、输出步骤八中形成的优化的候选样本集

步骤十、利用主动学习模型从优化的候选样本集中选择具有最大信息量的样本构成最大信息量样本集X^I；

步骤十一、将步骤八形成的优化的候选样本集清空，即：

将优化的候选样本集更新为新的优化的候选样本集X^C′，以便下一次迭代重新选择；

根据X^L′＝X^L∪X^I(3)

将初始训练样本集X^L更新为新的训练样本集X^L′；

根据O^U′＝O^U\X^I(4)将未标记样本子集更新为新的未标记样本子集

步骤十二、重复迭代步骤二至步骤十一的过程，直到满足终止条件：最大迭代次数或设定的训练样本数量，输出由训练集X^L训练得到的SVM高光谱分类模型。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的基于自学习的高光谱图像和可见光图像融合分类方法，步骤八所述剔除最小欧式距离对应的候选样本的过程为，将候选样本集X^C中与小于等于给定阈值δ的最小欧式距离对应的候选样本相同的候选样本归为集合即： ${\hat{X}}^C=X^C\∩\left\{x_i^U\right|d_{ij}^{\min }\≤\mathrm{\δ}\}---\left(5\right),$

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的基于自学习的高光谱图像和可见光图像融合分类方法，步骤十所述利用主动学习模型从优化的候选样本集中选择具有最大信息量的样本的过程为，

高光谱图像具有“图谱合一”的性质，因而被广泛应用于遥感地物分类等研究中，但高光谱图像普遍具有数据量大，波段间冗余性高，混合像元严重的特点，传统的分类方法在训练样本足够多的情况下才能取得较好的分类结果。而训练样本的标记通常需要花费很大的代价才能获得。因此，利用主动学习分类方法通过分类学习过程中迭代地增加训练样本来增加样本类别的统计信息，从而使得分类器能产生更加准确的决策规则，有效地利用未标记样本来提高分类精度。

首先，设主动学习模型的表达式为：A＝(C,L,S,Q,U)(6)；

其中，C表示分类模型，L表示已知标记的训练样本集，Q表示查询函数，U表示候选样本集，S表示标记操作，负责对选出的样本进行标记；

然后，在分类模型对候选样本预测后，根据主动学习模型自动从优化的候选样本集中选择出具有最大信息量的样本，通过标记操作对选择出的未标记样本进行人工标记，并加入到训练样本集中。

目前主动学习方法的研究主要集中于如何从候选样本集中选择出具有最大信息量的样本，然后由人工标记这些样本。主动学习方法大致可以分为三类：委员会查询方式，如Query-by-committee(QBC)，EntropyQuery-by-Bagging(EQB)等；边缘查询方法，如marginsampling(MS)，multiclass-leveluncertainty(MCLU)等；后验概率查询法，如breakingties(BT)，Kullback-Leiblerdivergence(KL-max)等。

实施例：

利用本发明涉及的基于自学习的高光谱图像和可见光图像融合分类方法，针对两组高光谱图像和可见光图像展开实验，其中高光谱图像由ROSIS传感器在Pavia大学和Pavia市中心获得，空间分辨率均为1.3米，如图4和图5所示。第一幅高光谱图像包含了可见光到近红外波段内(0.43～0.86μm)的103个波段，大小为610×340。为了避免因不同传感器引起的配准误差，我们对高光谱图像进行2倍下采样，得到空间分辨率2.6米的、大小为305×170的高光谱图像，如图4-a所示，并利用前65个波段合成一幅全色图像，如图4-b所示。第二幅高光谱图像包含了102个波段，大小为1096×490，如图5-a所示。全色图像由QuickBird获得，分辨率为0.6米，如图5-b所示。两组图像均包含了由9类地物构成的地面真值图，分辨率均与对应可见光图像相同，如图4-c、5-c所示。为便于分析和计算，对两幅高光谱图像分别进行PCA变换，分别提取前10个和前3个主成分(包含99％的总能量)进行后续分类研究。

本发明设计的自学习算法适用于多种分类模型，这里使用了SVM算法进行验证。为了证实算法的有效性，实验主要针对小样本问题开展，即选择5个标记样本作为初始训练样本，其他样本作为测试样本，使用5折交叉验证获取支持向量机模型参数c和σ，其中距离阈值δ根据迭代过程中每次选择的未标记样本个数进行选择，最大迭代次数为20。每组实验分别重复十次，即随机选择训练样本和测试样本，取结果平均值，得到分类精度。

在主动学习的过程中，分别采用三种策略来选择未标记样本，包括：1)marginsampling，2)breakingties，和3)modifiedBTs。

实验结果及分析：

Pavia大学和Pavia市中心的分类结果分别如图6、图7所示，从图中可以看出，利用主动学习，可以明显改善分类结果。当利用监督分类(即所有曲线的初始点)无法获得较为满意的结果，通过对部分未标记样本的学习，分类精度有了明显的改善。当迭代次数足够多时，分类精度趋向于收敛。另外，从图中可以看出MBT方法收敛的速度更快。而在图7中，可以看出当标记样本较少时，显然MBT方法收敛速度最快，MS方法精度不如另外两种。

图6所示的Pavia大学分类结果；每类5个初始训练样本，每次迭代选择90个未标记样本。

图7所示的Pavia市中心分类结果；每类5个初始训练样本，每次迭代选择45个未标记样本。

图8所示为Pavia大学图像取5个初始训练样本的一次分类结果，可以看出相比于监督分类SVM方法，几种主动学习策略都有效地提升了分类精度，并且底部的草坪区域更加完整。

Claims (3)

1.一种基于自学习的高光谱图像和可见光图像融合分类方法，其特征在于：所述融合分类方法通过以下步骤实现：

步骤一、将已经过配准的可见光图像分割成可见光图像区域组，则同一可见光图像区域及其内部所有像元属于同一类别，将训练型像元的类别标签y_k指定给含有训练型像元的可见光图像区域；则由第k个训练样本所在的可见光图像区域中所有未标记样本组成未标记样本子集由所有未标记样本子集组成未标记样本集O^U，即：且未标记样本集O^U中所有样本都具有相应类别标签y；

其中，初始训练样本集X^L表示为：y_k∈{1,2,...,C}，k∈[1,n]，属于第k个训练样本所在的可见光图像区域，C表示可见光图像区域的类别个数，表示第k个训练样本所在的可见光图像区域中所有未标记样本组成的未标记样本子集，表示所有未标记样本子集组成的未标记样本集O^U；

步骤二、利用初始训练样本集X^L训练SVM高光谱分类模型；

步骤三、利用SVM高光谱分类模型对未标记样本子集O^U进行分类，得到分类器预测标签

步骤四、判断类别标签y_k与分类器预测标签是否相等，若相等，则将类别标签y_k加入到候选样本集中，建立由未标记样本子集和类别标签y_k两个量组成的候选样本，在获得候选样本的同时，确定候选样本实际标签；若不等，则舍弃；

步骤五、利用步骤四建立的候选样本构成候选样本集X^C，设候选样本集X^C和支持向量所在的集合为支持向量集合X^SV；之后遍历候选样本集X^C中第1到第N个候选样本，查找与候选样本x_i的标签y_i一致的支持向量

步骤六、根据欧式距离计算公式： $d_{ij}=\sqrt{\underset{m}{\Σ}{(x_{im}-{\mathrm{SV}}_{jm})}^2}---\left(1\right);$ 计算候选样本x_i与各支持向量之间的欧式距离d_ij，衡量候选样本x_i与支持向量之间的光谱相似度；其中，候选样本x_i，i∈[1,N]，N表示候选样本x_i的个数，SV_j表示第j个支持向量，j∈[1,M]，M表示具有与x_i相同类别标签的支持向量个数；

步骤七、选取步骤六获得的每个候选样本x_i的欧式距离d_ij中的最小欧式距离即： $d_{ij}^{\min }=\underset{j}{\arg \min }{d}_{ij};$

步骤八、判断步骤七获得的最小欧式距离与给定阈值δ之间的大小关系，若为小于关系，则保留最小欧式距离对应的候选样本x_i，并形成优化的候选样本集若为大于等于关系，则剔除最小欧式距离对应的候选样本；

步骤九、输出步骤八中形成的优化的候选样本集

步骤十、利用主动学习模型从优化的候选样本集中选择具有最大信息量的样本构成最大信息量样本集X^I；

步骤十一、将步骤八形成的优化的候选样本集清空，即：将优化的候选样本集更新为新的优化的候选样本集X^C′；

根据X^L′＝X^L∪X^I(3)

将初始训练样本集X^L更新为新的训练样本集X^L′；

根据O^U′＝O^U\X^I(4)将未标记样本子集更新为新的未标记样本子集

步骤十二、重复迭代步骤二至步骤十一的过程，直到满足终止条件：最大迭代次数或设定的训练样本数量，输出由训练集X^L训练得到的SVM高光谱分类模型。

2.根据权利要求1所述基于自学习的高光谱图像和可见光图像融合分类方法，其特征在于：步骤八所述剔除最小欧式距离对应的候选样本的过程为，将候选样本集X^C中与小于等于给定阈值δ的最小欧式距离对应的候选样本相同的候选样本归为集合即： ${\hat{X}}^C=X^C\∩\left\{x_i^U\right|d_{ij}^{\min }\≤\mathrm{\δ}\}---\left(5\right).$

3.根据权利要求1或2所述基于自学习的高光谱图像和可见光图像融合分类方法，其特征在于：步骤十所述利用主动学习模型从优化的候选样本集中选择具有最大信息量的样本的过程为，

首先，设主动学习模型的表达式为：A＝(C,L,S,Q,U)(6)；

其中，C表示分类模型，L表示已知标记的训练样本集，Q表示查询函数，U表示候选样本集，S表示标记操作；

然后，在SVM高光谱分类模型对候选样本预测后，根据主动学习模型自动从优化的候选样本集中选择出具有最大信息量的样本，通过标记操作对选择出的未标记样本进行人工标记，并加入到训练样本集中。