CN113657159A - 一种基于样本选择策略的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于样本选择策略的高光谱图像分类方法，具体包括如下步骤：步骤1，进行后验概率建模；步骤2，利用查询函数F构建无标签样本集S；步骤3，对无标签样本集S中的每一个样本人工分派一个标签，构成标记样本集S’；步骤4，将步骤3所得的标记样本集S’添加到训练集L中；步骤5，利用训练样本集L重新训练分类器模型G；步骤6，重复执行步骤2～5的主动学习过程，当循环次数达到规定的循环次数最大上限Smax，停止循环并转步骤7；步骤7，利用后验概率判别准则对高光谱图像进行分类，输出分类结果。本发明将结合空间信息的样本选择策略与主动学习相结合，解决了高光谱图像分类问题。

Description

一种基于样本选择策略的高光谱图像分类方法

技术领域

本发明属于遥感图像处理技术领域，涉及一种基于样本选择策略的高光谱图像分类方法。

背景技术

随着光谱成像技术的发展，光谱波段的数量不断增加，从多光谱数据集向高光谱数据集发展。这种光谱精度的提高提供了更多的信息，允许更广泛和精确的应用。例如，可以大大提高对同一种地物的不同类型(例如不同类型的森林)的识别能力。然而，这些高光谱传感器具有很高的光谱分辨率，通常会导致数据维数的增加。因此，一般而言，高维数据作为分类器的输入时，分类器的分类精度会显著下降。这种现象可以看作是一个不适定问题，即：从有限的训练样本中学习高维密度。为了处理这个问题，研究者们做了大量的工作。具体来说，支持向量机(SVM)是一种有效的判别技术，它通过推断特征空间中类之间的边界来学习高维空间中的类分布，并已成功地应用于利用有限的训练样本对高光谱数据进行监督和半监督分类。此外，多项逻辑回归(MLR)是处理不适定问题的另一种方法。MLR直接建模类的后验概率密度，作为一种判别分类器它可以对高光谱图像进行良好的分类。

在现实世界的许多问题中，由于成本和时间的原因，标记训练样本难以获得，这是监督高光谱图像分类的另一个众所周知的困难。为了有效地处理有限的样本，很多研究都集中在特征选择和模型设计问题上，关于数据收集和注释的工作很少，而数据采集与标注是模式分类系统的关键部分，它决定了模式分类系统的有效性。基于不同的原理，主动学习可以有效地减少标注工作量。该学习过程反复查询未标注的样本，以选择信息最丰富的样本进行标注并更新其学习规则。避免了不必要的冗余标注，大大降低了标注成本和时间，同时提高模型训练的有效性。因此，选择信息最丰富的样本是一个关键问题。基于后验概率的采样方案有很多，包括MI方法，BT方法和MBT方法，然而这些方案均没有考虑噪声对高光谱图像分类问题的影响。

发明内容

本发明的目的是提供一种基于样本选择策略的高光谱图像分类方法，该方法将结合空间信息的样本选择策略与主动学习相结合，解决了高光谱图像分类问题。

本发明所采用的技术方案是，一种基于样本选择策略的高光谱图像分类方法，具体包括如下步骤：

步骤1，主动学习：随机选择l个标记样本组成训练集L训练多项逻辑回归模型，得到分类器模型G，利用分类器模型G对光谱图像像素进行后验概率建模；

步骤2，主动学习：利用查询函数F从无标签样本池中选择一组无标签样本构成无标签样本集S；

步骤3，主动学习：对无标签样本集S中的每一个样本人工分派一个标签，构成标记样本集S’；

步骤4，主动学习：将步骤3所得的标记样本集S’添加到训练集L中；

步骤5，主动学习：利用训练样本集L重新训练分类器模型G；

步骤6，重复执行步骤2～5的主动学习过程，当循环次数达到规定的循环次数最大上限Smax，停止循环并转步骤7；

步骤7，利用后验概率判别准则对高光谱图像进行分类，输出分类结果。

本发明的特点还在于：

步骤1中：利用训练集L训练多项式逻辑回归模型G，采用多项式逻辑回归模型G对高光谱图像像素进行后验概率建模：

其中，k∈Ω，Ω≡{1，...，K}，h(x_i)≡[h₁(x_i)，...，h_l(x_i)]^T是输入的l个固定函数组成的一个向量，通常称为特征，

为逻辑回归因子，h(x_i)≡[1，g(x_i，x₁)...，g(x_i，x_l)]^T为输入特征向量，i表示第i个中心像素。

步骤2中，利用如下公式(2)获取查询函数F：

其中，max_k∈ΩP(y_i＝k|x_i)是模型预测概率最大的样本概率；

是模型预测概率仅次于最大的样本概率。

步骤2中，迪过考虑空间邻域信息，将样本的后验概率P修改为以下函数：

P(y_i＝k|x_i)＝P^data(y_i＝k|x_i)*P^context(y_i＝k|x_i) (3)；

假设x_i的邻域样本集合为N_i，N_i满足如下公式(4)：N_i＝{dist(sample_i，sample_j)²≤2，i≠j} (4)；

其中，dist(A，B)代表A和B之间的欧氏距离，P^data是分类器G输出的概率，P^context是马尔可夫随机场模型输出的条件概率；

对于给定标签的样本的条件分布P^context的马尔科夫模型表示为：

其中，δ_k是两个变量的克罗内克函数，当变量有不同的值时等于零，当变量有相同的值时等于1，β是一个常数，P^data≡P(y_i＝k|x_i，ω)。

步骤7的具体过程为：通过如下公式(6)最大化公式(1)中的后验概率，完成对像素的分类，

的值就是该像素的标签：

本发明的有益效果是，本发明提出了一种基于样本选择策略的高光谱图像分类方法，使用多项逻辑回归(MLR)来构建高光谱数据的后验概率分布模型，并对每个输入样本的不确定性进行估计。由于训练样本有限造成分类器训练不足，不确定性估计存在一定的误差。因此，本发明提出了一种修正样本不确定性的主动样本选择方法，结合空间信息的mutual information(MI)和breaking ties(BT)采样的改进方法。假设高光谱图像中的像素相互独立，而只与二阶邻域内的像素相关，利用马尔可夫随机场(Markov Random Field,MRF)提高分类精度。

附图说明

图1是AVIRIS Indian Pines scene的对比基础图；

图2是基于RS(random sampling)采样方法得到的分类结果图像；

图3是基于MI(mutual information)采样方法得到的分类结果图像；

图4是基于BT(breaking ties)采样方法得到的分类结果图像；

图5是基于MBT(modifiedbreaking ties)采样方法得到的分类结果图像；

图6是基于本发明一种基于样本选择策略的高光谱图像分类方法中SBT(spatialbreaking ties)采样方法得到的分类结果图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于样本选择策略的高光谱图像分类方法，具体包括如下步骤：

步骤1，主动学习(AL)：随机选择10(l＝10)个标记样本组成训练集L训练多项逻辑回归(MLR)模型G；

利用训练集L训练多项式逻辑回归模型G，对高光谱图像像素进行后验概率建模：

其中，k∈Ω，Ω≡{1，...，K}，h(x_i)≡[h₁(x_i)，...，h_l(x_i)]^T是输入的l个固定函数组成的一个向量，通常称为特征，

为逻辑回归因子，通过LORSAL算法学习逻辑回归因子ω。又核在高光谱图像分类中应用广泛，本发明采用高斯径向基函数(RBF)g(x，z)＝exp(-||x-z||²/(2σ²))作为核函数(x为某一输入特征向量，z是其邻域特征向量，σ为函数的宽度参数，控制了函数的径向作用范围，σ大于0)，可以提高数据在变换空间的可分性。因此，输入特征向量可表示为h(x_i)≡[1，g(x_i，x₁)...，h(x_i，x_l)]^T，i表示第i个中心像素。通过该多项式逻辑回归模型建立高光谱图像的k类后验概率模型。

步骤2，主动学习(AL)：利用查询函数F从无标签样本池中选择一组无标签样本构成无标签样本集S；步骤2的具体过程如下：

采用二阶邻域系统的定义对样本的选择模型进行修正，即引入马尔可夫随机场通过邻域系统将一个像素与另一个像素联系起来。基于Breaking Ties(BT)的样本选择方法结合空间邻域信息，提出一种新的样本选择方法，称为SBT(spatial breaking ties)。SBT样本选择准则为：

利用查询函数F从无标签样本池中选择一组无标签样本构成无标签样本集S，具体是选择模型预测最大和第二大的概率差值最小的样本。

其中，通过考虑空间邻域信息，可以将样本的后验概率P修改为以下函数：

P(y_i＝k|x_i)＝P^data(y_i＝k|x_i)*P^context(y_i＝k|x_i) (3)；

假设x_i的邻域样本集合为N_i，N_i满足如下公式(4)：

N_i＝{dist(sample_i，sample_j)²≤2，i≠j} (4)；

其中，dist(A，B)代表A和B之间的欧氏距离，P^data是分类器G输出的概率，P^context是马尔可夫随机场模型输出的条件概率；

对于给定标签的样本的条件分布P^context的马尔科夫模型表示为：

其中，δ_k是两个变量的克罗内克函数，当变量有不同的值时等于零，当变量有相同的值时等于1，β是一个常数，它决定了空间邻域信息对后验概率的影响。因此，其中，P^data≡P(y_i＝k|x_i，ω)。

步骤3，主动学习(AL)：根据经验对无标签样本集S中的每一个样本人工分派一个正确的标签，构成标记样本集S’；

步骤4，主动学习(AL):添加新标签样本集S’到训练集L；

步骤5，主动学习(AL):利用训练样本集L重新训练分类器G。

步骤6，主动学习(AL):重复执行步骤2～5，设置最大循环次数Smax为5，循环结束转步骤7；

步骤7，利用后验概率判别准则对高光谱图像进行分类，输出分类结果。具体过程如下：

通过如下公式(6)最大化公式(1)中的后验概率，完成对像素的分类，

的值就是该像素的标签：

实施例

实验所用微机CPU为Intel Pentium43.0GHz内存1GB，编程平台是Matlab 7.0.1。实验中采用的图像数据为：1992年6月，AVIRIS在美国印第安纳州西北部地区采集了一幅真实的高光谱图像，该图像包含145*145像素和224个0.4～2.5μm波段。对于吸水区、低信噪比和不良波段，在实验前共剔除20个光谱波段。ground-truth图像包含16个互斥类，并选择了9个包含足够像素数的陆地覆盖类。因此，从剩下的9个类中，随机生成一组4757个样本用于训练，剩余的4588个样本用于测试目的。

2.实验内容

首先，随机选择10个标记样本组成训练集L训练得到多项逻辑回归(MLR)模型G。其次，利用查询函数F，即：SBT样本选择准则，从无标签样本池中选择一组无标签样本构成无标签样本集S；根据经验对无标签样本集S中的每一个样本人工分派一个正确的标签，构成标记样本集S’；添加新标签样本集S’到训练集L；利用训练样本集L重新训练分类器G。再次，不断循环主动学习过程，当循环次数达到规定的循环次数最大上限5时，停止循环；否则，继续循环查询样本分配标签并训练分类器G。最后，利用后验概率判别准则对高光谱图像进行分类，输出分类结果。

通过对其他方法得到的分类结果图和本发明提出的方法得到的分类结果图对比，来评价本发明的效果。

3.实验结果

图1是本发明AVIRIS Indian Pines scene的对比基础图；

图2是本发明基于RS(random sampling)采样方法得到的分类结果图像；

图3是本发明基于MI(mutual information)采样方法得到的分类结果图像；

图4是本发明基于BT(breaking ties)采样方法得到的分类结果图像；

图5是本发明基于MBT(modifiedbreaking ties)采样方法得到的分类结果图像；

图6是本发明基于SBT(spatialbreaking ties)采样方法得到的分类结果图像；从图6可以看出，本发明提出的方法在总体精确度上比其他几种方法都高。通过比较图6和图2-5可以看出，图6中的结果更接近图1，并且总体精确度也最高。

Claims (5)

1.一种基于样本选择策略的高光谱图像分类方法，其特征在于：具体包括如下步骤：

步骤1，主动学习：随机选择l个标记样本组成训练集L训练多项逻辑回归模型，得到分类器模型G，利用分类器模型G对光谱图像像素进行后验概率建模；

步骤2，主动学习：利用查询函数F从无标签样本池中选择一组无标签样本构成无标签样本集S；

步骤3，主动学习：对无标签样本集S中的每一个样本人工分派一个标签，构成标记样本集S’；

步骤4，主动学习：将步骤3所得的标记样本集S’添加到训练集L中；

步骤5，主动学习：利用训练样本集L重新训练分类器模型G；

步骤6，重复执行步骤2～5的主动学习过程，当循环次数达到规定的循环次数最大上限Smax，停止循环并转步骤7；

步骤7，利用后验概率判别准则对高光谱图像进行分类，输出分类结果。

2.根据权利要求1所述的一种基于样本选择策略的高光谱图像分类方法，其特征在于：所述步骤1中：

利用训练集L训练多项式逻辑回归模型G，采用多项式逻辑回归模型G对高光谱图像像素进行后验概率建模：

其中，k∈Ω，Ω≡{1，...，K}，h(x_i)≡[h₁(x_i)，...，h_l(x_i)]^T是输入的l个固定函数组成的一个向量，通常称为特征，

为逻辑回归因子，h(x_i)≡[1，g(x_i，x₁)...，g(x_i，x_l)]^T为输入特征向量，i表示第i个中心像素。

3.根据权利要求2所述的一种基于样本选择策略的高光谱图像分类方法，其特征在于：所述步骤2中，利用如下公式(2)获取查询函数F：

其中，max_k∈ΩP(y_i＝k|x_i)是模型预测概率最大的样本概率；

是模型预测概率仅次于最大的样本概率。

4.根据权利要求3所述的一种基于样本选择策略的高光谱图像分类方法，其特征在于：所述步骤2中，通过考虑空间邻域信息，将样本的后验概率P修改为以下函数：

P(y_i＝k|x_i)＝P^data(y_i＝k|x_i)*P^context(y_i＝k|x_i) (3)；

假设x_i的邻域样本集合为N_i，N_i满足如下公式(4)：

N_i＝{dist(sample_i，sample_j)²≤2，i≠j} (4)；

其中，dist(A，B)代表A和B之间的欧氏距离，P^data是分类器G输出的概率，P^context是马尔可夫随机场模型输出的条件概率；

对于给定标签的样本的条件分布P^context的马尔科夫模型表示为：

其中，δ_k是两个变量的克罗内克函数，当变量有不同的值时等于零，当变量有相同的值时等于1，β是一个常数，

P^data≡P(y_i＝k|x_i，ω)。

5.根据权利要求4所述的一种基于样本选择策略的高光谱图像分类方法，其特征在于：所述步骤7的具体过程为：

通过如下公式(6)最大化公式(1)中的后验概率，完成对像素的分类，

的值就是该像素的标签：

Images