CN109299668A - 一种基于主动学习和聚类分析的高光谱图像分类方法 - Google Patents

Abstract

本发明公开了一种基于主动学习和聚类分析的高光谱图像分类方法。使用了一种高效的特征提取方法结合改进的多项逻辑回归算法，对高光谱遥感数据的分类精度有了一定的提高。而在此基础上加入的主动学习和聚类分析，主动选择信息量较高的样本作为标记样本，显著减少了训练器所需要的样本，提高了训练器的分类精度，大幅提高了分类器的分类效率，提高了算法的高效性；适用于高光谱图像的分类，与其他主动学习的分类算法相比，更加高效，分类精度有显著的提高，同时也显著减少了所需的样本数。

Description

一种基于主动学习和聚类分析的高光谱图像分类方法

技术领域

本发明是一种涉及主动学习和聚类分析的高光谱图像分类方法。

背景技术

最近研究表明，为了提高高光谱遥感数据的分类精度，结合高光谱遥感数据的光谱特征和空间特征的提取方法可以取得较好的效果。然而由于高光谱遥感数据的维度高，冗余信息多，有效提取特征存在一定的难度。属性剖面是一种用于提取空间特征的方法，基于属性形态学，使用一系列属性滤波器对数据的特征进行级联，从而获得遥感数据的结构信息。

主动学习方法是从未标记样本集中选择信息量最多的样本的一种迭代过程。同时，均值漂移法是一种无监督的聚类方法，旨在寻找到密度最聚集的中心点。将两种方法相结合，并通过一定的筛选策略选择少部分样本加入训练器，可以得到不确定性和代表性兼具的信息量较多的样本。这种策略与随机选择样本相比，可以使用更少的样本达到更高的训练精度，与传统的半监督方法相比，更加高效。由于高光谱遥感数据的标记样本成本代价较大，因此研究主动学习方法和聚类方法来应对小样本分类问题有着重要的指导意义。

因此，研究一种基于主动学习和聚类分析的高光谱图像分类方法，尤其是适用于小样本分类问题的方法尤为重要。

发明内容

本发明的目的在于提供一种基于主动学习和空间-光谱特征提取的高光谱图像分类方法，以克服现有技术中心的上述技术问题

本发明的技术方案是这样实现的：

使用混合像元分解和主成分分析方法对高光谱数据进行预处理去躁和降维，使用扩展多属性剖面方法提取高光谱图像的空间信息和光谱信息；选取少量样本标记作为训练样本，使用与子空间投影方法相结合的多项式逻辑回归分类器对样本进行训练，获得各个像素的类别概率；使用不连续松弛策略对训练结果进行后处理，得到分类结果；使用基于后验概率的主动学习方法对未标记的样本进行不确定性估计，选取部分不确定性较高的样本，再使用均值漂移法对样本进行再筛选，去除掉冗余的样本，保证选取样本的多样性，最终选择不确定性和代表性均较高的样本加入到训练集；使用更新后的训练集重新训练分类器并测试得到结果，如果精度达到要求则停止训练，如果精度没达到要求则回到上一步继续标记样本。

此外，一种基于主动学习和聚类分析的高光谱图像分类方法，还包括：在特征提取阶段，将一系列属性过滤器应用于图像来获取像素的连通分支，并通过连接操作符来处理不同灰度级的邻接区域，再通过施加一系列属性减弱或者属性增强操作来得到属性剖面。

另外，一种基于主动学习和聚类分析的高光谱图像分类方法，还包括：使用的分类器将基于马尔科夫随机场的多层次逻辑先验知识与基于子空间的多项逻辑回归算法相结合，并使用不连续松弛策略在逻辑上平滑结果，同时保持从数据中提取的不连续性。

另外，一种基于主动学习和空间-光谱特征提取的高光谱图像分类方法，还包括：选取每个样本的后验概率最大的两项的差值作为衡量样本不确定性的标准，使用均值漂移法衡量样本的代表性，去除掉聚集过于紧密的冗余点，多次筛选后选择不确定性和代表性均较高的样本加入训练集。

本发明的有益效果：基于主动学习和聚类分析的高光谱图像分类方法，使用了一种高效的特征提取方法结合改进的多项逻辑回归算法，对高光谱遥感数据的分类精度有了一定的提高。而在此基础上加入的主动学习和聚类分析，主动选择信息量较高的样本作为标记样本，显著减少了训练器所需要的样本，提高了训练器的分类精度，大幅提高了分类器的分类效率，提高了算法的高效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于主动学习和聚类分析的高光谱图像分类方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于主动学习和聚类分析的高光谱图像分类方法。

如图1所示，根据本发明实施例的基于主动学习和聚类分析的高光谱图像分类方法包括以下步骤：

步骤S101、使用混合像元分解方法和主成分分析方法对高光谱数据进行预处理去躁和降维，使用扩展多属性剖面方法提取高光谱图像的空间信息和光谱信息；

步骤S103、选取少量样本标记作为训练样本，使用与子空间投影方法相结合的多项式逻辑回归分类器对样本进行训练，获得各个像素的类别概率；

步骤S105、使用不连续松弛策略对训练结果进行后处理，得到分类结果；

步骤S107、使用均值漂移法和基于后验概率的主动学习方法对未标记的样本进行代表性和不确定性估计，选择前几个样本进行标记并加入测试集；

步骤S109、使用更新后的训练集重新训练分类器并测试得到结果，如果精度达到要求则停止训练，如果精度没达到要求则回到上一步继续标记样本。

此外，一种基于主动学习和聚类分析的高光谱图像分类方法，还包括：在特征提取阶段，将一系列属性过滤器应用于图像来获取像素的连通分支，并通过连接操作符来处理不同灰度级的邻接区域，再通过施加一系列属性减弱或者属性增强操作来得到属性剖面。

另外，一种基于主动学习和聚类分析的高光谱图像分类方法，还包括：使用的分类器将基于马尔科夫随机场的多层次逻辑先验知识与基于子空间的多项逻辑回归算法相结合，并使用不连续松弛策略在逻辑上平滑结果，同时保持从数据中提取的不连续性。

另外，一种基于主动学习和空间-光谱特征提取的高光谱图像分类方法，还包括：选取每个样本的后验概率最大的两项的差值作为衡量样本不确定性的标准，使用均值漂移法衡量样本的代表性，去除掉聚集过于紧密的冗余点，多次筛选后选择不确定性和代表性均较高的样本加入训练集。

为了方便理解本发明的上述技术方案，以下通过具体原理对本发明的上述技术方案进行详细说明。

具体使用时：

1)特征提取：扩展多属性剖面

数学形态学是遥感影像空间信息分析的一个强大的框架，尤其是应用属性剖面生成遥感数据分类图。其基本思想是使用不同的属性滤波器对数据进行滤波来提取数据的结构信息，并对不同的属性滤波结果进行叠加合并等处理，得到数据的空间几何特征。

扩展多属性剖面执行滤波时是对于一个给定的属性A如何计算图像f中每个连通分支的相关值λ的评估。对于图像中的一个区域C_i，如果属性满足条件(比如A(C_i)＞λ)，则区域保持不变。否则，设置为具有更接近值的相邻区域的灰度值，从而合并C_i到一个周围的连通分支。当该区域合并到一个更低(或更高)的灰度级的邻接区域时，执行操作是减弱(或增强)。给定有序的阈值{λ₁，λ₂，…，，λ_n}，通过施加一系列属性减弱或者属性增强操作可以得到一个属性剖面：

AP(f)：＝{φ_n(f)，...，φ₁(f)，f，γ₁(f)，...γ_n(f)}

在这里φ_i和γ_i分别表示增强和减弱的转换。该公式针对的是数据的单个特征(或光谱波段)。对于高光谱数据而已，需要对整个原始数据进行属性滤波。然而高光谱数据维度很高，在原始谱带上构建扩展属性剖面的计算复杂度将会很高，因此首先使用主成分分析方法将原始数据降维，选取前几个主成分(或者使用其他特征选择方法选择的特征)执行属性滤波，以降低复杂度。通过这种方式，通过对前几个主成分生成属性剖面来获得扩展属性剖面，从而在每个特征上使用属性剖面来构建堆叠矢量，因此像素x_i的扩展属性剖面定义为：

EAP：＝{AP(f₁)，AP(f₂)，...，AP(f_q)}

其中q是保留特征的数量。从扩展属性剖面的定义可以看出，对多个属性的考虑导致了扩展多属性剖面的概念，它将扩展属性剖面连接在一个单一的特征向量中，并提高了提取场景中结构空间特征的能力。

2)分类器：多项逻辑回归和不连续松弛策略

分类器是由基于马尔科夫随机场的多层次逻辑先验知识与基于子空间的多项逻辑回归算法相结合而成，并使用不连续松弛策略进行后处理，保持数据的不连续性的同时平滑结果。

令X＝{x₁，...，x_n}表示从输入图像中观察到的数据，其中x_i＝ (x_i1，...，x_id}^T表示像素i∈S的光谱，S＝{1，...，n}为对图像的n个像素索引的集合。在概率像素分类中，目标是针对像素x_i选择其对应的标签y_i＝{1，...，K}。该选择是基于像素属于K个类别中的每一个的后验概率进行的，使用最大后验概率作为选择的类别，即：

这里的密度p(y_i|x_i)使用多项逻辑回归方法来建模，多项逻辑回归方法对应于p(y_i|x_i)(高斯)和p(y_i)(多项式)的判别生成对的判别模型。多项逻辑回归模型为：

其中h(x)＝[h₁(x)，...，h_l(x)]^T为输入的l个特征向量。ω^(k)是类别k的逻辑回归器的集合，并且同时将多项逻辑回归器与子空间投影方法相结合，应用子空间投影方法改进分类的思想依赖于每个类中的样本大致可以位于较低维子空间的基本假设。因此，每个类可以由一组基向量跨越的子空间来表示，而新的输入样本的分类标准是与类子空间的距离。

不连续松弛策略在保持从原数据中提取的不连续性的同时，使用空间和光谱信息对分类结果进行逻辑平滑

令p＝[p₁，...，p_n]∈R^K×n，p_i＝[h₁(x)，...，h_l(x)]^T为像素i∈S上定义的概率K维多元向量。u＝[u₁，...，u]∈R^K×n，对于i∈S，u_i≡[u₁(x)，...，hu_l(x)]^T是从松弛过程获得的概率的最终向量。实施的松弛过程为：

u_i≥0，1^Tu_i＝1

其中λ(0≤λ≤1)是控制目标函数中两项的相对影响的权重参数，α_i表示像素i的八邻域，sobel()为索贝尔滤波器，用来检测图像的不连续性并且每个像素处的输出为0或1。

3)主动学习和聚类分析：代表性和不确定性

主动学习和聚类分析结果的方法的筛选标准有样本的代表性和不确定性。样本的不确定性由分类器计算得到的像素点各类后验概率的差值决定，如果该样本后验概率中最大的两项的差值越小，说明该样本的不确定性的值越高。选择不确定性值较高的前n个样本作为候选样本，再对选择的n个样本使用均值漂移法进行聚类分析，针对每个聚类中心，仅保留其聚类中的部分点，去除其中的冗余点，针对剩下的点选择前m个不确定性较高的样本作为待标记样本交由人工标注。

样本的不确定性基于样本的后验概率，由该公式表示：

其中k⁺＝arg max_k∈Kp(y_i＝k|x_i，ω)，表示x_i的后验概率最大的类别。使用该种方法侧重于选择两个类别之间的边界区域。

均值漂移方法是一种核密度估计算法。均值漂移的基本思想是对于有n 个样本点的特征空间，初始随机确定一个中心点，计算在设置带宽为h的圆形内所有点与中心点的向量，再计算整个圆形内所有向量的平均值，得到一个偏移均值，将中心点一到偏移均值位置，如此迭代，直到满足条件终止。每次迭代都将获得一个聚类中心及其包含的点，直到每个点都被包含在某个聚类中。

对于给定的样本x_i(i＝1，2，...n)所在d维空间R^d，点x的偏移均值的基本形式为：

其中S_h表示半径为h的高维球区域，nx表示S_h中点的数量。基本偏移均值的问题在于：在S_h中，每个点对x的贡献相同，但是实际上，这种贡献与该点到x的距离有关。

在偏移均值的基础形式上，通过添加核函数的方法可以赋予不同的点不同的权值。核函数是用来计算映射到高维空间之后的内积的一种简便方法，在均值漂移中使用核函数，能够使计算中距离中心的点具有更大的权值，距离越短，权值越大。核函数使用高斯高斯函数：

其中x为核中心点。因此，均值漂移的迭代公式为：

其中x为核中心点，x_i为带宽范围内的点，n为带宽范围内的点的数量，g(x) 为对核函数的导数求负。令迭代的过程是首先计算m_h(x)，再令x＝m_h(x)，如此循环，直到||m_h(x)-x||小于设定的值终止。

按照以上介绍，设计完成了一种基于主动学习和聚类分析的高光谱图像分类方法。本方法以主动学习，聚类分析，数学形态学理论为基础，在提取数据的光谱特征和空间特征的基础上，使用了一个改进的逻辑回归的分类器，提高了分类的精度。同时，主动学习和聚类分析，主动选择信息量较高的样本作为标记样本，显著减少了训练器所需要的样本，提高了训练器的分类精度，大幅提高了分类器的分类效率，提高了算法的高效性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于主动学习和聚类分析的高光谱图像分类方法，其特征在于，包括以下步骤：

使用混合像元分解和主成分分析方法对高光谱数据进行预处理去躁和降维，使用扩展多属性剖面方法提取高光谱图像的空间信息和光谱信息；

选取少量样本标记作为训练样本，使用与子空间投影方法相结合的多项式逻辑回归分类器对样本进行训练，获得各个像素的类别概率；

使用不连续松弛策略对训练结果进行后处理，得到分类结果；

使用基于后验概率的主动学习方法对未标记的样本进行不确定性估计，选取部分不确定性较高的样本，再使用均值漂移法对样本进行再筛选，去除掉冗余的样本，保证选取样本的多样性，最终选择不确定性和代表性均较高的样本加入到训练集；

使用更新后的训练集重新训练分类器并测试得到结果，如果精度达到要求则停止训练，如果精度没达到要求则回到上一步继续标记样本。

2.根据权利要求1所述的一种基于主动学习和聚类分析的高光谱图像分类方法，其特征在于，还包括：扩展多属性剖面方法是一种基于数学形态学的方法，将一系列属性过滤器应用于图像来获取像素的连通分支，并通过连接操作符来处理不同灰度级的邻接区域，再通过施加一系列属性减弱或者属性增强操作来得到属性剖面。

3.根据权利要求1所述的一种基于主动学习和聚类分析的高光谱图像分类方法，其特征在于，还包括：使用的分类器将基于马尔科夫随机场的多层次逻辑先验知识与基于子空间的多项逻辑回归算法相结合，并使用不连续松弛策略在逻辑上平滑结果，同时保持从数据中提取的不连续性。

4.根据权利要求1所述的一种基于主动学习和聚类分析的高光谱图像分类方法，其特征在于，还包括：选取每个样本的后验概率最大的两项的差值作为衡量样本不确定性的标准，使用均值漂移法衡量样本的代表性，去除掉聚集过于紧密的冗余点，多次筛选后选择不确定性和代表性均较高的样本加入训练集。