CN103258214B - 基于图像块主动学习的遥感图像分类方法 - Google Patents

Abstract

本发明公开了一种基于图像块主动学习的遥感图像分类方法，属于图像信息处理技术领域。本发明方法包括以下步骤：遥感图像的分块；初始样本的选择；分类器模型训练；主动学习样本选择；训练样本集及分类器模型更新；分类过程迭代；图像块分类预测；块分类结果到像素分类结果的转化。本发明以图像块为研究对象，和传统的基于像素点的主动学习的遥感图像分类方法相比，在相同的实验条件下，图像的分类结果更加准确，主动学习筛选出的块样本能够更加快速准确的进行人工标注，并且分类图的结构性更强，大大降低了直接由像素点分类所带来的“斑点”，给人更好的视觉效果。

Description

基于图像块主动学习的遥感图像分类方法

技术领域

本发明涉及图像信息处理技术领域，尤其涉及一种基于图像块主动学习的遥感图像分类方法。

背景技术

卫星遥感系统的空间分辨率和光谱分辨率的提高使得我们能够从遥感图像中辨识出更细小的物体，例如居民房屋、商业建筑、公交系统和公共事业设备等。从遥感图像中挖掘出的大量信息可以被应用到诸如灾害监测和评估、城市和区域规划、环境监测等领域。

遥感图像的分类是信息提取的一种方法，是指根据遥感图像中地物的光谱特征、空间特征、时相特征等，对地物目标进行识别的过程，通常是基于图像像元的光谱值，将像素归并成有限几种类型（用类标进行标注）。近年来，基于核的方法，特别是支持向量机，在多光谱和超光谱的图像分类中取得了很多进展。但是，和所有监督学习一样，支持向量机的分类准确率依赖于训练样本的好坏。事实上，专家对训练样本的标注过程通常是根据场景的视觉特征来完成的，因此，如果样本在未加筛选之前就直接交给专家进行标注，带来的后果是专家会花费大量的宝贵时间对具有类似信息量的样本进行充分标注，这样会使得训练集的信息非常冗余，这种冗余信息大大降低了训练速度，甚至会产生过拟合的现象，特别是对于上百万甚至是上千万像素的高分辨图像。所以，对于卫星遥感图像而言，我们需要一个自动的定义有效训练集的过程。这个训练集的样本数量要尽可能的少而且能有效地提高分类模型的准确率。

在机器学习领域，我们可以通过主动学习来解决这样的问题。图1（a）、图1（b）分别显示了主动学习和被动学习的原理，从图中我们可以发现，主动学习和被动学习相比，多了一个人机交互的过程（虚线框部分），模型返回给用户那些分类结果最不确定的样本，由用户对这些样本进行准确的标注后再添加到训练集中，通过这些筛选出来的样本，模型被不断的优化，从而提高了模型的泛化能力。

到目前为止，人们已经提出了许多主动学习的方法，这些方法大致的可以分为三大类。

第一类主动学习方法是和支持向量机相结合的。这类方法已经被广泛的应用到物种识别，图像检索和文本分类中。这些主动学习的方法主要利用了支持向量机的几何特征。例如，边缘采样（marginsampling）策略通过计算未标注的候选样本到当前分类超平面的距离来采样那些位于分类超平面边缘的样本，Tong和Koller从理论上证明了这些方法的有效性。最近，E.Pasolli利用两个支持向量机来构建一个典型的空间模型，然后直接用这个模型来选择信息量较大的样本。D.Tuia提出了对边缘采样获得的样本之间增加差异性约束的采样方法，从而使得每次迭代所获得的样本之间的信息量没有冗余。

第二类主动学习方法依赖于后验概率。一种方法是采样那些最大化改变后验分布的样本，后验分布的改变可通过KL差异性来计算添加样本前后的变化。在遥感图像应用中，S.Rajan等人基于这个想法提出了一种利用最大似然分类器的概率方法,这种方法需要对每一个未标注的样本添加前后都进行一次计算，计算比较复杂。另一种方法是将支持向量机的输出通过sigmoid函数来拟合成一个概率输出，从而估计出每一类的后验分布，然后再根据熵的大小来筛选样本。

第三类主动学习是基于学习委员会（多个分类器）的测试方案。通过学习委员会来量化所有的未标注样本。每一个委员会成员探索不同的假设，然后对未标注池中的样本进行标注。主动学习选择那些委员会中不同分类模型之间不同意性最高的样本，这类主动学习的难点就在于如何构造委员会。最近，基于boosting和bagging的方法被提出来了，但是只适用于二类分类。这种类型的方法的好处就在于它可以应用到任意一个模型或者模型的组合中。在遥感图像的分析中，提出了两种基于委员会的主动学习方法：第一，利用同一个模型、同一个样本集中不同的样本成员来构建委员会，被称作query-by-bagging策略；第二，利用不同的特征空间子集来构建委员会。

以上主动学习的方法基本上都是基于图像像素点的操作，并且大部分都只用了遥感图像的光谱特征，虽然能达到较高的分类准确率，但是还存在一定的弊端，例如：由主动学习筛选出的单个像素标注起来比较费时，并且容易出错，必须考虑像素的周边信息；此外，由分类模型得到的分类结果图中会出现一些孤立点（“斑点”），视觉效果不理想等。

发明内容

本发明所要解决的技术问题在于克服现有基于主动学习的遥感图像分类方法的不足，提供一种基于图像块主动学习的遥感图像分类方法，在降低人工标注负担的同时，有效地提高了分类准确率，且最终得到的分类结果图视觉效果更好，“斑点”的现象大大降低。

本发明的基于图像块主动学习的遥感图像分类方法，包括以下步骤：

步骤1、对遥感图像的每个像素，构造包含该像素以及以该像素为中心的邻域的N×N的图像块，得到一组重叠的图像块集合，其中N为大于1的奇数；

步骤2、从所述图像块集合中选择少量图像块进行人工标注，以这一部分图像块样本作为初始训练样本集；

步骤3、利用当前训练样本集对分类器进行训练；

步骤4、利用主动学习方法从当前未标注的图像块中选择部分信息量最大的图像块，并对所选择的图像块进行人工标注；

步骤5、将步骤4得到的已标注图像块样本加入当前训练样本集，以新得到的训练样本集作为当前训练样本集，然后转至步骤3；

步骤6、循环执行步骤3-步骤5直到满足训练终止条件，得到训练好的分类器；

步骤7、利用训练好的分类器对剩余的未标注图像块进行分类，得到剩余的未标注图像块的类标；

步骤8、对于遥感图像中的每个像素，以包含该像素的所有图像块中出现次数最多的类标作为该像素的类标，从而最终完成遥感图像的分类。

为了围绕图像边缘部分的像素构造正常的图像块，本发明进一步采用以下改进方案：在构造图像块集合时，对于遥感图像边缘的像素，通过在遥感图像的四边分别填充行/列像素，实现图像块的构造。所填充的像素灰度值优选为0。

相比现有技术，本发明方法具有以下有益效果：

⑴在同样的实验条件下，经过相同次数的迭代，本发明方法的分类准确率比基于像素的主动学习分类方法的准确率高；

⑵本发明方法的分类结果图结构性更强，视觉效果更好，大大减少了像素分类所带来的“斑点”；

⑶主动学习每次返回的信息量最大的图像块样本比像素样本更容易标注，有效减轻了人工标注的负担。

附图说明

图1（a）、图1（b）分别为主动学习和被动学习的原理示意图；

图2是本发明基于图像块主动学习的遥感图像分类方法的流程示意图；

图3（a）、图3（b）、图3（c）分别为本发明方法与现有基于像素的方法在MS、MCLU、EQB主动学习方法下的分类准确率随迭代次数的变化曲线。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的基于图像块主动学习的遥感图像分类方法，如图2所示，包括以下步骤：

步骤1、遥感图像的分块：对遥感图像的每个像素，构造包含该像素以及以该像素为中心的邻域的N×N的图像块，N为大于1的奇数，得到一组重叠的图像块集合。

N的取值可根据传感器空间分辨率以及遥感图像中目标物体的大小等因素来决定。具体实施时，为了使遥感图像边缘的像素点构造相同的邻域，本发明采用“填充”的方式，在构造图像块集合时，对于遥感图像边缘的像素，通过在遥感图像的四边分别填充行/列像素，实现图像块的构造。以N的值为3为例，在原始遥感图像的顶部和底部分别填充1行灰度值为0或与边缘像素灰度值相同的像素点，相应地，在图像左侧和右侧分别填充1列灰度值为0或与边缘像素灰度值相同的像素点，这样图像的边缘像素点便可以构造出以其自身为中心的3×3的图像块。这样即可构造出一组图像块集合，遥感图像中的每个像素均与一个图像块唯一对应，图像块之间存在部分重叠。

步骤2、初始样本的选择：从所述图像块集合中选择少量图像块进行人工标注（即确定所属类别并加注相应的类标），以这一部分图像块样本作为初始训练样本集。

初始样本的选择方式及数量可以根据实际需要确定，例如可以根据先验知识或者采用随机选择的方式。

步骤3、分类器的训练：利用当前训练样本集对分类器进行训练。

本发明方法中的分类器可采用现有的各种分类器模型，例如神经网络模型、支持向量机（SVM）模型等。下面以最常使用的支持向量机分类模型为例来进行简要说明。

由于SVM只能处理二类分类问题，对于多类分类问题，通过一对多的方式，将多个二类SVM分类器联合起来，以完成多类分类任务。

首先简单说明二类SVM分类器的基本原理及训练过程。给定一个标注集其中x_i∈R^d，y_i∈{-1,1}。x_i为反馈样本的底层视觉特征矢量，y_i为类别标注，正反馈样本的类别标注为1，负反馈样本的类别标注为-1，R^d为实数域上R上的d维向量空间。为了更好的解决非线性问题，在本发明中采用带有核函数的支持向量机，利用一个非线性映射将样本映射到高维空间中，如下所示：

Φ:R^d→Fx→Φ(x)

其中，F是映射到的高维空间，Φ是对应的映射函数。决策函数表示为以下形式：

g(x)=w·Φ(x)+b（1）

相应地，支持向量机分类面可以写成：

w·Φ(x)+b=0（2）

其中，w为权值向量，b为偏移常量。

落在w·Φ(x)+b=±1这两个超平面上的点称为支持向量，支持向量到分类面的距离称为分类间隔，大小为。分类间隔的大小表示了分类器的泛化能力，因此我们要使分类器的间隔最大化：

$\min {\frac{1}{2}\left|\right|W\left|\right|}^2$

subjectto：

y_i(w·Φ(x_i)+b)≥1,i=1,…,N（3）

根据（3）式的求解即可得到支持向量机分类面。通过拉格朗日乘子法对（3）式中的二次规划问题进行求解，可以得到：

$w=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)---\left(4\right)$

其中，x_i为支持向量，y_i和α_i分别为该支持向量对应的类别标注和拉格朗日系数。样本x通过二类SVM分类器得到的输出为：

$f\left(x\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)\·\mathrm{\Φ}\left(x\right)+b---\left(5\right)$

利用核函数避开非线性映射的显示表达，图像样本通过二类SVM分类器得到的输出可以改写为：

$f\left(x\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_{i}K(x_i\·x)+b---\left(6\right)$

其中，K(·)为核函数，且K(x_i,x)=Φ(x_i)^T·Φ(x)，上标T表示转置矩阵。根据（6）式，对于任意一个为标准的样本，如果f(x)的值大于0，则该样本的类标为1，f(x)的值小于0则类标为-1。

对于多类分类，通过一对多的方式对多个二分类器进行联合，每个二类分类器产生一个分类超平面，图像有多少类便可生成多少个分类超平面，然后计算每个未标注样本到所有分类超平面的距离，样本属于距离最大的那一类。

步骤4、主动学习样本选择：利用主动学习方法从当前未标注的图像块中选择部分信息量最大的图像块，并对所选择的图像块进行人工标注。

本发明方案中可使用现有的各种主动学习方法，下面以三种常用的主动学习方法：marginsampling（MS），multi-classleveluncertainty（MCLU）以及entropyquerybybagging（EQB）为例分别进行说明。

MS主动学习方法：对于当前分类模型而言，计算出每个未标注的样本到当前分类超平面的距离，距离最小的样本即为信息量最大的样本；

MCLU主动学习方法：对于每个未标注的样本，计算其到每个分类超平面的距离，用最小的两个距离作差，差值的绝对值最小的样本即为信息量最大的样本；

EQB主动学习方法：按照一定的比例将原始的训练样本随即的分成k份，每一份用来训练一次分类器，共得到k个训练模型，用这k个模型共同对未标注样本进行预测，不同意性最高的样本即为信息量最大的样本。

假设是给定标注的训练集，为未标注集，其中x_i∈R^d，y_i={1,…N}，u>>l。

对于EQB的主动学习策略，假设将原始的训练集分成k个子训练集，则筛选样本的标准为：

$x=\arg \underset{x_i\∈U}{\max }\left\{\frac{H\left(x_i\right)}{\log \left(N_i\right)}\right\}---\left(7\right)$

其中，

$H\left(x_i\right)=-\underset{w=1}{\overset{N_i}{\mathrm{\Σ}}}p(y_i=w|x_i)\log \left[p(y_i=w|x_i)\right]---\left(8\right)$

$p(y_i=w|x_i)=\frac{{\mathrm{\Σ}}_{m=1}^k\mathrm{\δ}(y_{i,m},w)}{{\mathrm{\Σ}}_{m=1}^k{\mathrm{\Σ}}_{j=1}^{N_i}\mathrm{\δ}(y_{i,m},w_j)}---\left(9\right)$

N_i是k个模型对样本x_i预测标注的类别个数，显然1≤N_i≤N；当第m个子训练集得到的分类模型将x_i的标注预测成w时，δ(y_i,m,w)的值为1，否则为0。

对于MS的主动学习策略，筛选样本的标准为：

$x=\arg \underset{x_i\∈U}{\max }\left\{\underset{w}{\min }\right|f(x_i,w)\left|\right\}---\left(10\right)$

其中，f(x_i,w)是样本x_i到w类的分类超平面的距离。

对于MCLU的主动学习策略，筛选样本的标准为：

$x=\arg \underset{x_i\∈U}{\min }\left\{f{\left(x_i\right)}^{\mathrm{MC}}\right\}---\left(11\right)$

其中，

$f{\left(x_i\right)}^{\mathrm{MC}}=\underset{w\∈N}{\max }\left|f(x_i,m)\right|-\underset{w\∈N\backslash w^{+}}{\max }\left|f(x_i,w)\right|---\left(12\right)$

步骤5、训练样本集及分类器模型更新：将步骤4得到的已标注图像块样本加入当前训练样本集，以新得到的训练样本集作为当前训练样本集，然后转至步骤3。

具体实施时，除了将步骤4中获得的已标注图像块样本加入到当前的训练样本集，对训练样本进行更新外，同时也需要将这部分图像块样本从未标注图像块样本集中去除，即未标注样本集也需要做相应的更新。

步骤6、分类过程迭代：循环执行步骤3-步骤5直到满足训练终止条件，得到训练好的分类器。

步骤3-步骤5是一个反复迭代过程，不断地提高分类模型的泛化能力，直到满足分类要求或者收敛。此时即得到训练好的分类器模型。

步骤7、图像块分类预测：利用训练好的分类器对剩余的未标注图像块进行分类，得到剩余的未标注图像块的类标。

以剩余的未标注图像块作为测试样本集，利用训练好的分类器对其进行分类，即可预测出每个未标注图像块的类标，完成剩余未标注图像块的标注，再结合已进行人工标注的训练样本集，即完成了整个图像块集合的分类（标注）。

步骤8、块分类结果到像素分类结果的转化：对于遥感图像中的每个像素，以包含该像素的所有图像块中出现次数最多的类标作为该像素的类标，从而最终完成遥感图像的分类。

为了便于公众理解本发明技术方案，下面给出一个具体实施例。

本实施例将本发明所提供的技术方案应用在IndianPines遥感图像分类中。该图像由AVIRIS传感器所获得，图像中包含16类不同的物体，其中三分之二为农作物，其余三分之一为树木和植被；图像大小为145×145，原始图像共有224个光谱波段，我们去除掉4个全是0和20个被噪声污染的波段，剩余200个波段用于实验。利用本发明所提出的基于图像块的主动学习对多谱多类遥感图像的分类方法，将同一类型的像素点标注成同一个类标，以此来得到一个遥感图像的分类图。

本实施例中，分类模型选用支持向量机（SVM），为了验证本发明的有效性，分别采用了三种主动学习方法，分别为：MS，MCLU以及EQB，图像块的大小为3×3。分类过程中采用以下方法来提取每个像素点和每个图像块的底层特征：将每个像素点的各个通道的光谱值作为该像素点的特征，构成一个长度为200的特征向量；将每个块中所包含的9个像素点各个通道的平均值作为该图像块的特征，同样构成一个长度为200个特征向量。

本实施例的分类过程具体如下：

1、遥感图像的分块：

以遥感图像的每个像素点和以该像素点为中心的八邻域来构造一个3×3的图像块，以此来将图像分成若干个重叠的图像块。

2、初始样本的选择：

将图像块训练样本集和图像块未标注样本集分别记为X和U，在初始分类时，从U中随机选择50个图像块样本，由用户对其进行人工标注，将该样本集合记为S_init。对图像块训练样本集X和图像块未标注样本集U进行更新：L=S_init,U→U\S_init。

3、分类器模型训练：

用块训练集X训练SVM分类器，在本实施例中，训练支持向量机分类器时采用的核函数是径向基核函数，K(x_i,x_j)=exp(-γ||x_i-x_j||)，参数γ和惩罚系数C通过交叉检验的方式由网格寻优法获得。

4、主动学习样本选择：

根据当前支持向量机的块分类模型，对EQB、MS、MCLU这三种不同的主动学习方法，分别利用式7、10、11计算出所有的未标注图像块的值，该值即为其信息量的大小。选择信息量最大的前10个图像块样本，记为S_AL，然后对其进行人工标注。

5、训练样本集及分类器模型更新

将步骤4中筛选出的样本，连同人工标注，加入到当前图像块训练样本集，对图像块训练集进行更新；同时，将这些新选出的图像块样本，从当前的图像块未标注样本集中去除：X=X∪S_AL,U→U\S_AL。用更新后的图像块训练样本集重新训练SVM分类器模型。

6、分类过程迭代：

在本实施例中，设置最大迭代次数为100（将初始随机样本选择及分类器训练作为第1次迭代），通过最大迭代次数来控制是否对分类过程进行继续迭代。若当前迭代次数小于最大迭代次数，则继续进行迭代；当迭代次数达到最大迭代次数时，则停止迭代。

7、图像块分类预测：

利用训练好的分类器对剩余的未标注图像块进行分类，得到剩余的未标注图像块的类标。

8、块分类结果到像素分类结果的转化：

对于图像中的每个像素点，找出包含这个像素点的所有块，这些块中类标出现次数最多的那个类标就是该像素点的类标。

为了验证本发明方法的效果，同时进行了分别采用上述三种主动学习方法的基于像素点的图像分类，以与本发明方法进行比较。为了保证比较的公平性，对于基于像素点的分类模型而言，初始训练样本为初始图像块训练样本集中所有像素点的集合，即为450个像素，每次迭代更新90个像素，同样进行100次迭代。

图3（a）、图3（b）、图3（c）分别为本发明方法与现有基于像素的方法在MS、MCLU、EQB主动学习方法下的分类准确率随迭代次数的变化曲线。从图中可以看出，对于三种主动学习方法而言，采用本发明基于图像块主动学习的分类方法，其准确率高于基于像素点的主动学习分类方法。这说明当进行同样次数的迭代时，本发明方法可以获得更高的分类准确率；从另一个角度说，当获得相似的分类性能时，本发明方法所需的迭代次数更少。

表1给出了最后一次迭代时6种分类方法对每一类的分类准确率以及整体分类准确率的比较。

表1分类准确率对比

从表1可以看出，采用同一种主动学习方法时，本发明的分类准确率明显高于基于像素点的主动学习分类方法。

此外，根据最后一次迭代时6种分类方法所得到的分类结果图可以发现，本发明方法分类结果图的视觉效果明显更有优势，图像整体的结构性更强，而基于像素点的主动学习分类方法得到的分类结果图存在很多异常点，看上去就像一些“斑点”。

综上可知，相对于现有基于像素点的主动学习遥感图像分类方法，本发明方法无论是从准确率还是从视觉效果上来看，都具有明显的优势。

Claims (4)

1.一种基于图像块主动学习的遥感图像分类方法，其特征在于，包括以下步骤：

步骤1、对遥感图像的每个像素，构造包含该像素以及以该像素为中心的邻域的的图像块，得到一组重叠的图像块集合，其中为大于1的奇数；

步骤2、从所述图像块集合中选择少量图像块进行人工标注，以这一部分图像块样本作为初始训练样本集；

步骤3、利用当前训练样本集对分类器进行训练；

步骤4、利用主动学习方法从当前未标注的图像块中选择部分信息量最大的图像块，并对所选择的图像块进行人工标注；

步骤5、将步骤4得到的已标注图像块样本加入当前训练样本集，以新得到的训练样本集作为当前训练样本集，然后转至步骤3；

步骤6、循环执行步骤3-步骤5直到满足训练终止条件，得到训练好的分类器；

步骤7、利用训练好的分类器对剩余的未标注图像块进行分类，得到剩余的未标注图像块的类标；

步骤8、对于遥感图像中的每个像素，以包含该像素的所有图像块中出现次数最多的类标作为该像素的类标，从而最终完成遥感图像的分类。

2.如权利要求1所述基于图像块主动学习的遥感图像分类方法，其特征在于，在构造图像块集合时，对于遥感图像边缘的像素，通过在遥感图像的四边分别填充行/列像素，实现图像块的构造。

3.如权利要求1所述基于图像块主动学习的遥感图像分类方法，其特征在于，所述分类器为支持向量机。

4.如权利要求1所述基于图像块主动学习的遥感图像分类方法，其特征在于，所述主动学习方法为MS主动学习方法，或MCLU主动学习方法，或EQB主动学习方法。