CN111126127B - 一种多级空间上下文特征指导的高分辨率遥感影像分类方法 - Google Patents

Abstract

本发明公开了一种多级空间上下文特征指导的高分辨率遥感影像分类方法。该方法将对象的纹理特征，几何特征和空间上下文特征作为深度学习框架的高维特征，放入到全连接分类器中进行分类训练，得到一个面向对象的多特征融合分类器，最后，使用条件随机场对对象级别的分类结果进行像素级别的空间上下文指导分类，进一步提升了分类的精度。本发明提出的多级空间上下文指导的高分辨率遥感影像分类方法，在对象分类中融入了对象的多个特征能够实现超越一般对象分类的深度学习方法，此外，还引入了像素级空间上下文指导的条件随机场方法，实现了高精度的高分辨率遥感影像分类。

Description

一种多级空间上下文特征指导的高分辨率遥感影像分类方法

发明领域

本发明属于遥感图像处理领域，涉及计算机深度学习领域，特别是涉及一种基于深度学习的面向对象高分辨率遥感图像分类方法。具体地说是一种利用深度学习网络提取多个对象特征、构建多特征融合的分类器，提高高分辨率遥感图像分类精度的方法。

背景技术

利用卫星遥感影像进行高精度分类和解译一直以来都是遥感图像处理领域一项应用价值与挑战并存的重要内容，其对城市规划以及灾难救援有着重要的科学指导意义。随着近些年来高精度传感器技术和无人机、航拍技术的快速发展，遥感图像的空间分辨率越来越高，图像的地物特征越来越精细，数据量越来越大，传统的基于人工的分类特征提取方法在高分图像上的复杂特征提取能力难以满足地物分类的要求。近些年来随着深度学习技术以及计算机视觉分析能力的提升，利用深度学习的高层次特征提取能力进行高分辨率遥感影像分类任务成为一种高效可行的方案。

目前，主流的利用深度学习进行高分辨率遥感影像分类的方法分为两类：一类是端到端的全图分类方法，该方法一般采用的网络架构是全卷积神经网络结构，即输入一张图，输出也是一张图，输出的每个点标注了相应于原图上点的类别，该方法的优点是计算量少，内存消耗低，在对每个像素点进行分类的过程中顾及到了其与周围像素点的空间关系，该方法的缺点是分类的结果边缘划分较模糊，地物的直线和直角特征容易被平滑掉，而且训练过程比较耗时，有的全卷积神经网络甚至会出现棋盘效应。另一类方法是基于对象的分类方法，该方法先对图像进行图像分割，得到每个分割后的对象，再利用固定大小的滑动窗口去裁剪每个对象，将裁剪出的图斑放入到卷积神经网络中进行分类器训练，最后将该分类器应用于每对象分类。这种取对象中的一个固定大小的图斑来进行特征抽取的方法忽略了对象的轮廓信息，且对于空间上下文特征的考虑也不足。

发明内容

本发明要解决的技术问题在于针对上述方法的不足，提出了一种综合对象纹理特征、几何特征和对象级别空间上下文特征，以及像素级别空间上下文特征的高分辨率遥感图像分类方法，实现高精度地物分类。

为解决上述问题，本发明提供了一种多级空间上下文特征指导的高分辨率遥感影像分类方法，该方法主要包括以下步骤：

步骤1，将原始遥感影像分割成多个对象；

步骤2，依次读取每个分割后的对象，使用对象的轮廓边界对其进行掩膜处理，位于对象轮廓内部的像素单元值保持不变，落在轮廓外的像素单元值赋值为0，并对每个对象进行类别标注；

步骤3，将每个对象变形为N*N的图斑，输入到一个由三个卷积层、三个最大池化层和一个金字塔池化层构建的特征提取框架中，提取纹理和几何特征；

步骤4，计算图斑的形变特征，形变指数的计算方法如公式(1)和公式(2)所示；

其中，Index_w是图斑在长度上的形变指数，计算方法为变形后的图斑长度w₀除以变形前图斑长度w₁，Index_l为图斑在宽度上的形变指数，计算方法为变形后的图斑宽度l₀除以变形前图斑宽度l₁；

步骤5，取每个图斑的最小外接矩形框，将该矩形框长和宽扩大S倍，然后以这个外接矩形框裁剪周围的上下文图斑，输入到一个对象级别上下文特征提取器中，得到图斑的空间上下文特征，对象级别上下文特征提取器包括四个卷积层、四个最大池化层和一个金字塔池化层；

步骤6，将提取到的纹理和几何特征、形变特征以及空间上下文特征进行拼接，输入到一个由若干个全连接层和Softmax分类层组成的多层感知机分类器中进行训练，从而得到一个多特征融合的对象分类器；

步骤7，提取待分类遥感影像的纹理和几何特征、形变特征以及空间上下文特征，拼接后输入到多特征融合的对象分类器中，得到对象级别分类结果图，最后使用条件随机场对该对象级别分类结果图进行后处理，得到像素级空间上下文指导的级别分类。

进一步的，步骤3中特征提取框架的具体结构包括：1)32个大小为3*3的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为3*3的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为3*3的卷积层，紧跟一个relu激活层；

6)步长为2的最大池化层；7)一个三层的金字塔池化层。

进一步的，步骤5中对象级别上下文特征提取器的具体结构包括，1)32个大小为3*3的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为3*3的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为3*3的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)128个大小为3*3的卷积层，紧跟一个relu激活层；8)步长为2的最大池化层；9)一个三层的金字塔池化层。

进一步的，步骤6中多层感知机分类器包括三个全连接层和一个Softmax分类层，第一个全连接层包括100个神经元，第二个全连接层包括10个神经元，第三个全连接层包括n个神经元，n为地物类别总数。

进一步的，步骤7中使用条件随机场对该分类图进行后处理的具体实现方式如下，

假设有一组随机向量X＝{x₁,x₂,…,x_N}，每个x_i对应于图像上位置为i的像素点，N是所有像素点的数目，每个像素点的标签是L＝{l₁,l₂,…,l_k}中的一个，F＝{F₁,F₂,…,F_N}是观测到的像素点值，那么称(F,X)是一个条件随机场，该条件随机场服从吉布斯分布；条件随机场出现的概率为公式(3)所示：

P(X|F)＝exp(-E(X|F))/Z(F) (3)

公式(3)中的Z(F)是归一化指数，其计算方法如公式(4)所示：

Z(F)＝∑_xexp (-E(X|F)) (4)

公式(4)中的E(X|F)即E(X)，表示吉布斯能量，条件随机场通过找到最小的E(X)得到最佳的分类结果，其中，E(X)表示为公式(5)所示：

公式(5)中的

为一元势函数，这里的输入为每个像素点的类别概率，类别概率从对象级别分类结果图中得到，

为二元势函数，定义如公式(6)所示：

上式中的μ(x_i,x_j)为决策函数，当像素点x_i与x_j相邻时μ(x_i,x_j)＝1，当不相邻时，μ(x_i,x_j)＝0，p_i为像素点x_i的光谱值，p_j为像素点x_j的光谱值；I_i为像素点x_i的空间坐标，I_j为像素点x_j的空间坐标，σ_α，σ_β，σ_γ和w₁、w₂均为权重；当相邻像素点的像素值相似而类别标签不同时，则二元势函数越大，表明该分布出现的概率越小；通过随机场方法，对象级别的分类效果被进一步提升到像素级别的细分类。

本发明与现有技术相比，提出了一个由对象纹理特征、几何特征和空间上下文特征组成的多特征对象分类器，提出了将形变指数引入到分类器中，最大程度地保留了对象的几何特征，将提取出的高维特征放入到多层感知机中训练得到一个多特征融合分类器，最后使用条件随机场对对象级别分类结果进行像素级别的空间上下文监督指导，实现高精度的像素级别分类效果。本发明方法相比于全卷积神经网络框架拥有更少的网络参数量，网络训练的速度更快，在小样本集上能够达到优于全卷积神经网络的分类精度；而且该方法是基于对象的分类方法，对于训练数据的要求较低，用户可以只标记图像上的部分对象而非整个图像，从而大幅节省了用户做手工标记的工作，而全卷积神经网络则要求用户输入一张全部标记的训练图像，因此，该发明方法在实际应用场景中对于训练数据的宽松要求更具有用户友好性。

附图说明

图1是本发明实施例流程图。

图2是对象卷积神经网络的结构图。

具体实施方式

下面对结合附图对本发明作进一步的说明。

如图1所示，本发明提出了一种多级空间上下文特征指导的高分辨率遥感影像分类方法，包括以下步骤：

步骤1：图像分割。首先对图像进行分割，使用传统的图像分割方法将整幅图像分割为多个对象。高分辨率遥感影像由于其拥有较高的空间分辨率，空间地物在进行分割时有可能会被切分为较小的碎块而难以形成整块、连续、能表征空间实体的图斑，因此在进行图像分割时应使用较大的分割尺度，尽量保留空间实体的外形轮廓特征，以此来确保内部有较多的纹理细节呈现，便于机器学习对特征的提取；

步骤2：将分割后的对象进行掩膜处理并赋对象以相应的地物类别属性。依次读取每个分割后的对象，使用对象的轮廓边界对其进行掩膜处理，位于对象轮廓内部的像素单元值保持不变，落在对象轮廓外的像素单元值赋值为0，通过这种方法，对象的几何轮廓信息得以保留。使用标签数据对每个对象单元进行类别标注，得到有类别标签的训练样本数据，在该样本数据中每一个训练样本单位为一个对象。从标注了的数据集中随机取90％数据作为训练样本集，将数据集中剩下的10％作为验证样本集。

步骤3：纹理和几何特征提取。分割后的对象单元保留了对象的轮廓信息和对象内部的纹理信息，将每个对象变形为N*N的图斑，输入到一个由三个卷积层、三个最大池化层和一个金字塔池化层构建的特征提取框架中，该特征提取框架的具体层链接顺序为：1)32个大小为(3*3)的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为(3*3)的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为(3*3)的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)一个三层的金字塔池化层。此步骤输入整个的图斑用以进行纹理和几何特征提取，具体结构如图2(b)所示；

步骤4：在分类特征中加入形变指数；由于步骤3中对所有的对象都进行了变形处理，导致有些对象的形变较大，改变了对象原有的形状，造成部分几何特征的丢失，因此在这一步骤中将对象的形变指数加入到最终的分类器中，形变指数的计算方法如公式(1)和公式(2)所示；

公式(1)和公式(2)中，Index_w是图斑在宽度上的形变指数，计算方法为原图斑的宽度w₀除以变形后图斑的宽度N，Index_l为图斑在长度上的形变指数，与宽度形变指数的计算方法同理。

步骤5：对象级别空间上下文特征提取：取每个对象的最小外接矩形框，将该矩形框长和宽扩大S倍，本实施例中S＝1，然后以这个外接矩形框裁剪对象周围的上下文图斑，输入到一个对象级别上下文特征提取器中获取对象级别空间上下文的高维特征，具体地，该提取器的构成由以下层顺序连接组成：1)32个大小为(3*3)的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为(3*3)的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为(3*3)的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)128个大小为(3*3)的卷积层，紧跟一个relu激活层；8)步长为2的最大池化层；9)一个三层的金字塔池化层，如图2(a)所示。

步骤6：融合多特征进行分类器训练。该特征融合分类器如图2(d)所示，将前面步骤提取到的所有高维特征进行拼接后输入到一个由三个全连接层和Softmax分类层组成的多层感知机分类器，该连接层第一层为100个神经元，第二层为10个神经元，第三层为5个神经元(类别总数)。分类器的输入为N个高维特征，高维特征的数目取决于输入图像的大小，当输入图像为64*64时，经过三层卷积和池化，最后会输出8*8个高维特征，经过一个金字塔池化层，该分支的输出特征数目是64*17个，对象空间上下文提取出的特征数目也是相同的计算方法。输出神经元的个数为地物总类别数目(即5个地物利用类型对应5个神经元个数)。将训练样本数据输入到该完整搭建的多层感知机分类器中进行训练，得到一个多特征融合的对象分类器。

步骤7：将待分类的遥感高分辨率影像图放入到该对象分类器中得到了该影像的对象级别分类结果图以后，使用条件随机场对该对象级别分类结果图进行后处理，得到像素级空间上下文指导的级别分类。

假设有一组随机向量X＝{x₁,x₂,…,x_N}，每个x_i对应于图像上位置为i的像素点，N是所有像素点的数目，每个像素点的标签是L＝{l₁,l₂,…,l_k}中的一个，F＝{F₁,F₂,…,F_N}是观测到的像素点值，那么我们称(F,X)是一个条件随机场，该条件随机场服从吉布斯分布。条件随机场出现的概率为公式(3)所示：

P(X|F)＝exp(-E(X|F))/Z(F) (3)

公式(3)中的Z(F)是归一化指数，其计算方法如公式(4)所示：

Z(F)＝∑_xexp (-E(X|F)) (4)

公式(4)中的E(X)(也就是E(X|F))表示吉布斯能量，条件随机场通过找到最小的E(X)得到最佳的分类结果。其中，E(X)可表示为公式(5)所示：

公式(5)中的

为一元势函数，这里的输入为每个像素点的类别概率，这里的类别概率从对象分类结果图中可以得到，

为二元势函数，定义如公式(6)所示：

上式中的μ(x_i,x_j)为决策函数，当像素点x_i与x_j相邻时μ(x_i,x_j)＝1，当不相邻时，μ(x_i,x_j)＝0.p_i为像素点x_i的光谱值，p_j为像素点x_j的光谱值；I_i为像素点x_i的空间坐标，I_j为像素点x_j的空间坐标，σ_α，σ_β，σ_γ和w₁、w₂均为权重。通过公式(6)可以看到，当相邻像素点的像素值相似而类别标签不同时，则二元势函数越大，表明该分布出现的概率越小；通过随机场方法，对象级别的分类效果被进一步提升到像素级别的细分类。

本发明与现有技术相比，提出了一个由对象纹理特征、几何特征和对象空间上下文特征组成的多特征对象分类器。提出了将形变指数引入到分类器中，最大程度地保留了对象的几何特征，将提取出的高维特征放入到多层感知机中训练得到一个多特征融合分类器，最后使用条件随机场对对象级别分类结果进行像素级别的空间上下文监督指导，实现高精度的像素级别分类效果。

将本发明方法与已有的方法在ISPRS开放数据集上取两景影像作为训练数据进行了分类精度测试，测试结果如下：

表1分类精度比较

表1中的PO为未加入对象形变指数和对象空间上下文的方法，与本发明方法相比，本发明方法在总体精度上取得了17.03％的提升，在Kappa系数上取得了0.233的提升；与U-Net网络相比，本发明方法在总体精度上取得了2.73％的提升，在Kappa系数上取得了0.037的提升；DLV3+为目前最先进的图像分类方法DeeplabL3+，与该方法比较，本发明方法取得了与最先进的图像分类方法相近的分类结果，特别是在道路类别的分类上取得了更佳的精度。本发明方法相比于全卷积神经网络框架拥有更少的网络参数量，网络训练的速度更快，在小样本集上能够达到优于全卷积神经网络的分类精度；而且该方法是基于对象的分类方法，对于训练数据的要求较低，用户可以只标记图像上的部分对象而非整个图像，从而大幅节省了用户做手工标记的工作，而全卷积神经网络则要求用户输入一张全部标记的训练图像，因此，该发明方法在实际应用场景中对于训练数据的宽松要求更具有用户友好性。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于，包括如下步骤：

步骤1，将原始遥感影像分割成多个对象；

步骤2，依次读取每个分割后的对象，使用对象的轮廓边界对其进行掩膜处理，位于对象轮廓内部的像素单元值保持不变，落在轮廓外的像素单元值赋值为0，并对每个对象进行类别标注；

步骤3，将每个对象变形为N*N的图斑，输入到一个由三个卷积层、三个最大池化层和一个金字塔池化层构建的特征提取框架中，提取纹理和几何特征；

步骤4，计算图斑的形变特征，形变指数的计算方法如公式(1)和公式(2)所示；

其中，Index_w是图斑在长度上的形变指数，计算方法为变形后的图斑长度w₀除以变形前图斑长度w₁，Index_l为图斑在宽度上的形变指数，计算方法为变形后的图斑宽度l₀除以变形前图斑宽度l₁；

步骤5，取每个图斑的最小外接矩形框，将该矩形框长和宽扩大S倍，然后以这个外接矩形框裁剪周围的上下文图斑，输入到一个对象级别上下文特征提取器中，得到图斑的空间上下文特征，对象级别上下文特征提取器包括四个卷积层、四个最大池化层和一个金字塔池化层；

步骤6，将提取到的纹理和几何特征、形变特征以及空间上下文特征进行拼接，输入到一个由若干个全连接层和Softmax分类层组成的多层感知机分类器中进行训练，从而得到一个多特征融合的对象分类器；

步骤7，提取待分类遥感影像的纹理和几何特征、形变特征以及空间上下文特征，拼接后输入到多特征融合的对象分类器中，得到对象级别分类结果图，最后使用条件随机场对该对象级别分类结果图进行后处理，得到像素级空间上下文指导的级别分类。

2.如权利要求1所述的一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于：步骤3中特征提取框架的具体结构包括：1)32个大小为3*3的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为3*3的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为3*3的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)一个三层的金字塔池化层。

3.如权利要求1所述的一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于：步骤5中对象级别上下文特征提取器的具体结构包括，1)32个大小为3*3的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为3*3的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为3*3的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)128个大小为3*3的卷积层，紧跟一个relu激活层；8)步长为2的最大池化层；9)一个三层的金字塔池化层。

4.如权利要求1所述的一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于：步骤6中多层感知机分类器包括三个全连接层和一个Softmax分类层，第一个全连接层包括100个神经元，第二个全连接层包括10个神经元，第三个全连接层包括n个神经元，n为地物类别总数。

5.如权利要求1所述的一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于：步骤7中使用条件随机场对该对象级别分类结果图进行后处理的具体实现方式如下，

假设有一组随机向量X＝{x₁,x₂,…,x_N}，每个x_i对应于图像上位置为i的像素点，N是所有像素点的数目，每个像素点的标签是L＝{l₁,l₂,…,l_k}中的一个，F＝{F₁,F₂,…,F_N}是观测到的像素点值，那么称(F,X)是一个条件随机场，该条件随机场服从吉布斯分布；条件随机场出现的概率为公式(3)所示：

P(X|F)＝exp(-E(X|F))/Z(F) (3)

公式(3)中的Z(F)是归一化指数，其计算方法如公式(4)所示：

Z(F)＝∑_xexp(-E(X|F)) (4)

公式(4)中的E(X|F)即E(X)，表示吉布斯能量，条件随机场通过找到最小的E(X)得到最佳的分类结果，其中，E(X)表示为公式(5)所示：

公式(5)中的

为一元势函数，这里的输入为每个像素点的类别概率，类别概率从对象级别分类结果图中得到，

为二元势函数，定义如公式(6)所示：

上式中的μ(x_i,x_j)为决策函数，当像素点x_i与x_j相邻时μ(x_i,x_j)＝1，当不相邻时，μ(x_i,x_j)＝0，p_i为像素点x_i的光谱值，p_j为像素点x_j的光谱值；I_i为像素点x_i的空间坐标，I_j为像素点x_j的空间坐标，σ_α，σ_β，σ_γ和w₁、w₂均为权重；当相邻像素点的像素值相似而类别标签不同时，则二元势函数越大，表明该分布出现的概率越小；通过随机场方法，对象级别的分类效果被进一步提升到像素级别的细分类。

Images