CN110119744A - 多尺度分割约束的遥感影像语义分割方法 - Google Patents

Abstract

一种多尺度分割约束的遥感影像语义分割方法，通过对遥感影像进行多尺度区域合并，并将合并结果进行融合处理后得到多尺度分割结果，通过深度学习网络进行语义预测得到遥感影像地物准确边界及语义信息；本发明利用多尺度分割结果作为约束，一方面既能够获得遥感影像地物准确边界；另一方面又能够得到封闭区域的语义信息，解决了传统的多尺度分割方法无法直接获得封闭区域的语义信息的问题，以及基于深度学习的语义分割方法不能很好地保留地物的准确边界的问题。

Description

多尺度分割约束的遥感影像语义分割方法

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种多尺度分割约束的遥感影像语义分割方法。

背景技术

遥感影像一般包含大小不一的各种地物，单一尺度下往往无法把多种尺度的地物都同时完整地提取出来。多尺度分割一般综合考虑像素的光谱、空间、纹理等特征，从多个尺度对遥感影像进行划分，从而获得诸多大小不一、边界不规则的区域。这些区域内部一般具有同质性，相邻区域之间具有异质性。多尺度分割采用区域增长与区域合并相结合的方式，可以获得与地物边界吻合度较高的封闭区域。虽然多尺度分割能获得遥感影像中各种地物的边界信息，但却无法直接得到各个封闭区域的语义信息。

目前基于深度学习的语义分割采用逐像素方式为影像中的每个像素赋予语义信息，使得语义分割结果常呈现椒盐噪声、团块状的模糊边界，不能很好地保留地物的准确边界。

发明内容

本发明针对现有技术存在的上述不足，提出一种多尺度分割约束的遥感影像语义分割方法，利用多尺度分割结果作为约束，一方面既能够获得遥感影像地物准确边界；另一方面又能够得到封闭区域的语义信息，解决了传统的多尺度分割方法无法直接获得封闭区域的语义信息的问题，以及基于深度学习的语义分割方法不能很好地保留地物的准确边界的问题。

本发明是通过以下技术方案实现的：

本发明涉及一种多尺度分割约束的遥感影像语义分割方法，通过对遥感影像进行多尺度区域合并，并将合并结果进行融合处理后得到多尺度分割结果，通过深度学习网络进行语义预测得到遥感影像地物准确边界及语义信息。

所述的多尺度区域合并，包括以下步骤：

步骤A1、读入遥感影像，设置尺度参数和用于度量区域同质性进行区域合并的分割参数并计算遥感影像的区域结构信息。

所述的尺度参数包括起始尺度、终止尺度、尺度间隔。

所述的分割参数包括光谱因子、形状因子。

所述的区域结构信息是指：通过度量同质性，即两个相邻区域之间的相似性获得当前尺度下影像可划分的区域以及各区域中包含像素情况的信息。

步骤A2、初始化区域邻接图，计算出每对相邻区域的同质性，寻找局部最优合并区域对进行合并，得到起始尺度的合并结果并保存；

步骤A3、以尺度间隔作为步长，将当前尺度增加一个尺度间隔数，判断是否达到预设的终止尺度，当达到终止尺度时结束尺度区域合并，否则转步骤A4；

所述的尺度间隔是指：当前尺度与前一个尺度之间的尺度差值。

所述的尺度参数按尺度间隔递增。

步骤A4、在前一个尺度的合并结果基础上，在新尺度下寻找局部最优合并区域对进行合并，得到新尺度下的合并结果并保存，然后更新区域邻接图并转步骤A3。

所述的融合处理，包括如下步骤：

步骤B1、每个合并结果的标准差以及该合并尺度下的区域平均标准差，以平均标准差出现峰值且均值标准差变化率开始下降时的尺度作为融合的最佳尺度；

步骤B2、由于每个尺度下的合并结果之间具有内在的关联，即可作为层次连接结构图。根据最佳尺度和多尺度合并过程中得到的层次连接结构图获得该尺度中的各个区域及每个区域自身的层次结构图，计算各区域的莫兰指数，用于衡量每个区域内部的空间相关性并进行欠分割判断。

所述的莫兰指数其中：n为该区域内部的子区域总数，w_ij为子区域i和子区域j的邻接关系，p_i和p_j分别是子区域i和子区域j的特征值，是子区域特征的平均值。

所述的欠分割判断是指：当区域的莫兰指数没有达到该阈值，则该区域不存在欠分割，在最终融合时，将保留该区域。否则，需要检查前一尺度该区域的莫兰指数是否达到该阈值，直到找到不存在欠分割的尺度或者达到初始最小尺度。

步骤B3、将每个区域保持其尺度上的空间继承关系进行自适应融合，得到最终的多尺度融合结果，即得到最终的多尺度分割结果。

所述的深度学习网络优选采用具有Caffe深度学习框架的AlexNet网络，具体包括：5个卷积层、3个全连接层、1个Softmax层，该深度学习网络的训练样本通过以下方式得到：从影像中采集地物样本图像，采用重叠采样、旋转、翻转等方式，对样本图像进行增强，构建地物样本数据集，将地物样本数据集分为训练子集、验证子集与测试子集，每个子集中的样本图像各自统一命名，并分别存储在硬盘上相应的文件目录中。然后，建立各个子集的标签文件，每个标签文件中都包含对应子集中所有样本图像的存储路径、名字及其类别标签。

所述的遥感影像地物准确边界及语义信息是指：将多尺度分割约束的遥感影像语义分割结果中的每一个区域的边界存储为多边形矢量数据，所有区域的多边形数据组成通用的Shp格式矢量图形文件，每个多边形表示一个空间对象，并设置索引号和类别属性，便于分割结果的存储和交换。

本发明涉及一种实现上述方法的多尺度分割约束的遥感影像语义分割系统，包括：用于将读入的遥感影像进行多尺度分割的多尺度合并与融合模块、用于将深度网络封装到系统中进行语义预测的深度网络封装模块、用于将多尺度分割的结果逐区域进行语义预测的语义预测模块以及将语义预测的结果以shp文件的格式输出保存的语义分割结果输出模块。

技术效果

本发明根据兼顾光谱、形状同质性的区域合并准则进行局部最优区域对合并，即在一定的范围内遍历最近邻区域，找出局部相似度最高的区域对进行合并。相比于全局最优方式，在能够得到理想的区域合并效果的同时，还具有合并效率高的优势。在多尺度分割的过程中，下一个尺度的合并结果是在前一个尺度合并结果的基础上，从而使得不同尺度下的各个区域间建立起尺度关联关系，相邻尺度中的区域对象具有严格的空间对应和继承关系，形成区域对象的层次连接结构图，这种多尺度分割方法确保影像中不同尺度地物边界的准确性，是后续融合多个尺度的区域合并结果，获得符合遥感影像地物尺度特性的分割结果的基础。

与现有技术相比，本发明既能够获得遥感影像中具有多尺度特性的各种地物的准确的边界信息，又能够有针对性地通过深度学习网络提取每个区域边界范围内深度特征，利用训练好的深度学习网络预测每个区域的语义，这种多尺度分割约束的遥感影像语义分割不但解决了传统多尺度分割虽然可以获得地物边界却无法得到地物语义的问题，也解决了当前基于深度学习的语义分割只能逐像素获得每个像素的语义，但容易出现椒盐、无法提取闭合区域的问题。显然，本发明提出的技术方案在获得地物准确边界的同时赋予其语义信息，从整体上提升了遥感影像语义分割的精度，并考虑了分割结果在实际应用中的存储和交换，是进行遥感影像语义分割的有效解决方案。

附图说明

图1为本发明方法流程图；

图2为实施例深度学习网络示例图；

图3为实施例遥感影像语义分割数据集示意图；

图4为实施例多尺度分割约束的样本集示意图；

图中：第1-第6行分别为：非渗透地表、建筑、低矮植被、树木、车辆、杂物。

具体实施方式

如图1所示，为本实施例涉及的一种多尺度分割约束的遥感影像语义分割方法，包括如下步骤：

步骤A、不同分辨率的遥感影像中同一地物的尺度也会发生变化，因此在进行多尺度分割设置尺度参数时，要根据以往经验，针对不同分辨率的遥感影像设置相适应的尺度参数，包括起始尺度、终止尺度、尺度间隔。起始尺度一般从尺度10开始，而若影像中地物尺寸较大，可以从较大的尺度开始。终止尺度以影像中尺寸最大的地物为参考，合理设置。尺度间隔一般设置为10。再设置用于度量区域同质性进行区域合并的分割参数，主要包括光谱因子、形状因子，两个因子的权重总和为1。自然地物形状不明显，光谱因子权重一般设置为0.8。若影像中人工构筑物较多，形状特征突出，形状因子权重可设置为0.4。

采用抖动生长法选定一些像素作为合并起始点，根据同质性准则进行像素与像素之间的合并，使得影像中所有像素都归属于相应的初始区域，记录下影像的区域结构信息，并初始化区域邻接图，依照下面公式计算相邻区域的同质性：m＝w_spectralΔh_spectral+w_shapeΔh_shape，其中：Δh_spectral为光谱变化量，Δh_shape为形状变化量性，w_spectral和w_shape分别为光谱和形状变化量的权重，满足w_spectral+w_shape＝1。变化量是指两个区域合并前与合并后得到的区域光谱、形状特征的变化。一般两个区域比较相似时，合并后得到的区域，其光谱、形状特征的变化量比较小；否则，变化量比较大。计算出每对相邻区域的同质性，随机选择起始区域，在一定的扫描范围内遍历其最近邻区域，寻找局部最优合并区域对进行合并，得到起始尺度的合并结果并保存。

以尺度间隔作为多尺度分割的步长，尺度参数按尺度间隔递增，在前一个尺度的合并结果基础上，继续计算相邻区域的同质性，寻找局部最优合并区域对进行合并，得到新尺度下的合并结果并保存。直到到达设定的终止尺度，终止区域合并。至此，得到若干个多个尺度下的区域合并结果，这些从小尺度到大尺度的区域合并结果，彼此之间存在尺度关联关系，区域对象在不同的尺度中存在严格的空间对应和继承关系，这种区域对象的层次连接结构关系确保影像中不同尺度地物边界的准确性。

步骤B、在已经得到的各个尺度区域合并结果上，计算每个尺度各区域的标准差，各尺度下的区域平均标准差。比较各个区域合并尺度下平均标准差的变化情况和趋势，确定平均标准差出现峰值且均值标准差变化率开始下降时的尺度，以该尺度作为区域合并结果进行融合的最佳尺度。

基于莫兰指数定义欠分割阈值，当该区域的莫兰指数没有达到阈值，则该区域不存在欠分割，在最终融合的结果中将保留该区域。否则结合该区域的层次连接结构关系，检查前一尺度该区域的莫兰指数是否达到该阈值，直到找到不存在欠分割的尺度或者达到初始最小尺度。将每个区域保持其尺度上的空间继承关系进行自适应融合，使得每个区域不存在欠分割的情况，即每个区域内部空间相关性最好，融合结束得到最终的多尺度融合结果，即最终的多尺度分割结果。

步骤B得到的多尺度分割结果中实际上保存着每一个区域的边界点信息，每个边界点都存储着该点在原始遥感影像中对应的像素坐标值，依据这些边界点信息构造出每一个区域的掩模，对应掩模从遥感影像中采集该区域的原始像素值，利用训练好的深度学习网络，可提取该区域所含地物的深度特征。

所述的深度学习网络的深度特征提取包括：进行卷积处理、线性整流、局部响应归一化、池化等操作，具体包括：第一次卷积、线性整流、局部响应归一化、池化后得到初级特征图；然后进行第二次卷积、线性整流、局部响应归一化、池化得到第二级特征图；再进行二次卷积、线性整流以及最后一次卷积、线性整流、局部响应归一化、池化得到的特征图通过3层全连接层，得到该区域的深度特征向量，传给最后的Softmax层，由Softmax层对每一个区域的语义进行预测，将该区域属于概率最大的类别作为其最终的语义。

如图2所示，所述的深度学习网络包括：采用Caffe深度学习框架来训练深度学习网络，由于多尺度分割结果中可能存在尺度10的区域，所以不能选择太深的网络架构，本发明选择与AlexNet网络类似的深度学习网络结构，包含5个卷积层、3个全连接层、1个Softmax层，确保可以有效提取多尺度分割区域的深度特征。

所述的深度学习网络的训练样本，通过以下方式得到：样本集的构建是从遥感影像中采集各种地物的样本图像，然后采用重叠采样、旋转、翻转等方式，对样本图像进行增强，构建地物样本数据集，将地物样本数据集按7:2:1的比例，分为训练子集、验证子集与测试子集。每个子集中的样本图像各自统一命名，并分别存储在硬盘上相应的文件目录中，再制作各个子集的标签文件，存放对应子集中所有样本图像的存储路径、名字及其类别标签。利用各个数据子集及其对应的标签文件训练深度学习网络，根据样本数据集的情况设置深度学习网络输出层节点个数、基础学习率、学习策略、迭代次数、权重衰减等参数，最终得到一个以.caffemodel为后缀的深度学习网络模型。

利用训练好的深度学习网络模型，对任意一幅遥感影像按照图1所示流程，对多尺度分割中的每一个区域预测语义，最终得到该影像的多尺度分割约束的语义分割结果。语义分割结果中的每一个区域的边界都将存储为多边形矢量数据，所有区域的多边形最终会写到通用的.shp格式矢量图形文件中保存。在保存每个多边形时，同时写出每个多边形的索引号和类别属性。以标准格式存储的分割结果便于交换，可广泛用于实际的工程应用中。

本实施例优选采用国际摄影测量与遥感学会的遥感影像语义分割数据集Potsdam，该数据集中的遥感影像为已经过预处理的正射影像，每幅影像有3个通道，对应原始遥感影像的近红外、红、绿3个波段，主要包括非渗透地表、建筑、低矮植被、树木、车辆、杂物等共六类地物，且具有人工逐像素标注语义的真值图，可用于一般语义分割结果的精度评价，示意图如图3所示，其中人工标注的语义表示为：非渗透地表为白色(RGB值：255，255，255)，建筑为蓝色(RGB值：0，0，255)、低矮植被为亮蓝色(RGB值：0，255，255)、树木为绿色(RGB值：0，255，0)、车辆为黄色(RGB值：255，255，0)、杂物为红色(RGB值：255，0，0)，这种人工逐像素标注语义的真值图，在本实施例中仅用作最终的语义分割结果精度对比评价。

由于本方法采用多尺度分割约束，训练深度网络的样本不能类似一般的语义分割，直接利用人工逐像素标注的标签图训练深度网络。本发明利用该数据集自行采集用于多尺度分割约束的语义分割的样本集。采集样本先通过多尺度分割，获得各个区域的影像，再将各个影像中非该区域的部分进行掩膜，处理为黑色。然后，经过保持长宽比不变的影像缩放，将所有样本的大小统一为227*227像素，再通过人工目视判读，为各个样本标注语义，形成有多尺度分割约束的样本集，六类地物的部分样本如图4所示。

以人工逐像素标注语义的真值图作为参考，利用4幅480*360的遥感影像，对比两种语义分割方法的准确性，一种为基于SegNet的语义分割方法，另一种为本实施例方法。利用语义分割中的通常使用像素总体精度、均交并比(Mean Intersection over Union，MIoU)作为衡量语义分割准确度的标准。MIoU的值越高，说明预测结果和真实值(GroundTruth)之间重叠的区域越大，语义分割的精度也就越高。由于SegNet语义分割结果为像素级标签图，为了进行比较，将本实施例的矢量分割结果按照对应语义，将矢量多边形填充了与语义标签对应的颜色，比较结果如下：

从表中可以看出，本实施例方法取得了77.2％的像素总体精度和35.6％的均交并比，像素总体精度高于基于SegNet的语义分割方法，均交并比与基于SegNet的语义分割方法相当。这主要是由于本实施例基于多尺度分割约束，以区域为单位进行语义预测，而基于SegNet的语义分割方法以像素为单位进行语义预测，显然多尺度分割约束能有效地提高语义预测的总体精度。

从视觉效果来看，本实施例基于多尺度分割约束能够准确的地物边界，获得了吻合地物边界的封闭区域的语义信息。而一般地类似基于SegNet的语义分割方法以像素为单位进行语义分割，即使在像素总体精度高于本实施例方法时(如2#结果)，其语义分割结果也存在很多零散、孤立的像素，形成一种“椒盐”图像，无法提取闭合区域。

总的来说，本实施例在获得地物准确边界的同时赋予其语义信息，从整体上提升了遥感影像语义分割的精度，并考虑了分割结果在实际应用中的存储和交换，是进行遥感影像语义分割的有效解决方案。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种多尺度分割约束的遥感影像语义分割方法，其特征在于，通过对遥感影像进行多尺度区域合并，并将合并结果进行融合处理后得到多尺度分割结果，通过深度学习网络进行语义预测得到遥感影像地物准确边界及语义信息；

所述的深度学习网络优选采用具有Caffe深度学习框架的AlexNet网络；

所述的遥感影像地物准确边界及语义信息是指：将多尺度分割约束的遥感影像语义分割结果中的每一个区域的边界存储为多边形矢量数据，所有区域的多边形数据组成通用的Shp格式矢量图形文件，每个多边形表示一个空间对象，并设置索引号和类别属性，便于分割结果的存储和交换。

2.根据权利要求1所述的方法，其特征是，所述的多尺度区域合并，包括以下步骤：

A1、读入遥感影像，设置尺度参数和用于度量区域同质性进行区域合并的分割参数并计算遥感影像的区域结构信息；

A2、初始化区域邻接图，计算出每对相邻区域的同质性，寻找局部最优合并区域对进行合并，得到起始尺度的合并结果并保存；

A3、以尺度间隔作为步长，将当前尺度增加一个尺度间隔数，判断是否达到预设的终止尺度，当达到终止尺度时结束尺度区域合并，否则转步骤A4；

A4、在前一个尺度的合并结果基础上，在新尺度下寻找局部最优合并区域对进行合并，得到新尺度下的合并结果并保存，然后更新区域邻接图并转步骤A3。

3.根据权利要求2所述的方法，其特征是，所述的区域结构信息是指：通过度量同质性，即两个相邻区域之间的相似性获得的当前尺度下影像可划分的区域以及各区域中包含像素情况的信息。

4.根据权利要求1所述的方法，其特征是，所述的融合处理，包括如下步骤：

B1、每个合并结果的标准差以及该合并尺度下的区域平均标准差，以平均标准差出现峰值且均值标准差变化率开始下降时的尺度作为融合的最佳尺度；

B2、由于每个尺度下的合并结果之间具有内在的关联，即可作为层次连接结构图，根据最佳尺度和多尺度合并过程中得到的层次连接结构图获得该尺度中的各个区域及每个区域自身的层次结构图，计算各区域的莫兰指数，用于衡量每个区域内部的空间相关性并进行欠分割判断；

B3、将每个区域保持其尺度上的空间继承关系进行自适应融合，得到最终的多尺度融合结果，即得到最终的多尺度分割结果。

5.根据权利要求4所述的方法，其特征是，所述的莫兰指数其中：n为该区域内部的子区域总数，w_ij为子区域i和子区域j的邻接关系，p_i和p_j分别是子区域i和子区域j的特征值，是子区域特征的平均值。

6.根据权利要求4所述的方法，其特征是，所述的欠分割判断是指：当区域的莫兰指数没有达到该阈值，则该区域不存在欠分割，在最终融合时，将保留该区域，否则，需要检查前一尺度该区域的莫兰指数是否达到该阈值，直到找到不存在欠分割的尺度或者达到初始最小尺度。

7.根据权利要求1所述的方法，其特征是，所述的深度学习网络的训练样本通过以下方式得到：从影像中采集地物样本图像，采用重叠采样、旋转、翻转等方式，对样本图像进行增强，构建地物样本数据集，将地物样本数据集分为训练子集、验证子集与测试子集，每个子集中的样本图像各自统一命名，并分别存储在硬盘上相应的文件目录中，然后，建立各个子集的标签文件，每个标签文件中都包含对应子集中所有样本图像的存储路径、名字及其类别标签。

8.一种实现上述权利要求1～7中任一所述方法的多尺度分割约束的遥感影像语义分割系统，其特征在于，包括：用于将读入的遥感影像进行多尺度分割的多尺度合并与融合模块、用于将深度网络封装到系统中进行语义预测的深度网络封装模块、用于将多尺度分割的结果逐区域进行语义预测的语义预测模块以及将语义预测的结果以shp文件的格式输出保存的语义分割结果输出模块。