CN111080652A

CN111080652A - 基于多尺度轻量化空洞卷积的光学遥感图像分割方法

Info

Publication number: CN111080652A
Application number: CN201911342809.1A
Authority: CN
Inventors: 侯彪; 项子娟; 焦李成; 马文萍; 马晶晶; 杨淑媛
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2019-12-23
Filing date: 2019-12-23
Publication date: 2020-04-28
Anticipated expiration: 2039-12-23
Also published as: CN111080652B

Abstract

本发明公开了一种基于多尺度轻量化空洞卷积的光学遥感图像分割方法，主要解决现有技术中网络所占的存储空间大、图像分割效果欠佳的问题。其实现方案为：获取光学遥感图像数据，并划分训练样本集和测试样本集；构建由特征提取下采样子网络、底层子网络、图像恢复上采样子网络级联的多尺度轻量化空洞卷积网络；用训练样本集对构建的多尺度轻量化空洞卷积网络进行训练；将测试样本集输入到训练好的多尺度轻量化空洞卷积网络中进行测试，得到光学遥感图像的分割结果。本发明减小了分割网络所占存储空间，提高了对光学遥感图像的分割精度，可用于土地规划管理，植被资源调查及环境监测。

Description

基于多尺度轻量化空洞卷积的光学遥感图像分割方法

技术领域

本发明属于图像处理技术领域，特别涉及一种光学遥感图像分割方法，可用于土地规划管理，植被资源调查及环境监测。

背景技术

光学遥感图像的分割是遥感领域的重要研究内容之一，是指在已经获取的光学遥感卫星拍摄的图像上，有选择性地定位感兴趣对象在图像中地位置和范围，比如通过区域划分出水域、建筑物、森林、农田、草地等不同类别。

目前，光学遥感图像分割方法有基于传统的图像分割方法、结合特定工具的图像分割方法、基于神经网络的图像分割方法。其中：

基于传统的图像分割方法，包括：基于阈值的图像分割方法、基于区域的图像分割方法、基于边缘检测的图像分割方法等。这类方法中的一些阈值参数及中心点参数的设置复杂，且这些参数的设置对分割精度的影响较大。当它们在处理大数据量的图像数据时，耗时较长且收敛难度大。在处理图像的多分类任务时，很难取得比较均衡的结果，整体表现效果不佳。

结合特定工具的图像分割方法，包括：基于小波分析和小波变换的图像分割方法、基于MRF模型的图像分割方法、基于遗传算法的图像分割方法等。这类方法中的滤波器的选取、适应度函数的选择、交叉变异等重要算子的选择，需要非常充分的先验知识，并且这些参数对图像分割精度有很大的影响，造成该方法的普适性不强，鲁棒性较差，不能够快速的面对的问题的改变而做出改变。

基于神经网络的图像分割方法，包括：基于FCN网络的图像分割方法、基于UNet网络的图像分割方法、基于DeepLab网络的图像分割方法、基于Res-UNet网络的图像分割方法、基于Vgg-UNet网络的图像分割方法等。这类方法是目前非常热的一类图像分割方法，它弥补了上述两类图像分割方法的不足，解决了端到端的复杂图像分割问题。但是，在这类方法中，因为没有高效率的利用高级特征和低级特征，使得图像分割效果欠佳。并且这类方法的网络参数复杂、参数量大，使得网络所占的存储空间大。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于多尺度轻量化空洞卷积的光学遥感图像分割方法，以减小图像分割网络所占的存储空间，提高图像分割精度。

本发明的技术方案是，首先获取训练样本集和验证样本集，并做数据增强；再搭建网络，分别采用多尺度轻量化空洞卷积层替换UNet的下采样层，采用轻量化空洞卷积来优化UNet的上采用层；然后对搭建的新网络模型进行训练，获取性能最优模型后，最后将测试集输入性能最优模型，输出分割结果并对其进行优化。具体实现步骤包括如下：

(1)获取训练样本集T和测试样本集V：

从公开网站上获取用于分割的光学遥感图像数据集GID，该数据集包含150张6800×7200像素大小的光学遥感图像数据和150张6800×7200像素大小的包含建筑物、农田、水域、森林、草地，背景这六类的类标图数据，从光学遥感图像数据中选取80％的数据与其对应的类标图数据作为训练样本集T，剩余的20％的学遥感图像数据作为测试样本集V；

(2)构建由特征提取下采样子网络、底层子网络、图像恢复上采样子网络级联的多尺度轻量化空洞卷积网络；

(3)对多尺度轻量化空洞卷积网络进行训练：

(3a)设初始学习率为0.00003，初始化Adam优化器，采用学习率衰减器动态衰减学习率；并设置该学习率衰减器中能容忍的无提升次数为5，衰减权重为0.2，最小的学习率为1e-8；

(3b)对训练样本集T中的数据做随机的数据增强，其中包括旋转、上下翻转、左右翻转、随机切取、亮度改变，得到数据增强后训练样本集T’；

(3c)将数据增强后的训练样本集T’分批次输入到多尺度轻量化空洞卷积网络中，计算多尺度轻量化空洞卷积网络的交叉熵损失，使用初始化后的优化器Adam根据计算得到的交叉熵损失反向更新该网络的权重和偏置；

(3d)重复(3b)到(3c)到100轮后，得到训练好的多尺度轻量化空洞卷积网络Net；

(4)将测试样本集V输入到训练好的多尺度轻量化空洞卷积网络Net中进行预测，得到测试样本集V的分割结果。

本发明由于构建了由特征提取下采样子网络、底层子网络、图像恢复上采样子网络级联的多尺度轻量化空洞卷积网络，与现有的技术相比具有以下优点：

第一，通过特征提取下采样子网络中的特征提取模块可提取每一个级别图像的多尺度特征，高效的利用了高级特征图和低级特征图的语义信息，从而提高了光学遥感图像的分割精度。

第二，通过图像恢复上采样子网络中的分组提取模块替换普通卷积层，大量减少了网络模型的参数数目，提高了图像分割的速度。

附图说明

图1是本发明的实现流程示意图；

图2是现有“高分2号”光学遥感图像拍摄的多光谱图像；

图3是用现有的基于Res_UNet网络的分割方法对图2进行分割的仿真结果图；

图4是用本发明对图2进行分割的仿真结果图。

具体实施方式

以下结合附图，对本发明的实施例和效果作进一步说明。

参照图1，本实施例的实现步骤如下：

步骤1，获取训练样本集T和测试样本集V。

1.1)从公开网站上获取用于分割的光学遥感图像数据集GID，该数据集包含150张6800×7200像素大小的光学遥感图像数据和150张6800×7200像素大小的类标图数据，这些类标图包含建筑物、农田、水域、森林、草地，背景这六类；

1.2)对获取的光学遥感图像的数据集GID进行切割，将其切割成512×512的图片并保存到本地，将光学遥感图像数据和类标图数据分别保存到Images和Labels两个文件夹中。以方便后续训练使用；

本实验选取80％的Images中数据和对应Labels中的数据作为训练样本集T，取剩余20％的Images数据作为测试样本集V。

步骤2，构建多尺度轻量化空洞卷积网络。

2.1)构建特征提取下采样子网络，它包括四层结构，其中：

所述第一层由4个特征提取模块与1个空间通道压缩及提取模块SCSE级联组成；

该第1个特征提取模块由一层卷积核大小为7×7、步长为2的卷积层构成；

该第2个特征提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别为3×1和1×3、步长均为1；

该第3个特征提取模块和第4个特征提取模块的结构与第2个特征提取模块相同。

所述第二层由4个特征提取模块与1个空间通道压缩及提取模块SCSE级联组成；

该第1个特征提取模块由三个分组提取模块并联构成，其中：

第一个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别3×1和1×3、步长分别为2和1；

第二个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别5×1和1×5、步长分别为2和1；

第三个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别7×1和1×7、步长分别为2和1；

该第2个特征提取模块由两个分组提取模块并联构成，其中：

第一个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别3×1和1×3、步长均为1；

第二个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别5×1和1×5、步长均为1；

该第3个特征提取模块和第4个特征提取模块的结构与第2个特征提取模块相同；

所述第三层由6个特征提取模块与1个空间通道压缩及提取模块SCSE级联组成；

该第1个特征提取模块由三个分组提取模块并联构成，其中：

该第2个分组提取模块由两个分组提取模块并联构成，其中：

该第3个分组提取模块的结构与第2个分组提取模块相同；

该第4个分组提取模块由三个分组提取模块并联构成，其中：

第三个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别7×1和1×7、步长均为1；

该第5个分组提取模块和第6个分组提取模块的结构与第4个分组提取模块相同；

所述第四层由3个特征提取模块与1个空间通道压缩及提取模块SCSE级联组成；

该第1个特征提取模块由五个分组提取模块并联构成，其中：

第四个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别9×1和1×9、步长分别为2和1；

第五个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别11×1和1×11、步长分别为2和1；

该第2个特征提取模块由四个分组提取模块并联构成，其中：

第四个分组提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别9×1和1×9、步长均为1；

该第3个特征提取模块的结构与第2个特征提取模块相同；

2.2)构建底层子网络：其由2个卷积层和1个空间通道压缩及提取模块SCSE级联构成，每个卷积层的卷积核大小分别3×1和1×3、步长分别为2和1；

2.3)构建图像恢复上采样子网络，它包括五层结构，其中：

第一层采用的是现有UNet网络结构中的上采样网络结构，只是将其中的普通卷积层用分组提取模块替换，分组提取模块由两个卷积层级联所构成，卷积核大小分别为3×1和1×3、步长均为1；

第二层、第三层、第四层的结构与第一层相同；

第五层由一个反卷积层和一个卷积层级联构成，其中，反卷积层的卷积核大小为3×3、步长为2，卷积层的卷积核大小为3×3、步长为1。

2.4)将上述2.1)、2.2)、2.3)构建的子网络依次级联，构成多尺度轻量化空洞卷积网络。

步骤3，对多尺度轻量化空洞卷积网络进行训练：

3.1)设初始学习率为0.00003，初始化Adam优化器，采用学习率衰减器动态衰减学习率；并设置该学习率衰减器中能容忍的无提升次数为5，衰减权重为0.2，最小的学习率为1e-8；

3.2)对训练样本集T中的数据做随机的数据增强，其中包括旋转、上下翻转、左右翻转、随机切取、亮度改变，得到数据增强后训练样本集T’；

3.3)将数据增强后的训练样本集T’，分批次输入到多尺度轻量化空洞卷积网络中，计算多尺度轻量化空洞卷积网络的交叉熵损失：

其中，J(W,b)为交叉熵损失，N为样本总数目，Lab⁽ⁱ⁾为第i个样本的类标，P⁽ⁱ⁾(W,b)为第i个样本的预测结果；

3.4)使用初始化后的优化器Adam根据计算得到的交叉熵损失反向更新该网络的权重和偏置，公式如下：

其中，J(W,b)为交叉熵损失，

是第l层第j单元与第l+1层第i单元之间更新前的联接权重，

是第l层第j单元与第l+1层第i单元之间更新后的联接权重，

是第l+1层i单元更新前的偏置，

是第l+1层i单元更新后的偏置，α是更新步长也称学习率；

3.5)重复3.2)到3.4)至100轮后，得到训练好的多尺度轻量化空洞卷积网络Net。

步骤4，将测试样本集V输入到训练好的多尺度轻量化空洞卷积网络Net中进行预测，得到测试样本集V的分割结果。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件:

仿真实验采用“高分二号”光学遥感卫星拍摄的中国主要城市的图像，地面分辨率为4米。

仿真实验在CPU为Intel(R)Xeon(R)E5-2630v4H、主频2.20GHz，内存为64G的UBUNTU 16.04系统上使用Python3.6软件进行。

2.仿真内容及结果：

仿真1，用现有的基于Res-UNet网络的分割方法对图2进行分割，结果如图3所示，其中，红色代表建筑物，绿色代表农田，蓝色代表水域、淡蓝色代表森林、黄色代表草地，黑色代表背景。从图3可见，水域的分割效果欠佳，农田的边界分割模糊，森林的分割效果差。

仿真2，用本发明对图2所示图像进行分割，结果图如图4所示，其中，红色代表建筑物，绿色代表农田，蓝色代表水域、淡蓝色代表森林、黄色代表草地，黑色代表背景。从图4可见，水域的分割结果更好，农田的边界分割更精确，森林的分割效果更优。

对图3和图4计算网络所占的存储空间和分割精度，结果如表1所示。

表1本发明和Res-UNet的网络所占的存储空间及分割精度对比

不同方法	所占的存储空间	分割精度IoU
			Res-UNet	181.75MB	0.5487
本发明	73.56MB	0.5642

从表1可见，本发明相比于现有基于Res-UNet网络的分割方法具有更少的参数数目，网络更轻便、减少了网络所占的存储空间并提高了对光学遥感图像的分割精度。

Claims

1.一种基于多尺度轻量化空洞卷积的光学遥感图像分割方法，其特征在于，包括如下：

(1)获取训练样本集T和测试样本集V：

(3)对多尺度轻量化空洞卷积网络进行训练：

2.根据权利要求1所述的方法，其特征在于，所述(2)多尺度轻量化空洞卷积网络中的特征提取下采样子网络，包括四层结构，其中：

第一层由4个特征提取模块与1个空间通道压缩及提取模块SCSE级联构成；

第二层由4个特征提取模块与1个空间通道压缩及提取模块SCSE级联构成；

第三层由6个特征提取模块与1个空间通道压缩及提取模块SCSE级联构成；

第四层由3个特征提取模块与1个空间通道压缩及提取模块SCSE级联构成。

3.根据权利要求2所述的方法，其特征在于，第一层的4个特征提取模块，其参数如下：

第1个特征提取模块由一层卷积核大小为7×7、步长为2的卷积层构成；

第2个特征提取模块由两个卷积层级联构成，每个卷积层的卷积核大小分别为3×1和1×3、步长均为1；

第3个特征提取模块和第4个特征提取模块的结构与第2个特征提取模块相同。

4.根据权利要求2所述的方法，其特征在于，第二层的4个特征提取模块，其参数如下：

第1个特征提取模块由三个分组提取模块并联构成，其中：

第2个特征提取模块由两个分组提取模块并联构成，其中：

5.根据权利要求2所述的方法，其特征在于，第三层的6个特征提取模块，其参数如下：

第1个特征提取模块由三个分组提取模块并联构成，其中：

第2个分组提取模块由两个分组提取模块并联构成，其中：

第3个分组提取模块的结构与第2个分组提取模块相同；

第4个分组提取模块由三个分组提取模块并联构成，其中：

第5个分组提取模块和第6个分组提取模块的结构与第4个分组提取模块相同。

6.根据权利要求2所述的方法，其特征在于，第四层的3个特征提取模块，其参数如下：

第1个特征提取模块由五个分组提取模块并联构成，其中：

第2个特征提取模块由四个分组提取模块并联构成，其中：

第3个特征提取模块的结构与第2个特征提取模块相同。

7.根据权利要求1所述的方法，其特征在于，所述(2)多尺度轻量化空洞卷积网络中的底层子网络，其由2个卷积层和1个空间通道压缩及提取模块SCSE级联构成，每个卷积层的卷积核大小分别3×1和1×3、步长分别为2和1。

8.根据权利要求1所述的方法，其特征在于，(2)构建多尺度轻量化空洞卷积网络中的图像恢复上采样子网络，包括五层结构，其中：

第二层、第三层、第四层的结构和第一层相同；

9.根据权利要求1所述的方法，其特征在于，(3c)中计算多尺度轻量化空洞卷积网络的交叉熵损失，通过下式进行：

其中，J(W,b)为交叉熵损失，N为样本总数目，Lab⁽ⁱ⁾为第i个样本的类标，P⁽ⁱ⁾(W,b)为第i个样本的预测结果。

10.根据权利要求1所述的方法，其特征在于，(3c)中反向更新多尺度轻量化空洞卷积网络的权重和偏置，公式如下：

其中，J(W,b)为交叉熵损失，

是第l层第j单元与第l+1层第i单元之间更新前的联接权重，

是第l层第j单元与第l+1层第i单元之间更新后的联接权重，

是第l+1层i单元更新前的偏置，

是第l+1层i单元更新后的偏置，α是更新步长也称学习率。