CN112686903A - 一种改进的高分辨率遥感图像语义分割模型 - Google Patents

Abstract

本发明涉及智能信息处理技术领域,更具体的说是涉及一种改进的高分辨率遥感图像语义分割模型，采用resnet网络对两种图像的特征分别进行提取，并在不同的特征层上进行数据融合，在网络结构的设计中引入了空间位置注意力模块和通道注意力模块，并对底层特征使用不同扩张率的空洞卷积神经网络进行多尺度融合，得到一种新的高分辨率遥感图像语义分割模型，通过对最终的预测性能分析，相比FCN、Unet、Segnet、DeeplabV3+等流行的语义分割模型，该模型在高分辨率遥感图像的预测中具有一定的优势。

Description

一种改进的高分辨率遥感图像语义分割模型

技术领域

本发明涉及智能信息处理技术领域,更具体的说是涉及一种改进的高分辨 率遥感图像语义分割模型。

背景技术

遥感图像语义分割是指对图像中对每个区域的像素标签进行语义上的分 类，它对地表空间信息的提取、城市土地资源管理、环境监测和自然资源保 护等方面都起到十分重要的作用。随着遥感技术的发展，获取高分辨率遥感 图像在国内已经得到广泛的应用[1]，这给城市土地信息的提取提供了很好的 资源基础，传统的方法使用手动的方式对遥感图像信息进行标注，会花费大 量的时间和人力，因此构建一种自动的高分辨率遥感图像语义分割方法具有 重要的作用。和传统的计算机视觉图像不同，遥感图像一般可获得的数量比 较少，而且一个图像中会包含很多的物体，比如：道路、建筑物、植被、高 树木、汽车等。另外，建筑物有不同的大小，汽车相比其他物体很小，植被 和高树木只是在高度上有区别，这些问题都给基于标签的图像语义分割增加 了很大的困难。

近年来，随着深度学习技术的发展，为了解决图像语义分割的难点，很 多学者在图像语义分割上做了很多研究，2015年全卷积神经网络[2](Fully ConvolutionalNetworks，FCN)的提出为图像语义分割提供了全新的基础模型， 采用“编码解码”的结构，实现了端到端的分割方法，比起其他模型有了很 大的改进。

发明内容

有鉴于此，本发明提供了一种改进的高分辨率遥感图像语义分割模型， 在编码阶段使用遥感图像中具有三维特征的红外雷达(IRRG)和具有一维特征 的数字表面模型(nDSM)作为输入[3]，如图1所示，采用resnet[4]预训练网络 作为特征提取网络，设计了一种注意力补偿模块(Attention Complementary Block，ACB)网络结构，将IRRG和nDSM双输入特征做融合，加强了特征提取 的效果。

为实现上述目的，本发明提供如下技术方案：

一种改进的高分辨率遥感图像语义分割模型，其特征在于，包括：编码阶 段和解码阶段；其中，所述编码阶段包含有一个ACB注意力模块、4个特征 层、图像输入模块；所述解码阶段包含有CAEB注意力模块、SREB注意力模 块、卷积模块、上采样模块以及ASPP语义分割模块；具体才做步骤为：a、 输入图像特征

其中F_i表示每个像素点在全部通道上的点 集合，C表示通道数量，H，W表示特征图像的高度和宽度，对F使用全局平 均池化(GAP)操作，得到输出Z，

公式如下：

；其次，使用通道数不变的1X1卷积操作，目的是为了对像素相关的类通道 做强化，对像素不相关的类通道做抑制处理，从而给每个通道以合适的权值， 然后使用Sigmod激活函数激活卷积结果，通过训练可以得到针对每一个通道 的最佳权值

范围为0-1之间，最后使用得到输出结果，表达式可以 写为公式：U＝A×f_s(W₁.Z_k)；其中U为一个分支的输出结果，代表1×1卷积， f_s为Sigmod激活函数，为矩阵对应元素相乘；将IRRG图像和nDSM图像依次 独立采用上述模型进行特征的提取，并在每一层对提取的特征图进行融合；b、 为了提高像素级识别特征表示的辨别能力，我们将深层特征和浅层特征融合 的过程中采用了空间位置注意力和通道注意力两个网络的串接融合；其中， 空间位置注意力模块，我们使用注意力机制，通过计算像素所在位置每个通 道上的加权累计，得到每个像素可更新的权值比例，其大小由相应的两个位 置之间的特征相似程度来决定，从而使得空间任意两个像素之间的依赖关系 得以表示，通过空间位置注意力网络后，两个位置之间的关系程度和空间位置上的距离无关；实现方法如下：(1)假设输入图像特征

(2) 通过两个1×1卷积后，得到两个新的特征A和B，

(3) 将A和B两个特征变型操作为

其中HW为H×W；)然后用A的转 置乘上B，在对结果使用softmax求取每个像素的注意力权值，得到

其中

S_ji表示第i个位置和第j个位置像素的注意力权值，即两个位置的相关程度；(5)再通过1×1卷积后，得到两个 新的特征C，

并变型为

然后对S和变型后的C对应元素 相乘，最后再与输入特征相加得到输出

表达式如下

优选的，在上述一种一种改进的高分辨率遥感图像语义分割模型中，所 述ASPP义分割，通用的损失函数一般选择交叉熵损失函数CE_loss定义如 下：

其中N表示批处理的大小，

表示每个 标签样本的概率，

表示相应标签类别的编码。

优选的，在上述一种一种改进的高分辨率遥感图像语义分割模型中，带 权重的交叉熵损失函数定义如下：

其中

w_c表示各类别的权重，f_c表示某一类别c的像素频率，media(f_c)表示求f_c的中 位数。

优选的，在上述一种一种改进的高分辨率遥感图像语义分割模型中，对 于两个数据集我们都使用不带边界腐蚀的标注图进行性能指标测试，评价函 数如下：

TP表示“正样例被分类成正样例”像 素，FP表示“负样例被分类成正样例”像素，FN表示“正样例被分类成负样 例”像素，N表示总的像素值。

经由上述的技术方案可知，与现有技术相比，本发明针对高分辨率遥感 图像的特点，在该结构的基础上设计了一种改进的端到端网络模型，在编码 阶段使用遥感图像中具有三维特征的红外雷达(IRRG)和具有一维特征的数字 表面模型(nDSM)作为输入，采用resnet预训练网络作为特征提取网络，设计 了一种注意力补偿模块(AttentionComplementary Block，ACB)网络结构，将 IRRG和nDSM双输入特征做融合，加强了特征提取的效果。为了有效的获取 全局信息，我们在特征提取的最后一个阶段，构建了一个带有空洞卷积的空 间金字塔结构(Atrous Spatial Pyramid Pooling，ASPP)网络模块，采用具有不同 空洞率的空洞卷积网络，增大了卷积感受野，进一步提高了网络模型对于全 局信息的获取。在解码阶段，我们设计了一种通道注意力增强模块(Channel Attention EnhanceBlock，CAEB)、空间注意力增强模块(Spatial Attention Enhance Block，SAEB)两种空间网络结构，采用CAEB和SAEB串接的方式对 深层特征和浅层特征进行特征融合，再使用上采样结构减小通道数量，增加 图像的尺寸，最后使用1×1卷积得到需要的输出图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的网络模型总框图。

图2附图为本发明的ACB模块框图。

图3附图为本发明的CREB模块框图。

图4附图为本发明的SREB模块框图。

图5附图为本发明的空间位置注意力模块图。

图6附图为本发明的通道注意力模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图1-6，为本发明公开的一种改进的高分辨率遥感图像语义分割 模型，实验方案设计如下：

2.1数据集描述

表1 Vaihingen数据集实验方案

选取的数据集为Vaihingen数据集，该数据集采集自航摄飞机拍摄的标准 航空遥感影像，由33幅高分辨率航空影像组成，涵盖1.38km2城市的面积， 图像平均尺寸大小为2494×2064，每张图像具有3个波段，分别为红外、 红色和绿色波段，NDSM图像表征的是地面上物体的高度数据，作为补充数据 输入，在这33张图中，其中有16张图片是有人工标注的，我们选12张图片 作为训练集，4张图片作为验证集，数据集的信息如表1所示。

2.2数据增强方法

一般情况下，高分辨率遥感图像单张图像的尺寸都比较大，无法直接输 入到深度学习网络中去，而且大部分高分辨率遥感图像只提供非常有限的数 据量，比如，Vaihingen数据集只提供16张大小为2494×2064带标签的完 整图像，虽然很多深度学习语义分割模型能输入任意尺寸的图像，但是由于 GPU内存的限制和图像数量的原因，一次输入这么大的图像显然是不合适的， 我们需要对图像进行随机裁剪，训练时我们在原始图像的基础上，随机把图 像裁剪为256×256大小，并对图像进行0°、90°、180°、270°、水平和 垂直6个方向的随机旋转，在实现的过程图像的裁剪和训练没有分开，这样 可以保证每次随机到的图像都可以不一样，如果先裁剪好再训练，每次训练 的数据集就不会变，会影响最后的训练准确度。验证时，我们采用重叠覆盖 的方法，把图像裁剪为256×256大小，如图所示，设置x方向步长和y方向 步长，对预测图像进行裁剪，这样可以提高整张图片最终预测的准确度。

2.3损失函数及训练细节

(1)损失函数设计

在语义分割领域，通用的损失函数一般选择交叉熵损失函数CE_loss定义如 下：

其中N表示批处理的大小，

表示每个标签 样本的概率，

表示相应标签类别的编码。

针对数据集中大目标类别(比如道路和建筑物等)的像素点数量占据绝 对优势，不同类别的像素点数据分布不均衡，因此高分辨率遥感图像存在样 本类不平衡的问题，上式损失函数计算的是所有像素的总和，不能很好的处 理类不平衡问题[9]，我们采用对不同类别的损失进行加权，计算每个类别的 权重，频率越高的权重越小，带权重的交叉熵损失函数定义如下。

其中

表示各类别的权重，f_c表示某一类别c的像素频率，media(f_c)表示求f_c的中位数。

(2)训练细节

在进行设计时，我们的程序使用pytorch框架进行设计，实验所用图像工作站 配置为：8核CPU，内存32G，TeslaV100 GPU，显存16G，操作系统Ubuntu 16.04， 优化器采用随机梯度法，参数设置：lr＝0.01，momentum＝0.9， weight_decay＝1e-4，迭代次数50000，批处理大小16，为了评估网络的性能， 我们使用全局准确率(OA)，均交并比(mIOU)来进行比较，对于两个数据 集我们都使用不带边界腐蚀的标注图进行性能指标测试，评价函数如下：

TP表示“正样例被分类成正样例”像素， FP表示“负样例被分类成正样例”像素，FN表示“正样例被分类成负样例” 像素，N表示总的像素值。

2.4实验结果分析

我们采用FCN-8S[10]、Unet[11]、Segnet[12]、DeeplabV3+三种不同的语义 分割网络进行对比分析，从数据可以看出，我们设计网络在均交并比(mIOU) 和准确率(OA)上都有了一定程度的提高，和基础网络FCN-8S相比，我们的 网络在mIOU上提高了5.1％，在OA上提高了3％，证明我们的网络添加了基 于注意力机制的多尺度融合模型是有效的，对于类不平衡的优化设计上，我 们采用了带权重的交叉熵损失函数，我们的模型在小物体的识别上也有了一 定的提高，比如，汽车类别的IOU达到了73.06％，在相似物体的识别上也比 其他的模型表现的要好，比如建筑物比较大而且颜色不一致时，比较难识别， 经常会出现中间缺失像素的现象，我们的模型建筑物类别IOU的比例达到了 90.78％，而且从预测图中看识别比较完整。

很多的物体是比较相近的，比如一个建筑物在被识别的时候就分散开了， 中间夹着这很多其他的像素，或者树木和矮植被两种物体比较难被区分开， 这是因为各种其他的模型不能很好的使用全局的上下文信息，导致某个像素 在识别的时候只考虑了周围有限的一些像素信息，从而使得信息的识别不是 很完整，我们在模型中添加的注意力机制模型和多尺度模型在很大程度上可 以改进这些问题。

我们对所有的256×256图像进行了重叠覆盖拼接的预测方法，拼接后测 试对比结果，经测试该方法比单独拼接在最终的准确率上要高1～1.5％左右， 在最终结果中可以去除大部分预测错误的小点，从整体的预测效果上看，我 们模型的。通过对遥感图像的分析，我们设计了一种新的针对高分辨率遥感 图像端到端的网络模型，对IRRG图像和nDSM图像进行融合输入，并在模型 的设计中引入了空间注意力模块和多尺度模块，从最终的预测结果在物体的 完整性和预测的准确性上都要比其他的模型表现好预测性能看，该模型比其 他几种流行的语义分割网络模型预测效果要好。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种改进的高分辨率遥感图像语义分割模型，其特征在于，包括：编码阶段和解码阶段；其中，所述编码阶段包含有一个ACB注意力模块、4个特征层、图像输入模块；所述解码阶段包含有CAEB注意力模块、SREB注意力模块、卷积模块、上采样模块以及ASPP语义分割模块；具体才做步骤为：a、输入图像特征

其中F_i表示每个像素点在全部通道上的点集合，C表示通道数量，H，W表示特征图像的高度和宽度，对F使用全局平均池化(GAP)操作，得到输出Z，

公式如下：

其次，使用通道数不变的1X1卷积操作，目的是为了对像素相关的类通道做强化，对像素不相关的类通道做抑制处理，从而给每个通道以合适的权值，然后使用Sigmod激活函数激活卷积结果，通过训练可以得到针对每一个通道的最佳权值

范围为0-1之间，最后使用得到输出结果，表达式可以写为公式：U＝A×f_s(W₁.Z_k)；其中U为一个分支的输出结果，代表1×1卷积，f_s为Sigmod激活函数，为矩阵对应元素相乘；将IRRG图像和nDSM图像依次独立采用上述模型进行特征的提取，并在每一层对提取的特征图进行融合；b、为了提高像素级识别特征表示的辨别能力，我们将深层特征和浅层特征融合的过程中采用了空间位置注意力和通道注意力两个网络的串接融合；其中，空间位置注意力模块，我们使用注意力机制，通过计算像素所在位置每个通道上的加权累计，得到每个像素可更新的权值比例，其大小由相应的两个位置之间的特征相似程度来决定，从而使得空间任意两个像素之间的依赖关系得以表示，通过空间位置注意力网络后，两个位置之间的关系程度和空间位置上的距离无关；实现方法如下：(1)假设输入图像特征

(2)通过两个1×1卷积后，得到两个新的特征A和B，

(3)将A和B两个特征变型操作为

其中HW为H×W；)然后用A的转置乘上B，在对结果使用softmax求取每个像素的注意力权值，得到

其中

S_ji表示第i个位置和第j个位置像素的注意力权值，即两个位置的相关程度；(5)再通过1×1卷积后，得到两个新的特征C，

并变型为

然后对S和变型后的C对应元素相乘，最后再与输入特征相加得到输出

表达式如下

2.根据权利要求1所述的一种改进的高分辨率遥感图像语义分割模型，其特征在于，所述ASPP义分割，通用的损失函数一般选择交叉熵损失函数CE_loss定义如下：

其中N表示批处理的大小，

表示每个标签样本的概率，

表示相应标签类别的编码。

3.根据权利要求2所述的一种改进的高分辨率遥感图像语义分割模型，其特征在于，带权重的交叉熵损失函数定义如下：

w_c表示各类别的权重，f_c表示某一类别c的像素频率，media(f_c)表示求f_c的中位数。

4.根据权利要求3所述的一种改进的高分辨率遥感图像语义分割模型，其特征在于，对于两个数据集我们都使用不带边界腐蚀的标注图进行性能指标测试，评价函数如下：

TP表示“正样例被分类成正样例”像素，FP表示“负样例被分类成正样例”像素，FN表示“正样例被分类成负样例”像素，N表示总的像素值。

Images