CN115937707A - 基于多尺度残差注意力模型的sar影像水体提取方法 - Google Patents

Abstract

本发明公开了一种基于多尺度残差注意力模型的SAR影像水体提取方法，步骤如下：首先对SAR原影像进行预处理和标签制作，得到模型的训练集和测试集；其次针对遥感影像中水体形态各异问题，模型的编码器被设计成多尺度残差模块；针对狭窄水域识别准确率低的问题，模型的解码器采用嵌套式结构；最后在每层编码器后面加上细化注意力模块(SC‑attention)，融合空间特征中丰富的语义信息和通道特征中准确的位置信息，以逐步细化分割细节来避免水体边界信息的丢失。本发明利用多尺度残差模块获得水体不同尺度下的特征信息，通过嵌套式解码器能够抑制影像中散斑噪声和非水体背景，保留更多的水体信息，从而获得更好的分割结果。

Description

基于多尺度残差注意力模型的SAR影像水体提取方法

技术领域

本发明涉及遥感影像处理，特别是一种基于多尺度残差注意力模型的SAR影像水体提取方法。

背景技术

湖泊是陆地生态系统的重要组成部分，在维护生态平衡、洪水分流和生活用水方面发挥着重要作用。湖面积作为湖泊形态最重要的参数之一，其变化反映了水资源管理和防洪水库环境变化，直接影响着人类的生产和生活。随着遥感技术的飞速发展，大量遥感卫星数据可用于监测水体。但光学卫星无法穿透云层来提供更多有用的水体信息，导致光学卫星数据很难用于湖泊水面的实时监测。目前，SAR的出现解决了云干扰的棘手问题，因为它具有强大的穿透能力，无论气象条件如何，都能克服云或雾的障碍。此外，SAR还可以弥补可见光数据不能提供夜间影像的空缺。

在过去的几年中，大量基于SAR的水体分割方法如雨后春笋般涌现，主要分为无监督和有监督两大类。其中，基于自适应阈值分割的无监督方法是最常见的水提取算法，它基于水的后向散射系数远低于SAR中其他物体的后向散射系数来分割水体。目前的自动阈值分割方法包括OSTU方法和熵阈值方法，通过分析SAR的双峰直方图找到最优阈值。然而，阈值易受人的主观性影响，随时间和空间的变化而变化。当影像中水的比例最小时，直方图无法显示双峰形状，表明水特征将受到背景的很大影响，最终导致水提取结果不理想。而与阈值法不同，基于深度学习的卷积神经模型(CNN)可以灵活地从大量样本中学习特征。其中，基于CNN结构全卷积模型FCN和编码-解码结构已成为主流的语义分割模型结构。尤其是U-Net，其性能远优于传统的水体分割方法。然而，如果直接使用通用的FCN或U-Net对水体提取而不进行修改，则经常会出现预测精度差、水体边界模糊和视觉退化。因此，如何提高预测精度和保持水体边界的准确分割是遥感影像水体分割面临的两个重要问题。

发明内容

发明目的：本发明的目的是提供一种基于多尺度残差注意力模型的SAR影像水体提取方法，利用多尺度残差模块获得水体不同尺度下的特征信息，通过嵌套式解码器可以抑制影像中散斑噪声和非水体背景，保留更多的水体信息，从而获得更好的分割结果。

技术方案：本发明所述的一种基于多尺度残差注意力模型的SAR影像水体提取方法，包括以下步骤：

(1)针对狭窄水域识别准确率低的问题，引入嵌套式连接的解码器结构，该结构使用上采样和几个短跳连接代替长跳连接；嵌套式解码器能够抑制语义间隙的影响，保留更多的信息，从而获得更好的分割结果；针对遥感影像中水体形态各异问题，提出一个基于多尺度残差和注意力构成的水体分割网络；多尺度残差模块能够分析不同尺度的目标，提取更深层次的高级特征信息；为了获得准确和连续的水体边界，在每层编码器后面加上细化注意力模块，用来融合空间特征中丰富的语义信息和通道特征中准确的位置信息，以逐步细化分割细节来避免水体边界信息的丢失。

(2)获取SAR影像，对源影像进行预处理，获得模型的训练数据集和测试数据集。

(3)通过水体在SAR影像中散射系数低，呈现的颜色比较深的特点来制作标签。

(4)建立多尺度残差注意力模型的SAR影像水体提取方法。

(5)设置模型的超参数、总训练次数、学习率、动量参数、权重衰减参数，经过反复调整和对比试验得到最佳参数，以得到最佳水体分割模型。

(6)使用测试集测试训练好的模型，并通过和传统模型对比，最终验证本发明模型在水体分割方面的优越性。

所述步骤(2)具体为：

对SAR影像完成辐射校准、地形校正和对数转换以及相干斑滤波预处理；将SAR双极化数据和衍生得来的SDWI数据叠加组合成新的三通道影像，将新影像作为模型的输入，SDWI公式如下：

K_SDWI＝ln(10×VV×VH) (1)

其中，K_SDWI表示波段运算的结果值，VV和VH表示SAR双极化数据；SDWI参考借鉴了归一化水指数NDWI，利用SAR双极化数据之间的波段运算来增强水体特征，取得了较好的水体信息提取效果。

所述步骤(3)具体为：

(3.1)对每幅SAR影像进行标注，得到水域和非水域区域的二分类标签；

(3.2)保持每个模型的输入大小一致；

(3.3)对处理后的图像和标签进行裁剪，最终得到模型的训练数据集、验证数据集以及测试数据集。

所述步骤(4)具体为：

(4.1)针对遥感影像中水体形态各异问题，提出一个基于多尺度残差模块和细化注意力模块构成的水体分割模型；多尺度残差模块能够分析不同尺度的目标，提取更深层次的高级特征信息；

(4.2)针对狭窄水域识别准确率低的问题，引入嵌套式连接的解码器结构，该结构使用上采样和几个短跳连接代替长跳连接；

(4.3)在每层编码器后面加上细化注意力模块，融合空间特征中丰富的语义信息和通道特征中准确的位置信息，以逐步细化分割细节来避免水体边界信息的丢失。

步骤(4.3)中所述的细化注意力模块的设计步骤具体为：

细化注意力模块引入了空间注意力SA和通道注意力CA的思想；SA和CA模块可以分别学习SA权重和CA权重，将两个注意力权重加权到组合特征就可获得两个新的加权特征，即SA权重分配给抽象要素，CA权重分配给空间要素；最后将两个加权特征相加得到新的融合特征；细化注意力模块利用了通道特征和空间特征，最终提高了语义分割中像素级分类的准确性，细化注意力模块表示如下：

f_CA＝σ(MLP(AvgPool(X)+MaxPool(X)))

＝σ(W₁(W₀(Favg)+W₁(W₀(Favg)))

f_SA＝σ(f^7×7(AvgPool(X)；MaxPool(X)))

＝σ(f^7×7(Fss))

其中W₁∈R^c/r×c和W₀∈R^c×c/r是多层感知器的权重，f^7×7表示滤波器大小为7×7的卷积层，σ是sigmoid函数，

代表点乘运算符，f_CA为CA模块，f_SA为SA模块；X为输入特征图；

当模型体系结构中使用长跳连接时，无法区分具有相似特征的水域和细小水域，或者无法排除雷达噪声和山影的干扰；针对这些问题，提出了嵌套连接方法，该结构使用上采样和几个短跳连接代替长跳连接；通过嵌套连接，能够抑制影像中散斑噪声和水影，保留更多的信息，从而获得更好的分割结果。

一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于多尺度残差注意力模型的SAR影像水体提取方法。

一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于多尺度残差注意力模型的SAR影像水体提取方法。

有益效果：与现有技术相比，本发明具有如下优点：

1、本发明针对遥感影像中水体形态各异问题，提出了一个基于多尺度残差和注意力构成的水体分割网络。多尺度残差模块能够分析不同尺度的目标，提取更深层次的高级特征信息；

2、本发明在水体边界提取不完整的问题上，采用在每层编码器后面加上细化注意力模块(SC-attention)，融合空间特征中丰富的语义信息和通道特征中准确的位置信息，以逐步细化分割细节来避免水体边界信息的丢失，有效解决了上述问题；

3、本发明使用上采样和几个短跳连接代替长跳连接，通过嵌套连接，能够抑制影像中散斑噪声和非水体背景，保留更多的信息，从而获得更好的分割结果；

4、本发明训练完成的模型分割单张卫星影像中水体时间只需一至两秒，能够快速准确地分割目标水体，具有很好的应用前景；

5、本发明只需要准备相应的数据，在实验阶段根据自己模型的训练情况调整少量深度学习模型的超参数；深度学习模型根据输入数据与标签自动学习遥感影像中水体的特征，并自动保存最佳的模型参数，最佳模型保存后，只需要调用模型便可实现水体分割，便于用户操作。

附图说明

图1为本发明方法的流程示意图。

图2为数据集示意图，其中，图2(a)为数据原图，图2(b)为数据标签。

图3为本发明模型Attention-MRNet示意图。

图4为本发明模型中多尺度残差模块示意图。

图5为本发明模型中细化注意力模块示意图。

图6为本发明模型和传统模型分割结果对比示意图，其中，图6(a)为验证loss对比示意图，图6(b)为Accuracy对比示意图，图6(c)为Recall对比示意图，图6(d)为Precision对比示意图，图6(e)为IOU对比示意图，图6(f)为F1对比示意图。

图7为本发明模型和传统模型典型水域信息提取对比示意图，其中，图7(a)为数据原图，图7(b)为数据标签，图7(c)为Attention-MRNet提取结果，图7(d)为FCN提取结果，图7(e)为Hrnet提取结果，图7(f)为Inception_v3提取结果，图7(g)为Unet提取结果，图7(h)为W-net提取结果，图7(i)为DenseNet121提取结果，图7(j)为ResNet34提取结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1所示，本发明设计了一种多尺度残差注意力模型的SAR影像水体提取方法，该方法具体包括以下步骤：

步骤1、为了训练模型，本发明选自长江中下游水域以及鄱阳湖水域作为模型的训练和测试。通过欧洲航天局研制的Sentinel-1SAR卫星，数据的选取时间为2020年05月27号至11月23号20幅SAR影像和2022年07月22号至11月07号10幅SAR影像，影像信息如表1所示：

表1鄱阳湖2020年洪水时间段和2022年干旱时间段数据

序号	成像时间	成像时间	成像时间	产品类型	极化方式
						1	2020年05月27	2020年08月07	2022年07月22	GRD	VH、VV
2	2020年06月02	2020年08月19	2022年08月03	GRD	VH、VV
						3	2020年06月08	2020年08月31	2022年08月15	GRD	VH、VV
4	2020年06月14	2020年09月12	2022年08月27	GRD	VH、VV
						5	2020年06月20	2020年09月24	2022年09月08	GRD	VH、VV
6	2020年06月26	2020年10月06	2022年09月20	GRD	VH、VV
						7	2020年07月02	2020年10月18	2022年10月02	GRD	VH、VV
8	2020年07月08	2020年10月30	2022年10月14	GRD	VH、VV
						9	2020年07月14	2020年11月11	2022年10月26	GRD	VH、VV
10	2020年07月20	2020年11月23	2022年11月07	GRD	VH、VV

步骤2、得到sentinel-1数据集之后，首先使用SNAP完成辐射校准、地形校正和对数转换等数据预处理操作。

步骤3、考虑到Sentinel-1的极化数据有限，本发明将Sentinel-1双极化数据和衍生得来的SDWI数据叠加组合成新的三通道影像，将新影像作为模型的输入。其中SDWI是由贾诗超等于2018年提出的水体信息提取方法，公式如下：

K_SDWI＝ln(10×VV×VH) (1)

其中，K_SDWI表示波段运算的结果值，VV和VH表示Sentinel-1双极化数据。SDWI参考借鉴了归一化水指数NDWI，利用Sentinel-1双极化数据之间的波段运算来增强水体特征，取得了较好的水体信息提取效果。

由于SAR影像中的亮度取决于向散射系数大小，后向散射系数越小，SAR影像就越暗。因此，水在SAR影像中往往呈现出比其他地物更深的颜色。通过结合后向散射系数和先验地理知识的差异，对每幅SAR影像进行标注，得到水域和非水域区域的二分类标签。为了公平地比较CNN的性能，保持每个模型的输入大小一致，即512×512像素。因此，对30幅三通道原图和对应的标签进行裁剪，最终得到3286张训练数据集、340张验证数据集以及253张测试数据集。图2展示了包括细长河流、湖泊水面、山区河流和城市水域，在标记影像中，白色区域代表水，而黑色区域代表非水区域。

表2数据集大小及特征

数据集	样本数	日期
			训练集	3286	2020-01—2022-10
验证集	340	2020-01—2022-10
			测试集	253	2020-01—2022-10

步骤4、模型的编码器由一个卷积层和四个多尺度残差模块组成，在每个多尺度残差模块中，输入通道数乘以2，特征图通过最大池化层减小一半。其中第四层多尺度残差模块去掉了最大池化层，使最终的特征图尺寸为512×32×32。通过编码器的一系列卷积和下采样之后，模型的中间层通道数达到512个，为了让模型学习到多个抽象层次的特征信息，防止深度模型中的梯度消失或爆炸问题。把第四个多尺度残差模块的输出作为ASPP模块的输入，将空洞卷积率分别设置为1、2、5。这是为了保证在特征图的分辨率较小，通道信息较丰富的情况下，进一步扩展每个通道特征信息的感受野，获取深层次的通道特征信息。此外，将最后一次空洞卷积结果进行自适应的平均池化以及双线性插值操作，以保证输入输出的特征数目不变。

模型的解码器器采用嵌入式结构，除了多尺度残差模块和上采样卷积层之外，在每层编码器层都对应一个细化注意力模块(SC-attention)，SC-attention模块的输出作为解码器的输入。最终通过四层上采样和一个卷积层之后，将降低的分辨率影像上采样到原始影像大小，最后结合SE-attention模块获取每个像素通道的重点特征信息，最终输出水体分割结果，模型的详细设置如表3所示，其中Conv表示卷积层，En、Dnn表示多尺度残差模块，模型结构如图3所示。

表3编码器和解码器的模型结构

水体作为遥感影像中的一部分，在大多数情况下往往具有不规则和不同的尺度，其大小和形状因地区而异。本发明借鉴了inception模型的特点，但是神经模型的相邻层提取的特征信息是相关的，在模型中并行使用5×5和7×7内核大小的卷积层会大大增加内存需求。因此遵循其思想，使用2个连续的3×3和3个3×3卷积层来代替5×5和7×7卷积操作，而不是直接使用内存需求较高的5×5和7×7内核大小的卷积层，并且通过串联接操作将它们组合起来。结果显示，多尺度残差模块在减少参数的同时增强了非线性，使模型的性能更好。

此外，为了防止了模型在训练早期的计算崩溃，引入了残差连通性并使用1×1卷积来提供其他尺度的特征信息，最终将其定义为多尺度残差模块，如图4所示。

由于水体在遥感影像中容易受到周围建筑物反光、云阴影、山体阴影等非水体局部信息影响，这些信息往往会影响到水体的整体分割精度。为了解决这一问题，从并行融合模块得出的第四个特征图中引出一个分支通过ASPP模块，将空洞卷积率分别设置为1、2、5。这是为了保证在特征图的分辨率较小，通道信息较丰富的情况下，进一步扩展每个通道特征信息的感受野，获取深层次的通道特征信息。此外，将最后一次空洞卷积结果进行自适应的平均池化以及双线性插值操作，以保证输入输出的特征数目不变。

细化注意力模块(SC-attention)引入了空间注意力SA(Spattial Attention)和通道注意力CA(Channel Attention)的思想。SA和CA模块可以分别学习SA权重和CA权重，将两个注意力权重加权到组合特征就可获得两个新的加权特征，即SA权重分配给抽象要素，CA权重分配给空间要素。最后将两个加权特征相加得到新的融合特征，细化注意力模块如图5所示：

SC-attention模块利用了通道特征和空间特征，最终提高了语义分割中像素级分类的准确性，SC-attention模块可以表示如下:

f_CA＝σ(MLP(AvgPool(X)+MaxPool(X)))

＝σ(W₁(W₀(Favg)+W₁(W₀(Favg)))

f_SA＝σ(f^7×7(AvgPool(X)；MaxPool(X)))

＝σ(f^7×7(Fss))

其中W₁∈R^c/r×c和W₀∈R^c×c/r是多层感知器(MLP)的权重，f^7×7表示滤波器大小为7×7的卷积层，σ是sigmoid函数，

代表点乘运算符，f_CA为CA模块，f_SA为SA模块。X为输入特征图。

步骤5、设置模型的超参数、总训练次数、可调节学习率、动量参数、权重衰减参数和损失函数，经过反复调整和对比试验得到最佳参数，以得到最佳降水强度估计模型。为了体现对比的公平性，模型统一采用Adam作为优化器，每个模型设置50个epoch，一个epoch包含1643次迭代。模型的初始学习率设置为0.00001，为了模型更好的拟合，每30个epoch，学习率乘以0.1。Nesterov动量和权重衰减分别设置为0.9和0.0003，旨在加速模型的学习过程并防止过拟合问题。所有实验均在配置了Pytorch 0.2.1环境的GPUNVIDIA GeForce GTX1080上运行。

步骤6、损失函数广泛用于描述预测值与标签之间的差距，以及评估模型的拟合能力。对于影像的二元分类，选择二元交叉熵作为损失函数。使用二元交叉熵，绘制损失曲线以直观地比较所用模型的效率。曲线越低越平滑，相应模型的适应度和鲁棒性就越好。准确率表示样本预测的正确性，无论是正面还是负面。召回率是指正类样本中，有多少被正确预测为正类。精确率表示正确的水样本占所有预测为真样本的比例。Intersection overUnion(IoU)表示真值和预测值的交集与并集的比值。F1score兼顾了precision和recall，用于评价二分类结果。不同模型之间对比如图6所示。

为了进一步比较深度卷积神经模型，使用试集来测试模型，并计算了它们的准确度、召回率、精度、IoU、F1分数和测试时间成本。表3显示了所有方法的指标，最佳值以粗体显示。图7展示各个模型提取水体效果。

表3Attention-MRNet、FCN、Hrnet、Inception_v3、Unet、W-net、DenseNet121、ResNet34的准确率、召回率、精确率、IOU、F1分数和测试时间成本，其中粗体为最好值

因此，通过上述实验对比可知，本发明基于多尺度残差模块来捕获水体不同尺度的上下文特征，并提取更深层次的高级特征信息。采用SC-attention注意力模块来获取每个连接特征的重要性，融合空间特征中丰富的语义信息和通道特征中准确的位置信息，以逐步细化分割细节来避免水体边界信息的丢失，减少SAR影像中散斑噪声和水影引起的误报数量。为了组合不同尺度的特征图，提高窄水识别的准确率，解码器被设计成嵌套式结构从多尺度的角度保存大量的输入数据特征从而获得更好的分割结果。

Claims (7)

1.一种基于多尺度残差注意力模型的SAR影像水体提取方法，其特征在于，包括以下步骤：

(1)针对狭窄水域识别准确率低的问题，引入嵌套式连接的解码器结构，该结构使用上采样和几个短跳连接代替长跳连接；嵌套式解码器能够抑制语义间隙的影响，保留更多的信息，从而获得更好的分割结果；针对遥感影像中水体形态各异问题，提出一个基于多尺度残差和注意力构成的水体分割网络；多尺度残差模块能够分析不同尺度的目标，提取更深层次的高级特征信息；为了获得准确和连续的水体边界，在每层编码器后面加上细化注意力模块，用来融合空间特征中丰富的语义信息和通道特征中准确的位置信息，以逐步细化分割细节来避免水体边界信息的丢失；

(2)获取SAR影像，对源影像进行预处理，获得模型的训练数据集和测试数据集；

(3)通过水体在SAR影像中散射系数低，呈现的颜色比较深的特点来制作标签；

(4)建立多尺度残差注意力模型的SAR影像水体提取方法；

(5)设置模型的超参数、总训练次数、学习率、动量参数、权重衰减参数，经过反复调整和对比试验得到最佳参数，以得到最佳水体分割模型；

(6)使用测试集测试训练好的模型，并通过和传统模型对比，最终验证本发明模型在水体分割方面的优越性。

2.根据权利要求1所述的一种基于多尺度残差注意力模型的SAR影像水体提取方法，其特征在于，所述步骤(2)具体为：

对SAR影像完成辐射校准、地形校正和对数转换以及相干斑滤波预处理；将SAR双极化数据和衍生得来的SDWI数据叠加组合成新的三通道影像，将新影像作为模型的输入，SDWI公式如下：

K_SDWI＝ln(10×VV×VH) (1)

其中，K_SDWI表示波段运算的结果值，VV和VH表示SAR双极化数据；SDWI参考借鉴了归一化水指数NDWI，利用SAR双极化数据之间的波段运算来增强水体特征，取得了较好的水体信息提取效果。

3.根据权利要求1所述的一种基于多尺度残差注意力模型的SAR影像水体提取方法，其特征在于，所述步骤(3)具体为：

(3.1)对每幅SAR影像进行标注，得到水域和非水域区域的二分类标签；

(3.2)保持每个模型的输入大小一致；

(3.3)对处理后的图像和标签进行裁剪，最终得到模型的训练数据集、验证数据集以及测试数据集。

4.根据权利要求1所述的一种基于多尺度残差注意力模型的SAR影像水体提取方法，其特征在于，所述步骤(4)具体为：

(4.1)针对遥感影像中水体形态各异问题，提出一个基于多尺度残差模块和细化注意力模块构成的水体分割模型；多尺度残差模块能够分析不同尺度的目标，提取更深层次的高级特征信息；

(4.2)针对狭窄水域识别准确率低的问题，引入嵌套式连接的解码器结构，该结构使用上采样和几个短跳连接代替长跳连接；

(4.3)在每层编码器后面加上细化注意力模块，融合空间特征中丰富的语义信息和通道特征中准确的位置信息，以逐步细化分割细节来避免水体边界信息的丢失。

5.根据权利要求4所述的一种基于多尺度残差注意力模型的SAR影像水体提取方法，其特征在于，步骤(4.3)中所述的细化注意力模块的设计步骤具体为：

细化注意力模块引入了空间注意力SA和通道注意力CA的思想；SA和CA模块可以分别学习SA权重和CA权重，将两个注意力权重加权到组合特征就可获得两个新的加权特征，即SA权重分配给抽象要素，CA权重分配给空间要素；最后将两个加权特征相加得到新的融合特征；细化注意力模块利用了通道特征和空间特征，最终提高了语义分割中像素级分类的准确性，细化注意力模块表示如下：

f_CA＝σ(MLP(AvgPool(X)+MaxPool(X)))

  ＝σ(W₁(W₀(Favg)+W₁(W₀(Favg)))

f_SA＝σ(f^7×7(AvgPool(X)；MaxPool(X)))

  ＝σ(f^7×7(Fss))

其中W₁∈R^c/r×c和W₀∈R^c×c/r是多层感知器的权重，f^7×7表示滤波器大小为7×7的卷积层，σ是sigmoid函数，

代表点乘运算符，f_CA为CA模块，f_SA为SA模块；X为输入特征图；

当模型体系结构中使用长跳连接时，无法区分具有相似特征的水域和细小水域，或者无法排除雷达噪声和山影的干扰；针对这些问题，提出了嵌套连接方法，该结构使用上采样和几个短跳连接代替长跳连接；通过嵌套连接，能够抑制影像中散斑噪声和水影，保留更多的信息，从而获得更好的分割结果。

6.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的一种基于多尺度残差注意力模型的SAR影像水体提取方法。

7.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的一种基于多尺度残差注意力模型的SAR影像水体提取方法。

Images