CN111222466B - 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法 - Google Patents
一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法 Download PDFInfo
- Publication number
- CN111222466B CN111222466B CN202010016592.1A CN202010016592A CN111222466B CN 111222466 B CN111222466 B CN 111222466B CN 202010016592 A CN202010016592 A CN 202010016592A CN 111222466 B CN111222466 B CN 111222466B
- Authority
- CN
- China
- Prior art keywords
- dimensional space
- landslide
- channel attention
- remote sensing
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明涉及一种基于三维空间‑通道注意力机制的遥感影像滑坡自动探测方法。利用遥感影像进行人工标注并裁剪滑坡样本构建样本库,然后对基于三维空间‑通道注意力机制的卷积神经网络进行训练,学习遥感影像上各种滑坡实例的特征。利用训练好的网络模型对新的遥感影像进行滑坡探测,实现遥感影像上滑坡目标的自动精确识别。本发明具有如下优点:鲁棒性强,比原始的主干网络以及其他已有的注意力方法更加适合遥感影像上的滑坡探测任务;对于包含各种干扰因素的情况,本发明方法具有更好地抵抗干扰的能力,可获得更高的识别准确率;可用于滑坡灾害的预防和灾后重建、更新滑坡数据库等方面。
Description
技术领域
本发明涉及一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法,该方法能够有效地从遥感影像中自动发现和识别滑坡,可用于滑坡灾害的预防和灾后重建、更新滑坡数据库等。
背景技术
滑坡是一种常见的自然灾害,它对自然环境和人民生命财产安全构成严重的威胁,滑坡探测识别可为滑坡灾害的防治工作提供重要的数据支撑。在早期,滑坡数据主要是通过外业工作人员实地考察获得,这种滑坡探测方法费时费力且危险性大。随着对滑坡性质研究的深入,一些自动的滑坡探测方法逐渐被提出,主要可分为基于光学遥感影像的滑坡探测方法与基于微波遥感技术的滑坡探测方法两类。基于光学影像的方法主要依据影像中滑坡特殊的纹理,色调和几何形态等典型特征来识别滑坡,而基于微波遥感的方法则主要是通过识别地表的微小形变来发现滑坡。传统的基于光学遥感影像的滑坡探测方法依赖于各种人工设计的特征来识别和判断滑坡。但由于遥感影像上不同滑坡间的光学特征差异大,具体到每个滑坡实例的色调、几何形状、纹理、阴影和图形各不相同。因此,利用人工设计特征的方法来探测识别滑坡,识别准确率不高,算法的泛化性能差,滑坡探测效果不理想。近年来,深度学习中的卷积神经元网络在图像分类、目标检测、语义分割等影像处理相关的任务中都展现出了强大的性能。因此,也有少量研究人员利用卷积神经网络进行滑坡探测方面的研究。但这些研究都还处于起步阶段,只有几个简单的网络模型被设计和尝试。使用更加复杂的网络结构和采用更有针对性的设计是提高滑坡探测精度的有效方法。对于滑坡探测任务来说,如何让模型更好地关注和学习到滑坡的本质特征是设计自动滑坡探测模型的出发点。
发明内容
本发明针对现有的基于卷积神经网络的滑坡探测方法在结构设计方面的不足,提出了一种基于卷积神经网络的三维空间-通道注意力机制,它能够被集成到各种现有的网络框架中,帮助网络模型在训练过程中自适应地关注和强调滑坡的本质特征,从而获得更高精度的滑坡探测结果。
实现本发明目的采用的技术方案是:步骤1,构建基于三维空间-通道注意力机制的卷积神经网络(3D Spatial-Channel Attention Boosted Convolutional NeuralNetwork,3D SCAB-CNN),该网络用于学习遥感影像上各种滑坡的特征;步骤2,利用包含滑坡实例的遥感影像数据构建样本库,在样本库上训练网络模型;然后利用训练好的网络模型对新的遥感影像进行预测,可实现遥感影像上滑坡的自动探测识别。
进一步的,步骤1所述的基于三维空间-通道注意力机制的卷积神经网络包括主干网络(backbone network)和三维空间-通道注意力模块(attention module)两个部分。主干网络部分可使用当前流行的残差网络(Residual Network,ResNet)或者残差网络的各种变体网络等。三维空间-通道注意力模块的计算过程包含三个步骤,初始三维空间-通道注意力图生成,三维空间-通道注意力图自适应权重调整和最终三维空间-通道注意力图生成。初始三维空间-通道注意力图生成部分由空间方向上的全局平均池化层(globalaverage pooling layer)、全局最大池化层(global maximal pooling layer)、通道方向上的全局平均池化层(global average pooling layer)、全局最大池化层(globalmaximal pooling layer)组成。三维空间-通道注意力图自适应权重调整部分由两个不共享权重的卷积模块(convolution module)组成,这两个不共享权重的卷积模块具有相同的结构,都包含5个卷积层(convolution layer)。最终三维空间-通道注意力图生成部分由1个逐点相加操作(element-wisely summation operation)和1个sigmoid激活函数组成。
进一步的,所述的初始三维空间-通道注意力图生成部分由并行的两组池化层(pooling layer)组成。其中,第一组池化层包含一个空间方向上的全局最大池化(globalmaximal pooling)和一个通道方向上的全局最大池化,两个池化操作采用并行的结构,然后将两个池化层输出的结果缩放到相同的尺寸并进行相乘,获得一个最大池化的初始三维空间-通道注意力图;另一组池化层包含一个空间方向上的全局平均池化(global averagepooling)和一个通道方向上的全局平均池化,这两个池化操作也采用并行的结构,然后将两个池化操作输出的结果缩放到相同的尺寸并进行相乘,获得一个平均池化的初始三维空间-通道注意力图。这一部分所使用的空间方向上的全局池化操作将输入特征图(featuremap)的空间维度压缩为1维,通道方向上的全局池化操作将输入特征图的通道维度压缩为1维。
进一步的,所述的三维空间-通道注意力图自适应权重调整部分由两个结构相同的卷积模块组成,模块中可训练的卷积核参数在主干网络训练的同时自动的学习各种滑坡的关键特征。这两个卷积模块分别将初始三维空间-通道注意力图生成部分输出的最大池化的初始三维空间-通道注意力图和平均池化的初始三维空间-通道注意力图作为输入。这两个结构相同的卷积模块都由三个子模块组成。第一个子模块包含一个1×1的卷积操作(convolution)和一个修正线性单元(Rectified Linear Unit,ReLU),其中卷积操作使用的卷积核的数量为输入特征图通道数量的1/16,用于对输入特征图进行降维,减少后续操作需要的计算负担。第二个子模块由三个并行的卷积+修正线性单元组成,三个卷积所使用的卷积核的尺寸大小分别为1×1、3×3、7×7,每个卷积使用的卷积核数量与第一个子模块中卷积使用的卷积核数量一致。在第二个子模块中同时使用不同感受野尺寸大小的卷积核能够保证输入中包含的上下文信息在这一阶段被有效地利用。第二个子模块的三个并行的卷积+修正线性单元的输出结果被串联,然后输入第三个子模块。第三个子模块由一个1×1的卷积和一个修正线性单元组成,卷积操作使用的卷积核的数量与原始输入特征图的通道数量一致,用于将权重调整后的三维空间-通道注意力图的维度提升到与原始输入特征图的大小一致。
进一步的,所述的最终三维空间-通道注意力图生成部分包含1个逐点相加操作(element-wisely summation operation)和1个sigmoid激活函数。即先将三维空间-通道注意力图自适应权重调整部分中两个结构相同的卷积模块的输出进行逐点相加,获得一个融合后的三维空间-通道注意力图。然后再将它输入到一个sigmoid激活函数中进行激活运算,从而获得最终的三维空间-通道注意力图。将最终生成的三维空间-通道注意力图对主干网络中的原始特征图进行逐点相乘,可以调整网络中原始特征图的权重分布,帮助主干网络更好地突出强调滑坡的关键特征,有效地将滑坡目标与其他各种复杂的背景以及干扰环境区分开,从而改善主干网络进行滑坡探测的性能。需要特别注意的是,与其他现有的注意力机制方法调整主干网络中特征图所不同的是,三维空间-通道注意力模块将被放置到残差网络的最后一个残差模块中,使用生成的三维空间-通道注意力图调整残差模块中“隐藏层”(非一致性分支)输出的特征图。
步骤2,利用遥感影像数据进行滑坡样本标注并构建样本库,在样本库上训练网络模型。然后利用训练好的网络模型对新的遥感影像进行预测,实现遥感影像上滑坡目标的定位和精确识别。
进一步的,步骤2的具体实现包括如下子步骤,
步骤2.1,在遥感影像上标记滑坡样本。将作为训练数据的遥感影像内的全部滑坡样本实例标记出来,使用多边形矢量沿着滑坡样本的边缘进行标记,确保每个滑坡实例的多边形边缘矢量边缘更可能准确和可靠,且影像中没有遗漏而未标记的滑坡样本。
步骤2.2,滑坡影像样本裁剪与标签制作。对于作为训练数据的遥感影像内的每个滑坡样本,将它往四周扩充一定的范围以包含一定量的背景区域,如统一外扩40米等。然后按照扩展后的范围使用最小外接矩形裁剪遥感影像中的每个滑坡实例,将这些裁剪出的滑坡样本全部放入一个文件夹,这个文件夹对应的标签记为滑坡。
步骤2.3,遥感影像负样本选择与裁剪。在作为训练数据的遥感影像内选择一些不包含滑坡的区域,将其作为负样本。这些负样本应尽量涵盖多样化的场景,如村庄、河流、道路、电线、山区、农田等,以及一些类似滑坡的干扰区域,如采石场等。将这些负样本也用外接矩形裁剪出来,全部放入一个标记为非滑坡的文件夹中,作为训练数据中与滑坡样本相对应的负样本。
步骤2.4,裁剪对应的数字高程模型(Digital Elevation Model,DEM)数据,可选。若有与训练数据相对应的数字高程模型数据,则可在裁剪滑坡实例样本与负样本时,按照相同的范围同时对数字高程模型影像进行裁剪,将其分别作为训练和测试过程的辅助数据,一起输入网络中进行训练和测试。
本发明具有如下优点:1)不需要复杂的手工设计特征的过程,通过简单的、端到端的可训练模型,可完成遥感影像上滑坡目标的定位和精确识别。2)可复用性强,可以在附加数据上继续进行模型的训练,可以用于连续在线学习,可持续不断迭代优化。3)具有可扩展性,训练好的神经元网络模型经过调整,可应用于其他用途,如基于遥感影像的滑坡灾害动态监测,基于遥感影像的滑坡灾害敏感性制图等。4)鲁棒性强,对于遥感影像上各种复杂和隐蔽的滑坡样本也可以取得很好的识别结果。
附图说明
图1是本发明的样本库构建流程图。
图2是本发明提出的三维空间-通道注意力机制的结构示意图。
图3是本发明提出的三维空间-通道注意力机制中的卷积模块的结构设计图。
图4是本发明提出的三维空间-通道注意力机制嵌入到一个残差模块中的结构示意图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步的具体说明。
本发明提供的一种基于卷积神经网络的三维空间-通道注意力机制的遥感影像滑坡自动探测方法,包括如下步骤:
步骤1,构建基于三维空间-通道注意力机制的卷积神经网络(3D Spatial-Channel Attention Boosted Convolutional Neural Network,3D SCAB-CNN),该网络用于学习遥感影像上各种滑坡的特征;本发明所提出的基于三维空间-通道注意力机制的卷积神经网络包括主干网络(backbone network)和三维空间-通道注意力模块(attentionmodule)两个部分。主干网络部分可使用当前流行的残差网络(Residual Network,ResNet)或者残差网络的各种变体网络等。
如图2和图3所示,三维空间-通道注意力模块的计算过程包含三个步骤,初始三维空间-通道注意力图生成,三维空间-通道注意力图自适应权重调整和最终三维空间-通道注意力图生成。首先,三维空间-通道注意力模块的输入是大小为C×H×W的特征图(即图2中的Input Feature Map),C表示特征图的通道数量,H是特征图的长度,W是特征图的宽度。初始三维空间-通道注意力图生成部分由空间方向上全局池化(即图2中的Spatial Pool,池化后特征图的大小变为C×1×1)和通道方向上的全局池化(即图2中的Channel Pool,池化后特征图的大小变为1×H×W)组成。然后将空间方向上全局池化的输出和通道方向上全局池化的输出扩展到相同的维度后,进行逐点相乘,得到初始的三维空间-通道注意力图(即图2中的3D S&C Descriptor,维度大小为C×H×W)。三维空间-通道注意力图自适应权重调整部分由两个不共享权重的卷积模块(convolution module)组成,这两个不共享权重的卷积模块具有相同的结构,都包含5个卷积层(convolution layer)(即图2中的ConvBlock,一个1×1卷积,然后接1×1、3×3、7×7三个并行的卷积,最后再接一个1×1卷积)。最终三维空间-通道注意力图生成部分将权重调整部分不共享权重的两个卷积模块的输出进行逐点相加操作(element-wisely summation operation)和sigmoid激活(即图2中的~○),输出最终的三维空间-通道注意力图(即图2中的3D S&C Attention Map,维度大小为C×H×W)。下面对每个部分进行更加详细和完整的说明:
初始三维空间-通道注意力图生成部分由并行的两组池化层(pooling layer)组成。其中,第一组池化层包含一个空间方向上的全局最大池化(spatial global maximalpooling)和一个通道方向上的全局最大池化(channel global maximal pooling),两个池化操作采用并行的结构,然后将两个池化层输出的结果缩放到相同的尺寸并进行相乘,获得一个最大池化的初始三维空间-通道注意力图;另一组池化层包含一个空间方向上的全局平均池化(spatial global average pooling)和一个通道方向上的全局平均池化(channel global average pooling),这两个池化操作也采用并行的结构,然后将两个池化操作输出的结果缩放到相同的尺寸并进行相乘,获得一个平均池化的初始三维空间-通道注意力图。这一部分所使用的空间方向上的全局池化操作将输入特征图(feature map)的空间维度压缩为1维,通道方向上的全局池化操作将输入特征图的通道维度压缩为1维。
三维空间-通道注意力图自适应权重调整部分由两个结构相同的卷积模块组成,使用可训练的卷积核在主干网络训练的同时自动的学习各种滑坡的关键特征。这两个卷积模块分别将初始三维空间-通道注意力图生成部分输出的最大池化的初始三维空间-通道注意力图和平均池化的初始三维空间-通道注意力图作为输入。这两个结构相同的卷积模块都由三个子模块组成。第一个子模块包含一个1×1的卷积操作(convolution)和一个修正线性单元(Rectified Linear Unit,ReLU),其中卷积操作使用的卷积核的数量为输入特征图通道数量的1/16(即图3中的通道缩减率r=16),用于对输入特征图进行降维,输出特征图大小为C/r×H×W,减少后续操作需要的计算负担。第二个子模块由三个并行的卷积+修正线性单元组成,三个卷积所使用的卷积核的大小分别为1×1、3×3、7×7,每个卷积使用的卷积核数量与第一个子模块中卷积使用的卷积核数量一致,都为C/r。在第二个子模块中同时使用不同感受野大小的卷积核能够保证输入中包含的上下文信息在这一阶段被有效地利用。第二个子模块的三个并行的卷积+修正线性单元的输出结果被串联,得到维度大小为3C/r×H×W的特征图,然后输入第三个子模块。第三个子模块由一个1×1的卷积和一个修正线性单元组成,卷积操作使用的卷积核的数量为C,即与原始输入特征图的通道数量一致,用于将权重调整后的三维空间-通道注意力图的维度提升到与原始输入特征图的大小一致。
最终三维空间-通道注意力图生成部分包含1个逐点相加操作(element-wiselysummation operation)和1个sigmoid激活函数。即先将步骤2中两个结构相同的卷积模块的输出特征图进行逐点相加,获得一个融合后的三维空间-通道注意力图。然后再将它输入到一个sigmoid激活函数中进行激活运算,从而获得最终的三维空间-通道注意力图。将最终生成的三维空间-通道注意力图对主干网络中的原始特征图进行逐点相乘,可以调整网络中原始特征图的权重分布,帮助主干网络更好地关注到滑坡的关键特征,有效地将滑坡目标与其他各种复杂的背景以及干扰环境区分开,从而改善主干网络滑坡探测的性能。需要特别注意的是,与其他现有的注意力机制方法调整主干网络中特征图所不同的是,三维空间-通道注意力模块将被放置到残差网络的最后一个残差模块中,使用生成的三维空间-通道注意力图调整残差模块中“隐藏层”(非一致性分支)输出的特征图。
步骤2,利用遥感影像数据进行滑坡样本标注并构建样本库,在样本库上训练网络模型。然后利用训练好的网络模型对新的遥感影像进行预测,实现遥感影像上滑坡目标的定位和精确识别。如图1所示,具体实现包括如下子步骤:
步骤2.1,在遥感影像上标记滑坡样本。将作为训练数据的遥感影像内的全部滑坡样本实例标记出来,使用多边形矢量沿着滑坡样本的边缘进行标记,确保每个滑坡实例的多边形边缘矢量边缘更可能准确和可靠,且影像中没有遗漏而未标记的滑坡样本。
步骤2.2,滑坡影像样本裁剪与标签制作。对于作为训练数据的遥感影像内的每个滑坡样本,将它往四周扩充一定的范围以包含一定量的背景区域,如统一外扩40米等。然后按照扩展后的范围使用最小外接矩形裁剪遥感影像中的每个滑坡实例,将这些裁剪出的滑坡样本全部放入一个文件夹,这个文件夹对应的标签记为滑坡。
步骤2.3,遥感影像负样本选择与裁剪。在作为训练数据的遥感影像内选择一些不包含滑坡的区域,将其作为负样本。这些负样本应尽量包含多样化的场景,如村庄、河流、道路、电线、山区、农田等,以及一些类似滑坡的干扰区域,如采石场等。将这些负样本用外接矩形裁剪出来,全部放入一个标记为非滑坡的文件夹中,作为训练数据中与滑坡样本相对应的负样本。
步骤2.4,裁剪对应的数字高程模型(Digital Elevation Model,DEM)数据,可选。若有与训练数据相对应的数字高程模型数据,则可在裁剪滑坡实例样本与负样本时,按照相同的范围同时对数字高程模型影像进行裁剪,将其分别作为训练和测试过程的辅助数据,一起输入网络中进行训练和测试。
实施例:
首先按照本发明方法构建基于三维空间-通道注意力机制的卷积神经网络(步骤1),即将如图4所示的注意力模块嵌入到已有的残差网络中。在网络的训练过程中,注意力模块的输入是网络内部的中间特征图,输出则是和输入大小相同的加权后的特征图,然后这个加权后的特征图再被输入原始网络中继续进行计算。这个过程简单来说就是对网络内部的一个中间的计算结果进行自适应加权。图4中的立方体表示的是不同的特征图,表示逐点相乘操作,表示逐点相加操作,则表示激活操作。完成网络的构建后,需要获取训练样本数据,并进行模型训练(步骤2)。图1展示了构建训练样本库的流程。遥感影像中包含的每个滑坡实例的大小不一致,往外扩展一定的范围后使用最小外接矩形进行裁剪得到的图像的尺寸大小也不一致。因此,在输入网络训练前,需要将每张裁剪出的正样本和负样本影像重采样到224像素×224像素大小。为了去除光照对遥感影像的影响,在将图像输入网络之前还需要对图像进行归一化处理,将所有图像中的像素值归一化到0-1之间。
获得训练样本后,对基于三维空间-通道注意力机制的卷积神经网络进行迭代训练,直到模型收敛得到最优参数。模型训练完成后,将待检测的新遥感影像(及相应的数字高程模型数据)进行裁剪,裁剪的步长为水平方向每次移动224像素,垂直方向每次移动224像素。然后利用训练好的模型对这些裁剪后的影像进行滑坡探测,即可得到每张影像中包含滑坡的可能性大小,记录下包含滑坡的影像,通过影像地理坐标可以恢复出滑坡所在的地理位置。
我们从卫星影像及对应的数字高程模型中手动裁剪出770个滑坡实例样本和2003个非滑坡样本进行本实施例的验证和分析。其中2/3的正样本和负样本用于对基于三维空间-通道注意力机制的卷积神经网络进行训练,余下1/3的正负样本用于网络模型的测试。为了证明本发明方法的有效性,我们选择了当前流行的ResNet系列网络作为主干网络,对比不同的注意力机制方法的效果,包括压缩和激励机制(Squeeze and Excitation,SE),瓶颈注意力模块(Bottleneck Attention Module,BAM),卷积块注意力模块(ConvolutionalBlock Attention Module,CBAM)。为了通过控制变量来验证本发明的创新性与有效性,原始的主干网络也被进行比较。
从表1到表3列出的结果中可以发现,在加入各种注意力模块后,主干网络模型在测试集上的精度和F1值都得到了提升,这证明了注意力模块在滑坡探测任务中是非常有效的。从这些测试结果中也可以发现,与其他的注意力模块相比,本发明提出的三维空间-通道注意力机制模块帮助各种残差网络模型获得了性能上的更大提升,在测试集上四个评价指标都得到了有效地改善。加入本发明提出的三维空间-通道注意力机制模块后,ResNet-18、ResNet-50、ResNet-101与基准网络相比,在F1值上分别提升了1.25%,1.74%,and1.25%;而与次优的注意力模块的结果相比,也分别提升了1%,1%,0.4%。此外,加入本文提出的3D空间-通道注意力模块后,ResNet-50获得了所有测试结果中最高的F1值,在所有网络模型中表现最好。
与这些已有方法的对比证明了本发明的方法具有更好的鲁棒性并能够得到更加准确的检测结果,在滑坡探测任务中表现最为突出。因此,本发明的方法具有较好的工程实用价值。
表1.当各种注意力模块嵌入到ResNet-18后的滑坡探测结果
表2.当各种注意力模块嵌入到ResNet-50后的滑坡探测结果
表3.当各种注意力模块嵌入到ResNet-101后的滑坡探测结果
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (3)
1.一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法,其特征在于,包括如下步骤:
步骤1,构建基于三维空间-通道注意力机制的卷积神经网络,网络模型是在以残差网络为主干网络的最后一个残差模块中嵌入一个三维空间-通道注意力模块,所述三维空间-通道注意力模块用于生成三维空间-通道注意力图,从而调整残差结构非一致性分支输出的特征图;
三维空间-通道注意力模块包括3个子模块:初始三维空间-通道注意力图生成子模块,三维空间-通道注意力图自适应权重调整子模块和最终三维空间-通道注意力图生成子模块;
三维空间-通道注意力模块中的初始三维空间-通道注意力图生成子模块由两组并行的池化层组成;其中,第一组池化层包含一个空间方向上的全局最大池化和一个通道方向上的全局最大池化,两个池化操作采用并行的结构,然后将两个池化层输出的结果缩放到相同的尺寸并进行相乘,获得一个最大池化的初始三维空间-通道注意力图;另一组池化层包含一个空间方向上的全局平均池化和一个通道方向上的全局平均池化,这两个池化操作也采用并行的结构,然后将两个池化操作输出的结果缩放到相同的尺寸并进行相乘,获得一个平均池化的初始三维空间-通道注意力图;这一部分所使用的空间方向上的全局池化操作将输入特征图的空间维度压缩为1维,通道方向上的全局池化操作将输入特征图的通道维度压缩为1维;
三维空间-通道注意力模块中的三维空间-通道注意力图自适应权重调整子模块由两个结构相同的卷积模块组成,这两个卷积模块分别将初始三维空间-通道注意力图生成部分输出的最大池化的初始三维空间-通道注意力图和平均池化的初始三维空间-通道注意力图作为输入;这两个结构相同的卷积模块都由三个子模块组成:第一个子模块包含一个1×1的卷积操作和一个修正线性单元,其中卷积操作使用的卷积核的数量为输入特征图通道数量的1/r,用于对输入特征图进行降维,减少后续操作需要的计算负担;第二个子模块由三个并行的卷积+修正线性单元组成,三个卷积所使用的卷积核的尺寸大小分别为1×1、3×3、7×7,每个卷积使用的卷积核数量与第一个子模块中卷积使用的卷积核数量一致;第三个子模块由一个1×1的卷积和一个修正线性单元组成,卷积操作使用的卷积核的数量与原始输入特征图的通道数量一致,用于将权重调整后的三维空间-通道注意力图的维度提升到与原始输入特征图的大小一致;
三维空间-通道注意力模块中的最终三维空间-通道注意力图生成子模块由1个逐点相加操作和1个sigmoid激活函数组成,其具体处理过程是通过先将三维空间-通道注意力图自适应权重调整子模块中两个结构相同的卷积模块的输出进行逐点相加,获得一个融合后的三维空间-通道注意力图,然后再将它输入到一个sigmoid激活函数中进行激活运算,从而获得最终的三维空间-通道注意力图;
步骤2,利用遥感影像数据进行滑坡样本标注并构建样本库,在样本库上训练网络模型,然后利用训练好的网络模型对新的遥感影像进行预测,实现遥感影像上滑坡目标的定位和精确识别。
2.根据权利要求1所述的一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法,其特征在于:步骤2的具体实现包括如下子步骤,
步骤2.1,在遥感影像上标记滑坡样本:将作为训练数据的遥感影像内的全部滑坡样本实例标记出来,使用多边形矢量沿着滑坡样本的边缘进行标记;
步骤2.2,滑坡影像样本裁剪与标签制作:对于作为训练数据的遥感影像内的每个滑坡样本,将它往四周扩充一定的范围以包含一定量的背景区域;然后按照扩展后的范围使用最小外接矩形裁剪遥感影像中的每个滑坡实例,将这些裁剪出的滑坡样本全部放入一个文件夹,这个文件夹对应的标签记为滑坡;
步骤2.3,遥感影像负样本选择与裁剪:在作为训练数据的遥感影像内选择一些不包含滑坡的区域,将其作为负样本;将这些负样本用外接矩形裁剪出来,全部放入一个标记为非滑坡的文件夹中,作为训练数据中与滑坡样本相对应的负样本。
3.根据权利要求2所述的一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法,其特征在于:还包括步骤2.4,裁剪对应的数字高程模型数据:按照相同的范围同时对数字高程模型影像进行裁剪,将其分别作为训练和测试过程的辅助数据,一起输入网络模型中进行训练和测试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010016592.1A CN111222466B (zh) | 2020-01-08 | 2020-01-08 | 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010016592.1A CN111222466B (zh) | 2020-01-08 | 2020-01-08 | 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111222466A CN111222466A (zh) | 2020-06-02 |
CN111222466B true CN111222466B (zh) | 2022-04-01 |
Family
ID=70829289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010016592.1A Active CN111222466B (zh) | 2020-01-08 | 2020-01-08 | 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111222466B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111898419B (zh) * | 2020-06-17 | 2022-10-25 | 西安交通大学 | 基于级联深度卷积神经网络的分区滑坡检测系统及方法 |
CN111968230B (zh) * | 2020-07-16 | 2021-05-04 | 中国自然资源航空物探遥感中心 | 一种区域性活动滑坡识别与圈定方法、装置和设备 |
CN111968019A (zh) * | 2020-07-31 | 2020-11-20 | 中国地质大学(武汉) | 一种基于cnn与rnn集成的滑坡灾害易发性预测方法 |
CN112163533B (zh) * | 2020-10-07 | 2022-05-06 | 北京华通星元科技有限公司 | 一种遥感监测自然灾害数据处理方法及系统 |
CN112347960B (zh) * | 2020-11-13 | 2021-09-21 | 成都理工大学 | 一种滑坡定位方法 |
CN112686192B (zh) * | 2021-01-06 | 2022-05-31 | 电子科技大学 | 一种基于精细地形特征的滑坡稳定性分类方法 |
CN112883907B (zh) * | 2021-03-16 | 2022-07-05 | 云南师范大学 | 小体积模型的滑坡检测方法及装置 |
CN113065455B (zh) * | 2021-03-30 | 2021-09-17 | 中国水利水电科学研究院 | 一种基于深度学习的滑坡风险巡检方法及系统 |
CN113408462B (zh) * | 2021-06-29 | 2023-05-02 | 西南交通大学 | 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法 |
CN113705108B (zh) * | 2021-09-02 | 2022-06-24 | 南方科技大学 | 实时滑坡灾害监测预警方法及系统 |
CN113887515A (zh) * | 2021-10-28 | 2022-01-04 | 中国自然资源航空物探遥感中心 | 一种基于卷积神经网络的遥感滑坡识别方法及系统 |
CN115423702A (zh) * | 2022-08-23 | 2022-12-02 | 自然资源部国土卫星遥感应用中心 | 制作大区域星载光学和sar影像dom的方法和系统 |
CN116561536B (zh) * | 2023-07-11 | 2023-11-21 | 中南大学 | 一种滑坡隐患的识别方法、终端设备及介质 |
CN116739184B (zh) * | 2023-08-08 | 2023-11-07 | 四川川核地质工程有限公司 | 一种滑坡预测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学(保定) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
CN110046598B (zh) * | 2019-04-23 | 2023-01-06 | 中南大学 | 即插即用的多尺度空间和通道注意遥感影像目标检测方法 |
CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
CN110458833B (zh) * | 2019-08-15 | 2023-07-11 | 腾讯科技(深圳)有限公司 | 基于人工智能的医学图像处理方法、医学设备和存储介质 |
-
2020
- 2020-01-08 CN CN202010016592.1A patent/CN111222466B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学(保定) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111222466A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111222466B (zh) | 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法 | |
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN107767413B (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN111899203B (zh) | 基于标注图在无监督训练下的真实图像生成方法及存储介质 | |
CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
CN113627472A (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
CN113095254A (zh) | 一种人体部位关键点的定位方法及系统 | |
CN114549567A (zh) | 基于全方位感知的伪装目标图像分割方法 | |
CN115471754A (zh) | 一种基于多维多尺度U-net网络的遥感图像道路提取方法 | |
CN115861608A (zh) | 一种基于光强与偏振线索的伪装目标分割方法及系统 | |
CN112396036A (zh) | 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法 | |
CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
CN115272278A (zh) | 一种用于遥感图像变化检测的变化检测模型的构建方法 | |
CN114926734A (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
CN113628180B (zh) | 一种基于语义分割网络的遥感建筑物检测方法及系统 | |
CN112329818B (zh) | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 | |
CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、系统及存储介质 | |
CN113095251A (zh) | 一种人体姿态估计方法及系统 | |
CN115760990B (zh) | 一种菠萝花蕊的识别定位方法、电子设备及存储介质 | |
CN112215100A (zh) | 一种不平衡训练样本下针对退化图像的目标检测方法 | |
CN117079098A (zh) | 一种基于位置编码的空间小目标检测方法 | |
CN116824330A (zh) | 一种基于深度学习的小样本跨域目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |