CN116977866A - 一种轻量级滑坡检测方法 - Google Patents
一种轻量级滑坡检测方法 Download PDFInfo
- Publication number
- CN116977866A CN116977866A CN202310502793.6A CN202310502793A CN116977866A CN 116977866 A CN116977866 A CN 116977866A CN 202310502793 A CN202310502793 A CN 202310502793A CN 116977866 A CN116977866 A CN 116977866A
- Authority
- CN
- China
- Prior art keywords
- model
- landslide
- data
- image
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 241001167556 Catena Species 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012014 frustrated Lewis pair Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明公开了一种轻量级滑坡检测方法，包括以下步骤：步骤S1：选择与下载数据；步骤S2：将得到的数据进行预处理；步骤S3：将预处理后的数据进行模型训练与评估；本发明面向中分辨率多源遥感数据，提出新的基于多尺度特征融合与多尺度通道注意力机制的轻量级语义分割网络，实现高精度且高效率的滑坡检测，为大空间尺度的滑坡检测提供技术参考。
Description
技术领域
本发明涉及滑坡检测领域，特别是一种轻量级滑坡检测方法。
背景技术
对地观测影像是开展滑坡识别研究最主要的数据源。其中，光学遥感影像(包括无人机影像、高分辨率卫星遥感影像、中分辨率卫星遥感影像等)是最常用的数据源。雷达影像不受天气影响，可以应用在云量覆盖较多的地区，但雷达影像的信息表达能力有限，滑坡识别精度有限。数字高程模型能为滑坡识别提供高程、坡度和坡向等信息。Chen,T.-H.K.等人考虑到夜间灯光数据可以指示经济活动，有助于区分滑坡与人为活动地区，因此利用夜间灯光数据辅助滑坡提取。在上述数据源中，中分辨率卫星影像以其免费存取、幅宽大、全球重访周期较短、光谱信息丰富的特点在滑坡识别研究中越来越多地被研究者使用。
在基于深度学习的遥感信息提取研究中，特征融合和注意力机制是提高模型表征能力、提高分类或识别精度的常用策略。Liu,S.等人设计了一个轻量级浅层-深层特征融合模型，通过低层空间、光谱特征融合，中层多尺度特征融合和高层多尺度特征融合实现了高精度的遥感影像场景分类；Zheng,H.等人将多层特征融合与多维度特征注意力结合以提高模型分类精度；Meng,Q.等人提出残差空间注意力模块，并将其应用在多尺度特征融合模块中，同样提高了模型分类精度。这些研究表明，多尺度特征融合有利于提高模型对上下文信息的一致性表达，采用注意力机制有利于提高模型对噪声和背景信息的抑制能力。因此，将多尺度特征融合与多尺度注意力机制应用在基于深度学习的滑坡提取模型中有利于进一步提高模型精度。
因此，本发明提出一个轻量级滑坡检测网络，该网络综合了多尺度特征融合机制和多尺度注意力机制，在保证分类精度的前提下提高模型运行效率。目前，已有的、与本发明相近似的滑坡检测方法有：(1)L.Bragagnolo等人在Landsat影像(30m空间分辨率)上利用UNet模型进行滑坡检测；(2)Ge等人设计了一个融合注意力机制、多尺度特征融合以及知识蒸馏技术的滑坡检测模型；(3)Niu等人提出Reg-SA-UNet++模型进行滑坡提取。
现有技术一
L.Bragagnolo等人在Landsat 8影像上利用U-Net模型实现滑坡检测，该方法出自期刊论文Bragagnolo,L.,et al."Convolutional neural networks applied tosemantic segmentation oflandslide scars."Catena 201(2021):105189.。该方法的技术路线如图1所示；
该方法主要包含以下几个步骤：
(1)根据研究区滑坡数据库选择Landsat 8遥感影像；
(2)对遥感影像进行预处理，使用第6-5-4波段(分别对应短波红外、近红外、红光波段)合成；
(3)借助谷歌地球对遥感影像中的滑坡进行标识，将人工解译的滑坡标签存储为矢量格式，建立滑坡影像和矢量标注数据库；
(4)将数据划分为训练集、验证集和测试集，在训练集上训练U-Net模型，结合模型验证结果，利用“早停”训练方式得到最佳模型参数；
(5)将得到的最佳模型在测试集上进行精度验证。
现有技术一的缺点
(1)对多波段的中分辨率遥感影像人为地选择三个波段作为模型的输入数据，忽略了其他波段对于滑坡检测的可能贡献；
(3)模型中降采样块较多，导致模型损失了大量空间信息，最终预测的目标边界较为模糊，模型提取精度较低；
(4)模型编码器与解码器之间连接过多，模型较复杂，推理效率不高。
现有技术二
Xuming Ge等人设计了一个融合注意力机制、多尺度特征融合以及知识蒸馏技术的滑坡检测模型，该方法出自期刊论文Ge,X.；Zhao,Q.；Wang,B.；Chen,M.LightweightLandslide Detection Network for Emergency Scenarios.Remote Sensing 2023,15,1085,doi:10.3390/rs15041085.。该方法技术路线如图2所示：
该方法主要包含以下几个步骤：
(1)获取研究区滑坡影像和滑坡标注数据，将数据划分为训练集和测试集；
(2)设计滑坡检测模型，该模型包含三个部分：由GhostModule和CBAM注意力机制构成的基础网络、多尺度特征融合网络以及基于特征的知识蒸馏网络，分别对应为模型的编码器、解码器和精度提升模块。
(3)在训练集上训练(2)设计的模型，结合模型验证结果得到最佳模型参数；
(4)将得到的最佳模型在测试集上进行精度验证，最终以矩形框在影像上标注出滑坡的位置和范围。
现有技术二的缺点
(1)该方法最终以矩形框标注出滑坡在影像块上位置和大致范围，没有提取精确的滑坡边界，在实际业务中应用有限；
(2)该方法面向高空间分辨率遥感影像，受高空间分辨率遥感影像收费存取、覆盖范围有限、影像幅宽小的影响，该方法难以推广到大空间尺度的业务中。
现有技术三：
Niu Chaoyang等人将RegNet,洗牌注意力机制(Shuffle Attention,SA)与UNet++模型进行融合，提出Reg-SA-UNet++模型用于滑坡检测，该方法出自期刊论文Niu,C.；Gao,O.；Lu,W.；Liu,W.；Lai,T.Reg-SA–UNet++:A Lightweight Landslide Detection NetworkBased on Single-Temporal Images Captured Postlandslide.IEEE Journal ofSelected Topics in Applied Earth Observations and Remote Sensing 2022,15,9746–9759,doi:10.1109/JSTARS.2022.3219897.该方法技术路线如图3：
该方法主要包含以下几个步骤：
(1)获取研究区滑坡影像，利用LabelMe工具对影像中的滑坡进行逐像素标注；
(2)设计Reg-SA-UNet++模型，该模型在UNet++的基础上作了改进：将原UNet++中的卷积块换成RegNet的卷积块，在编码-解码连接中加入了洗牌注意力(Shuffleattention,SA).
(3)在训练集上训练(2)设计的模型，结合模型验证结果得到最佳模型参数；
(4)将得到的最佳模型在测试集上进行精度验证。
现有技术三的缺点
(1)该方法面向高空间分辨率遥感影像，受高空间分辨率遥感影像收费存取、覆盖范围有限、影像幅宽小的影响，该方法难以推广到大空间尺度的业务中；
(2)该模型编码器与解码器之间连接过多，模型结构较为复杂，推理效率相比UNet++没有提高。
发明内容
为解决现有技术中存在的问题，本发明提供了一种轻量级滑坡检测方法，本发明面向中分辨率多源遥感数据，提出新的基于多尺度特征融合与多尺度通道注意力机制的轻量级语义分割网络，实现高精度且高效率的滑坡检测，为大空间尺度的滑坡检测提供技术参考。
一种轻量级滑坡检测方法，包括以下步骤：
步骤S1：选择与下载数据；
步骤S2：将得到的数据进行预处理，建立训练/测试集；
步骤S3：将预处理后的数据进行模型训练与评估。
优选地，使用Sentinel-2影像形成的光学信息和NASADEM数据形成的地形信息进行滑坡提取。
优选地，步骤S2包括以下子步骤：
子步骤S21：将获得的Sentinel-2影像形成的光学信息和NASADEM数据形成的地形信息利用采样至10m空间分辨率，并统一地理坐标系和投影坐标系，12个光学波段和2个地形数据合成为一个14波段的影像；
子步骤S22：对14个波段的影像进行归一化处理得到互不重叠的影像块。
优选地，子步骤S22包括以下子步骤：
子步骤S221：计算14个波段的影像均值，生成一组维度为14的平均值向量；
子步骤S222：将每个像元位置的特征向量与该平均值向量逐像素相除，得到与处理后的图像；
子步骤S223：将预处理后的影像进行分块，裁剪为128×128大小、在地理空间上互不重叠的影像块，以此形成训练/测试集。
优选地，MS2LandsNet模型包括第一编码块，第二编码块和第三编码块；第一编码块和第二个编码块包含两个卷积层、一个池化层和一个带多尺度通道注意力的多尺度特征融合模块；第三个编码块包含两个卷积层和一个带多尺度通道注意力的多尺度特征融合模块；所述解码器包括两个3×3卷积层和一个1×1卷积层。
优选地，带多尺度通道注意力的多尺度特征融合模块包括多尺度特征融合和多尺度通道注意力机制。
优选地，步骤S3包括以下子步骤：
子步骤S31：在训练集上，使用加权交叉熵损失LWCE和Dice损失LDICE指导网络训练得到模型参数；
子步骤S32：在测试集上，计算带参数的模型的分类精度，采用准确率，召回率，F1-score和交并比进行评估；
子步骤S33：对于模型运行效率，采用模型参数量，千兆浮点运算量和每秒帧数进行评估。
本发明轻量级滑坡检测方法的有益效果如下：
1.本发明实现准确的、逐像元的滑坡检测，提取结果是对滑坡位置、范围、边界的准确刻画。
2.滑坡检测过程中不使用任何高分辨率遥感影像，只利用公开获取的中分辨率遥感数据。
3.滑坡检测过程中不需要人为定义任何分类阈值，实现端对端、全自动化的滑坡检测。
4.本发明针对多源遥感数据包括光学波段和DEM数据，采用特征层面的深度融合策略以提高模型对不同模态数据的特征学习与表达能力。
5.本发明针对遥感影像场景复杂、细节丰富的特点，对影像中的目标信息给予更多关注，并抑制对背景信息的关注，优化深度学习模型，提高滑坡检测精度。
附图说明
图1为本发明的现有技术一的技术方案图。
图2为本发明的现有技术二技术路线图。
图3为本发明的技术三技术路线图。
图4为本发明的本发明技术方案图。
图5为本发明的MFF-MSCA结构图。
图6为本发明的不同模块预测结果。(a)表示RGB波段合成影像；(b)表示标签，黑色像元为背景，白色像元表示滑坡真实值；(c)表示不使用MFF和MSCA的模型预测结果；(d)表示使用了MFF但不使用MSCA的模型预测结果；(e)表示同时使用MFF和MSCA(即MS2LandsNet)的预测结果。
图7为本发明的不同模型在局部地区的预测结果对比图。
图8为本发明的不同模型的GFLOPs、推理速度和F1精度对比。横轴表示GFLOPs，纵轴表示F1精度，气泡大小表示推理效率，越小表示推理效率越高。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
一种轻量级滑坡检测方法本方法包括3个步骤：数据选择与下载、数据预处理、模型训练与评估。
(1)数据选择与下载：
本发明使用Sentinel-2影像(光学信息)和NASADEM数据(地形信息)进行滑坡提取。
本发明使用的Sentinel-2和NASADEM是利用GEEMap库从GEE(Google EarthEngine)免费下载。
在GEE中,Sentinel-2影像集名称为“COPERNICUS/S2_HARMONIZED”，NASADEM影像集名称为“NASA/NASADEM_HGT/001”。
Sentinel-2和NASADEM都属于中分辨率数据。Sentinel-2影像包含13个波段，其分辨率为10-60m，其中红、绿、蓝和近红外波段为10m，红边波段和短波红外波段为20m，大气波段分辨率为60m。本发明将Sentinel-2影像的12个光学波段(B1-B12)应用在滑坡检测任务中。NASADEM由航天飞机雷达地形任务(SRTM)数据处理而来，其空间分辨率为30m。考虑到滑坡的发生与发育过程受到地形的影响，本发明将NASADEM高程数据以及由高程数据通过“高程/路程×100％”计算而来的坡度数据也应用中滑坡检测中。因此，本发明一共利用14个波段进行滑坡检测。
本发明借助研究区滑坡发生前后的高分辨率遥感影像，通过人工解译得到研究区的滑坡标签，以此构建滑坡标签数据库。最后产生的滑坡标签是二进制数据，其中"0"表示背景，"1"表示滑坡。
(2)数据预处理
本发明将获得的Sentinel-2影像和NASADEM数据利用采样至10m空间分辨率，并统一地理坐标系和投影坐标系(投影代码为ESPG:3857)。12个光学波段和2个地形数据合成为一个14波段的影像。
本发明对14个波段分别进行归一化处理：首先计算14个波段的均值，由此生成一组维度为14的平均值向量，然后将每个像元位置的特征向量(长度为14)与该平均值向量逐像素相除。为方便模型训练和预测，本发明将预处理后的影像进行分块，裁剪为128×128大小、在地理空间上互不重叠的影像块，以此形成训练/测试集。
(3)模型训练与评估
本发明提出的网络结构MS2LandsNet如图4。MS2LandsNet为编码-解码结构。考虑到过多的降采样块会增加模型深度并损失大量空间细节，过多的编码-解码连接会增加计算成本，因此本发明设计的MS2LandsNet模型减少了编码器中降采样块的数量、并采用不对称解码器以减少模型参数、提高模型运行效率。具体而言，MS2LandsNet编码部分包含三个编码块。其中第一和第二个编码块各包含两个卷积层、一个池化层和一个带多尺度通道注意力的多尺度特征融合模块(Multi-scale feature fusion with multi-scale channelattention,MFF-MSCA)，第三个编码块包含两个卷积层和一个MFF-MSCA。编码器通过卷积层和池化层的叠加逐层地学习和表征影像特征。MS2LandsNet解码部分包含两个3×3卷积层和一个1×1卷积层。
高层特征包含丰富的滑坡语义特征，但损失了部分空间细节，浅层特征包含丰富的空间细节但语义信息较少。为提高模型对高低层信息表达的一致性，使模型学习到更加典型的滑坡特征，本发明基于金字塔池化设计了MFF-MSCA。
以下对MS2LandsNet中的带多尺度通道注意力的多尺度特征融合模块(MFF-MSCA)进行详细说明：
如图5，MFF-MSAC包含两部分：多尺度特征融合(Multi-scale Feature fusion,MFF)和多尺度通道注意力机制(Multi-scale channel attention mechanism,MSCA)，本发明设计了MFF-MSCA将深度特征与浅层语义信息结合。MFF输入为两个特征图和/>(其中m×m表示特征图宽和高，d(·)表示特征通道数)。在本发明中这两个特征图分别为编码器块输出的特征图和采样至对应尺度的源影像。对于MFF的输出特征图/>其计算过程如式(1)：
Xi＝f1×1(Xa||Xb)
其中，f1×1(·)表示point-wise卷积层，||表示通道串联操作。
MS-CAM包含全局注意力和局部注意力。全局注意力G计算方式为式(2)：
其中，GAP表示全局自适应平均池化，BN表示Batch Normalization，σ表示激活函数，Xi由公式(1)计算。
局部注意力H计算方式为式(3):
通过融合全局注意力和局部注意力输出特征(/>表示实数矩阵,m×m×d(i)表示矩阵大小)，其计算过程如式(4):
其中表示按元素相乘，/>表示按元素相加，/>由G∈通过广播机制扩展而来。
以下对模型训练和模型评估方法进行说明：
本发明在训练集上使用加权交叉熵损失LWCE和Dice损失LDice指导网络训练。
总损失Ltotal计算过程如式(5)-(7)：
Ltotal＝(1-λ)LWCE+λLDice (5)
式中，λ∈[0,1]是平衡参数，用于权衡LWCE和LDice。N为样本数量，C表示分类数量，αc是为第c个类设置的权重值，yn是第n个样本的独热标签，y'n是第n个样本的预测值。
本发明在测试集上对模型的分类精度和运行效率进行评估。
对于分类精度，本发明采用4个指标：准确率(Precision)，召回率(Recall)，F1-score和交并比(IoU).这些指标都是通过混淆矩阵计算而来，混淆矩阵中，TP表示真阳性(True Positive)，即正确分类的滑坡像元数，FP表示假阳性(False Positive)，即被错分成滑坡的像元数，TN表示真阴性(True Negative)，即正确分类的背景像元数量，FN表示假阴性(False Negative)，即被错分为背景的像元数量。
准确率Precision表示在模型检测出的滑坡像元中被正确分类的滑坡像元的比例，其计算方式为：
召回率Recall表示在所有滑坡像元中，被模型检测为滑坡像元的比例，其计算方式为：
F1-score是Precision和Recall的调和平均值，其计算方式为：
IoU表示预测滑坡与真实滑坡的交集与并集的比率，其计算方式为：
对于模型运行效率，主要采用模型参数量(params)，千兆浮点运算量(Giga FloatOperations,GFLOPs)和每秒帧数Frames per second(FPS)进行评估。
模型参数量主要包括卷积层参数量和全连接层参数量，计算方式如下：
paramsconv＝dout(dink2+1) (12)
paramslinear＝dindout+dout (13)
其中，din，dout分别表示输入特征通道数和输出特征通道数；k表示卷积层的卷积核尺寸。
一般而言，模型参数量越大，模型需要越多的标注数据进行训练。
GLOPs指示模型复杂度。
GFLOPs与FLOPs的换算关系为：GFLOPs＝10-9FLOPs。
对于卷积层，FLOPs计算方式为：
FLOPs＝2hwdindoutk2 (14)
其中h,w表示输出特征图的长宽尺寸。
对于全连接层，FLOPs计算方式为：
FLOPs＝2dindout (15)
FPS表示模型在对每个影像进行推理时花费的平均时间，其值越小表示模型推理效率越高。
需要注意的是，本发明在计算FLOPs和FPS时，输入模型的单个影像的通道数、长、宽为14,128,128。
本发明的创新点如下：
(1)本发明构建了一套基于中分辨率多源遥感数据(包括光学波段和DEM数据)进行滑坡检测的方法，实现逐像元的滑坡检测，因此能对滑坡的位置、边界进行刻画。
(2)本发明设计的滑坡检测模型是端对端、全自动的，不需要任何人工干预。
(3)过多的降采样操作会导致模型丢失大量空间细节，使得提取目标边界模糊。本发明提出的MS2LandsNet采用3个降采样块的模型架构，实验证明采用3个降采样块的模型比采用4个降采样块的模型在滑坡检测的IoU和F1精度上提高了0.75％和0.57％(表1)。
表1不同降采样数量的实验结果对比
(4)本发明设计的MS2LandsNet包含了多尺度特征融合和多尺度注意力机制，与不使用多尺度特征融合、使用多尺度特征融合但不使用多尺度注意力机制以及同时使用多尺度特征融合和多尺度注意力机制的情况进行对比，MS2LandsNet在IoU/F1精度上分别提高了16.48％/11.9％和1.4％/0.92％。图6展示了不同模块组合的滑坡检测效果。
(5)MS2LandsNet在分类精度与分类效率之间取得了很好的平衡，达到了“轻量”且“有效”的目的。经过实验，本发明比PSPNet,SegNet,FCN8s,UNet,DeepUNet,ResUNet,Attention UNet在IoU精度上分别高出了8.2-17.45％,7.4-13.32％,5.46-9.77％,0.95-1.37％,1.13-4.44％,1.69-2.13％,1.06-1.12％；本发明比PSPNet,SegNet,FCN8s,UNet,DeepUNet,ResUNet,Attention UNet在F1精度上分别高出了6.67-12.68％，5.99-11.68％，4.36-6.77％，0.73-0.9％，0.87-2.98％，1.11-1.66％，0.71-0.91％。在模型效率上，以PSPNet为基准模型，本发明提出的MS2LandsNet在参数量上减少了99％，在模型推理效率上提高了106％。图7展示了不同模型的滑坡预测结果。图8展示了不同模型在模型复杂度、模型推理效率和模型预测精度上的对比，图8中横轴表示GFLOPs，纵轴表示F1精度，气泡大小表示推理效率，越小表示推理效率越高。
Claims (7)
1.一种轻量级滑坡检测方法，其特征在于，包括以下步骤：
步骤S1：选择与下载数据；
步骤S2：将得到的数据进行预处理，建立训练/测试集；
步骤S3：将预处理后的数据进行模型训练与评估。
2.根据权利要求1所述的轻量级滑坡检测方法，其特征在于，所述步骤S1具体为：获取多光谱、中分辨率Sentinel-2影像和NASADEM数据。
3.根据权利要求1所述的轻量级滑坡检测方法，其特征在于，所述步骤S2包括以下子步骤：
子步骤S21：将获得的Sentinel-2影像形成的光学信息和NASADEM数据形成的地形信息采样至10m空间分辨率，并统一地理坐标系和投影坐标系，12个光学波段和2个地形数据合成为一个14波段的影像；
子步骤S22：对14个波段的影像进行归一化处理得到互不重叠的影像块。
4.根据权利要求3所述的轻量级滑坡检测方法，其特征在于，所述子步骤S22包括以下子步骤：
子步骤S221：计算14个波段的影像均值，生成一组维度为14的平均值向量；
子步骤S222：将每个像元位置的特征向量与该平均值向量逐像素相除，得到与处理后的图像；
子步骤S223：将预处理后的影像进行分块，裁剪为128×128大小、在地理空间上互不重叠的影像块，以此形成训练/测试集。
5.根据权利要求3所述的轻量级滑坡检测方法，其特征在于，所述MS2LandsNet模型包括第一编码块，第二编码块和第三编码块；所述第一编码块和第二个编码块包含两个卷积层、一个池化层和一个带多尺度通道注意力的多尺度特征融合模块；所述第三个编码块包含两个卷积层和一个带多尺度通道注意力的多尺度特征融合模块；所述解码器包括两个3×3卷积层和一个1×1卷积层。
6.根据权利要求5所述的轻量级滑坡检测方法，其特征在于，所述带多尺度通道注意力的多尺度特征融合模块包括多尺度特征融合和多尺度通道注意力机制。
7.根据权利要求1所述的轻量级滑坡检测方法，其特征在于，所述步骤S3包括以下子步骤：所述步骤S3包括以下子步骤：
子步骤S31：在训练集上，使用加权交叉熵损失LWCE和Dice损失LDICE指导网络训练得到模型参数；
子步骤S32：在测试集上，计算带参数模型的分类精度，采用准确率，召回率，F1-score和交并比进行评估；
子步骤S33：对于模型运行效率，采用模型参数量，千兆浮点运算量和每秒帧率进行评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310502793.6A CN116977866A (zh) | 2023-05-06 | 2023-05-06 | 一种轻量级滑坡检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310502793.6A CN116977866A (zh) | 2023-05-06 | 2023-05-06 | 一种轻量级滑坡检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116977866A true CN116977866A (zh) | 2023-10-31 |
Family
ID=88478524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310502793.6A Pending CN116977866A (zh) | 2023-05-06 | 2023-05-06 | 一种轻量级滑坡检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977866A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576483A (zh) * | 2023-12-14 | 2024-02-20 | 中国石油大学(华东) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 |
-
2023
- 2023-05-06 CN CN202310502793.6A patent/CN116977866A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576483A (zh) * | 2023-12-14 | 2024-02-20 | 中国石油大学(华东) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898543B (zh) | 一种融合几何感知与图像理解的建筑物自动提取方法 | |
| CN110188705B (zh) | 一种适用于车载系统的远距离交通标志检测识别方法 | |
| CN114202696A (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN114565860B (zh) | 一种多维度增强学习合成孔径雷达图像目标检测方法 | |
| CN112149547A (zh) | 基于图像金字塔引导和像素对匹配的遥感影像水体识别 | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN114943963A (zh) | 一种基于双分支融合网络的遥感图像云和云影分割方法 | |
| CN112686207A (zh) | 一种基于区域信息增强的城市街道场景目标检测方法 | |
| CN113554032A (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN111414954A (zh) | 一种岩石图像检索方法及其系统 | |
| CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
| CN113269133A (zh) | 一种基于深度学习的无人机视角视频语义分割方法 | |
| CN116977866A (zh) | 一种轻量级滑坡检测方法 | |
| CN115223017B (zh) | 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法 | |
| CN114782298A (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN117079163A (zh) | 一种基于改进yolox-s的航拍图像小目标检测方法 | |
| CN116543227A (zh) | 基于图卷积网络的遥感图像场景分类方法 | |
| CN116485867A (zh) | 一种面向自动驾驶的结构化场景深度估计方法 | |
| CN115457396A (zh) | 一种基于遥感影像的地表目标地物检测方法 | |
| CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |