CN116543308A - 一种基于多模型融合的滑坡检测预警模型及预警方法 - Google Patents
一种基于多模型融合的滑坡检测预警模型及预警方法 Download PDFInfo
- Publication number
- CN116543308A CN116543308A CN202310575733.7A CN202310575733A CN116543308A CN 116543308 A CN116543308 A CN 116543308A CN 202310575733 A CN202310575733 A CN 202310575733A CN 116543308 A CN116543308 A CN 116543308A
- Authority
- CN
- China
- Prior art keywords
- landslide
- model
- detection
- image
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 230000003321 amplification Effects 0.000 abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000235648 Pichia Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
Abstract
本发明公开了一种基于多模型融合的滑坡检测预警方法，包括（1）获取待测地区的遥感影像，切割成多张子遥感图；（2）依次将遥感图分类识别为滑坡影像或非滑坡影像；（3）对每张滑坡影像输出检测框；（4）扩大检测框尺寸填充背景为黑色，（5）再得到语义分割结果图；（6）将步骤（5）得到的语义分割结果图标记为参考图；（7）对每张滑坡影像的子地区进行监控，通过监控变形区域面积值大小的方式报警。本发明在将滑坡影像处理成语义分割结果图的过程中，对目标检测、检测框放大、语义分割均进行了改进，能提高多尺度和复杂背景下的滑坡检测精度，尤其是小尺度下的滑坡检测精度。
Description
技术领域
本发明涉及一种滑坡检测预警方法，尤其涉及一种基于多模型融合的滑坡检测预警方法。
背景技术
传统的图像处理和深度学习的方法可以实现遥感影像的滑坡检测预警。但是依然存在许多问题：
(1)滑坡通常以不同的尺度出现，滑坡长度可以从几米到几千米，尺度的变化会给滑坡识别带来挑战。一些滑坡识别模型主要针对大尺度滑坡图像，而对于背景复杂、尺寸比例不同的滑坡图像，特别是小尺度滑坡图像，产生的漏检率和误检率较高。小尺度滑坡图像检出率低的问题主要有两个原因。一是小尺度滑坡属于图像的细节部分，它的分辨率低，占用图像中的像素较少，特别是在池化过程之后，小尺度滑坡特征在编码过程中更容易丢失。例如，一张大小为[512,512]的图像经过池化层后被下采样到[256,256]的大小，会丢失一些像素信息，而这一部分丢失的像素信息往往是图像的细节部分。其次，随着网络层数的加深和感受野的增大，小尺度的滑坡图像特征比大尺度滑坡图像更难保留。这就意味着一般的目标检测模型或者语义分割模型对中等尺度或者大尺度滑坡特征提取较好，而在很大程度上忽略了小尺度的滑坡。
(2)山区遥感影像背景复杂，包含房屋、河床等地物，且一张遥感影像可能包含多个不规则的滑坡区域，也会给滑坡识别带来干扰。对于背景复杂的滑坡识别，与滑坡区域光谱特征相似的区域往往会出现误检。主要有两类错误类型：一种主要发生在地表纹理复杂的地方，如梯田变化、自然侵蚀或山脊交汇处，由于这些地方不同的地表纹理可能组成与滑坡后缘类似的圈椅状或弧状边界形态，因此可能会导致错误识别。另外一种主要发生在包含多个不规则的滑坡区域，滑坡边界纵横交错，滑坡形状大小不一，呈现出不规则的形状也会导致误检。
名词解释：
SPP网络：英文spatial pyramid pooling，中文为空间金字塔池化。
PANet：英文Path Aggregation Network，中文为路径聚合网络，最大的贡献是提出了一个自顶向下和自底向上的双向融合骨干网络，同时在最底层和最高层之间添加了一条“short-cut”，用于缩短层之间的路径。
发明内容
本发明的目的就在于提供一种解决上述问题，能提高多尺度和复杂背景下的滑坡检测精度，尤其是小尺度下的滑坡检测精度的，一种基于多模型融合的滑坡检测预警方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种基于多模型融合的滑坡检测预警方法，包括以下步骤；
(1)获取待测地区的遥感影像，切割成多张子遥感图，每张子遥感图对应待测地区内一子地区；
(2)依次对子遥感图进行分类识别，识别为滑坡影像或非滑坡影像，仅保留滑坡影像；
(3)对每张滑坡影像输出检测框，包括步骤(31)-(32)；
(31)用目标检测模型对滑坡影像内滑坡区域进行目标检测；
(32)若检测到目标，输出检测框，若未检测到目标，则调整滑坡影像的输入尺寸或目标检测模型的参数，直至检测到目标；
(4)扩大检测框尺寸，再将滑坡影像中检测框外的区域填充为黑色；
(5)对步骤(4)得到的滑坡影像进行语义分割，得到语义分割结果图；
(6)将步骤(5)得到的语义分割结果图标记为参考图；
(7)对每张滑坡影像的子地区进行监控，其中一张的监控方法为；
(71)再次获取该滑坡影像对应子地区的遥感图，按步骤(3)-(5)处理，得到语义分割结果图作为对比图；
(72)将对比图与参考图进行逐像素相减，得到仅包含变形区域的变形图，计算变形区域的面积值S；
(73)将面积值与预设阈值比较；
若S＜阈值，则重复步骤(71)-(72)；
若S≥阈值，报警、并将本次对比图标记为参考图，重复步骤(71)-(72)。
作为优选：所述步骤(2)通过分类模型进行分类识别，所述分类模型为SwinTransformer分类模型、ResNet分类模型或VGG分类模型。
作为优选：所述步骤(31)中，所述目标检测模型为YOLO目标检测模型或改进的目标检测模型，所述改进的目标检测模型包括一YOLO4模型，所述YOLO4模型由主干网络、SPP网络和PANet构成，其中主干网络采用Desenet121网络。
作为优选：所述步骤(32)中，目标检测模型的参数包括模型的权重、目标得分置信度、非极大抑制的阈值、Desenet121网络的alpha系数、mosaic数据增强的概率、和/或模型的学习率。
作为优选：所述步骤(4)中，扩大检测框尺寸具体为；
扩大后检测框的第i个顶点坐标，通过下式计算，
式中，i＝1～4，表示检测框四个顶点中的第i个，X′i和Y′i分别为扩大后检测框第i个顶点的横坐标和纵坐标，Xi和Yi为扩大前检测框第i个顶点的横坐标和纵坐标，为滑坡面积比，/>SL为滑坡影像中滑坡区域的面积，SI为滑坡影像的面积；w为缩放倍数，Input为子遥感图的尺寸。
作为优选：所述步骤(5)中，通过改进的语义分割模型进行语义分割，所述改进的语义分割模型包括一Unet网络，所述Unet网络包括编码部分和解码部分、所述编码部分采用resnet50网络，且resnet50网络输出端依次设置CBAM注意力机制模块和PPM金字塔池化模块；
所述resnet50网络从上到下包括5个残差块，并对应5个特征输出feat1-feat5，所述feat5经CBAM注意力机制模块和PPM金字塔池化模块后送入解码部分中；
所述改进的语义分割模型的损失函数FL(Pt)通过下式计算；
FL(Pt)＝-(1-Pt)γlog(Pt)
式中，γ为调制系数，0≤γ≤5，Pt为概率函数，p为滑坡影像中被认为是滑坡像素点的概率；
作为优选：resnet50网络的输入尺寸为[512,512,3]，feat1-feat5的尺寸大小分别为[256,256,64]、[128,128,256]、[64,64,512]、[32,32,1024]和[16,16,2048]。
本发明思路为：首先获取一次遥感影像切割成多张子遥感图，对子遥感图依次进行分类识别，仅保留和滑坡有关的子遥感图作为滑坡影像，便于后期对滑坡影像对应区域进行重点监测。其次，将滑坡影像经目标检测、检测框放大、语义分割后，输出语义分割结果图，后续监测时，再次获取该滑坡影像对应区域的遥感图处理即可。将两次语义分割结果图进行逐像素相减，得到变形图，再逐像素的统计相加，得到滑坡导致的变形区域的面积值，如果面积值大于阈值则发出预警，否则继续采集后期遥感图，重复上述步骤，以实现对同一位置滑坡变形的检测预警。
与现有技术相比，本发明的优点在于：提出了一种基于多模型融合的滑坡检测预警方法，在将滑坡影像处理成语义分割结果图的过程中，本发明对目标检测、检测框放大、语义分割均进行了改进。
对目标检测：提出了一种改进的目标检测模型，用Desenet121网络替换YOLO4模型中原有的主干网络，相比传统卷积神经网络在同层深度下，具有更好的收敛效果，可以加强网络的特征提取能力，从而可以学习到更加丰富的特征加以利用，提高目标检测的精度。
对检测框放大：本发明对需要根据不同尺度的滑坡输出的不同的目标检测框，扩大相应的范围，以保证保留一定的场景语义信息，又不至于让模型受到复杂的干扰，这样才可以从整体上提高语义分割的精度。
对语义分割：提出了一种改进的语义分割模型，主要改进有以下几点：
(1)针对山区遥感影像背景复杂，摒弃了传统U-Net的主干特征提取网络，而是设计了ResNet50的深层的残差网络结构来提取特征，对应5个特征输出feat1-feat5，这样的结构可以提高复杂背景下滑坡的识别精度。
(2)添加CBAM注意力机制模块：为了使网络更加高效的学习滑坡特征，我们在传统U-Net网络结构中添加了CBAM注意力机制模块，将获得的特征再进行一个自适应注意特征提取的过程，这样能够以高权重去聚焦关于滑坡的重要信息，以低权重去忽略背景等不相关的信息，这样可以让网络更加关注它最需要关注的特征，完成高效的特征学习。
(3)添加PPM金字塔池化模块：针对滑坡尺度变化大，小尺度滑坡识别困难的问题，我们添加了PPM金字塔池化模块，能聚合不同区域的上下文信息，提高获取全局信息的能力，这样可以加强多尺度滑坡特征融合的效果，提高小尺度滑坡的识别精度。
(4)添加损失函数，针对背景像素占大部分，滑坡像素占少部分的样本不均衡问题，背景像素点可以认为是负样本，而滑坡像素点可以认为是正样本，针对小尺度滑坡影像，就相当于大量负样本和少量正样本的情况。为了解决这种问题，我们在U-Net使用的标准交叉熵损失log(Pt)的基础上，添加了权重因子(1-Pt)γ，即平衡交叉熵，这样可以减少负样本损失在总损失中的比重。
综上，本发明能提高多尺度和复杂背景下的滑坡检测精度，尤其是小尺度下的滑坡检测精度。
附图说明
图1为本发明流程图；
图2为本发明中将子遥感图处理成语义分割结果图的流程图；
图3为改进的目标检测模型结构图；
图4为改进的语义分割模型结构图；
图5a为大尺寸滑坡影像中识别出检测框并扩大填充后的对比图；
图5b为中尺寸滑坡影像中识别出检测框并扩大填充后的对比图；
图5c为小尺寸滑坡影像中识别出检测框并扩大填充后的对比图；
图6为本发明由对比图和参考图得到变形图的示意图；
图7a两张大尺寸滑坡影像经三种方法得到的对比图；
图7b两张中尺寸滑坡影像经三种方法得到的对比图；
图7c两张小尺寸滑坡影像经三种方法得到的对比图；
图7d两张复杂背景滑坡影像经三种方法得到的对比图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1-图6，一种基于多模型融合的滑坡检测预警方法，包括以下步骤；
(1)获取待测地区的遥感影像，切割成多张子遥感图，每张子遥感图对应待测地区内一子地区；
(2)依次对子遥感图进行分类识别，识别为滑坡影像或非滑坡影像，仅保留滑坡影像；
(3)对每张滑坡影像输出检测框，包括步骤(31)-(32)；
(31)用目标检测模型对滑坡影像内滑坡区域进行目标检测；
(32)若检测到目标，输出检测框，若未检测到目标，则调整滑坡影像的输入尺寸或目标检测模型的参数，直至检测到目标；
(4)扩大检测框尺寸，再将滑坡影像中检测框外的区域填充为黑色；
(5)对步骤(4)得到的滑坡影像进行语义分割，得到语义分割结果图；
(6)将步骤(5)得到的语义分割结果图标记为参考图；
(7)对每张滑坡影像的子地区进行监控，其中一张的监控方法为；
(71)再次获取该滑坡影像对应子地区的遥感图，按步骤(3)-(5)处理，得到语义分割结果图作为对比图；
(72)将对比图与参考图进行逐像素相减，得到仅包含变形区域的变形图，计算变形区域的面积值S；
(73)将面积值与预设阈值比较；
若S＜阈值，则重复步骤(71)-(72)；
若S≥阈值，报警、并将本次对比图标记为参考图，重复步骤(71)-(72)。
所述步骤(2)通过分类模型进行分类识别，所述分类模型为Swin Transformer分类模型、ResNet分类模型或VGG分类模型。
所述步骤(31)中，所述目标检测模型为YOLO目标检测模型或改进的目标检测模型，所述改进的目标检测模型包括一YOLO4模型，所述YOLO4模型由主干网络、SPP网络和PANet构成，其中主干网络采用Desenet121网络。
所述步骤(32)中，目标检测模型的参数包括模型的权重、目标得分置信度、非极大抑制的阈值、Desenet121网络的alpha系数、mosaic数据增强的概率、和/或模型的学习率。
所述步骤(4)中，扩大检测框尺寸具体为；
扩大后检测框的第i个顶点坐标，通过下式计算，
式中，i＝1～4，表示检测框四个顶点中的第i个，X′i和Y′i分别为扩大后检测框第i个顶点的横坐标和纵坐标，Xi和Yi为扩大前检测框第i个顶点的横坐标和纵坐标，为滑坡面积比，/>SL为滑坡影像中滑坡区域的面积，SI为滑坡影像的面积；w为缩放倍数，Input为子遥感图的尺寸。
所述步骤(5)中，通过改进的语义分割模型进行语义分割，所述改进的语义分割模型包括一Unet网络，所述Unet网络包括编码部分和解码部分、所述编码部分采用resnet50网络，且resnet50网络输出端依次设置CBAM注意力机制模块和PPM金字塔池化模块；
所述resnet50网络从上到下包括5个残差块，并对应5个特征输出feat1-feat5，所述feat5经CBAM注意力机制模块和PPM金字塔池化模块后送入解码部分中；
所述改进的语义分割模型的损失函数FL(Pt)通过下式计算；
FL(Pt)＝-(1-Pt)γlog(Pt)
式中，γ为调制系数，0≤γ≤5，Pt为概率函数，p为滑坡影像中被认为是滑坡像素点的概率；
resnet50网络的输入尺寸为[512,512,3]，feat1-feat5的尺寸大小分别为[256,256,64]、[128,128,256]、[64,64,512]、[32,32,1024]和[16,16,2048]。
本实施例中，我们设w＝10，Input＝416。
另外，本发明用表示滑坡面积比，我们可以根据滑坡面积比，将滑坡影像分为大尺度滑坡、中度滑坡和小尺度滑坡，当/>时，可以认为是大尺度滑坡；当/>时，可以认为是中等尺度滑坡；当/>时，可以认为是小尺度滑坡。
参见图5a-图5c，分别给出了大、中、小尺寸滑坡影像中识别出检测框并扩大填充后的对比图。图5a左图为遥感影像识别到两个目标并输出两个检测框，分别扩大后，得到两个扩大后检测框，图5a中两个扩大后检测框出现了重叠，我们将其合并，再将其余背景区域填充为黑色，如图5a右图所示。
图5b、图5c中各有一个滑坡区域，故仅有一个目标，输出一个检测框，放大后背景区域填充为黑色。
扩大检测框可以使其保留多的场景语义信息，这是因为对不同尺度的滑坡，输出的目标检测框的大小不一，大的目标检测框可以保留更多的场景语义信息，小的目标检测框会屏蔽掉许多和滑坡有关的场景语义信息，如植被覆盖率、滑坡与环境的颜色差异等，这些是很重要上下文信息特征，语义分割模型也是需要根据这些场景语义特征来识别滑坡的。因此，我们需要根据不同尺度的滑坡输出的不同的目标检测框，扩大相应的范围，以保证保留一定的场景语义信息，又不至于让模型受到复杂的干扰。
本发明提出了一种改进的目标检测模型，用Desenet121网络替换YOLO4模型中原有的主干网络，参见图3，Desenet121网络结构的输入是[416,416,3]的大小，然后经过卷积池化激活等操作获得[104,104,64]大小的特征层，然后经过两个Dense Block模块和两个Transition Layer模块的作用获得第1个特征层输出是[26,26,256]的大小；之后经过一个Dense Block模块和一个Transition Layer模块的作用获得第2个特征层输出是[13,13,512]的大小；最后再经过一个Dense Block模块的作用以及池化激活的操作获得第3个特征层输出是[13,13,1024]的大小，这就完成了YOLOv4主干特征提取网络的替换。实际上，输入输出不限于本文所述尺寸，可根据实际情况进行调整。
关于PPM金字塔池化模块，该模块的具体位置在CBAM注意力机制的输出特征层之后，具体过程是将获取到的特征层分别划分成1×1、2×2、4×4、8×8的子区域，在每个子区域内部各自进行平均池化，然后对得到的特征图都进行上采样操作，恢复至原始特征图大小，最后在通道维度上进行拼接，得到最终的复合特征图。
实施例2：参见图1-图7d，我们预设实验条件进行实验。
其中，硬件服务器配置为：英伟达A4000显卡、INTEL至强4210R十核处理器和三星32G内存等，运行环境为Windows10 64位系统。数据集采用的遥感影像来源于毕节市数据集和自制数据集，一共有3103张遥感影像。按照训练集加验证集：测试集等于9：1的比例进行数据集的划分。我们根据图像中像素的比例和背景复杂性将滑坡分为大尺度滑坡、中尺度滑坡、小尺度滑坡和复杂背景区的滑坡。像素的比例也表示滑坡区域面积占整张图像面积的百分比。
大尺度滑坡为：滑坡面积占总面积的面积比在50％以上的影像；
中尺度滑坡为：滑坡面积占总面积的面积比的10％到50％之间的影像；
小尺度滑坡为：滑坡面积小于总面积的面积的10％的影像；
复杂背景区的滑坡为：具有两个以上形状不规则的滑坡，成像时具有云雾的干扰，房屋建筑山区梯田的干扰，裸露的岩土结构的干扰或其他干扰的影像。
为了比较和分析不同方法在多尺度复杂滑坡遥感影像识别上的差异和优缺点，我们使用U-Net、PSP-Net和本发明方法作为对比，计算了三种方法在测试集上的评价指标，如下表1所示：
表1模型在多尺度复杂背景测试集上精度的比较
表中，Mean IoU为平均交并比，从表1可知，本文方法在复杂和多尺度背景下的滑坡检测精度都优于对比方法，尤其在小尺度滑坡上相对于U-Net的Mean IoU提高了20.6％，在复杂背景下的滑坡相对于U-Net的Mean IoU提高了2.08％，平均提高了9.91％，表明了本文方法在多尺度和复杂背景区滑坡检测的有效性。同时也表明了本文提出的基于多模型融合的滑坡检测方法相对单个模型在滑坡检测上具有明显的优势。
另外，在用三种方法测试的过程中，我们针对遥感图像从输入到得到语义分割结果图这一部分，进行了对比，如图7a-图7d所示。其中，图7a-图7d分别是针对两张大尺度滑坡、中尺度滑坡、小尺度滑坡和复杂背景区滑坡的对比图。其中，标签是对滑坡区域进行人工标记的，最准确的滑坡标记。
从图7a-图7d中可以看出，U-Net模型在各种背景下的预测结果都出现了一定面积的误检，尤其在小尺度和复杂背景下的预测结果出现了大面积的误检；PSP-Net也只出现了小面积的误检；本文方法在多尺度和复杂背景下的预测结果都比较接近真实值，其原因在于改进的YOLOv4模型对滑坡进行目标检测之后，扩大检测框，截取检测框内的内容，将检测框外的区域填充为黑色，可以减少一部分的背景干扰，在此基础上结合改进的U-Net进行语义分割任务，可以有效提高多尺度和复杂背景下的预测效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多模型融合的滑坡检测预警方法，其特征在于：包括以下步骤；
(1)获取待测地区的遥感影像，切割成多张子遥感图，每张子遥感图对应待测地区内一子地区；
(2)依次对子遥感图进行分类识别，识别为滑坡影像或非滑坡影像，仅保留滑坡影像；
(3)对每张滑坡影像输出检测框，包括步骤(31)-(32)；
(31)用目标检测模型对滑坡影像内滑坡区域进行目标检测；
(32)若检测到目标，输出检测框，若未检测到目标，则调整滑坡影像的输入尺寸或目标检测模型的参数，直至检测到目标；
(4)扩大检测框尺寸，再将滑坡影像中检测框外的区域填充为黑色；
(5)对步骤(4)得到的滑坡影像进行语义分割，得到语义分割结果图；
(6)将步骤(5)得到的语义分割结果图标记为参考图；
(7)对每张滑坡影像的子地区进行监控，其中一张的监控方法为；
(71)再次获取该滑坡影像对应子地区的遥感图，按步骤(3)-(5)处理，得到语义分割结果图作为对比图；
(72)将对比图与参考图进行逐像素相减，得到仅包含变形区域的变形图，计算变形区域的面积值S；
(73)将面积值与预设阈值比较；
若S＜阈值，则重复步骤(71)-(72)；
若S≥阈值，报警、并将本次对比图标记为参考图，重复步骤(71)-(72)。
2.根据权利要求1所述的一种基于多模型融合的滑坡检测预警方法，其特征在于：所述步骤(2)通过分类模型进行分类识别，所述分类模型为Swin Transformer分类模型、ResNet分类模型或VGG分类模型。
3.根据权利要求1所述的一种基于多模型融合的滑坡检测预警方法，其特征在于：所述步骤(31)中，所述目标检测模型为YOLO目标检测模型或改进的目标检测模型，所述改进的目标检测模型包括一YOLO4模型，所述YOLO4模型由主干网络、SPP网络和PANet构成，其中主干网络采用Desenet121网络。
4.根据权利要求1所述的一种基于多模型融合的滑坡检测预警方法，其特征在于：所述步骤(32)中，目标检测模型的参数包括模型的权重、目标得分置信度、非极大抑制的阈值、Desenet121网络的alpha系数、mosaic数据增强的概率、和/或模型的学习率。
5.根据权利要求1所述的一种基于多模型融合的滑坡检测预警方法，其特征在于：所述步骤(4)中，扩大检测框尺寸具体为；
扩大后检测框的第i个顶点坐标，通过下式计算，
式中，i＝1～4，表示检测框四个顶点中的第i个，X′i和Yi′分别为扩大后检测框第i个顶点的横坐标和纵坐标，Xi和Yi为扩大前检测框第i个顶点的横坐标和纵坐标，为滑坡面积比，/>SL为滑坡影像中滑坡区域的面积，SI为滑坡影像的面积；w为缩放倍数，Input为子遥感图的尺寸。
6.根据权利要求1所述的一种基于多模型融合的滑坡检测预警方法，其特征在于：所述步骤(5)中，通过改进的语义分割模型进行语义分割，所述改进的语义分割模型包括一Unet网络，所述Unet网络包括编码部分和解码部分、所述编码部分采用resnet50网络，且resnet50网络输出端依次设置CBAM注意力机制模块和PPM金字塔池化模块；
所述resnet50网络从上到下包括5个残差块，并对应5个特征输出feat1-feat5，所述feat5经CBAM注意力机制模块和PPM金字塔池化模块后送入解码部分中；
所述改进的语义分割模型的损失函数FL(Pt)通过下式计算；
FL(Pt)＝-(1-Pt)γlog(Pt)
式中，γ为调制系数，0≤γ≤5，Pt为概率函数，p为滑坡影像中被认为是滑坡像素点的概率；
7.根据权利要求6所述的一种基于多模型融合的滑坡检测预警方法，其特征在于：resnet50网络的输入尺寸为[512,512,3]，feat1-feat5的尺寸大小分别为[256,256,64]、[128,128,256]、[64,64,512]、[32,32,1024]和[16,16,2048]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310575733.7A CN116543308A (zh) | 2023-05-22 | 2023-05-22 | 一种基于多模型融合的滑坡检测预警模型及预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310575733.7A CN116543308A (zh) | 2023-05-22 | 2023-05-22 | 一种基于多模型融合的滑坡检测预警模型及预警方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543308A true CN116543308A (zh) | 2023-08-04 |
Family
ID=87455882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310575733.7A Pending CN116543308A (zh) | 2023-05-22 | 2023-05-22 | 一种基于多模型融合的滑坡检测预警模型及预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543308A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704357A (zh) * | 2023-08-09 | 2023-09-05 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法 |
-
2023
- 2023-05-22 CN CN202310575733.7A patent/CN116543308A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704357A (zh) * | 2023-08-09 | 2023-09-05 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法 |
| CN116704357B (zh) * | 2023-08-09 | 2023-10-27 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于YOLOv7的堤坝边坡滑坡智能识别与预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310264B (zh) | 一种基于dcnn的大尺度目标检测方法、装置 | |
| CN110363182B (zh) | 基于深度学习的车道线检测方法 | |
| CN108510467B (zh) | 基于深度可变形卷积神经网络的sar图像目标识别方法 | |
| CN110675408A (zh) | 基于深度学习的高分辨率影像建筑物提取方法及系统 | |
| CN109815997A (zh) | 基于深度学习的识别车辆损伤的方法和相关装置 | |
| CN111695514B (zh) | 一种基于深度学习的雾天下车辆检测方法 | |
| CN109033950A (zh) | 基于多特征融合级联深度模型的车辆违停检测方法 | |
| CN113469278B (zh) | 一种基于深度卷积神经网络的强天气目标识别方法 | |
| CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| CN112861690A (zh) | 多方法融合的遥感影像变化检测方法及系统 | |
| CN108664939A (zh) | 一种基于hog特征与深度学习的遥感图像飞机识别方法 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN116543308A (zh) | 一种基于多模型融合的滑坡检测预警模型及预警方法 | |
| CN113139979A (zh) | 一种基于深度学习的边缘识别方法 | |
| CN117037004A (zh) | 基于多尺度特征融合和上下文增强的无人机影像检测方法 | |
| CN112560852A (zh) | 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法 | |
| CN111310566A (zh) | 一种静动态多特征融合的山火检测方法及系统 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
| CN115082668A (zh) | 遥感图像中感兴趣区域的筛选方法、装置、设备及介质 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN114463624A (zh) | 一种应用于城市管理监督的违章建筑物检测方法及装置 | |
| CN113870196A (zh) | 一种基于锚点切图的图像处理方法、装置、设备和介质 | |
| CN117218545A (zh) | 基于LBP特征与改进Yolov5的雷达图像检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |