CN112712535A - 基于模拟困难样本的Mask-RCNN滑坡分割方法 - Google Patents
基于模拟困难样本的Mask-RCNN滑坡分割方法 Download PDFInfo
- Publication number
- CN112712535A CN112712535A CN202110061924.2A CN202110061924A CN112712535A CN 112712535 A CN112712535 A CN 112712535A CN 202110061924 A CN202110061924 A CN 202110061924A CN 112712535 A CN112712535 A CN 112712535A
- Authority
- CN
- China
- Prior art keywords
- landslide
- image
- mask
- rcnn
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000011218 segmentation Effects 0.000 title claims abstract description 71
- 238000004088 simulation Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000011160 research Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 8
- 239000002689 soil Substances 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 239000003513 alkali Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000512668 Eunectes Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000011081 inoculation Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Abstract
本发明公开了一种基于模拟困难样本的Mask‑RCNN滑坡分割方法，包括步骤：获取研究区域的包含滑坡的遥感影像，对其进行预处理得到训练样本集；构建Mask‑RCNN模型；采用训练样本集对模型进行初步训练，更新模型中的权重；选取训练样本集中的若干标记样本进行模拟困难样本，得到对应的困难样本，再对初步训练后的模型进行训练；获取目标区域的遥感影像作为待测样本，预处理后输入滑坡分割模型，完成滑坡的分割识别。本发明不仅对道路、裸地等易混淆地物有着良好的识别能力，而且在实际研究区域滑坡样本难以满足模型训练要求的情况下，仍能取得较好的检测效果。
Description
技术领域
本发明涉及地质灾害识别技术领域，具体涉及一种基于模拟困难样本的Mask-RCNN滑坡分割方法，是一种遥感影像上滑坡的智能解译方法。
背景技术
地质灾害往往会带来巨大的经济损失、人员伤亡以及建筑设施的破坏。滑坡作为一种常见的地质灾害，在世界范围内具有危害性和损毁性大、易发性和突发性强的特点。不少学者利用合成孔径雷达干涉测量、全球导航卫星系统、激光雷达等技术，对滑坡开展了早期识别、隐患分析、监测预警等研究，并取得了较好的研究成果。但灾害发生后，尤其是面对重大地质灾害(如地震、海啸、洪水等)引发的大范围、分布广、数量众多的滑坡区域，如何快速精确地获取滑坡发生的位置、受灾范围等信息，对即将开展地应急救援工作具有重要指导意义。同时，进行滑坡风险评估、建模和制图时，获取所需滑坡数据费时费力，准确高效地识别滑坡并更新现有滑坡影像库，迄今为止仍是亟待解决的一项技术难题。
目前，利用遥感影像进行滑坡检测的主要方法有目视解译、基于像元、面向对象等。目视解译是遥感解译中最早使用的方法，该方法进行滑坡解译过于依赖专家经验，且需投入大量的时间和精力。基于像元的方法通过分析影像数据的光谱、空间信息，选取地物特征，按特定的方法将图像中的每一个像元进行分类。基于像元的方法主要分为监督分类和非监督分类。面向对象方法与基于像元的方法不同，它将临近范围区域内的像元作为最小的处理单位，可以有效的利用影像上目标物体的形状、纹理等空间特征。但面向对象方法阈值设定往往仅针对特定研究区域，其迁移性和可移植性还有待进一步完善。
随着机器学习在遥感影像处理中的运用日渐广泛，不同的机器学习方法如支持向量机，随机森林，深度学习等，已经和基于像元、面向对象等方法结合，成为滑坡识别新的有效方法。此外，DEM(数字高程模型)、坡度、坡向等地学数据也逐渐被运用到各种机器学习方法中，辅助参与滑坡的检测以提高滑坡检测的精度。由于深度学习技术在图像分类、目标检测、图像分割等领域取得了系列成就，不少学者开始考虑将深度学习技术应用到滑坡识别上来，将深度学习技术运用到滑坡检测上，可以实现大区域范围内滑坡的自动化检测，能较好地满足灾害的应急响应要。但利用深度学习模型检测滑坡，需要利用大量的滑坡数据进行模型训练，然而实际研究区域中，滑坡数量往往难以达到模型训练的数据量要求。概括来说，各种滑坡检测方法在面对与滑坡相近的地物如裸地、旱地、某些特殊人工建筑等，如何有效地避免对这些易混淆地物误判，始终是各种滑坡检测方法都会面临的一个棘手问题。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于模拟困难样本的Mask-RCNN(mask region-based convolutional networks)滑坡分割方法，不仅对道路、裸地等易混淆地物有着良好的识别能力，而且在实际研究区域滑坡样本难以满足模型训练要求的情况下，仍能取得较好的检测效果。
为了达到上述目的，本发明采用以下技术方案予以实现。
基于模拟困难样本的Mask-RCNN滑坡分割方法，包括以下步骤：
步骤1，获取研究区域的包含滑坡的遥感影像，对该遥感影像进行预处理，得到训练样本集；并构建Mask-RCNN模型；
步骤2，采用训练样本集对Mask-RCNN模型进行初步训练，更新Mask-RCNN模型中的权重，得到初步训练后的Mask-RCNN模型；
步骤3，选取训练样本集中的若干标记样本进行模拟困难样本，得到对应的困难样本，采用困难样本对初步训练后的Mask-RCNN模型进行训练，得到Mask-RCNN滑坡分割模型；
步骤4，获取目标区域的遥感影像作为待测样本，对待测样本进行预处理，得到预处理后的待测样本，采用Mask-RCNN滑坡分割模型对预处理后的待测样本进行滑坡分割，得到目标区域的滑坡区域，完成滑坡的分割识别。
进一步地，当所述训练样本集中的样本数量较少，即样本数不能使Mask-RCNN模型训练至损失函数收敛，还包括步骤：对训练样本集中的每个图像样本进行傅里叶变换，得到对应频域图像，训练样本集中的RGB图像样本和对应频域图像形成四通道训练样本；采用四通道训练样本对所述Mask-RCNN模型进行训练，得到四通道Mask-RCNN滑坡分割模型。
更进一步地，将所述四通道Mask-RCNN滑坡分割模型应用于步骤3中采用困难样本进行进一步训练，训练完成后再转入步骤4。
更进一步地，将所述四通道Mask-RCNN滑坡分割模型应用于直接应用于步骤4中对目标区域的遥感影像进行滑坡分割识别。
进一步地，所述对该遥感影像进行预处理，具体为：对遥感影像依次进行辐射矫正、几何矫正、正射矫正、影像融合、影像裁剪和去云去阴影操作；
所述影像融合为将同一地区的不同影像进行几何配准，即同名点配准再融合的过程；
所述影像剪裁为将一张影像的研究对象对应的区域进行剪裁，形成小范围的区域影像。
进一步地，所述训练样本集的获取过程为：
首先，设预处理后的影像大小为M×N，对预处理后的影像进行边缘填充，使填充后的影像的大小为滑动窗口大小的整数倍；
其次，采用滑动窗口将填充后的影像划分为若干个区域，每个区域对应一个图像样本；
最后，对每个图像样本中的目标及滑坡进行标记，所有图像样本形成训练样本集。
进一步地，所述Mask-RCNN模型包含特征提取网络ResNet、特征金字塔FPN、区域提取网络RPN和感兴趣区域匹配网络ROI Align。
进一步地，所述模拟困难样本具体为：对于标记标签的图像样本，寻找若干个与该滑坡对应的易混淆地物的特征图像，并将其作为滑坡检测背景，将该标记标签的图像样本与若干个易混淆地物的特征图像进行拼接，合成困难样本。
更进一步地，所述与该滑坡对应的易混淆地物具体为：
(1)根据滑坡图像样本的颜色特征：其对应的易混淆地物为与滑坡颜色相近的地物，具体为旱地或裸地；
(2)根据滑坡图像样本的形态特征：其对应的易混淆地物为形状呈漏斗状或舌状的地物；
(3)根据滑坡图像样本的光谱特性：当滑坡区域土壤类型为盐碱地时，其对应的易混淆地物为亮度高的人工建筑物。
进一步地，所述采用Mask-RCNN滑坡分割模型对预处理后的待测样本进行滑坡分割，具体过程为：
首先，由ResNet提取输入图像样本的特征，ResNet的网络结构包含5个不同的卷积模块，最后三个卷积模块形成残差块；输入图像样本经过ResNet的5个不同卷积模块的提取特征，得到5个不同尺寸的特征图，并将其输入FPN；
其次，FPN首先对上层特征图进行上采样，采样到与下一层相同的大小，并与下一层进行相加，得到一个融合好的新特征图像；
再次，RPN在融合好的新特征图像上设置滑动窗口，寻找滑坡目标区域，在滑坡目标区域输入ROI Align；ROI Align通过双线性插值方法，获得滑坡目标区域坐标框的四个点精确坐标；
最后，将ROI Align输出的特征图分别进行分类、回归和Mask生成，得到与滑坡对应的mask。
与现有技术相比，本发明的有益效果为：
(1)本发明通过利用深度学习Mask-RCNN模型，实现了大范围、分布广、数量众多的滑坡精细化地提取，对开展地应急救援工作、进行滑坡风险评估、建模和制图以及快速更新现有滑坡影像库具有重要指导意义。
(2)本发明的方法在面对与滑坡图像特征相近的地物如裸地、旱地、某些特殊人工建筑等，利用根据滑坡样本的特征，进行了模拟困难样本处理，提高了模型对困难样本的识别能力和在实际场景中的泛化能力。
(3)本发明针对实际研究区域，小样本滑坡数据的限制，利用频率域信息进行模型训练，对于Mask-RCNN模型训练，模型的精度仍得到了少量的提高。具有计算量小、检测速度快、易于硬件实现的特点。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明方法一种实施例的实现流程图；
图2为本发明方法另一种实施例的实现流程图；
图3为本发明实施例的三种不同类型的滑坡对应的困难样本图像；其中，(a)对应颜色相近的地物，(b)对应形状相似的地物，(c)亮度高的人工建筑物；
图4为本发明实施例的图像样本的频域变换流程图；
图5为本发明实施例的待测样本的Mask-RCNN滑坡分割过程；
图6为本发明实施例的滑坡分割识别结果图；其中，(a)滑坡原图，(b)分割识别结果；
图7为本发明实施例的不同算法的滑坡识别结果图；其中，(a)滑坡原图，(b)边缘检测分割，(c)迭代阈值分割，(d)数学形态学分割，(e)遗传算法分割，(f)本发明方法；
图8本发明实施例的不同算法的白格滑坡分割效果图；其中，(a)白格滑坡原图，(b)马尔科夫随机场分割结果，(c)支持向量机分割结果，(d)本发明分割结果。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
参考图1，本发明提供的一种基于模拟困难样本的Mask-RCNN滑坡分割方法，包括以下步骤：
步骤1，获取研究区域的包含滑坡的遥感影像，对该遥感影像进行预处理，得到训练样本集；并构建Mask-RCNN模型；
(1)对于研究区域的遥感影像进行预处理，具体为：对遥感影像依次进行辐射矫正、几何矫正、正射矫正、影像融合、影像裁剪和去云去阴影操作；
辐射矫正：对一切与辐射相关的误差进行校正，消除传感器本身飞行姿态不稳定带来的负面影响、大气传输过程中产生的误差以及形的辐射造成的干扰等，得到研究范围区域的真实反射率的数据。辐射矫正一般包含辐射定标和大气矫正两个主要部分内容。
几何矫正：遥感影像在成像过程中由于传感器产生的系统误差和大气折射、地形表面变化以及地球曲率引起遥感图像在几何位置上的变形，因此需要进行几何矫正。传感器在成像过程中，飞行姿态、高度不稳定会引起的系统误差，这种误差一般由遥感影像接受部门进行处理。由于受大气折射、地球曲率以及地形起伏变化造成的遥感影像相对地面产生了缩放、偏扭、弯曲平移、旋转等几何畸变，则需要进行精矫正和正射矫正处理。精矫正利用地面控制点与遥感影像上对应的同名像点进行影像校正，获取了经纬度信息而且消除了遥感影像的几何畸变。
正射矫正：利用DEM数据可对高程畸变进行纠正，正射矫正后的影像将获得高程信息。
影像融合：首先要进行几何配准，几何配准是将同一地区的两幅图像(数据)经过几何变换处理，使得同名像点完全重合。因为同一地区的两幅遥感影像，因为获取的时间、传感器不同，会导致同一地物在两幅影像上的位置不能完全叠合，因此在进行遥感影像融合前，必须先进行遥感影像的配准。融合并非单纯地将不同来源的遥感信息进行叠加，而是利用原来的数据源生成一副全新的影像，弥补单一影像数据的信息量不足，以便遥感数据得到更加充分的利用。最为常见的融合就是全色影像和多光谱影像的融合，新生成的影像同时获得了较高的影像分辨率和多光谱信息。
影像去云：通过各种渠道获得的遥感影像上，经常会出现云层。影像上方云层的出现，极大的阻碍了遥感地物识别，因此为了遥感影像后续的识别和解译工作，必须对云层进行处理。常用去除云层的方法有小波变换，同态滤波法，非监督分类等方法。同态滤波方法就是通过傅里叶变换，滤掉低频部分的云成分。小波分析方法将小波分解到多尺度，再去掉低频的云成分。
影像裁剪：由于遥感影像数据过大，且含有大量非目标检测地物，而在实际训练中，用于训练的则只是小部分目标地物。因此，在进行深度学习模型训练的时候，往往需要先裁剪出所需要研究的区域。
(2)假设预处理后的影像大小为M×N，；裁剪后影像大小为m×n，设定裁剪时滑动窗口大小为m*n，移动步长为m；对影像边缘进行填充处理，使得m和n分别能被M和N整除，避免影像剩余边角小于滑动窗口大小。以影像左下角为原点，影像的长为X轴，宽为Y轴，依次移动滑动窗口遍历整幅影像，对影像进行裁剪，每个窗口的影像为一个训练样本；
对裁剪后的遥感影像进行目标标记和格式转换，制作训练样本集。
(3)Mask-RCNN模型包含特征提取网络ResNet、特征金字塔FPN、区域提取网络RPN和感兴趣区域匹配网络ROIAlign。
步骤2，采用训练样本集对Mask-RCNN模型进行初步训练，更新Mask-RCNN模型中的权重，得到初步训练后的Mask-RCNN模型；
对Mask-RCNN模型中的所有权重进行随机初始化后，将训练样本集中的图像样本作为模型输入，设置最大迭代次数，采用随机梯度下降算法进行权重更新，得到更新权重的Mask-RCNN模型，即初步训练后的Mask-RCNN模型。
步骤3，选取训练样本集中的若干标记样本进行模拟困难样本，得到对应的困难样本，采用困难样本对初步训练后的Mask-RCNN模型进行训练，得到Mask-RCNN滑坡分割模型；
为了提高检测模型的精度和泛化能力，一般需更多地训练数据，不断增加深度学习的网络层数以获得更好地表现效果。通常检测背景的种类、数量、复杂程度远远高于待检测目标，因而本发明从增强检测背景的角度出发，将三张负样本数据与正样本数据进行拼接，旨在让模型学习到背景所包含的特征，明确非检测目标，从而有效地降低模型的误检测率。由于多数背景与滑坡差异较大，若只用大量简单易分的负样本去训练模型，会主导梯度更新方向和掩盖重要信息。因此，本发明根据滑坡和易混淆地物(裸地、农田、人工建筑等)的图像特征，选取了部分典型易混淆地物作为滑坡检测背景，合成困难样本，
(1)根据样本特征选取易混淆背景，进行困难样本制作；
1.1)根据样本的颜色特征：部分地物颜色与滑坡相近，如旱地、裸地较易与滑坡混淆；
1.2)根据样本的形态特征：部分地物呈漏斗状、舌状，与滑坡常见的形态特征较为相似；
1.3)根据样本的光谱特性：部分滑坡区域土壤类型为盐碱地，其对红、绿、蓝及红外等个波段的光均有较高的反射率，在合成彩色影像时呈现白色，这些白色的滑坡区域与很多人工建筑在图像亮度均比较高，易对模型识别滑坡造成干扰；
按照以上标准，模拟了三种模式下的困难样本，如图3所示，并将模拟得到的困难样本输入步骤2的初步训练后的模型，以提高模型对困难样本的识别能力。
参考图2，本发明的另一种实施例，具体滑坡检测案例研究中，研究地区的滑坡数量往往有限，难以满足深度学习模型训练的数据量要求。针对小样本滑坡数据的限制，本文利用频率域信息进行模型训练。首先对原始滑坡图像进行灰度化和二值化，然后在利用空间域信息训练的基础上，加入图像频率域信息进行Mask-RCNN模型训练。神经网络主要利用图像的空间域信息进行模型训练，通常需要将图像下采样到预定的神经网络输入大小。尽管下采样操作减少了模型计算量，但造成了图像有效信息的损失，导致精度下降。通过拓展输入图像的信息量，一定程度上弱化图像下采样带来的负面影响。因此，利用傅里叶函数将图像从空间域转换到频率域。最后，将频率域变换得到的图像和原图像一起输入Mask-RCNN深度模型进行训练，具体如图4所示。该方法可有效地利用图像的频率域信息，在适当减少样本输入量的情况下，使得模型精度受到的影响相对较小。
本发明的频率域转换可以直接用于原始训练样本，即替换步骤2和3；也可以加入步骤3，在步骤2的基础上进行与原始步骤3的困难样本同时训练。
步骤4，获取目标区域的遥感影像作为待测样本，对待测样本进行预处理，得到预处理后的待测样本，采用Mask-RCNN滑坡分割模型对预处理后的待测样本进行滑坡分割，得到目标区域的滑坡区域，完成滑坡的分割识别。
对待测样本进行步骤1中的预处理，再用前面步骤训练好的分割模型进行与处理后待测样本的滑坡分割，其具体过程为：
参考图5，首先由ResNet提取图像特征，其网络结构主要包含5个不同的卷积模块组成(Conv1，Conv2_x，Conv3_x，Conv4_x，Conv5_x)。Conv1通过一个普通的卷积层[7*7*64]，步长为2，对输入图片进行特征提取，并将尺寸缩小为原来的1/2；然后Conv2_x接上3*3的最大池化层，步长为2，缩小feature maps的尺寸，然后就送入残差块。残差块由1*1、3*3、1*1的三个卷积层构成，1*1卷积将图像大小从256*256降到64*64，再进行3*3的卷积，最后通过1*1卷积恢复图像大小。ResNet网络常用的网络结构有ResNet50和ResNet101两种，其两者差异在于Conv4_x中残差块数量不同。图像经过ResNet网络的5个不同卷积模块提取特征，得到5个不同尺寸的feature maps，并将其输入FPN网络。FPN网络充分利用了各个阶段提取得到的特征，首先对上层feature maps进行上采样，采样到与下一层相同的大小，并与下一层进行相加，从而得到一个融合好的新特征层。其次，RPN将融合得到的feature maps上设置滑动窗口，寻找滑坡目标区域。然后，在滑坡目标区域输入ROI Align。ROI Align通过双线性插值方法，精确表示了滑坡目标区域坐标框的四个点坐标。最后，将ROI Align输出的feature maps分别进行分类、回归和Mask生成。Mask分支将来自ROI Align 14*14的feature maps，通过4个3*3的卷积核卷积，以及一个反卷积，得到28*28大小的featuremaps，再使用1*1卷积得到n(目标类别数)个mask。本文运用Mask-RCNN进行滑坡分割，故目标类别数n为1。
仿真实验
本发明的效果可以通过以下一个具体实例进一步说明：
1、本文实验区域位于贵州省毕节市，毕节市地处亚热带，典型的亚热带季风气候，全年降水较为充足。同时，毕节市位于云贵该高原，地势上属于二三级阶梯交汇处，区域范围内海拔相对高差大。毕节市的地形和降水条件，为山体滑坡的孕育奠定了基础。本次实验使用的模型训练数据是由Ji等人[45]制作的贵州省毕节市滑坡数据http：// gpcv.whu.edu.cn/data/Bijie_pages.html，包括了滑坡影像及对应DEM数据和Mask掩膜，其中滑坡影像分辨率为0.8米，DEM分辨率为2米。本文先在毕节市滑坡数据集上进行模型的训练和测试，随后选取白格滑坡对模型检测效果进一步验证，地理位置为东经98°42′，北纬31°05′的白格滑坡区域如图8(a)所示。
本文实验硬件配置如下：处理器Intel(R)Core(TM)i7-8700K，运行内存64G，显卡型号NVIDIA RTX2080Ti。深度学习框架为Tensorflow，其它的主要辅助软件包括Pycharm、VC++、Anaconda、和Python。实验预处理时，切片大小设置为256*256，标签名称设置为landslide，实验数据集大约按照9∶1划分训练集和测试集。Mask-RCNN模型的训练代码可在https：//github.com/Jiang-CHD-YunNan/Mask_RCNN获得，实验设置了10个epochs，每个epochs迭代次数为1000次，初始学习率设置为0.001，权重衰减系数为0.005，动量因子为0.9，梯度裁剪系数为5。
本文利用毕节滑坡数据，对本文提出的基于模拟困难样本的Mask-RCNN及小样本下的频率域方法进行验证，并与(1)基于原始影像的Mask-RCNN模型、(2)进行数据增强的Mask-RCNN(加入了Mosaic数据增强的100个样本)对比，进一步证明提出方法的有效性。本文提出的基于模拟困难样本方法，结合了易混淆滑坡的样本特征，针对性地模拟了100个困难样本，并以原始影像训练得到模型作为初始权重，进行模型训练。
2、评价指标
混淆矩阵作为评价检测结果的基础指标，是计算各种评价指标的基础。混淆矩阵虽直观地统计了检测结果的个数，但难以精确地评价模型好坏，因此本文利用二级评价指标：精确率、召回率和准确度对模型进行进一步地评价。精确率反应的是检测为正样本的目标中正确的概率，召回率反应在所有正样本中正确识别的概率，准确度反应的是预测目标中预测正确的比例。
式中，TP表示实际为正样本，预测为正样本；FP表示实际为负样本，预测为正样本；FN表示实际为正样本，预测为负样本；TN表示实际为负样本，预测为负样本；
通常来讲，精确率高的时候召回率往往会偏低，召回率高的时候则精确率又往往偏低，只有在较为简单的数据集上，才可能精确率和召回率都会很高，为了综合地衡量检测模型的好坏，引进了F1 Score对模型进行评价：
式中，R代表的是召回率，P代表的是准确率。
本文在滑坡检测的同时实现了滑坡形状分割，为对分割结果进行合理评价，引入了平均像素准确率(MPA)和平均交并比指标(MIoU)，具体公式如下所示。MPA为每一预测类别正确的像素数占总像素数的比例，再累加求取平均值，反应分割模型的准确率。MIoU为每一类预测结果和真实掩膜之间交集与并集比的平均值。
式中，n为预测的类别数目，pii表示原本为i类预测为i类，pij表示原本为i类预测为j类，pji表示原本为j类预测为i类。
3、滑坡分割识别结果
本次实验测试一共为100张图片，其中包含50个滑坡正样本，50个滑坡负样本，其滑坡分割识别结果展示如图6所示，各种检测方法对比如表1和图6所示。在表1中，TP为50个滑坡中正确检测个数，FP为50个滑坡中漏检个数，FN为50个非滑坡中的误判个数，TN为50个非滑坡正确检测的个数。
表1各方法的检测结果
从表1可以看出，本文提出的模拟困难样本的Mask-RCNN方法准确率、F1分数均高于其他各种方法。利用原图片对滑坡检测准确率较高，但同时易将非滑坡样本误判为滑坡，误判率较高。经Mosaic数据增强补充背景信息之后，召回率和检测精度有明显提升，误检率也有明显下降，模型综合评价指标F1 Score提高10％左右。此外，本文在Mosaic数据增强的基础上进行模拟困难样本，模型性能得到了进一步地提升，与原图片数据输入模型训练相比，F1 Score提高约20％，达到94.12％，模型检测精度为92.31％，召回率为96％，准确率为94％。同时，与利用原图片进行模型训练相比，本发明的利用频率域转换学习方法，在一半数据输入量的情况下，模型的综合评价指标F1 Score仍实现了少量的提升，这对降低数据输入量具有积极意义。
在滑坡形状分割方面，以上各种方法均取得了较好地效果。50副滑坡图像分割的MPA达到了90.3％，MIOU达到82.2％，整体分割效果较好。将本文基于模拟困难样本的Mask-RCNN滑坡分割方法与传统方法：(1)边缘检测分割、(2)迭代阈值分割、(3)数学形态学方法、(4)遗传算法分割进行比较，具体如图7所示。可以看到，本文方法分割滑坡具有显著优势：第一，滑坡形状分割较为完整，有效地避免了碎屑地产生。第二，能较好与滑坡光谱信息相似的地物区分开来。在本实验中，道路的颜色几乎是滑坡区域一致的，但利用深度学习Mask-RCNN模型仍能较好地将其区分开来。
为了测试本文方法在实际研究区域的有效性和适应性，选取西藏白格滑坡实际区域对基于毕节市数据集训练好的模型进行验证，结果如图8所示。与支持向量机、马尔科夫随机场机器学习方法对比，利用本发明的Mask-RCNN模型在滑坡分割形完整程度方面具有明显优势。此外，在新的研究区域，基于毕节市数据集训练的Mask-RCNN模型仍具有较好的分割识别效果。面向对象方法在不同研究区域下，需要重新选择阈值，而本文方法检测滑坡无需阈值选择，自动化程度高，具有更好的鲁棒性。
综合以上结果，与直接利用滑坡图像相比，本发明利用基于模拟困难样本的Mask-RCNN方法滑坡误检率降低了30.0％，F1 Score提高了18.2％；本发明的小样本下的频率域学习方法，仅在一半数据输入量的情况下，模型检测精度仍得到了提升；本文利用Mask-RCNN深度学习模型进行滑坡检测的同时，实现了滑坡形状像素级的分割，滑坡检测准确率达到94.0％，像素分割平均准确率达到了90.3％。同时，从滑坡分割的结果来看，利用Mask-RCNN深度学习模型分割滑坡，效果优于传统图像分割方法，且与面向对象方法相比，本文方法检测滑坡具有更好的鲁棒性。
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，包括以下步骤：
步骤1，获取研究区域的包含滑坡的遥感影像，对该遥感影像进行预处理，得到训练样本集；并构建Mask-RCNN模型；
步骤2，采用训练样本集对Mask-RCNN模型进行初步训练，更新Mask-RCNN模型中的权重，得到初步训练后的Mask-RCNN模型；
步骤3，选取训练样本集中的若干标记样本进行模拟困难样本，得到对应的困难样本，采用困难样本对初步训练后的Mask-RCNN模型进行训练，得到Mask-RCNN滑坡分割模型；
步骤4，获取目标区域的遥感影像作为待测样本，对待测样本进行预处理，得到预处理后的待测样本，采用Mask-RCNN滑坡分割模型对预处理后的待测样本进行滑坡分割，得到目标区域的滑坡区域，完成滑坡的分割识别。
2.根据权利要求1所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，当所述训练样本集中的样本数量较少，即样本数不能使Mask-RCNN模型训练至损失函数收敛，还包括步骤：对训练样本集中的每个图像样本进行傅里叶变换，得到对应频域图像，训练样本集中的RGB图像样本和对应频域图像形成四通道训练样本；采用四通道训练样本对所述Mask-RCNN模型进行训练，得到四通道Mask-RCNN滑坡分割模型。
3.根据权利要求2所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，将所述四通道Mask-RCNN滑坡分割模型应用于步骤3中采用困难样本进行进一步训练，训练完成后再转入步骤4。
4.根据权利要求2所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，将所述四通道Mask-RCNN滑坡分割模型应用于直接应用于步骤4中对目标区域的遥感影像进行滑坡分割识别。
5.根据权利要求1所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，所述对该遥感影像进行预处理，具体为：对遥感影像依次进行辐射矫正、几何矫正、正射矫正、影像融合、影像裁剪和去云去阴影操作；其中，所述影像融合为将同一地区的不同影像进行几何配准，即同名点配准再融合的过程；所述影像剪裁为将一张影像的研究对象对应的区域进行剪裁，形成小范围的区域影像。
6.根据权利要求1所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，所述训练样本集的获取过程为：
首先，设预处理后的影像大小为M×N，对预处理后的影像进行边缘填充，使填充后的影像的大小为滑动窗口大小的整数倍；
其次，采用滑动窗口将填充后的影像划分为若干个区域，每个区域对应一个图像样本；
最后，对每个图像样本中的目标及滑坡进行标记，所有图像样本形成训练样本集。
7.根据权利要求1所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，所述Mask-RCNN模型包含特征提取网络ResNet、特征金字塔FPN、区域提取网络RPN和感兴趣区域匹配网络ROI Align。
8.根据权利要求1所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，所述模拟困难样本具体为：对于标记标签的图像样本，寻找若干个与该滑坡对应的易混淆地物的特征图像，并将其作为滑坡检测背景，将该标记标签的图像样本与若干个易混淆地物的特征图像进行拼接，合成困难样本。
9.根据权利要求8所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，所述与该滑坡对应的易混淆地物具体为：
(1)根据滑坡图像样本的颜色特征：其对应的易混淆地物为与滑坡颜色相近的地物，具体为旱地或裸地；
(2)根据滑坡图像样本的形态特征：其对应的易混淆地物为形状呈漏斗状或舌状的地物；
(3)根据滑坡图像样本的光谱特性：当滑坡区域土壤类型为盐碱地时，其对应的易混淆地物为亮度高的人工建筑物。
10.根据权利要求1-9任一项所述的基于模拟困难样本的Mask-RCNN滑坡分割方法，其特征在于，所述采用Mask-RCNN滑坡分割模型对预处理后的待测样本进行滑坡分割，具体过程为：
首先，由ResNet提取输入图像样本的特征，ResNet的网络结构包含5个不同的卷积模块，最后三个卷积模块形成残差块；输入图像样本经过ResNet的5个不同卷积模块的提取特征，得到5个不同尺寸的特征图，并将其输入FPN；
其次，FPN首先对上层特征图进行上采样，采样到与下一层相同的大小，并与下一层进行相加，得到一个融合好的新特征图像；
再次，RPN在融合好的新特征图像上设置滑动窗口，寻找滑坡目标区域，在滑坡目标区域输入ROI Align；ROI Align通过双线性插值方法，获得滑坡目标区域坐标框的四个点精确坐标；
最后，将ROI Align输出的特征图分别进行分类、回归和Mask生成，得到与滑坡对应的mask。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110061924.2A CN112712535B (zh) | 2021-01-18 | 2021-01-18 | 基于模拟困难样本的Mask-RCNN滑坡分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110061924.2A CN112712535B (zh) | 2021-01-18 | 2021-01-18 | 基于模拟困难样本的Mask-RCNN滑坡分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112712535A true CN112712535A (zh) | 2021-04-27 |
| CN112712535B CN112712535B (zh) | 2024-03-22 |
Family
ID=75549252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110061924.2A Active CN112712535B (zh) | 2021-01-18 | 2021-01-18 | 基于模拟困难样本的Mask-RCNN滑坡分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712535B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192086A (zh) * | 2021-05-11 | 2021-07-30 | 中国自然资源航空物探遥感中心 | 地质灾害隐患变形强度分布图的生成方法和存储介质 |
| CN113283382A (zh) * | 2021-06-15 | 2021-08-20 | 合肥工业大学 | 一种井下管道泄漏场景描述方法和装置 |
| CN113570627A (zh) * | 2021-07-02 | 2021-10-29 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
| CN113989255A (zh) * | 2021-11-05 | 2022-01-28 | 中国地质大学（北京） | 基于Mask-RCNN的地铁隧道衬砌脱落识别模型训练方法和识别方法 |
| CN114677541A (zh) * | 2022-03-23 | 2022-06-28 | 成都智元汇信息技术股份有限公司 | 一种基于目标提取黏合样本集的方法及系统 |
| CN114913424A (zh) * | 2022-05-27 | 2022-08-16 | 长江水利委员会长江科学院 | 一种基于改进的U-net模型的崩岗提取方法及系统 |
| CN116030353A (zh) * | 2023-03-29 | 2023-04-28 | 成都大学 | 一种基于卷积神经网络的滑坡灾害自动识别方法 |
| CN116597287A (zh) * | 2023-07-17 | 2023-08-15 | 云南省交通规划设计研究院有限公司 | 一种基于深度学习方法的遥感影像滑坡识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| JP2020060078A (ja) * | 2018-10-12 | 2020-04-16 | 日本信号株式会社 | 土砂崩落の発生時刻を推定するシステム |
| CN111553303A (zh) * | 2020-05-07 | 2020-08-18 | 武汉大势智慧科技有限公司 | 基于卷积神经网络的遥感正射影像密集建筑物提取方法 |
| CN111626269A (zh) * | 2020-07-07 | 2020-09-04 | 中国科学院空天信息创新研究院 | 一种实用的大空间范围滑坡提取方法 |
-
2021
- 2021-01-18 CN CN202110061924.2A patent/CN112712535B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| JP2020060078A (ja) * | 2018-10-12 | 2020-04-16 | 日本信号株式会社 | 土砂崩落の発生時刻を推定するシステム |
| CN111553303A (zh) * | 2020-05-07 | 2020-08-18 | 武汉大势智慧科技有限公司 | 基于卷积神经网络的遥感正射影像密集建筑物提取方法 |
| CN111626269A (zh) * | 2020-07-07 | 2020-09-04 | 中国科学院空天信息创新研究院 | 一种实用的大空间范围滑坡提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李勋;杨环;殷宗敏;马金辉;: "基于DEM和遥感影像的区域黄土滑坡体识别方法研究", 地理与地理信息科学, no. 04 * |
| 闫琦;李慧;荆林海;唐韵玮;丁海峰;: "结合显著性检测和超像素分割的遥感信息提取算法研究", 计算机应用研究, no. 07 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192086A (zh) * | 2021-05-11 | 2021-07-30 | 中国自然资源航空物探遥感中心 | 地质灾害隐患变形强度分布图的生成方法和存储介质 |
| CN113192086B (zh) * | 2021-05-11 | 2022-01-28 | 中国自然资源航空物探遥感中心 | 地质灾害隐患变形强度分布图的生成方法和存储介质 |
| CN113283382A (zh) * | 2021-06-15 | 2021-08-20 | 合肥工业大学 | 一种井下管道泄漏场景描述方法和装置 |
| CN113570627A (zh) * | 2021-07-02 | 2021-10-29 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
| CN113570627B (zh) * | 2021-07-02 | 2024-04-16 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
| CN113989255A (zh) * | 2021-11-05 | 2022-01-28 | 中国地质大学（北京） | 基于Mask-RCNN的地铁隧道衬砌脱落识别模型训练方法和识别方法 |
| CN114677541A (zh) * | 2022-03-23 | 2022-06-28 | 成都智元汇信息技术股份有限公司 | 一种基于目标提取黏合样本集的方法及系统 |
| CN114677541B (zh) * | 2022-03-23 | 2023-04-28 | 成都智元汇信息技术股份有限公司 | 一种基于目标提取黏合样本集的方法及系统 |
| CN114913424A (zh) * | 2022-05-27 | 2022-08-16 | 长江水利委员会长江科学院 | 一种基于改进的U-net模型的崩岗提取方法及系统 |
| CN116030353A (zh) * | 2023-03-29 | 2023-04-28 | 成都大学 | 一种基于卷积神经网络的滑坡灾害自动识别方法 |
| CN116030353B (zh) * | 2023-03-29 | 2023-05-30 | 成都大学 | 一种基于卷积神经网络的滑坡灾害自动识别方法 |
| CN116597287A (zh) * | 2023-07-17 | 2023-08-15 | 云南省交通规划设计研究院有限公司 | 一种基于深度学习方法的遥感影像滑坡识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112712535B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112712535B (zh) | 基于模拟困难样本的Mask-RCNN滑坡分割方法 | |
| CN110136170B (zh) | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN111738144B (zh) | 一种基于Google Earth Engine云平台的地表水体产品生成方法和系统 | |
| CN107918776B (zh) | 一种基于机器视觉的用地规划方法、系统及电子设备 | |
| KR100678395B1 (ko) | 위성영상과 항공영상을 이용한 지리정보 데이터의 실시간위치보정 시스템 및 그 방법 | |
| Hormese et al. | Automated road extraction from high resolution satellite images | |
| CN113033670A (zh) | 一种基于Sentinel-2A/B数据的水稻种植面积提取方法 | |
| CN113887515A (zh) | 一种基于卷积神经网络的遥感滑坡识别方法及系统 | |
| CN115236655B (zh) | 基于全极化sar的滑坡识别方法、系统、设备及介质 | |
| CN112101309A (zh) | 基于深度学习分割网络的地物目标识别方法和装置 | |
| CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
| CN109308451A (zh) | 一种高分数据信息提取系统及方法 | |
| CN114494851A (zh) | 一种基于多时相遥感影像差异信息的滑坡提取方法 | |
| Singh et al. | Detection of 2011 Sikkim earthquake-induced landslides using neuro-fuzzy classifier and digital elevation model | |
| WO2023099665A1 (en) | Method for near real-time flood detection at large scale in a geographical region covering both urban areas and rural areas and associated computer program product | |
| Rizayeva et al. | Large-area, 1964 land cover classifications of Corona spy satellite imagery for the Caucasus Mountains | |
| Cömert et al. | Rapid mapping of forested landslide from ultra-high resolution unmanned aerial vehicle data | |
| De la Cruz et al. | Near-realtime flood detection from multi-temporal sentinel radar images using artificial intelligence | |
| CN116486282A (zh) | 一种基于深度学习的数字高程模型制作方法及系统、电子设备、存储介质 | |
| Lemenkova | Object based image segmentation algorithm of SAGA GIS for detecting urban spaces in yaoundé, Cameroon | |
| Fan et al. | An improved Deeplab based model for extracting cultivated land information from high definition remote sensing images | |
| Vibha et al. | Robust technique for segmentation and counting of trees from remotely sensed data | |
| Loghin et al. | Supervised classification and its repeatability for point clouds from dense VHR tri-stereo satellite image matching using machine learning | |
| Khodaverdi zahraee et al. | Object-oriented analysis of satellite images using artificial neural networks for post-earthquake buildings change detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |