CN112418033A - 基于mask rcnn神经网络的滑坡坡面分割识别方法 - Google Patents

基于mask rcnn神经网络的滑坡坡面分割识别方法 Download PDF

Info

Publication number
CN112418033A
CN112418033A CN202011258659.9A CN202011258659A CN112418033A CN 112418033 A CN112418033 A CN 112418033A CN 202011258659 A CN202011258659 A CN 202011258659A CN 112418033 A CN112418033 A CN 112418033A
Authority
CN
China
Prior art keywords
data
picture
landslide
mask
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011258659.9A
Other languages
English (en)
Other versions
CN112418033B (zh
Inventor
刘翔
邱汉彬
谢坤伦
伍鸿健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Linkcm Technology Co ltd
Original Assignee
Guangzhou Linkcm Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Linkcm Technology Co ltd filed Critical Guangzhou Linkcm Technology Co ltd
Priority to CN202011258659.9A priority Critical patent/CN112418033B/zh
Publication of CN112418033A publication Critical patent/CN112418033A/zh
Application granted granted Critical
Publication of CN112418033B publication Critical patent/CN112418033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于mask rcnn神经网络的滑坡坡面分割识别方法及装置，将遥感图片输入到训练后的神经网络模型中，通过神经网络模型自动识别出遥感图片中是否存在滑坡，达到高效、快速的查找出滑坡区域的目的；并在识别存在出滑坡之后，将图像上的滑坡区域标示出来，便于操作人员及时发现滑坡所处位置。

Description

基于mask rcnn神经网络的滑坡坡面分割识别方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于mask rcnn神经网络的滑坡坡面分割识别方法及装置。
背景技术
泥石流大多产生于出现滑坡的山体，因此提前发现并治理山体的滑坡是防范泥石流的关键因素。如果通过人力逐个山区寻找滑坡，费时费力并且效率不高，可行性低。现有技术中，通过遥感摄像技术可以获取大量山体的图像，然而通过人力观测遥感图像来发现滑坡的方案中，由于人的精力有限、查找速度慢等问题，查找滑坡的效率也不高。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于maskrcnn神经网络的滑坡坡面分割识别方法及装置，将遥感图片输入到训练后的神经网络模型中，通过神经网络模型自动识别出遥感图片中是否存在滑坡，达到高效、快速的查找出滑坡区域的目的；并在识别存在出滑坡之后，将图像上的滑坡区域标示出来，便于操作人员及时发现滑坡所处位置。
第一方面，本发明实施例提供一种基于mask rcnn神经网络的滑坡坡面分割识别方法，所述方法包括：
获取待识别图片；其中，所述待识别图片包括遥感图像；
使用图像识别模型对待识别图片进行分析，确定是否存在滑坡区域；其中，所述图像识别模型为使用多组数据对初始模型进行训练得到的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括滑坡区域的图片和标识该图片包括滑坡区域的标签；第二类数据中的每组数据均包括：不包括滑坡区域的图片和标识该图片不包括滑坡区域的标签；
当所述待识别图片存在滑坡区域的情况时，在所述待识别图片上标示出所述滑坡区域。
在一个实施例中，在使用多组数对初始模型进行训练之前，所述方法还包括：
将第一类数据中的每组数据的图片从RGB格式转换为BGR格式。
在一个实施例中，所述初始模型为Mask R-CNN，在使用多组数对初始模型完成至少一次训练之后，所述方法还包括：
获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
对第一类数据中的每组数据的图片及其对应的二值掩膜进行尺寸调整，并将调整尺寸后的二值掩膜作为该组数据调整尺寸后的图片的标签，生成包括多组数据的第三类数据；
利用第三类数据对初始模型继续进行训练，以获得图像识别模型。
在一个实施例中，所述初始模型为Mask R-CNN，在使用多组数对初始模型完成至少一次训练之后，所述方法还包括：
获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
对第一类数据中的每组数据的图片及其对应的二值掩膜进行图像翻转处理，并将翻转处理后的二值掩膜作为该组数据翻转处理后的图片的标签，生成包括多组数据的第四类数据；
利用第四类数据对初始模型继续进行训练，以获得图像识别模型。
在一个实施例中，所述在所述待识别图片上标示出所述滑坡区域，具体包括：
将所述待识别图片上的滑坡区域进行高亮显示；或
在所述待识别图片上标示出所述滑坡区域的轮廓。
在一个实施例中，所述使用图像识别模型对待识别图片进行分析，具体包括：
获取遥感视频；
提取所述遥感视频的帧图像；
逐帧将所述帧图像作为所述待识别图片输入到所述图像识别模型进行分析。
在一个实施例中，在提取所述遥感视频的帧图像的步骤之后，并在逐帧将所述帧图像作为所述待识别图片输入到所述图像识别模型进行分析的步骤之前，还包括以下步骤：
将提取得到的遥感视频的帧图像从RGB格式转换为BGR格式。
第二方面，本发明实施例提供一种基于mask rcnn神经网络的滑坡坡面分割识别装置，包括：
图片获取模块，用于获取待识别图片；其中，所述待识别图片包括遥感图像；
滑坡识别模块，用于使用图像识别模型对待识别图片进行分析，确定是否存在滑坡区域；其中，所述图像识别模型为使用多组数据对初始模型进行训练得到的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括滑坡区域的图片和标识该图片包括滑坡区域的标签；第二类数据中的每组数据均包括：不包括滑坡区域的图片和标识该图片不包括滑坡区域的标签；
可视化处理模块，用于当所述待识别图片存在滑坡区域的情况时，在所述待识别图片上标示出所述滑坡区域。
在一个实施例中，所述装置还包括：
格式转换模块，用于将第一类数据中的每组数据的图片从RGB格式转换为BGR格式。
在一个实施例中，所述初始模型为Mask R-CNN，所述装置还包括：
第一获取模块，用于获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
第三类数据生成模块，用于对第一类数据中的每组数据的图片及其对应的二值掩膜进行尺寸调整，并将调整尺寸后的二值掩膜作为该组数据调整尺寸后的图片的标签，生成包括多组数据的第三类数据；
第三训练模块，用于利用第三类数据对初始模型继续进行训练，以获得图像识别模型。
在一个实施例中，所述初始模型为Mask R-CNN，所述装置还包括：
第二获取模块，用于获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
第四类数据生成模块，用于对第一类数据中的每组数据的图片及其对应的二值掩膜进行图像翻转处理，并将翻转处理后的二值掩膜作为该组数据翻转处理后的图片的标签，生成包括多组数据的第四类数据；
第四训练模块，用于利用第四类数据对初始模型继续进行训练，以获得图像识别模型。
在一个实施例中，所述可视化处理模块还用于：
将所述待识别图片上的滑坡区域进行高亮显示；或
在所述待识别图片上标示出所述滑坡区域的轮廓。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的基于mask rcnn神经网络的滑坡坡面分割识别方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述任一项所述的基于mask rcnn神经网络的滑坡坡面分割识别方法。
相较于现有技术，本发明提供的基于mask rcnn神经网络的滑坡坡面分割识别方法及装置至少具有以下有益效果：
1.将遥感图片输入到训练后的神经网络模型中，通过神经网络模型自动识别出遥感图片中是否存在滑坡，达到高效、快速的查找出滑坡区域的目的。
2.在识别存在出滑坡之后，将图像上的滑坡区域标示出来，便于操作人员及时发现滑坡所处位置。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1为一个实施例中基于mask rcnn神经网络的滑坡坡面分割识别方法的流程示意图。
图2为一个实施例中基于mask rcnn神经网络的滑坡坡面分割识别装置的结构框图。
图3为一个实施例中基于mask rcnn神经网络的滑坡坡面分割识别方法进行模型训练的流程示意图。
图4为一个实施例中基于mask rcnn神经网络的滑坡坡面分割识别方法进行模型预测的流程示意图。
图5为一个实施例中初始模型使用的Mask R-CNN架构框图。
图6为另一个实施例中图像识别模型使用的Softmax损失函数的示意图。
图7为一个实施例中模型训练时使用的第一类数据中的一张包括滑坡区域的图片。
图8为图7对应的二值掩膜(mask)图像。
图9为图7调节尺寸后生成的第三类数据中的一张包括滑坡区域的图片。
图10为调整尺寸后的与图9对应的二值掩膜(mask)图像。
图11为图7进行翻转处理后生成的第四类数据中的一张包括滑坡区域的图片。
图12为翻转处理后与图11对应的二值掩膜(mask)图像。
图13为一个实施例中的待识别图片。
图14是利用图像识别模型对图13的识别结果效果图。
图15为一个实施例中计算机设备的结构框图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
下面，将通过几个具体的实施例对本发明实施例提供的基于mask rcnn神经网络的滑坡坡面分割识别方法进行详细介绍和说明。
如图1所示，在一个实施例中，提供了一种基于mask rcnn神经网络的滑坡坡面分割识别方法。本实施例主要以该方法应用于计算机设备来举例说明。
参照图1，该基于mask rcnn神经网络的滑坡坡面分割识别方法具体包括如下步骤：步骤S101、步骤S102、和步骤S103。其中，
步骤S101：计算机获取待识别图片；其中，所述待识别图片包括遥感图像。
步骤S102：计算机使用图像识别模型对待识别图片进行分析，确定是否存在滑坡区域；其中，所述图像识别模型为使用多组数据对初始模型进行训练得到的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括滑坡区域的图片和标识该图片包括滑坡区域的标签；第二类数据中的每组数据均包括：不包括滑坡区域的图片和标识该图片不包括滑坡区域的标签。
如图5和图6所示，本发明实施例中，采用的神经网络为Mask R-CNN架构。其中，该神经网络的网络骨干有ResNet50和ResNet100两种，ResNet100比ResNet50的网络层构和参数都更复杂一些，所以ResNet100的特征提取学习能力会更强，用ResNet100网络骨干来训练得到的模型精度会更高。图片数据Input输入到ResNet50或ResNet100 backbone网络骨干中，会进行一个Feature Maps的过程，之后再经过RPN网络中进行卷积运算，其中用到了Softmax损失函数和bbox reg，得到的Proposals之后会进行RoI Align运算，在FullyConvolution Nets有很多layers，在模型训练的时候可以选择header layers或一部分layers或all layers，选择不同的layers训练效果都会不一样，当然选择all layers的训练效果是最好的，但是layers越多模型训练的资源占用消耗会越多。模型经过特征提取学习后会输出一个掩膜mask、Coordinates和对应的Category类别，掩膜mask对应的是对应类别的所有像素点的坐标集合。
对于初始模型的训练，首先在使用多组数对初始模型进行训练之前，将第一类数据中的每组数据的图片从RGB格式转换为BGR格式。
然后，为了使得这些数据更合适模型训练，也为了提升训练数据的样本量，在使用多组数对初始模型完成至少一次训练之后，所述方法还包括：
步骤301：获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜(mask)；
步骤302：对第一类数据中的每组数据的图片及其对应的二值掩膜进行尺寸调整，并将调整尺寸后的二值掩膜作为该组数据调整尺寸后的图片的标签，生成包括多组数据的第三类数据；
第一类数据中每组数据的图片是通过人工标注获得标签的，例如，通过Labelme软件对第一类数据中的图片进行标注，通过标注工具，每一张图片将建立对应的JSON文件，记录图片中滑坡区域对应的标签，以及滑坡区域对应的像素点在图片中的具体坐标等信息。
由于在对第一类数据中的图片进行大小缩放调整尺寸后，调整尺寸后的图片中的滑坡区域的像素点的具体坐标发生改变，本实施例采用同步将图片对应的二值掩膜(mask)也进行相同尺寸的缩放，来获取图片调整尺寸后其中滑坡区域对应像素点的具体坐标，因此不需要再次进行人工标注，加快了模型训练的效率。
步骤303：利用第三类数据对初始模型继续进行训练，以获得图像识别模型。
通过调整图片尺寸加快了模型训练速度，同时由于增加了训练数据的数据量，也进一步提高模型分类识别的精度。
优选的，为了提高训练数据的数据量，进一步提高模型识别的准确度，在使用多组数对初始模型完成至少一次训练之后，所述方法还包括：
步骤401：获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
步骤402：对第一类数据中的每组数据的图片及其对应的二值掩膜进行图像翻转处理，并将翻转处理后的二值掩膜作为该组数据翻转处理后的图片的标签，生成包括多组数据的第四类数据；
需要说明的是，通过翻转处理来扩充训练数据量时，本实施例不需要重新对翻转处理后的图片重新人工标注，而是直接利用初始模型训练处理的mask进行相应的翻转处理，从而加快了训练的效率。
步骤403：利用第四类数据对初始模型继续进行训练，以获得图像识别模型。
本实施例中，通过扩充训练数据的数量提高了模型识别的准确度。
步骤S103：计算机当所述待识别图片存在滑坡区域的情况时，在所述待识别图片上标示出所述滑坡区域。
作为一个示例，所述使用图像识别模型对待识别图片进行分析，具体包括：
步骤501：获取遥感视频；
步骤502：提取所述遥感视频的帧图像；
步骤503：逐帧将所述帧图像作为所述待识别图片输入到所述图像识别模型进行分析。
本实施例中，为了提高发现滑坡的几率，直接对遥感相机拍摄的遥感视频的所有帧图像进行处理，可以实现24小时持续不间断的监控，提高了及时发现滑坡的几率。
在一个实施例中，在提取所述遥感视频的帧图像的步骤之后，并在逐帧将所述帧图像作为所述待识别图片输入到所述图像识别模型进行分析的步骤之前，还包括以下步骤：
将提取得到的遥感视频的帧图像从RGB格式转换为BGR格式。
本实施例中，待识别图片经过图像识别模型的识别，识别模型会输出与待识别图片对应的mask，通过该mask可以确定待识别图片上被判定为滑坡区域的所有像素点的坐标，根据这些坐标在待识别图片上表示出滑坡区域，便于操作人员及时定位到滑坡位置。
具体的，所述在所述待识别图片上标示出所述滑坡区域，具体包括：
将所述待识别图片上的滑坡区域进行高亮显示；或
在所述待识别图片上标示出所述滑坡区域的轮廓。
参照图3和图4，在一个优选的实施例中，提供了一种基于mask rcnn神经网络的滑坡坡面分割识别方法。由于滑坡识别使用了人工智能识别的深度学习模型，所以整个智能识别滑坡过程主要分为两大部分，一部分为模型训练，一部分为模型预测。模型训练又分为图片转化RGB图、提取图片的mask、图片大小缩放、mask大小缩放、图片翻转增强、mask翻转增强六大模块，模型预测分为图片预处理、滑坡识别分割两大模块，视频帧提取、图片转化RGB图、滑坡特征提取、图片分割可视化四小模块。
在进行模型训练时，包括以下步骤：
1.如图7所示，将该图片转化为BGR图片：对输入模型训练的图片进行预处理，将图片的RGB图片转化为BGR图片
2.如图8所示，提取图片的mask：滑坡智能识别采用了图片分割来识别，所以训练的每张图片中都会存在着mask掩膜，mask掩膜相当于训练图片的标签。
3.如图9所示，图片大小缩放：对训练图片进行一定范围的大小缩放，使其更适合模型的训练。缩放使用双线性插值的方式，填充padding模式有“square”、“pad64”、“crop”，默认为“square”。
4.如图10所示，mask大小缩放：mask的缩放方式同图片的缩放完全一致，因为mask相当于图片的分类分割标签，缩放不一致的话，神经网络就不能真正的提取到滑坡的特征进行学习，训练的结果都是错误的了。
5.如图11所示，图片翻转增强：图片翻转属于图像增强的一种技术，其包括有水平翻转、竖直翻转等，目的就是通过对图片的改变，增加图片样本的多样性，从而增强模型的泛化能力。
6.如图12所示，mask翻转增强：mask是图片的标签，图片进行了翻转增强，要使标签跟原图片一致，所以mask也要进行同等变化的翻转增强。
在进行模型预测时，包括以下步骤：
7.如图12所示，视频帧提取：对传入要分析的遥感滑坡视频，提取其每一帧图像信息，然后以图片分析的方法逐帧对遥感视频智能分析。
8.图片转化RGB图：对输入模型预测的图片进行预处理，将图片的RGB图片转化为BGR图片，方便模型的预测。
9.滑坡特征提取：当输入图片时，提前训练好的滑坡模型就会对图片进行滑坡的特征提取，从而识别出图片中的滑坡。
10.如图14所示，图片分割可视化：将图片输入模型智能识别得到的输出结果只是一串数值，不能直观的让人看出什么，所以将结果可视化(将滑坡区域标示出来)，让人简单快速的看到滑坡的识别分割很有必要了。
需要说明的是，模型的训练数据除了可水平翻转数据增强外，还可以进行竖直翻转增强、模型数据增强等；可分析的视频除接入的实时遥感视频外，也可手动传入离线遥感视频进行分析；输出格式不仅限于mp4、jpg、txt、json等；对滑坡分割可视化中的滑坡填充方式、分类命名可修改。
概括的说，本实施例中提供的滑坡识别方法减少了人工去查看遥感视频寻找滑坡的时间成本，解放了更多的人力，减少漏发现滑坡的情况出现、提高了查找滑坡的效率。
如图2所示，在一个实施例中，提供了一种基于mask rcnn神经网络的滑坡坡面分割识别装置。参照图2，该基于mask rcnn神经网络的滑坡坡面分割识别装置包括：图片获取模块、滑坡识别模块、可视化处理模块。
图片获取模块，用于获取待识别图片；其中，所述待识别图片包括遥感图像；
滑坡识别模块，用于使用图像识别模型对待识别图片进行分析，确定是否存在滑坡区域；其中，所述图像识别模型为使用多组数据对初始模型进行训练得到的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括滑坡区域的图片和标识该图片包括滑坡区域的标签；第二类数据中的每组数据均包括：不包括滑坡区域的图片和标识该图片不包括滑坡区域的标签；
可视化处理模块，用于当所述待识别图片存在滑坡区域的情况时，在所述待识别图片上标示出所述滑坡区域。
在一个实施例中，所述装置还包括：
格式转换模块，用于将第一类数据中的每组数据的图片从RGB格式转换为BGR格式。
在一个实施例中，所述初始模型为Mask R-CNN，所述装置还包括：
第一获取模块，用于获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
第三类数据生成模块，用于对第一类数据中的每组数据的图片及其对应的二值掩膜进行尺寸调整，并将调整尺寸后的二值掩膜作为该组数据调整尺寸后的图片的标签，生成包括多组数据的第三类数据；
第三训练模块，用于利用第三类数据对初始模型继续进行训练，以获得图像识别模型。
在一个实施例中，所述初始模型为Mask R-CNN，所述装置还包括：
第二获取模块，用于获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
第四类数据生成模块，用于对第一类数据中的每组数据的图片及其对应的二值掩膜进行图像翻转处理，并将翻转处理后的二值掩膜作为该组数据翻转处理后的图片的标签，生成包括多组数据的第四类数据；
第四训练模块，用于利用第四类数据对初始模型继续进行训练，以获得图像识别模型。
在一个实施例中，所述可视化处理模块还用于：
将所述待识别图片上的滑坡区域进行高亮显示；或
在所述待识别图片上标示出所述滑坡区域的轮廓。
可以理解的是，由于本发明的装置实施例与方法实施例基于相同的发明构思，此处对装置实施例不再赘述。
图15示出了一个实施例中计算机设备的内部结构图。如图15所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于mask rcnn神经网络的滑坡坡面分割识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于mask rcnn神经网络的滑坡坡面分割识别方法。本领域技术人员可以理解，图15中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于mask rcnn神经网络的滑坡坡面分割识别装置可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于mask rcnn神经网络的滑坡坡面分割识别装置的各个程序模块，比如，图2所示的图片获取模块、滑坡识别模块和可视化处理模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于maskrcnn神经网络的滑坡坡面分割识别方法中的步骤。
例如，图15所示的计算机设备可以通过如图2所示的基于mask rcnn神经网络的滑坡坡面分割识别装置中的图片获取模块执行获取待识别图片的步骤；其中，所述待识别图片包括遥感图像。通过滑坡识别模块执行使用图像识别模型对待识别图片进行分析，确定是否存在滑坡区域的步骤；其中，所述图像识别模型为使用多组数据对初始模型进行训练得到的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括滑坡区域的图片和标识该图片包括滑坡区域的标签；第二类数据中的每组数据均包括：不包括滑坡区域的图片和标识该图片不包括滑坡区域的标签。通过可视化处理模块执行当所述待识别图片存在滑坡区域的情况时，在所述待识别图片上标示出所述滑坡区域的步骤。
在一个实施例中，提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行上述基于mask rcnn神经网络的滑坡坡面分割识别方法的步骤。此处基于mask rcnn神经网络的滑坡坡面分割识别方法的步骤可以是上述各个实施例的基于mask rcnn神经网络的滑坡坡面分割识别方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于mask rcnn神经网络的滑坡坡面分割识别方法的步骤。此处基于mask rcnn神经网络的滑坡坡面分割识别方法的步骤可以是上述各个实施例的基于mask rcnn神经网络的滑坡坡面分割识别方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRA)、存储器总线(Rambus)直接RAM(RDRA)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种基于mask rcnn神经网络的滑坡坡面分割识别方法，其特征在于，所述方法包括：
获取待识别图片；其中，所述待识别图片包括遥感图像；
使用图像识别模型对待识别图片进行分析，确定是否存在滑坡区域；其中，所述图像识别模型为使用多组数据对初始模型进行训练得到的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括滑坡区域的图片和标识该图片包括滑坡区域的标签；第二类数据中的每组数据均包括：不包括滑坡区域的图片和标识该图片不包括滑坡区域的标签；
当所述待识别图片存在滑坡区域的情况时，在所述待识别图片上标示出所述滑坡区域。
2.根据权利要求1所述的基于mask rcnn神经网络的滑坡坡面分割识别方法，其特征在于，在使用多组数对初始模型进行训练之前，所述方法还包括：
将第一类数据中的每组数据的图片从RGB格式转换为BGR格式。
3.根据权利要求1所述的基于mask rcnn神经网络的滑坡坡面分割识别方法，其特征在于，所述初始模型为Mask R-CNN，在使用多组数对初始模型完成至少一次训练之后，所述方法还包括：
获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
对第一类数据中的每组数据的图片及其对应的二值掩膜进行尺寸调整，并将调整尺寸后的二值掩膜作为该组数据调整尺寸后的图片的标签，生成包括多组数据的第三类数据；
利用第三类数据对初始模型继续进行训练，以获得图像识别模型。
4.根据权利要求1所述的基于mask rcnn神经网络的滑坡坡面分割识别方法，其特征在于，所述初始模型为Mask R-CNN，在使用多组数对初始模型完成至少一次训练之后，所述方法还包括：
获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
对第一类数据中的每组数据的图片及其对应的二值掩膜进行图像翻转处理，并将翻转处理后的二值掩膜作为该组数据翻转处理后的图片的标签，生成包括多组数据的第四类数据；
利用第四类数据对初始模型继续进行训练，以获得图像识别模型。
5.根据权利要求1所述的基于mask rcnn神经网络的滑坡坡面分割识别方法，其特征在于，所述在所述待识别图片上标示出所述滑坡区域，具体包括：
将所述待识别图片上的滑坡区域进行高亮显示；或
在所述待识别图片上标示出所述滑坡区域的轮廓。
6.根据权利要求1所述的基于mask rcnn神经网络的滑坡坡面分割识别方法，其特征在于，所述使用图像识别模型对待识别图片进行分析，具体包括：
获取遥感视频；
提取所述遥感视频的帧图像；
逐帧将所述帧图像作为所述待识别图片输入到所述图像识别模型进行分析。
7.根据权利要求6所述的基于mask rcnn神经网络的滑坡坡面分割识别方法，其特征在于，在提取所述遥感视频的帧图像的步骤之后，并在逐帧将所述帧图像作为所述待识别图片输入到所述图像识别模型进行分析的步骤之前，还包括以下步骤：
将提取得到的遥感视频的帧图像从RGB格式转换为BGR格式。
8.一种基于mask rcnn神经网络的滑坡坡面分割识别装置，其特征在于，包括：
图片获取模块，用于获取待识别图片；其中，所述待识别图片包括遥感图像；
滑坡识别模块，用于使用图像识别模型对待识别图片进行分析，确定是否存在滑坡区域；其中，所述图像识别模型为使用多组数据对初始模型进行训练得到的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括滑坡区域的图片和标识该图片包括滑坡区域的标签；第二类数据中的每组数据均包括：不包括滑坡区域的图片和标识该图片不包括滑坡区域的标签；
可视化处理模块，用于当所述待识别图片存在滑坡区域的情况时，在所述待识别图片上标示出所述滑坡区域。
9.如权利要求8所述的基于mask rcnn神经网络的滑坡坡面分割识别装置，其特征在于，所述初始模型为Mask R-CNN，所述装置还包括：
第一获取模块，用于获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
第三类数据生成模块，用于对第一类数据中的每组数据的图片及其对应的二值掩膜进行尺寸调整，并将调整尺寸后的二值掩膜作为该组数据调整尺寸后的图片的标签，生成包括多组数据的第三类数据；
第三训练模块，用于利用第三类数据对初始模型继续进行训练，以获得图像识别模型。
10.如权利要求8所述的基于mask rcnn神经网络的滑坡坡面分割识别装置，其特征在于，所述初始模型为Mask R-CNN，所述装置还包括：
第二获取模块，用于获取所述初始模型输出的对应于第一类数据中的每组数据的图片的二值掩膜；
第四类数据生成模块，用于对第一类数据中的每组数据的图片及其对应的二值掩膜进行图像翻转处理，并将翻转处理后的二值掩膜作为该组数据翻转处理后的图片的标签，生成包括多组数据的第四类数据；
第四训练模块，用于利用第四类数据对初始模型继续进行训练，以获得图像识别模型。
CN202011258659.9A 2020-11-11 2020-11-11 基于mask rcnn神经网络的滑坡坡面分割识别方法 Active CN112418033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011258659.9A CN112418033B (zh) 2020-11-11 2020-11-11 基于mask rcnn神经网络的滑坡坡面分割识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011258659.9A CN112418033B (zh) 2020-11-11 2020-11-11 基于mask rcnn神经网络的滑坡坡面分割识别方法

Publications (2)

Publication Number Publication Date
CN112418033A true CN112418033A (zh) 2021-02-26
CN112418033B CN112418033B (zh) 2024-05-03

Family

ID=74781286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011258659.9A Active CN112418033B (zh) 2020-11-11 2020-11-11 基于mask rcnn神经网络的滑坡坡面分割识别方法

Country Status (1)

Country Link
CN (1) CN112418033B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192086A (zh) * 2021-05-11 2021-07-30 中国自然资源航空物探遥感中心 地质灾害隐患变形强度分布图的生成方法和存储介质
CN116597287A (zh) * 2023-07-17 2023-08-15 云南省交通规划设计研究院有限公司 一种基于深度学习方法的遥感影像滑坡识别方法
CN116824383A (zh) * 2022-12-29 2023-09-29 慧之安信息技术股份有限公司 基于遥感监测的滑坡识别方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107703715A (zh) * 2016-08-08 2018-02-16 中芯国际集成电路制造(上海)有限公司 一种掩膜图形缺陷的修复方法
CN109635726A (zh) * 2018-12-11 2019-04-16 陕西科技大学 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN110599537A (zh) * 2019-07-25 2019-12-20 中国地质大学（武汉） 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
KR20200059521A (ko) * 2018-11-21 2020-05-29 대한민국(산림청 국립산림과학원장) 산사태 발생 영역 자동 탐지 장치 및 탐지 방법
CN111223183A (zh) * 2019-11-14 2020-06-02 中国地质环境监测院 一种基于深度神经网络的滑坡地形检测方法
CN111553303A (zh) * 2020-05-07 2020-08-18 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107703715A (zh) * 2016-08-08 2018-02-16 中芯国际集成电路制造(上海)有限公司 一种掩膜图形缺陷的修复方法
KR20200059521A (ko) * 2018-11-21 2020-05-29 대한민국(산림청 국립산림과학원장) 산사태 발생 영역 자동 탐지 장치 및 탐지 방법
CN109635726A (zh) * 2018-12-11 2019-04-16 陕西科技大学 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN110599537A (zh) * 2019-07-25 2019-12-20 中国地质大学（武汉） 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN111223183A (zh) * 2019-11-14 2020-06-02 中国地质环境监测院 一种基于深度神经网络的滑坡地形检测方法
CN111553303A (zh) * 2020-05-07 2020-08-18 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEI ZHAO: "Building_Damage_Evaluation_from_Satellite_Imagery_using_Deep_Learning", 《IEEE》, pages 82 - 89 *
张倩荧: "基于深度学习目标检测算法的滑坡检测研究_", 《信息通信》, no. 1, pages 16 - 18 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192086A (zh) * 2021-05-11 2021-07-30 中国自然资源航空物探遥感中心 地质灾害隐患变形强度分布图的生成方法和存储介质
CN113192086B (zh) * 2021-05-11 2022-01-28 中国自然资源航空物探遥感中心 地质灾害隐患变形强度分布图的生成方法和存储介质
CN116824383A (zh) * 2022-12-29 2023-09-29 慧之安信息技术股份有限公司 基于遥感监测的滑坡识别方法和系统
CN116597287A (zh) * 2023-07-17 2023-08-15 云南省交通规划设计研究院有限公司 一种基于深度学习方法的遥感影像滑坡识别方法

Also Published As

Publication number Publication date
CN112418033B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
US11869194B2 (en) Image processing method and apparatus, computer-readable storage medium
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN112418033B (zh) 基于mask rcnn神经网络的滑坡坡面分割识别方法
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN110619330A (zh) 识别模型的训练方法、装置、计算机设备及识别方法
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN112163634A (zh) 实例分割模型样本筛选方法、装置、计算机设备及介质
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN114092833B (zh) 遥感图像分类方法、装置、计算机设备和存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN110807139A (zh) 图片识别方法、装置、计算机可读存储介质和计算机设备
CN113888514A (zh) 导地线缺陷检测方法、装置、边缘计算设备和存储介质
CN111242840A (zh) 手写体字符生成方法、装置、计算机设备和存储介质
CN111666931A (zh) 基于混合卷积文字图像识别方法、装置、设备及存储介质
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN115731220A (zh) 坯布缺陷定位与分类方法、系统、设备及存储介质
CN110580507B (zh) 一种城市肌理分类识别方法
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN116665054A (zh) 一种基于改进YOLOv3的遥感影像小目标检测方法
CN109829484B (zh) 一种服饰分类方法、设备及计算机可读存储介质
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
CN111832657A (zh) 文本识别方法、装置、计算机设备和存储介质
CN115661694B (zh) 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备
CN116612272A (zh) 一种图像处理智能数字化的检测系统及其检测方法
Li et al. Small Target Detection Algorithm Based on Two-Stage Feature Extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant