CN114913424A - 一种基于改进的U-net模型的崩岗提取方法及系统 - Google Patents

一种基于改进的U-net模型的崩岗提取方法及系统 Download PDF

Info

Publication number
CN114913424A
CN114913424A CN202210591275.1A CN202210591275A CN114913424A CN 114913424 A CN114913424 A CN 114913424A CN 202210591275 A CN202210591275 A CN 202210591275A CN 114913424 A CN114913424 A CN 114913424A
Authority
CN
China
Prior art keywords
improved
net model
module
model
collapsing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210591275.1A
Other languages
English (en)
Other versions
CN114913424B (zh
Inventor
赵元凌
杨浩霄
晏海童
沈盛彧
程冬兵
刘洪鹄
刘纪根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang River Scientific Research Institute Changjiang Water Resources Commission
Original Assignee
Changjiang River Scientific Research Institute Changjiang Water Resources Commission
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang River Scientific Research Institute Changjiang Water Resources Commission filed Critical Changjiang River Scientific Research Institute Changjiang Water Resources Commission
Priority to CN202210591275.1A priority Critical patent/CN114913424B/zh
Publication of CN114913424A publication Critical patent/CN114913424A/zh
Application granted granted Critical
Publication of CN114913424B publication Critical patent/CN114913424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进的U‑net模型的崩岗提取方法及系统。该方法包括：对获取到的遥感影像数据进行预处理；对所述预处理后的遥感影像数据制作影像分割标签；基于所述预处理后的遥感影像数据以及影像分割标签构建训练集；构建改进的U‑net模型；所述改进的U‑net模型中所有卷积均采用三维卷积结构；所述改进的U‑net模型包括空洞卷积层、残差模块以及注意力机制模块；通过所述训练集对所述改进的U‑net模型进行训练；通过训练好的改进的U‑net模型对目标区域的崩岗区域进行提取。本发明能够从遥感影像中较好的精确分割并提取出崩岗，为崩岗的监测与防治提供可靠的材料支持。

Description

一种基于改进的U-net模型的崩岗提取方法及系统
技术领域
本发明涉及遥感影像处理技术领域，特别是涉及一种基于改进的U-net模型的崩岗提取方法及系统。
背景技术
崩岗是我国南方红壤区一种典型的严重土壤侵蚀类型，常见于水土流失较为严重的区域。水力和重力的共同作用下对山坡水体造成了土壤侵蚀，形成了崩岗，其危害性极大，对区域内的生态环境、人居安全、防洪设施等造成了威胁。崩岗主要分布在我国南方红壤区，包括广东、福建、江西、广西、湖南、湖北等省，其中以江西和广东的崩岗最为严重，对当地的经济、农业、设施等都造成了严重的破坏。因此，有必要加大对崩岗的治理力度，以保护水土资源，促进生态环境的和谐发展。遥感技术的迅速发展，为崩岗的监测和防治带来了先进的手段。通过高分辨率的遥感影像，即可准确的识别和提取崩岗区域，提高了监测的效率。同时，深度学习理论的发展，又让遥感影像处理进入了发展的快车道。基于深度学习的遥感影像处理，可以高精度、高效率、鲁棒的提取崩岗信息，对崩岗的监测与防治具有重要意义，提供了有效的材料支撑。
目前，已有大量崩岗提取算法被提出，基本能实现准确的崩岗识别和提取，但都存在一定不足。现有崩岗提取大多为人机交互解译的方式，利用目视解译提取崩岗的形态特征，对于较小的崩岗区域，此方法可以实现准确的提取，但在区域较大时，则效率较低。近年来，有更多基于机器学习或深度学习的崩岗提取理论与方法被提出，相比于传统的方法，这些方法在效率上有着极大改进。但也存在研究的时空区域较为局限、和将裸地“误判”为崩岗的问题。
发明内容
本发明的目的是提供一种基于改进的U-net模型的崩岗提取方法及系统，用以从遥感影像中较好的精确分割并提取出崩岗，为崩岗的监测与防治提供可靠的材料支持。
为实现上述目的，本发明提供了如下方案：
一种基于改进的U-net模型的崩岗提取方法，包括：
对获取到的遥感影像数据进行预处理；
对所述预处理后的遥感影像数据制作影像分割标签；
基于所述预处理后的遥感影像数据以及影像分割标签构建训练集；
构建改进的U-net模型；所述改进的U-net模型中所有卷积均采用三维卷积结构；所述改进的U-net模型包括空洞卷积层、残差模块以及注意力机制模块；
通过所述训练集对所述改进的U-net模型进行训练；
通过训练好的改进的U-net模型对目标区域的崩岗区域进行提取。
可选地，对所述遥感影像数据进行预处理具体包括：
对所述遥感影像数据进行辐射校正、几何纠正、投影变换和裁剪。
可选地，还包括对训练好的改进的U-net模型进行验证；所述验证的指标包括：整体精确度、精确率、召回率、F1分数、交并比、平均交并比和频权交并比。
可选地，通过训练好的改进的U-net模型对崩岗进行提取之后，还包括：
将提取到的崩岗区域与所述目标区域的数字高程模型进行叠置分析，得到所述崩岗区域的数字高程模型；
提取所述崩岗区域的数字高程模型的最大值和最小值；
基于所述最大值和所述最小值计算平均起伏度；
当所述平均起伏度大于等于设定阈值时，则确定所述崩岗区域提取正确；
当所述平均起伏度小于设定阈值时，则确定所述崩岗区域提取错误。
本发明还提供了一种基于改进的U-net模型的崩岗提取系统，包括：
预处理模块，用于对获取到的遥感影像数据进行预处理；
标签制造模块，用于对所述预处理后的遥感影像数据制作影像分割标签；
训练集构建模块，用于基于所述预处理后的遥感影像数据以及影像分割标签构建训练集；
模型构建模块，用于构建改进的U-net模型；所述改进的U-net模型中所有卷积均采用三维卷积结构；所述改进的U-net模型包括空洞卷积层、残差模块以及注意力机制模块；
训练模块，用于通过所述训练集对所述改进的U-net模型进行训练；
崩岗区域提取模块，用于通过训练好的改进的U-net模型对目标区域的崩岗区域进行提取。
可选地，还包括：
验证模块，用于对训练好的改进的U-net模型进行验证；所述验证的指标包括：整体精确度、精确率、召回率、F1分数、交并比、平均交并比和频权交并比。
可选地，还包括：
崩岗区域的数字高程模型确定模块，用于将提取到的崩岗区域与所述目标区域的数字高程模型进行叠置分析，得到所述崩岗区域的数字高程模型；
最大值和最小值提取模块，用于提取所述崩岗区域的数字高程模型的最大值和最小值；
平均起伏度计算模块，用于基于所述最大值和所述最小值计算平均起伏度；
判断模块，用于当所述平均起伏度大于等于设定阈值时，则确定所述崩岗区域提取正确；以及用于当所述平均起伏度小于设定阈值时，则确定所述崩岗区域提取错误。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明采用改进的U-net模型，不仅能够有效地提取图像的光谱和空间特征，便于待分割目标的检测，而且可以有效防止网络的过拟合与退化问题，增强网络的鲁棒性，为崩岗的监测与防治提供了可靠的材料支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于改进的U-net模型的崩岗提取方法的流程图；
图2为本发明提供的基于改进的U-net模型的崩岗提取方法的详细流程图；
图3为改进的U-net模型的总体结构示意图；
图4为常规卷积示意图；
图5为空洞卷积示意图；
图6为空洞卷积的感受野示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于改进的U-net模型的崩岗提取方法及系统，用以从遥感影像中较好的精确分割并提取出崩岗，为崩岗的监测与防治提供可靠的材料支持。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-2所示，本发明提供的基于改进的U-net模型的崩岗提取方法，包括以下步骤：
步骤101：对获取到的遥感影像数据进行预处理。
由于卫星传感器在成像中容易受到大气辐射、传感器姿态等因素的干扰，因此获取的遥感影像数据存在几何畸变和辐射畸变等问题。为了提高后期影像处理的精度和准确提取信息，在输入网络之前需要对遥感影像数据进行一系列的预处理操作，包括：辐射校正、几何纠正、投影变换和裁剪等。
步骤102：对所述预处理后的遥感影像数据制作影像分割标签。
步骤103：基于所述预处理后的遥感影像数据以及影像分割标签构建训练集。
步骤104：构建改进的U-net模型；所述改进的U-net模型中所有卷积均采用三维卷积结构；所述改进的U-net模型包括空洞卷积层、残差模块以及注意力机制模块。
本发明的核心是改进的U-net模型。U-net是一种经典的全卷积神经网络，被广泛应用于图像分割领域。因为网络模型的形状类似U型，所以得名U-net。 U-net是一种“编码器-解码器”结构的模型，左侧部分是编码器，作用是特征提取；右侧是解码器，用于使图像还原至原尺寸。在编码器中，原图像输入大小为572×572，经过卷积运算使图像的长和宽各减少两个像素；然后，接着经过最大池化层运算，让通道数增加为池化前的两倍，而图像尺寸减小为池化前的一半大小。在解码器中，图像经过上采样操作，使尺寸变为上采样之前的2倍，通道数变为上采样之前的一半，起到图像复原的作用。U-net引入了跳跃连接机制，将下采样部分的卷积结果拼接到右侧相对应的上采样输入部分进行融合，可以使得编码器中下采样提取的特征结果直接传给解码器的上采样层，因此模型可以获得更好的位置信息，从而提高模型的分割精度。
在改进的U-net模型中，所有卷积均采用三维卷积结构，对于多波段的遥感影像，三维卷积能够直接将影像视为立方体结构进行运算，有效地提取光谱 -空间联合特征；引入空洞卷积层代替模型原有的最大池化层，解决图像分割中因下采样导致的图像分辨率降低问题；另外，引入了残差模块，提升网络的收敛性能，防止训练过程中出现梯度消失；同时，采用注意力机制，联合遥感影像的光谱特征和空间特征，增强图像分割中特征的表达。另外，对模型的预处理和后处理做了一些优化，便于模型的训练和防止过拟合。
本发明对传统U-net的具体改进如下：
(1)空洞卷积
空洞卷积是一种特殊的卷积结构，在卷积核之间增加了一些空白来扩大卷积核。空洞卷积能够增大卷积核的感受野，而且不会降低分辨率。这在图像分割任务中特别有用，一方面感受野的增大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。另外，当设置不同空洞率(dilationrate)时，空洞卷积还能捕获多尺度的上下文信息，有助于分割目标的检测。
因此，在改进的U-net模型中使用空洞卷积代替最大池化层，避免了由于最大池化操作下采样导致的分辨率损失问题，同时空洞卷积增大感受野范围也有助于目标的检测。
(2)残差模块
随着网络层数的增加，准确度变得饱和，然后迅速退化，甚至导致更大的误差。为了解决网络退化问题，本发明引入了残差模块，以提升网络的训练性能。对于一个堆积层结构(几层堆积而成)当输入为x时其学习到的特征记为 H(x)，现在我们希望其可以学习到残差F(x)＝H(x)-x，这样其实原始的学习特征是F(x)+x。直观上来说，因为残差的数值一般较小，所以往往更容易训练，如果在浅层次的网络已经达到了极好的效果，那么在更深层次的网络，只需要微调参数即可，或者使用恒等映射，使得网络不至于在更深的层次出现退化。
(3)注意力机制
为了增强网络模型的特征提取能力，联合遥感影像的光谱特征和空间特征进行目标分割，本发明引入了Squeeze-and-Excitation(SE)模块，即注意力机制，通过结合每个通道的不同深度特征来使用光谱-空间联合特征。其核心思想是在训练损失的基础上自动学习特征权重，然后在抑制低权重特征的同时提升高权重特征。SE块可以加强通道之间的相互依赖，增强对分割有用的光谱-空间联合信息。由残差模块和注意力机制构成了SE ResBottleneck模块，加至每两层卷积层中。
步骤105：通过所述训练集对所述改进的U-net模型进行训练。
将训练集输入到改进的U-net模型中进行训练，左侧编码器层的卷积对影像进行运算，提取特征信息，再经过空洞卷积运算后增大感受野，防止影像分辨率丢失；同时，残差模块的存在优化了网络的训练，注意力机制增加了用于影像分割的光谱-空间联合特征。然后，在右侧的解码器层中，经过转置卷积的运算，被分割的影像逐步恢复为与原影像相同的尺寸，同时也保留了影像的空间信息。最后通过Softmax函数输出影像分割的结果，并使用Dropout层防止网络的过拟合。
步骤106：通过训练好的改进的U-net模型对目标区域的崩岗区域进行提取。
此外，基于改进的U-net模型提取的崩岗区域可能存在误提取的情况，因此，为了提高崩岗区域提取的精度，最大程度地减少误提取情况，需要结合目标区域的数字高程模型(DEM)数据判断。具体过程如下：
提取所述崩岗区域的数字高程模型的最大值和最小值；
基于所述最大值和所述最小值计算平均起伏度；
当所述平均起伏度大于等于设定阈值时，则确定所述崩岗区域提取正确；
当所述平均起伏度小于设定阈值时，则确定所述崩岗区域提取错误。
本发明提供的上述方法能够从遥感影像中较好地精确分割并提取出崩岗区域，具有精度高、鲁棒性强的优点，为崩岗的监测与防治提供了可靠的材料支持。
本发明最主要的工作是构建并训练改进的U-net模型。在该模型中，以遥感影像作为输入，输出提取得到的崩岗信息。前期利用ENVI对遥感影像进行预处理，利用ArcGIS制作数据集和标签；后期编写程序构建模型对数据进行训练，得到提取结果。具体实施步骤如下：
1、环境搭建
本发明是一种基于深度学习的方法，基于Windows 10平台，需要相关环境的支持。因此，首先需要配置环境以支持模型的训练和预测。
(1)查看电脑GPU是否满足搭建条件。GPU对矩阵运算有很好的支持，电脑拥有GPU会加速程序执行，促进模型的训练。
(2)配置Anaconda。Anaconda是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项，便于程序所需Python库的安装。用到的依赖库主要有：os、OpenCV、numpy、GDAL等。
(3)安装TensorFlow-GPU。TensorFlow是一个端到端开源机器学习平台，提供了构建深度学习模型的框架。需要安装与Python版本对应的 TensorFlow-GPU。
(4)安装与GPU相适合、TensorFlow-GPU相适应的CUDA和cuDNN 版本。3
(5)安装与TensorFlow-GPU相对应的Keras框架。
2、遥感影像预处理。
(1)在ENVI Classic 5.3中，打开待处理的遥感影像，输入控制点或在参考基准影像上选择控制点，利用Geometric calibration工具，选择合适的模型对影像几何校正。
(2)在ENVI Classic 5.3中，利用Radiometric calibration工具，设置定标类型、传感器类型、Scale Factor等参数，进行辐射校正。
(3)根据需求，利用ENVI对遥感影像进行其他预处理操作。
3、裁剪遥感影像提取训练区域
使用ArcGIS 10.7裁剪原始遥感影像。
(1)使用ArcCatalog的Create New Shapefile创建训练集区域的掩模 ROI_Mask.shp，用于裁剪训练集区域。要素类型为面要素(Polygon)，空间参考与原遥感影像一致。
(2)使用Editor工具对ROI_Mask.shp进行编辑，绘制需要训练的区域。
(3)基于ROI_Mask.shp，使用ArcToolbox中的Spatial Analyst Tools的Extraction的Extract by mask工具裁剪原遥感图像，得到训练影像数据 ROI_Image.tif。
4、制作影像分割标签
使用ArcGIS 10.7选择遥感影像数据并制作影像分割标签。
(1)使用ArcCatalog的Create New Shapefile创建训练集区域的掩模label.shp，用于裁剪训练集区域。要素类型为面要素(Polygon)，空间参考与原遥感影像一致。
(2)使用Editor工具对label.shp进行编辑，绘制崩岗区域，作为待训练标签。
(3)打开label.shp的属性表，修改id字段值为255，作为转为栅格的灰度值。
(4)使用ArcToolbox中的Conversion Tools的To Raster的Feature to Raster工具将得到的矢量标签label.shp转成栅格标签label.tif。字段Field选择Id，输出像素大小选择ROI_Image.tif，环境设置里的处理范围设置为与ROI_Image.tif 一致。
5、裁剪深度学习样本，防止模型训练过程中出现内存溢出而导致程序崩溃。利用滑动窗口的方法，将ROI_Image.tif和label.tif裁剪为重复率为0的深度学习子样本，尺寸可设置为512×512。
6、对训练数据进行几何变换，包括水平翻转、竖直翻转以及对角翻转的操作，以实现数据增强，得到充足的样本数据量，避免模型训练过程中产生过拟合现象，增强模型的泛化能力。对于单波段影像，可以使用OpenCV库实现变换；对于多波段影像，使用numpy库实现变换。
7、构建改进的U-net网络
本发明构建了如附图3所示的改进的U-net网络结构：
(1)①和②代表卷积层。①的卷积层都包含了一个卷积核，激活函数为 ReLu，此外引入了Batch Normalization来避免梯度消失、梯度爆炸等问题。在输出部分，激活函数为Softmax，这是为了便于输出预测结果。在改进的U-net 中，所使用的的卷积均为三维卷积。若输入的影像特征大小为 Hin*Win*Din*Cin(Hin表示输入的特征长度，Win表示输入的特征宽度、Din 代表输入的波段数、Cin代表输入的通道数量)，卷积核的数量为m，大小为 h*w*d，滑动步长(Stride)为s，填充层(padding)为p，输出的特征图为 Hout*Wout*Dout*Cout(Hout表示输入的特征长度，Wout表示输入的特征宽度、Dout代表输入的波段数、Cout代表输入的通道数量)，则输出层与输入层的关系为：
Figure BDA0003665201480000091
参数量为(h*w*d+1)*m。在改进的U-net模型中，卷积核大小h*w*d设置为3*3*3，滑动步长s设置为1，填充层宽度p设置为0。
(2)④代表空洞卷积层。为了避免出现分辨率下降的问题，这里没有设置传统U-net网络中的最大池化层，而是引入空洞卷积作为代替，起到下采样的作用。另外，空洞卷积能够通过不同的扩张率对卷积核进行处理达到增大感受野的目的。空洞卷积之所以不会损坏图像的分辨率，是因为在卷积核中添加不同膨胀率的参数，规定了卷积核在卷积运算中各值的间距。常规卷积的空洞率为1，但空洞卷积的空洞率可以调整。图4为常规卷积示意图，图5为空洞卷积示意图。
图6为空洞卷积的感受野示意图，感受野是通过规定的卷积核做卷积运算处理后，得到的局部特征图的像素点在原图像上映射区域大小。空洞卷积的卷积核和感受野为：
rf1＝(ksize-1)×(r-1)+ksize
RFi+1＝RFi+(rf1-1)×s
其中，ksize为原卷积核的大小，rf1为空洞卷积的感受野大小，r为空洞率， RFi为上一层的感受野，RFi+1为当前层的感受野。在改进的U-net模型中，空洞率r设置为2。
(3)⑥代表含SE Res Bottleneck，由注意力机制模块和残差模块组成。由于深度较大的网络往往存在退化的问题，此处引入残差网络模块是为了保证在网络深度增加时，模型的性能不会下降。
一个残差模块可以表示为：
yi＝h(xi)+F(xi，Wi) (1)
xi+1＝f(yi) (2)
其中xi和xi+1表示第i个残差单元的输入和输出，Wi表示第i层的权重矩阵。 F是残差函数，表示学习到的残差，而h(xl)＝xl表示恒等映射。f是ReLU激活函数。基于上式，求得浅层l到深层L的学习特征为：
Figure BDA0003665201480000101
注意力机制模块的主要作用是增强重要的特征，减弱不重要特征，从而让提取的特征指向性更强。由两个部分组成：
首先是S(Squeeze)，这一部分接在传统的卷积层输出U之后，对其进行一个GlobalAverage Pooling，使得输出尺寸由H*W*D*C。最后用sigmoid将其限制到[0,1]范围，将这个值作为scale乘到C个通道上。其中Global Average Pooling的计算公式如下：
Figure BDA0003665201480000111
第二部分为E(Excitation)，这一部分用两个全连接实现。第一层将全连接层的C个通道压缩为C/r，以减少计算量，激活函数为ReLU。第二层全连接恢复为C个通道，激活函数为Sigmoid。r是指压缩的比例，这里一般取r＝16。
(4)③与⑤共同组成了上采样过程。其中，③代表了复制和裁剪过程，使得将要融合的影像尺寸一致。⑤表示反卷积，将较小的输入特征得到较大的输入特征。这里使用反卷积进行上采样，输入特征大小为Hin*Win*Din*C，输出特征大小为Hout*Wout*Dout*C。由于在编码过程(U-net网络结构的左半部分) 中由卷积核和空洞卷积等操作使得图像尺寸变小，在解码过程(U-net结构的右半部分)需要通过反卷积过程将尺寸还原，使得输出与输入的尺寸相符，即 Hin＝Hout，Win＝Wout，Din＝Dout。
8、改进的U-net模型的训练与崩岗提取
(1)将预处理好的ROI_Image.tif和label.tif输入模型，按照70％和30％的比例随机划分训练集和验证集。
(2)批量读取图像，进行归一化处理。提取其中的灰度值，并写成一个字典。对提取的灰度进行One-hot编码。One-hot编码的作用在于方便后续训练中定义loss函数。
(3)定义训练数据生成器：包含参数有批量训练大小、原始影像路径、标签路径、种类数、分类数、输入尺寸等。
在本实验中，批量训练大小定义为2，分类数为2、输入尺寸为512*512*3。
(4)开始训练模型，损失函数为cross-entropy(利用前面步骤获得的 one-hot编码向量)，优化器为Adam，学习率为10-4。
(5)为了对训练过程进行一些优化，本实验利用了keras.callback子库中定义的一些函数：默认情况下，会选择保存训练集上表现最好的模型，但这样的模型的泛化性能未必最优，故引入了ModelCheckPoint函数用来保存中间结果；由于训练达到一定程度时，可能会出现损失函数值不随着训练的进一步进行而下降的情况，从而导致训练时间上的浪费。故引入EarlyStopping函数使得在一定条件下中止训练，此处如果损失函数值在10轮后都不下降则中止训练；在不同的阶段，最理想的学习率数值也不是一成不变的，此处引入了ReduceLROnPlateau函数，设置当3轮训练后如果损失函数值不下降，则调整学习率为原来的0.5倍。
(6)输出提取结果，并在验证集上检验模型的泛化效果。
(7)进行精度评估。由于预测结果仅分为2类，所以将分类结果分为“正面”类(positive)和“负面”类(negative)。根据预测的标签和预测正确与否，将预测结果分为了4类：分类正确且预测为“正面”分类(记为TP)、分类错误且预测为“正面”分类(记为FP)，分类正确且预测为“负面”分类(记为 TN)，分类错误且预测为“负面”的分类(记为FN)。根据上述计算结果建立混淆矩阵(Confusion Matrix)，根据矩阵元素间不同的计算方式，我们有下面的评价指标：
A、整体精确度(overall accuracy)：即预测正确的样本数占所有样本数的比例：
Figure BDA0003665201480000121
B、精确率(precision)：正确检索的“正面”样本占所有检索到的“正面”样本的比例：
Figure BDA0003665201480000122
本指标可以计算被识别为“正面”类别的样本中，识别正确的比例。
C、召回率(recall)：正确检索的“正面”样本占所有实际的“正面”样本的比例：
Figure BDA0003665201480000123
本指标可以计算出所有“正面”样本中，有多大的比例被识别出来了。
D、F1分数(f1score)：本指标是精确率和召回率的调和平均：
Figure BDA0003665201480000131
本指标综合考虑了precision和recall的数值。
E、交并比(IoU,Intersection over Union)、平均交并比(MIoU,MeanIntersection over Union)和频权交并比(FWIoU,Frequency Weighted Intersectionover Union)：
交并比是真实值与预测值两个集合的交集大小除以并集大小。假定此时讨论的是“正面”类的交并比，则此处交集应为TP，真实值为TP和FN，预测值为TP和FP，故交并比的计算如下：
Figure BDA0003665201480000132
平均交并比则是各个类别取平均值：
Figure BDA0003665201480000133
其中k表示类别个数
加权交并比根据每个类出现频率设置权重：
Figure BDA0003665201480000134
遥感影像经过改进的U-net模型处理，输出得到崩岗提取的结果result.tif。
9、提取后处理
基于改进的U-net模型提取的崩岗为结果可能存在误提取的情况。因此，为了提高崩岗提取的精度，最大程度地减少误提取情况，需要结合目标区域的数字高程模型(DEM)数据判断。
(1)将崩岗提取结果result.tif与DEM进行叠置分析，得到提取崩岗区域的DEM掩膜结果。
(2)利用ArcGIS 10.7的ArcToolbox中的空间分析-领域分析-焦点统计工具，提取崩岗区域DEM的最大值Hmax与最小值Hmin。然后，利用ArcGIS 10.7 的ArcToolbox的空间分析-地图代数-栅格计算器工具，根据公式计算起伏度：
R＝Hmax-Hmin (12)
然后，利用栅格计算器计算平均起伏度
Figure BDA0003665201480000141
(3)设置判断阈值T。若提取区域的平均起伏度大于等于T，则认为是正确提取的崩岗；反之，认为是误提取，并舍弃。在本发明中，T设置为20。
(4)得到最终崩岗提取结果benggang.tif。
本发明还提供了一种基于改进的U-net模型的崩岗提取系统，包括：
预处理模块，用于对获取到的遥感影像数据进行预处理；
标签制造模块，用于对所述预处理后的遥感影像数据制作影像分割标签；
训练集构建模块，用于基于所述预处理后的遥感影像数据以及影像分割标签构建训练集；
模型构建模块，用于构建改进的U-net模型；所述改进的U-net模型中所有卷积均采用三维卷积结构；所述改进的U-net模型包括空洞卷积层、残差模块以及注意力机制模块；
训练模块，用于通过所述训练集对所述改进的U-net模型进行训练；
崩岗区域提取模块，用于通过训练好的改进的U-net模型对目标区域的崩岗区域进行提取。
该系统还包括：
验证模块，用于对训练好的改进的U-net模型进行验证；所述验证的指标包括：整体精确度、精确率、召回率、F1分数、交并比、平均交并比和频权交并比。
该系统还包括：
崩岗区域的数字高程模型确定模块，用于将提取到的崩岗区域与所述目标区域的数字高程模型进行叠置分析，得到所述崩岗区域的数字高程模型；
最大值和最小值提取模块，用于提取所述崩岗区域的数字高程模型的最大值和最小值；
平均起伏度计算模块，用于基于所述最大值和所述最小值计算平均起伏度；
判断模块，用于当所述平均起伏度大于等于设定阈值时，则确定所述崩岗区域提取正确；以及用于当所述平均起伏度小于设定阈值时，则确定所述崩岗区域提取错误。
本发明的有益效果：
1、实现了基于遥感影像的崩岗自动提取，不需要目视解译与实地考察，节省人力；
2、能够实现高精度的崩岗信息提取，误判率进一步降低，相比以前的方法精度更高；
3、增强了网络模型的训练性能，有效防止了网络训练中容易出现的梯度消失、退化和过拟合等问题，同时增强了网络的泛化能力。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于改进的U-net模型的崩岗提取方法，其特征在于，包括：
对获取到的遥感影像数据进行预处理；
对所述预处理后的遥感影像数据制作影像分割标签；
基于所述预处理后的遥感影像数据以及影像分割标签构建训练集；
构建改进的U-net模型；所述改进的U-net模型中所有卷积均采用三维卷积结构；所述改进的U-net模型包括空洞卷积层、残差模块以及注意力机制模块；
通过所述训练集对所述改进的U-net模型进行训练；
通过训练好的改进的U-net模型对目标区域的崩岗区域进行提取。
2.根据权利要求1所述的基于改进的U-net模型的崩岗提取方法，其特征在于，对所述遥感影像数据进行预处理具体包括：
对所述遥感影像数据进行辐射校正、几何纠正、投影变换和裁剪。
3.根据权利要求1所述的基于改进的U-net模型的崩岗提取方法，其特征在于，还包括对训练好的改进的U-net模型进行验证；所述验证的指标包括：整体精确度、精确率、召回率、F1分数、交并比、平均交并比和频权交并比。
4.根据权利要求1所述的基于改进的U-net模型的崩岗提取方法，其特征在于，通过训练好的改进的U-net模型对崩岗进行提取之后，还包括：
将提取到的崩岗区域与所述目标区域的数字高程模型进行叠置分析，得到所述崩岗区域的数字高程模型；
提取所述崩岗区域的数字高程模型的最大值和最小值；
基于所述最大值和所述最小值计算平均起伏度；
当所述平均起伏度大于等于设定阈值时，则确定所述崩岗区域提取正确；
当所述平均起伏度小于设定阈值时，则确定所述崩岗区域提取错误。
5.一种基于改进的U-net模型的崩岗提取系统，其特征在于，包括：
预处理模块，用于对获取到的遥感影像数据进行预处理；
标签制造模块，用于对所述预处理后的遥感影像数据制作影像分割标签；
训练集构建模块，用于基于所述预处理后的遥感影像数据以及影像分割标签构建训练集；
模型构建模块，用于构建改进的U-net模型；所述改进的U-net模型中所有卷积均采用三维卷积结构；所述改进的U-net模型包括空洞卷积层、残差模块以及注意力机制模块；
训练模块，用于通过所述训练集对所述改进的U-net模型进行训练；
崩岗区域提取模块，用于通过训练好的改进的U-net模型对目标区域的崩岗区域进行提取。
6.根据权利要求5所述的基于改进的U-net模型的崩岗提取系统，其特征在于，还包括：
验证模块，用于对训练好的改进的U-net模型进行验证；所述验证的指标包括：整体精确度、精确率、召回率、F1分数、交并比、平均交并比和频权交并比。
7.根据权利要求5所述的基于改进的U-net模型的崩岗提取系统，其特征在于，还包括：
崩岗区域的数字高程模型确定模块，用于将提取到的崩岗区域与所述目标区域的数字高程模型进行叠置分析，得到所述崩岗区域的数字高程模型；
最大值和最小值提取模块，用于提取所述崩岗区域的数字高程模型的最大值和最小值；
平均起伏度计算模块，用于基于所述最大值和所述最小值计算平均起伏度；
判断模块，用于当所述平均起伏度大于等于设定阈值时，则确定所述崩岗区域提取正确；以及用于当所述平均起伏度小于设定阈值时，则确定所述崩岗区域提取错误。
CN202210591275.1A 2022-05-27 2022-05-27 一种基于改进的U-net模型的崩岗提取方法及系统 Active CN114913424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210591275.1A CN114913424B (zh) 2022-05-27 2022-05-27 一种基于改进的U-net模型的崩岗提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210591275.1A CN114913424B (zh) 2022-05-27 2022-05-27 一种基于改进的U-net模型的崩岗提取方法及系统

Publications (2)

Publication Number Publication Date
CN114913424A true CN114913424A (zh) 2022-08-16
CN114913424B CN114913424B (zh) 2023-08-01

Family

ID=82767994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210591275.1A Active CN114913424B (zh) 2022-05-27 2022-05-27 一种基于改进的U-net模型的崩岗提取方法及系统

Country Status (1)

Country Link
CN (1) CN114913424B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620163A (zh) * 2022-10-28 2023-01-17 西南交通大学 一种基于遥感影像的半监督学习深切河谷智能识别方法
CN116229280A (zh) * 2023-01-09 2023-06-06 广东省科学院广州地理研究所 崩岗识别方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334623A (zh) * 2019-06-25 2019-10-15 华中农业大学 一种基于Sentinel-2A卫星遥感影像提取崩岗信息的方法
CN111879300A (zh) * 2020-08-18 2020-11-03 长江水利委员会长江科学院 基于三维激光扫描技术的崩岗侵蚀发育监测方法
CN112712535A (zh) * 2021-01-18 2021-04-27 长安大学 基于模拟困难样本的Mask-RCNN滑坡分割方法
CN113158588A (zh) * 2021-01-19 2021-07-23 广东省科学院广州地理研究所 一种崩岗内部沟道识别与预测的方法及装置
CN114049565A (zh) * 2021-11-08 2022-02-15 中国公路工程咨询集团有限公司 基于遥感影像和dem数据的地质灾害判识方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334623A (zh) * 2019-06-25 2019-10-15 华中农业大学 一种基于Sentinel-2A卫星遥感影像提取崩岗信息的方法
CN111879300A (zh) * 2020-08-18 2020-11-03 长江水利委员会长江科学院 基于三维激光扫描技术的崩岗侵蚀发育监测方法
CN112712535A (zh) * 2021-01-18 2021-04-27 长安大学 基于模拟困难样本的Mask-RCNN滑坡分割方法
CN113158588A (zh) * 2021-01-19 2021-07-23 广东省科学院广州地理研究所 一种崩岗内部沟道识别与预测的方法及装置
CN114049565A (zh) * 2021-11-08 2022-02-15 中国公路工程咨询集团有限公司 基于遥感影像和dem数据的地质灾害判识方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
殷晓航 等: "基于 U-Net 结构改进的医学影像分割技术综述", 《软件学报》 *
殷晓航 等: "基于 U-Net 结构改进的医学影像分割技术综述", 《软件学报》, 28 February 2021 (2021-02-28), pages 519 - 550 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620163A (zh) * 2022-10-28 2023-01-17 西南交通大学 一种基于遥感影像的半监督学习深切河谷智能识别方法
CN116229280A (zh) * 2023-01-09 2023-06-06 广东省科学院广州地理研究所 崩岗识别方法、装置、电子设备以及存储介质
CN116229280B (zh) * 2023-01-09 2024-06-04 广东省科学院广州地理研究所 崩岗识别方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN114913424B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN113888550B (zh) 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN111047551A (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111723585A (zh) 一种风格可控的图像文本实时翻译与转换方法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN114913424A (zh) 一种基于改进的U-net模型的崩岗提取方法及系统
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN111783819B (zh) 小规模数据集上基于感兴趣区域训练改进的目标检测方法
CN113642390A (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN112288831A (zh) 基于生成对抗网络的场景图像生成方法和装置
CN112861785B (zh) 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN117079163A (zh) 一种基于改进yolox-s的航拍图像小目标检测方法
CN112070040A (zh) 一种用于视频字幕的文本行检测方法
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
CN116958827A (zh) 一种基于深度学习的撂荒区域提取方法
CN116778165A (zh) 基于多尺度自适应语义分割的遥感影像灾害检测方法
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN115330703A (zh) 基于上下文信息融合的遥感影像云与云阴影检测方法
Huang et al. A correlation context-driven method for sea fog detection in meteorological satellite imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant