CN116977632A - 基于非对称卷积的改进U-Net网络的滑坡提取方法 - Google Patents

基于非对称卷积的改进U-Net网络的滑坡提取方法 Download PDF

Info

Publication number
CN116977632A
CN116977632A CN202310794223.9A CN202310794223A CN116977632A CN 116977632 A CN116977632 A CN 116977632A CN 202310794223 A CN202310794223 A CN 202310794223A CN 116977632 A CN116977632 A CN 116977632A
Authority
CN
China
Prior art keywords
landslide
convolution
remote sensing
net network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310794223.9A
Other languages
English (en)
Inventor
白石
唐攀攀
万昊明
王辉
赵博
罗小燕
欧阳宁雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Laboratory
Original Assignee
Nanhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Laboratory filed Critical Nanhu Laboratory
Priority to CN202310794223.9A priority Critical patent/CN116977632A/zh
Publication of CN116977632A publication Critical patent/CN116977632A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明公开了一种基于非对称卷积的改进U‑Net网络的滑坡提取方法，该基于非对称卷积的改进U‑Net网络的滑坡提取方法包括所述多源数据构建包括根据目标区域的高分辨率遥感影像获取包含该地区的DEM数据、坡度信息和变化特征的六通道数据；所述模型构建包括，总体上采用U‑Net网络结构，编码器部分采用非对称卷积代替原有标准卷积层，解码器采用密集上采样构成。本申请先提取变化特征，再输入模型训练，在深度学习模型训练预测阶使用DEM+坡度+变化特征作为滑坡的约束条件，使得深度学习可以从数据中提炼诸如滑坡与坡面这类复杂关系的深层次数据联系；创造性地利用非对称卷积更准确地提取不同方向上的特征而不受旋转目标的干扰，提高了网络对旋转畸变的鲁棒性。

Description

基于非对称卷积的改进U-Net网络的滑坡提取方法
技术领域
本发明属于遥感图像处理与遥感信息智能提取技术领域，具体涉及一种基于非对称卷积的改进U-Net网络的滑坡提取方法。
背景技术
作为一种普遍且频繁发生的地质灾害，滑坡可以造成严重的建筑破坏、人员伤亡和财产损失，在丘陵、山地等地区造成的破坏更为严重。据统计，我国每年因滑坡、崩塌和泥石流等地质灾害死亡人数，占各类自然灾害死亡人数的四分之一。近年来强降雨、火山活动和地震等自然灾害发生的更为频繁，这些自然灾害成为产生滑坡的诱因，并造成了更多的破坏。灾后快速获取滑坡信息，有利于把握“黄金救援72小时”，为快速组织救灾工作提供便利，可以为地质灾害防治提供有效支撑。遥感对地观测数据时效性强、观测范围广并且获取便利，在滑坡检测任务中是一种重要数据源。近年来，受益于计算机视觉和图形处理单元(GPU)的进展，卷积神经网络在几乎所有计算机视觉任务中都取得了更好的结果。
深度学习模型在卫星图像分类、语义分割和变化检测中都有广泛的应用。其中，U-Net作为一种轻量化、容易部署的模型被大量用于滑坡分割的任务中。但U-Net模型本身存在一定的缺陷，例如编码器与解码器之间存在的语义鸿沟，这制约了U-Net模型在滑坡检测任务中的性能，制约U-Net模型在实际场景下解译滑坡的精度，使其不能满足实际的需求。
现有技术存在下列不足：(1)滑坡分布有其自身的特点，滑坡分布是非常不规则的，不规则边界在旋转时会产生畸变；而在卫星以不同角度拍摄滑坡时，卫星影像上的滑坡分布会具有较大差异，该差异由观测视角不同造成的旋转畸变引起；此外，在训练过程中为了增强神经网络的泛化能力，需要对输入图像做多尺度缩放、随机旋转、随机翻转的操作，这些操作同样带来了旋转畸变的问题。由此U-Net模型中编码器和解码器语义信息不匹配，限制了模型在复杂场景下提取滑坡的能力，导致模型提取滑坡不准确，边界捕捉困难。(2)滑坡属于变化的一种，但不是所有变化都由滑坡引起；滑坡发生在坡面上，但不是所有坡面上都会产生滑坡。现有技术仅依据简单的规则划分滑坡与非滑坡区域，没有将数据转化到高维空间中获取更深层次的数据联系。由于包括前述阐述的种种原因，现有技术的U-Net网络在提取滑坡时往往存在提取精度不高，无法满足实际需求的问题。
发明内容
本发明的发明目的是提供一种基于非对称卷积的改进U-Net网络的滑坡提取方法。
该基于非对称卷积的改进U-Net网络的滑坡提取方法解决了U-Net模型中语义信息不匹配和上采样阶段信息损失的问题，提高了网络在复杂场景下提取滑坡的能力；解决了U-Net网络提取滑坡不准确，边界捕捉困难的问题。
一种基于非对称卷积的改进U-Net网络的滑坡提取方法，包括：
模型构建，主体采用U-Net网络结构，且U-Net网络结构的编码器部分采用非对称卷积，解码器部分采用密集上采样；
多源数据构建，由RGB后时相遥感影像数据、RGB前后时相遥感影像变化特征、DEM数据和坡度信息构成六通道多源数据；
使用带有滑坡标签的六通道多源数据集训练所构建的模型得到训练后的模型，以得到能够对目标区域进行滑坡提取的训练后模型。
本申请全面利用该地区的滑坡数据包括准确位置、面积、分布状态等，先提取变化特征，再输入模型训练，在深度学习模型训练预测阶使用DEM+坡度+变化特征作为滑坡的约束条件，使得深度学习可以从数据中提炼诸如滑坡与坡面这类复杂关系的深层次数据联系；创造性地利用非对称卷积更准确地提取不同方向上的特征而不受旋转目标的干扰，提高了网络对旋转畸变的鲁棒性。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，以目标区域的六通道多源数据为输入，输入至训练后的模型，以使用训练后的模型对目标区域进行滑坡提取。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，所述变化特征根据相应地区的RGB前时相遥感影像和RGB后时相遥感影像获得，所述RGB后时相遥感影像和RGB前时相遥感影像分别通过相应时相的高分辨率遥感影像获取；
所述变化特征的提取具体如下，
1)选取该地区前后时相数据，设定邻域范围，前后时相数据逐通道相减，计算每个像素邻域范围内的差值，选取差值最大的值作为该地区的变化特征，
2)每个通道上计算的变化特征在通道维度上求均值，最后生成单通道的变化特征图。
通过遥感图像进行滑坡提取实质属于图像分割，为了提升分割效果，本申请提取前后时相遥感数据中与滑坡有关的特征用于模型训练和预测，并加入DEM数据和坡度信息解决了U-Net模型提取滑坡不准确，边界捕捉困难的问题，使用像素级变化特征提取方法提取前后时相遥感数据，进一步提高U-Net模型在实际场景下解译滑坡的精度。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，所述坡度信息的计算方式如下，
p,q表示高程在水平方向和垂直方向上的变化率(增量)。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，所构建的模型包括两层卷积模块，两层卷积模块的输出连接编码器，编码器由多个非对称卷积层构成，编码器的输出连接解码器，解码器采用的密集上采样模块由多层卷积层组成，并分别直接或通过连接层连接至两层卷积模块的输出，以及各非对称卷积层的输出以对获取的不同尺度的高分辨率遥感影像特征图采用逐层解码的方式将特征图大小解码至原图大小。
本申请利用非对称卷积相较于传统卷积，能够不受旋转目标的干扰而更准确地提取不同方向上特征的特性。U-Net模型本身存在解码器上采样阶段信息损失的问题，会制约U-Net模型在实际场景下解译滑坡的精度，使其不能满足实际的需求，因此本申请利用密集上采样来解决上采样阶段信息损失的问题，提高了网络在复杂场景下提取滑坡的能力。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，两层卷积模块包括第一卷积层和第二卷积层，第一卷积层和第二卷积层均为大小为3×3的2D卷积，且每个卷积层后面均搭配有BN层和非线性激活层
非线性激活层优选ReLU激活函数，经过两层卷积模块处理后后，输入的6个通道被扩展为64个通道。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，所述的编码器包括有四个非对称卷积层，每个非对称卷积层均包括三个并列的卷积层，三个卷积层的卷积核大小分别为1×3、3×1和3×3，且每个卷积层之后均搭配有非线性激活层。
将通过两层卷积降采样后得到的特征图送入该特征编码网络可以得到不同尺度下的特征图。
首先1×3、3×1卷积本身就分别增强了对水平和竖直方向特征的关注度，因此可以增强旋转畸变的鲁棒性；其次在非对称卷积中仍然包含了传统3×3的2D卷积，这保证了该卷积层对局部整体特征的提取能力，保证了非对称卷积感受野与单一3×3的2D卷积感受野相同，弥补了1×3、3×1卷积降低感受野的缺点。本申请针对滑坡分布特点和模型训练过程中存在的问题做出改进，增强网络对旋转畸变的鲁棒性，解决了编码器和解码器语义信息不匹配的问题。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，密集上采样模块通过空间重新排列的方式对低分辨率特征图进行通道维度降维，同时提高空间分辨率直至与滑坡标签大小相同。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，通过以下方式制作带有滑坡标签的数据集：
在高分辨率遥感影像上人工勾画滑坡区域，制作出与选择的高分辨率遥感影像的像素完全对应的二分类标签图，其中滑坡对应的像素标记为1，非滑坡标记为0，最后将结果裁剪为小块；
将裁剪后的高分辨率遥感影像，也即RGB后时相遥感影像数据、滑坡标签及对应的RGB前后时相遥感影像变化特征、DEM数据和坡度信息成组构建所述的数据集。
制作二分类标签图还包括将生成的小块进行增强处理以生成最终的样本，增强处理包括：多尺度缩放、随机旋转和垂直/水平翻转。对6通道数据及其标注生成的栅格裁剪成相互对应的小块，小块面积依据实际情况而定。
不同时相的高分辨率遥感影像往往存在配准问题，这些问题是由于太阳位置和卫星姿态差异引起的几何和光谱上的偏差，直接使用带有配准问题的遥感影像提取滑坡会对结果造成干扰，人工校正这种配准误差费时费力，并且很难达到较好地效果。本发明使用的方法可以提高变化特征提取过程中对配准误差的鲁棒性。
在上述的基于非对称卷积的改进U-Net网络的滑坡提取方法中，本方法使用交叉损失函数，采用反向传播与梯度下降方法更新网络参数以训练模型；
本方法还包括包含柔性边界的精度计算方法，用于根据测试数据集检测训练后模型的预测精度：
获取表示被模型预测为正类的正样本TP、表示被模型预测为正类的负样本FP、表示被模型预测为负类的正样本FN和表示被模型预测为负类的负样本TN的值，并对TP、FP、TN和FN进行修正，得到TPC、FPC、FNC和FPC。采用包含柔性边界的精度计算方式，在保证精度计算的准确率的前提下实现模型精度自动检测。具体的，TP即True Positive,FP即FalsePositive,TN即True Negative,FN即False Negative)。在滑坡图斑边界以一个像元为距离做缓冲区，缓冲区内的像元个数是e，经过修正后的TPC＝TP+e，FPC＝FP-e，FNC＝FN-e，FPC＝FP+e。
精度指标包括通过计算体现算法对负样本的识别能力的Precision、表示所有正例中被正确预测的比例Recall、和衡量二分类模型精确度的F1-score对应的数值进行精度评价。
所述Precision的函数表达式如下，
所述Recall的函数表达式如下，
所述F1-score的函数表达式如下：
F1-score同时兼顾了分类模型的精确率和召回率，可以看作是两者的一种调和平均，值介于0和1之间。
结果精度评价的指标还包括表示标签的真实值与模型预测值两者集合重叠率的IoU，所述IoU的函数表达式如下：
由于滑坡边界线通常不明显，植被以及降水造成的冲沟都会增加滑坡边界人工判读难度，影响精度计算的结果。上述的多个指标包含了柔性边界的精度计算方式，从而使预测结果聚焦于滑坡本身而非边界的契合。
与现有技术相比，本发明的有益效果体现在：
(1)本申请全面利用该地区的滑坡数据包括准确位置、面积、分布状态等，先提取变化特征，再输入模型训练，在深度学习模型训练预测阶使用DEM+坡度+变化特征作为滑坡的约束条件，使得深度学习可以从数据中提炼诸如滑坡与坡面这类复杂关系的深层次数据联系；创造性地利用非对称卷积更准确地提取不同方向上的特征而不受旋转目标的干扰，提高了网络对旋转畸变的鲁棒性。
(2)通过遥感图像进行滑坡提取实质属于图像分割，为了提升分割效果，本申请提取前后时相遥感数据中与滑坡有关的特征用于模型训练和预测，并加入DEM数据和坡度信息解决了U-Net模型提取滑坡不准确，边界捕捉困难的问题，使用像素级变化特征提取方法提取前后时相遥感数据，进一步提高U-Net模型在实际场景下解译滑坡的精度。
(3)本申请利用非对称卷积相较于传统3x3的2D卷积，能够不受旋转目标的干扰而更准确地提取不同方向上特征的特性。本申请针对滑坡分布特点和模型训练过程中存在的问题做出改进，增强网络对旋转畸变的鲁棒性，解决了编码器和解码器语义信息不匹配的问题。
(4)U-Net模型本身存在解码器上采样阶段信息损失的问题，会制约U-Net模型在实际场景下解译滑坡的精度，使其不能满足实际的需求，因此本申请利用密集上采样来解决上采样阶段信息损失的问题，提高了网络在复杂场景下提取滑坡的能力。
(5)不同时相的高分辨率遥感影像往往存在配准问题，这些问题是由于太阳位置和卫星姿态差异引起的几何和光谱上的偏差，直接使用带有配准问题的遥感影像提取滑坡会对结果造成干扰，人工校正这种配准误差费时费力，并且很难达到较好地效果。本发明使用的方法可以提高变化特征提取过程中对配准误差的鲁棒性。
(6)由于滑坡边界线通常不明显，植被以及降水造成的冲沟都会增加滑坡边界人工判读难度，影响精度计算的结果。上述的多个指标包含了柔性边界的精度计算方式，从而使预测结果聚焦于滑坡本身而非边界的契合。
附图说明
图1为本发明基于非对称卷积的改进U-Net网络滑坡提取的流程图，
图2为本发明基于非对称卷积的改进U-Net网络的的滑坡提取模型示意图；
图3为本发明滑坡提取模型中三种基本模块的示意图；
图4为本发明滑坡提取模型的密集上采样模块的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步详细说明。
本实施例提供了一种基于非对称卷积的改进U-Net网络的滑坡提取方法，参考图1的流程图，包括如下步骤：
步骤一、数据预处理与数据标注，
数据获取，获取目标区域的高分辨率遥感影像，并进行数据预处理。对目标区域的高分辨率遥感影像进行拼接、镶嵌、匀色、正射校正、影像裁剪等处理，获得目标区域完整的高分辨率遥感影像，格式为TIFF。获取该地区的DEM数据和前时相遥感影像。
步骤二、多源数据构建，
利用该地区DEM数据提取坡度信息，采用像素级变化特征提取方法依据前后时相数据提取该区域的变化特征，最终构成的数据包含六个通道，包括RGB后时相遥感影像、DEM数据、坡度信息、变化特征；
坡度信息的计算方式如下：
p,q表示高程在水平方向和垂直方向上的变化率(增量)；
变化特征的提取方法包括：
1)首先选取该地区前后时相数据，设定邻域范围，前后时相数据逐通道相减，在每个像素的邻域范围内计算差值，选取差值最大的值作为该地区的变化特征；
2)每个通道上计算的变化特征在通道维度上求均值，最后生成单通道的变化特征图。
步骤三、制作带有滑坡标签的数据集，
遥感影像上人工勾画滑坡区域，制作出与选择的高分辨率遥感影像的像素完全对应的二分类标签图，其中滑坡对应的像素标记为1，非滑坡标记为0，最后将结果裁剪为小块；更具体的：
1)选择高分辨率遥感影像上部分区域的滑坡并人工勾画出边界，最终制作出与选择的高分辨率遥感影像中的区域的像素完全对应的标签图；
2)对勾画出的矢量栅格化，生成与裁剪区域逐像素对应的栅格文件；
3)对高分辨率遥感影像及其标注生成的栅格裁剪成相互对应的、大小为256*256像素的小块，生成原始的数据集；
4)对3)生成的原始数据集进行增强操作以制作最终的数据集，增强处理包括：多尺度缩放、随机旋转和随机翻转。
步骤四、构建模型，
主体采用U-Net网络结构，编码器部分采用非对称卷积代替原有标准卷积层，解码器采用密集上采样构成，网络的构成如图2-图4所示，具体说明如下：
1)网络构建，
网络采用步距为2、大小为3×3的2D卷积构建，每层后面搭配BatchNormalization层和ReLU激活函数。经过这两层将输入大小为256×256的图像降采样到128×128，将输入的6个通道(RGB遥感影像、DEM数据、坡度信息、变化特征)扩展到64个通道中；
这种结构降低分辨率以降低需要计算的图像的大小，同时抽取信息扩展到多个通道中；
2)构建特征编码模块，
通过4个非对称卷积层构建特征编码器，使用非对称卷积构建特征编码模块,使用1×3、3×1和3×3大小的卷积核取代标准的3×3卷积，整合多个非线性激活层，以提取不同方向的图像特征；其中各层参数由表1所示；
表1滑坡提取模型中除Pixel shuffle外各个卷积层参数设置
将通过两层卷积降采样后得到的特征图送入该特征编码网络可以得到不同尺度下的特征图；
3)使用密集上采样构建解码器，
密集上采样输入特征图的尺寸是h×w×C，经过密集上采样模块后生成的特征图尺寸是H×W×L；
其中，h＝H/d,w＝W/d,d是下采样的倍数；
为了使输出的特征图可以通过重新排列的方式与标签大小一致，特征图输出的大小应当是h×w×d2×L，该层被称为Pixel shuffle层；
解码器对获取的不同尺度的高分辨率遥感影像特征图采用逐层解码的方式将特征图大小解码至原图大小；更具体的，该模块通过空间重新排列的方式对低分辨率特征图进行通道维度降维，同时提高了空间分辨率，直至与滑坡标签大小相同。
步骤五、模型训练，
使用步骤三制作的样本训练步骤四设计的滑坡提取模型使用交叉熵损失函数，采用反向传播与梯度下降方法更新网络参数以训练模型；
模型训练的具体步骤包括：
1)批量输入成对的影像(包含六通道多源数据)与标签
2)经过网络计算后，在网络最后输出结果；
对这个输出结果首先使用softmax方法分别进行通道上的归一化；然后进行误差的计算，即将归一化后的结果与标签图像分别进行损失函数值的计算，并利用反向传播与梯度下降方法更新每个参数的权重；
其中，使用的损失函数是交叉熵损失函数，公式为：
其中，N为每张影像像素数量，p x为对应像素点i的真实类别分布，q x为对应像素点i的预测类别分布。
3)模型精度自动检测；
利用包含柔性边界的精度计算方式，判断预测结果是否聚焦于滑坡本身而非边界的契合。该方法可以允许边界存在一定范围的误差，实验中允许的误差范围是1个像素。
Precision，Recall，F1-score，IoU由TP,FP,TN,FN计算得到；
在滑坡图斑边界以一个像元为距离做缓冲区，缓冲区内的像元个数是e，经过修正后的TPC＝TP+e，FPC＝FP-e，FNC＝FN-e，FPC＝FP+e；
Precision体现算法对负样本的识别能力，函数表达式如下：
Recall表示所有正例中被正确预测的比例，函数表达式如下：
F1-score是统计学中用来衡量二分类模型精确度的一种指标，函数表达式如下：
IoU表示标签的真实值与模型预测值两者集合的重叠率，函数表达式如下：
分别设置合适的Precision，Recall，F1-score，IoU的值以进行结果精度的评价。
步骤六、滑坡提取。
使用训练后的滑坡提取模型与目标区域的高分辨率遥感影像、DEM数据和变化特征对目标区域的滑坡进行提取、识别；包括：
1)将待提取目标区域的高分辨率影像进行类似步骤一的数据预处理，然后获取目标区域的DEM数据、前时相遥感数据、坡度信息和变化特征，这里获取坡度信息、变化特征的方式与多源数据构建时候获取的方式一致，不在此赘述，用于获取变化特征的前时相遥感数据已事先获取并保存，计算变化特征时，根据待提取目标区域提取相应的前时相遥感数据即可；
将待提取的目标区域处理好的高分辨率遥感影像、DEM数据、坡度信息和变化特征一起叠加成6通道数据然后裁剪、编号；
2)将裁剪好的图像输入网络中，得到识别结果并按照与输入编号对应的名称命名并保存；
3)将区域预测结果按照裁剪的编号重新拼接得到滑坡的提取结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，包括：
模型构建，主体采用U-Net网络结构，且U-Net网络结构的编码器部分采用非对称卷积，解码器部分采用密集上采样；
多源数据构建，由RGB后时相遥感影像数据、RGB前后时相遥感影像变化特征、DEM数据和坡度信息构成六通道多源数据；
使用带有滑坡标签的六通道多源数据集训练所构建的模型得到训练后的模型，以得到能够对目标区域进行滑坡提取的训练后模型。
2.根据权利要求1所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，以目标区域的六通道多源数据为输入，输入至训练后的模型，以使用训练后的模型对目标区域进行滑坡提取。
3.根据权利要求2所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，所述变化特征根据相应地区的RGB前时相遥感影像和RGB后时相遥感影像获得，所述RGB后时相遥感影像和RGB前时相遥感影像分别通过相应时相的高分辨率遥感影像获取；
所述变化特征的提取具体如下，
1)选取该地区前后时相数据，设定邻域范围，前后时相数据逐通道相减，计算每个像素邻域范围内的差值，选取差值最大的值作为该地区的变化特征，
2)每个通道上计算的变化特征在通道维度上求均值，最后生成单通道的变化特征图。
4.根据权利要求3所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，所述坡度信息的计算方式如下，
p,q表示高程在水平方向和垂直方向上的变化率(增量)。
5.根据权利要求3所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，所构建的模型包括两层卷积模块，两层卷积模块的输出连接编码器，编码器由多个非对称卷积层构成，编码器的输出连接解码器，解码器采用的密集上采样模块由多层卷积层组成，并分别直接或通过连接层连接至两层卷积模块的输出，以及各非对称卷积层的输出以对获取的不同尺度的高分辨率遥感影像特征图采用逐层解码的方式将特征图大小解码至原图大小。
6.根据权利要求5所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，两层卷积模块包括第一卷积层和第二卷积层，第一卷积层和第二卷积层均为大小为3×3的2D卷积，且每个卷积层后面均搭配有BN层和非线性激活层。
7.根据权利要求5所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，所述的编码器包括有四个非对称卷积层，每个非对称卷积层均包括三个并列的卷积层，三个卷积层的卷积核大小分别为1×3、3×1和3×3，且每个卷积层之后均搭配有非线性激活层。
8.根据权利要求7所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，密集上采样模块通过空间重新排列的方式对低分辨率特征图进行通道维度降维，同时提高空间分辨率直至与滑坡标签大小相同。
9.根据权利要求7所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，通过以下方式制作带有滑坡标签的数据集：
在高分辨率遥感影像上人工勾画滑坡区域，制作出与选择的高分辨率遥感影像的像素完全对应的二分类标签图，其中滑坡对应的像素标记为1，非滑坡标记为0，最后将结果裁剪为小块；
将裁剪后的高分辨率遥感影像，也即RGB后时相遥感影像数据、滑坡标签及对应的RGB前后时相遥感影像变化特征、DEM数据和坡度信息成组构建所述的数据集。
10.根据权利要求1所述的基于非对称卷积的改进U-Net网络的滑坡提取方法，其特征在于，本方法使用交叉损失函数，采用反向传播与梯度下降方法更新网络参数以训练模型；
本方法还包括包含柔性边界的精度计算方法，用于根据测试数据集检测训练后模型的预测精度：
获取表示被模型预测为正类的正样本TP、表示被模型预测为正类的负样本FP、表示被模型预测为负类的正样本FN和表示被模型预测为负类的负样本TN的值，并对TP、FP、TN和FN进行修正，得到TPC、FPC、FNC和FPC。
CN202310794223.9A 2023-06-30 2023-06-30 基于非对称卷积的改进U-Net网络的滑坡提取方法 Pending CN116977632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310794223.9A CN116977632A (zh) 2023-06-30 2023-06-30 基于非对称卷积的改进U-Net网络的滑坡提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310794223.9A CN116977632A (zh) 2023-06-30 2023-06-30 基于非对称卷积的改进U-Net网络的滑坡提取方法

Publications (1)

Publication Number Publication Date
CN116977632A true CN116977632A (zh) 2023-10-31

Family

ID=88484163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310794223.9A Pending CN116977632A (zh) 2023-06-30 2023-06-30 基于非对称卷积的改进U-Net网络的滑坡提取方法

Country Status (1)

Country Link
CN (1) CN116977632A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274823A (zh) * 2023-11-21 2023-12-22 成都理工大学 基于DEM特征增强的视觉Transformer滑坡识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274823A (zh) * 2023-11-21 2023-12-22 成都理工大学 基于DEM特征增强的视觉Transformer滑坡识别方法
CN117274823B (zh) * 2023-11-21 2024-01-26 成都理工大学 基于DEM特征增强的视觉Transformer滑坡识别方法

Similar Documents

Publication Publication Date Title
CN108230329B (zh) 基于多尺度卷积神经网络的语义分割方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN110956126B (zh) 一种联合超分辨率重建的小目标检测方法
CN111625608B (zh) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
US8319793B2 (en) Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects
CN104361590B (zh) 一种控制点自适应分布的高分辨率遥感影像配准方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
Chen et al. Large-scale individual building extraction from open-source satellite imagery via super-resolution-based instance segmentation approach
CN114898212B (zh) 一种高分辨率遥感图像多地物变化信息提取方法
CN112561876A (zh) 基于图像的池塘和水库的水质检测方法及系统
CN112419333B (zh) 一种遥感影像自适应特征选择分割方法及系统
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN116977632A (zh) 基于非对称卷积的改进U-Net网络的滑坡提取方法
CN115019274A (zh) 一种融合追踪与检索算法的路面病害识别方法
Bin et al. Parcel-based change detection in land-use maps by adopting the holistic feature
CN114596503A (zh) 一种基于遥感卫星影像的道路提取方法
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN115861409B (zh) 大豆叶面积测算方法、系统、计算机设备及存储介质
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN110598702A (zh) 一种船舰目标检测数据集的制备方法、系统、设备及介质
CN110991230A (zh) 基于旋转候选框的任意方向遥感影像舰船检测方法及系统
CN115761223A (zh) 一种利用数据合成的遥感影像实例分割方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN115205624A (zh) 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质
CN113743487A (zh) 一种增强型遥感影像目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination