CN115240066A - 基于深度学习的遥感影像矿区复绿监测方法及系统 - Google Patents

基于深度学习的遥感影像矿区复绿监测方法及系统 Download PDF

Info

Publication number
CN115240066A
CN115240066A CN202210610395.1A CN202210610395A CN115240066A CN 115240066 A CN115240066 A CN 115240066A CN 202210610395 A CN202210610395 A CN 202210610395A CN 115240066 A CN115240066 A CN 115240066A
Authority
CN
China
Prior art keywords
data
network
remote sensing
deep learning
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210610395.1A
Other languages
English (en)
Inventor
张春燕
杨斌
陈勉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenshang County Forestry Protection And Development Service Center
Original Assignee
Wenshang County Forestry Protection And Development Service Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenshang County Forestry Protection And Development Service Center filed Critical Wenshang County Forestry Protection And Development Service Center
Priority to CN202210610395.1A priority Critical patent/CN115240066A/zh
Publication of CN115240066A publication Critical patent/CN115240066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种基于深度学习的遥感影像矿区复绿监测方法及系统，该方法包括：获取监测区域多源遥感影像历史数据并进行预处理，得到初始数据集；构建包括超分辨率重构网络、数据融合网络和语义分割网络的深度学习网络模型；基于初始数据集依次对超分辨率重构网络、数据融合网络和语义分割网络进行训练，得到训练好的深度学习网络模型；利用训练好的深度学习网络模型对监测区域的当前影像数据进行处理，得到监测区域的分类结果，以实现对矿区复绿的监测。本发明通过将深度学习、遥感技术及矿区复绿监测相结合，并利用多源多尺度遥感数据及其融合数据实现了矿区复绿监测，极大提升了矿区复绿监测的准确性和精度。

Description

基于深度学习的遥感影像矿区复绿监测方法及系统
技术领域
本发明属于土地质量评价技术领域，具体涉及一种基于深度学习的遥感影像矿区复绿监测方法及系统。
背景技术
矿区复绿是解决矿山地质环境问题的主要途径之一。矿山复绿是指对矿山脆弱生态地区进行一系列生态修复的过程，而矿区复绿的动态监测过程又是矿区复率工作中必不可少的重要环节。传统的矿区复绿监测主要是通过人工外业勘测的方式，结合相关地理信息数据，进行地物类型的划分，进而实现对矿区复绿情况的监测。但该方法存在的问题包括：人工勘测工作周期较长，经费开销较大且监测误差较大。并且依靠人工观测的方法难以实现大范围同步观测。
近年来，随着遥感技术的不断发展，充分发挥遥感影像的大面积同步观测、时效性强、周期性短等特点，遥感技术被应用到矿区复绿监测中。
例如，现有技术一提供了一种通过无人机低空遥感获取煤炭矿区高清影像，利用基于面向对象分类方法和深度学习的语义分割模型进行高效煤炭矿区地物提取的方法。其采用无人机完成对数据的采集工作，利用面向对象的分类方法配合人工校正，制作用于深度学习语义分割的样本，再利用FCN-32s，FCN-8s和U-Net等3种深度学习语义分割模型提取图像特征，训练出3种不同的分类模型，并基于此提出多数投票法和打分算法两种集成模型改进地物提取精度。
然而，上述方法的数据来源完全依靠无人机数据，数据来源较为单一，导致空间信息和波段信息较为单一，不利于对不同地物的高精度提取。且无人机数据的观测范围有限，不利于大范围同步观测。
现有技术二提供了一种采用单幅矿区遥感图像，将U-Net网络作为语义分割的基础网络，使用代价敏感权重向量的方法，并且利用通道注意力机制挖掘特征通道图的依赖性，最后通过条件随机场进行分割结果的细化，进而实现对矿区地物类型的分类。
然而，上述方法采用单幅遥感影像作为训练样本，训练数据集过小，从而导致训练结果可能会存在过拟合的现象，且泛化能力较弱。此外，U-net 网络是2015年提出的用于医学图像分割的网络，其网络架构的参数相对于其他深度学习网络来说较少，容易出现欠拟合、精度低的缺点。
综上，现有的矿区复绿监测方法均存在精度较低的问题，不利于获取更加完整的矿区生态环境监测体系。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于深度学习的遥感影像矿区复绿监测方法及系统。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供了一种基于深度学习的遥感影像矿区复绿监测方法，包括：
步骤1：获取待监测区域多源遥感影像历史数据并进行预处理，得到初始数据集；
步骤2：构建包括超分辨率重构网络、数据融合网络和语义分割网络，的深度学习网络模型；
步骤3：基于所述初始数据集依次对所述超分辨率重构网络、所述数据融合网络和所述语义分割网络进行训练，得到训练好的深度学习网络模型；
步骤4：利用训练好的深度学习网络模型对待监测区域的当前影像数据进行处理，得到待监测区域的分类结果，以实现对矿区复绿的监测。
在本发明的一个实施例中，步骤2中构建的数据融合网络包括依次连接的编码模块、融合模块和解码模块；
所述编码模块包括若干个特征提取单元，每个特征提取单元均包括一个第一卷积层和一个密集块；其中，
所述第一卷积层包括一个3×3大小的滤波器，所述密集块包括多个级联的第二卷积层；
所述解码模块包括若干个级联的第三卷积层。
在本发明的一个实施例中，步骤3包括：
基于所述初始数据集构建第一训练样本，以对所述超分辨率重构网络进行训练；
利用训练好的超分辨率重构网络对所述初始数据集进行处理，得到超分辨率数据；
基于所述超分辨率数据构建第二训练样本，以对所述数据融合网络进行训练；
利用训练好的数据融合网络对所述超分辨率数据进行处理，得到融合数据；
基于所述融合数据构建第三训练样本，以对所述语义分割网络进行训练，得到训练好的深度学习网络模型。
在本发明的一个实施例中，基于所述融合数据构建第三训练样本，以对所述语义分割网络进行训练，包括：
对所述融合数据进行裁剪、数据增强以及标注处理，得到第三训练样本；
将所述第三训练样本按照一定比例划分为训练集和验证集；
分别利用所述训练集和所述验证集对所述语义分割网络进行训练和验证，得到训练好的语义分割网络。
在本发明的一个实施例中，步骤4包括：
将待监测区域的当前影像数据输入到训练好的深度学习网络模型中；
若待监测区域的当前影像数据为单源遥感影像数据，则：
依次利用训练好的超分辨率重构网络和语义分割网络对所述单源遥感影像数据进行超分辨率重构和语义分割处理，得到分类结果；或者
直接利用训练好的语义分割网络对所述单源遥感影像数据进行语义分割处理，得到分类结果；
若待监测区域的当前影像数据为多源遥感影像数据，则：
利用训练好的超分辨率重构网络对所述多源遥感影像数据中的低分辨率数据进行超分辨率重构，得到超分辨率图像；
利用训练好的数据融合网络对所述超分辨率图像进行融合处理，得到融合图像；
利用训练好的语义分割网络对所述融合图像进行语义分割，得到分类结果。
在本发明的一个实施例中，在得到待监测区域的分类结果之后，还包括：
采用全连接条件随机场对分类结果进行图像后处理。
第二方面，本发明提供了一种基于深度学习的遥感影像矿区复绿监测系统，包括数据获取模块和深度学习网络模型；其中，所述深度学习网络模型包括超分辨率重构网络、数据融合网络和语义分割网络；
当所述基于深度融合的遥感影像矿区复绿监测系统在实现矿区复绿监测时，执行以下步骤：
利用所述数据获取模块获取待监测区域多源遥感影像历史数据并进行预处理，得到初始数据集；
基于所述初始数据集依次对所述超分辨率重构网络、所述数据融合网络和所述语义分割网络进行训练，得到训练好的深度学习网络模型；
利用训练好的深度学习网络模型对待监测区域的当前影像数据进行处理，得到待监测区域的分类结果，以实现对矿区复绿的监测。
在本发明的一个实施例中，还包括：
优化模块，用于采用全连接条件随机场对所述分类结果进行图像后处理。
在本发明的一个实施例中，还包括：
精度分析模块，用于对所述分类结果进行精度评估。
在本发明的一个实施例中，还包括：
动态监测模块，用于根据多源遥感影像历史数据和精度评估结果实现对矿区复绿的动态监测。
本发明的有益效果：
1、本发明将深度学习、遥感技术及矿区复绿监测相结合，通过构建深度学习网络，并利用多源多尺度遥感数据及其融合数据多网络进行训练，从而实现矿区复绿监测；一方面，多源多尺度遥感数据具有较大的观测范围，有利于大范围同步观测；另一方面，经过深度融合后的数据具有更加丰富的空间信息和波段信息，极大的提升了矿区复绿监测的准确性和精度，有利于获取更加完整的矿区生态环境监测体系；
2、本发明提供的基于深度学习的遥感影像矿区复绿监测系统采用模块化设计方法，将不同的数据处理阶段封装成对应的模块，并集成为一套完整的遥感影像矿区复绿监测系统，便于实际应用推广。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于深度学习的遥感影像矿区复绿监测方法流程示意图；
图2是本发明实施例提供的三种数据预处理流程图；
图3是本发明实施例提供的超分辨率重构网络的结构示意图；
图4是本发明实施例提供的数据融合网络的结构示意图；
图5是本发明实施例提供的语义分割网络的结构示意图；
图6是本发明实施例提供的地物标注示意图；
图7是本发明实施例提供的基于深度学习的遥感影像矿区复绿监测系统的结构框图；
图8是本发明实施例提供的基于深度学习的遥感影像矿区复绿监测系统的另一种结构框图；
图9是本发明实施例提供的基于深度学习的遥感影像矿区复绿监测系统的又一种结构框图；
图10a-10d是采用本发明的方法对不同时期的遥感影像数据进行分类后的结果。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的一种基于深度学习的遥感影像矿区复绿监测方法流程示意图；其包括：
步骤1：获取待监测区域多源遥感影像历史数据并进行预处理，得到初始数据集。
首先，获取待检测区域多源遥感影像历史数据。
在本实施例中，待监测区域的多源遥感影像历史数据至少包括两种以上的不同数据，其可以通过向相关管理单位申请获得。
具体地，本实施例所采用的多源遥感数据的来源包括：Landsat8 OLI 数据、GF-1数据以及Sentinel-2数据这三种遥感数据。
然后，对获得的多种遥感数据进行预处理。需要说明的是，对于不同来源的数据，其处理方法不同。
请参见图2，图2是本发明是实施例提供的三种数据预处理流程图，对于本实施例而言，三种数据的预处理方法分别如下：
1、Landsat8 OLI影像数据预处理：包括多光谱影像与第八波段全色影像几何配准、图像融合，融合后的图像进行辐射处理、大气校正。
2、GF-1影像数据预处理：包括多光谱影像的辐射校正、大气校正、正射校正；全色影像的辐射校正、正射校正；全色和多光谱的数据配准、数据融合。
3、Sentinel-2影像数据预处理：利用图像预处理插件，使用cmd命令对哨兵影像进行预处理、利用相关图像软件检查预处理结果，并转换格式。
多源遥感影像历史数据进过与处理后，得到初始的数据集。
需要说明的时，对于上述三种数据的详细处理过程，可参考现有相关技术，本实施例不做详细说明。
步骤2：构建包括超分辨率重构网络、数据融合网络和语义分割网络，的深度学习网络模型。
21)构建超分辨率重构网络。
由于不同的遥感影像数据必然存在超分辨上的差异，其所具有的波段信息也是有区别的。例如，本实施例中的GF-1数据在空间分辨率方面相较 Landsat8 OLI和Sentinel-2是更加高质量的，经过数据预处理后，空间分辨率可达到2m，但是仅有4个波段，在波段数方面低于Landsat8 OLI和Sentinel-2。而丰富的波段信息对于地物类型的判别是十分有利的。因此，为了弥补 Landsat8 OLI和Sentinel-2数据在空间分辨率方面的劣势，需要对这两类低分辨率数据进行基于深度学习的超分辨率重构处理。
请参见图3，图3是本发明实施例提供的超分辨率重构网络的结构示意图。在本实施例采用现有的GLEAN网络架构实现超分辨率重构，其包括编码器(Encoder)、隐式生成库(Generative Latent Bank)和解码器(Decoder)。
多余输入的低分辨率图像，GLEAN应用encoder提取潜在矢量 (latent vector)和多分辨率卷积特征，这些特征捕获了重要的高层线索以及 LR图像的空间结构，可以用于调节Latent Bank，为Decoder产生了另一组多分辨率特征。Decoder通过集成来自Encoder和Latent Bank的特征来生成最终输出。
其中，编码器包括一个RRDB-Net层，即图3中的E0，以及多个下采样层，即图3中的E1，E2，……，每个下采样层均包括一个步长为2的卷积和一个步长为1的卷积。
具体的，首先使用RRDB-Net层(图3中的E0)从低分辨率图像中得到特征f0。然后再经过一系列的下采样层(E1，E2，……)，每个下采样层均包括一个步长为2的卷积和一个步长为1的卷积，其过程如下式所示。
fi＝Ei(fi-1)，i∈{1，…，N}
再利用一个卷积层和一个全连接层用来生成latent vector：
C＝EN+1(fN)
其中，C是一个矩阵，其列表示预训练生成器StyleGAN需要的latent vector，为latent bank提供更高级的语义信息。
接着，对于Generative Latent Bank而言，给定卷积特征fi和latent vector C，利用预训练的生成器StyleGAN作为latent bank来提供纹理和细节生成的先验信息。
最后，GLEAN使用附加的具有渐进融合功能的Decoder来集成 Encoder和latentbank中的特征以生成输出图像。它以RRDBNet特征作为输入，并将特征与latent bank中的多分辨率特征逐步融合，得到最终的输出。
22)构建数据融合网络。
由于高分影像相较其他卫星数据影像而言，幅宽较窄，例如GF-1仅35 公里，而其他数据卫星幅宽较大，如Landsat卫星幅宽均在180公里左右。考虑到卫星观测带和过境范围等因素，通常满足应用需求的高分影像数据源较少，为了最大限度提高矿区复绿的精度要求，同时兼顾本发明在其他工程中的适用性，需要根据实际情况来进行数据融合处理。
在本实施例中，虽然经过超分辨率重构后，低空分辨率的Landsat8 OLI 及Sentinel-2在空间分辨率上得到有效提升，但其分辨率相较高分数据而言仍存在些许不足，为了综合多源遥感数据的优势，得到同时具备高空间分辨率和高谱间分辨率的融合结果，本实施例采用深度融合网络对三种遥感数据进行融合处理。
请参见图4，图4是本发明实施例提供的数据融合网络的结构示意图，其包括依次连接的编码模块、融合模块和解码模块；其中，
所述编码模块包括若干个特征提取单元，每个特征提取单元均包括一个第一卷积层和一个密集块；其中，
所述第一卷积层包括一个3×3大小的滤波器，所述密集块包括多个级联的第二卷积层；
所述解码模块包括若干个级联的第三卷积层。
具体地，编码模块由第一卷积层C1和密集块(Dense Block)组成，用以提取深层特征。其中，C1包含一个3×3大小的滤波器，旨在提取简单特征，如形状、大小等，而密集块包括三个第二卷积层，每一层的计算结果作为下一层的特征输入，卷积核大小为3×3。编码模块中的每一层包含16个卷积核，即特征映射数为16。
在融合模块中，可以根据实际需求的变化，从而选择不同的融合策略，具体过程本实施例再次不做详细描述。
融合模块的输出会作为解码模块的输入，解码模块包含四个第三卷积层，如图4中的C2、C3、C4，通过一系列的卷积操作得到最终的融合影像数据。
23)构建语义分割网络。
在本实施例中，所使用的语义分割网络是BiSeNetV2网络结构，具体网络架构如图5所示。
具体的，语义分割网络可以分为三个部分，第一个部分是左上方虚线框内的双通道主干，双通道主干有一个细粒度分支(蓝色通道)和一个语义分支(绿色通道)。细粒度分支生成的特征图有C1、C2、C3三个尺度。不同阶段的语义分支引入轻量级的因子λ(λ<1)，语义分支的最后一个阶段由上下文嵌入块实现输出。图中每一层的数字代表特征映射大小与输入图像空间分辨率的比值。第二个部分的右上方虚线框内的聚合层，在聚合层部分采用双边聚合层，即同时融合第一部分细粒度分支和语义分支的高层语义信息。在图5中Up代表上采样(Up Sampling)操作，φ是Sigmoid函数，×表示逐个元素相乘输出。第三个部分是下方虚线框内的强化结构，主要包括一些辅助分割头，用来提高分割精度。
至此，形成了包含超分辨率重构网络、数据融合网络和语义分割网络，的深度学习网络模型。
步骤3：基于所述初始数据集依次对所述超分辨率重构网络、所述数据融合网络和所述语义分割网络进行训练，得到训练好的深度学习网络模型。
在本实施例中，步骤3具体包括：
31)基于所述初始数据集构建第一训练样本，以对所述超分辨率重构网络进行训练。
32)利用训练好的超分辨率重构网络对所述初始数据集进行处理，得到超分辨率数据；
33)基于所述超分辨率数据构建第二训练样本，以对所述数据融合网络进行训练；
34)利用训练好的数据融合网络对所述超分辨率数据进行处理，得到融合数据；
35)基于所述融合数据构建第三训练样本，以对所述语义分割网络进行训练，得到训练好的深度学习网络模型。
需要说明的是，在本实施例中，超分辨率重构网络、数据融合网络和语义分割网络训练是一次进行训练的，用于训练后一级网络的训练样本来自于训练好的前一级网络的输出数据。
在利用第一训练样本、第二训练样本和第三训练样本分别对超分辨率重构网络、数据融合网络和语义分割网络训练之前，还需要对样本数据进行裁剪、扩充以及标注处理，并将处理后的样本数据划分为训练集和验证集，以对对应的网络进行训练。
本实施例对三个网络的详细训练过程可参考现有的网络训练相关技术，本实施例仅以构建第三训练样本以对语义分割网络进行训练为例，对样本的裁剪、扩充标注以及训练过程进行简单介绍。
具体的，基于所述融合数据构建第三训练样本，以对所述语义分割网络进行训练，包括：
a)对融合数据进行裁剪、数据增强以及标注处理，得到第三训练样本；
首先，对数据进行批量裁剪。
将经过融合处理的遥感数据，利用图像处理软件导出成三通道RGB真彩色影像，通过脚本编程，批量裁剪成固定尺寸的小尺寸图片，便于后期进行样本标注。
然后，进行数据增强，扩充数据集。
为了提高数据集中样本的数量，使得后期训练模型的泛化能力较强，对数据集进行增加噪声、图像拉伸旋转、明暗对比度调节等数据增强操作。
最后，对样本进行标注。
使用样本标注工具，将裁剪后的小尺寸影像，按照‘林地’、‘草地’、‘耕地’、‘裸土’、‘水域’、‘矿区’、‘未利用地’几类，进行地物标注，构建训练样本，地物标注过程如图6所示。
至此，得到了数据量较多的第三训练样本。
b)将所述第三训练样本按照一定比例划分为训练集和验证集。
具体的，可按照8:2的比例，将第三训练样本划分为训练集和验证集。
c)分别利用所述训练集和所述验证集对所述语义分割网络进行训练和验证，得到训练好的语义分割网络。
其中，训练集用于训练网络模型，验证集用于验证模型效果。
在本实施例，主要通过对分类结果的精度进行分析，以验证语义分割网络的效果。
具体的，本实施例采用总体准确率、Kappa系数、平均交并比MIoU来作为衡量地物分类精度的指标。
总体准确率定义为准确预测的像素数量与总像素数量的比值，公式为：
Figure BDA0003673017270000131
式中：Pe和Pt分别为正确预测的像素数量和总的像素数量。
Kappa系数为分类精度的衡量指标之一，基于混淆矩阵进行计算，值越高意味着一致性越高，分类精度越高。公式为：
Figure BDA0003673017270000141
式中：Po是每一类正确分类的样本数量之和除以总的样本数量；Pe为偶然因素导致的错误分类的比例。
平均交并比MIoU为衡量图像语义分割精度的重要指标，是对每一类交并比求和平均的结果。公式为：
Figure BDA0003673017270000142
式中：k表示测试集中的地物类别数；Pii表示第i类数据被标记为i类的数量，即正确分类的数量；Pij表示第i类数据被标记为j类的数量；Pji表示第j 类数据被标记为i类的数量。
通过验证集验证网络模型的分析效果达到所需精度时，说明网络训练完成，得到了网络模型的预训练权重参数，也即完成了网络训练。
分别完成超分辨率重构网络、数据融合网络和语义分割网络三个网络的训练之后，得到了整个网络模型的预训练权重参数。在使用时，将这些预训练得到的权重参数加载到模型中即为训练好的深度学习网络模型。
步骤4：利用训练好的深度学习网络模型对待监测区域的当前影像数据进行处理，得到待监测区域的分类结果，以实现对矿区复绿的监测。
在本实施例中，待监测区域的当前影像数据可以是单幅遥感影像数据，也可以是多源的遥感影像数据。
将待监测区域的当前影像数据输入到训练好的深度学习网络模型中；
若待监测区域的当前影像数据为单源遥感影像数据，则
依次利用训练好的超分辨率重构网络和语义分割网络对所述单源遥感影像数据进行超分辨率重构和语义分割处理，得到分类结果；或者
直接利用训练好的语义分割网络对所述单源遥感影像数据进行语义分割处理，得到分类结果。
具体地，若当前待处理的单源遥感影像数据为低分辨率影像数据，可以先利用超分辨率重构网络对其进行超分辨率重构，然后利用语义分割网络进行分类，得到分类结果。
若当前待处理的单源遥感影像数据为高分辨率影像数据，则可以直接利用语义分割网络进行分类，得到分类结果。
若待监测区域的当前影像数据为多源遥感影像数据，则
利用训练好的超分辨率重构网络对所述多源遥感影像数据中的低分辨率数据进行超分辨率重构，得到超分辨率图像；
利用训练好的数据融合网络对所述超分辨率图像进行融合处理，得到融合图像；
利用训练好的语义分割网络对所述融合图像进行语义分割，得到分类结果。
具体地，若待监测区域的当前影像数据为多源遥感影像数据，则多个遥感数据的分辨率之间必然存在差异，首先利用超分辨率重构网络对不同分辨率的图像进行超分辨重构，然后将得到的结果和没有进行超分辨率重构的高分辨率图像进行融合处理，最后，利用语义分割网络对融合后的图像进行语义分割，得到分类结果。
本发明的另一个实施例中，在得到待监测区域的分类结果之后，还包括：
采用全连接条件随机场对分类结果进行图像后处理。
具体地，由于在上述深度学习网络架构中使用了超分辨重构技术，包含了一系列上采样的操作，虽然能够将特征图恢复至原图尺寸，但也造成了特征的损失，自然而然产生了分类目标边界模糊的问题。为了得到更精确的最终分类结果，通常要进行一些图像后处理。全连接条件随机场是在目前深度学习图像分割应用中常用的一种图像后处理方式。
全连接条件随机场的具体实现原理是：令随机变量X是像素i的标签， X∈L＝l1，l2，…，lL，令变量X是由X1，X2，…，XN组成的随机向量，N是图像中像素点的个数。假设图G＝(V，E)，其中V＝X1，X2，…，XN，全局观测为I，(I，X)构成一个条件随机场：
Figure BDA0003673017270000161
在条件随机场模型中，标签x的能量的计算公式如下：
Figure BDA0003673017270000162
式中：xi代表像素i的标签，θi(xi)是一元势函数，代表将像素点i分为标签类别xi的能量。θij(xi，xj)是二元势函数，他描述不同像素点之间的关系。一元势函数来源于前端卷积神经网络的输出，计算公式如下：
θi(xi)＝-lgP(xi)
其中P(xi)代表由卷积神经网络预测出的像素点i为目标或者背景的概率。
二元势函数θij(xi，xj)表示当像素点i、j的标签为xi、xj时的能量，计算公式如下：
Figure BDA0003673017270000171
其中，u(xi，xj)为判别项，若xi≠xj，则u(xi，xj)＝1，否则为0。公式后半部分为2个不同特征空间中的高斯核，pi和pj分别表示两个像素点的坐标向量，Ii和Ij分别表示两个像素点的颜色向量。超参数ω1、ω2控制高斯核的权重，σα、σβ和σy则控制高斯核的尺度。
通过多次迭代，使能量函数的值最小化来获得最终结果。
通过全连接条件随机场对分类结果进行图像后处理，利用整个图像的信息来细化分割边缘，有效的解决了地物边缘分割模糊等缺陷，提高了分类的准确性。
本实施例提供的将深度学习、遥感技术及矿区复绿监测相结合，通过构建深度学习网络，并利用多源多尺度遥感数据及其融合数据多网络进行训练，从而实现矿区复绿监测；一方面，多源多尺度遥感数据具有较大的观测范围，有利于大范围同步观测；另一方面，经过深度融合后的数据具有更加丰富的空间信息和波段信息，极大的提升了矿区复绿监测的准确性和精度，有利于获取更加完整的矿区生态环境监测体系。
实施例二
在上述实施例一的基础上，本实施例提供了一种基于深度融合的遥感影像矿区复绿监测系统。请参见图7，图7是本发明实施例提供的基于深度学习的遥感影像矿区复绿监测系统的结构框图，其包括：
数据获取模块1和深度学习网络模型2；其中，所述深度学习网络模型2 包括超分辨率重构网络21、数据融合网络22和语义分割网络23；
当所述基于深度融合的遥感影像矿区复绿监测系统在实现矿区复绿监测时，执行以下步骤：
利用所述数据获取模块1获取待监测区域多源遥感影像历史数据并进行预处理，得到初始数据集；
基于所述初始数据集依次对所述超分辨率重构网络21、所述数据融合网络22和所述语义分割网络23进行训练，得到训练好的深度学习网络模型2；
利用训练好的深度学习网络模型2对待监测区域的当前影像数据进行处理，得到待监测区域的分类结果，以实现对矿区复绿的监测。
具体的，分辨率重构网络21、数据融合网络22和语义分割网络23的具体结构以及训练过程和利用其进行矿区复绿监测的具体实现步骤，可参考上述实施例一，本实施例在此不再赘述。
进一步地，请参见图8，图8是本发明实施例提供的基于深度学习的遥感影像矿区复绿监测系统的另一种结构框图，其中，该矿区复绿监测系统还包括优化模块3，用于采用全连接条件随机场对所述分类结果进行图像后处理，具体的处理过程参见上述实施例一。
进一步地，在本发明的另一个实施例中，该矿区复绿监测系统还包括精度分析模块4，用于对所述分类结果进行精度评估，如图9所示。详细过程可参考上述实施例一中验证集进行精度分析的计算过程，在此不再赘述。
在本发明的另一个实施例中，该矿区复绿监测系统还包括动态监测模块5，用于根据多源遥感影像历史数据和精度评估结果实现对矿区复绿的动态监测。
本实施例采用遥感动态监测技术，对研究区域范围内的同一地区，不同时期的遥感数据进行监测分析，以对地表的地物变化进行确定和分析。
具体来说，采用多个时期的多源遥感影像数据(这里以2019-2021三期遥感影像为例)均经过深度学习网络的处理，得到多个结果。对比各个时期的分类结果，分析不同地物类型的变化情况，并制作相应的图表。请参见图10a-10d，图10a-10d是采用本发明的方法对不同时期的遥感影像数据进行分类后的结果。其中，图10a是2019-2021年的土地利用变化图，图 10b是2019年矿区地物类型占比，图10c是2020年矿区地物类型占比，图 10d是2021年矿区地物类型占比。
本实施例通过所提的方法，对同一地区不同时期的遥感数据进行小狐狸，得到不同时期的矿区地物分类，有助于后续进行进一步地研究处理。例如，可通过对图10a-10d所表现出来的现象，进一步分析产生这种变化的内部、外部原因，针对可能的变化原因，指定相应的复绿优化政策等。
本发明提供的基于深度学习的遥感影像矿区复绿监测系统采用模块化设计方法，将不同的数据处理阶段封装成对应的模块，并集成为一套完整的遥感影像矿区复绿监测系统，便于实际应用推广。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于深度学习的遥感影像矿区复绿监测方法，其特征在于，包括：
步骤1：获取待监测区域多源遥感影像历史数据并进行预处理，得到初始数据集；
步骤2：构建包括超分辨率重构网络、数据融合网络和语义分割网络的深度学习网络模型；
步骤3：基于所述初始数据集依次对所述超分辨率重构网络、所述数据融合网络和所述语义分割网络进行训练，得到训练好的深度学习网络模型；
步骤4：利用训练好的深度学习网络模型对待监测区域的当前影像数据进行处理，得到待监测区域的分类结果，以实现对矿区复绿的监测。
2.根据权利要求1所述的基于深度学习的遥感影像矿区复绿监测方法，其特征在于，步骤2中构建的数据融合网络包括依次连接的编码模块、融合模块和解码模块；
所述编码模块包括若干个特征提取单元，每个特征提取单元均包括一个第一卷积层和一个密集块；其中，
所述第一卷积层包括一个3×3大小的滤波器，所述密集块包括多个级联的第二卷积层；
所述解码模块包括若干个级联的第三卷积层。
3.根据权利要求1所述的基于深度学习的遥感影像矿区复绿监测方法，其特征在于，步骤3包括：
基于所述初始数据集构建第一训练样本，以对所述超分辨率重构网络进行训练；
利用训练好的超分辨率重构网络对所述初始数据集进行处理，得到超分辨率数据；
基于所述超分辨率数据构建第二训练样本，以对所述数据融合网络进行训练；
利用训练好的数据融合网络对所述超分辨率数据进行处理，得到融合数据；
基于所述融合数据构建第三训练样本，以对所述语义分割网络进行训练，得到训练好的深度学习网络模型。
4.根据权利要求3所述的基于深度学习的遥感影像矿区复绿监测方法，其特征在于，基于所述融合数据构建第三训练样本，以对所述语义分割网络进行训练，包括：
对所述融合数据进行裁剪、数据增强以及标注处理，得到第三训练样本；
将所述第三训练样本按照一定比例划分为训练集和验证集；
分别利用所述训练集和所述验证集对所述语义分割网络进行训练和验证，得到训练好的语义分割网络。
5.根据权利要求1所述的基于深度学习的遥感影像矿区复绿监测方法，其特征在于，步骤4包括：
将待监测区域的当前影像数据输入到训练好的深度学习网络模型中；
若待监测区域的当前影像数据为单源遥感影像数据，则：
依次利用训练好的超分辨率重构网络和语义分割网络对所述单源遥感影像数据进行超分辨率重构和语义分割处理，得到分类结果；或者
直接利用训练好的语义分割网络对所述单源遥感影像数据进行语义分割处理，得到分类结果；
若待监测区域的当前影像数据为多源遥感影像数据，则：
利用训练好的超分辨率重构网络对所述多源遥感影像数据中的低分辨率数据进行超分辨率重构，得到超分辨率图像；
利用训练好的数据融合网络对所述超分辨率图像进行融合处理，得到融合图像；
利用训练好的语义分割网络对所述融合图像进行语义分割，得到分类结果。
6.根据权利要求1所述的基于深度学习的遥感影像矿区复绿监测方法，其特征在于，在得到待监测区域的分类结果之后，还包括：
采用全连接条件随机场对分类结果进行图像后处理。
7.一种基于深度学习的遥感影像矿区复绿监测系统，其特征在于，包括数据获取模块(1)和深度学习网络模型(2)；其中，所述深度学习网络模型(2)包括超分辨率重构网络(21)、数据融合网络(22)和语义分割网络(23)；
当所述基于深度融合的遥感影像矿区复绿监测系统在实现矿区复绿监测时，执行以下步骤：
利用所述数据获取模块(1)获取待监测区域多源遥感影像历史数据并进行预处理，得到初始数据集；
基于所述初始数据集依次对所述超分辨率重构网络(21)、所述数据融合网络(22)和所述语义分割网络(23)进行训练，得到训练好的深度学习网络模型(2)；
利用训练好的深度学习网络模型(2)对待监测区域的当前影像数据进行处理，得到待监测区域的分类结果，以实现对矿区复绿的监测。
8.根据权利要求7所述的基于深度学习的遥感影像矿区复绿监测系统，其特征在于，还包括：
优化模块(3)，用于采用全连接条件随机场对所述分类结果进行图像后处理。
9.根据权利要求8所述的基于深度学习的遥感影像矿区复绿监测系统，其特征在于，还包括：
精度分析模块(4)，用于对所述分类结果进行精度评估。
10.根据权利要求9所述的基于深度学习的遥感影像矿区复绿监测系统，其特征在于，还包括：
动态监测模块(5)，用于根据多源遥感影像历史数据和精度评估结果实现对矿区复绿的动态监测。
CN202210610395.1A 2022-05-31 2022-05-31 基于深度学习的遥感影像矿区复绿监测方法及系统 Pending CN115240066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210610395.1A CN115240066A (zh) 2022-05-31 2022-05-31 基于深度学习的遥感影像矿区复绿监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210610395.1A CN115240066A (zh) 2022-05-31 2022-05-31 基于深度学习的遥感影像矿区复绿监测方法及系统

Publications (1)

Publication Number Publication Date
CN115240066A true CN115240066A (zh) 2022-10-25

Family

ID=83668471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210610395.1A Pending CN115240066A (zh) 2022-05-31 2022-05-31 基于深度学习的遥感影像矿区复绿监测方法及系统

Country Status (1)

Country Link
CN (1) CN115240066A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737854A (zh) * 2023-05-26 2023-09-12 上海优异达机电有限公司 基于多源遥感数据的时空数据湖管理系统及其安全防护方法
CN117409327A (zh) * 2023-12-13 2024-01-16 中国地质调查局武汉地质调查中心(中南地质科技创新中心) 一种露天矿山的动态量化遥感监测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737854A (zh) * 2023-05-26 2023-09-12 上海优异达机电有限公司 基于多源遥感数据的时空数据湖管理系统及其安全防护方法
CN116737854B (zh) * 2023-05-26 2024-04-30 上海优异达机电有限公司 基于多源遥感数据的时空数据湖管理系统及其安全防护方法
CN117409327A (zh) * 2023-12-13 2024-01-16 中国地质调查局武汉地质调查中心(中南地质科技创新中心) 一种露天矿山的动态量化遥感监测方法

Similar Documents

Publication Publication Date Title
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN108596248B (zh) 一种基于改进深度卷积神经网络的遥感影像分类方法
Wang et al. DDU-Net: Dual-decoder-U-Net for road extraction using high-resolution remote sensing images
Zhang et al. Deep learning for processing and analysis of remote sensing big data: A technical review
Huang et al. GraNet: Global relation-aware attentional network for semantic segmentation of ALS point clouds
Wang et al. Spatiotemporal fusion of remote sensing image based on deep learning
CN115240066A (zh) 基于深度学习的遥感影像矿区复绿监测方法及系统
Hou et al. SolarNet: a deep learning framework to map solar power plants in China from satellite imagery
Dai et al. RADANet: Road augmented deformable attention network for road extraction from complex high-resolution remote-sensing images
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
Dibs et al. Multi-fusion algorithms for detecting land surface pattern changes using multi-high spatial resolution images and remote sensing analysis
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
CN115471437A (zh) 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
CN115376019A (zh) 一种异源遥感影像对象级变化检测方法
Pellis et al. An image-based deep learning workflow for 3D heritage point cloud semantic segmentation
Wang Remote sensing image semantic segmentation algorithm based on improved ENet network
Fu et al. Combination of super-resolution reconstruction and SGA-Net for marsh vegetation mapping using multi-resolution multispectral and hyperspectral images
CN116844053A (zh) 一种小麦种植区域识别方法、系统、电子设备及存储介质
CN116758388A (zh) 基于多尺度模型和残差的遥感图像时空融合方法及装置
CN106778490B (zh) 基于多流形的多时相高光谱图像分类方法
CN115909077A (zh) 基于无监督光谱解混神经网络的高光谱图像变化检测方法
Varma et al. HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination