CN111742329A - 一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台 - Google Patents

Abstract

本发明公开了一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台，方法包括以下步骤：步骤1：获取时序多源遥感数据以及矿山基础数据；步骤2：遥感数据处理并将多源异构数据融合得到高分辨率多光谱图像的增强遥感图像；步骤3：构造深度神经网络模型，采用深度神经网络与人工目视解译相结合的方法对典型地物进行智能提取；步骤4：对提取的典型地物进行在线动态监测和数据分析管理。本方法能提高遥感数据图像的空间分辨率增强图像后更容易识别典型地物，同时采用的机器解译方式能高效准确地识别出典型地物，从而能实时地对矿山的典型地物进行在线监测。

Description

一种基于多源遥感数据融合和深度神经网络的矿山开采典型 地物动态监测方法及平台

技术领域

本发明涉及一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台。

背景技术

传统矿山监测，由于缺乏多源时空遥感数据的组织与信息挖掘，仅是对分幅影像的矿体位置、面积指标的定性或半定量描述，并未真正实现时空动态变化监测。如果引入多源时空遥感数据，高时间分辨率使得遥感数据更新频率更快，可以对矿山进行高时频动态监测；高光谱分辨率使得矿山及地物的分辨识别能力更加准确，但是空间分辨率往往达不到地面采集影像的清晰度，加上矿山地区环境复杂，现有技术难以在空间分辨率不高的图像上解译出典型地物，因此目前还没有可靠准确的机器解译识别方法。而且由于矿山数量众多、分布面广，矿山的环境问题复杂多样，导致传统的以人工解译为主的矿山典型地物解译周期长、成本高，影响矿山开采的动态监测。

因此，如何融合多源卫星遥感数据并对矿山标志物进行智能解译来实现矿山开采典型地物的动态监测已经成为一个急需解决的技术问题。

发明内容

本发明的目的在于提供一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台，以解决现有技术中因为遥感图像空间分辨率较低，识别效果较差，并且矿山环境复杂，采用现有机器识别或人工识别的方法，分隔提取典型地物的准确性和实时性都不足的问题。

所述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，包括以下步骤：

步骤1：获取时序多源遥感数据以及矿山基础数据；

步骤2：遥感数据处理并将多源异构数据融合得到高分辨率多光谱图像的增强遥感图像；

步骤3：构造深度神经网络模型，采用深度神经网络与人工目视解译相结合的方法对典型地物进行智能提取；

步骤4：对提取的典型地物进行在线动态监测。

优选的，所述步骤2包括：

步骤2.1：卫星遥感影像处理；

步骤2.2：利用神经网络构建将多光谱图像降质为不同空间分辨率的单波段图像的降质模型和将若干低空间分辨率的单波段图像转化为高空间分辨率的多光谱图像的超分辨率合成模型；

步骤2.3：将采集的低空间分辨率的多光谱图像输入超分辨率合成模型，处理后得到高空间分辨率的增强遥感图像。

优选的，所述步骤2.2包括：

步骤2.2.1：获取卫星采集的训练区域的单波段遥感图像，并在训练区域通过采集矿山基础数据和不同空间分辨率的单波段图像，所述单波段图像与单波段遥感图像波段相同，构建神经网络，将所述单波段图像和矿山基础数据作为输入，将单波段遥感图像作为输出，对神经网络进行训练，矿山基础数据为区域内的地质地形信息，训练后得到所述降质模型；

步骤2.2.2：将卫星采集的训练区域高空间分辨率的多光谱图像分解为单波段图像后输入所述降质模型得到不同空间分辨率的单波段图像，通过人工方式将分解前的单波段图像中的低频部分和高频部分进行分块；

步骤2.2.3：构建神经网络，将低空间分辨率的单波段图像作为输入，将分块后的高空间分辨率的单波段图像作为输出，对神经网络进行训练，神经网络还提取低分辨率图像的特征，训练所提取特征与高空间分辨率的单波段图像中高频块的关联，训练后能让输入的单波段图像匹配最优的高频块得到对高频部分分块的高空间分辨率的单波段图像，并最后将各个高空间分辨率的单波段图像合成为高空间分辨率的多光谱增强遥感图像，从而得到所述超分辨率合成模型。

优选的，所述步骤3包括：

步骤3.1：对训练得到的遥感图像中包含的各种典型地物进行手动标识形成解译标志，并将解译标志作为样本进行采集管理；

步骤3.2：将遥感图像输入U-Net网络进行初次分类，得到的分类结果通过Mean-shift分割算法进行边缘优化处理，提高U-Net网络对地物的分类精度，再将处理后的数据通过KNN算法进行在分类，以将特征区分性不足造地物类别进行再分类得到分类结果；

步骤3.3：根据步骤3.1的解译标志和步骤3.2的分类结果通过人工方式对步骤3.2的分类结果进行分类解译生成大量训练标签，构建神经网络，将遥感图像和解译标志作为输入，将训练标签作为输出，对神经网络进行训练，训练后得到机器解译模型；

步骤3.4：在步骤2采集的遥感图像标识解译标志，将之后采集的多时序遥感图像和解译标志作为输入，通过机器解译模型提取特征，识别出图像中的典型地物以用于动态监测。

优选的，所述步骤3还包括：

步骤3.5：机器解译与专家知识结合解译，对机器解译的结果再进行人工目视解译，人工目视解译时与地面情况进行验证，用于机器解译结果解译精度较低的地物。

优选的，所述步骤1包括：

步骤1.1：获取覆盖矿山的不同时间、不同分辨率的多源卫星遥感图像，包括多光谱图像和单波段图像；

步骤1.2：采地面调查方式获取矿山基础数据。

本发明还提供了一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测平台，以实现上述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，所述动态监测平台包括数据库、图像处理解译模块、监测报告模块、矿山开采动态监测WebGIS系统、矿山开采监测可视化系统和矿山开采动态监测手机客户端，其中：

图像处理解译模块：用于将获取的遥感数据进行融合增强，再解译识别出图像中的典型地物进行监测

矿山开采动态监测WebGIS系统：用于加载不同时期的解译结果，通过对多时序的遥感解译结果进行叠加分析识别出典型地物的变化范围，实现在线展示矿山的基础数据及开采情况；

矿山开采监测可视化系统：用于将遥感解译结果通过大屏可视化展现；

矿山开采动态监测手机客户端：用于及时查看矿山的开采情况和在地面调查人员进行野外调查取证时上传典型地物的坐标位置及范围；

监测报告模块：用于根据解译结果和动态监测产生的分析结果制作监测情况图件和报告，给出监测结果；

数据库包括支撑数据库和监测结果数据库，支撑数据库用于对遥感数据及矿山的基础数据进行储存和管理，监测结果数据库用于对监测结果进行储存和管理。

本发明具有如下优点：本发明采用融合处理方法对遥感图像的空间分辨率进行了增强，因此可以利用卫星遥感影像高空间、高时间、高光谱分辨率的特点，通过对多源遥感数据的融合获得更全面的影像数据特征。同时采用基于深度神经网络的新方法构建机器解译模型，加快了训练样本的形成，能快速得到大量训练样本，且训练样本与实际采集的遥感图像相关性好，并能结合不同地区的基本数据进行模型计算，不仅大大提高了模型构建速度，模型计算的效率也更高，大大缩短了解译时间，只需对部分机器解译可靠性较低的典型地物进行人工解译验证就能保证准确性，因此该方法对典型地物识别的效率和准确性都达到实时监测的要求，真正实现了对矿山典型地物的动态监测，监测矿山的开采范围及面积。

建设矿山开采动态监测平台，包括矿山开采动态监测Web系统、矿山开采动态监测可视化系统、矿山开采动态监测手机客户端等，全面查看和分析监测结果，有效提高矿山的管理水平和监测效果。

附图说明

图1为本发明一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法的流程图。

图2为本发明中多源遥感影像进行降质和融合增强的流程图。

图3为本发明中基于深度神经网络的对典型地物智能识别提取的流程图。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

如图1-3所示，本发明提供了一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台，包括以下步骤：

本发明提供了一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，该方法包括下列步骤：

步骤1：时序多源遥感数据获取以及矿山基础数据地面调查；具体包括如下步骤：

步骤1.1：获取覆盖矿山的不同时间、不同分辨率的多源卫星遥感影像图。包括国产高分系列(GF-1、GF-2)、国产资源卫星(ZY-3)、国外哨兵卫星(Sentinel-2A)、Google卫星图等。

步骤1.2：矿山基础数据地面调查，包括矿区地形图和DEM数据、矿产资源规划数据、地质构造资料、矿产资源分布、矿产勘查数据、采矿权、探矿权数据、地质水文等。

步骤2：遥感数据处理并将多源异构数据融合得到高分辨率多光谱图像的增强遥感图像。具体包括如下步骤：

步骤2.1：卫星遥感影像处理。遥感数据处理流程包括辐射定标、大气校正、正射校正、图像配准、图像增强等操作。

步骤2.2：利用神经网络构建将多光谱图像降质为不同空间分辨率的单波段图像的降质模型和将若干低空间分辨率的单波段图像转化为高空间分辨率的多光谱图像的超分辨率合成模型。具体包括如下步骤：

步骤2.2.1：获取卫星采集的训练区域的单波段遥感图像，并在训练区域通过采集矿山基础数据和不同空间分辨率的单波段图像，所述单波段图像与单波段遥感图像波段相同，构建神经网络，将所述单波段图像和矿山基础数据作为输入，将单波段遥感图像作为输出，对神经网络进行训练，矿山基础数据为区域内的地质地形信息，训练后得到所述降质模型。

步骤2.2.2：将卫星采集的训练区域高空间分辨率的多光谱图像分解为单波段图像后输入所述降质模型得到不同空间分辨率的单波段图像，通过人工方式将分解前的单波段图像中的低频部分和高频部分进行分块。

步骤2.2.3：构建神经网络，将低空间分辨率的单波段图像作为输入，将分块后的高空间分辨率的单波段图像作为输出，对神经网络进行训练，神经网络还提取低分辨率图像的特征，训练所提取特征与高空间分辨率的单波段图像中高频块的关联，训练后能让输入的单波段图像匹配最优的高频块得到对高频部分分块的高空间分辨率的单波段图像，并最后将各个高空间分辨率的单波段图像合成为高空间分辨率的多光谱增强遥感图像，从而得到所述超分辨率合成模型。

步骤2.3：将采集的低空间分辨率的多光谱图像输入超分辨率合成模型，利用多层神经网络获得的先验知识，匹配最优高频块，处理后得到高空间分辨率的增强遥感图像。

高空间分辨率的单波段图像结合基础数据通过降质模型生成低空间分辨率的单波段图像，由此快速生成了与基础数据相关的大量训练样本，因此构建超分辨率合成模型时，训练效率高，可靠性好。通过超分辨率合成模型能有效提高空间分辨率，通过多个单波段图像合成一幅高分辨率多光谱图像的遥感图像，使得处理后的图像既有较高的空间分辨率，又具有多光谱特征，保持其纹理和地物的色调信息有助于解译，能很好的区分矿山开发的地物信息。

步骤3：构造深度神经网络模型，采用深度神经网络与人工目视解译相结合的方法对典型地物进行智能提取；典型地物包括矿山开采场地、中转场地、固体废弃物、矿山建筑、水体污染、恢复治理等重要地物；具体包括如下步骤：

步骤3.1：对矿山开采场地、中转场地、固体废弃物、矿山建筑、水体污染、恢复治理等典型地物进行手动标识形成解译标志，并将解译标志作为样本进行采集管理，解译标志是判读不同地物和提取目标信息的重要依据。

步骤3.2：基于U-Net的矿山对象分割。由于矿山不规则、地物复杂，通过U-Net网络的高分遥感影像分类，此过程令分类结果融合更多浅层细节信息与深层的鲁棒信息，之后通过Mean-shift分割算法(均值移动跟踪算法)对获得概率图结果(分类结果)进行边缘优化处理，提高U-Net网络对地物的分类精度。然后，采用KNN算法(K最近邻分类算法，k-NearestNeighbor)对第一步分类由于特征区分性不足易于造成错分的矿山地物类别进行再分类，从而更好的获取高分辨率影像中的矿山地物本质特征。

步骤3.3：根据步骤3.1的解译标志和步骤3.2的分类结果通过人工方式对步骤3.2的分类结果进行分类解译生成大量训练标签(模型的分类结果)，构建神经网络，将遥感图像和解译标志作为输入，将训练标签作为输出，对神经网络进行训练，训练后得到机器解译模型。该模型利用深度神经网络框架经过卷积层、池化层、激活函数、全连接层参数设置后进行特征提取，经训练后能实现目标识别、动态监测等任务。

步骤3.4：在步骤2采集的遥感图像标识解译标志，将之后采集的多时序遥感图像和解译标志作为输入，通过机器解译模型提取特征，识别出图像中的典型地物以用于动态监测。

步骤3.5：分类结果解译与地面验证。通过人工智能与专家知识结合的解译方式，保证解译结果的精确化。先使用机器解译，对于解译精度较高的结果，人工可以较少干预；对于解译精度较差的结果，需要人工目视解译和地面验证后进行确认，从而实现了对典型地物的智能提取。

步骤4：对提取的典型地物进行在线动态监测，依据提取的对应典型地物的动态遥感图像形成矿山开采动态监测体系。

本发明提供了一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测平台，以实现前述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法。

所述动态监测平台包括数据库、图像处理解译模块、监测报告模块、矿山开采动态监测WebGIS系统、矿山开采监测可视化系统和矿山开采动态监测手机客户端。

图像处理解译模块：用于将获取的遥感数据进行融合增强，再解译识别出图像中的典型地物进行监测。所用方法如步骤2和步骤3所述。

矿山开采动态监测WebGIS系统：用于加载不同时期的解译结果，通过对多时序的遥感解译结果进行叠加分析识别出典型地物的变化范围，实现在线展示矿山的基础数据及开采情况。

矿山开采监测可视化系统：用于将遥感解译结果通过大屏可视化展现，辅助管理人员进行指挥决策；

矿山开采动态监测手机客户端：用于及时查看矿山的开采情况和在地面调查人员进行野外调查取证时精确上传典型地物的坐标位置及范围。

监测报告模块：根据矿山开采的解译结果及动态监测，至少每一季度制作一份监测情况图件(解译图斑、图例、范围、面积等)及报告(包括分析统计信息)，但当发生应急情况时，要及时给出监测结果。

数据库包括支撑数据库和监测结果数据库，支撑数据库用于对遥感数据及矿山的基础数据进行储存和管理，监测结果数据库用于对监测结果(对月、季、年每期监测结果)进行储存和管理。

本发明利用卫星遥感影像高空间、高时间、高光谱分辨率的特点，通过对多源遥感数据的融合获得更全面的影像数据特征。建立对遥感影像及矿山基础数据管理的监测支撑数据库和对月、季、年每期监测结果管理的动态监测结果数据库。搭建矿山对象智能分割和深度神经网络框架，建立人工智能+专家知识结合的解译方式，对矿山重要地物标识进行自动分割，智能提取。建设矿山开采动态监测平台，包括矿山开采动态监测Web系统、矿山开采动态监测可视化系统、矿山开采动态监测手机客户端等。可以更准确、动态、智能地监测矿山的开采范围及面积，并通过监测平台及系统提高矿山的管理水平和监测效果。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (7)

1.一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，其特征在于：包括以下步骤：

步骤1：获取时序多源遥感数据以及矿山基础数据；

步骤2：遥感数据处理并将多源异构数据融合得到高分辨率多光谱图像的增强遥感图像；

步骤3：构造深度神经网络模型，采用深度神经网络与人工目视解译相结合的方法对典型地物进行智能提取；

步骤4：对提取的典型地物进行在线动态监测。

2.根据权利要求1所述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，其特征在于：所述步骤2包括：

步骤2.1：卫星遥感影像处理；

步骤2.2：利用神经网络构建将多光谱图像降质为不同空间分辨率的单波段图像的降质模型和将若干低空间分辨率的单波段图像转化为高空间分辨率的多光谱图像的超分辨率合成模型；

步骤2.3：将采集的低空间分辨率的多光谱图像输入超分辨率合成模型处理后得到高空间分辨率的增强遥感图像。

3.根据权利要求1所述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，其特征在于：所述步骤2.2包括：

步骤2.2.1：获取卫星采集的训练区域的单波段遥感图像，并在训练区域通过采集矿山基础数据和不同空间分辨率的单波段图像，所述单波段图像与单波段遥感图像波段相同，构建神经网络，将所述单波段图像和矿山基础数据作为输入，将单波段遥感图像作为输出，对神经网络进行训练，矿山基础数据为区域内的地质地形信息，训练后得到所述降质模型；

步骤2.2.2：将卫星采集的训练区域高空间分辨率的多光谱图像分解为单波段图像后输入所述降质模型得到不同空间分辨率的单波段图像，通过人工方式将分解前的单波段图像中的低频部分和高频部分进行分块；

步骤2.2.3：构建神经网络，将低空间分辨率的单波段图像作为输入，将分块后的高空间分辨率的单波段图像作为输出，对神经网络进行训练，神经网络还提取低分辨率图像的特征，训练所提取特征与高空间分辨率的单波段图像中高频块的关联，训练后能让输入的单波段图像匹配最优的高频块得到对高频部分分块的高空间分辨率的单波段图像，并最后将各个高空间分辨率的单波段图像合成为高空间分辨率的多光谱增强遥感图像，从而得到所述超分辨率合成模型。

4.根据权利要求1-3中任一所述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，其特征在于：所述步骤3包括：

步骤3.1：对训练得到的遥感图像中包含的各种典型地物进行手动标识形成解译标志，并将解译标志作为样本进行采集管理；

步骤3.2：将遥感图像输入U-Net网络进行初次分类，得到的分类结果通过Mean-shift分割算法进行边缘优化处理，提高U-Net网络对地物的分类精度，再将处理后的数据通过KNN算法进行在分类，以将特征区分性不足造地物类别进行再分类得到分类结果；

步骤3.3：根据步骤3.1的解译标志和步骤3.2的分类结果通过人工方式对步骤3.2的分类结果进行分类解译生成大量训练标签，构建神经网络，将遥感图像和解译标志作为输入，将训练标签作为输出，对神经网络进行训练，训练后得到机器解译模型；

步骤3.4：在步骤2采集的遥感图像标识解译标志，将之后采集的多时序遥感图像和解译标志作为输入，通过机器解译模型提取特征，识别出图像中的典型地物以用于动态监测。

5.根据权利要求4所述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，其特征在于：所述步骤3还包括：

步骤3.5：机器解译与专家知识结合解译，对机器解译的结果再进行人工目视解译，人工目视解译时与地面情况进行验证，用于机器解译结果解译精度较低的典型地物。

6.根据权利要求5所述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，其特征在于：所述步骤1包括：

步骤1.1：获取覆盖矿山的不同时间、不同分辨率的多源卫星遥感图像，包括多光谱图像和单波段图像；

步骤1.2：采地面调查方式获取矿山基础数据。

7.一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测平台，其特征在于：以实现权利要求1-6所述的一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法，所述动态监测平台包括数据库、图像处理解译模块、监测报告模块、矿山开采动态监测WebGIS系统、矿山开采监测可视化系统和矿山开采动态监测手机客户端，其中：

图像处理解译模块：用于将获取的遥感数据进行融合增强，再解译识别出图像中的典型地物进行监测

矿山开采动态监测WebGIS系统：用于加载不同时期的解译结果，通过对多时序的遥感解译结果进行叠加分析识别出典型地物的变化范围，实现在线展示矿山的基础数据及开采情况；

矿山开采监测可视化系统：用于将遥感解译结果通过大屏可视化展现；

矿山开采动态监测手机客户端：用于及时查看矿山的开采情况和在地面调查人员进行野外调查取证时上传典型地物的坐标位置及范围；

监测报告模块：用于根据解译结果和动态监测产生的分析结果制作监测情况图件和报告，给出监测结果；

数据库包括支撑数据库和监测结果数据库，支撑数据库用于对遥感数据及矿山的基础数据进行储存和管理，监测结果数据库用于对监测结果进行储存和管理。

Images