CN115774861A - 一种自然资源多源异构数据汇聚融合服务系统 - Google Patents

Abstract

本申请公开了一种自然资源多源异构数据汇聚融合服务系统，包括：多源异构数据管理模块，用于管理汇聚融合的多源异构数据，所述多源异构数据包括空间数据和非空间数据；数据管理引擎，用于构建全空间信息管理模型，并利用所述全空间信息管理模型将地理空间数据进行分解，将分解后的数据映射到多粒度时空对象上；汇聚融合引擎，用于根据统一数据格式和统一时空基准对多粒度时空对象上的数据进行预处理，并利用预设的神经网络算法及ETL数据交换技术对预处理后的数据进行融合。本申请通过提供数据管理、融合等服务，将ETL技术和神经算法结合实现源异构数据的快速汇聚融合，相对于现有的异构数据集成方法来说，具有更高的转化效率和准确率。

Description

一种自然资源多源异构数据汇聚融合服务系统

技术领域

本申请涉及数据融合技术领域，尤其涉及一种自然资源多源异构数据汇聚融合服务系统。

背景技术

随着空间数据获取与处理技术的不断发展更新，空间数据的多源异构数据呈现出类型繁杂、来源广、尺度多、信息量大等特点，因此多源异构数据在数学基础、空间基准、尺度、现势性、编码和格式等方面存在着不一致、不协调及不统一等问题。因此，实现多源异构数据的汇聚，并对汇聚的数据进行统一格式、统一时空基准，以实现多源异构数据的融合和汇聚是一项非常重要的基础工程。

目前，针对多源异构数据集成方式大致有三种：数据格式转换模式、数据互操作模式和直接数据访问模式。然而，现有的数据格式转换方式通常存在信息丢失、转换过程复杂等问题，而数据互操作模式中则要求用户必须同时拥有两个GIS软件，且必须按照统一规范数据进行访问，实操难度较大。直接数据访问模式则存在可支持的格式有限，且需要对每种数据格式提供对应的读写驱动，在实际应用时也无法满足该要求。此外，现有的服务系统除了数据集成难的问题，同时还存在平台集成化程度低的问题。由于各类服务管理模型需要外置，然后以第三方平台的方式与多源异构集成数据进行交互，通常会存在管理困难、数据交互容易出错等问题。因此，亟需一种综合性的自然资源多源异构数据汇聚融合服务系统，能够解决上述问题。

发明内容

本申请的目的在于提供一种自然资源多源异构数据汇聚融合服务系统，至少解决现有的多源异构数据汇聚平台中存在的数据集成难、容易出错，且平台可支持服务局限，集成化程度低、综合性不强等技术问题之一。

为实现上述目的，本申请提供一种自然资源多源异构数据汇聚融合服务系统，包括：

多源异构数据管理模块，用于管理汇聚融合的多源异构数据，所述多源异构数据包括空间数据和非空间数据；

数据管理引擎，用于构建全空间信息管理模型，并利用所述全空间信息管理模型将地理空间数据进行分解，将分解后的数据映射到多粒度时空对象上；

汇聚融合引擎，用于根据统一数据格式和统一时空基准对多粒度时空对象上的数据进行预处理，并利用预设的神经网络算法及ETL数据交换技术对预处理后的数据进行融合。

进一步地，所述的自然资源多源异构数据汇聚融合服务系统，还包括可视化展示模块，用于：

获取映射在多粒度时空对象上的时空数据；

从时空数据中提取多个实体以及所述多个实体之间的时空关系；

根据多个实体以及所述多个实体之间的时空关系构建三元组；

基于所述三元组构建知识图谱，以展示数据轨迹。

进一步地，所述数据管理引擎用于构建全空间信息管理模型的具体过程为：

获取多个第三方平台的平台属性；其中，所述平台属性包括平台类型、数据储存类型和数据交互协议；

构建数据初始模型，将所述平台类型分别设置在所述数据初始模型的输入数据识别区域；

根据所述数据储存类型在所述数据初始模型中分别设置对应的数据缓冲区；其中，所述数据缓冲区与设置在输入数据识别区域的所述平台类型一一对应；

获取来自不同的第三方平台的地理空间数据作为训练数据，将所述训练数据输入到数据初始模型中进行模型训练，当训练次数达到预设次数时，得到数据训练模型；

将所述训练数据与对应第三方平台的所述数据交互协议进行关联后形成数据关联集，将所述数据关联集输入到所述数据训练模型中进行优化，当优化成功率达到预设概率时，完成优化并得到全空间信息管理模型。

进一步地，所述数据管理引擎用于利用所述全空间信息管理模型将地理空间数据进行分解的具体过程为：

通过所述全空间信息管理模型对所述地理空间数据进行特征识别，输出所述地理空间数据的特征点；

根据每个特征点的数据维度，在所有特征点中确定核心特征点；

分别计算所述核心特征点与其他特征点的空间距离，其中，当所述空间距离小于第一距离值时，将该特征点和所述核心特征点的数据进行融合；当所述空间距离大于第二距离值时，将该特征点进行过滤；当所述空间距离大于第一距离值且小于第二距离值时，将该特征点和所述核心特征点进行分离。

进一步地，所述汇聚融合引擎，还用于：

利用预设的神经网络算法及ETL数据交换技术对预处理后的数据进行空间校正、坐标转换、格式转换、属性清洗、语义转换、地图服务融合、图像融合、物联数据融合及数据抽稀处理，以实现数据融合。

进一步地，所述汇聚融合引擎，还用于：

利用Faster-RCNN算法和聚类算法分别进行数据融合；

将Faster-RCNN算法和聚类算法各自进行数据融合的结果输入至集成分类器，生成最终的数据融合结果。

进一步地，所述汇聚融合引擎，用于利用所述Faster-RCNN算法进行数据融合，包括：

提取多源异构数据的语义表征向量；

利用LSTM神经网络模型对所述语义表征向量进行强化；

利用Faster-RCNN算法提取多源异构数据的场景及业务语义特征，并与强化后的语义表征向量进行融合，得到融合后的多源异构数据。

进一步地，所述汇聚融合引擎，用于利用所述聚类算法进行数据融合，包括：

提取多源异构数据的特征分词，经预处理后得到标准特征信息；所述预处理包括数据清洗和归一化处理；

基于特征分词构建事件树，利用复相关系数算法计算标准特征信息与事件树的相关概率；

基于相关概率采用模糊C均值聚类算法对标准特征信息进行特征融合。

进一步地，所述空间数据包括时空对象的矢量数据、栅格数据、三维数据、空间数据以及地图服务数据；

所述非空间数据包括业务数据、视频数据、文档数据、图片数据及音频数据。

进一步地，所述数据管理引擎，还用于：

将地理空间数据进行分解之后，分别提取出每个时空对象的时空参照、空间位置、空间形态、组成结构、关联关系和属性特征，映射到相应的多粒度时空对象上。

进一步地，所述数据管理引擎，还用于：

将分解后的数据映射到多粒度时空对象上之后，将多粒度时空对象数据转换为GIS地理空间数据。

进一步地，所述统一数据格式，包括：

shp、gdb、tif、img、geojson、excel、3dtiles、数据切片及bim模型的本地数据格式。

相对于现有技术，本申请的有益效果在于：

1)通过ETL技术将多源异构数据汇聚融合形成业务流程进行快速定制作业转换任务，并定时自动执行该作业转换任务，实现多源异构数据汇聚融合的便捷一键转换汇聚数据的业务流程化；

2)通过利用Faster-RCNN算法和聚类算法分别进行数据融合，再集成二者的融合结果，提高了数据融合结果的准确率；

3)能够准确识别多种地理实体对象目标和场景类别，通过判定重点地理实体对象目标的位置和相互关系，实现多源异构数据的快速融合；

4)通过对同一空间实体进行统一编码，并构建一个空间实体具有属性与关系链接的时空对象知识库，在其基础上生成时空对象知识语义，继而通过语义模型针对时空对象本身属性及上下游关联关系实现语义检索与分析等功能。同时能提升工作效率，起到提前预测并防范突发事件的作用。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请某一实施例提供的自然资源多源异构数据汇聚融合服务系统的结构示意图；

图2是本申请某一实施例提供的自然资源多源异构数据汇聚融合服务系统的架构示意图；

图3是本申请又一实施例提供的自然资源多源异构数据汇聚融合服务系统的结构示意图；

图4是本申请某一实施例提供的多源异构数据汇聚融合技术路线；

图5是本申请某一实施例提供的基于ETL技术的多源异构数据汇聚融合的体系结构；

图6是本申请又一实施例提供的自然资源多源异构数据汇聚融合服务系统的结构示意图；

图7是图6中服务运维管理模块05的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

为了帮助理解，首先对本申请中涉及的相关术语进行解释：

GIS：地理信息系统(Geographic Information System，简写为GIS)；

OGC：全称Open Geospatial Consortium(简写为OGC)，是一个非盈利的、国际化的、自愿协商的标准化组织；

SDTS：空间数据转换标准(Spatial Data Transfer Standard，简写为SDTS),一个分层的数据转换模型，定义了数据转换的概念、逻辑和格式三个层次；

ETL：是英文Extract-Transform-Load的缩写，用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程；

AI：人工智能(Artificial Intelligence，简写为AI)。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；

BIM：建筑信息模型(Building Information Modeling，简写为BIM)是建筑学、工程学及土木工程的新工具。

需要说明的是，随着目前空间数据获取与处理技术的不断发展更新，空间数据的多源异构数据呈现出类型繁杂、来源广、尺度多、信息量大等特点，因此多源异构数据在数学基础、空间基准、尺度、现势性、编码和格式等方面存在着不一致、不协调、不统一等问题。因此实现多源异构数据的汇聚，并对汇聚的数据进行统一格式、统一时空基准，添加三域标识(空间、时间和属性)，实现多源异构数据的融合和汇聚是一项非常重要的基础工程。多源异构数据主要包括基础地理信息数据、公共专题数据、智能感知实时数据和专题空间数据等，构成GIS一张图建设所需的地上地下、室内室外、虚实一体化的数据资源。多源异构数据从空间属性划分，主流的矢量数据格式有shp格式、dwg格式等。栅格数据有tif格式、img格式、grid格式等。三维数据有osgb格式、3dtiles格式、s3m格式、i3s格式等。非空间数据有jpg格式、doc格式、excel格式。从结构划分，有mdb格式、gdb格式等结构化的数据库，还有非结构化属性数据，有txt格式、doc格式、xsl格式、xml格式、json格式等。

进一步地，多源异构数据具有如下特性：

1)多语义性：GIS研究对象的多种类型决定了空间数据的多语义行。对于同一个时空对象单元，在现实世界中其几何特征是一致的，但是具体到不同的属性却有不同的语义。不同GIS一张图在侧重不同问题的重点时，会产生语义多样性。

2)多时空性和多尺度性：GIS数据具有较强的时空特性。GIS中数据源可能是不同时间和不同空间的数据集成。另外，系统还能根据需要采用不同的比例尺对地理空间进行表达，不同的比例尺表达方式能够得到不同精度的数据。

3)数据来源和存储结构多样性：GIS获取地理空间数据方式多种多样，包括原有已存在数据和新获取数据。原有数据包括纸质的数据和电子存档数据，新获取数据包括各种不同软件和仪器设备所获得数据，这些数据在存储结构表现形式上呈现多样性特征。

传统GIS一张图的数据管理模式主要以分类型、分尺度、分层、分块、分要素的方法进行空间数据的组织与管理,即根据地图的类型(如地形图、海图、航空图、影像图、专题图等)进行分类组织,对于每一种类型的地图进行分尺度(比例尺、分辨率等)组织,在此基础上进行地图要素的纵向分层和横向分块管理。所以面对多源异构数据时，只能实现各种源数据集的简单叠加，无法保证多源异构数据在空间特征、属性特征、时间特征和尺度特征等各方面的一致要求。

因此，本申请以提供实现时空大数据、业务流程及应用需求深度融合的目标，通过利用人工智能识别和ETL数据转换等技术，对多源异构数据进行空间语义转换和栅格影像的信息识别，构建全新的自然资源多源异构数据汇聚融合服务系统。同时利用多粒度时空对象特征进行全空间信息管理模型的构建，形成多源异构数据的统一数据管理引擎。

具体地，请参阅图1-2，本申请某一实施例提供一种自然资源多源异构数据汇聚融合服务系统。如图1所示，该自然资源多源异构数据汇聚融合服务系统包括以下内容：

多源异构数据管理模块01，用于管理汇聚融合的多源异构数据，所述多源异构数据包括空间数据和非空间数据；

数据管理引擎02，用于构建全空间信息管理模型，并利用所述全空间信息管理模型将地理空间数据进行分解，将分解后的数据映射到多粒度时空对象上；

汇聚融合引擎03，用于根据统一数据格式和统一时空基准对多粒度时空对象上的数据进行预处理，并利用预设的神经网络算法及ETL数据交换技术对预处理后的数据进行融合。

在一个示例性的实施例中，所述空间数据包括时空对象的矢量数据、栅格数据、三维数据、空间数据以及地图服务数据；所述非空间数据包括业务数据、视频数据、文档数据、图片数据及音频数据。

具体地，数据管理引擎02，还用于将地理空间数据进行分解之后，分别提取出每个时空对象的时空参照、空间位置、空间形态、组成结构、关联关系和属性特征，映射到相应的多粒度时空对象上。

基于全空间信息管理模型，突破传统的GIS空间数据建模管理方法，构建面向全空间信息的新一代空间数据模型。根据多粒度时空对象数据模型的特点，并确定多粒度时空对象的具体内容。在确定了具体的多粒度时空对象后，就可以把传统的地理空间数据(如1：25万地形图数据)进行分解，分别提取出每个时空对象(如城市、村庄、街区、道路、河流、管线等)的时空参照、空间位置、空间形态、组成结构、关联关系和属性特征等数据,映射到相应的多粒度时空对象上。同一个地理实体(如一个城市、一条道路、一个湖泊等)在不同比例尺下会用不同的空间数据(如来自不同比例尺的同一地理实体的地图数据)来描述，但都需要关联到同一个多粒度时空对象上。多粒度时空对象数据也可以转换为传统GIS的地理空间数据。其基本思路是根据矢量/栅格/表面等数据模型建模的需要，抽取多粒度时空对象数据库中的部分时空对象，提取其中的部分信息，将其整合转换为传统地理空间数据(如不同尺度的矢量地图数据等)。

具体地，所述数据管理引擎用于构建全空间信息管理模型的具体过程为：获取多个第三方平台的平台属性；其中，所述平台属性包括平台类型、数据储存类型和数据交互协议；构建数据初始模型，将所述平台类型分别设置在所述数据初始模型的输入数据识别区域；根据所述数据储存类型在所述数据初始模型中分别设置对应的数据缓冲区；其中，所述数据缓冲区与设置在输入数据识别区域的所述平台类型一一对应；获取来自不同的第三方平台的地理空间数据作为训练数据，将所述训练数据输入到数据初始模型中进行模型训练，当训练次数达到预设次数时，得到数据训练模型；将所述训练数据与对应第三方平台的所述数据交互协议进行关联后形成数据关联集，将所述数据关联集输入到所述数据训练模型中进行优化，当优化成功率达到预设概率时，完成优化并得到全空间信息管理模型。通过上述步骤，可以构建出能够识别不同第三方平台并且对不同平台的空间数据进行分解的全空间信息管理模型，以便于后续的数据处理工作。

在一个示例性的实施例中，为了解决来自不同的第三方平台数据在分解过程中存在的重复分解和误分解，数据管理引擎在对数据进行分解的过程中还必须考虑到空间距离给数据带来的误识别问题。在实际操作中，可以采取如下手段克服困难：

所述数据管理引擎用于利用所述全空间信息管理模型将地理空间数据进行分解的具体过程为：通过所述全空间信息管理模型对所述地理空间数据进行特征识别，输出所述地理空间数据的特征点；根据每个特征点的数据维度，在所有特征点中确定核心特征点；分别计算所述核心特征点与其他特征点的空间距离，其中，当所述空间距离小于第一距离值时，将该特征点和所述核心特征点的数据进行融合；当所述空间距离大于第二距离值时，将该特征点进行过滤；当所述空间距离大于第一距离值且小于第二距离值时，将该特征点和所述核心特征点进行分离。

通过上述步骤，可以将来自不同的第三方平台的空间数据克服空间距离上的误差，将实际空间距离过小的数据作为单独的一个数据整体考虑，将实际空间距离过大的数据作为错误数据考虑，可以过滤抛弃；将处于正常距离的数据进行正常分解，可以将数据分解的准确性尽可能的提高，为后续数据融合提供有力的支撑。

在一个示例性的实施例中，数据管理引擎02，还用于将分解后的数据映射到多粒度时空对象上之后，将多粒度时空对象数据转换为GIS地理空间数据。

本实施例中，通过全新的数据管理模式建立了适用于行业需求的数据标准和分类标准，将不同类别、不同来源、不同比例尺的高空、地上、地表、地下、室内、室外、虚实等全空间范围的矢量数据、遥感影像数据、三维模型数据、切片数据、矢量瓦片等按照统一的数据时空基准汇集到一起，形成可定制的全时空数据资源目录，汇聚来自于各终端采集的物联感知数据以及各业务单位产生的批、审、查相关的非空间数据，实现“横向到边、纵向到底”的全时空全业务全流程的多源异构数据的存储与管理。形成“高空地表地上地下室内室外一体、陆地海洋相连”的全空间数据管理模式，对外提供统一的数据资源服务。

作为优选地，所述统一数据格式，包括shp、gdb、tif、img、geojson、excel、3dtiles、数据切片及bim模型的本地数据格式。

作为优选地，所述统一时空基准包括：

支持接入各类数据服务，包括SuperMap REST、ArcGIS REST、OGC、天地图、高德地图及百度地图的数据服务，以及点位数据服务、视频流数据服务；

支持接入各数据类型，包括文本文件、表格文件、图片、视频的数据类型。

本实施例中，实现了多源异构数据标准化管理，既支持接入shp、gdb、tif、img、geojson、excel、3dtiles、数据切片、bim模型等本地数据格式，又支持接入各类数据服务，如SuperMap REST、ArcGIS REST、OGC(WMS/WFS/WMTS等)、天地图、高德地图、百度地图等数据服务；以及实时采集的点位数据服务、视频流数据服务；还可管理业务功能产生的非空间数据，如常用的文本文件、表格文件、图片、视频等数据类型。

此外，本实施例还支持DEM、倾斜摄影、三维实体、地下管线、BIM模型、点云等多种格式的三维异构数据融合应用，利用全时空一体化技术，实现数据二三维一体化展示、查询和分析等应用，并支持三维数据与传统数据的无缝融合，为行业全域数字化、地下空间开发利用等提供支撑，实现全要素、全维度、全域空间数据管理。

请参阅图3，为了能够清楚地展示数据轨迹，实现数据轨迹的可视化，在一个具体地实施方式中，所述的自然资源多源异构数据汇聚融合服务系统，还包括可视化展示模块04，用于当地理空间数据成功映射到相应的多粒度时空对象上之后，还包括展示时空数据的数据轨迹，具体为：

1)获取映射在多粒度时空对象上的时空数据。

2)从时空数据中提取多个实体以及这多个实体之间的时空关系。

具体地，本实施例中首先从时空数据中读取结构化语义，然后从结构化语义中提取多个实体与这多个实体之间的时空关系。

3)根据多个实体以及这多个实体之间的时空关系构建三元组。

4)基于三元组构建知识图谱。

本步骤中，优选采用扩充的三元组构建知识图谱，具体又包括以下子步骤：

4.1)根据多个实体和所述时空关系构建三阶张量；

4.2)分解所述三阶张量，并根据分解结果构建打分函数；

4.3)根据所述三阶张量和所述打分函数构建最小化结构损失函数；

4.4)求解所述最小化结构损失函数，获取所述三阶张量的值；

4.5)将满足预设数值的所述三阶张量的值作为扩充三元组。

在上述步骤中，可以对结构化语义数据的时空关系进行扩充，主要可以利用连接预测的方法对知识图谱的结构化语义层面未知的三元组关系进行预测，采用的方法可以包括TransE、RESCAL、NTN和PRA等，基于规则和归纳逻辑和马尔科夫条件随机场以及各种方法相互融合的方法。例如，在一个包含n个实体和m个时空关系的知识图谱中，O＝{h,r,t}表示其中的三元组。首先将每个实体ei当做一个向量，则每个关系rk都属于矩阵Rk，根据其中的O＝{ei,rk,ej}建立三阶张量yij(k)描述知识图谱中三元组的存在情况，通过对yij(k)进行张量分解并基于三元组中头尾实体向量及其关系矩阵数据构建出用于评估预测的打分函数f(ei,rk,ej)＝eiTRkej，并依据损失函数反映的三元组有效性评估补充时空数据未覆盖的三元组有效性，补充三阶张量yij(k)，其中λ是正则化参数用于控制正则化和损失函数之间的平衡，R是正则项。根据上述结果，如果yij(k)为1，则三元组{ei,rk,ej}成立，可作为扩充三元组。

5)通过知识图谱向用户展示时空数据的数据轨迹。

综上所述，本实施例先将地理空间数据映射到多粒度时空对象上，然后通过获取时空数据，从时空数据中提取多个实体和多个实体之间的时空关系，并采用多个实体和对应的时空关系构建三元组，以基于三元组构建知识图谱，从而生成可直观展示数据轨迹的知识图谱向用户进行展示。本实施例基于知识图谱来展示数据轨迹，可以基于不同场景灵活配置，实现多种应用场景的数据轨迹可视化。

在一个实施例中，所述自然资源多源异构数据汇聚融合服务系统还基于ECharts框架，实现基于地图的统计数据的可视化表达。

需要说明的是，为了更好的表达和展现数据，基于数据统计、数据挖掘等技术，为全空间数据提供了多样化的表达方式。结合ECharts框架，实现基于地图的统计数据的可视化表达；利用蜂窝格网、热力图、聚合标注等客户端渲染效果，实现数据趋势可视化表达；针对采集的点位数据、交通压力数据、视频流等实时数据，实现基于真实数据的特征表达；基于可视化搭建技术，结合大屏应用特点，提供配置式大数据可视化表达。

在一个实施例中，汇聚融合引擎03，还用于：

利用预设的神经网络算法及ETL数据交换技术对预处理后的数据进行空间校正、坐标转换、格式转换、属性清洗、语义转换、地图服务融合、图像融合、物联数据融合及数据抽稀处理，以实现数据融合。

作为优选地，所述预设的神经网络算法包括Faster-RCNN算法和聚类算法。

在一个具体地实施例中，在利用预设的神经网络算法进行数据融合时，包括以下内容：

1)利用Faster-RCNN算法和聚类算法分别进行数据融合；

2)将Faster-RCNN算法和聚类算法各自进行数据融合的结果输入至集成分类器，生成最终的数据融合结果。

可以理解的是，Faster-RCNN算法和聚类算法在应用本身都具有各自的优缺点。例如单一使用Faster-RCNN算法进行数据融合时，虽然具有较高的通用性和鲁棒性，其在你多个数据集及任务处理过程上有较优的处理效果，但是其存在的缺点也比较明显，例如提取的特征图仅仅是单层的，分辨率通常也较小，进而会影响数据融合最终的准确度。而聚类算法往往在收敛速度上有绝对的优势，是一种简单、快速的经典算法，然而该算法对于初始聚类中心的额要求较高，一旦初始值选择不当，最终也可能无法得到有效的聚类结果。因此，为了能够提高数据融合的准确度，本实施例提供了一种集成分类器，在应用的过程中结合Faster-RCNN算法和聚类算法各自的数据融合结果，执行加权多数投票来决定最终的融合结果，进而提高了检测结果的准确性。

在一个优选地实施方式中，聚类算法采用模糊C均值聚类算法。其中，利用模糊C均值聚类算法进行数据融合时，具体为：

1)获取多源异构数据对应的任务信息；

2)将获取到的多源异构数据转化为可描述的文本数据，从中提取特征分词，对特征分词进行数据预处理，包括数据清洗(去噪、去重或去异)以及归一化处理，以得到标准特征信息；

3)根据获取到的多源异构数据以及对应的任务信息建立事件树，基于复相关系数算法计算标准特征信息与事件树的相关概率；

具体地，将获取到的多源异构数据作为根节点，将标准特征信息作为子节点，对应的任务信息作为叶子节点建立事件树；

4)基于相关概率采用模糊C均值聚类算法对标准特征信息进行特征融合，得到满足条件的融合结果。

本步骤中，可先设置一个概率阈值，将大于及等于概率阈值的标准特征信息保留下来，采用模糊C均值聚类算法进行特征融合；将小于相关概率阈值的标准特征信息舍弃。

进一步地，在一个实施方式中，利用Faster-RCNN算法进行数据融合时，具体为：

1)提取多源异构数据中的语义表征向量，通过LSTM神经网络模型对语义表征向量进行强化，得到强化后的语义表征向量；

2)采用Faster-RCNN算法提取多源异构数据中的场景及业务语义特征，并与强化后的语义表征向量进行融合，得到融合后的多源异构数据。

因此，通过上述实施例，可先分别获取两种数据融合结果，最终采用集成分类器加权得到最终的数据融合结果，提高了数据融合的准确度。

在一些实施例中，基于ETL技术的多源异构数据汇聚融合的体系结构如图4所示：

本实施例中，通过融合人工智能识别、ETL数据交换等技术，利用GeoSpark、Kettle、DataX、Faster-RCNN等工具和算法，并结合采用数据库做后台，利用空间数据引擎按照SDTS存取空间数据，按照OGC标准提供空间数据操作接口，实现对目前多源异构数据进行数据空间语义化、识别、抽取、清洗和转换等工作，实现多源异构数据在空间特征、属性特征、时间特征、尺度特征和关联特征等方面的一致性要求，满足多源异构数据在进行汇聚融合后统一数据格式、统一的时空基准等需求。

具体地，数据融合的技术路线如图5所示，包括以下内容：

1)文件数据汇聚融合：

支持接入shp、gdb、kml、geojson、excel等本地文件数据及三维文件如：3dtiles、超图3d切图等，将各类本地文件数据按照汇聚融合规则集(包括：空间语义化、信息关联性、图像识别、ETL数据治理等)进行汇聚到标准库中。

2)地图服务汇聚融合：

支持接入各类数据服务，如SuperMap REST、ArcGIS REST、OGC(WMS/WFS/WMTS等)、天地图、高德地图、百度地图等数据服务。通过统一时空基准方式实现多源异构地图服务进行服务融合。

3)专题数据库汇聚融合：

支持接入各类专题数据库，如Oracle、MySQL、PostgreSQL、MongoDB、HBase等数据库。利用ETL数据治理实现专题数据库到目标数据库之间的自动化数据汇聚融合处理。

4)专题数据库汇聚融合：

支持接入各类专题数据库，如Oracle、MySQL、PostgreSQL、MongoDB、HBase等数据库。利用ETL数据治理实现专题数据库到目标数据库之间的自动化数据汇聚融合处理。

在一个实施例中，所述的自然资源多源异构数据汇聚融合服务系统，还包括服务运维管理模块05，如图6-7所示，具体地包括以下内容：

注册共享单元051，用于进行服务采集录入、服务紧缩展现、服务聚合共享以及服务权限管理操作；

代理授权单元052，用于进行服务代理叠加、服务权限认证、服务安全控制及服务代理缓存操作；

监控统计单元053，用于进行服务监控和服务统计操作。

此外，本申请实施例提供的服务系统，在资源共享方面，为实现不同部门、不同行业之间数据共享提供支撑，为各种应用和决策支持提供良好数据环境。例如：利用技术，国土空间基础信息平台能够接入不动产、规划、管理、遥感、土地、地质、矿产资源、地质环境等自然资源系统所属信息资源，形成包含文件数据、业务数据、空间数据的数据资源池和数据资源目录，进而通过制定网络安全和数据安全规范，确保数据共享实时、准确、安全，通过制定信息资源共享标准和规范，实现不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享，以满足不同类型用户对国土空间信息资源的获取需求。结合行业信息化建设需求，基于能够构建适用于行业具体业务需要的全业务服务体系，为诸如：电子政务系统、不动产登记平台、规划协同应用、土地调查数据库管理系统、以及其他第三方应用等不同厂商系统提供图形服务、查询分析、统计汇总、图件输出等服务，满足不同的业务应用需求。利用各类业务审批相关数据，通过空间叠加、缓冲、统计等各种方法，提供多种审批服务，根据业务自定义审批方案，实现行政审批项目全环节带图审批。

综上所述，本申请提供的自然资源多源异构数据汇聚融合服务系统至少可以实现如下效果：

1)通过ETL技术将多源异构数据汇聚融合形成业务流程进行快速定制作业转换任务，并定时自动执行该作业转换任务，实现多源异构数据汇聚融合的便捷一键转换汇聚数据的业务流程化；

2)通过利用Faster-RCNN算法和聚类算法分别进行数据融合，再集成二者的融合结果，提高了数据融合结果的准确率；

3)能够准确识别多种地理实体对象目标和场景类别，通过判定重点地理实体对象目标的位置和相互关系，实现多源异构数据的快速汇聚融合；

4)通过对同一空间实体进行统一编码，并构建一个空间实体具有属性与关系链接的时空对象知识库，在其基础上生成时空对象知识语义，继而通过语义模型针对时空对象本身属性及上下游关联关系实现语义检索与分析等功能。同时能提升工作效率，起到提前预测并防范突发事件的作用。

在本申请所提供的几个实施例中，应该理解到，所揭露的平台、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分仅仅为一种逻辑功能划分，在实际应用中对其实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种自然资源多源异构数据汇聚融合服务系统，其特征在于，包括：

多源异构数据管理模块，用于管理汇聚融合的多源异构数据，所述多源异构数据包括空间数据和非空间数据；

数据管理引擎，用于构建全空间信息管理模型，并利用所述全空间信息管理模型将地理空间数据进行分解，将分解后的数据映射到多粒度时空对象上；

汇聚融合引擎，用于根据统一数据格式和统一时空基准对多粒度时空对象上的数据进行预处理，并利用预设的神经网络算法及ETL数据交换技术对预处理后的数据进行融合。

2.根据权利要求1所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，还包括可视化展示模块，用于：

获取映射在多粒度时空对象上的时空数据；

从时空数据中提取多个实体以及所述多个实体之间的时空关系；

根据多个实体以及所述多个实体之间的时空关系构建三元组；

基于所述三元组构建知识图谱，以展示数据轨迹。

3.根据权利要求1或2所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，所述数据管理引擎用于构建全空间信息管理模型的具体过程为：

获取多个第三方平台的平台属性；其中，所述平台属性包括平台类型、数据储存类型和数据交互协议；

构建数据初始模型，将所述平台类型分别设置在所述数据初始模型的输入数据识别区域；

根据所述数据储存类型在所述数据初始模型中分别设置对应的数据缓冲区；其中，所述数据缓冲区与设置在输入数据识别区域的所述平台类型一一对应；

获取来自不同的第三方平台的地理空间数据作为训练数据，将所述训练数据输入到数据初始模型中进行模型训练，当训练次数达到预设次数时，得到数据训练模型；

将所述训练数据与对应第三方平台的所述数据交互协议进行关联后形成数据关联集，将所述数据关联集输入到所述数据训练模型中进行优化，当优化成功率达到预设概率时，完成优化并得到全空间信息管理模型。

4.根据权利要求3所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，所述汇聚融合引擎，还用于：

利用预设的神经网络算法及ETL数据交换技术对预处理后的数据进行空间校正、坐标转换、格式转换、属性清洗、语义转换、地图服务融合、图像融合、物联数据融合及数据抽稀处理，以实现数据融合。

5.根据权利要求4所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，所述汇聚融合引擎，还用于：

利用Faster-RCNN算法和聚类算法分别进行数据融合；

将Faster-RCNN算法和聚类算法各自进行数据融合的结果输入至集成分类器，生成最终的数据融合结果。

6.根据权利要求5所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，所述汇聚融合引擎，用于利用所述Faster-RCNN算法进行数据融合，包括：

提取多源异构数据的语义表征向量；

利用LSTM神经网络模型对所述语义表征向量进行强化；

利用Faster-RCNN算法提取多源异构数据的场景及业务语义特征，并与强化后的语义表征向量进行融合，得到融合后的多源异构数据。

7.根据权利要求5所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，所述汇聚融合引擎，用于利用所述聚类算法进行数据融合，包括：

提取多源异构数据的特征分词，经预处理后得到标准特征信息；所述预处理包括数据清洗和归一化处理；

基于特征分词构建事件树，利用复相关系数算法计算标准特征信息与事件树的相关概率；

基于相关概率采用模糊C均值聚类算法对标准特征信息进行特征融合。

8.根据权利要求1所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，

所述空间数据包括时空对象的矢量数据、栅格数据、三维数据、空间数据以及地图服务数据；

所述非空间数据包括业务数据、视频数据、文档数据、图片数据及音频数据。

9.根据权利要求1所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，所述数据管理引擎，还用于：

将地理空间数据进行分解之后，分别提取出每个时空对象的时空参照、空间位置、空间形态、组成结构、关联关系和属性特征，映射到相应的多粒度时空对象上；

将多粒度时空对象数据转换为GIS地理空间数据。

10.根据权利要求1所述的自然资源多源异构数据汇聚融合服务系统，其特征在于，所述统一数据格式，包括：

shp、gdb、tif、img、geojson、excel、3dtiles、数据切片及bim模型的本地数据格式。

Images