CN110347764A - 一种生态空间数据整合方法 - Google Patents

Abstract

本发明公开了一种生态空间数据整合方法，属于地理信息技术领域，其特征在于该方法包括以下步骤：一、数据收集与获取，获取空间数据，包括栅格数据、矢量数据和文档数据；二、数据的融合、转换与管理，利用获取的数据，通过空间数据转换模型进行数据转换，完成数据标准化管理；三、数据的分析与应用，针对原始数据与目标数据的要素类别、属性间关系进行分析，对分析结果从位置精度、属性精度、要素完整性、要素关系等各方面进行检查；四、数据管理与应用平台的设计与实现，通过对分析数据进行云存储方案设计，并建立系统的实验集群搭；本方法将空间数据进行了有效的转换，保证了空间数据的统一性，最后得到了空间数据的有效应用。

Description

一种生态空间数据整合方法

技术领域

本发明属于地理信息技术领域，具体是一种通过空间数据等信息进行有效的整合，达到数据整合、处理及应用的有效的结合和应用，达到一种生态空间数据整合方法。

背景技术

空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，它可以用来描述来自现实世界的目标，它具有定位、定性、时间和空间关系等特性，空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。

目前，空间大数据的特征表现为：数据规模庞大、包含信息复杂、隐含知识多；基于以上三种主要特征，传统的单物理机已无法满足运算需求；传统ArcGis平台作为主要研究工具，在不进行优化的前提下无法做到有效率进行相关分析，对数据隐含知识的发现、对大数据中噪音点的去除、对数据分析结果的可视化都缺乏有效性。

空间数据被广泛应用于众多领域，空间数据具备海量性、多样性、及时性、空间性、敏感性、异构性等特点，但由于空间数据采集方式或组织体系等不同，导致空间数据存在异构情况，不能直接再利用，重新生产的方式耗时较长，数据的现势性较差，导致获取空间数据所需成本高，时间长；由于不同数据体系下，现有空间数据不能直接利用，为充分利用己有成果，需要对这些数据进行转换，国内外存在可以用来转换数据的软件较少，且已有软件也存在灵活性较差、自动化程度较低的弊端；所以需要有效的将数据进行获取、转换、分析，最终搭建数据管理与应用平台具有非常重要的意义。

发明内容

为了解决以上现有技术的缺点和不足之处，本发明的首要目的在于提供一种生态空间数据整合方法。

本发明主要通过以下技术方案实现：

一种生态空间数据整合方法,该方法包括以下步骤：

一、数据收集与获取，获取空间数据，包括栅格数据、矢量数据和文档数据；

二、数据的融合、转换与管理，利用获取的数据，通过空间数据转换模型进行数据转换，完成数据标准化管理；

三、数据的分析与应用，针对原始数据与目标数据的要素类别、属性间关系进行分析，对分析结果从位置精度、属性精度、要素完整性、要素关系等各方面进行检查；

四、数据管理与应用平台的设计与实现，通过对分析数据进行云存储方案设计，并建立系统的实验集群搭。

优选的，步骤一中数据收集与获取技术体系主要包括3大层次：

1.1，第一层为数据源，数据源包括空间数据库、空间数据立方体、领域知识库、空间数据管理系统等；数据源具有查询、搜索、优化等多个功能，这些功能可以帮助用户获取、提炼用户需求的数据；数据源的作用是提炼、获取用户需要的数据，获取、提炼的途径有三种，分别是空间数据库、空间数据立方体和领域知识库；

1.2，第二层为挖掘器，挖掘器的作用是分析、挖掘数据源提取、获得的数据；具体过程是利用空间数据挖掘系统分析数据，发现知识；分析、挖掘的方法大多是交互，根据用户的问题和提取出的数据规律选择挖掘技术；

1.3，第三层为用户界面，用户界面的作用是显示结果，即将挖掘器挖掘出的数据，发现的知识以用户可以理解的方式显示出来，或者以一种易于观察的方式将发现的知识、结果显示给用户。

优选的，步骤一中空间数据的数据获取，包括栅格数据、矢量数据和文档数据；其中栅格数据主要是通过扫描数据法获取，矢量数据主要是通过互联网方式获取，文档数据主要通过历史文档资料获取。

优选的，步骤一中通过互联网方式获取矢量数据，主要包含3个步骤：

1.1，首先对静态或动态页面解析，通过抓包等方式，获取相关原始数据；

1.2，经过坐标格式转换、坐标转换，对文本转换成矢量数据，对点、线、面数据等进行转换，从而实现对多种数据的融合；

1.3，最后结合空间数据管理领域的专业模型，对空间数据进行建模分析。

优选的，步骤二中数据的融合、转换与管理，主要是将文本类的数据转换为空间数据类型，在数据集成中，数据、集成软件及规则是3个必备的条件，利用FME空间数据转换工具，对数据转换进行建模，将文本类型的原始数据转换为空间线状数据：

2.1，提取待转换多边形的节点坐标；

2.2，对X，Y点利用坐标转换算法转换为对应坐标系下的X，Y值；

2.3，根据X，Y坐标数据生成空间数据及属性；

2.4，根据原始面状数据标识，将点数据重新聚合为面状数据。

优选的，步骤三中转换数据分析包含数据说明，从要素类别、属性方面说明要素存在差异，由于地理要素及其属性是转换的最主要内容，因此针对原始数据与目标数据的要素类别及属性间关系进行分析，并加以总结。

3.1，原数据与目标数据的要素对应分析，若原数据中已有数据不属于目标数据的必需数据时，可不需要建立对应关系，或通过扩充目标数据的原则进行转换；若原数据地理要素属于目标数据的必需数据时，根据其不同的对应关系，进行一对一关系、一对多关系、多对一关系转换；

3.2，原数据与目标数据要素的几何对应匹配分析，根据国际数据、军标数据要求等不同，在转化过程中考虑几何图形的匹配及根据不同规定下特定表达要求对要素的组成部分进行提取，达到合理转换的目的；

3.3，原数据与目标数据的属性对应分析，若要素在2种数据中属性值的取值类型一致时，可直接通过属性一对一建立对应关系；若要素在2种数据中属性值取值类型不一致时，可通过设计外属性值对应功能建立正确对应关系；若要素关系多对一时，转换之后需要给目标数据赋予正确的属性，通过外属性值中添加SQL限制条件来实现。

优选的，步骤四中数据管理与应用平台的设计与实现,主要是基于数据来源进行分类存储管理，基于OpenStack云平台，采用Ceph作为统一存储后端，与WebGIS可视化分析结合，得到空间数据的各种行业应用。

步骤四主要包含3个步骤：

4.1，WebGIS通过公共网关接口CGI为空间数据库提供专用的Web接口，其中CGI是标准的连接应用软件和Web服务器的技术；

4.2，通过HTML的功能进一步强化，CGI整合HTML能够轻松实现交互式动态的通信，其中GIS插件采用Client/Server体系结构，服务器上的部分GIS功能被推送到了客户端；

4.3，在Hadoop分布式大数据处理环境下，WebGIS大数据可视化技术可以动态组合分布式部件和协同处理分析空间数据。

有益效果

1. 本发明通过分析不同体系的空间数据，对存在差异的地理要素和属性进行分类和总结，再寻找对应关系，以此为基础设计方案，并根据设计方案利用结合软件，实现地理空间数据的转换，对于降低空间数据的生产成本，加快现有大数据信息更新速度，提高空间质量有着重要的意义。

2. 本发明基于互联网获取数据，可以保证短时间内低成本的快速获取数据，同时采用空间分析模型，对空间数据中矢量数据采用了FME空间数据转换工具，对数据进行建模转换，保证了空间数据坐标的统一性。

3. 本发明采用2种数据进行分析对比，从要素本体、要素属性、几何对象匹配3方面进行归纳总结，根据规则建立了对应关系，保证了数据从位置精度、属性精度、要素完整性、要素关系上满足数据规定，从根本上解决了数据不能再利用的问题，具有很大的实践意义。

4. 本发明采用OpenStack云存储，OpenStack云平台采用Ceph作为统一存储后端，可做到秒级虚拟机部署，可以让空间数据的存储管理实现更高程度的灵活性、可扩展性和自治性，最后通过WebGIS的前端展示，可以直观感受到大数据可视化在空间数据管理和应用方面的重大意义。

附图说明

图1为空间数据整合方法的流程示意图；

图2为空间数据的框架图；

图3为数据收集与获取技术体系结构图；

图4为WebGIS技术实现图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

实施例一

图1为本实施例提供的空间数据整合方法的流程示意图，如图1所示，一种生态空间数据整合方法，该方法包括以下步骤：

一、数据收集与获取，获取空间数据，包括栅格数据、矢量数据和文档数据；

二、数据的融合、转换与管理，利用获取的数据，通过空间数据转换模型进行数据转换，完成数据标准化管理；

三、数据的分析与应用，针对原始数据与目标数据的要素类别、属性间关系进行分析，对分析结果从位置精度、属性精度、要素完整性、要素关系等各方面进行检查；

四、数据管理与应用平台的设计与实现，通过对分析数据进行云存储方案设计，并建立系统的实验集群搭。

其中，所述步骤一中数据收集与获取技术体系主要包括3大层次：

1.1，第一层为数据源，数据源包括空间数据库、空间数据立方体、领域知识库、空间数据管理系统等；数据源具有查询、搜索、优化等多个功能，这些功能可以帮助用户获取、提炼用户需求的数据；数据源的作用是提炼、获取用户需要的数据，获取、提炼的途径有三种，分别是空间数据库、空间数据立方体和领域知识库；

1.2，第二层为挖掘器，挖掘器的作用是分析、挖掘数据源提取、获得的数据；具体过程是利用空间数据挖掘系统分析数据，发现知识；分析、挖掘的方法大多是交互，根据用户的问题和提取出的数据规律选择挖掘技术；

1.3，第三层为用户界面，用户界面的作用是显示结果，即将挖掘器挖掘出的数据，发现的知识以用户可以理解的方式显示出来，或者以一种易于观察的方式将发现的知识、结果显示给用户。

如图2所示的空间数据的框架图，步骤一中空间数据的数据获取，包括栅格数据、矢量数据和文档数据；其中栅格数据主要是通过扫描数据法获取，矢量数据主要是通过互联网方式获取，文档数据主要通过历史文档资料获取。

如图3所示的数据收集与获取技术体系结构图，步骤一中通过互联网方式获取矢量数据，主要包含3个步骤：

1.1，首先对静态或动态页面解析，通过抓包等方式，获取相关原始数据；

1.2，经过坐标格式转换、坐标转换，对文本转换成矢量数据，对点、线、面数据等进行转换，从而实现对多种数据的融合；

1.3，最后结合空间数据管理领域的专业模型，对空间数据进行建模分析。

步骤二中数据的融合、转换与管理，主要是将文本类的数据转换为空间数据类型，在数据集成中，数据、集成软件及规则是3个必备的条件，利用FME空间数据转换工具，对数据转换进行建模，将文本类型的原始数据转换为空间线状数据：

2.1，提取待转换多边形的节点坐标；

2.2，对X，Y点利用坐标转换算法转换为对应坐标系下的X，Y值；

2.3，根据X，Y坐标数据生成空间数据及属性；

2.4，根据原始面状数据标识，将点数据重新聚合为面状数据。

步骤三中转换数据分析包含数据说明，从要素类别、属性方面说明要素存在差异，由于地理要素及其属性是转换的最主要内容，因此针对原始数据与目标数据的要素类别及属性间关系进行分析，并加以总结。

3.1，原数据与目标数据的要素对应分析，若原数据中已有数据不属于目标数据的必需数据时，可不需要建立对应关系，或通过扩充目标数据的原则进行转换；若原数据地理要素属于目标数据的必需数据时，根据其不同的对应关系，进行一对一关系、一对多关系、多对一关系转换；

3.2，原数据与目标数据要素的几何对应匹配分析，根据国际数据、军标数据要求等不同，在转化过程中考虑几何图形的匹配及根据不同规定下特定表达要求对要素的组成部分进行提取，达到合理转换的目的；

3.3，原数据与目标数据的属性对应分析，若要素在2种数据中属性值的取值类型一致时，可直接通过属性一对一建立对应关系；若要素在2种数据中属性值取值类型不一致时，可通过设计外属性值对应功能建立正确对应关系；若要素关系多对一时，转换之后需要给目标数据赋予正确的属性，通过外属性值中添加SQL限制条件来实现。

步骤四中数据管理与应用平台的设计与实现,主要是基于数据来源进行分类存储管理，基于OpenStack云平台，采用Ceph作为统一存储后端，与WebGIS可视化分析结合，得到空间数据的各种行业应用。

主要实施方式如下：

4.1，WebGIS通过公共网关接口CGI为空间数据库提供专用的Web接口，其中CGI是标准的连接应用软件和Web服务器的技术；

4.2，通过HTML的功能进一步强化，CGI整合HTML能够轻松实现交互式动态的通信，其中GIS插件采用Client/Server体系结构，服务器上的部分GIS功能被推送到了客户端；

4.3，在Hadoop分布式大数据处理环境下，WebGIS大数据可视化技术可以动态组合分布式部件和协同处理分析空间数据。

通过以上实施方式，基于构件的WebGIS使得真正的网络GIS成为了可能，它可以通过计算机硬、软件系统，对整个或部分空间大数据进行采集、储存、管理、运算、分析、显示和描述。

其web技术实现如下图4所示。

空间数据中地图、影像数据格式主要是png或者其他图片格式，GIS使用影像金字塔模式的显像方案，提高空间数据中地图、影像数据在前端的显示，我们首先对这些地图、影像数据进行切图，然后运用大数据信息挖掘算法提取其中符合需求的数据信息，而这项数据挖掘算法都在服务建模中；空间属性数据，只要通过特定工具把分析整合完的空间数据信息进行入库处理即可，此时的空间数据能够应用到业务逻辑中；每个Web项目都有的业务逻辑数据，根据不一样的业务需求将满足用户需求的空间数据做采集和入库处理；WebGIS是在计算机硬、软件系统支持下，能将空间数据进行精确地显示和描述的技术系统，对我们探索和分析空间数据具有重大意义。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种生态空间数据整合方法,其特征在于，该方法包括以下步骤：

一、数据收集与获取，获取空间数据，包括栅格数据、矢量数据和文档数据；

二、数据的融合、转换与管理，利用获取的数据，通过空间数据转换模型进行数据转换，完成数据标准化管理；

三、数据的分析与应用，针对原始数据与目标数据的要素类别、属性间关系进行分析，对分析结果从位置精度、属性精度、要素完整性、要素关系进行检查；

四、数据管理与应用平台的设计与实现，通过对分析数据进行云存储方案设计，并建立系统的实验集群搭。

2.根据权利要求1所述的一种生态空间数据整合方法，其特征在于：步骤一中数据收集与获取技术体系主要包括3大层次：

1.1，第一层为数据源，数据源包括空间数据库、空间数据立方体、领域知识库、空间数据管理系统；

1.2，第二层为挖掘器，挖掘器用于分析、挖掘数据源提取、获得的数据；

1.3，第三层为用户界面，用户界面的作用是显示结果，即将挖掘器挖掘出的数据显示出来。

3.根据权利要求2所述的一种生态空间数据整合方法，其特征在于：步骤一中空间数据的数据获取，包括栅格数据、矢量数据和文档数据；其中栅格数据主要是通过扫描数据法获取，矢量数据主要是通过互联网方式获取，文档数据主要通过历史文档资料获取。

4.根据权利要求3所述的一种生态空间数据整合方法，其特征在于：步骤一中通过互联网方式获取矢量数据，主要包含3个步骤：

1.1，首先对静态或动态页面解析，通过抓包，获取相关原始数据；

1.2，经过坐标格式转换、坐标转换，对文本转换成矢量数据，对点、线、面数据等进行转换，从而实现对多种数据的融合；

1.3，最后结合空间数据管理模型，对空间数据进行建模分析。

5.根据权利要求1所述的一种生态空间数据整合方法，其特征在于：步骤二中数据的融合、转换与管理是将文本类的数据转换为空间数据类型，利用FME空间数据转换工具，对数据转换进行建模，将文本类型的原始数据转换为空间线状数据：

2.1，提取待转换多边形的节点坐标；

2.2，对X，Y点利用坐标转换算法转换为对应坐标系下的X，Y值；

2.3，根据X，Y坐标数据生成空间数据及属性；

2.4，根据原始面状数据标识，将点数据重新聚合为面状数据。

6.根据权利要求1所述的一种生态空间数据整合方法，其特征在于：步骤三中转换数据分析包含数据说明，从要素类别、属性方面说明要素存在差异，针对原始数据与目标数据的要素类别及属性间关系进行分析；

3.1，原数据与目标数据的要素对应分析，若原数据中已有数据不属于目标数据的必需数据时，可不需要建立对应关系，或通过扩充目标数据的原则进行转换；若原数据地理要素属于目标数据的必需数据时，根据其不同的对应关系，进行一对一关系、一对多关系、多对一关系转换；

3.2，原数据与目标数据要素的几何对应匹配分析，根据国际数据、军标数据要求等不同，在转化过程中考虑几何图形的匹配及根据不同规定下特定表达要求对要素的组成部分进行提取，达到合理转换的目的；

3.3，原数据与目标数据的属性对应分析，若要素在2种数据中属性值的取值类型一致，可直接通过属性一对一建立对应关系；若要素在2种数据中属性值取值类型不一致，则通过设计外属性值对应功能建立正确对应关系；若要素关系为多对一，则转换之后，通过外属性值中添加SQL限制条件给目标数据赋予正确的属性。

7.根据权利要求1所述的一种生态空间数据整合方法，其特征在于：步骤四中数据管理与应用平台的设计与实现是基于数据来源进行分类存储管理，基于OpenStack云平台，采用Ceph作为统一存储后端，与WebGIS可视化分析结合，得到空间数据的各种行业应用。