CN110059067A - 一种水利空间矢量大数据存储管理方法 - Google Patents

Abstract

本发明公开了一种水利空间矢量大数据存储管理方法，步骤1：计算机表述水利空间矢量数据集；步骤2：矢量数据并行转换；步骤3：基于计算量评估模型的空间数据划分；步骤4：构建分布式空间网格R树索引；步骤5：矢量数据分布式内存并行检索。本发明解决通过传统关系型数据库存储时空间数据和属性数据“分而治之”的瓶颈问题。充分考虑分布式计算量的均衡性。解决传统空间矢量数据索引构建慢、检索效率低的问题。

Description

一种水利空间矢量大数据存储管理方法

技术领域

本发明涉及一种水利空间矢量大数据存储管理方法，属于数据存储管理技术领域。

背景技术

传统的水利空间矢量数据存储方法经历了文件系统、文件关系混合系统、空间数据库引擎和面向对象关系型空间数据库四个阶段的发展，已经基本适应矢量数据存储的要求。但是，随着大数据的不断发展，水利空间矢量大数据在体量、类型和增长速度方面也受到了前所未有的挑战。

尽管大数据技术的飞速发展可以在水利空间数据存储方面发挥一技之长，但是云计算、大数据等技术并不是为传统的水利空间数据存储定制的，也不能从根本上对水利空间矢量数据存储和管理进行完全贴合的技术支持。此外，对于水利空间矢量数据检索方面，传统方法采取建立属性数据索引的方式来反查空间数据，如建立流域和子流域的索引文件。用户在进行筛选查询时通过属性信息索引来定位感兴趣的空间数据断面，查询效率不高。因此，水利空间大数据和传统数据存储管理手段以及云计算、大数据技术之间产生了一定的矛盾，需要探索一种适应空间大数据新特征的数据存储管理方法。

水利空间矢量数据类型复杂，包括水生态、水资源和水环境方面的多要素数据，同时还要考虑大数据量下的空间索引构建以及空间检索效率问题。常用的水利空间矢量大数据存储方法在数据格式、并行计算、空间索引方面的考虑具有一定的局限性，不能提供一整套全局最优的存储和管理方案。

随着水利空间数据的采集手段日趋多元化，地理信息技术在水利行业的应用也更加广泛和深入，也促使了水利GIS大数据时代的到来，时空多样性的水利矢量数据(如大规模的时间序列监测数据、尺度多样性的流域水系信息等)呈现爆炸式的增长，为社会公共服务和应急决策管理提供了良好的契机，但是如何高效组织管理海量的水利矢量数据，成为当前实际应用中亟待解决的问题。

目前新型的技术方案采用四叉树法构建空间信息多级网格，根据HBase数据库的存储规则，确定矢量数据的组织方式以及矢量数据、索引数据、元数据、属性数据字典的数据库表结构。从数据预处理、多级网格区域划分、Hibert填充曲线数据划分，通过开源平台Hadoop实现矢量数据的导入、查询、更新。这种方法虽然利用了大数据分布式存储能力，但并未考虑水利空间数据的时空变化特性及多数格式多样性等特点，也未对传统水利空间矢量数据结构进行模型重构，MapReduce并行分析的能力受到数据模型的限制，无法对水利空间数据的检索提出合理有效方案。

目前行业内常用水利空间矢量大数据存储管理方法的主要缺点为：

(1)现有水利空间数据的矢量和属性数据仍为分开编码和存储，从一定程度上制约了水利空间数据存储和检索的效率；

(2)水利空间数据来源广泛、格式不一，面对快速化生产的专业数据，将传统的串行转换无法适应大规模矢量数据转换的需求；

(3)利用单一的空间填充曲线或Geohash等技术进行空间网格降维划分，在一定程度上保证了分区数据量均衡，但无法控制分区计算量的均衡；

(4)现有的空间索引如网格索引、四叉树索引、R树索引等在空间检索中有着各自的应用特点，但面对海量增长的时空水利信息数据，其检索效率无法得到保证；

(5)常用的空间检索方法能够实现对空间数据的简单查询，但不能有效支撑多时空、对多尺度水利要素的浏览等实际复杂应用的需求。

通过以上我们可以看出，行业内目前采用的水利空间矢量大数据存储方法存在着一定的局限性，存储和管理的效率也不高。

发明内容

目的：为了克服现有技术中存在的水利空间矢量大数据存储管理方面的局限性，本发明提供一种水利空间矢量大数据存储管理方法，本发明通过MapReduce将传统的通用水利矢量数据并行转换为GeoJSON格式存储在分布式文件系统中，解决通过传统关系型数据库存储时空间数据和属性数据“分而治之”的瓶颈问题。在空间数据划分策略上，采用基于计算量评估模型的空间数据划分方法，充分考虑分布式计算量的均衡性。结合空间网格索引快速构建的优势和Hilbert-R树索引高效检索的特点，构建一种适合分布式内存计算的新型空间网格R树索引，解决传统空间矢量数据索引构建慢、检索效率低的问题。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种水利空间矢量大数据存储管理方法，包括如下步骤：

步骤1：计算机表述水利空间矢量数据集；

步骤2：矢量数据并行转换；

步骤3：基于计算量评估模型的空间数据划分；

步骤4：构建分布式空间网格R树索引；

步骤5：矢量数据分布式内存并行检索。

作为优选方案，所述步骤1包括：水利空间矢量数据存储以ESRI Shapefile文件格式按照空间数据和属性数据两种方式进行存储，计算机获取Shapefile空间矢量数据信息，包括三个文件：主文件(*.shp)、索引文件(*.shx)、dBASE表文件(*.def)，其中主文件存储空间特征，dBASE表文件存储属性信息。

作为优选方案，所述步骤2包括：首先在Master节点提交作业前通过读取Shapefile的文件内容，提取其中的水利空间数据和属性数据，其中空间数据包括数据类型，点、线、面；然后在Map阶段按照GeoJSON的数据结构，将地理信息写入到JSON文件中，生成该Shapefile所对应的GeoJSON文件。

作为优选方案，Shapefile文件解析：Shapefile文件解析包括空间数据解析和属性数据解析；首先从索引文件(.shx)获取水利空间对象的索引信息，然后从主文件(.shp)中将空间几何信息逐一读取，最后根据空间几何信息与属性信息的对应关系从dBASE表(.dbf)中获取属性信息，并将结果传入对应的MapReduce程序中，执行下一步操作。

作为优选方案，GeoJSON空间对象重构：GeoJSON以空间对象为最小处理单元，使用getFeatures()方法将水利空间对象按照其在Shapefile文件中的顺序逐个获取，并按照GeoJSON的格式进行对象重构，将重构结果写入GeoJSON文件中。

作为优选方案，所述步骤3包括：

3.1：计算数据集的空间范围，初始化经验阈值；

所述经验阈值计算公式为：

式中，F为经验阈值TV的计算函数，N为数据集的要素总数，S为要素集占用空间总量，M为集群计算运行时分配的内存，k为空间算子系数；

3.2：选择当前未进行计算量评估的空间分区，评估计算量；

计算量评估模型为：

CM＝f(n，p，O)

式中，CM为计算量，f为工作量计算函数，O为空间算子的时间复杂度计算公式，n为要素个数，p为要素的顶点总数；

3.3：将计算量与经验阈值进行比较，若小于，判断是否存在未评估分区，若存在，重新选择未评估分区，若大于，则将当前分区划分为四份，重复上述步骤，完成空间网格构建。

作为优选方案，所述步骤4包括：首先对矢量数据集R，创建分布式空间数据集，在分布式空间数据集的并行空间变换中，计算r，r∈R_i，(R_i表示分配到i节点计算的数据集，r表示待建立索引的矢量数据)的最小外包矩形，并计算出其覆盖的空间网格，获得其空间编码，然后利用分布式空间数据集的reduce行为，合并空间网格编码，对同一网格分区内的空间对象，自底向上构建R树索引数据结构，形成空间网格R树的分布式空间索引形态，最后序列化空间网格R树到分布式文件系统存储，完成索引构建。

作为优选方案，步骤5包括：首先计算出检索区域所在的空间网格，并将对应网格内的R数索引文件反序列化，加载到分布式内存中，然后在MapReduce中对分布式内存索引执行filter变换，过滤去掉所有与检索区域不相交的网格，接着执行map变换，在每个进程内检索空间网格内的Hilbert-R数索引，最后，将索引结果输出，完成空间并行检索。

有益效果：本发明提供的一种水利空间矢量大数据存储管理方法，综合考虑水利矢量数据的多样性、大体量以及图形属性等特点，提出将水利矢量Shapefile数据转换为适合空间的存储GeoJSON数据模型，以便进行分布式存储和并行计算。基于空间网格索引快速构建和Hilbert-R树索引高效检索的特点，构建适合分布式内存计算的新型空间网格R树索引，为MapReduce并行检索提供了优化的数据结构，更有利于水利空间矢量大数据的分类和索引构建，有效提高检索和查询的效率。其优点如下：

1.本发明提出一种基于MapReduce的Shapefile文件至GeoJSON文件的并行转换方法，MapReduce是基于集群的高性能并行计算平台，能够并行处理大规模水利空间矢量数据集。

2.基于计算量评估模型的空间数据划分方法，在空间数据划分过程中，优先考虑分区的计算量负载均衡，能够避免传统划分方法隐含的数据倾斜，从而解决分布式计算失衡问题。

3.传统的数据库索引，只能满足属性数据的检索，无法满足水利多维空间数据结构，本发明基于空间网格索引快速构建和Hilbert-R树索引高效检索的特点，提出一种适合分布式内存计算的新型空间网格R树索引，提高空间索引构建效率和索引质量。

4.传统的数据库环境，面对大规模空间数据时，查询效率极低，本发明将索引文件反序列化，加载到分布式内存中，基于MapReduce进行并行检索，提高水利空间矢量数据的检索效率。

附图说明

图1为矢量数据并行转换算法示意图；

图2为空间数据划分流程示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

一种水利空间矢量大数据存储管理方法，包括如下步骤：

步骤1：计算机表述水利空间矢量数据集；

空间数据模型是对现实世界的简化描述，常见的空间数据模型包括基于要素的矢量数据模型和基于场的栅格数据模型。水利空间矢量数据包括基础地理数据(如行政区划、水系、流域分区、水利工程要素等)和行业应用数据(即水利专题数据，如水位、流量、雨量等)。基础地理数据以矢量数据格式存储，矢量数据在地图上以点、线、面三种元素展示，在计算机中表现为具有空间特征和属性特征的数据模型；行业应用数据为固定坐标点位的时间序列数据，可将其转换为属性动态扩展的矢量点数据集。因此，水利空间矢量数据存储以ESRI Shapefile文件格式按照空间数据和属性数据两种方式进行存储，是一种多维尺度的空间数据。计算机获取Shapefile空间矢量数据信息，包括三个文件：主文件(*.shp)、索引文件(*.shx)、dBASE表文件(*.def)，其中主文件存储空间特征，dBASE表文件存储属性信息。

如图1所示，步骤2：矢量数据并行转换；

基于MapReduce的Shapefile文件到GeoJSON文件的水利矢量数据并行转化方法，MapReduce是基于集群的高性能并行计算平台，其优点是能够并行处理大规模矢量数据集。基于MapReduce的水利矢量数据并行转换首先在Master节点提交作业前通过读取Shapefile的文件内容，提取其中的水利空间数据和属性数据，其中空间数据包括数据类型(点、线、面)；然后在Map阶段按照GeoJSON的数据结构，将地理信息写入到JSON文件中，生成该Shapefile所对应的GeoJSON文件。

2.1：Shapefile文件解析：

Shapefile文件解析包括空间数据解析和属性数据解析。首先从索引文件(.shx)获取水利空间对象的索引信息，然后从主文件(.shp)中将空间几何信息逐一读取，最后根据空间几何信息与属性信息的对应关系从dBASE表(.dbf)中获取属性信息，并将结果传入对应的MapReduce程序中，执行下一步操作。

2.2：GeoJSON空间对象重构：

GeoJSON是一种对各种地理数据结构进行编码的格式，GeoJSON可以表示几何、特征和特征集合，支持点、线、面、多点、多线、多面和几何集合。

GeoJSON以空间对象为最小处理单元，使用getFeatures()方法将水利空间对象按照其在Shapefile文件中的顺序逐个获取，并按照GeoJSON的格式进行对象重构，将重构结果写入GeoJSON文件中。

如图2所示，步骤3：基于计算量评估模型的空间数据划分；

空间数据划分是将空间数据按照一定的数据结构分解成多个分区。本发明考虑分布式计算中的计算量均衡的条件下，采用基于计算量评估的空间网格划分方法。定义计算量评估模型为：

CM＝f(n，p，O)

式中，CM为计算量，f为工作量计算函数，O为空间算子的时间复杂度计算公式，n为要素个数，p为要素的顶点总数。

将计算量估值与经验阈值比较，大于经验阈值时，则空间网格重新划分。经验阈值计算公式为：

式中F为经验阈值TV的计算函数，N为数据集的要素总数，S为要素集占用空间总量，M为集群计算运行时分配的内存，k为空间算子系数。

基于计算量评估模型的空间数据划分流程为：

3.1：计算数据集的空间范围，初始化经验阈值；

3.2：选择当前未进行计算量评估的空间分区，评估计算量；

3.3：将计算量与经验阈值进行比较，若小于，判断是否存在未评估分区，若存在，重新选择未评估分区，若大于，则将当前分区划分为四份，重复上述步骤，完成空间网格构建。

步骤4：构建分布式空间网格R树索引；

空间索引介于空间操作算法和空间对象之间，它通过筛选作用，大量与特定空间操作无关的空间对象被排除，从而提高空间操作的速度和效率。本发明基于空间网格索引快速构建和Hilbert-R树索引高效检索的特点，提出一种适合分布式内存计算的新型空间网格R树索引，构建水利空间矢量大数据分布式索引，其步骤包括：

首先对矢量数据集R，创建分布式空间数据集，在分布式空间数据集的并行空间变换中，计算r，r∈R_i，(R_i表示分配到i节点计算的数据集，r表示待建立索引的矢量数据)的最小外包矩形，并计算出其覆盖的空间网格，获得其空间编码，然后利用分布式空间数据集的reduce行为，合并空间网格编码，对同一网格分区内的空间对象，自底向上构建R树索引数据结构，形成空间网格R树的分布式空间索引形态，最后序列化空间网格R树到分布式文件系统存储，完成索引构建。

步骤5：矢量数据分布式内存并行检索；

矢量空间数据查询的操作可以看作是空间索引构建的逆过程，对于存储在分布式文件系统中的空间网格R树索引，首先计算出检索区域所在的空间网格，并将对应网格内的R数索引文件反序列化，加载到分布式内存中，然后在MapReduce中对分布式内存索引执行filter变换，过滤去掉所有与检索区域不相交的网格，接着执行map变换，在每个进程内检索空间网格内的Hilbert-R数索引，最后，将索引结果输出，完成空间并行检索。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种水利空间矢量大数据存储管理方法，其特征在于：包括如下步骤：

步骤1：计算机表述水利空间矢量数据集；

步骤2：矢量数据并行转换；

步骤3：基于计算量评估模型的空间数据划分；

步骤4：构建分布式空间网格R树索引；

步骤5：矢量数据分布式内存并行检索。

2.根据权利要求1所述的一种水利空间矢量大数据存储管理方法，其特征在于：所述步骤1包括：水利空间矢量数据存储以ESRI Shapefile文件格式按照空间数据和属性数据两种方式进行存储，计算机获取Shapefile空间矢量数据信息，包括三个文件：主文件(*.shp)、索引文件(*.shx)、dBASE表文件(*.def)，其中主文件存储空间特征，dBASE表文件存储属性信息。

3.根据权利要求1所述的一种水利空间矢量大数据存储管理方法，其特征在于：所述步骤2包括：首先在Master节点提交作业前通过读取Shapefile的文件内容，提取其中的水利空间数据和属性数据，其中空间数据包括数据类型，点、线、面；然后在Map阶段按照GeoJSON的数据结构，将地理信息写入到JSON文件中，生成该Shapefile所对应的GeoJSON文件。

4.根据权利要求3所述的一种水利空间矢量大数据存储管理方法，其特征在于：Shapefile文件解析：Shapefile文件解析包括空间数据解析和属性数据解析；首先从索引文件(.shx)获取水利空间对象的索引信息，然后从主文件(.shp)中将空间几何信息逐一读取，最后根据空间几何信息与属性信息的对应关系从dBASE表(.dbf)中获取属性信息，并将结果传入对应的MapReduce程序中，执行下一步操作。

5.根据权利要求3所述的一种水利空间矢量大数据存储管理方法，其特征在于：GeoJSON空间对象重构：GeoJSON以空间对象为最小处理单元，使用getFeatures()方法将水利空间对象按照其在Shapefile文件中的顺序逐个获取，并按照GeoJSON的格式进行对象重构，将重构结果写入GeoJSON文件中。

6.根据权利要求1所述的一种水利空间矢量大数据存储管理方法，其特征在于：所述步骤3包括：

3.1：计算数据集的空间范围，初始化经验阈值；

所述经验阈值计算公式为：

式中，F为经验阈值TV的计算函数，N为数据集的要素总数，S为要素集占用空间总量，M为集群计算运行时分配的内存，k为空间算子系数；

3.2：选择当前未进行计算量评估的空间分区，评估计算量；

计算量评估模型为：

CM＝f(n，p，O)

式中，CM为计算量，f为工作量计算函数，O为空间算子的时间复杂度计算公式，n为要素个数，p为要素的顶点总数；

3.3：将计算量与经验阈值进行比较，若小于，判断是否存在未评估分区，若存在，重新选择未评估分区，若大于，则将当前分区划分为四份，重复上述步骤，完成空间网格构建。

7.根据权利要求1所述的一种水利空间矢量大数据存储管理方法，其特征在于：所述步骤4包括：首先对矢量数据集R，创建分布式空间数据集，在分布式空间数据集的并行空间变换中，计算r的最小外包矩形，r∈R_i，R_i表示分配到i节点计算的数据集，r表示待建立索引的矢量数据，并计算出其覆盖的空间网格，获得其空间编码，然后利用分布式空间数据集的reduce行为，合并空间网格编码，对同一网格分区内的空间对象，自底向上构建R树索引数据结构，形成空间网格R树的分布式空间索引形态，最后序列化空间网格R树到分布式文件系统存储，完成索引构建。

8.根据权利要求1所述的一种水利空间矢量大数据存储管理方法，其特征在于：步骤5包括：首先计算出检索区域所在的空间网格，并将对应网格内的R数索引文件反序列化，加载到分布式内存中，然后在MapReduce中对分布式内存索引执行filter变换，过滤去掉所有与检索区域不相交的网格，接着执行map变换，在每个进程内检索空间网格内的Hilbert-R数索引，最后，将索引结果输出，完成空间并行检索。