CN110297952B - 一种基于网格索引的并行化高速铁路勘测数据检索方法 - Google Patents

Abstract

本发明公开了一种基于网格索引的并行化高速铁路勘测数据检索方法基于分布式并行建立空间数据索引，提高了空间数据索引建立的速率；考虑Hilbert填充曲线有空间邻近性，对数据建立网格索引时，利用Hilbert填充曲线对数据的索引进行编码。鉴于数据库存储数据时的主键是基于Hilbert编码有序排列存储的，所以存储的数据也有空间邻近性，检索数据时可以根据范围计算数据所属网格，利用网格的Hilbert编码对所有数据进行一次过滤后再检索目标数据，提高检索效率。

Description

一种基于网格索引的并行化高速铁路勘测数据检索方法

技术领域

本发明属于空间数据检索技术领域，具体涉及一种基于网格索引的并行化高速铁路勘测数据检索方法。

背景技术

目前，空间数据库已在遥感、地理信息等多个学科领域有了广泛的应用。空间数据库索引技术作为其核心技术，人们对它的研究也收到了极大的重视。空间数据索引技术作为一种空间数据库的访问引擎，它关系到空间数据库的信息处理和管理能力。索引结构的设计的目的就在于提高空间数据访问效率和检索性能，它解决了单个索引结构在大量数据中的低效查询问题。

空间数据检索问题为研究背景的成果已有很多，其中不乏利用网格检索进行研究的成果。一种是基于网格的空间数据检索方法，在数据查询时，计算待检索空间坐标对应的Hash值并判断其所属网格的网格号，根据网格号查询元数据表以获得节点号,根据节点号、网格号和Hash值在存储集群中进行检索。该方法提出了新的数据存储、组织和索引形式,可以提升分布式集群环境下的地理信息检索效率。另一种是利用R树索引和网格划分索引实现“混合型异构空间数据网格体索引技术”,减少R树索引的重叠，降低R树的平均深度，提高索引效率。

上述两种方法，主要重点是研究构建索引的形式上，但缺少研究更有效的检索方式来提升检索效率，造成现有的数据检索方法效率低下的问题。

发明内容

针对现有技术中的上述不足，本发明提供的基于网格索引的并行化高速铁路勘测数据检索方法解决了现有的数据检索方法效率低下的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于网格索引的并行化高速铁路勘测数据检索方法，包括以下步骤：

S1、获取高速铁路勘测时的所有数据，构建空间数据集；

S2、并行处理空间数据集中的空间对象，将其映射到所属网格中；

S3、根据同一网格内的空间对象，构建空间对象索引表并存入到数据库中；

S4、当进行高速铁路勘测数据检索时，输入检索条件并计算检索条件的Hilbert值进而确定数据库检索条件；

S5、在数据库中根据计算出的最大与最小Hilbert值进行数据查询，将符合检索条件的高速铁路勘测数据显示出来，实现高速铁路勘测数据的检索。

进一步地，所述步骤S1中的空间数据集中空间对象的类型包括点、线和面；

其中，点由其对应的坐标表示；线和面均由一组点的坐标表示；

构建空间数据集的方法具体为：

对每个空间对象生成对应的ObjectID码，并将其转化为<ObjectID，(Type,geo)>的形式保存在空间数据集中；

其中，Type为空间对象的类型；

geo为对应空间对象的几何信息。

进一步地，所述步骤S2具体为：

根据空间数据集中的数据对象类型，并行计算其对应的Hilbert值，再将对应的空间对象映射到所属网格中；

其中，映射形式为：<ObjectID，(Type,geo)>→<GID，(ObjectID,Type)>，GID为针对每个网格基于Hilbert填充曲线形成的Hilbert值；

对于点，映射到所属网格的方法具体为：

根据其对应的Hilbert值，将点映射到所属网格中；

对于线和面，映射到所述网格的方法具体为：

根据空间对象的几何信息得到其对应的最小外接矩阵，然后取最小外接矩阵的中心坐标计算其Hilbert值，根据Hilbert值将对应的空间对象映射到所属网格中。

进一步地，所述步骤S3具体为：

将映射到同一网格中的空间对象进行归约操作，形成一条索引表记录并插入到空间对象索引表中，然后将所有网格对应的空间对象索引表存入到数据库中。

进一步地，构建空间对象索引表时：

将网格的GID作为key值，空间对象的(ObjectID,Type)作为value值，将key值相同的value值组装成一条索引记录插入到对应的空间对象索引表空间数据索引表中。

进一步地，所述步骤S3中的数据库中的数据存储结构为按主键顺序存储的数据库；

所述数据库中的主键为空间对象ID；所述空间对象ID由其Hilbert值和所在图层组成。

进一步地，所述步骤S4具体为：

根据输入的检索条件，确定对应的最小外接矩阵所覆盖的网格，然后计算这些网格的Hilbert值，得到符合检索条件的最大与最小Hilbert值作为数据库检索条件。

进一步地，所述步骤S5中符合检索条件的高速铁路勘测数据为Hilbert值在最大Hilbert值与最小Hilbert值之间对应的高速铁路勘测数据。

本发明的有益效果为：

本发明方法基于分布式并行建立空间数据索引，提高了空间数据索引建立的速率；考虑Hilbert填充曲线有空间邻近性，对数据建立网格索引时，利用Hilbert填充曲线对数据的索引进行编码。鉴于数据库存储数据时的主键是基于Hilbert编码有序排列存储的，所以存储的数据也有空间邻近性，检索数据时可以根据范围计算数据所属网格，利用网格的Hilbert编码对所有数据进行一次过滤后再检索目标数据，提高检索效率。

附图说明

图1为本发明中的网格搜索图。

图2为本发明中的Hilbert填充曲线图。

图3为本发明提供的基于网格索引的并行化高速铁路勘测数据检索方法实现流程图。

图4为本发明中的Hilbert编码数据检索图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

在进行具体实施方式的描述前，首先明确几个本发明方法中的主要概念：

(1)网格索引：

网格索引的基本思想是将研究区域按照一定规则用横竖线分为小的网格，记录每个网格所包含的地理对象。当用户进行空间查询时，首先计算查询对象所在的网格，然后通过该网格快速查询所选的地理对象。将一副地图分割成a*b的固定网格，如图1所示再根据一定的方法将网格编码，为落入每个格网内的地图目标建立索引，这样只需检索原来区域的1/a*b，以达到快速检索的目的。该算法的优点是操作简单，结合编码，查询速度快。缺点是数据冗余量较大，难以动态维护。

常用的网格编码方法有行排序、Z排序和Hilbert值排序，其中Hilbert值排序最能反应空间邻近性。因此，基于Hibert曲线分形的算法被广泛应用到空间索引中，本发明中的网格编码方式即为Hilbert编码。

(2)Hilbert填充曲线：

数学家Peano提出了著名的空间填充曲线理论，德国数学家Hilbert构造了Hilbert曲线，如图2所示。peano族曲线的主要特点在于其空间填充性，而空间填充性具体表现在如下的几个特征中：

a、把一个空间划分成多个区域，填充曲线连续的遍历空间内的所有区域而不重复穿过任何区域，并且是处处连续的；

b、其空间填充曲线整体上具有填充区域空间相关性的特点，空间相邻相近的区域在空间填充曲线上也表现为较相近距离的特征；

c、通过空间填充曲线可以实现由二维甚至是多维空间到一维空间的变换，许多信号处理方面的问题因为这个特征而运用空间填充曲线得到了很好的解决。

这种能穿越任何区域的特征是在整个空间区域被划分为以单元格网为标识的单元块区域组成为前提条件的,实际上填充曲线穿越的并不是整个空间区域而是多维的单元网格标识,当然在单元网格足够多细分足够密集的时候，填充曲线可以无限接近于整个空间区域,这是一种连续但不可导的状态标识。

基于以上的特质和原因空间填充曲线被广泛运用于图像，信号处理，以及几何操作和应用数学等许多科学领域。

Peano族空间填充曲线家族中有众多的分支，其中主要的几个包括有Hilbert填充，Z-Oreder填充等。Z-Oreder空间填充相对较简单，然而其空间聚类的效果相交于Hilbert填充较差。Hilbert曲线的另外一个特点是在众多的Peano族曲线中，它是最能够表达好空间的相邻近特征的曲线划分，即在空间联系关系比较密切而空间几何距离相近的位置上，其曲线之间的距离也会将较更短。

根据上述内容，考虑空间数据建立网格索引的过程有很好的并行性，为了提高索引构建速度，本发明提供了如图3所示的基于网格索引的并行化高速铁路勘测数据检索方法，包括以下步骤：

S1、获取高速铁路勘测时的所有数据，构建空间数据集；

S2、并行处理空间数据集中的空间对象，将其映射到所属网格中；

S3、根据同一网格内的空间对象，构建空间对象索引表并存入到数据库中；

S4、当进行高速铁路勘测数据检索时，输入检索条件并计算检索条件的Hilbert值进而确定数据库检索条件；

S5、在数据库中根据计算出的最大与最小Hilbert值进行数据查询，将符合检索条件的高速铁路勘测数据显示出来，实现高速铁路勘测数据的检索。

上述步骤S1中的空间数据集中空间对象的类型包括点、线和面；

其中，点由其对应的坐标表示；线和面均由一组点的坐标表示；

构建空间数据集的方法具体为：

对每个空间对象生成对应的ObjectID码，并将其转化为<ObjectID，(Type,geo)>的形式保存在空间数据集中；

其中，Type为空间对象的类型；

geo为对应空间对象的几何信息。

空间数据集中的<ObjectID，(Type,geo)>作为一种key-value形式的键值对，value中保留了数据的多种属性，例如：空间对象的数据类型(点、线和面)和具体空间对象几何信息等；

上述步骤S2具体为：

根据空间数据集中的数据对象类型，并行计算其对应的Hilbert值，再将对应的空间对象映射到所属网格中；

其中，映射形式为：<ObjectID，(Type,geo)>→<GID，(ObjectID,Type)>，GID为针对每个网格基于Hilbert填充曲线形成的Hilbert值；

对于点，映射到所属网格的方法具体为：

根据其对应的Hilbert值，将点映射到所属网格中；

对于线和面，映射到所述网格的方法具体为：

根据空间对象的几何信息得到其对应的最小外接矩阵，然后取最小外接矩阵的中心坐标计算其Hilbert值，根据Hilbert值将对应的空间对象映射到所属网格中。

在该步骤中，由于Hilbert填充曲线的空间聚类效果较好且拥有很好的空间邻近性，利用其对空间对象进行Hilbert编码后，使邻近的空间对象的Hilbert值也相近。

上述步骤S3具体为：

将映射到同一网格中的空间对象进行归约操作，形成一条索引表记录并插入到空间对象索引表中，然后将所有网格对应的空间对象索引表存入到数据库中。本发明中的数据库中的数据存储结构为按主键顺序存储的数据库(MySQL和HBase等)；数据库中的主键为空间对象ID，空间对象的ID为Hilbert值加图层的形式，有利于数据的检索。

由于数据库依赖主键顺序存储的特性，邻近的空间对象在数据库中存储位置也邻近，有利于空间对象的检索。

具体地，在构建空间对象索引表时：

将网格的GID作为key值，空间对象的(ObjectID,Type)作为value值，将key值相同的value值组装成一条索引记录插入到对应的空间对象索引表空间数据索引表中。

上述步骤S4具体为：

根据输入的检索条件，确定对应的最小外接矩阵所覆盖的网格，然后计算这些网格的Hilbert值，得到符合检索条件的最大与最小Hilbert值作为数据库检索条件。

上述步骤S5中的符合检索条件的高速铁路勘测数据为Hilbert值在最大Hilbert值与最小Hilbert值之间对应的高速铁路勘测数据。

假设输入的检索条件为地理围栏范围，其实现检索的过程为：计算地理围栏的最小外接矩阵(MBR)，由MBR计算地理围栏所覆盖的网格，然后计算这些网格的Hilbert值，得到符合检索条件的最大与最小Hilbert值，根据计算结果在数据库中进行检索，将符合检索条件(数据库中最大Hilbert值和最小Hilbert值之间的数据)的高速铁路勘测数据展示在GIS界面上。

假设输入的检索条件为某个点为及数据搜索半径，其实现检索的过程为：计算以某点位为中心，在数据搜索半径下的MBR，由MBR计算其覆盖的网格，计算这些网格的Hilbert值，得到符合检索条件的最大与最小Hilbert值，根据计算结果在数据库中进行检索，将符合检索条件(数据库中最大Hilbert值和最小Hilbert值之间的数据)的高速铁路勘测数据展示在GIS界面上。

例如图4所示，所有的空间对象按Hilbert值进行排序，当我们查询(0,2)到(1,3)中的空间对象时，会计算这个区域中最大的Hilbert编码值8和最小的Hilbert编码值5。这样在对数据库空间对象索引表进行查询的时候可以设置主键范围，仅查询5到8的空间数据，1到5和8到N的这些空间数据被过滤掉了，从而缩小查询的数据量，进而提高检索的速度。

本发明的有益效果为：

本发明方法基于分布式并行建立空间数据索引，提高了空间数据索引建立的速率；考虑Hilbert填充曲线有空间邻近性，对数据建立网格索引时，利用Hilbert填充曲线对数据的索引进行编码。鉴于数据库存储数据时的主键是基于Hilbert编码有序排列存储的，所以存储的数据也有空间邻近性，检索数据时可以根据范围计算数据所属网格，利用网格的Hilbert编码对所有数据进行一次过滤后再检索目标数据，提高检索效率。

Claims (4)

1.一种基于网格索引的并行化高速铁路勘测数据检索方法，其特征在于，包括以下步骤：

S1、获取高速铁路勘测时的所有数据，构建空间数据集；

S2、并行处理空间数据集中的空间对象，将其映射到所属网格中；

S3、根据同一网格内的空间对象，构建空间对象索引表并存入到数据库中；

S4、当进行高速铁路勘测数据检索时，输入检索条件并计算检索条件的Hilbert值进而确定数据库检索条件；

S5、在数据库中根据计算出的最大与最小Hilbert值进行数据查询，将符合检索条件的高速铁路勘测数据显示出来，实现高速铁路勘测数据的检索；

所述步骤S1中的空间数据集中空间对象的类型包括点、线和面；

其中，点由其对应的坐标表示；线和面均由一组点的坐标表示；

构建空间数据集的方法具体为：

对每个空间对象生成对应的ObjectID码，并将其转化为<ObjectID，(Type,geo)>的形式保存在空间数据集中；

其中，Type为空间对象的类型；

geo为对应空间对象的几何信息；

所述步骤S2具体为：

根据空间数据集中的数据对象类型，并行计算其对应的Hilbert值，再将对应的空间对象映射到所属网格中；

其中，映射形式为：<ObjectID，(Type,geo)>→<GID，(ObjectID,Type)>，GID为针对每个网格基于Hilbert填充曲线形成的Hilbert值；

对于点，映射到所属网格的方法具体为：

根据其对应的Hilbert值，将点映射到所属网格中；

对于线和面，映射到所述网格的方法具体为：

根据空间对象的几何信息得到其对应的最小外接矩阵，然后取最小外接矩阵的中心坐标计算其Hilbert值，根据Hilbert值将对应的空间对象映射到所属网格中；

所述步骤S4具体为：

根据输入的检索条件，确定对应的最小外接矩阵所覆盖的网格，然后计算这些网格的Hilbert值，得到符合检索条件的最大与最小Hilbert值作为数据库检索条件；

所述步骤S5中符合检索条件的高速铁路勘测数据为Hilbert值在最大Hilbert值与最小Hilbert值之间对应的高速铁路勘测数据。

2.根据权利要求1所述的基于网格索引的并行化高速铁路勘测数据检索方法，其特征在于，所述步骤S3具体为：

将映射到同一网格中的空间对象进行归约操作，形成一条索引表记录并插入到空间对象索引表中，然后将所有网格对应的空间对象索引表存入到数据库中。

3.根据权利要求2所述的基于网格索引的并行化高速铁路勘测数据检索方法，其特征在于，构建空间对象索引表时：

将网格的GID作为key值，空间对象的(ObjectID,Type)作为value值，将key值相同的value值组装成一条索引记录插入到对应的空间对象索引表空间数据索引表中。

4.根据权利要求1所述的基于网格 索引的并行化高速铁路勘测数据检索方法，其特征在于，所述步骤S3中的数据库中的数据存储结构为按主键顺序存储的数据库；

所述数据库中的主键为空间对象ID；所述空间对象ID由其Hilbert值和所在图层组成。

Images