CN105138560A - 基于多级空间索引技术的分布式空间矢量数据管理方法 - Google Patents

Abstract

本发明公开一种基于多级空间索引技术的分布式空间矢量数据管理方法，包括以下步骤：根据所确定的空间数据管理范围，为地理空间矢量数据建立多级四叉树空间索引；计算包含矢量图元的最小网格矩形，根据该矢量图元的最小网格矩形与多级四叉树空间索引中每一级四叉树中的矩形之间的拓扑关系，确定该矢量图元所在的索引级别，并建立相应的图元索引；将多级四叉树中同一节点内图元数据和其对应的索引数据存储至同一服务器设备，将不同节点内图元数据和其对应的索引数据按照存储量大小采取分布式系统管理方式存储至若干个服务器设备。

Description

基于多级空间索引技术的分布式空间矢量数据管理方法

技术领域

本发明属于地理信息学技术领域，具体而言，涉及一种基于多级空间索引技术的分布式空间矢量数据管理方法，主要应用于大规模空间矢量数据的弹性分布式部署。

背景技术

分布式管理指基于网络远程管理包括计算机软件、硬件、设备仪器和知识资源等能够被使用的实体的一种计算机管理模式，该管理系统在物理上分散在逻辑上集中，由若干节点或站点组成，通过网络连接在一起，从而达到分散管理数据以支持高性能的数据维护和查询检索的目的。

目前针对大规模海量数据的分布式管理主要是采用Hadoop的分布式文件系统，简称HDFS，该系统采取客户端-服务器架构，其基本思路是一次写入、多次读取，它将海量数据分布存储在一个大集群的多台计算机上，把文件分块进行存储，不同分块文件采取TCP协议作为系统底层通信的支撑协议。HDFS在处理大数据的分布式存储上具备优势，同时其对硬件需求比较低，可以运行在低廉的商用硬件集群上。

空间矢量数据是指在统一空间坐标系统范围内利用点、线、面等连续的几何元素来表示及记录空间实体的位置、形状、大小及其分布等多方面信息的数据，具有定位、定性、时间和空间关系等特性。空间矢量数据规模庞大，不仅具有属性信息，同时具备空间信息，一旦数据量过大，对其读取速度将会变得非常缓慢，而现有的HDFS不涉及空间位置信息，并不理解空间矢量数据的存储及表达方式，因此在解决分布式空间矢量数据管理时存在缺陷。对空间矢量数据进行管理往往采取添加空间索引的方式，满足系统对海量数据的高效率管理要求。

空间索引是指依据空间对象的位置和形状或空间对象之间的某种空间关系按一定的规则排列成的一种数据结构，最终目的是提高系统对空间数据获取的效率(闫超德赵学胜.《GIS空间索引方法述评》2004年第20卷第4期)。目前空间索引主要分为三种系列，包括R树系列索引、四叉树系列索引和格网系列索引。R树索引是根据空间图元对象的MBR(最小外接矩形)确定索引结构的一种面对对象的平衡树，其所有非叶子节点均存储该节点所包含的MBR和指向子节点的指针，叶子节点则存储该节点内的MBR和空间图元对象，R树索引的优点在于其无需预先知道整个空间对象的存储范围，而是按照图元对象数据来建立索引，同时其缺点在于插入和删除空间数据时会引起相应节点的分裂和合并，操作频繁时，可能会严重降低空间对象的查询效率。四叉树索引是将已知范围的空间不断递归等分为四个相等的子空间，直至满足精度要求，其根节点和中间节点不存储空间对象，而是将其全部存储在叶子节点上，四叉树索引的优点在于其操作简单、耗内存较少，数据的插入和删除操作均比较简单，但是其缺点在于由于检索精度的提高会引起四叉树层次变深，而导致查询效率的下降，同时由于同一空间图元对象可能存储在多个结点上，引起数据量的冗余。格网索引算法简单，其将空间数据范围划分为若干相同的网格，记录每一网格包含的空间实体，因此通过遍历网格即可实现数据单元的快速查询，但是由于格网索引缺乏层次而导致索引数据冗余较大，同时事先需要知晓空间数据的分布范围以及需要确定格网索引的精度，缺乏灵活性，比较适合对空间点数据索引的建立。目前国外空间数据生产商主要利用R树系列作为其数据管理索引，国内空间数据生产商主要利用四叉树作为其数据管理索引。

发明内容

本发明提供一种基于多级空间索引技术的分布式空间矢量数据管理方法，用以克服现有技术中存在的至少一个问题。

为达到上述目的，本发明提供了一种基于多级空间索引技术的分布式空间矢量数据管理方法，包括以下步骤：

根据所确定的空间数据管理范围，为地理空间矢量数据建立多级四叉树空间索引；

计算包含矢量图元的最小网格矩形，根据该矢量图元的最小网格矩形与多级四叉树空间索引中每一级四叉树中的矩形之间的拓扑关系，确定该矢量图元所在的索引级别，并建立相应的图元索引；

将多级四叉树中同一节点内图元数据和其对应的索引数据存储至同一服务器设备，该索引数据包括空间对象的标识号和其最小外包矩形的范围坐标；将不同节点内图元数据和其对应的索引数据按照存储量大小采取分布式系统管理方式存储至若干个服务器设备。

进一步的，上述方法还包括以下步骤：

接受用户对存储的空间矢量数据进行查询、删除和/或插入操作。

进一步的，建立多级四叉树空间索引时，其迭代次数依据图元数据的管理精度要求而定。

进一步的，依据多级四叉树空间索引对空间数据进行存储时，在四叉树根节点到最底层叶子结点的所有索引级别内，首先按照数据存储量从上至下对不同索引级别进行分割存储，由分割得到的若干索引级别内按同一索引级别从左至右、不同索引级别从上至下的顺序将相邻的节点数据依次存储在同一服务器设备上，其中，每个服务器设备都设有存储上限，若存储数据达到该存储上限，则将该分割内若干索引级别中余下的节点数据存储至下一服务器设备，直到将该分割索引级别内全部节点数据均存储完成，再进行下一个分割索引级别内节点数据的存储。

进一步的，在进行数据的分布式部署时，每一个服务器设备均设有相应的冗余存储量，当某个服务器设备上的节点有数据添加而该服务器设备存储的数据达到设定的存储上限时，将添加的数据存储至该服务器设备的冗余存储中。

进一步的，在进行数据的分布式部署时，通过文件配置中心层管理索引文件、空间矢量数据，监督服务器设备的存储上限，以及当用户在对空间数据操作时，传递相应的中间参数，该中间参数是指用户获取数据所输入的查找条件或用户更新数据所进行的操作。

进一步的，接受用户对存储的空间矢量数据进行查询操作包括：

根据用户输入的查找条件确定数据索引层级；

在所确定的索引层级下遍历，确定查找对象的索引编号，以及确定该索引级别所在的服务器设备；

根据所确定的索引编号在所确定的服务器设备中找到对应的图元数据；

通过网络将找到的图元数据传输至用户。

进一步的，接受用户对存储的空间矢量数据进行删除操作包括：

根据用户输入的查找条件确定数据索引层级；

在所确定的索引层级下遍历，确定查找对象的索引编号，以及确定该索引级别所在的服务器设备；

根据所确定的索引编号在所确定的服务器设备中找到对应的图元数据；

将找到的图元数据及其索引数据删除。

进一步的，接受用户对存储的空间矢量数据进行插入操作包括：

确定待插入数据所在的数据索引层级；

确定该索引级别所在的服务器设备，并建立待插入图元数据的索引号；

将所确定的索引数据存储至已有的索引链表中；

将待插入图元数据存储至所确定的服务器设备中。

本发明利用多级四叉树空间索引技术，按空间矢量图元数据的尺度大小分级分别存储在相应的四叉树索引节点上，同时将节点在物理服务器上进行分布式部署，从而实现对大规模空间矢量数据的弹性管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的基于多级空间索引技术的分布式空间矢量数据管理方法流程图；

图2为本发明一个实施例的多级空间索引建立与分布式数据存储流程图；

图3为本发明一个实施例的接受用户对存储的空间矢量数据进行查询、删除和/或插入操作的流程图；

图4为本发明一个实施例的基于多级空间索引技术的分布式空间矢量数据管理系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例的基于多级空间索引技术的分布式空间矢量数据管理方法流程图；图4为本发明一个实施例的基于多级空间索引技术的分布式空间矢量数据管理系统示意图。如图所示，基于多级空间索引技术的分布式空间矢量数据管理方法包括以下步骤：

S10，根据所确定的空间数据管理范围，为地理空间矢量数据建立多级四叉树空间索引；

在具体实施时，可以根据统计的全部地理空间矢量数据，确定数据管理范围；对地理空间范围建立多级四叉树索引时，最高级别四叉树的划分可以依据该地理空间数据管理的精度而定，对数据的管理精度越高，四叉树的迭代次数越多。

其中，上述空间数据局限为矢量数据，对空间栅格数据的管理不在本发明的技术方案内。

其中，该空间索引属于树状索引结构，该树状索引的每一层代表每一级迭代的四叉树，而四叉树中的每一个节点都用于存储其对应的图元数据和图元的索引数据。

S20，计算包含矢量图元的最小网格矩形，根据该矢量图元的最小网格矩形与多级四叉树空间索引中每一级四叉树中的矩形之间的拓扑关系，确定该矢量图元所在的索引级别，并建立相应的图元索引；

在具体实施时，为上述地理空间范围中的图元对象建立四叉树索引，通过图元数据的MBR能否被最小的四叉树子空间完全包含确定其索引级别及相应的索引编号。

建立图元空间索引时，可以将该图元从最低级四叉树至最高级四叉树中遍历以进行拓扑判断，确定能够完全包含该图元MBR的最小四叉树子空间所在的级别，其中最低级四叉树为整个地理空间范围，在四叉树的索引结构上表现为最高根节点，最高级四叉树为最大迭代次数后的子空间区域，表现为最低叶子节点，这种方式产生的四叉树是一种不平衡的树，其叶子节点不在同一层级上，任何中间节点都可以成为叶子节点。

S30，将多级四叉树中同一节点内图元数据和其对应的索引数据作为整体存储至同一服务器设备，该索引数据包括空间对象的标识号(主键)和其最小外包矩形的范围坐标；将不同节点内图元数据和其对应的索引数据按照存储量大小采取分布式系统管理方式存储至若干个服务器设备。

在具体实施中，依据多级四叉树空间索引对空间数据进行存储，在四叉树根节点到最底层叶子结点所有索引级别内，首先按照数据存储量从上至下对不同级别进行分割存储，由分割得到的若干级别内按同一级别从左至右、不同级别从上至下的顺序将相邻的节点依次存储在同一服务器设备上，常规的每个服务器设备都设有存储上限，若达到该存储上限，系统会自动将该分割内若干级别中余下的节点存储至下一个服务器设备，直到将该分割级别内全部节点数据均存储完成，再进行下一个分割级内节点数据的存储。采取该方式可以按照四叉树的层级关系实现海量空间数据的弹性分布式存储。在对空间矢量数据进行操作时，可以通过多级空间索引技术在多个分布式存储中的并行处理。

此外，在进行数据的分布式部署时，还可以为每一个服务器设备均设置相应的冗余存储量，当某个服务器上的节点有数据添加而达到了该服务器设定的存储上限时，系统会自动将该数据存储至该服务器的冗余存储中。

进一步的，在进行数据的分布式部署时，通过文件配置中心层管理索引文件、空间矢量数据，监督服务器设备的存储上限，以及当用户在对空间数据操作时，传递相应的中间参数，该中间参数是指用户获取数据所输入的查找条件或用户更新数据所进行的操作。

图2为本发明一个实施例的多级空间索引建立与分布式数据存储流程图；以下结合图2和图4进行说明，该实施例具体包括：

1)对地理空间矢量数据建立多级空间索引，按照如下步骤进行：首先计算每个图元数据的MBR，其次将空间数据按照四叉树的方式建立索引，确定整个地理空间范围为四叉树零级索引，将空间范围四等分形成四个相同的矩形区域建立一级四叉树，判断该图元的MBR与一级四叉树矩形区域的拓扑关系，若MBR与该级别内任一矩形有相交关系，则判定该图元索引级别为上一级，若MBR被其中某一矩形包含，则对该矩形建立下一级四叉树，同样判断该MBR与下一级四叉树中的矩形之间的拓扑关系，依次进行迭代以确定该图元对象所在的索引级别。

2)对分布式空间矢量数据存储时，按如下方式进行：同一节点的图元数据和其对应的索引数据存储在同一服务器设备中，不同节点所包含的数据则可通过分布式系统进行存储在不同服务器设备中，各服务器通过计算机网络进行通信。

3)在进行数据的分布式存储时，涉及到两个方面，节点的存储分割和数据的存储动态调整。节点存储分割按照如下方式进行：四叉树空间索引从根节点至最底层叶子节点范围内，每个节点均存储了各自所在四叉树层级空间尺度下的数据。由于四叉树索引上较高节点上存储的数据一般比较低节点上存储的数据量小，因此按照四叉树层级对节点进行分割，在同一分割级别内将相邻层级的四叉树节点数据按照一定的存储量上限存储至同一服务器，以此实现数据静态分割存储。数据存储动态调整按照以下方式进行：由分割得到的某个层级节点在存储数据时，若这些节点数据量过大，超过了服务器设定的存储上限，系统会自动将多出来的节点数据存储至其他的空余服务器内，实现数据存储时的动态调整。

4)对空间数据进行分布式部署时，存在文件配置中心层，该层的主要作用如下：对空间数据进行查找、删除和插入时，根据客户端(用户)输入的数据操作条件，分析该数据所在的四叉树索引级别，同时确定该数据所在的服务器，进一步的在该服务器内找到对应的图元数据，并返回给客户端(用户)，或者在找到的服务器内进行数据插入、删除等操作。

图3为本发明一个实施例的接受用户对存储的空间矢量数据进行查询、删除和/或插入操作的流程图；如图3所示，多级空间索引下的数据操作包括：

1)确定需要进行的数据操作，一般分为数据查找、数据删除和数据插入；

2)数据查找时，用户在客户端上输入查找参数，根据该参数由文件配置中心层确定查找对象所在的四叉树索引层级，以此确定该数据所在的服务器存储设备；

3)对2)中服务器设备下按照索引层次进行索引遍历，通过索引查询并调出其在服务器存储中的详细图元数据；

4)将详细图元数据通过网络进行传送并显现在客户端上；

5)数据删除时，根据数据查找步骤在分布式服务器存储中查找并定位需要删除的数据；

6)删除5)中图元数据及其索引号，删除该数据不会引起空间数据存储分布的调整；

7)数据插入时，根据该图元数据本身的尺度大小确定其索引应位于的四叉树级别；

8)配置文件中心自动建立该级别下该图元数据的索引号，根据索引号将其存储至相应的服务器设备中，图元数据和对象索引数据直接存储至服务器内，同时系统会自动更新配置文件中心上的索引表数据。

具体的，在数据查找时，客户端的输入条件一般分为两种：关键字查找和地图几何查找，其中地图几何查找即通过点、线、框等对地图图元进行定位。

进一步的，为提高效率，在数据查找时，可进行并行操作，由于不同级别索引和其对应的数据存储在分布式服务器上，因此在进行多个图元数据查找时，可以将查找任务细分并在多个服务器内同时进行。

进一步的，在数据插入时，新插入的数据需要判断其所在的四叉树级别，判断依据是选取能够完全包含该图元数据MBR的最小四叉树子空间，其次数据的插入引起相应服务器设备的存储量达到上限时，系统会自动将其存储至该服务器对应的冗余存储设备中。

本发明基于四叉树空间索引，首先将地理空间矢量数据范围划分为多层次的四叉树空间，通过分析空间图元对象的MBR(最小外接矩形)与不同索引层级下四叉树子空间的位置关系，确定能够包含该MBR的最小四叉树子空间所在的层级以及该图元对象的索引编号。与传统四叉树数据存储方式不同，本发明将每个空间图元对象具体的矢量数据和索引数据均存储在其相应的四叉树节点上，改变了传统方式仅在叶子节点存储具体矢量数据的方式。这种模式将每一个四叉树节点索引和空间图元对象限定为一对多的关系，即一个空间图元对象只能拥有唯一的空间索引。在表现形式上，空间矢量数据的尺度越大，其索引所在的四叉树层级越小，最大的空间对象其数据和索引存储在最高的根节点上。多级四叉树空间索引的建立可以实现分布式矢量数据管理，每个四叉树节点上的数据可独立的被存储在某台物理服务器设备上，所有的设备通过网络进行通信传输，同时设备会设定存储上限，对于不同层次上的节点，当节点存储的空间对象数据量达到上限值时，该服务器将停止存储数据，此时系统会自动将其余的节点数据存储至下一个服务器上，其中节点的存储顺序是按照多级四叉树的索引层级顺序从上而下进行的，由此可以实现对空间数据的弹性分布式部署。

本发明对地理空间矢量数据建立了多级四叉树空间索引，采取这种方式可以保证地图上每个图元索引的唯一性，避免了传统四叉树索引所引起的线、面图元索引数据冗余，同时按照多级空间索引对不同四叉树级别上的节点在存储时按照数据量大小进行部署，数据量较小的若干节点可以存储至同一服务器内，数据量较大的节点则可以存储在多个服务器内，利用分布式数据管理技术实现空间矢量数据的并行运算，从而提高空间矢量数据的维护和检索效率，在处理海量空间矢量数据时，该方式可显著提高系统运行性能。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，包括以下步骤：

根据所确定的空间数据管理范围，为地理空间矢量数据建立多级四叉树空间索引；

计算包含矢量图元的最小网格矩形，根据该矢量图元的最小网格矩形与多级四叉树空间索引中每一级四叉树中的矩形之间的拓扑关系，确定该矢量图元所在的索引级别，并建立相应的图元索引；

将多级四叉树中同一节点内图元数据和其对应的索引数据存储至同一服务器设备，该索引数据包括空间对象的标识号和其最小外包矩形的范围坐标；将不同节点内图元数据和其对应的索引数据按照存储量大小采取分布式系统管理方式存储至若干个服务器设备。

2.根据权利要求1所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，还包括以下步骤：

接受用户对存储的空间矢量数据进行查询、删除和/或插入操作。

3.根据权利要求1所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，建立多级四叉树空间索引时，其迭代次数依据图元数据的管理精度要求而定。

4.根据权利要求1所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，依据多级四叉树空间索引对空间数据进行存储时，在四叉树根节点到最底层叶子结点的所有索引级别内，首先按照数据存储量从上至下对不同索引级别进行分割存储，由分割得到的若干索引级别内按同一索引级别从左至右、不同索引级别从上至下的顺序将相邻的节点数据依次存储在同一服务器设备上，其中，每个服务器设备都设有存储上限，若存储数据达到该存储上限，则将该分割内若干索引级别中余下的节点数据存储至下一服务器设备，直到将该分割索引级别内全部节点数据均存储完成，再进行下一个分割索引级别内节点数据的存储。

5.根据权利要求4所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，在进行数据的分布式部署时，每一个服务器设备均设有相应的冗余存储量，当某个服务器设备上的节点有数据添加而该服务器设备存储的数据达到设定的存储上限时，将添加的数据存储至该服务器设备的冗余存储中。

6.根据权利要求1所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，在进行数据的分布式部署时，通过文件配置中心层管理索引文件、空间矢量数据，监督服务器设备的存储上限，以及当用户在对空间数据操作时，传递相应的中间参数，该中间参数是指用户获取数据所输入的查找条件或用户更新数据所进行的操作。

7.根据权利要求2所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，接受用户对存储的空间矢量数据进行查询操作包括：

根据用户输入的查找条件确定数据索引层级；

在所确定的索引层级下遍历，确定查找对象的索引编号，以及确定该索引级别所在的服务器设备；

根据所确定的索引编号在所确定的服务器设备中找到对应的图元数据；

通过网络将找到的图元数据传输至用户。

8.根据权利要求2所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，接受用户对存储的空间矢量数据进行删除操作包括：

根据用户输入的查找条件确定数据索引层级；

在所确定的索引层级下遍历，确定查找对象的索引编号，以及确定该索引级别所在的服务器设备；

根据所确定的索引编号在所确定的服务器设备中找到对应的图元数据；

将找到的图元数据及其索引数据删除。

9.根据权利要求2所述的基于多级空间索引技术的分布式空间矢量数据管理方法，其特征在于，接受用户对存储的空间矢量数据进行插入操作包括：

确定待插入数据所在的数据索引层级；

确定该索引级别所在的服务器设备，并建立待插入图元数据的索引号；

将所确定的索引数据存储至已有的索引链表中；

将待插入图元数据存储至所确定的服务器设备中。