CN103714145A - 关系型和Key-Value型数据库空间数据索引方法 - Google Patents

Abstract

本发明涉及一种同时适用于关系型和Key-Value型数据库的空间矢量数据的索引方法。空间数据按分类组织成图层，根据图层数据的坐标范围划分出索引层和索引网格，每个网格赋予唯一的二维行列编码和一维编码；遍历图层的每个要素，根据要素的图形计算其与索引网格之间的覆盖关系，从而获得要素所属的索引层和覆盖的网格；将要素所属的网格的行列编码作为要素的空间索引编码存储在关系数据库的图层索引表中，网格的一维编码经复合设计后作为Key-Value型数据库中的图层索引表的行键。本发明统一了关系型和Key-Value型数据库中矢量空间数据的索引方式，当空间数据在它们之间迁移时，不需要重建空间索引。

Description

关系型和Key-Value型数据库空间数据索引方法

技术领域

本发明涉及空间数据管理和空间信息处理领域，尤其涉及一种对存储于关系型数据库和Key-Value型数据库中的空间矢量数据建立一致的空间索引的方法。

背景技术

空间数据关注空间地物要素的几何形状，利用点、线和多边形的形式来表达现实世界。随着空间数据采集能力的提高和地理信息系统的发展，空间数据急剧增长，基于GIS的大规模数据、高流量负载的网络应用也越来越多。当采用关系型数据库存储这些海量空间数据时，单一节点的数据存储能力很难为用户提供高并发和低延迟的服务。为了提升访问效率，可以通过集群来解决这类问题，但关系型数据库数据模型的复杂性影响其扩展规模。

Key-Value型数据库以其在大规模并发访问与海量数据存储方面的优势得到广泛的应用。Key-Value型数据库没有严格的范式，通常面向列存储，可以在一个服务集群上运行，当有更多的节点加入到集群时，可以方便地进行扩展。集群中的各节点提供了存储、缓存和计算的能力。Key-Value型数据库比较优秀的代表有HBase、MongoDB等，它们提供了易于扩展的超大规模的数据存储能力，同时提供低延迟访问，为海量空间数据的存储提供了极佳的选择。

空间数据存储于数据库中，通过空间索引可以快速地检索出满足空间查询条件的空间要素。空间索引的实质是通过对某种编码的快速查找达到快速定位空间要素的目的，常用的空间索引方法有网格索引、R树索引和四叉树索引等。其中网格索引和四叉树索引方法简单、易于实现，被大多数空间数据库采用。在实际应用中，当需要在关系型和Key-Value型两种不同类型的空间数据库之间迁移数据时，如果它们的空间索引编码机制不同，就需要重新编码。对于海量空间数据的情形，重建索引编码的代价是相当大的。因此，不同类型的空间数据库采用统一的空间索引方法具有重要实际意义。

发明内容

本发明的目的是解决上述问题，提出一种对存储在关系型和Key-Value型数据库中的海量空间数据创建高效、一致的空间索引方法，为跨类型数据库的空间数据迁移提供便利。

为了实现上述目的，本发明所采取的技术方案是：提供一种统一的关系型和Key-Value型数据库空间数据索引方法，操作步骤如下：

步骤一：将空间矢量数据组织成图层，根据图层数据的坐标范围划分出索引层和索引网格，每个网格赋予唯一的二维行列编码和一维编码,具体为：

（a）空间矢量数据按分类组织成图层，根据图层的坐标范围或图层所在的参考系的坐标范围划分索引层，索引层最多为24层，最上面的为0号索引层，只有1个网格，表示整个坐标范围，1号索引层有4个网格，是在0号索引层的网格上四等分得到的，以此类推，N号索引层的网格是在N-1号索引层的每个网格上四等分得到的，最底层为23号索引层，有2²³×2²³个网格；

（b）根据索引层上的网格所在的行和列，赋予每个网格唯一的二维行列编码；

（c）1号索引层的4个网格的二维行列编码可以变换为一维编码0、1、2、3，将1号索引层的每个网格继续四等分，得到2号索引层的网格，其一维编码由1号索引层的一维编码附加2号索引层网格0,1,2,3编码组成，其余索引层的网格都按此规则赋予唯一的一维编码；

步骤二：遍历图层的每个要素，根据要素的图形计算其与索引网格之间的覆盖关系，从而获得要素所属的索引层和覆盖的网格，具体为：

①所述的要素记为s，当s为点图形时，且s在某个网格内，则表示为s覆盖了该网格，当s为线或面图形时，且s与某网格相交，则表示为s覆盖了该网格，s覆盖的全部网格坐标范围记为GBR（X1，Y1，X2，Y2），s覆盖的i号索引层的网格数记为s（i）；

②对于线或多边形图层数据中的任一要素ｓ，根据ｓ的外包矩形坐标范围，从23号索引层开始，或者根据s的尺度特征从小于23的某个索引层开始，逐层向上计算s（i），其中i>0；

③当s（N）=4时，判定ｓ在N号索引层上的必要条件是覆盖最多4个网格，如果：

4=s（N）>...>s（N-k）=s（N-k-1），（k=1，2，...，N-1），则s在N-k索引层上，否则s在N号索引层上，N最大为23，最小为1；

④对于空间点要素图层，其全部点的集合构成点云，以点云的平均密度为4的半径R作为网格参考尺度，可以确定索引层号，然后再逐个确定点在该索引层上所覆盖的网格；

④记录s的所属索引层号、所覆盖网格和覆盖的全部网格坐标范围GBR（X1，Y1，X2，Y2）；

⑤当图层的全部要素遍历结束，记下最大索引层号和最小索引层号，作为图层的有效索引层范围；

步骤三：将要素所属的网格的行列编码作为要素的空间索引编码存储在关系型数据库的图层索引表中，网格的一维编码经复合设计后作为Key-Value型数据库中的图层索引表的行键编码，其具体为：

1）图层要素存储在图层数据表中，包括要素ID、要素的空间和属性信息；

2）每个图层数据表对应一个图层索引表，关系型数据库中的图层索引表存储要素索引网格的二维行列编码，Key-Value型数据库中的图层索引表将索引网格的行键编码作为行键存储；

3）所有图层的坐标范围和有效索引层范围都存储在一张图层元数据表中。

本发明步骤三中所述的关系型数据库和Key-Value型数据库图层索引表，其结构是：

关系数据库图层索引表的字段有要素ID、索引网格的行和列编码、网格坐标范围GBR（X1，Y1，X2，Y2），并对它们建立数据库联合索引；

Key-Value数据库图层索引表的每一行代表唯一的索引网格，包括行键编码、网格的行和列编码、网格的空间坐标范围、覆盖本网格的要素ID集合。

本发明步骤三中所述的图层索引表中二维行列编码和行键编码，其编码方式为：

关系型数据库中的图层索引表存储的要素索引网格的行和列编码分别为4字节整数，首字节为网格的索引层号，其余3个字节表示网格的行和列号；

Key-Value型数据库中的图层索引表的行键为8字节编码，首字节为索引层号，6个字节存储索引网格的一维编码，1个字节保留未用。

本发明的方法具有的有益效果是：

(A)本发明提出的24个索引层划分方法可满足海量空间数据范围的编码需要，这是因为假设待处理的空间数据为整个地球范围（约40000km×40000km），用2^23×2²³个网格去划分它，最底下的23号索引层的网格尺寸不到5米，可为足够小的地物建立索引。

(B)本发明中关系型数据库索引网格的二维行列编码和Key-Value型数据库索引网格的一维行键编码具有一一对应的空间映射关系，可以相互变换，当空间数据在它们之间迁移时，只需要转换索引编码，不需要重新计算要素与索引网格的关系。

(C)本发明中二维行列编码采用4字节编码，一维行键编码采用8字节编码，考虑了64位的操作系统中内存8字节对齐的特点，可利用操作系统的最佳特性。

附图说明

图1为本发明索引分层与网格划分示意图。

图2为本发明中网格二维行列编码示意图。

图3为本发明中网格一维编码示意图。

图4为本发明中网格一维编码原理图。

图5为本发明中要素建立空间索引的过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

实施例1：本发明提供一种统一的关系型和Key-Value型数据库空间数据索引方法，操作步骤如下：

步骤一：将空间矢量数据组织成图层，根据图层数据的坐标范围划分出索引层和索引网格，下一索引层的网格是在上一索引层的每个网格上四等分得到的，每个网格具有唯一的一维编码和二维行列编码，具体为：

1）空间矢量数据按分类组织成图层，根据图层的坐标范围或图层所在的参考系的坐标范围划分索引层，索引层为24层，最上面的为0号索引层，只有1个网格，表示整个坐标范围MBR（Xmin，Ymin，Xmax，Ymax），1号索引层有4个网格，是在0号索引层的网格上四等分得到的，以此类推，N号索引层的网格是在N-1号索引层的每个网格上四等分得到的，最底层为23号索引层，有2²³×2²³个网格，如图1说明了索引分层与网格划分原理。

2）记N号索引层为Level N。Level0只有一个网格，表示整个MBR。将Level0的网格四等分得到的Level1的4个网格，其行列坐标即二维网格编码分别为：（0，0）、（0，1）、（1，0）、（1，1），参见图2的二维网格编码示意图。

3）Level1的4个网格一维编码为：0，1，2，3。将Level1的每个网格继续四等分，得到Level2的16个网格，其一维编码是将Level1的网格编码作为前缀附加上其自身网格编码0,1,2,3组成；同样可以得到Level3的网格一维编码。图3，图4分别为Level3网格一维编码示意图与原理图。其余索引层的网格都按此规则赋予唯一的一维编码。

步骤二：遍历图层的每个要素，根据要素的图形计算其与索引网格之间的覆盖关系，从而获得要素所属的索引层和覆盖的网格：

1）所述的要素记为s，当s为点图形时，且s在某个网格G内，则表示为s覆盖了G，当s为线或面图形时，且s与G相交，则表示为s覆盖了G，s覆盖的全部网格坐标范围记为GBR（X1，Y1，X2，Y2），s覆盖的i号索引层Level i号的网格数记为s（i）。

2）对于图层数据表中的任一要素ｓ，根据ｓ的坐标范围MBR，从Level23开始，或者根据s的尺度特征从小于23的某个索引层开始，逐层向上计算s（i），其中i>0。

3）对于图层的任一要素s，s覆盖的Level N上的网格数记为s（N）。当s（N）=4时，可以判定s可能在Level N上，即ｓ在Level N上的必要条件是覆盖最多4个网格，如果：4=s（N）>...>s（N-k）=s（N-k-1），（k=1，2，...），则s所在的Level为N-k，（k<N），否则为N。规定要素的Level最大为23，最小为1。

为了更好地说明要素建立空间索引的全过程，参见图5。假定最大Level为3，要求为要素A～E建立索引表。要素A在Level3只覆盖了1个网格（2，1），因此A的Level=3；B在Level3和Level2上都覆盖了4个网格，根据本方法的规定，B的Level=3。C在Level2上覆盖的网格数1，少于其在Level3上的网格数4，因此C的Level=2。D和E都是随着Level的提升，覆盖的网格数也随之减少，因此最终D和E的Level=1。

4）对于空间点要素图层，其全部点的集合构成点云，以点云的平均密度为4的半径R作为网格参考尺度，可确定索引层号，然后再逐个确定点在该索引层上所覆盖的网格。

5）记录s的所属索引层号、所覆盖网格和覆盖的全部网格坐标范围GBR（X1，Y1，X2，Y2）。

6）当图层的全部要素遍历结束，记下最大索引层号（MaxLevel）和最小索引层号（MinLevel），作为图层的有效索引层范围。

步骤三：将要素所属的网格的行列编码作为要素的空间索引编码存储在关系型数据库的图层索引表中，网格的一维行键编码作为Key-Value数据库中的图层索引表的行键；

1）图层要素存储在图层数据表中，包括要素的空间和属性信息。

表1是关系型数据库中的图层数据表，其包括要素ID（主键）、要素的空间列和属性列。其中空间列包括要素的坐标范围（MBR）和要素图形的二进制数据（WKB格式）。

表1：关系型数据库中的图层数据表

表2是Key-Value型数据库中的图层数据表，其以要素ID作为行键（Rowkey），包括空间列族S和属性列族A，空间列族S包括的列有要素的MBR、GBR所属的Level和要素图形数据（WKB格式）。

表2：Key-Value型数据库中的图层数据表

2）每个图层数据表对应一个图层索引表，关系型数据库中的图层索引表存储要素索引网格的二维行列编码。

表3是关系型数据库中的图层索引表，其包括要素ID、要素的二维网格编码（XI，YI）、要素覆盖的网格范围GBR（X1，Y1，X2，Y2），其中：XI=Level<<24|Xi，YI=Level<<24|Yi，并对这7个字段（Level除外）建立数据库联合索引。

表3：关系型数据库中的图层索引表

Key-Value型数据库中的图层索引表将索引网格的一维行健编码作为行键存储。表4是Key-Value数据库中的图层索引表，每一行表示唯一的索引网格（Xi，Yi），网格的行列坐标对应的一维编码作为行键，即Rowkey=Level<<56|Code，索引列族I包括的列有网格的行列坐标（Xi，Yi）、网格的坐标范围MBR和SID列。SID列存放覆盖了本网格的所有要素ID，它们指向了Key-Value数据库的图层数据表的Rowkey。

表4：Key-Value型数据库中的图层索引表

3）在图层元数据表中记录所有图层的坐标范围和有效索引层范围。图层的坐标范围（MBR）对应0号索引层上的唯一网格的数据坐标范围，存储图层的有效索引层范围（MinLevel，MaxLevel）是方便图层的空间查询，当对图层空间查询时，只需要遍历该图层的有效索引层，而不用对1到23号全部索引层进行遍历。

实施例2：对采用本发明方法所建立的统一的关系型和Key-Value型数据库空间数据进行查询的方法，具体查询的步骤是：

（一）根据本发明所述的基于关系型数据库的数据存储和空间索引建立方法，对一个图层进行空间矩形范围MBR（Xmin，Ymin，Xmax，Ymax）查询的步骤是：

a）从图层元数据表得到图层有效索引层号范围：（MinLevel，MaxLevel）。

b）遍历（MinLevel，MaxLevel）范围内的每个索引层i，计算MBR在Level i上的网格坐标范围GBR（X1，Y1，X2，Y2），然后将索引层号i存储在首字节中（左移24位），网格坐标（X1，Y1，X2，Y2）分别存储在余下的3个字节中，就得到GBR的二维索引编码表示：（MinXI，MinYI，MaxXI，MaxYI），其中：MinXI=i<<24|X1，MinYI=i<<24|Y1，MaxXI=i<<24|X2，MaxYI=i<<24|Y2。

c）对于每个GBR，对图层索引表和数据表进行组合查询：首先查询索引表中的要素ID，要求其对应的索引（XI，YI）在（MinXI，MinYI，MaxXI，MaxYI）范围内。然后用查询得到的要素ID到图层数据表中查询出要素的空间和属性数据。整个过程写成SQL语句如下：

SELECT DISTINCT ID,WKB,A1,A2,...

FROM图层数据表d

INNER JOIN(

SELECT ID

FROM图层索引表

WHERE(XI>=MinXI AND XI<MaxXI)AND(YI>=MinYI and YI<MaxYI)

)t ON t.ID=d.ID。

（二）根据本发明所述的基于Key-Value型数据库的数据存储和空间索引建立方法，对一个图层进行空间矩形范围MBR（Xmin，Ymin，Xmax，Ymax）查询的步骤是：

（1）从图层元数据表得到图层有效索引层号范围：（MinLevel，MaxLevel）。

（2）遍历（MinLevel，MaxLevel）范围内的每个索引层i，计算MBR在Level i上的网格坐标范围GBR（X1，Y1，X2，Y2），对于GBR中的每个网格坐标（XI，YI），X1≤XI<X2，Y1≤YI<Y2，可以得到其对应的Rowkey。

（3）根据（2）生成的Rowkey，在图层索引表中查询SID列，得到要素ID集合，由要素ID集合到图层数据表中查询得到集合中每个要素的实际数据。

Key-Value型数据库查询的关键是利用“按Rowkey检索的效率是最高的”这个特性，通过把二维空间范围查询问题转化为一维Rowkey查询，达到快速空间范围检索的目的。

根据本发明所述的空间数据库存储表结构和索引方法，当空间数据在关系型数据库和Key-Value型数据库之间迁移时，首先将图层要素按对应数据库的图层数据表存储，然后对把图层索引表中的索引编码进行二维编码和一维行键编码之间的变换，因此不需要重新计算要素与索引网格的关系，即不需要重建空间索引，为空间数据迁移带来极大的方便。

Claims (3)

1.一种关系型和Key-Value型数据库空间数据索引方法，其特征在于：操作步骤如下：

步骤一：将空间矢量数据组织成图层，根据图层数据的坐标范围划分出索引层和索引网格，每个网格赋予唯一的二维行列编码和一维编码,具体为：

（a）空间矢量数据按分类组织成图层，根据图层的坐标范围或图层所在的参考系的坐标范围划分索引层，索引层最多为24层，最上面的为0号索引层，只有1个网格，表示整个坐标范围，1号索引层有4个网格，是在0号索引层的网格上四等分得到的，以此类推，N号索引层的网格是在N-1号索引层的每个网格上四等分得到的，最底层为23号索引层，有2²³×2²³个网格；

（b）根据索引层上的网格所在的行和列，赋予每个网格唯一的二维行列编码；

（c）1号索引层的4个网格的二维行列编码可以变换为一维编码0、1、2、3，将1号索引层的每个网格继续四等分，得到2号索引层的网格，其一维编码由1号索引层的一维编码附加2号索引层网格0,1,2,3编码组成，其余索引层的网格都按此规则赋予唯一的一维编码；

步骤二：遍历图层的每个要素，根据要素的图形计算其与索引网格之间的覆盖关系，从而获得要素所属的索引层和覆盖的网格，具体为：

①所述的要素记为s，当s为点图形时，且s在某个网格内，则表示为s覆盖了该网格，当s为线或面图形时，且s与某网格相交，则表示为s覆盖了该网格，s覆盖的全部网格坐标范围记为GBR（X1，Y1，X2，Y2），s覆盖的i号索引层的网格数记为s（i）；

②对于线或多边形图层数据中的任一要素ｓ，根据ｓ的外包矩形坐标范围，从23号索引层开始，或者根据s的尺度特征从小于23的某个索引层开始，逐层向上计算s（i），其中i>0；

③当s（N）=4时，判定ｓ在N号索引层上的必要条件是覆盖最多4个网格，如果：

4=s（N）>...>s（N-k）=s（N-k-1），（k=1，2，...，N-1），则s在N-k索引层上，否则s在N号索引层上，N最大为23，最小为1；

④对于空间点要素图层，其全部点的集合构成点云，以点云的平均密度为4的半径R作为网格参考尺度，可以确定索引层号，然后再逐个确定点在该索引层上所覆盖的网格；

④记录s的所属索引层号、所覆盖网格和覆盖的全部网格坐标范围GBR（X1，Y1，X2，Y2）；

⑤当图层的全部要素遍历结束，记下最大索引层号和最小索引层号，作为图层的有效索引层范围；

步骤三：将要素所属的网格的行列编码作为要素的空间索引编码存储在关系型数据库的图层索引表中，网格的一维编码经复合设计后作为Key-Value型数据库中的图层索引表的行键编码，其具体为：

1）图层要素存储在图层数据表中，包括要素ID、要素的空间和属性信息；

2）每个图层数据表对应一个图层索引表，关系型数据库中的图层索引表存储要素索引网格的二维行列编码，Key-Value型数据库中的图层索引表将索引网格的行键编码作为行键存储；

3）所有图层的坐标范围和有效索引层范围都存储在一张图层元数据表中。

2.根据权利要求1所述的方法，其特征在于：步骤三中所述的关系型数据库和Key-Value型数据库图层索引表，其结构是：

关系数据库图层索引表的字段有要素ID、索引网格的行和列编码、网格坐标范围GBR（X1，Y1，X2，Y2），并对它们建立数据库联合索引；

Key-Value数据库图层索引表的每一行代表唯一的索引网格，包括行键编码、网格的行和列编码、网格的空间坐标范围、覆盖本网格的要素ID集合。

3.根据权利要求1所述的方法，其特征在于：步骤三中所述的图层索引表中二维行列编码和行键编码，其编码方式为：

关系型数据库中的图层索引表存储的要素索引网格的行和列编码分别为4字节整数，首字节为网格的索引层号，其余3个字节表示网格的行和列号；

Key-Value型数据库中的图层索引表的行键为8字节编码，首字节为索引层号，6个字节存储索引网格的一维编码，1个字节保留未用。

Images