CN105630968A - 面向Cassandra的分布式可扩展四叉树索引机制及基于该机制的查询方法 - Google Patents

Abstract

本发明公开了面向Cassandra的分布式可扩展四叉树索引机制及基于该机制的查询方法，属于空间数据存储与管理技术领域。本发明提出了在使用Cassandra存储空间数据时建立索引和实现空间查询的方法，提出了从结合象限、索引域和四叉树的可扩展四叉树索引编码方法、基于Cassandra的空间对象与索引编码映射关系的存储方法和在该索引下执行空间查询的方法。本发明充分利用了Cassandra数据模型和读写特点，构建多层空间索引，可针对空间实体的大小在不同层级进行索引，适用于分布式存环境下空间索引的实现，有助于空间查询的并行执行，解决Cassandra在存储空间数据时不支持空间索引和空间查询的问题。

Description

面向Cassandra的分布式可扩展四叉树索引机制及基于该机制的查询方法

技术领域

本发明涉及使用Cassandra存储空间数据时建立空间索引和执行空间查询的方法，属于空间数据存储与管理技术领域。更特定言之，本发明涉及对矢量、栅格等类型空间数据的空间位置映射到一维的字符串型空间索引编码，使得Cassandra能够支持空间索引和空间查询。

背景技术

随着对地观测技术、智能移动终端和传感器技术的飞速发展，空间数据获取手段日益丰富，空间数据的数据量呈几何倍数增长。对兼具数据密集型和计算密集型特点的空间数据来说，爆炸性增长空间数据的存储成为极具挑战的课题。

使用非关系型数据库解决空间数据存储难题成为研究的热点。近年来，已有许多的研究和应用使用HBase、MongoDB和Cassandra等非关系型数据库构建可扩展、大规模的分布式空间数据存储方案。Cassandra是对等集群结构的分布式非关系型数据库，拥有非常灵活的数据模型和弹性集群扩展能力。

海量空间数据的空间索引往往会由于存储空间开销或索引空间重叠等剧增而导致性能下降。索引空间范围等的变化往往会导致索引重建。然而，在空间数据快速增长的情况下，索引范围极有可能发生变化。对大量数据重新构建索引，将造成严重的资源浪费。

现有的空间索引技术大多使用格网、四叉树或者R树及它们的变种构建。这些索引技术也大多在关系数据存储环境下构建集中式空间索引。

不同于关系数据库，Cassandra依据行键值读写数据，对复杂查询支持较差，特别是未提供对空间索引的支持。因而使用Cassandra存储空间数据就要在Cassandra数据模型下实现空间索引和空间查询。

发明内容

针对现有技术存在的问题，本发明结合Cassandra的数据模型和读写特点，提出了面向Cassandra的分布式可扩展四叉树索引机制和空间查询方法，旨在解决Cassandra在存储空间数据时不支持空间索引和空间查询的问题。

为了解决上述技术问题，本发明采用如下的技术方案：

面向Cassandra的分布式可扩展四叉树索引机制和空间查询方法，用于Cassandra存储空矢量、栅格等类型空间数据时构建空间索引和空间查询，包括：

提供可扩展四叉树索引的构建方法，用于构建可扩展四叉树索引以及使用索引结点记录矢量、栅格等类型的空间数据。

提供空间索引编码方法，用于编码可扩展四叉树索引的各个结点。

提供Cassandra存储环境下的空间索引存储结构，用于实现在Cassandra集群中存储空间索引编码与空间对象标识的映射关系；

提供空间查询方法，用于在所建立的空间索引之上实现空间查询中的区域查询和点查询。

面向Cassandra的分布式可扩展四叉树索引机制，其特征在于，当需要为空间数据建立空间索引时，包括步骤：

步骤1：设计空间索引存储结构，建立索引列族；

步骤2：指定基点以及四叉树最小网格间距、深度，建立可扩展四叉树索引，具体包括以下子步骤：

步骤2.1：指定可扩展四叉树索引的基点，以基点为中心将正在空间区域划分为一系列大小相等的网格区域，每个网格区域称为索引域；

步骤2.2：指定四叉树的最小网格间距和深度，计算索引域的大小；

步骤2.3：以索引域的大小为网格大小进行网格划分；

步骤2.4：以步骤2.2所指定的最小网格间距和深度为索引域建立四叉树索引；

步骤3：计算记录空间对象的索引结点及该结点的空间索引编码，其中，分三种情况记录空间对象：

第一种情况，占据一定空间范围的空间对象跨越多个索引域，使用所跨越的各个索引域的四叉树根结点进行记录；

第二种情况，占据一定空间范围的空间对象在单个索引域内，依据其最小外包矩形MBR确定使用哪一个结点进行记录；空间对象使用能容纳其最小外包矩形的四叉树最小结点进行记录；若空间对象覆盖多个结点，则使用结点的父结点记录，并且按照这一规则逐层递进直至根结点为止；

第三种情况，对于不占据空间范围的空间对象(如点状要素)，直接记录在四叉树最底层的结点上；

步骤4：在索引列族中记录索引的基本信息以及索引编码与空间对象标识的映射关系，实现索引信息的分布式存储。

在上述的面向Cassandra的分布式可扩展四叉树索引机制，上述步骤3进行空间索引编码时进一步包括子步骤：

步骤3.1：索引域以基点为中心被分割成四个象限，以从东南方向开始按逆时针方向四个象限编码为A、B、C、D；

步骤3.2：在象限内对索引域进行编码，索引域使用象限编码和索引域在该象限内的编码共同表示；

步骤3.3：为索引域的四叉树结点进行编码；

步骤3.4：空间索引编码使用“索引域编码+四叉树结点编码”的方式构造，二者之间使用符号“：”分隔。

在上述的面向Cassandra的分布式可扩展四叉树索引机制，上述步骤3.2中索引域在象限内使用Morton码进行编码；设基点坐标为(originx,originy)，索引域中心点坐标为(x,y)，索引域最小网格间距为gridsize，Morton码计算函数为MortonEncoding，则计算公式为：

在上述的面向Cassandra的分布式可扩展四叉树索引机制，所述步骤步骤3.3中四叉树结点使用线性可排序四叉树编码方式编码；设四叉树的深度为n，最底层结点的行列为(row,col)，Hilbert编码函数为HilbertEncoding，则结点编码计算公式为：

nodeCode＝HilbertEncoding(col,row,n-1)×2+1。

在上述的面向Cassandra的分布式可扩展四叉树索引机制，所述步骤3.3中四叉树结点使用线性可排序四叉树编码方式编码，四叉树索引除底层结点外其他结点的编码计算公式为：

$nodeCode=\frac{childcode1+childcode2+childcode3+childcode4}{4}.$

在上述的面向Cassandra的分布式可扩展四叉树索引机制，所述步骤4存储索引信息时，索引信息存储在索引列族中，索引列族采用多列模式存储索引信息，包括子步骤：

步骤4.1：空间索引编码为索引列族的行键值，用于确定该行存储在Cassandra集群哪个节点之上；

步骤4.2：与空间索引编码相对应的空间对象存储为列，每列包含空间对象的标识和MBR；

步骤4.3：空间对象标识为列名，空间对象的MBR为列值；

步骤4.4：同一空间索引编码对应多个空间对象时，以多列模式存储，即以空间索引编码为行键值按照步骤步骤4.2、步骤4.3所述规则动态创建列，并将列按列名顺序存储，形成以空间索引编码为行键值的行；

步骤4.5：空间索引编码与空间对象不存在对应关系时，不存储该行。

基于建立的面向Cassandra的分布式可扩展四叉树索引机制进行空间查询方法，其特征在于：包括区域查询和点查询步骤，所述区域查询步骤具体包括：

步骤7.11：计算与查询区域相交的空间索引结点，获得符合条件的空间索引编码集；

步骤7.12：以步骤7.11获得的空间索引编码集作为行键值从索引列族中查询空间索引信息，获得符合条件的空间对象的标识与MBR集合；

步骤7.13：判断步骤7.12所获得的空间对象MBR与查询区域的空间关系，保留MBR包含查询区域或与查询区域相交的空间对象编码集合，获得候选空间对象编码集；

步骤7.14：以候选空间对象编码集为行键值获取空间对象的详细几何信息；

步骤7.15：执行空间对象详细几何信息与查询区域的精确比较，获得最终查询结果；

所述点查询步骤具体包括：

步骤7.21：以查询点为中心，以容差距离为半径构建正方形；

步骤7.22：以步骤7.21构造的正方形为查询区域，执行区域查询，获得候选结果集；

步骤7.23：计算区域查询所获得候选结果集中各个空间对象与查询点的距离，剔除距离大于容差距离的，获得最终查询结果。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提出在Cassandra存储环境中空间索引机制和空间查询方法，实现了利用Cassandra对海量空间数据的分布式管理；以空间索引编码作为行键值存储空间索引信息，便于利用Cassandra基于行键值读写数据快的优点实现高效的空间查询；构建了多层空间索引，可针对空间实体的大小在不同层级进行索引，有助于提高空间查询效率；空间索引采用分块思想构建，易于索引的实现和扩展以及分布式环境下空间查询的并行执行。

附图说明

图1为本发明空间索引方法及空间查询方法示意图。

图2为本发明实施例中跨多索引域空间索引记录空间对象的方式。

图3为本发明实施例中在单个索引域内四叉树记录空间对象的方式。

图4为本发明实施例中索引列族存储空间索引编码与空间对象映射关系示意图。

图5为本发明实施例中执行区域查询的流程图。

具体实施方式

下面将结合具体实施例对本发明做详细说明。应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明：

本发明的构思在于为非关系数据库Cassandra建立空间索引，从而实现对矢量和栅格等格式空间数据的分布式管理，如图1所示。本实施例是采用本发明的分布式可扩展四叉树索引构建点、线和面类型矢量数据的空间索引，进而施行空间查询中区域查询。

本发明实施例基于Cassandra1.15的数据模型进行。

依据本发明实施例，建立矢量数据的空间索引步骤包括：

S1：以空间数据集名称附加“Index”的作为索引列族名称建立索引列族；

S2：指定空间索引的基点以及四叉树最小网格间距、深度；

S3：计算记录空间对象的索引结点及该结点的索引编码；

S4：在索引列族中存储空间索引基点以及四叉树最小网格间距、深度，以及空间索引编码与空间对象标识的映射关系，完成空间索引的存储。

依据本发明实例，所述步骤S3在记录空间实体时，分三种情况施行(见图2、图3)：

第一种情况，占据一定空间范围的空间对象跨越多个索引域，使用所跨越的各个索引域的四叉树根结点进行记录。

第二种情况，占据一定空间范围的空间对象在单个索引域内，依据其最小外包矩形MBR确定使用哪一个结点进行记录。空间对象使用能容纳其最小外包矩形的四叉树最小结点进行记录。若空间对象覆盖多个结点，则使用结点的父结点记录，并且按照这一规则逐层递进直至根结点为止。

第三种情况，对于不占据空间范围的空间对象(如点状要素)，直接记录在四叉树最底层的结点上。

按照上述规则，图2中面状实体R1跨越4个索引域，因而使用这4个索引域的四叉树根结点编码记录。

按照上述规则，图3中面状实体R1在第n级中跨越编码为11、13的两个结点，因此使用这两个结点的父结点12(第n-1级)记录；面状实体R2仅被结点19所容纳，因此使用该结点记录；对点状要素P1而言，其未占据一定的空间范围，直接使用第n级(假定为四叉树的最底层)的结点27记录。

依据本发明实例，所述步骤S3记录空间对象时需要计算索引域大小，设四叉树最小网格间距为nodesize_min，四叉树深度为n，则索引域大小计算公式为：

gridsize＝nodesize_min×2^n-1

依据本发明实例，所述步骤S3对于占据一定空间范围的空间对象是否跨越多个索引域，设空间对象的MBR左上角和右上角的坐标分别为(x_min,y_min)、(x_max,y_max)，则判定公式为：

$\begin{array}{ccc}\frac{x_{\max }-x_{\min }}{gridsize}>1& or& \frac{y_{\max }-y_{\min }}{gridsize}>1\end{array}$

依据本发明实例，所述步骤S3对于占据一定空间范围的空间对象跨越多个索引域时，使用空间对象MBR的四个角计算所跨越索引域的行列号范围，具体包括如下步骤：

S5：设基点坐标为(originx,originy)，空间对象的MBR左上角和右上角的坐标分别为(x_min,y_min)、(x_max,y_max)，任意点(x,y)所在索引域的行号(row)和列号(col)的计算公式为：

S6：分别使用点(x_min,y_min)、(x_max,y_max)、(x_min,y_max)、(x_max,y_min)代入步骤S5所述公式计算行列号范围；

S7：按照步骤S6所计算得到行列号范围计算覆盖索引域的莫顿码。

依据本发明实例，所述步骤S3对于在单个索引域内时的空间对象，使用索引域的四叉树索引记录空间对象，如图3，包括如下步骤：

S8：从四叉树的根结点开始，计算四个子结点的空间范围；

S9：依次使用四个子结点的空间范围判断哪个子结点可以容纳空间对象；

S10：若四个子结点均不能容纳此空间对象，则使用父结点记录该空间对象；

S11：若有一个子结点可以容纳此空间对象，则以将此子结点作为父结点计算四个子结点的空间范围，重复步骤S9～S11直到到达最底层为止。

S12：计算记录空间对象的四叉树结点在四叉树编码。

依据本发明实例，所述步骤S3对于不占据空间范围的空间对象(如点状要素)在使用四叉树记录时直接四叉树最底层的结点上，设四叉树左上角坐标为(originx_tree,originy_tree)，点坐标为(x,y)，四叉树最小网格间距为nodesize_min，，则最底层结点行号(row)和列号(col)的计算公式为：

所述步骤S12计算四叉树结点的四叉树编码进一步包括子步骤：

S121：计算对应的四叉树最底层结点编码，设四叉树最底层的层级为n，最底层结点的行列为(row,col)，Hilbert编码计算函数为HilbertEncoding，则编码计算公式为：

nodeCode＝HilbertEncoding(col,row,n)×2+1

S122：最底层结点外的其他结点使用其4个子结点的编码进行计算，设4个结点的编码分别为childcode1、childcode2、childcode3、childcode4，则计算公式为：

$nodeCode=\frac{childcode1+childcode2+childcode3+childcode4}{4}$

依据本发明实施例，所述步骤S3在得到空间对象所在索引域编码

和在四叉树内结点编码之后，使用“索引域编码+四叉树结点编码”的方式构造，二者之间使用“：”分隔。

依据本发明实施例，所述步骤S4在Cassandra中存储索引信息的步骤包括：

S41：以“Metadata”作为行键值，建立列存储空间索引基点、四叉树最小网格间距、四叉树深度等信息；

S42：以空间索引编码为索引列族的行键值，以空间对象标识为列名、MBR为列值建立列，存储空间索引编码与空间对象的映射关系，如图4；

S43：空间索引编码用于确定该行存储在Cassandra集群哪个节点之上，

S44：同一空间索引编码对应多个空间对象时，以多列模式存储，即以空间索引编码为行键值按照步骤S42动态创建列存储映射关系；

S45：空间索引编码与空间对象不存在映射关系时，不存储；

S46：按照S42～S45的规则将所有空间对象及其空间索引编码的映射关系写入索引列族。

依据本发明实施例，对建立空间索引之后，即可对该列族的数据进行空间查询。空间查询的流程如图5所示，以区域查询为例具体包括：

S13：计算与查询区域相交的空间索引结点，获得符合条件的空间索引编码集，如图1所示；

S14：以步骤S13获得的空间索引编码集作为行键值从索引列族中查询空间索引信息，获得符合条件的空间对象的标识与MBR集合；

S15：判断步骤S14所获得的空间对象MBR与查询区域的空间关系，保留MBR包含查询区域或与查询区域相交的空间对象编码集合，获得候选空间对象编码集；

S16：以候选空间对象编码集为行键值获取空间对象的详细几何信息；

S17：执行空间对象详细几何信息与查询区域的精确比较，获得最终查询结果。

以上所述实施例仅表达了本发明的针对一种空间数据的两种实施方式，其描述较为具体和详细，但并不能因此而理解对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进，这些都属于本发明专利的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.面向Cassandra的分布式可扩展四叉树索引机制，其特征在于，当需要为空间数据建立空间索引时，包括步骤：

步骤1：设计空间索引存储结构，建立索引列族；

步骤2：指定基点以及四叉树最小网格间距、深度，建立可扩展四叉树索引，具体包括以下子步骤：

步骤2.1：指定可扩展四叉树索引的基点，以基点为中心将正在空间区域划分为一系列大小相等的网格区域，每个网格区域称为索引域；

步骤2.2：指定四叉树的最小网格间距和深度，计算索引域的大小；

步骤2.3：以索引域的大小为网格大小进行网格划分；

步骤2.4：以步骤2.2所指定的最小网格间距和深度为索引域建立四叉树索引；

步骤3：计算记录空间对象的索引结点及该结点的空间索引编码，其中，分三种情况记录空间对象：

第一种情况，占据一定空间范围的空间对象跨越多个索引域，使用所跨越的各个索引域的四叉树根结点进行记录；

第二种情况，占据一定空间范围的空间对象在单个索引域内，依据其最小外包矩形MBR确定使用哪一个结点进行记录；空间对象使用能容纳其最小外包矩形的四叉树最小结点进行记录；若空间对象覆盖多个结点，则使用结点的父结点记录，并且按照这一规则逐层递进直至根结点为止；

第三种情况，对于不占据空间范围的空间对象，直接记录在四叉树最底层的结点上；

步骤4：在索引列族中记录索引的基本信息以及索引编码与空间对象标识的映射关系，实现索引信息的分布式存储。

2.根据权利要求1所述的面向Cassandra的分布式可扩展四叉树索引机制，其特征在于，上述步骤3进行空间索引编码时进一步包括子步骤：

步骤3.1：索引域以基点为中心被分割成四个象限，以从东南方向开始按逆时针方向四个象限编码为A、B、C、D；

步骤3.2：在象限内对索引域进行编码，索引域使用象限编码和索引域在该象限内的编码共同表示；

步骤3.3：为索引域的四叉树结点进行编码；

步骤3.4：空间索引编码使用“索引域编码+四叉树结点编码”的方式构造，二者之间使用符号：分隔。

3.根据权利要求1所述的面向Cassandra的分布式可扩展四叉树索引机制，其特征在于，上述步骤3.2中索引域在象限内使用Morton码进行编码；设基点坐标为(originx,originy)，索引域中心点坐标为(x,y)，索引域最小网格间距为gridsize，Morton码计算函数为MortonEncoding，则计算公式为：

4.根据权利要求1所述的面向Cassandra的分布式可扩展四叉树索引机制，其特征在于，所述步骤步骤3.3中四叉树结点使用线性可排序四叉树编码方式编码，设四叉树的深度为n，最底层结点的行列为(row,col)，Hilbert编码函数为HilbertEncoding，则结点编码计算公式为：

nodeCode＝HilbertEncoding(col,row,n-1)×2+1。

5.根据权利要求1所述的面向Cassandra的分布式可扩展四叉树索引机制，其特征在于，所述步骤3.3中四叉树结点使用线性可排序四叉树编码方式编码，四叉树索引除底层结点外其他结点的编码计算公式为：

$nodeCode=\frac{childcode1+childcode2+childcode3+childcode4}{4}.$

6.根据权利要求1所述的面向Cassandra的分布式可扩展四叉树索引机制，其特征在于，所述步骤4存储索引信息时，索引信息存储在索引列族中，索引列族采用多列模式存储索引信息，包括子步骤：

步骤4.1：空间索引编码为索引列族的行键值，用于确定该行存储在Cassandra集群哪个节点之上；

步骤4.2：与空间索引编码相对应的空间对象存储为列，每列包含空间对象的标识和MBR；

步骤4.3：空间对象标识为列名，空间对象的MBR为列值；

步骤4.4：同一空间索引编码对应多个空间对象时，以多列模式存储，即以空间索引编码为行键值按照步骤步骤4.2、步骤4.3所述规则动态创建列，并将列按列名顺序存储，形成空间索引编码为行键值的行；

步骤4.5：空间索引编码与空间对象不存在对应关系时，不存储该行。

7.基于建立的面向Cassandra的分布式可扩展四叉树索引机制进行空间查询方法，其特征在于：包括区域查询和点查询步骤，所述区域查询步骤具体包括：

步骤7.11：计算与查询区域相交的空间索引结点，获得符合条件的空间索引编码集；

步骤7.12：以步骤7.11获得的空间索引编码集作为行键值从索引列族中查询空间索引信息，获得符合条件的空间对象的标识与MBR集合；

步骤7.13：判断步骤7.12所获得的空间对象MBR与查询区域的空间关系，保留MBR包含查询区域或与查询区域相交的空间对象编码集合，获得候选空间对象编码集；

步骤7.14：以候选空间对象编码集为行键值获取空间对象的详细几何信息；

步骤7.15：执行空间对象详细几何信息与查询区域的精确比较，获得最终查询结果；

所述点查询步骤具体包括：

步骤7.21：以查询点为中心，以容差距离为半径构建正方形；

步骤7.22：以步骤7.21构造的正方形为查询区域，执行区域查询，获得候选结果集；

步骤7.23：计算区域查询所获得候选结果集中各个空间对象与查询点的距离，剔除距离大于容差距离的，获得最终查询结果。