CN104199986B - 基于hbase和geohash的矢量数据空间索引方法 - Google Patents

Abstract

本发明涉及一种基于hbase和geohash的矢量数据空间索引方法。该方法：首先，为需存储的矢量数据进行网格定级；其次，进行网格路径计算；再而，进行网格列表结构设计以及索引编码的建立；最后，对需查询的空间范围进行空间索引。本发明通过对点、线、面二维矢量数据映射到一维的字符串型rowkey索引，使之能够用hbase存储海量矢量数据，提供高性能空间查询分析服务。

Description

基于hbase和geohash的矢量数据空间索引方法

技术领域

本发明涉及涉及在hbase上进行海量GIS矢量数据空间索引编码及建立的方法，更特定言之，本发明涉及对点、线、面二维矢量数据映射到一维的字符串型rowkey索引，使之能够用hbase存储海量矢量数据，提供高性能空间查询分析服务，特别是一种基于hbase和geohash的矢量数据空间索引方法。

背景技术

随着，移动网络技术和GIS技术的快速发展，空间数据的急剧增长，海量空间数据的存储管理成为难题。

用云计算来解决空间查询的难题，成了一个新的考虑方向。近几年来，为了解决大规模数据的存储和管理的问题，许多公司和机构提出了一系列基于“云计算”技术的可扩展的大规模数据管理方案，如Bigtable、HBase、Cassandra、Hypertable等等。HBase是一个分布式的、面向列的开源数据库，它基于Hadoop这个包含了海量存储和计算的分布式系统架构，提供了在廉价PC Server上搭建起大规模结构化存储集群的能力。

目前已有许多针对空间查询的研究，并已提出了一系列解决方法，这些方法大多使用R树和倒排表相结合的混合索引结构对空间信息进行索引，以为空间查询提供支持。

相关的空间索引的专利有审批中的“基于HBase的矢量空间大数据存储方法”，该方法以所述矢量数据记录的ID作为行键RowKey，以所述矢量数据记录的数据字段和除ID以外的属性字段作为列建立数据记录，以所述矢量数据记录的空间范围编号作为行键RowKey，以所述空间范围编号下的所有矢量空间数据的ID作为列建立索引。

相关论文有“基于R树的分布式并行空间索引机制研究”，采用多层并行R树空间索引结构，以高效率的并行空间数据划分策略为基础,以经典的并行计算方法论为依据,使其结构设计在保证能够获得较好的负载平衡性能的前提下,更适合于海量空间数据的并行化处理。

现有的空间索引技术多基于R树及其变种的空间索引机制,它并不适用于动态插入数据，R树的结构会有较大的变化。

Geohash对于线、面数据的支持有一些弊端，比如若查询区域对于的划分次数过大，可能会导致查询区域包含的单元网格过多而使检索条件过于琐碎，增大数据库的压力，降低了查询效率；若查询区域对应的划分次数过小，可能会使查询区域只为某单元网格的一小部分，导致依据Geohash编码检索的结果包含太多查询区域不相交的数据，降低查准率。

发明内容

本发明的目的在于提供一种通过对点、线、面二维矢量数据映射到一维的字符串型rowkey索引，使之能够用hbase存储海量矢量数据，提供高性能空间查询分析服务的基于hbase和geohash的矢量数据空间索引方法。

为实现上述目的，本发明的技术方案是：一种基于hbase和geohash的矢量数据空间索引方法，包括如下步骤，

S1：网格定级：为需存储入Hbase数据库中的矢量数据按照点、线、面的数据分类划分网格，确定存储矢量数据的网格层数，即确定需要划分的网格数；

S2：网格路径计算：确定一个空间投影坐标系，以确定起止经度lng_起、lng_终和纬度lat_起、lat_终，并计算出每一层每个网格的长、宽度数，以便于经度lng、纬度lat与网格行号row、列号col之间的相互转换；所述网格路径计算包括点所在网格计算、线经过网格计算和面覆盖网格计算；

S3：网格列表结构设计：建立存储索引数据的空间索引表和存储矢量数据的要素表，所述空间索引表的每一行存储一个网格的矢量索引，所述要素表的每一行存储一个矢量数据；

S4：索引编码：将每个矢量数据按所述步骤S2的网格路径计算，获得网格列表，计算每个网格的geohash值，并生成空间索引表的rowkey，rowkey=空间投影坐标系编码+矢量分类编码+geohash编码，将相应要素表中的rowkey即矢量数据的要素ID写入空间索引表的列data：FIDi（i=1,2,...）中，这里不同矢量数据可能经过同一个网格，即一条索引可能包含多个要素ID，这些要素ID按照存入的顺序依次存入data:FIDi（i=1,2,...）中；

S5：空间查询：设需查询空间范围为R，根据需查询的矢量数据的空间投影坐标系编码和矢量分类编码，并根据矢量所在层求出该矢量数据在相应层上经过的网格列表，将每个网格转换为geohash编码，即可得出所需矢量数据的rowkey=空间投影坐标系编码+矢量分类编码+geohash编码；根据该rowkey查询空间索引表，得到要素ID，再用要素ID查询要素表，即可得所需的空间查询结果。

在本发明实施例中，所述步骤S2中，所述点所在网格计算的方法如下：

设网格列表中每一层每个网格的长、宽度数分别为dx、dy，则点所在网格的计算公式为：

。

在本发明实施例中，所述步骤S2中，所述线经过网格计算的方法如下：

设线段起点为p1，终点为p2，根据点所在网格的计算公式，计算得出p1所在网格行列号row1、col1，p2所在网格行列号row2、col2；根据行列号计算起点和终点所在网格右上角坐标(xStart,yStart)、(xEnd,yEnd)

分两种情况确定线段经过的网格：

第一种：线段处于水平或垂直位置时，即起点和终点的行号相等或者列号相等时，那么线经过的网格的行坐标为row1，列坐标为col1~col2；或者线经过的网格的行坐标为row1~row2，列坐标为col1；

第二种：线段不处于水平或垂直位置时，将终点与起点的相对位置分为四个象限，确定终点所在象限，根据线段与网格经线的交点，对比交点和网格右上角位置，若交点在网格右上角的上方，则线段经过当前格子的上一个格子；若交点在网格右上角的下方，则线段经过当前格子的右边一个格子；若交点落在网格右上角上，则线段经过当前节点的右上方格子。

在本发明实施例中，所述步骤S2中，所述面覆盖网格计算的方法如下：

获取面的最小外包矩形MBR，计算最小外包矩形MBR所经过的行号和列号的范围，再将此范围内的每一个网格与面的多边形进行两个条件的判断：①网格矩形是否与面状目标构成的多边形相交；② 网格矩形是否在面构成的多边形内；若每一个网格与面的多边形满足两个条件中的任意一个，则面经过此网格。

相较于现有技术，本发明具有以下有益效果：

1、本发明提出了使用空间对象所经过的网格路径将二维矢量数据映射到一维的geohash字符串索引的方法，从而将geohash方法进一步推广到对线、面对象的支持；

2、将空间对象的字符串索引与hbase结合，实现了对海量空间数据的分布式管理，提供高效的空间数据查询服务；

3、提出了多层索引，针对点、线、面数据的大小，分别在多种尺度上对空间对象进行层次划分，建立多层索引，从而提升了查询性能。

附图说明

图1为本发明空间查询步骤图。

图2为本发明确定线段经过的网格示意图。

图3为HBase数据模型示意图。

图4为 Geohase划分及编码示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于hbase和geohash的矢量数据空间索引方法，包括如下步骤，

S1：网格定级：为需存储入Hbase数据库中的矢量数据按照点、线、面的数据分类划分网格，确定存储矢量数据的网格层数，即确定需要划分的网格数；

S2：网格路径计算：确定一个空间投影坐标系，以确定起止经度lng_起、lng_终和纬度lat_起、lat_终，并计算出每一层每个网格的长、宽度数，以便于经度lng、纬度lat与网格行号row、列号col之间的相互转换；所述网格路径计算包括点所在网格计算、线经过网格计算和面覆盖网格计算；

所述步骤S2中，所述点所在网格计算的方法如下：

设网格列表中每一层每个网格的长、宽度数分别为dx、dy，则点所在网格的计算公式为：

所述步骤S2中，所述线经过网格计算的方法如下：

设线段起点为p1，终点为p2，根据点所在网格的计算公式，计算得出p1所在网格行列号row1、col1，p2所在网格行列号row2、col2；根据行列号计算起点和终点所在网格右上角坐标(xStart,yStart)、(xEnd,yEnd)

分两种情况确定线段经过的网格：

第一种：线段处于水平或垂直位置时，即起点和终点的行号相等或者列号相等时，那么线经过的网格的行坐标为row1，列坐标为col1~col2；或者线经过的网格的行坐标为row1~row2，列坐标为col1；

第二种：线段不处于水平或垂直位置时，将终点与起点的相对位置分为四个象限，确定终点所在象限，根据线段与网格经线的交点，对比交点和网格右上角位置，若交点在网格右上角的上方，则线段经过当前格子的上一个格子；若交点在网格右上角的下方，则线段经过当前格子的右边一个格子；若交点落在网格右上角上，则线段经过当前节点的右上方格子；

所述步骤S2中，所述面覆盖网格计算的方法如下：

获取面的最小外包矩形MBR，计算最小外包矩形MBR所经过的行号和列号的范围，再将此范围内的每一个网格与面的多边形进行两个条件的判断：①网格矩形是否与面状目标构成的多边形相交；② 网格矩形是否在面构成的多边形内；若每一个网格与面的多边形满足两个条件中的任意一个，则面经过此网格。

S3：网格列表结构设计：建立存储索引数据的空间索引表和存储矢量数据的要素表，所述空间索引表的每一行存储一个网格的矢量索引，所述要素表的每一行存储一个矢量数据；

S4：索引编码：将每个矢量数据按所述步骤S2的网格路径计算，获得网格列表，计算每个网格的geohash值，并生成空间索引表的rowkey，rowkey=空间投影坐标系编码+矢量分类编码+geohash编码，将相应要素表中的rowkey即矢量数据的要素ID写入空间索引表的列data：FIDi（i=1,2,...）中，这里不同矢量数据可能经过同一个网格，即一条索引可能包含多个要素ID，这些要素ID按照存入的顺序依次存入data:FIDi（i=1,2,...）中；

S5：空间查询：设需查询空间范围为R，根据需查询的矢量数据的空间投影坐标系编码和矢量分类编码，并根据矢量所在层求出该矢量数据在相应层上经过的网格列表，将每个网格转换为geohash编码，即可得出所需矢量数据的rowkey=空间投影坐标系编码+矢量分类编码+geohash编码；根据该rowkey查询空间索引表，得到要素ID，再用要素ID查询要素表，即可得所需的空间查询结果。

以下为本发明的具体实施例。

本发明由网格定级、网格路径计算、索引编码、表结构设计及空间查询组成,空间查询的步骤如图1所示。

1、网格定级

为矢量数据划分网格，将矢量数据冗余存储在对应网格的geohash编码中。矢量数据以点、线、面为主，考虑到，点数据可能会比较密集，可以将网格定得密集些，线数据跨度可能会比较大，可将网格定义得高层一些，面数据通常不大，网格可定义得稍密集。因此，将点数据的网格层数设计为22层，线数据的网格层数设计为17层，面数据的层数设计为20层。

、网格路径计算

确定一个空间投影坐标系，可以确定起止经、纬度(lng_起、lng_终、lat_起、lat_终)，并可以计算出每一层每个格的长、宽的度数，从而经度lng、纬度lat可以和网格行号row、列号col互相转换。

2.1点所在网格计算

设点坐标(lng,lat)，点所在层lod设为22，这一层每格的长宽的度数为dx、dy，点所在网格的计算公式为：

。

2.2线经过网格计算

线由一系列首尾相连的线段组成，对每一条线段建立了索引则相应的线状目标的索引也建立了。因此这里给出一条线段的网格计算方法。

设线段起点为p1，终点为p2，根据2.1算出p1所在网格行列号row1、col1，p2所在网格行列号row2、col2。根据行列号计算起点和终点所在网格右上角坐标(xStart,yStart)、(xEnd,yEnd)。

分两种情况确定线段经过的网格。第一种，线段处于水平或垂直位置时，即起点和终点的行号相等或者列号相等时，假设row1=row2，那么线经过的网格的行坐标为row1，列坐标为col1~col2。第二种，线段不处于水平或垂直位置时，将终点相对起点的相对位置分为四个象限，确定终点坐在象限，以第一象限为例。计算线段斜率，则线段经过一个网格的递增量，由此可以算出线段与网格经线的交点，如图2所示，，。对比交点和格子右上角位置，如果交点在网格右上角的上方，则线段经过当前格子的上一个格子；如果交点在网格右上角的下方，则线段经过当前格子的右边一个格子；如果刚好交点在网格右上角上，如A’点，则线段经过当前节点的右上方格子。

2.3面覆盖网格计算

获取面的最小包围矩形MBR，计算最小包围矩形所经过的行号和列号的范围，再将这个范围内的每一个网格与面状目标的多边形进行“ 网格矩形是否与面状目标构成的多边形相交” 以及“ 网格矩形是否在面状目标构成的多边形内” 的判断，网格与面状目标相交或是在面状目标内则说明面状目标经过这个格子。

、表结构设计

3.1HBase简介：

HBase的数据模型可以定义为一种稀疏的、长期存储的、分布式的、多维排序的映射表。表中的行关键字rowkey可以是任意的字符串,对同一个行关键字的读或者写操作都是原子的，表通过rowkey的字典顺序来组织数据。表中的每个行都可以动态分区，每个分区叫做一个“Tablet”，Tablet是数据分布和负载均衡调整的最小单位。列关键字组成的集合叫做“列族”，列族是访问控制的基本单位，命名语法为：“列族：限定词”。表的每一个数据项都可以包含同一份数据的不同版本；不同版本的数据通过时间戳timestamp来索引,时间戳的类型是64位整型。映射表中通过rowkey、columnkey以及时间戳来三维索引一个cell。如图3所示。

HBase以Tablet作为数据分布和负责均衡的最小单位，并以Tablet为单位放在不同的服务器上，这样，当操作只读取行中很少几列的数据时效率很高，通常只需要很少几次机器间的通信即可完成。

具有相同rowkey前缀的数据的存放位置接近，在读取的时候，可以把这些数据一次读取出来。而数据的索引也是基于rowkey的，可以以前缀匹配的方式快速查找到rowkey索引的数据。

3.2矢量数据存储表结构

HBase按照rowkey字典序来存放数据，它的索引是建立在rowkey的基础上的。考虑矢量数据的存储，为了加快查找速度，将矢量数据按照空间位置建立rowkey索引。空间位置的编码采用Geohash实现,创建一个空间索引表，如表1所示，采用索引数据冗余的存储方式，矢量数据在所在层的所经过的每个网格都可被索引到，每个矢量数据可能在多行中被索引到,一个网格中有多条同一类的矢量数据则利用HBase可动态增加列的特点存在data的不同列。创建一个要素表，如表2所示，存储矢量数据，每个矢量数据存储一行。

空间索引表的列data:FIDi即为要素表的rowkey，要素表的rowkey=classifyCode(4位）+id，这里classifyCode为矢量分类编码，id为分类内部编码。空间索引表的rowkey=srsCode（1位）+classifyCode（4位）+geohash，这里srsCode为投影坐标系编码，classifyCode为矢量分类编码，geohash为空间位置编码点数据为22层geohash为44次划分须9位，线数据为17层geohash为34次划分须7位，面数据为20层geohash为40次划分须8位。

、索引编码

4.1编码原理

Geohash是一种地理编码，它可以把二维的经纬度坐标编码成一维的字符串，作为全球唯一的标识，可以在数据库中表达点数据。通过Geohash编码，空间上相邻的位置在编码上可能具有相同的前缀，使之在解决附近地点搜索的问题上具有明显优势。

Geohash的思想是把地球沿经度和纬度方向不断地交替进行二分，每次二分称为一次划分，把每5次划分作为一个层次。当层数为奇数时，每次划分的结果与第1层类似；当层数为偶数时，每次划分的结果与第2层类似。一直循环划分到任意精度。用0或1表示每次划分产生的区域，具体为：当沿经度方向进行二分时，左侧区域的编码为0，右侧区域的编码为1；当沿纬度方向进行二分时，下面区域的编码为0，上面区域的编码为1。Geohash的划分及编码如图4。

之后，将每5次划分的二进制编码转换成32进制编码，用数字0-9和除a、i、l、o外的英文小写字母表示，即为Geohash某一层网格的编码。Geohash采用的base32编码表，如表3。

4.2 rowkey编码

矢量数据经过网格分配路径的计算，得到一个网格列表，为列表中每个格子计算geohash值，并生成rowkey，将相应要素表的rowkey填入表1的data:FIDi。

、空间查询

假设需要查询的空间范围为R，需要查询的矢量数据的投影坐标系编码为srs，分类为classify，求出R在该矢量数剧的相应层上经过的格子列表G，将这些格子转换为geohash编码，于是可以拼出所需数据的rowkey的前缀。用这些前缀查找空间索引表可以找到G内包含的所有该分类数据，将这些数据第一遍过滤去除重复，第二遍过滤去除掉与R没有交集的，得到的即为空间查询的结果。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于hbase和geohash的矢量数据空间索引方法，其特征在于：包括如下步骤，

S1：网格定级：为需存储入Hbase数据库中的矢量数据按照点、线、面的数据分类划分网格，确定存储矢量数据的网格层数，即确定需要划分的网格数；

S2：网格路径计算：确定一个空间投影坐标系，以确定起止经度lng_起、lng_终和纬度lat_起、lat_终，并计算出每一层每个网格的长、宽度数，以便于经度lng、纬度lat与网格行号row、列号col之间的相互转换；所述网格路径计算包括点所在网格计算、线经过网格计算和面覆盖网格计算；

S3：网格列表结构设计：建立存储索引数据的空间索引表和存储矢量数据的要素表，所述空间索引表的每一行存储一个网格的矢量索引，所述要素表的每一行存储一个矢量数据；

S4：索引编码：将每个矢量数据按所述步骤S2的网格路径计算，获得网格列表，计算每个网格的geohash值，并生成空间索引表的rowkey，rowkey=空间投影坐标系编码+矢量分类编码+geohash编码，将相应要素表中的rowkey即矢量数据的要素ID写入空间索引表的列data：FIDi（i=1,2,...）中，这里不同矢量数据可能经过同一个网格，即一条索引可能包含多个要素ID，这些要素ID按照存入的顺序依次存入data:FIDi（i=1,2,...）中；

S5：空间查询：设需查询空间范围为R，根据需查询的矢量数据的空间投影坐标系编码和矢量分类编码，并根据矢量所在层求出该矢量数据在相应层上经过的网格列表，将每个网格转换为geohash编码，即可得出所需矢量数据的rowkey=空间投影坐标系编码+矢量分类编码+geohash编码；根据该rowkey查询空间索引表，得到要素ID，再用要素ID查询要素表，即可得所需的空间查询结果。

2.根据权利要求1所述的基于hbase和geohash的矢量数据空间索引方法，其特征在于：所述步骤S2中，所述点所在网格计算的方法如下：

设网格列表中每一层每个网格的长、宽度数分别为dx、dy，则点所在网格的计算公式为：

。

3.根据权利要求2所述的基于hbase和geohash的矢量数据空间索引方法，其特征在于：所述步骤S2中，所述线经过网格计算的方法如下：

设线段起点为p1，终点为p2，根据点所在网格的计算公式，计算得出p1所在网格行列号row1、col1，p2所在网格行列号row2、col2；根据行列号计算起点和终点所在网格右上角坐标(xStart,yStart)、(xEnd,yEnd)，

分两种情况确定线段经过的网格：

第一种：线段处于水平或垂直位置时，即起点和终点的行号相等或者列号相等时，那么线经过的网格的行坐标为row1，列坐标为col1~col2；或者线经过的网格的行坐标为row1~row2，列坐标为col1；

第二种：线段不处于水平或垂直位置时，将终点与起点的相对位置分为四个象限，确定终点所在象限，根据线段与网格经线的交点，对比交点和网格右上角位置，若交点在网格右上角的上方，则线段经过当前格子的上一个格子；若交点在网格右上角的下方，则线段经过当前格子的右边一个格子；若交点落在网格右上角上，则线段经过当前节点的右上方格子。

4.根据权利要求3所述的基于hbase和geohash的矢量数据空间索引方法，其特征在于：所述步骤S2中，所述面覆盖网格计算的方法如下：

获取面的最小外包矩形MBR，计算最小外包矩形MBR所经过的行号和列号的范围，再将此范围内的每一个网格与面的多边形进行两个条件的判断：①网格矩形是否与面状目标构成的多边形相交；② 网格矩形是否在面构成的多边形内；若每一个网格与面的多边形满足两个条件中的任意一个，则面经过此网格。