CN110765331B - 一种时空数据的检索方法及系统 - Google Patents

Abstract

本发明涉及一种时空数据的检索方法及系统，属于大数据技术领域。本发明将三维时空网格编码、兴趣维度与HBase行键融合，构建了新型行键索引结构，结合HBase运行机制按照新型的行键索引结构对时空数据进行检索，由于该行键索结构中包含有三维时空网格编码以及多个兴趣维度，能够大大减少检索范围，提高检索效率，且过程简单、易实现。

Description

一种时空数据的检索方法及系统

技术领域

本发明涉及一种时空数据的检索方法及系统，属于大数据技术领域。

背景技术

大数据时代的来临推动了数据存储、处理等多领域理论与工程实践的高速发展。特别是移动互联网、卫星导航、LBS(Location Based Service)移动位置服务技术的普及产生了海量的时空数据，为城市交通态势感知、车辆进行路线规划、居民出行特征分析等提供了足够的数据支持。与此同时，其多源异构、巨量增长的特征对数据存储及索引方法也提出了更高的要求。

在数据索引方面，学者们提出了许多有效方法，包括基于版本的HR-tree和MV3R-tree索引，通过扩展时间维的TB和STR多维索引树，集成多种索引方法的HBSTR-tree等，但是上述方法仍然面临着索引创建效率低、未顾及数据存储、数据结构单一问题。HBase作为Hadoop大数据处理框架下的成熟开源数据库，兼顾异构数据快速索引与分布式存储，为海量时空数据的多维索引提供了解决思路。例如授权公告号为CN104915450B的专利文件，该文件公开了一种基于HBase的数据存储与检索方法及系统，需要基于数据文件字段映射表，利用HBase Thrift客户端，通过定义好的Row Key表达式生成行键，将数据对象的多特征值按照多种组合方式加入形成行键，与普通列值数据组成HBase数据行，按不同的行键组成方式存放在多张HBase数据表中，进行多特征值数据检索时根据行键中的几个特征值得到模糊结果集，从而实现检索。但是该方法需要维护数据文件字段映射表，整个检索过程复杂，效率低。

发明内容

本发明的目的是提供一种时空数据的检索方法，以解决目前检索过程复杂、效率低的问题；同时本发明还提供了一种时空数据的检索系统，以解决目前检索过程复杂、效率低的问题。

本发明为解决上述技术问题而提供一种时空数据的检索方法，该检索方法包括以下步骤：

1)利用三维时空网格对时空数据进行划分，对每一个网格赋予唯一编码；

2)构建包含三维时空网格编码、除时空外若干个兴趣维度的编码和随机编码在内的行键索引结构；

3)根据检索条件计算检索覆盖的三维时空网格编码确定行键集合；

4)对所确定的行键进行分组，每组行键仅最后一位兴趣维度的属性不同，确定每组的起止行键值；

5)基于HBase运行机制根据各组的起止行键值依次对各行键组进行数据检索；

6)按照检索条件对各行键组检索的结果进行过滤，并保存结果。

同时，本发明还提供了一种时空数据的检索系统，检索系统包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下步骤：

1)利用三维时空网格对时空数据进行划分，对每一个网格赋予唯一编码；

2)构建包含三维时空网格编码、除时空外若干个兴趣维度的编码和随机编码在内的行键索引结构；

3)根据检索条件计算检索覆盖的三维时空网格编码确定行键集合；

4)对所确定的行键进行分组，每组行键仅最后一位兴趣维度的属性不同，确定每组的起止行键值；

5)基于HBase运行机制根据各组的起止行键值依次对各行键组进行数据检索；

6)按照检索条件对各行键组检索的结果进行过滤，并保存结果。

本发明将三维时空网格编码与HBase行键融合，构建了新型行键索引结构，结合HBase运行机制按照新型的行键索引结构对时空数据进行检索，由于该行键索结构中包含有三维时空网格编码，能够大大减少检索范围，提高检索效率，且过程简单、易实现。

为了实现其他维度的检索，进一步地提高检索效率，所述的行键索引结构还包括除时空外若干个兴趣维度的编码。

为了保证时空检索的性能，减少检索耗时，所述的步骤2)构建的行键索引结构中三维时空网格编码位于索引结构的高位。

进一步地，本发明还给出了三维时空网格编码的计算公式，所述步骤3)中的计算三维时空网格编码所采用的公式为：

其中(C_T,C_Lon,C_Lat)为三维时空网格编码，(T₀,Lon₀,Lat₀)为网格原点坐标，ΔT、ΔLon、ΔLat分别为时间、经度、纬度维度方向的间隔，T为检索条件中的时间，Lon为检索条件中的经度，Lat为检索条件中的纬度。

附图说明

图1是本发明所采用的三维规则网格划分示意图；

图2是本发明所建立的索引结构示意图；

图3是本发明的时空数据检索方法流程图；

图4是本发明实施例中的圆形区域覆盖网格示意图；

图5是本发明实施例中的起止行键组生成示意图；

图6是时间编码对数据检索时间的影响比对示意图；

图7是不同空间维情况下检索时间对比示意图；

图8是本发明与传统检索方法在不同规模下的检索耗时对比示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细说明。

本发明时空数据的检索方法的实施例

本发明是在分布式数据库HBase基础上，利用三维时空网格编码对时空数据进行分割编码，将三维时空网格编码、所需维度属性和HBase行键进行融合构建多维索引结构，利用该多维索引结构实现对海量时空数据的多维度检索。该方法的具体实现过程如下。

1.三维时空网格划分。

网格划分方法广泛应用于空间索引、影像金字塔、矢量切片等领域，本发明利用“时间-经度-纬度”三维规则网格对海量时空数据进行等间隔划分，为每个网格赋予唯一编码，编码长度根据实际分割情况确定。若网格原点坐标为(T₀,Lon₀,Lat₀)，则对某一时空数据点(T,Lon,Lat)所在的三维时空网格编码(可简称三维网格编码)(C_T,C_Lon,C_Lat)的计算公式为：

其中ΔT、ΔLon、ΔLat分别为时间、经度、纬度维度方向的间隔。由于编码长度为定长，需要根据预设长度以0前置补齐。

2.构建索引结构。

目前以三维时空索引、四维“时空+目标”检索为代表的多维检索需求愈发广泛，而HBase本身是一个稀疏、多维度、排序的映射表，由若干行组成，数据模型可以抽象为<行键：列族：列限定符：时间戳，值>，检索时虽然可以通过前四个参数定位数据，但是需要遍历大量数据，导致检索效率低。为此，本发明设计了一种包含有时空编码的行键索引结构，如图2所示，包括两个固定部分和一个可定制部分，一个固定部分为三维时空网格编码，另一个固定部分为随机编码，可定制部分为若干个感兴趣维度的属性，可根据实际需求进行增减，可定制部分也可以为空。

由于HBase行键匹配顺序是从前往后，由高位到低位，位置越靠前对于检索的影响越大，考虑到时空检索的频率，本发明将三维时空网格编码置于索引结构的高位，将定制追加的多个感兴趣维度属性追加到三维时空网格编码后面，随机编码作为结尾以保证行键唯一性。因此，本发明所构建的索引结构在保留HBase原生机制的前提下，首先保证了时空检索的效能，之后由于追加维度，实现了以时空纬度为基础的多维数据索引。

3.根据检索条件进行检索。

根据上述构建的索引结构和HBase运行机制，按照设定的检索条件进行相应数据的检索，其流程如图3所示，具体实现过程如下。

3.1输入检索条件。

连接HBase表并输入检索条件，包括时空范围和其他所需维度(兴趣维度)检索需求。本实施例针对圆形区域的时空数据，检索条件为：T₀～T_k时间范围，以点(Lon_center,Lat_center)为中心，半径为r范围内的数据集合。

3.2计算检索覆盖的三维时空网格编码，结合其他维度条件确定行键集合。

对本实例而言，其针对的是圆形区域，因此，首先计算圆形区域的最小外接矩形：根据中心点坐标及查询半径计算最小外接矩形范围，如图4所示，左上角坐标为(Lon_lt，Lat_lt)，右下角坐标为(Lon_rb，Lat_rb)；其次计算网格覆盖及网格编码：利用公式(1)根据时空范围确定时间维所覆盖的网格，确定外接矩形左上和右下顶点处所处的网格坐标(C_Lonlt,C_Latlt)和(C_Lonrb,C_Latrb)。若有其他所需维度条件，可将得到三维时空网格编码与其他所需维度条件结合，形成行键集合即索引结构。

3.3对行键分组。

由于行键依字典排列，其可能不唯一且不连续，因此在检索时需要对行键分组，确定每组起止行键值(startRow和endRow)。行键索引结构主要由固定部分和可定制部分两个模块组成，固定部分的三维时空网格编码，用于时空检索，可定制部分为追加的一个或多个其他所需维度(兴趣维度)的属性，如图5所示，表示C_T时间维所处的编码，表示经度的编码，/>表示纬度的编码，/>表示追加的第n个维度的第m种属性。

3.4对行键组进行数据检索，并过滤。

循环遍历行键组，对各行键组依次进行数据检索，得到相应的检索结果，由于三维时空网格粒度的原因，根据行键组得到的检索结果包含了部分无用数据。因此，为了提高检索精度，需要根据检索条件添加数据过滤器进行精确过滤，包括时间维度上利用时间戳进行精确圈定，空间维度上通过距离与半径r的比对判定。

通过上述过程可知，本发明将三维时空网格编码与行键结合，构建新行键索引结构，利用新构建的行键索引结构和HBase对时空数据进行检索。通过三维时空网格编码与行键结合大大提高了检索效率。

本发明时空数据的检索系统的实施例

本实施例中的检索系统包括存储器和处理器，以及存储在存储器上并在处理器上运行的计算机程序，处理器与所述存储器相耦合，处理器执行计算机程序时实现以下步骤：

1)利用三维时空网格对时空数据进行划分，对每一个网格赋予唯一编码；

2)构建包含三维时空网格编码和随机编码在内的行键索引结构；

3)根据检索条件计算检索覆盖的三维时空网格编码确定行键集合；

4)对所确定的行键进行分组，确定每组的起止行键值；

5)基于HBase运行机制根据各组的起止行键值依次对各行键组进行数据检索；

6)按照检索条件对各行键组检索的结果进行过滤，并保存结果。

具体的实现过程已在方法的实施例中进行详细说明，这里不再赘述。

为了验证本发明的可行性，下面以2014年8月4 -5日某市13000余辆出租车6-24点的轨迹数据为数据源，数据规模约为5000万行(2.5G)/天，数据格式为{TargetID,Lontitude,Latitude,Status,Time}。在实验环境方面，本发明采用VirtualBox搭建7台虚拟机作为实验平台，配置均为单核4G内存，操作系统均为CentOS 6.5，Hadoop版本为2.7.5，HBase版本为1.4.0，zookeeper版本为3.4.10，Java开发包版本为jdk1.8.0_162，程序开发平台采用IntelliJ IDEA 2017.3.4x64，算法使用Java编写实现。

时空检索效能分析。

下面以该市三环以内作为研究区域，(30.594099,103.98316,1407103200)作为三维时空网格原点，取ΔLat为0.00135415、ΔLon为0.00180182、Δt为1h进行三维时空网格划分和编码。为了验证时间维编码的影响，以(30.661285,104.067273)为原点，半径为200m的圆形区域作为待查询的空间范围，以2014年08月04日10:00:00作为起始时间，分别对10min、30min、60min以及90min等不同的时间范围进行实验，本发明和无时间维编码(仅保留空间维)两种方式下的检索效能如图6所示，两种方式的检索数量和结果如表1所示。从中可以看出，本发明由于含时间维编码，检索耗时和检索量都明显要少，因为时空编码是对数据进行三个维度的切分，时间维的存在在空间维索引之前，能够直接将数据检索范围锁定在包含时间范围的网格内，避免检索其他无用数据。此外，无时间维的方法在不同的时间间隔下检索耗时不变，这是由于查询的空间区域不变，其检索的数据范围也没有发生变化。而本发明在10min、30min、60min时耗时基本不变，而90min时耗时发生增长，这是所设定的时间维粒度为1h，因此前三种情况所覆盖的时间网格一致，检索数据范围也相同，而90min情况多覆盖了一个时间网格，造成了检索数量的提升。表1从检索和结果数量上侧面说明了耗时原因，同时也验证了本发明的正确性。

表1

为了验证空间编码的影响，以2014年08月04日10:00:00-11:00:00作为查询的时间范围，对以(30.661285,104.067273)为原点，半径分别为100、200、500以及1000m的圆形区域进行检索实验，对比本发明、Geohash空间降维检索以及无空间维编码检索方法(仅保留时间维)的检索效能。实验结果如表2和图7所示。

表2

从中可以看出，无空间维索引方法耗时最多，相较于无空间维索引，Geohash方法有明显的性能提升，而本发明的优势最明显，耗时最小，三种方法检索结果完全一致，耗时差距的原因在于本发明和Geohash方法都对空间维进行了分割和编码，检索时能够通过空间维的编码索引避免索引目标范围之外的大量无用数据。虽然Geohash方法也取得了一定的效果，但当Geohash编码和HBase编码检索机制结合应用时，其编码索引命中范围仍然比目标区域要大很多，而本发明采用网格编码与位置结合更为紧密，检索时的命中范围明显要更加精确。

为验证本发明的正确性以及在多维条件检索时的效能，下面以“时空+目标”四维条件检索为例进行说明，在1000万行、2000万行、5000万行以及1亿行等四种不同数据规模下，对本发明和传统方法(无行键索引，遍历索引)开展试验，检索条件为：目标编号为6804，起止时间为2014/08/04 10:00:00至2014/08/04 11:00:00，空间范围为以坐标(30.661285，104.067273)为原点，半径为500m的圆形区域。实验结果如图8和表3所示。

表3

从图8中可以看出，多维检索情况下本发明的检索耗时远比传统方法要少。根据表3的实验结果可知，随着数据规模的增大，虽然这两种方式耗时都随之增加，但从耗时比来看，本发明的优势始终存在且不断扩大，并当数据规模为1亿行时，耗时比达到了310.79倍。从检索是数量可以看出，由于传统方法采用遍历检索，而本发明通过多维索引直接快速定位数据，大幅度缩小了检索范围，提升了检索效率。同时，通过对比不同数据规模的检索结果数量可知，这两种方式的检索结果一致，证明了本发明的正确性。

Claims (6)

1.一种时空数据的检索方法，其特征在于，该检索方法包括以下步骤：

1)利用三维时空网格对时空数据进行划分，对每一个网格赋予唯一编码；

2)构建包含三维时空网格编码、除时空外若干个兴趣维度的编码和随机编码在内的行键索引结构；

3)根据检索条件计算检索覆盖的三维时空网格编码确定行键集合；

4)对所确定的行键进行分组，每组行键仅最后一位兴趣维度的属性不同，确定每组的起止行键值；

5)基于HBase运行机制根据各组的起止行键值依次对各行键组进行数据检索；

6)按照检索条件对各行键组检索的结果进行过滤，并保存结果。

2.根据权利要求1所述的时空数据的检索方法，其特征在于，所述的步骤2)构建的行键索引结构中三维时空网格编码位于索引结构的高位。

3.根据权利要求1所述的时空数据的检索方法，其特征在于，所述步骤3)中的计算三维时空网格编码所采用的公式为：

其中(C_T,C_Lon,C_Lat)为三维时空网格编码，(T₀,Lon₀,Lat₀)为网格原点坐标，△T、△Lon、△Lat分别为时间、经度、纬度维度方向的间隔，T为检索条件中的时间，Lon为检索条件中的经度，Lat为检索条件中的纬度。

4.一种时空数据的检索系统，其特征在于，该检索系统包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下步骤：

1)利用三维时空网格对时空数据进行划分，对每一个网格赋予唯一编码；

2)构建包含三维时空网格编码、除时空外若干个兴趣维度的编码和随机编码在内的行键索引结构；

3)根据检索条件计算检索覆盖的三维时空网格编码确定行键集合；

4)对所确定的行键进行分组，每组行键仅最后一位兴趣维度的属性不同，确定每组的起止行键值；

5)基于HBase运行机制根据各组的起止行键值依次对各行键组进行数据检索；

6)按照检索条件对各行键组检索的结果进行过滤，并保存结果。

5.根据权利要求4所述的时空数据的检索系统，其特征在于，所述的步骤2)构建的行键索引结构中三维时空网格编码位于索引结构的高位。

6.根据权利要求4所述的时空数据的检索系统，其特征在于，所述步骤3)中的计算三维时空网格编码所采用的公式为：

其中(C_T,C_Lon,C_Lat)为三维时空网格编码，(T₀,Lon₀,Lat₀)为网格原点坐标，△T、△Lon、△Lat分别为时间、经度、纬度维度方向的间隔，T为检索条件中的时间，Lon为检索条件中的经度，Lat为检索条件中的纬度。