CN108614836A - 一种基于Hbase的时空数据管理方法 - Google Patents

Abstract

本发明涉及一种基于Hbase的时空数据管理方法，用于Hbase数据库内传感器数据的管理，该Hbase数据库包括两级索引结构，第一级索引结构为时间片索引树，第二级索引结构为时间片内的时空索引树，时空索引树采用四维R树，所述四维R树的四维信息分别为传感器的标志ID、传感器的采样时间、传感器的空间三维坐标和传感器数据，该方法包括基于两级索引结构的传感器数据存储方法和传感器数据检索方法。与现有技术相比，本发明具有高扩展性、高可用、支持高效时空检索的优点。

Description

一种基于Hbase的时空数据管理方法

技术领域

本发明涉及一种时空检索方法，尤其是涉及一种基于Hbase的时空数据管理方法。

背景技术

NoSQL，泛指非关系型的数据库。NoSQL数据库的四大分类：键值存储数据库、列存储数据库、文档型数据库和图形数据库，NoSQL数据库在以下的这几种情况下比较适用：1、数据模型比较简单；2、需要灵活性更强的IT系统；3、对数据库性能要求较高；4、不需要高度的数据一致性；5、对于给定key，比较容易映射复杂值的环境。

HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

城市传感数据具有以下特性：①海量性、②结点及采样数据的异构性、③时空相关性。针对于传感数据的海量性，传统的关系型数据库的可扩展性差，但是常用的NoSQL数据库的检索能力较差，故针对于城市传感数据，本发明提出一种基于Hbase的时空数据管理方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Hbase的时空数据管理方法，具有高扩展性、高可用、支持高效时空检索的优点。

本发明的目的可以通过以下技术方案来实现：

一种基于Hbase的时空数据管理方法，用于Hbase数据库内传感器数据的管理，该Hbase数据库包括两级索引结构，第一级索引结构为时间片索引树，第二级索引结构为时间片内的时空索引树，时空索引树采用四维R树，所述四维R树的四维信息分别为传感器的标志ID、传感器的采样时间、传感器的空间三维坐标和传感器数据，该方法包括基于两级索引结构的传感器数据存储方法和传感器数据检索方法。

所述基于两级索引结构的传感器数据存储方法包括以下步骤：

设置Δt为时间片的间隔长度，以每个时间片内的时间片采样时间和传感器的标志ID作为行主键rowkey，以每个时间片内的传感器的标志ID、传感器的采样时间、传感器的空间三维坐标和传感器数据建立四维R树，并作为列值value，得到索引表table_idx，即时间片索引树，经历时间间隔Δh后，将索引表table_idx存入Hbase数据库；

建立索引表table_idx的同时，建立数据表table，数据表table以传感器的采样时间、传感器的空间三维坐标以及传感器的标志ID打包作为行主键rowkey，传感器数据作为列值value，存入Hbase数据库。

所述基于两级索引结构的传感器数据检索方法包括基于时间片索引树的时间检索检索方法和基于时间片索引树和四维R树的时空检索方法。

所述基于时间片索引树的时间检索检索方法为：时间检索时，根据检索的时间范围定位到索引表table_idx内的列值value，作为时间检索结果。

所述基于时间片索引树和四维R树的时空检索方法为：时空检索时，根据检索的时间范围定位到索引表table_idx内的列值value，利用列值value中的四维R树进行空间检索，根据空间检索到的结果在数据表table内获取相应的传感器数据，作为空间检索结果。

与现有技术相比，本发明具有以下优点：

1)设置两级索引结构，用于Hbase数据库内大数据(传感器数据)的管理，利用时间片索引树可快速定位到相应的时间片，利用时空索引树可实现时空数据的检索，检索效率高，克服现有的NoSQL数据的检索能力差的缺陷。

2)设置Δt为时间片的间隔长度，建立各间隔长度内的索引表table_idx，经历时间间隔Δh后，将索引表table_idx存入Hbase数据库，实现分布式存储，具有高扩展性，克服传统关系型数据库的扩展性差的缺陷。

3)现有的Hbase存储，是以key-value的方式进行存储的，通过key值来检索数据，无法实现时空检索。本发明以传感器数据的采样时间和传感器的空间三维坐标，建立四维R树，支持高效时空检索。

4)索引表table_idx与数据表table分开存储，适用于不同的检索需求，当需要时间检索时，利用Hbase表特性，定位到索引表的value值，即存储的包含时间和空间value，当需要时空检索时，再根据R树的特性进行空间检索，再获取数据表内相应的数据，层次清晰，通用性好，适用范围广。

附图说明

图1为本发明方法存储传感器数据过程的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于Hbase的时空数据管理方法，用于Hbase数据库内传感器数据的管理，该Hbase数据库包括两级索引结构，第一级索引结构为时间片索引树，时间片索引树为以时间片段为基础建立的索引树，第二级索引结构为时间片内的时空索引树，时空索引树采用四维R树，四维R树的四维信息分别为传感器的标志ID、传感器的采样时间、传感器的空间三维坐标和传感器数据，该方法包括基于两级索引结构的传感器数据存储方法和传感器数据检索方法。

基于两级索引结构的传感器数据存储方法包括以下步骤：

如图1所示，传感器采集并发送数据date，记t0为时间片Slice1数据传入的初始时刻，设置Δt为时间片的间隔长度，以每个时间片内的时间片采样时间和传感器的标志ID作为行主键rowkey，以每个时间片内的传感器的标志ID、传感器的采样时间、传感器的空间三维坐标(x,y,z)和传感器数据建立四维R树，并作为列值value，得到索引表table_idx，即时间片索引树，对应图1中的区块Spatialindex，经历时间间隔Δh后，将索引表table_idx存入Hbase数据库，四维R树为四维存储结构，四维R树内的传感器数据对应的具体数值需存储在数据表table中；

建立索引表table_idx的同时，建立数据表table，数据表table以传感器的采样时间、传感器的空间三维坐标(x,y,z)以及传感器的标志ID打包作为行主键rowkey，传感器数据对应的具体数值作为列值value，存入Hbase数据库。

传感器的空间三维坐标(x,y,z)是传感器部署地点的经度、维度和海拔信息。

基于两级索引结构的传感器数据检索方法包括基于时间片索引树的时间检索检索方法和基于时间片索引树和四维R树的时空检索方法。

基于时间片索引树的时间检索检索方法为：时间检索时，因Hbase的区块是根据时间进行有序分布的，输入检索开始和结束的时间，以此时间范围进行检索，利用Hbase表特性，定位到索引表table_idx内的列值value(存储的包含时间和空间value)，作为时间检索结果。

基于时间片索引树和四维R树的时空检索方法为：时空检索时，输入检索开始和结束的时间，以此时间范围进行检索，利用Hbase表特性，定位到索引表table_idx内的列值value，value值是以R树的原理进行存储的，利用列值value中的四维R树进行空间检索，得到相应的传感器的ID、采样时间和传感器的空间三维坐标，根据空间检索到的传感器数据的的ID、采样时间和传感器的空间三维坐标在数据表table内获取相应的传感器数据对应的具体数值，作为空间检索结果。索引表只存储时间空间信息，没有存放任何可直接读取的数据，可去读取的数据是存放在数据表中的，时空检索最后定位的还是数据。

Claims (5)

1.一种基于Hbase的时空数据管理方法，其特征在于，用于Hbase数据库内传感器数据的管理，该Hbase数据库包括两级索引结构，第一级索引结构为时间片索引树，第二级索引结构为时间片内的时空索引树，时空索引树采用四维R树，所述四维R树的四维信息分别为传感器的标志ID、传感器的采样时间、传感器的空间三维坐标和传感器数据，该方法包括基于两级索引结构的传感器数据存储方法和传感器数据检索方法。

2.根据权利要求1所述的一种基于Hbase的时空数据管理方法，其特征在于，所述基于两级索引结构的传感器数据存储方法包括以下步骤：

设置Δt为时间片的间隔长度，以每个时间片内的时间片采样时间和传感器的标志ID作为行主键rowkey，以每个时间片内的传感器的标志ID、传感器的采样时间、传感器的空间三维坐标和传感器数据建立四维R树，并作为列值value，得到索引表table_idx，即时间片索引树，经历时间间隔Δh后，将索引表table_idx存入Hbase数据库；

建立索引表table_idx的同时，建立数据表table，数据表table以传感器的采样时间、传感器的空间三维坐标以及传感器的标志ID打包作为行主键rowkey，传感器数据对应的具体数值作为列值value，存入Hbase数据库。

3.根据权利要求2所述的一种基于Hbase的时空数据管理方法，其特征在于，所述基于两级索引结构的传感器数据检索方法包括基于时间片索引树的时间检索检索方法和基于时间片索引树和四维R树的时空检索方法。

4.根据权利要求3所述的一种基于Hbase的时空数据管理方法，其特征在于，所述基于时间片索引树的时间检索检索方法为：时间检索时，根据检索的时间范围定位到索引表table_idx内的列值value，作为时间检索结果。

5.根据权利要求3所述的一种基于Hbase的时空数据管理方法，其特征在于，所述基于时间片索引树和四维R树的时空检索方法为：时空检索时，根据检索的时间范围定位到索引表table_idx内的列值value，利用列值value中的四维R树进行空间检索，根据空间检索到的结果在数据表table内获取相应的传感器数据对应的具体数值，作为空间检索结果。