CN104008212A - 一种地理位置信息相关联的物联网时间序列数据存取方法 - Google Patents

Abstract

本发明提供一种地理位置信息相关联的物联网时间序列数据存取方法，属于计算机大数据存储领域。该方法包括：1)将最新一次数据信息存储至最新数据缓存表；2)确定基点时间，并生成时间索引表主键；3)在对应数据行的列族中保存增量时间、geohash编码及实际数据至时间索引表；4)根据geohash编码生成基点空间与基点时间组合构成的时空索引表的主键；5)在对应数据行的列族中保存增量时间、增量空间、设备ID及实际数据至时空索引表；6)查询数据信息。本发明可以实现与地理位置信息相关联的物联网时间序列数据的快速存储和查询，有效的应对海量的、与地理位置信息相关联的物联网时间序列数据管理的系统需求。

Description

一种地理位置信息相关联的物联网时间序列数据存取方法

技术领域

本发明涉及计算机大数据存储领域，特别涉及一种地理位置信息相关联的物联网时间序列数据存取方法。

背景技术

近年来，随着物联网技术的日渐成熟，以及物联网技术在各个行业应用中的快速拓展，物联网传感器在线监测管理变得尤为重要。面对海量物联网传感器和海量传感器时间序列数据，采用何种方法来快速存储和查询是重要课题。以下以车辆行驶管理系统为例具象化当今面临的与地理位置信息相关联的物联网时间序列数据存储和查询方面实际课题。在车辆行驶管理系统中，车辆行驶路径的管理是基于车载导航设备记录下来的时间序列位置坐标点而工作的。通常情况下，车辆管理应用会有几种常用需求：全局范围内全部车辆位置数据实时展示；指定时间范围内具体车辆轨迹描绘；指定时间范围内局部区域车辆数据分析。为了达到这些需求，需要对对象车辆在指定时间段内上传的所有位置坐标点进行时间排序并连接。相邻位置坐标点之间的时间间隔越短，路径越精细。为了比较详细的记录出车辆的轨迹，管理系统中对于车辆的时间序列数据存储必须要取比较小的时间间隔，这样便产生了大量的车辆时间序列数据，如何存储和快速读取这些数据成为车辆信息管理中最首要的问题。

例如：专利申请号CN201110139482.5公开号CN102214394A的中国发明专利“车辆信息智能化管理方法及系统”提供了北斗和GPS定位单元集成方法和车辆管理系统，但北斗和GPS定位单元产生的大量车辆时间序列数据如何存放并没有考虑。

由于在现实需求中，不但要对能够存储的与地理位置信息相关联的物联网时间序列数据有数据总量及吞吐量的要求，而且还要求能够快速的获取指定时间范围的或指定空间范围的地理位置信息相关联的物联网时间序列数据，利用传统的数据存储方式很难满足所述需求。故，急需一种有效的海量地理位置信息相关联的物联网时间序列数据的存储和查询方法，解决物联网传感器在线监测管理系统中产生大量地理位置信息相关联的物联网时间序列数据的存储和根据指定时间范围、空间范围以及全局范围快速查询数据的问题。

发明内容

有鉴于此，本发明的目的在于克服上述不足，提供一种有助于解决物联网传感器在线监控系统中产生大量与地理位置信息相关的时间序列数据的存储和根据指定时间范围、地理位置范围以及全局范围快速查询物联网传感器数据信息问题的地理位置信息相关联的物联网时间序列数据存储和查询方法。

本发明的目的是通过以下技术方案实现的：

一种地理位置信息相关联的物联网时间序列数据存取方法，其特征在于，具体步骤如下：

1)将最新一次数据信息存储至最新数据缓存表，所述最新数据缓存表以设备ID为主键；

2)确定基点时间，并生成时间索引表主键，计算增量时间；所述增量时间是当前时间与基点时间的差值；

3)将地理位置数据转换为geohash编码，并在对应数据行的列族中保存增量时间、geohash编码及实际数据至时间索引表；

所述实际数据包括地理经度、纬度及传感器上传的其他数据；

4)确定基点空间，根据geohash编码生成基点空间与基点时间组合构成的时空索引表的主键；

5)计算增量空间，并在对应数据行的列族中保存增量时间、增量空间、设备ID及实际数据至时空索引表；所述增量空间是具体位置geohash编码与基点空间geohash编码的差值；

6)查询数据信息：查询全局范围内所有目标对象最新的物联网数据信息时，通过从高速存储中读取最新数据缓存表实现；

查询某目标对象在指定时间范围内的物联网数据信息时，通过查询时间索引表实现；

查询指定时间范围内某一空间范围内的某些或全部目标对象的物联网数据信息时，通过查询时空索引表实现。

进一步的，所述基点时间是通过以下方式确定的:根据实际应用情况需求，确定时间数据中每一行间隔的粒度，基点时间确定为每一间隔的起点；

所述基点空间是通过以下方式确定的：根据实际应用情况需求，确定空间数据中每一行间隔的粒度，基点空间确定为每一间隔的最粗粒度。

进一步的，所述时间索引表是以设备ID和基点时间的组合作为数据表主键；所述时空索引表是以基点时间和基点空间的组合作为数据表主键；时间索引表和时空索引表存储在分布式非关系型数据库中。

进一步的，步骤1)中所述最新数据缓存表存储在内存数据库中，所述内存数据库存放在高速存储介质中；所述高速存储介质包括但不限于内存、PCI-E闪存、固态硬盘。

进一步的，步骤6)中所述查询某目标对象在指定时间范围内的物联网数据信息的具体方法如下：

5-1)根据给定时间范围计算能够包含此范围的前后基点时间；

5-2)提取在前后基点时间范围内所涉及到的所有数据行；

5-3)在提取的数据行中，遍历第一行数据定位到起始时间；

5-4)在提取的数据行中，遍历最后一行数据定位到终止时间；

5-5)取得起始和终止时间范围内的数据。

进一步的，步骤6)所述查询指定时间范围内某一空间范围内的某些或全部目标对象的物联网数据信息的具体方法如下：

6-1)根据指定的空间范围生成空间范围的geohash编码；

6-2)根据生成的geohash编码在时空索引表中通过主键中基点空间寻找符合范围的行；

6-3)根据在指定空间范围的查询方法里已经找到的行中，进一步筛选符合时间范围的行；

6-4)提取符合指定时间范围和空间范围的数据。

从以上技术方案可以看出，本发明提供的地理位置信息相关联的物联网时间序列数据存储和查询方法，对于物联网传感器在线监控系统中地理位置信息管理具有重要作用，主要优点如下：

(1)由于本发明存储和查询方法在高速存储中存储了一张最新数据缓存表，所以可以快速地查询全局范围内最新的车辆定位数据、环境监测数据等最新的物联网数据信息；

(2)由于本发明中的主键设计相比常用的设备ID加时间戳的设计方法粒度更粗，所以减少了数据行数，缩减了主键所占空间，从而节省了存储开销；

(3)由于本发明存储和查询方法可以根据给定时间范围，通过基点时间，快速定位到需要查询的行从而可以快速地根据指定时间范围查询某车辆在指定时间范围内的轨迹、某水质监测终端在指定时间范围内数据、某区域大气及气象监测终端等时间序列数据；

(4)由于本发明存储方法存有一张以基点空间和基点时间组合为主键的数据表，因此可以快速地查询某时间范围内某地理位置范围内的所有车辆轨迹、流域内河网水质监测数据、区域大气及气象数据或其它数据信息；

(5)由于本发明存储和查询方法可以快速地查询全局范围内最新的车辆定位数据、环境监测数据等最新的物联网数据信息，因此适用于实时全局信息展示；

(6)由于本发明可以快速地根据时间范围进行查询，对时间序列数据敏感，因此适用于其他分析性数据、物联网传感器时间序列数据；

(7)由于时间索引表和时空索引表中数据互为转换关系，所以两张表可以互为备份，省去了额外的备份空间；

(8)由于时间索引表和时空索引表使用分布式非关系型数据库，其良好的横向扩展性保证了本发明可以处理海量数据。

本发明的其它优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1是面向地理位置信息相关联的物联网时间序列数据存储的非关系数据表设计；

图2是地理位置geohash编码示意图；

图3是地理位置信息相关联的物联网时间序列数据存储方法流程图；

图4是根据指定时间范围查询指定传感器时间序列数据流程图；

图5是根据指定时间范围查询一定空间范围传感器时间序列数据流程图。

具体实施方式

以下是本发明优选实施例的详细描述，应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

在本发明中包括地理位置信息相关联的物联网时间序列数据的存储和查询。以车辆定位导航终端数据为例进行说明，其他类似的与地理位置信息相关联的物联网时间序列数据按照同样方法进行管理。

图1是面向地理位置信息相关联的物联网时间序列数据存储的非关系数据表设计，参照图1，对于车辆地理位置信息时间序列数据存储包含了三个数据表的构建：

1、最新数据缓存表的构建：包括步骤1)，将最新一次数据信息存储至最新数据缓存表，所述最新数据缓存表以设备ID为主键。最新数据缓存表只存储最新一次车辆设备上传的数据信息，数据存储到高速存储介质中，当新一批数据上传至数据平台时，把原来的次新数据移除高速存储，把最新数据保存至高速存储，时间索引表中的新数据是由最新数据缓存表中数据转换保存得来的。最新数据缓存表保存在内存数据库中，如redis、memcached等，内存数据库保存在高速存储介质中，如内存、PCI-E闪存、固态硬盘等。

2、时间索引表的构建：还包括步骤2)和步骤3)，确定基点时间，并生成时间索引表主键，计算增量时间；所述增量时间是当前时间与基点时间的差值；将地理位置数据转换为geohash编码，地理位置geohash编码转换方法参见附图2；并在对应数据行的列族中保存增量时间、geohash编码及实际数据至时间索引表；所述实际数据包括地理经度、纬度及传感器上传的其他数据。

时间索引表的主键是以车辆设备ID和基点时间的组合构成的，其中基点时间的确定方法是，根据基点时间粒度从时间戳取基点时间粒度的下一级单位向上取整，如确定的基点时间粒度为日，时间戳为某年某月某日某时某分，则基点时间为该年该月该日。其中数据表中geohash编码由车辆设备上传至管理系统的地理位置信息转换得来。参照图2，geohash编码的转换方法为：不断的将由经纬度组成的二维空间进行均匀切分，直到精度符合要求为止，每一次切分都会为空间分配编码，最后组合形成geohash编码。行的列族中保存增量时间、geohash编码及实际数据至时间索引表。时间索引表存储在分布式非关系型数据库中，如HBase、Mongodb等。

3、时空索引表的构建：包括步骤4)和步骤5)，确定基点空间，根据geohash编码生成基点空间与基点时间组合构成的时空索引表的主键；计算增量空间，并在对应数据行的列族中保存增量时间、增量空间、设备ID及实际数据至时空索引表；所述增量空间是geohash编码与基点空间的差值。

时空索引表的主键是以一个空间范围基点空间和基点时间的组合构成的。基点空间是通过以下方式确定的：根据实际应用情况需求，确定空间数据中每一行间隔的粒度，基点空间确定为每一间隔的最大粒度。使用前缀匹配法可以快速查找指定空间范围内的数据。时空索引表也存储在分布式非关系型数据库中，如HBase、Mongdb等。

图3是地理位置数据存储流程图，参照图3，作为一种车辆位置信息数据存储的实施例，包括如下步骤：

步骤1，存储最新一次车辆设备上传的数据信息，数据以设备ID为主键保存到高速存储中，当新一批数据上传至数据平台时，把原来的次新数据移除高速存储，把最新数据保存至高速存储。最新数据缓存表保存在内存数据库中，如redis、memcached等，数据库部署在高速存储介质中，如内存、PCI-E闪存、固态硬盘等；

步骤2，从最新数据缓存表读最新数据确定基点时间。优选地，通过分析数据查询需求，每个需求较密集的时间段都作为一个基点时间，如对于车辆管理系统应该分别以小时、天、周、月作为基点时间，那么基点时间就分别为年月日小时、年月日、年周、年月；

步骤3，优选地，以车辆设备ID和步骤2中确定基点时间组合形成数据表主键；

步骤4，计算当前时间与基点时间的差值。优选地，从时间戳中除去已经具有的主键中基点时间的重复几位，如时间戳为某年某月某日某时某分，基点时间为该年该月该日，则差值便为该时该分；

步骤5，在对应数据行的列族中保存时间差值及实际数据。特别地车辆数据中的经纬度坐标转换为geohash编码，将此geohash编码作为地理坐标信息存储；

步骤6，以步骤5中生成的geohash编码生成基点空间和基点时间的组合为一行数据主键，并将该数据行的列族中保存增量时间、增量空间及实际数据至时空索引表。

本发明对地理位置数据信息的查询包括3种情况：

1、查询全局范围内所有目标对象最新的物联网数据信息时，通过从高速存储中读取最新数据缓存表实现；包括在全局范围内查询所有车辆定位数据、环境监测数据等最新的物联网数据信息等；

2、查询某目标对象在指定时间范围内的物联网数据信息时，通过查询时间索引表实现；包括查询某车辆在指定时间范围内的轨迹、某水质监测终端在指定时间范围内数据、某区域大气及气象监测终端在指定时间范围内的数据信息等；

3、查询指定时间范围内某一空间范围内的某些或全部目标对象的物联网数据信息时，通过查询时空索引表实现，包括查询指定时间范围内某一空间范围内的所有车辆轨迹、某流域内河网水质监测数据、某区域大气及气象数据或其它数据信息等。

参照图4，作为一种具体实施例，查询车辆在指定时间范围内的轨迹和其它数据信息，具体方法如下：

5-1)根据给定时间范围计算能够包含此范围的前后基点时间；优选地，前基点时间根据确定的起始时间的下一级单位向上取整，如起始时间为某年某月某日，则前基点时间取该年该月；后基点时间根据确定的终止时间的下一级单位向下取整，如终止时间为某年某月某日，则后基点时间取该年下一月；

5-2)提取在前后基点时间范围内所涉及到的所有数据行；

5-3)在提取的数据行中，遍历第一行数据定位到起始时间；

5-4)在提取的数据行中，遍历最后一行数据定位到终止时间；

5-5)取得起始和终止时间范围内的数据。

参照图5，查询指定时间范围内某一空间范围内的所有车辆轨迹和其它数据信息，具体方法如下：

6-1)根据指定的空间范围生成空间范围的geohash编码；

6-2)根据生成的geohash编码在时空索引表中通过主键中基点空间寻找符合范围的行；

6-3)根据车辆在指定时间范围的查询方法里已经找到的行中，进一步筛选符合空间范围的行；

6-4)提取符合指定时间范围和空间范围的车辆数据。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种地理位置信息相关联的物联网时间序列数据存取方法，其特征在于，具体步骤如下：

1)将最新一次数据信息存储至最新数据缓存表，所述最新数据缓存表以设备ID为主键；

2)确定基点时间，并生成时间索引表主键，计算增量时间；所述增量时间是当前时间与基点时间的差值；

3)将地理位置数据转换为geohash编码，并在对应数据行的列族中保存增量时间、geohash编码及实际数据至时间索引表；

所述实际数据包括地理经度、纬度及传感器上传的其他数据；

4)确定基点空间，根据geohash编码生成基点空间与基点时间组合构成的时空索引表的主键；

5)计算增量空间，并在对应数据行的列族中保存增量时间、增量空间、设备ID及实际数据至时空索引表；所述增量空间是具体位置geohash编码与基点空间geohash编码的差值；

6)查询数据信息：查询全局范围内所有目标对象最新的物联网数据信息时，通过从高速存储中读取最新数据缓存表实现；

查询某目标对象在指定时间范围内的物联网数据信息时，通过查询时间索引表实现；

查询指定时间范围内某一空间范围内的某些或全部目标对象的物联网数据信息时，通过查询时空索引表实现。

2.根据权利要求1所述的一种地理位置信息相关联的物联网时间序列数据存取方法，其特征在于：所述基点时间是通过以下方式确定的:根据实际应用情况需求，确定时间数据中每一行间隔的粒度，基点时间确定为每一间隔的起点；

所述基点空间是通过以下方式确定的：根据实际应用情况需求，确定空间数据中每一行间隔的粒度，基点空间确定为每一间隔的最粗粒度。

3.根据权利要求1所述的一种地理位置信息相关联的物联网时间序列数据存取方法，其特征在于：所述时间索引表是以设备ID和基点时间的组合作为数据表主键；所述时空索引表是以基点时间和基点空间的组合作为数据表主键；时间索引表和时空索引表存储在分布式非关系型数据库中。

4.根据权利要求1所述的一种地理位置信息相关联的物联网时间序列数据存取方法，其特征在于：步骤1)中所述最新数据缓存表存储在内存数据库中，所述内存数据库存放在高速存储介质中；所述高速存储介质包括但不限于内存、PCI-E闪存、固态硬盘。

5.根据权利要求1所述的一种地理位置信息相关联的物联网时间序列数据存取方法，其特征在于：步骤6)中所述查询某目标对象在指定时间范围内的物联网数据信息的具体方法如下：

5-1)根据给定时间范围计算能够包含此范围的前后基点时间；

5-2)提取在前后基点时间范围内所涉及到的所有数据行；

5-3)在提取的数据行中，遍历第一行数据定位到起始时间；

5-4)在提取的数据行中，遍历最后一行数据定位到终止时间；

5-5)取得起始和终止时间范围内的数据。

6.根据权利要求5所述的一种地理位置信息相关联的物联网时间序列数据存取方法，其特征在于：步骤6)所述查询指定时间范围内某一空间范围内的某些或全部目标对象的物联网数据信息的具体方法如下：

6-1)根据指定的空间范围生成空间范围的geohash编码；

6-2)根据生成的geohash编码在时空索引表中通过主键中基点空间寻找符合范围的行；

6-3)根据在指定空间范围的查询方法里已经找到的行中，进一步筛选符合时间范围的行；

6-4)提取符合指定时间范围和空间范围的数据。