CN108268217A - 一种基于时序数据冷热分类的分层存储方法 - Google Patents

Abstract

本发明公开了一种基于时序数据冷热分类的分层存储方法，包括以下步骤：建立UID系统，利用UID来对时序数据进行统一标识；通过特定的时间规则将数据分为实时数据、周天数据、历史数据以及冷数据，建立实时数据层、周天数据层、历史数据层以及冷数据层，依次分别存储在内存、SSD存储硬盘、HDD存储硬盘、分布式存储系统HDFS中；建立统一的数据插入、查询接口，通过查询的时间范围将查询请求路由到各自存储查询接口，为不同数据提供不同存储的访问。有益效果：通过将不同访问频次的数据进行分级存储，最大化利用存储空间、保证查询性能的同时，也降低了成本。

Description

一种基于时序数据冷热分类的分层存储方法

技术领域

本发明涉及工业物联网领域，具体来说，涉及一种基于时序数据冷热分类的分层存储方法。

背景技术

时间是时序数据的一个重要特征，越近期的数据用户越关注，查询得越多，属于热数据，该部分数据的存储需要支持高并发、低延时的交互式查询，因此需要较高的存储成本；越久以前的数据查询得越少，属于冷数据，这些数据对查询的延时不会像交互式场景那么敏感，对存储介质的读写性能要求较低。针对时序数据存储的特点，分级存储将是成本与性能的平衡方法。

Beringei是Facebook开源的一款内存时序数据库，Beringei使用一种三级的内存数据结构，第一级为分片索引，第二级为时间序列索引，第三级为时序数据，通过该数据结构可以支持快速的数据读写，实现了一种高效的流式的压缩算法，从而使内存占用最小化，支持写入内存的同时写入硬盘，并在重启后恢复数据。但是Beringei存在一些限制，如只支持浮点型数值、时间精度只到秒、只能按时间戳顺序的写入数据。同时由于所有数据都缓存在内存中，因此成本较高。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于时序数据冷热分类的分层存储方法，能够缓解工业大数据中时间序列数据的存储成本问题。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于时序数据冷热分类的分层存储方法，将时序数据按时间远近冷热程度分为四层，分别采取四种不同的存储方式。具体地，本方案将24小时以内的数据定义为实时数据层，该部分最热数据缓存到内存中，提高查询与处理速度；将一周内的数据定义为周天数据层，该部分中期次热数据存储在固态硬盘（SSD）中；将一年以内的数据定义为历史数据层，该部分数据存储在机械硬盘（HDD）上；而一年以上的数据基本上不会查询，定义为冷数据层，该部分数据也存储在HDD上。

本发明的有益效果：通过将不同数据进行分级存储，将最常被访问的数据存储在访问速度快但成本高昂的内存中，而不易被访问的数据则存储在性能较差但成本更低的固态/机械硬盘中，最大化利用存储空间、保证查询性能的同时，也降低了成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的一种基于时序数据冷热分类的分层存储方法的流程示意图；

图2是根据本发明实施例所述的一种分层存储架构示意图；

图3是根据本发明实施例所述的一种UID系统的架构示意图；

图4是根据本发明实施例所述的一种数据迁移的流程示意图；

图5是根据本发明实施例所述的一种数据查询的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1至5所示，根据本发明实施例所述的一种基于时序数据冷热分类的分层存储方法，包括以下步骤：

S1 建立UID系统，利用UID来对时序数据进行统一标识；

S2 通过特定的时间规则将数据分为实时数据、周天数据、历史数据以及冷数据，建立实时数据层、周天数据层、历史数据层以及冷数据层，依次分别存储在内存、SSD存储硬盘、HDD存储硬盘、分布式存储系统HDFS中；

S3 建立统一的数据插入、查询接口，通过查询的时间范围将查询请求路由到各自存储查询接口，为不同数据提供不同存储的访问。

作为优选，S1中UID系统通过分布式RPC服务提供资源ID分配服务，ID存储在Redis或者HBase类型数据库中，通过强一致性原子操作保证分配的唯一性。

进一步的，时序数据统一通过自增的2¹²⁸长整型数据作为唯一标识。

进一步的，S2中所述实时数据为24小时以内数据，所述周天数据为两周以内数据，所述历史数据为两年以内数据，所述冷数据为10年以内数据。

作为优选，S2进一步包括：定期通过批量传输服务Batch Transfer Service定期批量的从存储上层将数据导入到下层；

作为优选，数据导入具体包括以下步骤：

S21 确定迁移数据的时间段，并通知查询接口标记该迁移时间段，在迁移期间只允许在上层查询此时间段的信息；

S22 进行数据迁移，达到重试上限或者迁移成功；

S23 通知查询接口取消标记。

作为优选，S3中查询数据具体包括以下步骤：

S31 发起查询某段时间内时序数据的请求；

S32 判断数据所属的数据层，将查询请求路由至对应数据层的查询接口；

S33 返回查询结果。

为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。

在具体使用时，如图1和2所示根据本发明所述的一种基于时序数据冷热分类的分层存储方法，将数据分为4类进行分层存储：

实时数据层，主要是保留24小时之内的数据，采用分布式内存存储的形式。针对内存成本高。IO性能最好的特性，可以快速的查询检索这些数据，进行可视化展示和实时处理。查询速度在毫秒级。

周天数据层，将时序数据按天存储两周内的数据到SSD存储硬盘中。SSD的特点是高IOPS，成本比较高，支持持久化存储。通过开源的LSM-Like类型数据库存储，可以通过统一的查询接口检索，进行数据计算。查询速度在秒级。

历史数据层，将时序数据存储到HDD类硬盘中，此类硬盘价格便宜，IO相对慢一些，根据这个特点，用HBase来存储时序数据，保留2年内的数据。通过统一查询接口对外提供查询检索，查询速度在10秒级别。主要是给统计分析等批量操作提供接口。例如MapReduce批量导入导出。

冷数据层，此层主要存储的是不经常访问的数据。例如10年前的数据。通过技术手段将这些数据压缩，打包至分布式存储系统(HDFS)中，为数据备份，科学计算等工作提供支持。不提供实时查询接口，只提供导入导出服务。

如图4所示，建立完数据分层存储后，随着时间变化，需要定期从上层（热数据）将数据导入到下层（冷数据）。首先规划迁移数据的时间，并通知查询接口标记迁移时间段，在迁移期间只能进行上上层查询此时间段的信息，在达到重试上限或数据迁移成功后，通知查询接口取消标记，即完成一次迁移。

如图3所示，建立UID系统，负责对时序数据资源ID进行分配，系统中的时序数据统一通过自增的2128长整型数据作为唯一标识，其中，UID系统通过分布式RPC服务给其他子系统提供资源ID分配服务，ID存储在Redis或者HBase类型数据库中，通过强一致性原子操作保证分配的唯一性。

如图5所示，在进行数据查询时，通过统一查询接口负责对外承接数据的查询及导出工作，然后根据分层特点，依据查询的时间范围将查询请求路由到各存储层的查询接口，以完成查询过程。

综上所述，借助于本发明的上述技术方案，通过将不同数据进行分级存储，将最常被访问的数据存储在访问速度快但成本高昂的内存中，而不易被访问的数据则存储在性能较差但成本更低的固态/机械硬盘中，最大化利用存储空间、保证查询性能的同时，也降低了成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于时序数据冷热分类的分层存储方法，其特征在于，包括以下步骤：

S1 建立UID系统，利用UID来对时序数据进行统一标识；

S2 通过特定的时间规则将数据分为实时数据、周天数据、历史数据以及冷数据，建立实时数据层、周天数据层、历史数据层以及冷数据层，依次分别存储在内存、SSD存储硬盘、HDD存储硬盘、分布式存储系统HDFS中；

S3 建立统一的数据插入、查询接口，通过查询的时间范围将查询请求路由到各自存储查询接口，为不同数据提供不同存储的访问。

2.根据权利要求1所述的基于时序数据冷热分类的分层存储方法，其特征在于，S1中UID系统通过分布式RPC服务提供资源ID分配服务，ID存储在Redis或者HBase类型数据库中，通过强一致性原子操作保证分配的唯一性。

3.根据权利要求1或2所述的基于时序数据冷热分类的分层存储方法，其特征在于，时序数据统一通过自增的2128长整型数据作为唯一标识。

4.根据权利要求1所述的基于时序数据冷热分类的分层存储方法，其特征在于，S2中所述实时数据为24小时以内数据，所述周天数据为两周以内数据，所述历史数据为两年以内数据，所述冷数据为10年以内数据。

5.根据权利要求1所述的基于时序数据冷热分类的分层存储方法，其特征在于，S2进一步包括：定期通过批量传输服务Batch Transfer Service定期批量的从存储上层将数据导入到下层。

6.根据权利要求5所述的基于时序数据冷热分类的分层存储方法，其特征在于，数据导入具体包括以下步骤：

S21 确定迁移数据的时间段，并通知查询接口标记该迁移时间段，在迁移期间只允许在上层查询此时间段的信息；

S22 进行数据迁移，达到重试上限或者迁移成功；

S23 通知查询接口取消标记。

7.根据权利要求1所述的基于时序数据冷热分类的分层存储方法，其特征在于，S3中查询数据具体包括以下步骤：

S31 发起查询某段时间内时序数据的请求；

S32 判断数据所属的数据层，将查询请求路由至对应数据层的查询接口；

S33 返回查询结果。