CN108052551B - 一种在redis上实现的存储大量时序数据的方法 - Google Patents
一种在redis上实现的存储大量时序数据的方法 Download PDFInfo
- Publication number
- CN108052551B CN108052551B CN201711214010.5A CN201711214010A CN108052551B CN 108052551 B CN108052551 B CN 108052551B CN 201711214010 A CN201711214010 A CN 201711214010A CN 108052551 B CN108052551 B CN 108052551B
- Authority
- CN
- China
- Prior art keywords
- data
- redis
- time sequence
- time
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Abstract
本发明公开了一种在REDIS上实现的存储大量时序数据的方法，该方法包括：基于Redis的SDS数据结构实现Gorilla压缩算法；基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”用来管理一个时间序列相关数据的存储；将时序数据的键值经过压缩后存储到Redis字典中；在Reids中实现基于时序数据对象的CRUD操作。本发明的有益效果：首先Redis时序数据存储方法可实现快速写入，单点插入可实现每秒20,000条；其次，借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，节省了存储空间，从而节省成本；最后，Redis时序数据存储方法每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。
Description
技术领域
本发明涉及工业物联网领域，具体来说，涉及一种在REDIS上实现的存储大量时序数据的方法。
背景技术
时序数据库用于存放时间序列（按时间顺序变化）的海量数据，并且需要支持时序数据的快速写入、持久化、多维度的聚合查询等基本功能。
在工业物联网领域，随着智能化改造进程的推进，大量设备的工况数据需要存储起来，数据量极大。这些数据不但要实时生成，写入存储；还要支持快速查询，做可视化的展示，帮助管理者分析决策；并且也能够用来做大数据分析，发现深层次的问题，帮助企业节能减排，增加效益。对此，面对海量数据，传统关系型数据库在存储时间序列数据时无法满足这些需求。
目前常用的时序数据库OpenTsdb底层使用Hbase作为其分布式存储引擎，采用的是LSM tree；Kairosdb底层使用Cassandra作为分布式存储引擎；在单机上InfluxDB采取类似于LSM tree的存储结构TSM。LSM tree核心思想就是通过内存写和后续磁盘的顺序写入获得更高的写入性能，避免了随机写入，但同时也牺牲了读取性能，因为同一个key的值可能存在于多个HFile中。时序数据库面向的是海量数据的写入存储读取，单机是无法解决问题的，所以需要采用多机存储，即分布式存储。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型的高性能Key-Value数据库，并提供多种语言的API。redis是Nosql数据库中使用较为广泛的非关系型内存数据库，它支持复杂数据的存储，并显示出基于内存操作基础的高性能。
Gorilla是Facebook内存级别的时序数据库，通过采用delta-of-delta编码的时间戳、浮点型值的XOR等压缩运算减少了10倍左右的存储空间，每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，与传统的基于Hbase的TSDB相比，查询耗时缩短了73倍，吞吐量提高了14倍。
发明内容
针对相关技术中的上述技术问题，在借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，结合Redis的高并发，本身群集的支持，及高可用性特点，本发明提出一种在REDIS上实现的存储大量时序数据的方法，能够在Redis中存储大量时序数据。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种在REDIS上实现的存储大量时序数据的方法，包括以下步骤：
S1 基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现基础的数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构；
S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S3 将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；
S4 在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；具体命令如下：
1)TADD key timestamp value
将一个或多个时间序列数据插入到指定的key中
2)TGET key
根据开始时间与结束时间和序列个数返回指定的时序数据
3)TINFO key
根据时间序列ID查询序列统计信息
4)TMADD TADD的批量方法
5)TMGET TGET的批量方法
S5 基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S6 基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；
S7 结合Redis Cluster 实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余；
作为优选，S1具体包括：
S11 实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；
S12 实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
S13 创建iterator数据结构，实现遍历数据流的接口。
作为优选，S2具体包括：
S21 实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
S22 通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S23 基于Redis字典实现插入时序数据的方法；
S24 基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
S25 实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间。
作为优选，S5具体包括：
S51 定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
S52基于Redis RDB技术，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S53从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
作为优选，S7具体包括：
S71 实现时序数据标识的一致性Hash算法，计算Hash值；
S72 根据Hash值与群集节点id进行计算，将不同的时序标识及对应的数据分配存储到不同的节点，以达到分布式存储的目的；
S73 通过Redis的主备技术，实现数据冗余以达到高可用性。
本发明的有益效果：首先Redis时序数据存储方法可实现快速写入，单点插入可实现每秒20,000条；其次，借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，节省了存储空间，从而节省成本；最后，Redis时序数据存储方法每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的一种在REDIS上实现的存储大量时序数据的方法的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图 1所示，根据本发明实施例所述的一种在REDIS上实现的存储大量时序数据的方法，包括以下步骤：
S1 基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现基础的数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构；
S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S3 将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；
S4 在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；具体命令如下：
1)TADD key timestamp value
将一个或多个时间序列数据插入到指定的key中
2)TGET key
根据开始时间与结束时间和序列个数返回指定的时序数据
3)TINFO key
根据时间序列ID查询序列统计信息
4)TMADD TADD的批量方法
5)TMGET TGET的批量方法
S5 基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S6 基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；
S7 结合Redis Cluster 实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余；
作为优选，S1具体包括：
S11 实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；
S12 实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
S13 创建iterator数据结构，实现遍历数据流的接口。
作为优选，S2具体包括：
S21 实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
S22 通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S23 基于Redis字典实现插入时序数据的方法；
S24 基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
S25 实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间。
作为优选，S5具体包括：
S51 定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
S52基于Redis RDB技术，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S53从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
作为优选，S7具体包括：
S71 实现时序数据标识的一致性Hash算法，计算Hash值；
S72 根据Hash值与群集节点id进行计算，将不同的时序标识及对应的数据分配存储到不同的节点，以达到分布式存储的目的；
S73 通过Redis的主备技术，实现数据冗余以达到高可用性。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时，根据本发明所述的在REDIS上实现的存储大量时序数据的方法，包括以下具体步骤：
1.基于Redis的SDS数据结构实现Gorilla压缩算法。SDS是Redis为了管理Buffer而实现的数据结构，基于此数据结构封装Gorilla核心的时序数据存储方法。
1.1. 实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间，最近一次插入数据的时间戳，两次时间戳间隔“prev_timestamp_delta”。上一次时间点对应的时序数据， 以及基于二进制OR运算结果；
1.2. 实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
1.3. 创建iterator数据结构，实现遍历数据流的接口。
2.基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”用来管理一个时间序列相关数据的存储。
2.1. 实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
2.2. 通过Redis字典结构以Key Value的形式记录所有时序数据内容，其中，Key为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
2.3. 基于Redis字典实现插入时序数据的方法；
2.4. 基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
2.5. 实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间等；
3.将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储。
4.在Reids的命令解析层面中实现基于时序数据对象的CRUD操作。具体命令如下：
1)TADD key timestamp value
将一个或多个时间序列数据插入到指定的key中
2)TGET key
根据开始时间与结束时间和序列个数返回指定的时序数据
3)TINFO key
根据时间序列ID查询序列统计信息
4)TMADD TADD的批量方法
5)TMGET TGET的批量方法。
5.基于Redis的RDB协议实现时序数据的持久化存储。
5.1. 定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
5.2. 基于Redis RDB技术。将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
5.3. 实现从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
6.基于Redis的AOF持久化协议实现持久化存储，具体包括将解析对应的相关命令，并以AOF文件格式存储。
7.结合Redis Cluster 实现分布式高并发。
7.1. 实现时序数据标识的一致性Hash算法，计算Hash值；
7.2. 根据Hash值与群集节点id进行计算分配不同的时序标识及对应的数据存储到不同的节点，以达到分布式存储的目的；
7.3. 通过Redis的主备技术，实现数据冗余以达到高可用性。
综上所述，借助于本发明的上述技术方案，首先Redis时序数据存储方法可实现快速写入，单点插入可实现每秒20,000条；其次，借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，节省了存储空间，从而节省成本；最后，Redis时序数据存储方法每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种在REDIS上实现的存储大量时序数据的方法，其特征在于，包括以下步骤：
S1基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构，其中，“timeSeriesStream”包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；
S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有
时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S3将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；
S4在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；
S5基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S6基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；
S7结合Redis Cluster实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余。
2.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S1具体包括：
S11实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；
S12实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
S13创建iterator数据结构，实现遍历数据流的接口。
3.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S2具体包括：
S21实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
S22通过Redis字典结构以Key Value的形式记录所有时序数据内容，其中，Key为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S23基于Redis字典实现插入时序数据的方法；
S24基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
S25实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间。
4.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S5具体包括：
S51定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
S52基于Redis RDB技术，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S53从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
5.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S7具体包括：
S71实现时序数据标识的一致性Hash算法，计算Hash值；
S72根据Hash值与群集节点id进行计算，将不同的时序标识及对应的数据分配存储到不同的节点；
S73通过Redis的主备技术，实现数据冗余。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711214010.5A CN108052551B (zh) | 2017-11-28 | 2017-11-28 | 一种在redis上实现的存储大量时序数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711214010.5A CN108052551B (zh) | 2017-11-28 | 2017-11-28 | 一种在redis上实现的存储大量时序数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108052551A CN108052551A (zh) | 2018-05-18 |
| CN108052551B true CN108052551B (zh) | 2021-04-30 |
Family
ID=62120770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711214010.5A Active CN108052551B (zh) | 2017-11-28 | 2017-11-28 | 一种在redis上实现的存储大量时序数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108052551B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522311B (zh) * | 2018-11-20 | 2021-08-20 | 北京锐安科技有限公司 | 数据存储方法、装置、服务器和存储介质 |
| CN109669878B (zh) * | 2018-11-30 | 2021-04-02 | 环球雅途集团有限公司 | 一种最简化缓存数据操作方法 |
| CN110502536A (zh) * | 2019-06-26 | 2019-11-26 | 中电万维信息技术有限责任公司 | 基于缓存数据库校验业务唯一性的方法、装置及存储介质 |
| CN110569275A (zh) * | 2019-08-14 | 2019-12-13 | 清华大学山西清洁能源研究院 | 支持相似性检索的高纬缺失时间序列的压缩方法及装置 |
| CN110650038B (zh) * | 2019-09-12 | 2022-09-09 | 国家电网有限公司 | 面向多类监管对象的安全事件日志采集处理方法和系统 |
| CN110806963A (zh) * | 2019-11-13 | 2020-02-18 | 浪潮云信息技术有限公司 | 一种基于浪潮云数据库的实例信息监控及可视化展示方法 |
| CN110943797B (zh) * | 2019-12-18 | 2021-06-22 | 北京邮电大学 | 一种sdh网络中的数据压缩方法 |
| CN111400265B (zh) * | 2020-03-04 | 2023-04-07 | 浙江永贵电器股份有限公司 | 一种基于大冗余量时序数据的存储方法 |
| CN112732714B (zh) * | 2020-12-30 | 2023-05-09 | 杭州海康威视数字技术股份有限公司 | 一种基于Hbase的时序数据存储方法、装置及设备 |
| CN112614519A (zh) * | 2021-01-05 | 2021-04-06 | 中国人民解放军国防科技大学 | 基于时序逻辑的大数据压缩方法及复盘播放方法 |
| CN113297224B (zh) * | 2021-05-31 | 2022-06-28 | 上海艾麒信息科技股份有限公司 | 一种基于Redis的海量数据分类存储方法及系统 |
| CN113434547A (zh) * | 2021-06-24 | 2021-09-24 | 浙江邦盛科技有限公司 | 一种毫秒级时序流数据精准切片方法 |
| CN116661636B (zh) * | 2023-05-30 | 2024-01-30 | 北京和德宇航技术有限公司 | 一种轨迹显示方法、装置、设备及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9436710B2 (en) * | 2010-09-28 | 2016-09-06 | Redis Labs Ltd. | Systems, methods, and media for managing an in-memory NoSQL database |
| CN102209118A (zh) * | 2011-06-10 | 2011-10-05 | 成都勤智数码科技有限公司 | 一种分布式海量数据汇聚方法 |
| CN102289476A (zh) * | 2011-07-29 | 2011-12-21 | 河南辉煌科技股份有限公司 | 事务日志的记录方法 |
| CN102495851B (zh) * | 2011-11-17 | 2014-11-05 | 百度在线网络技术（北京）有限公司 | 时序数据的存储和查询方法、系统及装置 |
| CN102495853B (zh) * | 2011-11-17 | 2014-07-09 | 成都康赛信息技术有限公司 | 一种面向切面的云存储引擎构造方法 |
| CN102880475B (zh) * | 2012-10-23 | 2015-08-12 | 普元信息技术股份有限公司 | 计算机软件系统中基于云计算的实时事件处理系统及方法 |
| CN103794006B (zh) * | 2012-10-31 | 2016-12-21 | 国际商业机器公司 | 用于处理多个传感器的时序数据的方法和装置 |
| CN103092920B (zh) * | 2012-12-26 | 2017-04-12 | 新浪网技术(中国)有限公司 | 半结构化数据的存储方法及存储系统 |
| CN103336815B (zh) * | 2013-06-27 | 2016-12-28 | 北京京东尚科信息技术有限公司 | 网络广告推送的系统和方法 |
| CN103345423B (zh) * | 2013-07-03 | 2016-04-20 | 北京京东尚科信息技术有限公司 | 一种处理异步任务的方法和系统 |
| CN104104717B (zh) * | 2014-06-30 | 2017-11-03 | 广州唯品会网络技术有限公司 | 投放渠道数据统计方法及装置 |
| CN104331432A (zh) * | 2014-10-22 | 2015-02-04 | 江苏瑞中数据股份有限公司 | 一种适用于截面访问模式的电网海量时序数据存取方法 |
| US10085684B2 (en) * | 2015-03-10 | 2018-10-02 | The University Of Chicago | State identification in data with a temporal dimension |
| CN105787128B (zh) * | 2016-03-29 | 2019-04-23 | 四川秘无痕信息安全技术有限责任公司 | 一种恢复Java序列化文件数据的方法 |
| CN106294644B (zh) * | 2016-08-02 | 2019-06-14 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的海量时序数据收集处理装置及方法 |
| CN107357853B (zh) * | 2017-06-28 | 2020-12-08 | 广州华多网络科技有限公司 | 一种redis控制台的操作方法、装置及计算机系统 |
-
2017
- 2017-11-28 CN CN201711214010.5A patent/CN108052551B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108052551A (zh) | 2018-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108052551B (zh) | 一种在redis上实现的存储大量时序数据的方法 | |
| US11003665B2 (en) | Unified table query processing | |
| CN103942342B (zh) | 一种内存数据库oltp&olap并发查询优化方法 | |
| CN102521405B (zh) | 支持高速加载的海量结构化数据存储、查询方法和系统 | |
| CN102521406B (zh) | 海量结构化数据复杂查询任务的分布式查询方法和系统 | |
| EP2660736B1 (en) | Partial merge in a multi-level storage architecture | |
| CN103577440B (zh) | 一种非关系型数据库中的数据处理方法和装置 | |
| EP2924594B1 (en) | Data encoding and corresponding data structure in a column-store database | |
| CN110990402B (zh) | 由行存储到列存储的格式转化方法、查询方法及装置 | |
| US20140222418A1 (en) | Fixed string dictionary | |
| US11347740B2 (en) | Managed query execution platform, and methods thereof | |
| CN110275920A (zh) | 数据查询方法、装置、电子设备及计算机可读存储介质 | |
| CN107423422A (zh) | 基于网格的空间数据分布式存储及检索方法和系统 | |
| CN104035956A (zh) | 一种基于分布式列存储的时间序列数据存储方法 | |
| CN102779138A (zh) | 实时数据的硬盘存取方法 | |
| CN113901279B (zh) | 一种图数据库的检索方法和装置 | |
| CN105302915A (zh) | 基于内存计算的高性能数据处理系统 | |
| CN107341198B (zh) | 一种基于主题实例的电力海量数据存储和查询方法 | |
| Dwivedi et al. | Performance analysis of column oriented database vs row oriented database | |
| US11520763B2 (en) | Automated optimization for in-memory data structures of column store databases | |
| CN106776810B (zh) | 一种大数据的数据处理系统及方法 | |
| CN110020001A (zh) | 字符串数据的存储、查询方法以及相应的设备 | |
| CN104111899A (zh) | 一种缓存数据的存储方法及系统及读取方法 | |
| Mitreva et al. | NoSQL solutions to handle big data | |
| CN115543195A (zh) | 一种适用于时序存储的block落盘方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |