CN108052551A - 一种在redis上实现的存储大量时序数据的方法 - Google Patents

一种在redis上实现的存储大量时序数据的方法 Download PDF

Info

Publication number
CN108052551A
CN108052551A CN201711214010.5A CN201711214010A CN108052551A CN 108052551 A CN108052551 A CN 108052551A CN 201711214010 A CN201711214010 A CN 201711214010A CN 108052551 A CN108052551 A CN 108052551A
Authority
CN
China
Prior art keywords
data
time series
redis
storage
realizes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711214010.5A
Other languages
English (en)
Other versions
CN108052551B (zh
Inventor
徐汕
刘强
单酉
刘明
童奥
黄文峰
姜桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Cloud Co Ltd
Original Assignee
Beijing Aerospace Cloud Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Cloud Co Ltd filed Critical Beijing Aerospace Cloud Co Ltd
Priority to CN201711214010.5A priority Critical patent/CN108052551B/zh
Publication of CN108052551A publication Critical patent/CN108052551A/zh
Application granted granted Critical
Publication of CN108052551B publication Critical patent/CN108052551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种在REDIS上实现的存储大量时序数据的方法，该方法包括：基于Redis的SDS数据结构实现Gorilla压缩算法；基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”用来管理一个时间序列相关数据的存储；将时序数据的键值经过压缩后存储到Redis字典中；在Reids中实现基于时序数据对象的CRUD操作。本发明的有益效果：首先Redis时序数据存储方法可实现快速写入，单点插入可实现每秒20,000条；其次，借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，节省了存储空间，从而节省成本；最后，Redis时序数据存储方法每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。

Description

一种在REDIS上实现的存储大量时序数据的方法
技术领域
本发明涉及工业物联网领域，具体来说，涉及一种在REDIS上实现的存储大量时序数据的方法。
背景技术
时序数据库用于存放时间序列（按时间顺序变化）的海量数据，并且需要支持时序数据的快速写入、持久化、多维度的聚合查询等基本功能。
在工业物联网领域，随着智能化改造进程的推进，大量设备的工况数据需要存储起来，数据量极大。这些数据不但要实时生成，写入存储；还要支持快速查询，做可视化的展示，帮助管理者分析决策；并且也能够用来做大数据分析，发现深层次的问题，帮助企业节能减排，增加效益。对此，面对海量数据，传统关系型数据库在存储时间序列数据时无法满足这些需求。
目前常用的时序数据库OpenTsdb底层使用Hbase作为其分布式存储引擎，采用的是LSM tree；Kairosdb底层使用Cassandra作为分布式存储引擎；在单机上InfluxDB采取类似于LSM tree的存储结构TSM。LSM tree核心思想就是通过内存写和后续磁盘的顺序写入获得更高的写入性能，避免了随机写入，但同时也牺牲了读取性能，因为同一个key的值可能存在于多个HFile中。时序数据库面向的是海量数据的写入存储读取，单机是无法解决问题的，所以需要采用多机存储，即分布式存储。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型的高性能Key-Value数据库，并提供多种语言的API。redis是Nosql数据库中使用较为广泛的非关系型内存数据库，它支持复杂数据的存储，并显示出基于内存操作基础的高性能。
Gorilla是Facebook内存级别的时序数据库，通过采用delta-of-delta编码的时间戳、浮点型值的XOR等压缩运算减少了10倍左右的存储空间，每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，与传统的基于Hbase的TSDB相比，查询耗时缩短了73倍，吞吐量提高了14倍。
发明内容
针对相关技术中的上述技术问题，在借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，结合Redis的高并发，本身群集的支持，及高可用性特点，本发明提出一种在REDIS上实现的存储大量时序数据的方法，能够在Redis中存储大量时序数据。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种在REDIS上实现的存储大量时序数据的方法，包括以下步骤：
S1 基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现基础的数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构；
S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S3 将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；
S4 在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；具体命令如下：
1)TADD key timestamp value
将一个或多个时间序列数据插入到指定的key中
2)TGET key
根据开始时间与结束时间和序列个数返回指定的时序数据
3)TINFO key
根据时间序列ID查询序列统计信息
4)TMADD TADD的批量方法
5)TMGET TGET的批量方法
S5 基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S6 基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；
S7 结合Redis Cluster 实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余；
作为优选，S1具体包括：
S11 实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；
S12 实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
S13 创建iterator数据结构，实现遍历数据流的接口。
作为优选，S2具体包括：
S21 实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
S22 通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S23 基于Redis字典实现插入时序数据的方法；
S24 基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
S25 实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间。
作为优选，S5具体包括：
S51 定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
S52基于Redis RDB技术，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S53从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
作为优选，S7具体包括：
S71 实现时序数据标识的一致性Hash算法，计算Hash值；
S72 根据Hash值与群集节点id进行计算，将不同的时序标识及对应的数据分配存储到不同的节点，以达到分布式存储的目的；
S73 通过Redis的主备技术，实现数据冗余以达到高可用性。
本发明的有益效果：首先Redis时序数据存储方法可实现快速写入，单点插入可实现每秒20,000条；其次，借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，节省了存储空间，从而节省成本；最后，Redis时序数据存储方法每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的一种在REDIS上实现的存储大量时序数据的方法的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图 1所示，根据本发明实施例所述的一种在REDIS上实现的存储大量时序数据的方法，包括以下步骤：
S1 基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现基础的数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构；
S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S3 将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；
S4 在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；具体命令如下：
1)TADD key timestamp value
将一个或多个时间序列数据插入到指定的key中
2)TGET key
根据开始时间与结束时间和序列个数返回指定的时序数据
3)TINFO key
根据时间序列ID查询序列统计信息
4)TMADD TADD的批量方法
5)TMGET TGET的批量方法
S5 基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S6 基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；
S7 结合Redis Cluster 实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余；
作为优选，S1具体包括：
S11 实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；
S12 实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
S13 创建iterator数据结构，实现遍历数据流的接口。
作为优选，S2具体包括：
S21 实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
S22 通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S23 基于Redis字典实现插入时序数据的方法；
S24 基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
S25 实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间。
作为优选，S5具体包括：
S51 定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
S52基于Redis RDB技术，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S53从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
作为优选，S7具体包括：
S71 实现时序数据标识的一致性Hash算法，计算Hash值；
S72 根据Hash值与群集节点id进行计算，将不同的时序标识及对应的数据分配存储到不同的节点，以达到分布式存储的目的；
S73 通过Redis的主备技术，实现数据冗余以达到高可用性。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时，根据本发明所述的在REDIS上实现的存储大量时序数据的方法，包括以下具体步骤：
1.基于Redis的SDS数据结构实现Gorilla压缩算法。SDS是Redis为了管理Buffer而实现的数据结构，基于此数据结构封装Gorilla核心的时序数据存储方法。
1.1. 实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间，最近一次插入数据的时间戳，两次时间戳间隔“prev_timestamp_delta”。上一次时间点对应的时序数据， 以及基于二进制OR运算结果；
1.2. 实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
1.3. 创建iterator数据结构，实现遍历数据流的接口。
2.基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”用来管理一个时间序列相关数据的存储。
2.1. 实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
2.2. 通过Redis字典结构以Key Value的形式记录所有时序数据内容，其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
2.3. 基于Redis字典实现插入时序数据的方法；
2.4. 基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
2.5. 实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间等；
3.将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储。
4.在Reids的命令解析层面中实现基于时序数据对象的CRUD操作。具体命令如下：
1)TADD key timestamp value
将一个或多个时间序列数据插入到指定的key中
2)TGET key
根据开始时间与结束时间和序列个数返回指定的时序数据
3)TINFO key
根据时间序列ID查询序列统计信息
4)TMADD TADD的批量方法
5)TMGET TGET的批量方法。
5.基于Redis的RDB协议实现时序数据的持久化存储。
5.1. 定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
5.2. 基于Redis RDB技术。将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
5.3. 实现从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
6.基于Redis的AOF持久化协议实现持久化存储，具体包括将解析对应的相关命令，并以AOF文件格式存储。
7.结合Redis Cluster 实现分布式高并发。
7.1. 实现时序数据标识的一致性Hash算法，计算Hash值；
7.2. 根据Hash值与群集节点id进行计算分配不同的时序标识及对应的数据存储到不同的节点，以达到分布式存储的目的；
7.3. 通过Redis的主备技术，实现数据冗余以达到高可用性。
综上所述，借助于本发明的上述技术方案，首先Redis时序数据存储方法可实现快速写入，单点插入可实现每秒20,000条；其次，借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，节省了存储空间，从而节省成本；最后，Redis时序数据存储方法每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种在REDIS上实现的存储大量时序数据的方法，其特征在于，包括以下步骤：
S1 基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现基础的数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构；
S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S3 将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；
S4 在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；
S5 基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S6 基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；
S7 结合Redis Cluster 实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余。
2.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S1具体包括：
S11 实现基础的数据流对象“timeSeriesStream”，包括时序数据起始时间、最近一次插入数据的时间戳、两次时间戳间隔“prev_timestamp_delta”、上一次时间点对应的时序数据以及基于二进制OR运算结果；
S12 实现基础的时序数据插入操作，基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中；
S13 创建iterator数据结构，实现遍历数据流的接口。
3.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S2具体包括：
S21 实现基础的double值与字符串转换方式，包括Hex字符串与数值字符串；
S22 通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；
S23 基于Redis字典实现插入时序数据的方法；
S24 基于Redis字典实现查找指定Key对应的时序数据的方法，查询时需要传入时序数据标识以及起始时间与结束时间，通过调用“timeSeriesStream”提供的遍历方法进行遍历；
S25 实现“timeSeriesStream”的统计查询方法，包括指定时序数据标识对应的数据总数，起始时间，结束时间。
4.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S5具体包括：
S51 定义新的Redis对象枚举标明所要持久化存储的对象类型为时序数据；
S52基于Redis RDB技术，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；
S53从RDB数据库中读取SDS数据及中间状态数据，以“timeSeriesStream”的数据结构返回给读取方法。
5.根据权利要求1所述的在REDIS上实现的存储大量时序数据的方法，其特征在于，S7具体包括：
S71 实现时序数据标识的一致性Hash算法，计算Hash值；
S72 根据Hash值与群集节点id进行计算，将不同的时序标识及对应的数据分配存储到不同的节点；
S73 通过Redis的主备技术，实现数据冗余。
CN201711214010.5A 2017-11-28 2017-11-28 一种在redis上实现的存储大量时序数据的方法 Active CN108052551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711214010.5A CN108052551B (zh) 2017-11-28 2017-11-28 一种在redis上实现的存储大量时序数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711214010.5A CN108052551B (zh) 2017-11-28 2017-11-28 一种在redis上实现的存储大量时序数据的方法

Publications (2)

Publication Number Publication Date
CN108052551A true CN108052551A (zh) 2018-05-18
CN108052551B CN108052551B (zh) 2021-04-30

Family

ID=62120770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711214010.5A Active CN108052551B (zh) 2017-11-28 2017-11-28 一种在redis上实现的存储大量时序数据的方法

Country Status (1)

Country Link
CN (1) CN108052551B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522311A (zh) * 2018-11-20 2019-03-26 北京锐安科技有限公司 数据存储方法、装置、服务器和存储介质
CN109669878A (zh) * 2018-11-30 2019-04-23 环球雅途集团有限公司 一种最简化缓存数据操作方法
CN110502536A (zh) * 2019-06-26 2019-11-26 中电万维信息技术有限责任公司 基于缓存数据库校验业务唯一性的方法、装置及存储介质
CN110569275A (zh) * 2019-08-14 2019-12-13 清华大学山西清洁能源研究院 支持相似性检索的高纬缺失时间序列的压缩方法及装置
CN110650038A (zh) * 2019-09-12 2020-01-03 国家电网有限公司 面向多类监管对象的安全事件日志采集处理方法和系统
CN110806963A (zh) * 2019-11-13 2020-02-18 浪潮云信息技术有限公司 一种基于浪潮云数据库的实例信息监控及可视化展示方法
CN111400265A (zh) * 2020-03-04 2020-07-10 浙江永贵电器股份有限公司 一种基于大冗余量时序数据的存储方法
CN112614519A (zh) * 2021-01-05 2021-04-06 中国人民解放军国防科技大学 基于时序逻辑的大数据压缩方法及复盘播放方法
CN112732714A (zh) * 2020-12-30 2021-04-30 杭州海康威视数字技术股份有限公司 一种基于Hbase的时序数据存储方法、装置及设备
CN110943797B (zh) * 2019-12-18 2021-06-22 北京邮电大学 一种sdh网络中的数据压缩方法
CN113297224A (zh) * 2021-05-31 2021-08-24 上海艾麒信息科技股份有限公司 一种基于Redis的海量数据分类存储方法及系统
CN113434547A (zh) * 2021-06-24 2021-09-24 浙江邦盛科技有限公司 一种毫秒级时序流数据精准切片方法
CN116661636A (zh) * 2023-05-30 2023-08-29 北京和德宇航技术有限公司 一种轨迹显示方法、装置、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209118A (zh) * 2011-06-10 2011-10-05 成都勤智数码科技有限公司 一种分布式海量数据汇聚方法
CN102289476A (zh) * 2011-07-29 2011-12-21 河南辉煌科技股份有限公司 事务日志的记录方法
CN102495851A (zh) * 2011-11-17 2012-06-13 百度在线网络技术（北京）有限公司 时序数据的存储和查询方法、系统及装置
CN102495853A (zh) * 2011-11-17 2012-06-13 成都康赛电子科大信息技术有限责任公司 一种面向切面的云存储引擎构造方法
CN102880475A (zh) * 2012-10-23 2013-01-16 上海普元信息技术股份有限公司 计算机软件系统中基于云计算的实时事件处理系统及方法
CN103092920A (zh) * 2012-12-26 2013-05-08 新浪网技术(中国)有限公司 半结构化数据的存储方法及存储系统
US20130226971A1 (en) * 2010-09-28 2013-08-29 Yiftach Shoolman Systems, methods, and media for managing an in-memory nosql database
CN103336815A (zh) * 2013-06-27 2013-10-02 北京京东尚科信息技术有限公司 网络广告推送的系统和方法
CN103345423A (zh) * 2013-07-03 2013-10-09 北京京东尚科信息技术有限公司 一种处理异步任务的方法和系统
US20140122022A1 (en) * 2012-10-31 2014-05-01 International Business Machines Corporation Processing time series data from multiple sensors
CN104104717A (zh) * 2014-06-30 2014-10-15 广州唯品会网络技术有限公司 投放渠道数据统计方法及装置
CN104331432A (zh) * 2014-10-22 2015-02-04 江苏瑞中数据股份有限公司 一种适用于截面访问模式的电网海量时序数据存取方法
CN105787128A (zh) * 2016-03-29 2016-07-20 四川秘无痕信息安全技术有限责任公司 一种恢复Java序列化文件数据的方法
US20160262684A1 (en) * 2015-03-10 2016-09-15 The University Of Chicago State identification in data with a temporal dimension
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN107357853A (zh) * 2017-06-28 2017-11-17 广州华多网络科技有限公司 一种redis控制台的操作方法、装置及计算机系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130226971A1 (en) * 2010-09-28 2013-08-29 Yiftach Shoolman Systems, methods, and media for managing an in-memory nosql database
CN102209118A (zh) * 2011-06-10 2011-10-05 成都勤智数码科技有限公司 一种分布式海量数据汇聚方法
CN102289476A (zh) * 2011-07-29 2011-12-21 河南辉煌科技股份有限公司 事务日志的记录方法
CN102495851A (zh) * 2011-11-17 2012-06-13 百度在线网络技术（北京）有限公司 时序数据的存储和查询方法、系统及装置
CN102495853A (zh) * 2011-11-17 2012-06-13 成都康赛电子科大信息技术有限责任公司 一种面向切面的云存储引擎构造方法
CN102880475A (zh) * 2012-10-23 2013-01-16 上海普元信息技术股份有限公司 计算机软件系统中基于云计算的实时事件处理系统及方法
US20140122022A1 (en) * 2012-10-31 2014-05-01 International Business Machines Corporation Processing time series data from multiple sensors
CN103092920A (zh) * 2012-12-26 2013-05-08 新浪网技术(中国)有限公司 半结构化数据的存储方法及存储系统
CN103336815A (zh) * 2013-06-27 2013-10-02 北京京东尚科信息技术有限公司 网络广告推送的系统和方法
CN103345423A (zh) * 2013-07-03 2013-10-09 北京京东尚科信息技术有限公司 一种处理异步任务的方法和系统
CN104104717A (zh) * 2014-06-30 2014-10-15 广州唯品会网络技术有限公司 投放渠道数据统计方法及装置
CN104331432A (zh) * 2014-10-22 2015-02-04 江苏瑞中数据股份有限公司 一种适用于截面访问模式的电网海量时序数据存取方法
US20160262684A1 (en) * 2015-03-10 2016-09-15 The University Of Chicago State identification in data with a temporal dimension
CN105787128A (zh) * 2016-03-29 2016-07-20 四川秘无痕信息安全技术有限责任公司 一种恢复Java序列化文件数据的方法
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN107357853A (zh) * 2017-06-28 2017-11-17 广州华多网络科技有限公司 一种redis控制台的操作方法、装置及计算机系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522311A (zh) * 2018-11-20 2019-03-26 北京锐安科技有限公司 数据存储方法、装置、服务器和存储介质
CN109669878A (zh) * 2018-11-30 2019-04-23 环球雅途集团有限公司 一种最简化缓存数据操作方法
CN109669878B (zh) * 2018-11-30 2021-04-02 环球雅途集团有限公司 一种最简化缓存数据操作方法
CN110502536A (zh) * 2019-06-26 2019-11-26 中电万维信息技术有限责任公司 基于缓存数据库校验业务唯一性的方法、装置及存储介质
CN110569275A (zh) * 2019-08-14 2019-12-13 清华大学山西清洁能源研究院 支持相似性检索的高纬缺失时间序列的压缩方法及装置
CN110650038B (zh) * 2019-09-12 2022-09-09 国家电网有限公司 面向多类监管对象的安全事件日志采集处理方法和系统
CN110650038A (zh) * 2019-09-12 2020-01-03 国家电网有限公司 面向多类监管对象的安全事件日志采集处理方法和系统
CN110806963A (zh) * 2019-11-13 2020-02-18 浪潮云信息技术有限公司 一种基于浪潮云数据库的实例信息监控及可视化展示方法
CN110943797B (zh) * 2019-12-18 2021-06-22 北京邮电大学 一种sdh网络中的数据压缩方法
CN111400265A (zh) * 2020-03-04 2020-07-10 浙江永贵电器股份有限公司 一种基于大冗余量时序数据的存储方法
CN111400265B (zh) * 2020-03-04 2023-04-07 浙江永贵电器股份有限公司 一种基于大冗余量时序数据的存储方法
CN112732714A (zh) * 2020-12-30 2021-04-30 杭州海康威视数字技术股份有限公司 一种基于Hbase的时序数据存储方法、装置及设备
CN112614519A (zh) * 2021-01-05 2021-04-06 中国人民解放军国防科技大学 基于时序逻辑的大数据压缩方法及复盘播放方法
CN113297224B (zh) * 2021-05-31 2022-06-28 上海艾麒信息科技股份有限公司 一种基于Redis的海量数据分类存储方法及系统
CN113297224A (zh) * 2021-05-31 2021-08-24 上海艾麒信息科技股份有限公司 一种基于Redis的海量数据分类存储方法及系统
CN113434547A (zh) * 2021-06-24 2021-09-24 浙江邦盛科技有限公司 一种毫秒级时序流数据精准切片方法
CN116661636A (zh) * 2023-05-30 2023-08-29 北京和德宇航技术有限公司 一种轨迹显示方法、装置、设备及存储介质
CN116661636B (zh) * 2023-05-30 2024-01-30 北京和德宇航技术有限公司 一种轨迹显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108052551B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN108052551A (zh) 一种在redis上实现的存储大量时序数据的方法
CN106452450B (zh) 数据压缩的方法和系统
KR101529315B1 (ko) 값의 발생에 기초한 테이블의 압축
CN107423422B (zh) 基于网格的空间数据分布式存储及检索方法和系统
US9710517B2 (en) Data record compression with progressive and/or selective decomposition
CN101311930B (zh) 具有重复值的表的块压缩
US20120016901A1 (en) Data Storage and Processing Service
US9558251B2 (en) Transformation functions for compression and decompression of data in computing environments and systems
CN105373541B (zh) 数据库的数据操作请求的处理方法和系统
WO2013074665A1 (en) Data processing service
CN100458784C (zh) 在数字图书馆中所采用的检索系统和检索方法
CN112115684B (zh) 高级数据库解压缩
TWI709047B (zh) 對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取
CN110389950A (zh) 一种快速运行的大数据清洗方法
CN111125119A (zh) 一种基于HBase的时空数据存储与索引方法
CN110347744A (zh) 多层块链式账本的数据存储方法、装置及设备
Malek et al. Searching frequent itemsets by clustering data: Towards a parallel approach using mapreduce
JP2019520627A (ja) データベース中にグラフ情報を記憶するためのｂ木使用
CN103177046B (zh) 一种基于行存储数据库的数据处理方法和设备
JP5220483B2 (ja) 木構造のデータに対する集約計算を行うコンピュータ・システム、並びにその方法及びコンピュータ・プログラム
CN103780263B (zh) 数据压缩装置、数据压缩方法及记录介质
CN110020001A (zh) 字符串数据的存储、查询方法以及相应的设备
CN111290714B (zh) 数据读取方法和装置
US9558221B2 (en) Multi-pass, parallel merge for partitioned intermediate pages
US20210303533A1 (en) Automated optimization for in-memory data structures of column store databases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant