CN113297224B - 一种基于Redis的海量数据分类存储方法及系统 - Google Patents

一种基于Redis的海量数据分类存储方法及系统 Download PDF

Info

Publication number
CN113297224B
CN113297224B CN202110602830.1A CN202110602830A CN113297224B CN 113297224 B CN113297224 B CN 113297224B CN 202110602830 A CN202110602830 A CN 202110602830A CN 113297224 B CN113297224 B CN 113297224B
Authority
CN
China
Prior art keywords
data
hash
redis
algorithm
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110602830.1A
Other languages
English (en)
Other versions
CN113297224A (zh
Inventor
周单健
盛猛
林立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aiqi Information Technology Co ltd
Original Assignee
Shanghai Aiqi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aiqi Information Technology Co ltd filed Critical Shanghai Aiqi Information Technology Co ltd
Priority to CN202110602830.1A priority Critical patent/CN113297224B/zh
Publication of CN113297224A publication Critical patent/CN113297224A/zh
Application granted granted Critical
Publication of CN113297224B publication Critical patent/CN113297224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种基于Redis的海量数据分类存储方法及系统，包括：步骤S1：将数据分类，并为每一个类别数据定义一个数据类别ID；步骤S2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；步骤S3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hashkey以及field；步骤S4：将数据标识ID对应的数据内容作为hashvalue；步骤S5：将hashkey、field以及hashvalue存储至redis中。本发明通过采用将用户数据标识转换为数字的形式，并以hash类型数据存储在redis中，从而达成减少内存占用的目的。

Description

一种基于Redis的海量数据分类存储方法及系统
技术领域
本发明涉及计算机技术领域，具体地，涉及一种基于Redis的海量数据分类存储方法及系统。
背景技术
目前在对庞大的用户数据处理时，一般有以下几种常见的处理方式：
直接将用户数据存储在数据库中：这种方式对用户数据的增长几乎没有限制，而且硬盘的成本较内存便宜，但是查询数据的效率和响应时间远逊于内存型数据库redis，对于实时广告交易系统而言，将增加广告竞价响应超时率，而且随着用户数据的增加，查询时间会增加，这样会进一步增加响应超时率；
将用户数据直接以key-value键值对的方式存储在redis中，这样方式会导致占用比本专利使用的方式多8倍的内存空间，服务器成本需要响应增加很多，而且难以满足用户数据量的持续增长，同时在业务操作用户数据增删改时，导致更多内存碎片的产生。
专利文献CN111198880A(申请号：201911329397.8)公开了一种基于redis的数据存储方法、装置及电子设备，所述方法包括：根据redis的存储类型将数据分为第一数据结构和hash数据结构；采用BitMap和Murmur存储所述第一数据结构的数据；采用所述hash数据结构和一致性hash做block分布存储所述hash数据结构的数据。通过本发明基于redis的数据存储方式，解决了高并发低延迟场景下的存储问题，实现了在高并发低延迟场景下的快速读写，大大提高了用户体验。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于Redis的海量数据分类存储方法及系统。
根据本发明提供的一种基于Redis的海量数据分类存储方法，包括：
步骤S1：将数据分类，并为每一个类别数据定义一个数据类别ID；
步骤S2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；
步骤S3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；
步骤S4：将数据标识ID对应的数据内容作为hash value；
步骤S5：将hash key、field以及hash value存储至redis中。
优选地，所述步骤S2包括：
N＝总数据量/512，N向上取整。
优选地，所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；
所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；
所述整数型的散列结果A包括：
整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；
所述数据标识ID’通过对数据标识ID进行CRC算法计算后，再对hash桶数量求余。
优选地，所述步骤S3中field包括：将数据标识ID作为唯一因子，通过hash算法B计算出整数型的散列结果B；将散列结果B作为hash key的field；
所述hash算法B是利用BKDRHash算法对数据标识ID进行hash计算得到一个低碰撞的整数，使得保存到同一个数据桶中的不同用户数据的field不一样；
所述整数型的散列结果B利用BKDRHash算法对数据标识ID进行hash计算得到。
优选地，还包括读取基于Redis分类存储的海量数据；
所述读取基于Redis分类存储的海量数据包括：根据数据标识ID、数据类别ID以及数据类别对应的hash桶数据量N作为入参因子，进行hash计算，得到hash key以及field；以hash key和field入参，通过redis hash的hget命令从redis中读出hash value数据标识ID对应的数据内容。
根据本发明提供的一种基于Redis的海量数据分类存储系统，包括：
模块M1：将数据分类，并为每一个类别数据定义一个数据类别ID；
模块M2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；
模块M3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；
模块M4：将数据标识ID对应的数据内容作为hash value；
模块M5：将hash key、field以及hash value存储至redis中。
优选地，所述模块M2包括：
N＝总数据量/512，N向上取整。
优选地，所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；
所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；
所述整数型的散列结果A包括：
整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；
所述数据标识ID’通过对数据标识ID进行CRC算法计算后，再对hash桶数量求余。
优选地，所述步骤S3中field包括：将数据标识ID作为唯一因子，通过hash算法B计算出整数型的散列结果B；将散列结果B作为hash key的field；
所述hash算法B是利用BKDRHash算法对数据标识ID进行hash计算得到一个低碰撞的整数，使得保存到同一个数据桶中的不同用户数据的field不一样；
所述整数型的散列结果B利用BKDRHash算法对数据标识ID进行hash计算得到。
优选地，还包括读取基于Redis分类存储的海量数据；
所述读取基于Redis分类存储的海量数据包括：根据数据标识ID、数据类别ID以及数据类别对应的hash桶数据量N作为入参因子，进行hash计算，得到hash key以及field；以hash key和field入参，通过redis hash的hget命令从redis中读出hash value数据标识ID对应的数据内容。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用将用户数据标识转换为数字的形式，并以hash类型数据存储在redis中，从而达成减少内存占用的目的；
2、通过采用将业务类别ID作为用户数据标识生成hash key的一个因子，从而达成每一个业务品类的数据块独立维护的目的；
3、通过采用根据业务类别数据级定义hash数据桶的数量，将对应业务数据比较均匀的存入每个数据桶，从而达成充分使用内存块，并减少内存碎片的目的；
4、同一数据类别ID的数据的hash key即会在一个同一个整数数值范围内，可进行独立维护。并且，字符串类型的用户数据标识转换成整数型的hash key和field后，在redis上占用的空间因ziplist特性而大大减小。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于Redis的海量数据分类存储方法流程图；
图2为数据分块分桶示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种基于Redis的海量数据分类存储方法，包括：
步骤S1：将数据分类，并为每一个类别数据定义一个数据类别ID；
步骤S2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；根据redis的特性，hash类型数据最省空间的ziplist数据结构存储方式默认配置时要求hash桶(即一个hash key中)存放的field的数据小于512，因此，hash桶的数量N计算公式为：N＝总数据量/512，并向上取整。
步骤S3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；
步骤S4：将数据标识ID对应的数据内容作为hash value；
步骤S5：将hash key、field以及hash value存储至redis中。
具体地，所述步骤S2包括：
N＝总数据量/512，N向上取整。
具体地，所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；
所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；
所述整数型的散列结果A包括：
整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；
所述数据标识ID’通过对数据标识ID进行CRC算法计算后，再对hash桶数量求余。
具体地，所述步骤S3中field包括：将数据标识ID作为唯一因子，通过hash算法B计算出整数型的散列结果B；将散列结果B作为hash key的field；
所述hash算法B是利用BKDRHash算法对数据标识ID进行hash计算得到一个低碰撞的整数，使得保存到同一个数据桶中的不同用户数据的field不一样；
所述整数型的散列结果B利用BKDRHash算法对数据标识ID进行hash计算得到。
具体地，还包括读取基于Redis分类存储的海量数据；
所述读取基于Redis分类存储的海量数据包括：根据数据标识ID、数据类别ID以及数据类别对应的hash桶数据量N作为入参因子，进行hash计算，得到hash key以及field；以hash key和field入参，通过redis hash的hget命令从redis中读出hash value数据标识ID对应的数据内容。
根据本发明提供的一种基于Redis的海量数据分类存储系统，包括：
模块M1：将数据分类，并为每一个类别数据定义一个数据类别ID；
模块M2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；根据redis的特性，hash类型数据最省空间的ziplist数据结构存储方式默认配置时要求hash桶(即一个hash key中)存放的field的数据小于512，因此，hash桶的数量N计算公式为：N＝总数据量/512，并向上取整。
模块M3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；
模块M4：将数据标识ID对应的数据内容作为hash value；
模块M5：将hash key、field以及hash value存储至redis中。
具体地，所述模块M2包括：
N＝总数据量/512，N向上取整。
具体地，所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；
所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；
所述整数型的散列结果A包括：
整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；
所述数据标识ID’通过对数据标识ID进行CRC算法计算后，再对hash桶数量求余。
具体地，所述步骤S3中field包括：将数据标识ID作为唯一因子，通过hash算法B计算出整数型的散列结果B；将散列结果B作为hash key的field；
所述hash算法B是利用BKDRHash算法对数据标识ID进行hash计算得到一个低碰撞的整数，使得保存到同一个数据桶中的不同用户数据的field不一样；
所述整数型的散列结果B利用BKDRHash算法对数据标识ID进行hash计算得到。
具体地，还包括读取基于Redis分类存储的海量数据；
所述读取基于Redis分类存储的海量数据包括：根据数据标识ID、数据类别ID以及数据类别对应的hash桶数据量N作为入参因子，进行hash计算，得到hash key以及field；以hash key和field入参，通过redis hash的hget命令从redis中读出hash value数据标识ID对应的数据内容。
实施例2
实施例2是实施例1的优选例
本发明通过将海量数据进行hash计算处理后分类、分块存储至redis中，以节省内存，提高访问速度，并能分类独立维护。
本发明提供了一种基于Redis的海量数据分类存储方法，包括：
步骤1：按业务类别定义用户数据类别ID；
步骤2：按所述数据类别ID对应的数据量级定义用户数据桶的数量N；
步骤3：分别将字符串类型的用户数据标识、所述数据类别ID，所述数据桶的数量N作为因子，使用hash算法A计算出整数型的散列结果A；
步骤4：将所述整数型的散列结果A作为redis的hash数据类型的hash key；
步骤5：再次将所述字符串类型的用户数据标识作为唯一因子，通过hash算法B计算得出整数型的散列结果B，将该散列结果B作为步骤4所述hash key的field；
步骤6：将所述用户数据标识对应的数据内容作为所述field的value；
步骤7：将所述hash key、field、value以hash数据类型存入redis中；
步骤8：按以上步骤操作后，同一数据类别ID的数据的hash key即会在一个同一个整数数值范围内，可进行独立维护。并且，字符串类型的用户数据标识转换成整数型的hashkey和field后，在redis上占用的空间因ziplist特性而大大减小。
hash算法A的作用是把不同的用户数据尽可能均匀的保存到不同的数据桶中；hash算法B的作用是尽可能的让保存到同一个桶中的不同用户数据的field不一样，否则就碰撞了。
读取hash value依此同样方法计算出hash key和field，以所述hash key和field为入参，通过redis hash的hget命令从redis中读出。
本发明将数据分类存储，不同类别的数据，根据类别ID不同，hash key的范围不同，可以进行分类批量操作数据，高效且内存碎片少；比如：类别1的数据规模为5亿条，则可定义hash桶的数量为1000000个，1000000*512>5亿，足够存放。则可控制hash key的范围为1000001-1999999。当业务变化不需要这些数据或进行全部过期处理时，可以非常快速的批量将hash key清理掉。
本发明将key-value的键值对数据，转化为hash类型的数据，且转化后的hashkey、field为整数，并控制每个hash桶的field数量不超过512，使数据以ziplist结构存储方式存储，这样极大的节省了空间。因为整数类型的数据占用的空间比字符串形式要节省很多。通过测试，当数据量在1亿以上时，能节省80％以上的空间。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于Redis的海量数据分类存储方法，其特征在于，包括：
步骤S1：将数据分类，并为每一个类别数据定义一个数据类别ID；
步骤S2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；
步骤S3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；
步骤S4：将数据标识ID对应的数据内容作为hash value；
步骤S5：将hash key、field以及hash value存储至redis中；
所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；
所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；
所述整数型的散列结果A包括：
整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；
所述数据标识ID’为通过对数据标识ID进行CRC算法计算后，再对hash桶数量求余；
所述步骤S3中field包括：将数据标识ID作为唯一因子，通过hash算法B计算出整数型的散列结果B；将散列结果B作为hash key的field；
所述hash算法B是利用BKDRHash算法对数据标识ID进行hash计算得到一个低碰撞的整数，使得保存到同一个数据桶中的不同用户数据的field不一样；
所述整数型的散列结果B利用BKDRHash算法对数据标识ID进行hash计算得到。
2.根据权利要求1所述的基于Redis的海量数据分类存储方法，其特征在于，所述步骤S2包括：
N＝总数据量/512，N向上取整。
3.根据权利要求1所述的基于Redis的海量数据分类存储方法，其特征在于，还包括读取基于Redis分类存储的海量数据；
所述读取基于Redis分类存储的海量数据包括：根据数据标识ID、数据类别ID以及数据类别对应的hash桶数据量N作为入参因子，进行hash计算，得到hash key以及field；以hashkey和field入参，通过redis hash的hget命令从redis中读出hash value数据标识ID对应的数据内容。
4.一种基于Redis的海量数据分类存储系统，其特征在于，包括：
模块M1：将数据分类，并为每一个类别数据定义一个数据类别ID；
模块M2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；
模块M3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；
模块M4：将数据标识ID对应的数据内容作为hash value；
模块M5：将hash key、field以及hash value存储至redis中；
所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；
所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；
所述整数型的散列结果A包括：
整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；
所述数据标识ID’为通过对数据标识ID进行CRC算法计算后，再对hash桶数量求余；
所述步骤S3中field包括：将数据标识ID作为唯一因子，通过hash算法B计算出整数型的散列结果B；将散列结果B作为hash key的field；
所述hash算法B是利用BKDRHash算法对数据标识ID进行hash计算得到一个低碰撞的整数，使得保存到同一个数据桶中的不同用户数据的field不一样；
所述整数型的散列结果B利用BKDRHash算法对数据标识ID进行hash计算得到。
5.根据权利要求4所述的基于Redis的海量数据分类存储系统，其特征在于，所述模块M2包括：
N＝总数据量/512，N向上取整。
6.根据权利要求4所述的基于Redis的海量数据分类存储系统，其特征在于，还包括读取基于Redis分类存储的海量数据；
所述读取基于Redis分类存储的海量数据包括：根据数据标识ID、数据类别ID以及数据类别对应的hash桶数据量N作为入参因子，进行hash计算，得到hash key以及field；以hashkey和field入参，通过redis hash的hget命令从redis中读出hash value数据标识ID对应的数据内容。
CN202110602830.1A 2021-05-31 2021-05-31 一种基于Redis的海量数据分类存储方法及系统 Active CN113297224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110602830.1A CN113297224B (zh) 2021-05-31 2021-05-31 一种基于Redis的海量数据分类存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110602830.1A CN113297224B (zh) 2021-05-31 2021-05-31 一种基于Redis的海量数据分类存储方法及系统

Publications (2)

Publication Number Publication Date
CN113297224A CN113297224A (zh) 2021-08-24
CN113297224B true CN113297224B (zh) 2022-06-28

Family

ID=77326529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110602830.1A Active CN113297224B (zh) 2021-05-31 2021-05-31 一种基于Redis的海量数据分类存储方法及系统

Country Status (1)

Country Link
CN (1) CN113297224B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052551A (zh) * 2017-11-28 2018-05-18 北京航天云路有限公司 一种在redis上实现的存储大量时序数据的方法
CN109408507A (zh) * 2018-09-27 2019-03-01 中国联合网络通信集团有限公司 多属性数据的处理方法、装置、设备及可读存储介质
CN109597834A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 基于redis的海量数据存储方法、装置、介质和设备
CN112799841A (zh) * 2021-01-29 2021-05-14 烽火通信科技股份有限公司 一种数据对象存储管理的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416586B1 (ko) * 2012-10-17 2014-07-08 주식회사 리얼타임테크 해쉬를 이용한 전문 기반 논리 연산 수행 방법
CN103795490B (zh) * 2012-10-30 2017-09-19 深圳中兴网信科技有限公司 一种数据传输加速的方法及系统
US9396018B2 (en) * 2014-10-10 2016-07-19 Salesforce.Com, Inc. Low latency architecture with directory service for integration of transactional data system with analytical data structures
CN107391627B (zh) * 2017-06-30 2020-11-03 北京奇虎科技有限公司 数据的内存占用分析方法、装置及服务器
CN110399371B (zh) * 2018-04-23 2023-06-23 湖南湘谷信息科技有限公司 基于Redis数据库的减少内存消耗的方法、存储介质及设备
CN111767287A (zh) * 2020-06-30 2020-10-13 深圳前海微众银行股份有限公司 数据导入方法、装置、设备及计算机存储介质
CN111858678A (zh) * 2020-07-27 2020-10-30 中国平安财产保险股份有限公司 基于Redis的key值删除方法、计算机设备、装置和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052551A (zh) * 2017-11-28 2018-05-18 北京航天云路有限公司 一种在redis上实现的存储大量时序数据的方法
CN109408507A (zh) * 2018-09-27 2019-03-01 中国联合网络通信集团有限公司 多属性数据的处理方法、装置、设备及可读存储介质
CN109597834A (zh) * 2018-10-22 2019-04-09 平安科技（深圳）有限公司 基于redis的海量数据存储方法、装置、介质和设备
CN112799841A (zh) * 2021-01-29 2021-05-14 烽火通信科技股份有限公司 一种数据对象存储管理的方法和装置

Also Published As

Publication number Publication date
CN113297224A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN109325032B (zh) 一种索引数据存储及检索方法、装置及存储介质
CN113342750B (zh) 一种文件的数据比对方法、装置、设备及存储介质
CN111325245B (zh) 重复图像识别方法、装置、电子设备及计算机可读存储介质
CN109325118B (zh) 不平衡样本数据预处理方法、装置和计算机设备
US11620065B2 (en) Variable length deduplication of stored data
WO2022142001A1 (zh) 基于多评分卡融合的目标对象评价方法及其相关设备
CN110377576B (zh) 创建日志模板的方法和装置、日志分析方法
CN112508118A (zh) 针对数据偏移的目标对象行为预测方法及其相关设备
CN105191144A (zh) 压缩装置、压缩方法、解压装置、解压方法以及信息处理系统
CN115483935A (zh) 一种数据处理方法及装置
CN111931848A (zh) 数据的特征提取方法、装置、计算机设备及存储介质
CN112364625A (zh) 文本筛选方法、装置、设备及存储介质
CN115408350A (zh) 日志压缩、日志还原方法、装置、计算机设备和存储介质
CN110019017B (zh) 一种基于访问特征的高能物理文件存储方法
CN114741368A (zh) 基于人工智能的日志数据统计方法及相关设备
CN113297224B (zh) 一种基于Redis的海量数据分类存储方法及系统
WO2018103490A1 (en) A method and system for compressing data
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
US20220199202A1 (en) Method and apparatus for compressing fastq data through character frequency-based sequence reordering
CN107612554B (zh) 数据压缩处理方法
CN107368281B (zh) 一种数据处理方法及装置
CN112380171B (zh) 一种yaffs文件系统oob识别方法、终端设备及存储介质
CN112002352B (zh) 随机播放音乐方法、装置、计算机设备及存储介质
CN112364264A (zh) 一种风险防控方法、装置及设备
CN104954280A (zh) 一种数据报文处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant