CN112699092A - 一种RocksDB存储大值数据的方法 - Google Patents

一种RocksDB存储大值数据的方法 Download PDF

Info

Publication number
CN112699092A
CN112699092A CN202110041168.7A CN202110041168A CN112699092A CN 112699092 A CN112699092 A CN 112699092A CN 202110041168 A CN202110041168 A CN 202110041168A CN 112699092 A CN112699092 A CN 112699092A
Authority
CN
China
Prior art keywords
file
data
hdfs
value
sst
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110041168.7A
Other languages
English (en)
Other versions
CN112699092B (zh
Inventor
贾德星
孙思清
刘佳星
周正德
周恒�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110041168.7A priority Critical patent/CN112699092B/zh
Publication of CN112699092A publication Critical patent/CN112699092A/zh
Application granted granted Critical
Publication of CN112699092B publication Critical patent/CN112699092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种RocksDB存储大值数据的方法，属于NOSQL数据库技术领域，本发明通过将较大值数据的Value从SST(已排序序列表‑Sorted Sequence Table)文件中分离出来单独存储到HDFS，不参与SST文件的合并，以降低SST文件的写放大问题。通过本方法，可以实现RocksDB对大值数据Value的高效处理，而且客户端仍然使用RocksDB API接口，保证RocksDB应用的平滑升级。

Description

一种RocksDB存储大值数据的方法
技术领域
本发明涉及NOSQL数据库技术领域，尤其涉及一种RocksDB存储大值数据的方法。
背景技术
RocksDB是一个可嵌入、持久型的Key-Value(键值)存储，采用LSM树存储引擎，写入的数据会先存储到一个内存表中，当内存表中的数据大小超过设定的阈值后会启动一个后台线程，将内存表数据写到SST文件中，进行持久化存储。随着KV数据的写入，会生成很多的SST文件，SST文件采用分层式管理，除了最顶层(Level-0)之外，其他层的SST文件在同一层中都是按Key的大小进行有序排列，并且SST文件之间没有重叠。上层文件满足一定条件会被定期压缩、合并形成下一层更大的文件，因此一个Key-Value键值对会存在多次写磁盘的过程，产生写放大问题。
HDFS是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，为超大文件的处理需求而开发的。
发明内容
为了解决以上技术问题，本发明提供了一种将较大值的Value数据从SST文件的KV中分离出来存储到HDFS的方法，从而有效降低RocksDB对大值数据存储的写放大问题，可以提升大值数据的存储性能，并且100％兼容RockDB API，可实现应用的平滑升级。
本发明的技术方案是：
一种将较大值的Value数据从SST文件的KV中分离出来存储到HDFS的方法，将较大值数据的Value从SST文件中分离出来单独存储到HDFS，不参与SST文件的合并，以降低SST文件的写放大问题。
通过自定义HDFS表构建器将大值数据从KV中分离出来，单独存储到HDFS文件，SST中只存储Key+hdfs文件路径。
通过自定义Hdfs文件收集器及扩展事件监听器来监听压缩合并事件，在压缩合并过程，比较输入、输出SST的KV数据的文件集合来删除HDFS文件。
进一步的，
通过使用TablePropertiesCollector(表属性收集器)-Hdfs文件收集器来收集每个SST中有多少Value是存放在HDFS上以及它们的文件路径，并将收集到的HDFS文件路径构建为一个文件集合。
扩展事件监听器来监听压缩合并的事件，通过比较压缩合并过程中输入、输出SST文件的文件集合来决定哪些HDFS文件是需要删除的，采用2个文件集合异或方式选出待删除的HDFS文件，再通过HDFS文件系统接口删除这些大Value值所存储的文件。
进一步的，
KV数据的写请求首先写入WAL中，保证数据不丢失；
然后再写入内存表中，当内存表数据达到所设定的阈值后，需要将内存表数据持久化到磁盘的SST文件，在将KV数据写入磁盘时判断KV数据中的Value值是否大于阈值，如果大于阈值，则将大值Value分离出来作为独立文件存储到HDFS。
SST文件Compaction时清理被标记删除的KV键值对，此时需要从HDFS把文件删除。
进一步的，
数据写入
RocksDB支持用户使用自定义的表构建器将内存表的KV数据持久化，默认使用SST表构建器类将KV数据写入SST文件格式。使用HDFS表构建器，该构建器封装了SST表构建器类对SST文件的写操作和HDFS文件写操作。
当需要持久化KV数据时，HDFS表构建器首先判断value值大小是否超过所设定的阈值，如果没有超过阈值，则直接调用原SST表构建器将Key-Value数据写入SST文件；如果超过阈值，则判定为是大值Value，首先要调用hdfs RPC客户端在HDFS文件系统创建一个唯一的文件，将大值Value的内容写入该HDFS文件；HDFS文件写入成功后，将该HDFS文件路径作为新的KV数据，新Key是原来的Key，而新Value则是原Value值的引用-“HDFS文件路径”，然后使用SST表构建器将这个新的KV数据写入SST文件，从而减小写入SST文件的数据量。
在后期SST文件压缩、合并过程中，对新生成的KV进行处理，而存储在HDFS上的文件不需要合并，只需要删除即可。
进一步的，
KV数据读取
在读取KV数据时，首先会从SST文件中读取Key-Value数据，并判断该KV数据的Value值类型，如果是普通Value值则直接返回该KV数据；如果Value是HDFS文件路径，则使用HDFS客户端通过HDFS文件系统接口读取该文件的内容，以文件内容作为新的Value值，组成KV数据返回给客户端。
进一步的，
数据删除
RocksDB所有的更新操作都是以追加的方式写入SST文件，KV数据的更新会作为新的版本写入文件，KV的删除则是对KV标记为“删除”，然后在压缩合并时对已经标记为“删除”的数据和旧版本的历史数据执行物理删除；
采用大值Value分离之后，收集压缩合并过程中所清理的Key+Path集合，然后删除HDFS文件系统上的这些文件。
本发明的有益效果是
1.通过本发明提出的方法可实现RocksDB的大值数据从SST分离出来，独立存放到HDFS文件系统，从而有效降低RocksDB的写放大问题。
2.本发明提出的方法利用了RocksDB的扩展机制，对RocksDB侵入性小，100％兼容RocksDB API，已有应用可平滑升级。
附图说明
图1是大值Value分离架构示意图
图2是HDFS表构建器流程示意图；
图3是HdfsPath收集流程示意图；
图4是文件集合比对示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种把较大值数据从SST文件的KV中分离出来存储到HDFS的方法，架构如图1所示，KV数据的写请求首先写入WAL(预写日志文件)中，保证数据不丢失。然后再写入内存表中，当内存表数据达到所设定的阈值后，需要将内存表数据持久化到磁盘的SST文件，在将KV数据写入磁盘时判断KV数据中的Value值是否大于阈值，如果大于阈值，则将大值Value分离出来作为独立文件存储到HDFS。SST文件Compaction时可能会清理被标记删除的KV键值对，此时需要从HDFS把文件删除。
具体实现方法如下：
1.数据写入
RocksDB支持用户使用自定义的表构建器将内存表的KV数据持久化，默认使用SST表构建器类将KV数据写入SST文件格式。本发明使用新的表构建器类：HDFS表构建器，该构建器封装了SST表构建器类对SST文件的写操作和HDFS文件写操作，这样不用修改RocksDB的内存数据持久化流程就可以将较大的Value从SST文件中分离出来，主要流程如图2所示。
当需要持久化KV数据时，HDFS表构建器首先判断value值大小是否超过所设定的阈值(默认4MB)，如果没有超过阈值，则直接调用原SST表构建器将Key-Value数据写入SST文件。如果超过阈值，则判定为是大值Value，首先要调用hdfs RPC客户端在HDFS文件系统创建一个唯一的文件，将大值Value的内容写入该HDFS文件；HDFS文件写入成功后，将该HDFS文件路径作为新的KV数据，新Key是原来的Key，而新Value则是原Value值的引用-“HDFS文件路径”，然后使用SST表构建器将这个新的KV数据写入SST文件，从而减小写入SST文件的数据量。在后期SST文件压缩、合并过程中，则只需要对新生成的KV进行处理，而存储在HDFS上的文件不需要合并，只需要删除即可，从而在大值Value较多的场景下可以有效的减少写放大问题。
2.KV数据读取
本发明提出的方法在读取KV数据时，首先会从SST文件中读取的Key-Value数据，并判断该KV数据的Value值类型，如果是普通Value值则直接返回该KV数据。如果Value是HDFS文件路径，则使用HDFS客户端通过HDFS文件系统接口读取该文件的内容，以文件内容作为新的Value值，组成KV数据返回给客户端。
3.数据删除
RocksDB所有的更新操作都是以追加的方式写入SST文件，KV数据的更新会作为新的版本写入文件，KV的删除则是对KV标记为“删除”，然后在压缩合并时对已经标记为“删除”的数据和旧版本的历史数据执行物理删除。而采用大值Value分离之后，我们就需要收集压缩合并过程中所清理的Key+Path集合，然后删除HDFS文件系统上的这些文件。
本发明通过使用自定义的TablePropertiesCollector(表属性收集器)-Hdfs文件收集器来收集每个SST中有多少Value是存放在HDFS上以及它们的文件路径，并将收集到的HDFS文件路径构建为一个文件集合，它的工作流程和数据格式如图3所示。
然后扩展事件监听器来监听压缩合并的事件，通过比较压缩合并过程中输入、输出SST文件的文件集合来决定哪些HDFS文件是需要删除的，工作流程如图4所示，本发明采用2个文件集合异或方式选出待删除的HDFS文件，再通过HDFS文件系统接口删除这些大Value值所存储的文件。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种RocksDB存储大值数据的方法，其特征在于，
通过自定义HDFS表构建器将大值数据从KV中分离出来，单独存储到HDFS文件，SST中只存储Key+hdfs文件路径；
通过自定义Hdfs文件收集器及扩展事件监听器来监听压缩合并事件，在压缩合并过程，比较输入、输出SST的KV数据的文件集合来删除HDFS文件。
2.根据权利要求1所述的方法，其特征在于，
通过使用TablePropertiesCollector(表属性收集器)-Hdfs文件收集器来收集每个SST中有多少Value是存放在HDFS上以及它们的文件路径，并将收集到的HDFS文件路径构建为一个文件集合。
3.根据权利要求2所述的方法，其特征在于，
扩展事件监听器来监听压缩合并的事件，通过比较压缩合并过程中输入、输出SST文件的文件集合来决定哪些HDFS文件是需要删除的，采用2个文件集合异或方式选出待删除的HDFS文件，再通过HDFS文件系统接口删除这些大Value值所存储的文件。
4.根据权利要求3所述的方法，其特征在于，
KV数据的写请求首先写入WAL中，保证数据不丢失；
然后再写入内存表中，当内存表数据达到所设定的阈值后，需要将内存表数据持久化到磁盘的SST文件，在将KV数据写入磁盘时判断KV数据中的Value值是否大于阈值，如果大于阈值，则将大值Value分离出来作为独立文件存储到HDFS；
SST文件Compaction时清理被标记删除的KV键值对，此时需要从HDFS把文件删除。
5.根据权利要求4所述的方法，其特征在于，
数据写入
RocksDB支持用户使用自定义的表构建器将内存表的KV数据持久化，默认使用SST表构建器类将KV数据写入SST文件格式。使用HDFS表构建器，该构建器封装了SST表构建器类对SST文件的写操作和HDFS文件写操作。
6.根据权利要求5所述的方法，其特征在于，
当需要持久化KV数据时，HDFS表构建器首先判断value值大小是否超过所设定的阈值，如果没有超过阈值，则直接调用原SST表构建器将Key-Value数据写入SST文件；如果超过阈值，则判定为是大值Value，首先要调用hdfs RPC客户端在HDFS文件系统创建一个唯一的文件，将大值Value的内容写入该HDFS文件；HDFS文件写入成功后，将该HDFS文件路径作为新的KV数据，新Key是原来的Key，而新Value则是原Value值的引用-“HDFS文件路径”，然后使用SST表构建器将这个新的KV数据写入SST文件，减小写入SST文件的数据量。
7.根据权利要求6所述的方法，其特征在于，
在后期SST文件压缩、合并过程中，对新生成的KV进行处理，而存储在HDFS上的文件不需要合并，删除即可。
8.根据权利要求3所述的方法，其特征在于，
KV数据读取
在读取KV数据时，首先会从SST文件中读取Key-Value数据，并判断该KV数据的Value值类型，如果是普通Value值则直接返回该KV数据；如果Value是HDFS文件路径，则使用HDFS客户端通过HDFS文件系统接口读取该文件的内容，以文件内容作为新的Value值，组成KV数据返回给客户端。
9.根据权利要求3所述的方法，其特征在于，
数据删除
RocksDB所有的更新操作都是以追加的方式写入SST文件，KV数据的更新会作为新的版本写入文件，KV的删除则是对KV标记为“删除”，然后在压缩合并时对已经标记为“删除”的数据和旧版本的历史数据执行物理删除；
采用大值Value分离之后，收集压缩合并过程中所清理的Key+Path集合，然后删除HDFS文件系统上的这些文件。
CN202110041168.7A 2021-01-13 2021-01-13 一种RocksDB存储大值数据的方法 Active CN112699092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110041168.7A CN112699092B (zh) 2021-01-13 2021-01-13 一种RocksDB存储大值数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110041168.7A CN112699092B (zh) 2021-01-13 2021-01-13 一种RocksDB存储大值数据的方法

Publications (2)

Publication Number Publication Date
CN112699092A true CN112699092A (zh) 2021-04-23
CN112699092B CN112699092B (zh) 2023-02-03

Family

ID=75514313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110041168.7A Active CN112699092B (zh) 2021-01-13 2021-01-13 一种RocksDB存储大值数据的方法

Country Status (1)

Country Link
CN (1) CN112699092B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253932A (zh) * 2021-05-28 2021-08-13 济南浪潮数据技术有限公司 一种分布式存储系统的读写控制方法和系统
CN113535729A (zh) * 2021-07-21 2021-10-22 浪潮云信息技术股份公司 一种基于RocksDB实现行列混合存储的方法
CN114138200A (zh) * 2021-12-01 2022-03-04 浪潮云信息技术股份公司 一种基于RocksDB的预写日志方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838830A (zh) * 2014-02-18 2014-06-04 广东亿迅科技有限公司 一种HBase数据库的数据管理方法及系统
CN104408091A (zh) * 2014-11-11 2015-03-11 清华大学 分布式文件系统的数据存储方法及系统
CN106407427A (zh) * 2016-09-27 2017-02-15 上海携程商务有限公司 key‑value引擎接口方法及系统
CN108052643A (zh) * 2017-12-22 2018-05-18 北京奇虎科技有限公司 基于LSM Tree结构的数据存储方法、装置及存储引擎
CN108595589A (zh) * 2018-04-19 2018-09-28 中国科学院电子学研究所苏州研究院 一种海量科学数据图片高效存取方法
CN109254733A (zh) * 2018-09-04 2019-01-22 北京百度网讯科技有限公司 用于存储数据的方法、装置和系统
CN109828975A (zh) * 2019-03-01 2019-05-31 深圳市一航网络信息技术有限公司 一种基于区块链的大规模快速账本存取系统
WO2019156309A1 (ko) * 2018-02-09 2019-08-15 연세대학교 산학협력단 플래시 저장장치의 내부 병렬성을 이용하는 키 값 기반의 데이터 액세스 장치 및 방법
CN110389939A (zh) * 2019-02-18 2019-10-29 华南理工大学 一种基于NoSQL和分布式文件系统的物联网存储系统
CN110989924A (zh) * 2019-10-30 2020-04-10 烽火通信科技股份有限公司 一种元数据存储性能优化方法及存储服务器
CN111221922A (zh) * 2019-12-31 2020-06-02 苏州浪潮智能科技有限公司 一种RocksDB数据库数据写入方法及RocksDB数据库
CN111309270A (zh) * 2020-03-13 2020-06-19 清华大学 一种持久性内存键值存储系统
CN111352908A (zh) * 2020-02-28 2020-06-30 北京奇艺世纪科技有限公司 基于lsm的数据存储方法、装置、存储介质及计算机设备
CN111399777A (zh) * 2020-03-16 2020-07-10 北京平凯星辰科技发展有限公司 一种基于数据值分类的差异化键值数据存储方法
CN111639151A (zh) * 2020-06-01 2020-09-08 山东汇贸电子口岸有限公司 一种全文检索的高效保存倒排索引方法
CN111752972A (zh) * 2020-07-01 2020-10-09 浪潮云信息技术股份公司 基于RocksDB的key-value存储模式下的数据关联查询方法及系统
CN112000846A (zh) * 2020-08-19 2020-11-27 东北大学 基于gpu分组lsm树索引的方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838830A (zh) * 2014-02-18 2014-06-04 广东亿迅科技有限公司 一种HBase数据库的数据管理方法及系统
CN104408091A (zh) * 2014-11-11 2015-03-11 清华大学 分布式文件系统的数据存储方法及系统
CN106407427A (zh) * 2016-09-27 2017-02-15 上海携程商务有限公司 key‑value引擎接口方法及系统
CN108052643A (zh) * 2017-12-22 2018-05-18 北京奇虎科技有限公司 基于LSM Tree结构的数据存储方法、装置及存储引擎
WO2019156309A1 (ko) * 2018-02-09 2019-08-15 연세대학교 산학협력단 플래시 저장장치의 내부 병렬성을 이용하는 키 값 기반의 데이터 액세스 장치 및 방법
CN108595589A (zh) * 2018-04-19 2018-09-28 中国科学院电子学研究所苏州研究院 一种海量科学数据图片高效存取方法
CN109254733A (zh) * 2018-09-04 2019-01-22 北京百度网讯科技有限公司 用于存储数据的方法、装置和系统
JP2020038623A (ja) * 2018-09-04 2020-03-12 北京百度网▲訊▼科技有限公司Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． データを記憶するための方法、装置及びシステム
CN110389939A (zh) * 2019-02-18 2019-10-29 华南理工大学 一种基于NoSQL和分布式文件系统的物联网存储系统
CN109828975A (zh) * 2019-03-01 2019-05-31 深圳市一航网络信息技术有限公司 一种基于区块链的大规模快速账本存取系统
CN110989924A (zh) * 2019-10-30 2020-04-10 烽火通信科技股份有限公司 一种元数据存储性能优化方法及存储服务器
CN111221922A (zh) * 2019-12-31 2020-06-02 苏州浪潮智能科技有限公司 一种RocksDB数据库数据写入方法及RocksDB数据库
CN111352908A (zh) * 2020-02-28 2020-06-30 北京奇艺世纪科技有限公司 基于lsm的数据存储方法、装置、存储介质及计算机设备
CN111309270A (zh) * 2020-03-13 2020-06-19 清华大学 一种持久性内存键值存储系统
CN111399777A (zh) * 2020-03-16 2020-07-10 北京平凯星辰科技发展有限公司 一种基于数据值分类的差异化键值数据存储方法
CN111639151A (zh) * 2020-06-01 2020-09-08 山东汇贸电子口岸有限公司 一种全文检索的高效保存倒排索引方法
CN111752972A (zh) * 2020-07-01 2020-10-09 浪潮云信息技术股份公司 基于RocksDB的key-value存储模式下的数据关联查询方法及系统
CN112000846A (zh) * 2020-08-19 2020-11-27 东北大学 基于gpu分组lsm树索引的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘峪竹等: "基于SSD的Key-Value系统优化设计与实现", 《计算机研究与发展》 *
刘汪根等: "大数据3.0――后Hadoop时代大数据的核心技术", 《数据与计算发展前沿》 *
马文龙等: "Key-Value型NoSQL本地存储系统研究", 《计算机学报》 *
骆克云等: "基于增量学习的RocksDB键值系统主动缓存机制", 《计算机应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253932A (zh) * 2021-05-28 2021-08-13 济南浪潮数据技术有限公司 一种分布式存储系统的读写控制方法和系统
CN113253932B (zh) * 2021-05-28 2023-02-28 济南浪潮数据技术有限公司 一种分布式存储系统的读写控制方法和系统
CN113535729A (zh) * 2021-07-21 2021-10-22 浪潮云信息技术股份公司 一种基于RocksDB实现行列混合存储的方法
CN114138200A (zh) * 2021-12-01 2022-03-04 浪潮云信息技术股份公司 一种基于RocksDB的预写日志方法及系统
CN114138200B (zh) * 2021-12-01 2023-10-13 上海沄熹科技有限公司 一种基于RocksDB的预写日志方法及系统

Also Published As

Publication number Publication date
CN112699092B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN112699092B (zh) 一种RocksDB存储大值数据的方法
US9405790B2 (en) System, method and data structure for fast loading, storing and access to huge data sets in real time
US8489553B2 (en) Managing storage of individually accessible data units
CN102027457B (zh) 单独可访问数据单元的管理存储
CN1318974C (zh) 数据库备份数据的压缩和查询方法
CN102662992B (zh) 一种海量小文件的存储、访问方法及装置
CN105824744A (zh) 一种基于b2b平台的实时日志采集分析方法
US6725225B1 (en) Data management apparatus and method for efficiently generating a blocked transposed file and converting that file using a stored compression method
EP2545451B1 (en) Managing storage of individually accessible data units
JP6598996B2 (ja) データ準備のためのシグニチャベースのキャッシュ最適化
CN109213432B (zh) 利用日志结构合并树将数据写入的存储设备及其方法
JP5959592B2 (ja) データベース管理方法、プログラム及び該管理システム、並びにデータベースのツリー構造
CN104584524A (zh) 聚合中介系统中的数据
CN111625531B (zh) 基于可编程装置的合并装置、数据合并方法及数据库系统
CN106599113B (zh) 用于网管系统海量性能数据的数据库读写方法
EP1315100A1 (en) Data compiling method
CN107577809A (zh) 离线小文件处理方法及装置
CN111737203A (zh) 数据库历史日志回溯方法、装置、系统、设备及存储介质
CN112487095B (zh) 一种分布式数据库事务数据存储优化的方法
CN109388615A (zh) 基于Spark的任务处理方法及系统
CN115098486A (zh) 基于海关业务大数据的实时数据采集方法
CN111061719B (zh) 数据收集方法、装置、设备和存储介质
KR102013839B1 (ko) 데이터베이스 관리 방법, 시스템 및 데이터베이스 트리 구조
CN112612648B (zh) 一种SQL Server数据库恢复方法、终端设备及存储介质
JP2018173802A (ja) ストレージシステム、データソート方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant