CN113821171A - 一种基于哈希表与lsm树的键值存储方法 - Google Patents
一种基于哈希表与lsm树的键值存储方法 Download PDFInfo
- Publication number
- CN113821171A CN113821171A CN202111019356.6A CN202111019356A CN113821171A CN 113821171 A CN113821171 A CN 113821171A CN 202111019356 A CN202111019356 A CN 202111019356A CN 113821171 A CN113821171 A CN 113821171A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- key
- value
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims description 9
- 230000002085 persistent effect Effects 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 abstract description 12
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 8
- 238000000926 separation method Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于哈希表与LSM树的键值存储方法，属于计算机存储领域；所述的方法具体步骤如下：S1利用键值将数据和索引分开存储；S2利用哈希索引将键值数据进行封装；S3在跳表合并中对有序索引中的数据进行合并；S4利用哈希索引将键值数据进行查询，并将查询结果返回；S5对数量或大小超过阈值的键值数据日志文件发起数据合并；S6将数据合并的操作过程与结果进行存储；采用键值分离的思想将数据与索引分开存储，利用哈希索引对外提供高效写入与读取的操作能力，利用基于LSM树的有序索引实现快速的范围查询功能，解决现有键值存储系统读、写操作延迟高，数据量较大时产生的读、写以及空间放大等问题。
Description
技术领域
本发明公开一种基于哈希表与LSM树的键值存储方法，涉及计算机存储技术领域。
背景技术
数据库作为一种信息技术的基础软件，在信息时代起到至关重要的作用，随着信息技术的快速发展，数据的存储与管理也面临越来越多样化的挑战，日新月异的需求场景对数据库的存储机制、并发访问、存储空间利用以及使用效率等方面都提出了新的要求。传统的单机数据库在海量数据时代受限于性能瓶颈正在被分布式数据库所取代，分布式数据库以良好的可扩展性和相对低廉的硬件投入在业务高速发展场景中动态地满足各项资源需求，为业务发展提供源源不断的动力。
分布式数据库是分布在物理空间离散的计算机网络上、具备分布式事务处理能力、可线性扩展、且在逻辑上统计的数据库，近些年陆续涌现出一些具有代表性的开源分布式数据库，如OceanBase\CockroachDB\TiDB等。分布式数据库水平扩展的能力得益于其底层采用的键值数据库，键值数据库将上层传入的从简单对象到复杂对象的任何内容均转化为键值对进行存储，键值数据库是高度可分区的，从而实现其他类型数据库无法实现的规模水平扩展能力。目前主流的键值存储系统如Facebook公司基于levelDB开发出嵌入式键值存储 RocksDB，RocksDB在levelDB架构基础上针对Flash/RAM存储进行优化,大大降低操作延迟，被广泛的使用到分布式键值存储系统中，如 CockroachDB\TiKV\ZnBase等均使用嵌入式键值存储RocksDB作为存储层。
最早Google公司在其推出的BigTable中首先使用LSM树存储键值数据，基于LSM树的键值存储系统能够将随机写操作转化为顺序写，使得系统可以将大块内存连续刷入磁盘，降低了磁盘寻址延迟，提供了良好的写入性能，尤其适合在基于混合硬盘(Hybrid HardDrive，简称HHD)的写负载高的业务场景下使用。后来Sanjay Ghemawa与Jeff Dean共同开发的持久化键值存储系统—LevelDB以及Facebook公司基于levelDB开源版本二次开发的嵌入式的键值存储系统—RocksDB均使用了LSM树存储键值数据。随着固态盘(Solid StateDisk，简称SSD)技术的成熟并得到广泛使用，基于LSM树的键值存储系统，在大量数据持续写入场景下会不断引发底层数据文件的合并，产生大量I/O操作并造成一定程度的空间放大和写放大，进而降低系统的写性能，无法发挥出SSD并行随机读的能力，反复写入会还会降低SSD使用寿命。
在《WiscKey:Separating Keys from Values in SSD-Conscious Storage》论文中作者提出了面向SSD的数据与索引分离存储的方法，即将数据直接写入磁盘，在LSM树中存储键与数据地址作为索引。数据合并过程减少数据读写量，有效降低空间放大和写放大，LSM树能够将更多索引存储在内存中，有效提升缓存命中并降低读放大。BadgerDB是基于数据与索引分离思想实现的高性能键值存储系统，其整体架构与LevelDB类似，BadgerDB中顺序查找会变成对磁盘的随机读取，会影响其读性能。同时，为了对数据文件中已删除数据条目进行清理，需要遍历数据条目并逐个查询LSM树，该过程需要消耗大量资源进而影响BadgerDB的整体性能。
故现发明一种基于哈希表与LSM树的键值存储方法，以解决上述问题。
发明内容
本发明针对现有技术的问题，提供一种基于哈希表与LSM树的键值存储方法，所采用的技术方案为：一种基于哈希表与LSM树的键值存储方法，所述的方法具体步骤如下：
S1利用键值将数据和索引分开存储；
S2利用哈希索引将键值数据进行封装；
S3在跳表合并中对有序索引中的数据进行合并；
S4利用哈希索引将键值数据进行查询，并将查询结果返回；
S5对数量或大小超过阈值的键值数据日志文件发起数据合并；
S6将数据合并的操作过程与结果进行存储。
所述S1利用键值将数据和索引分开存储的具体步骤如下：
S101上层应用调用键值存储系统的写操作接口；
S102利用哈希函数哈希函数计算出写入键的哈希值。
所述S2利用哈希索引将键值数据进行封装的具体步骤如下：
S201将键值数据封装进键值条目；
S202根据索引哈希值，在内存中的哈希表中插入对应的索引条目。
所述S201将键值数据封装进键值条目，该条目中包含索引键、值、索引哈希值以及元数据，把键值条目按逻辑块写入键值日志文件持久化存储。
所述S202根据索引哈希值，在内存中的哈希表中插入对应的索引条目，该索引条目中包括索引键、索引哈希值、键值数据在数据文件中地址信息以及元数据。
所述S3在跳表合并中对有序索引中的数据进行合并的具体步骤如下：
S301根据元数据中记录的状态判断是否需要保留；
S302需保留，则将有序索引中的数据写入合并后的跳表；
S312不保留，则将有序索引中的数据丢弃。
所述S4利用哈希索引将键值数据进行查询，并将查询结果返回的具体步骤如下：
S401上层应用调用键值存储系统的读操作接口，利用哈希函数计算查询键的哈希值；
S402根据查询键在有序索引中进行查询；
S403查询到，则在哈希索引中根据哈希值查找索引条目；
S402根据索引条目中记录的数据地址信息在键值存储模块中查询对应的键值条目，并将查询结果返回。
所述S5对数量或大小超过阈值的键值数据日志文件发起数据合并的具体步骤如下：
S501判断键值数据日志数量是否超过阈值；
S502在只读模式下的键值数据日志文件中选取待合并文件；
S503遍历键值数据日志文件中的键值条目并根据索引哈希值，
S504在哈希索引中查询对应条目元数据中的数据状态信息，判断该键值条目是否需要保留；
S505若需要保留则写入到新的键值数值日志文件中。
本发明的有益效果为：本发明专利采用数据与索引分离存储的思想，将数据文件写入磁盘完成持久化，分别利用哈希表与LSM树存储索引，哈希索引利用其特性能够实现极低延迟下的写入和随机查询，基于LSM树的顺序索引能够实现任意的范围查询。该发明方案能够实现高性能的键值数据操作，同时具有较低的空间放大和写放大，在任意的查询场景下又不会造成较高的读放大，相比目前流行的键值存储系统具有一定的优越性；有益效果包括：
显著降低键值存储系统读写操作延迟；
显著降低键值存储系统的空间放大、写放大以及读放大；
显著提升键值存储系统数据合并效率；
支持延迟垃圾回收，降低高峰期系统资源消耗；
显著提升键值存储系统的整体性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法实施例的键值存储系统的写入流程；图2是本发明方法实施例的键值存储模块、哈希索引模块与有序索引模块的结构示意图；图3是本发明方法实施例键值存储系统的读取流程图；图4是本发明方法实施例的键值存储系统的数据合并流程图；图5是本发明方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
一种基于哈希表与LSM树的键值存储方法，所述的方法具体步骤如下：
S1利用键值将数据和索引分开存储；
S2利用哈希索引将键值数据进行封装；
S3在跳表合并中对有序索引中的数据进行合并；
S4利用哈希索引将键值数据进行查询，并将查询结果返回；
S5对数量或大小超过阈值的键值数据日志文件发起数据合并；
S6将数据合并的操作过程与结果进行存储；
进一步的，所述S1利用键值将数据和索引分开存储的具体步骤如下：
S101上层应用调用键值存储系统的写操作接口；
S102利用哈希函数哈希函数计算出写入键的哈希值；
进一步的，所述S2利用哈希索引将键值数据进行封装的具体步骤如下：
S201将键值数据封装进键值条目；
S202根据索引哈希值，在内存中的哈希表中插入对应的索引条目。
进一步的，所述S201将键值数据封装进键值条目，该条目中包含索引键、值、索引哈希值以及元数据，把键值条目按逻辑块写入键值日志文件持久化存储；
进一步的，所述S202根据索引哈希值，在内存中的哈希表中插入对应的索引条目，该索引条目中包括索引键、索引哈希值、键值数据在数据文件中地址信息以及元数据；
进一步的，所述S3在跳表合并中对有序索引中的数据进行合并的具体步骤如下：
S301根据元数据中记录的状态判断是否需要保留；
S302需保留，则将有序索引中的数据写入合并后的跳表；
S312不保留，则将有序索引中的数据丢弃；
进一步的，所述S4利用哈希索引将键值数据进行查询，并将查询结果返回的具体步骤如下：
S401上层应用调用键值存储系统的读操作接口，利用哈希函数计算查询键的哈希值；
S402根据查询键在有序索引中进行查询；
S403查询到，则在哈希索引中根据哈希值查找索引条目；
S402根据索引条目中记录的数据地址信息在键值存储模块中查询对应的键值条目，并将查询结果返回；
进一步的，所述S5对数量或大小超过阈值的键值数据日志文件发起数据合并的具体步骤如下：
S501判断键值数据日志数量是否超过阈值；
S502在只读模式下的键值数据日志文件中选取待合并文件；
S503遍历键值数据日志文件中的键值条目并根据索引哈希值，
S504在哈希索引中查询对应条目元数据中的数据状态信息，判断该键值条目是否需要保留；
S505若需要保留则写入到新的键值数值日志文件中；
键值存储系统的写入流程如图1所示；上层应用调用键值存储系统的写操作接口，利用哈希函数计算出写入键的哈希值，将键值数据封装进键值条目，该条目中包含索引键、值、索引哈希值以及元数据，把键值条目按逻辑块写入键值日志文件持久化存储；根据索引哈希值，在内存中的哈希表中插入对应的索引条目，该索引条目中包括索引键、索引哈希值、键值数据在数据文件中地址信息以及元数据；同时，在基于LSM树的有序索引结构的跳表中插入对应的索引条目，该条目包含索引键与元数据；如果是删除键值数据，在将键值条目写入键值存储模块后，在哈希索引与有序索引中查找该索引键，如果查到该索引键则在对应的数据结构中将该条目标记为删除状态；为了提升查询效率，哈希索引与有序索引均是存储在内存中，为了避免系统故障时发生数据丢失，需要定期将索引数据写入磁盘，并在元数据管理模块中更新各自索引数据的回放点，进而有效降低故障恢复时索引数据回放的时延；哈希索引中数据的合并是在索引条目持久化过程中进行的，根据元数据中记录的数据状态判断索引条目是否需要持久化；有序索引中数据的合并是在跳表合并的过程中进行的，同样是根据元数据中记录的状态判断是否需要保留，如需保留则写入合并后的跳表否则直接丢弃；每次哈希索引与有序索引的合并与落盘操作及结果都会由元数据管理模块进行记录；上述涉及的键值存储模块、哈希索引模块与有序索引模块的详细结构如图2所示；
键值存储系统的读取流程如图3所示；上层应用调用键值存储系统读操作接口时，利用哈希函数计算出查询键的哈希值，根据查询键在有序索引中进行查询，若在有序索引中查到该键，再根据哈希值在哈希索引中查找索引条目，根据索引条目中记录的数据地址信息在键值存储模块中查询对应的键值条目，并将查询结果返回；基于LSM树的顺序索引高效地实现了范围查询功能，哈希索引利用其特性能够实现极低延迟下随机查询；由于顺序索引与哈希索引中仅仅记录少量数据，业务数据在TB量级下也能将索引数据完全存储在内存中，大大提升键值存储系统的读取效率；
键值存储系统的数据合并流程如图4所示；数据合并流程由元数据管理模块发起，元数据管理模块中记录键值日志文件的数量与大小，当文件数量或大小超过阈值后便会发起数据合并；键值存储模块会从只读模式下的键值日志文件中选取待合并文件，遍历键值日志文件中的键值条目并根据索引哈希值到哈希索引中查询对应条目元数据中的数据状态信息进而判断该键值条目是否需要保留，若需要保留则写入到新的键值日志文件中，若不需要则直接跳过；键值日志文件序号是递增，并且不会被复用；键值日志文件合并完毕后将操作过程与结果记录到元数据管理模块，进行持久化存储。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于哈希表与LSM树的键值存储方法，其特征是所述的方法具体步骤如下：
S1利用键值将数据和索引分开存储；
S2利用哈希索引将键值数据进行封装；
S3在跳表合并中对有序索引中的数据进行合并；
S4利用哈希索引将键值数据进行查询，并将查询结果返回；
S5对数量或大小超过阈值的键值数据日志文件发起数据合并；
S6将数据合并的操作过程与结果进行存储。
2.根据权利要求1所述的方法，其特征是所述S1利用键值将数据和索引分开存储的具体步骤如下：
S101上层应用调用键值存储系统的写操作接口；
S102利用哈希函数哈希函数计算出写入键的哈希值。
3.根据权利要求2所述的方法，其特征是所述S2利用哈希索引将键值数据进行封装的具体步骤如下：
S201将键值数据封装进键值条目；
S202根据索引哈希值，在内存中的哈希表中插入对应的索引条目。
4.根据权利要求3所述的方法，其特征是所述S201将键值数据封装进键值条目，该条目中包含索引键、值、索引哈希值以及元数据，把键值条目按逻辑块写入键值日志文件持久化存储。
5.根据权利要求4所述的方法，其特征是所述S202根据索引哈希值，在内存中的哈希表中插入对应的索引条目，该索引条目中包括索引键、索引哈希值、键值数据在数据文件中地址信息以及元数据。
6.根据权利要求5所述的方法，其特征是所述S3在跳表合并中对有序索引中的数据进行合并的具体步骤如下：
S301根据元数据中记录的状态判断是否需要保留；
S302需保留，则将有序索引中的数据写入合并后的跳表；
S312不保留，则将有序索引中的数据丢弃。
7.根据权利要求6所述的方法，其特征是所述S4利用哈希索引将键值数据进行查询，并将查询结果返回的具体步骤如下：
S401上层应用调用键值存储系统的读操作接口，利用哈希函数计算查询键的哈希值；
S402根据查询键在有序索引中进行查询；
S403查询到，则在哈希索引中根据哈希值查找索引条目；
S402根据索引条目中记录的数据地址信息在键值存储模块中查询对应的键值条目，并将查询结果返回。
8.根据权利要求7所述的方法，其特征是所述S5对数量或大小超过阈值的键值数据日志文件发起数据合并的具体步骤如下：
S501判断键值数据日志数量是否超过阈值；
S502在只读模式下的键值数据日志文件中选取待合并文件；
S503遍历键值数据日志文件中的键值条目并根据索引哈希值，
S504在哈希索引中查询对应条目元数据中的数据状态信息，判断该键值条目是否需要保留；
S505若需要保留则写入到新的键值数值日志文件中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111019356.6A CN113821171B (zh) | 2021-09-01 | 一种基于哈希表与lsm树的键值存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111019356.6A CN113821171B (zh) | 2021-09-01 | 一种基于哈希表与lsm树的键值存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113821171A true CN113821171A (zh) | 2021-12-21 |
| CN113821171B CN113821171B (zh) | 2024-06-11 |
Family
ID=
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114398007A (zh) * | 2021-12-27 | 2022-04-26 | 南京邮电大学 | 一种基于LSM-tree的KV存储系统读性能的缓存优化方法 |
| CN114996275A (zh) * | 2022-06-22 | 2022-09-02 | 华侨大学 | 一种基于多树转换机制的键值存储方法 |
| CN117390031A (zh) * | 2023-12-11 | 2024-01-12 | 武汉纺织大学 | 一种基于lsm树的存储系统中二级索引有效性的验证方法 |
| WO2024021488A1 (zh) * | 2022-07-29 | 2024-02-01 | 天翼云科技有限公司 | 一种基于分布式键值数据库的元数据存储方法及装置 |
| CN117785890A (zh) * | 2024-02-27 | 2024-03-29 | 支付宝(杭州)信息技术有限公司 | 一种基于lsm树的数据遍历查询方法及相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170193041A1 (en) * | 2016-01-05 | 2017-07-06 | Sqrrl Data, Inc. | Document-partitioned secondary indexes in a sorted, distributed key/value data store |
| CN109683811A (zh) * | 2018-11-22 | 2019-04-26 | 华中科技大学 | 一种混合内存键值对存储系统的请求处理方法 |
| CN110083601A (zh) * | 2019-04-04 | 2019-08-02 | 中国科学院计算技术研究所 | 面向键值存储系统的索引树构建方法及系统 |
| CN110413612A (zh) * | 2019-07-02 | 2019-11-05 | 华中科技大学 | 一种基于混合索引的混合内存性能优化方法及系统 |
| CN113157689A (zh) * | 2020-01-22 | 2021-07-23 | 腾讯科技（深圳）有限公司 | 数据索引方法、装置及电子设备 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170193041A1 (en) * | 2016-01-05 | 2017-07-06 | Sqrrl Data, Inc. | Document-partitioned secondary indexes in a sorted, distributed key/value data store |
| CN109683811A (zh) * | 2018-11-22 | 2019-04-26 | 华中科技大学 | 一种混合内存键值对存储系统的请求处理方法 |
| CN110083601A (zh) * | 2019-04-04 | 2019-08-02 | 中国科学院计算技术研究所 | 面向键值存储系统的索引树构建方法及系统 |
| CN110413612A (zh) * | 2019-07-02 | 2019-11-05 | 华中科技大学 | 一种基于混合索引的混合内存性能优化方法及系统 |
| CN113157689A (zh) * | 2020-01-22 | 2021-07-23 | 腾讯科技（深圳）有限公司 | 数据索引方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 齐俊维: "基于LSM-Tree的持久化存储系统设计与实现", 《中国优秀硕士学位论文全文数据库》, 15 January 2020 (2020-01-15), pages 12 - 55 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114398007A (zh) * | 2021-12-27 | 2022-04-26 | 南京邮电大学 | 一种基于LSM-tree的KV存储系统读性能的缓存优化方法 |
| CN114398007B (zh) * | 2021-12-27 | 2023-09-12 | 南京邮电大学 | 一种基于LSM-tree的KV存储系统读性能的缓存优化方法 |
| CN114996275A (zh) * | 2022-06-22 | 2022-09-02 | 华侨大学 | 一种基于多树转换机制的键值存储方法 |
| WO2024021488A1 (zh) * | 2022-07-29 | 2024-02-01 | 天翼云科技有限公司 | 一种基于分布式键值数据库的元数据存储方法及装置 |
| CN117390031A (zh) * | 2023-12-11 | 2024-01-12 | 武汉纺织大学 | 一种基于lsm树的存储系统中二级索引有效性的验证方法 |
| CN117390031B (zh) * | 2023-12-11 | 2024-03-08 | 武汉纺织大学 | 一种基于lsm树的存储系统中二级索引有效性的验证方法 |
| CN117785890A (zh) * | 2024-02-27 | 2024-03-29 | 支付宝(杭州)信息技术有限公司 | 一种基于lsm树的数据遍历查询方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110825748B (zh) | 利用差异化索引机制的高性能和易扩展的键值存储方法 | |
| CN107168657B (zh) | 一种基于分布式块存储的虚拟磁盘分层缓存设计方法 | |
| CN102364474B (zh) | 用于机群文件系统的元数据存储系统和管理方法 | |
| CN103577339A (zh) | 一种数据存储方法及系统 | |
| CN113626431A (zh) | 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统 | |
| CN102591947A (zh) | 用于数据去重复的快速且低ram占用的索引 | |
| CN109521959A (zh) | 一种基于ssd-smr磁盘混合键值存储系统数据组织方法 | |
| CN112632069B (zh) | 哈希表数据存储管理方法、装置、介质和电子设备 | |
| CN113377868A (zh) | 一种基于分布式kv数据库的离线存储系统 | |
| CN103838853A (zh) | 一种基于不同存储介质的混合文件系统 | |
| CN102262512A (zh) | 一种实现磁盘阵列缓存分区管理的系统、装置及方法 | |
| CN109800185A (zh) | 一种数据存储系统中的数据缓存方法 | |
| CN104731886A (zh) | 一种海量小文件的处理方法及系统 | |
| US8296270B2 (en) | Adaptive logging apparatus and method | |
| WO2023035646A1 (zh) | 一种扩展内存的方法、装置及相关设备 | |
| CN102929935B (zh) | 一种基于事务的大容量数据读写方法 | |
| CN103198021B (zh) | 一种提高固态硬盘数据传输效率的方法 | |
| CN114780530A (zh) | 基于lsm树键值分离的时序数据存储方法及系统 | |
| CN112732725B (zh) | 基于nvm混合内存的自适应前缀树构建方法及其系统、介质 | |
| CN113821171B (zh) | 一种基于哈希表与lsm树的键值存储方法 | |
| CN112347044A (zh) | 一种基于spdk的对象存储优化方法 | |
| CN113821171A (zh) | 一种基于哈希表与lsm树的键值存储方法 | |
| Lv et al. | Zonedstore: A concurrent zns-aware cache system for cloud data storage | |
| CN114996275A (zh) | 一种基于多树转换机制的键值存储方法 | |
| CN112506922A (zh) | 面向混合固态存储系统的嵌入式IoT时序数据库设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221215 Address after: Room 305-22, Building 2, No. 1158 Zhangdong Road and No. 1059 Dangui Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, 200120 Applicant after: Shanghai Yunxi Technology Co.,Ltd. Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Applicant before: Inspur cloud Information Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant |