CN113495847B - 一种存储空间回收方法、系统及计算机存储介质 - Google Patents

一种存储空间回收方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN113495847B
CN113495847B CN202010261693.5A CN202010261693A CN113495847B CN 113495847 B CN113495847 B CN 113495847B CN 202010261693 A CN202010261693 A CN 202010261693A CN 113495847 B CN113495847 B CN 113495847B
Authority
CN
China
Prior art keywords
file
data
key
value data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010261693.5A
Other languages
English (en)
Other versions
CN113495847A (zh
Inventor
周越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Wangsu Co Ltd
Original Assignee
Xiamen Wangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Wangsu Co Ltd filed Critical Xiamen Wangsu Co Ltd
Priority to CN202010261693.5A priority Critical patent/CN113495847B/zh
Priority to PCT/CN2021/085631 priority patent/WO2021197493A1/zh
Publication of CN113495847A publication Critical patent/CN113495847A/zh
Application granted granted Critical
Publication of CN113495847B publication Critical patent/CN113495847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/0223User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023Free address space management
    • G06F12/0253Garbage collection, i.e. reclamation of unreferenced memory
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储空间回收方法、系统及计算机存储介质,其中,键值对数据中的键数据存储于第一文件中,所述键值对数据中的值数据存储于第二文件中,所述方法包括:当所述第一文件中触发合并操作时,根据所述第一文件中失效的键数据,在所述第二文件中确定失效的值数据;识别所述第二文件中当前处于失效状态的值数据的数据量,并在所述数据量满足前提条件时,在指定时长内确定所述第二文件中是否新增失效的值数据,并根据确定结果判断是否在所述第二文件中执行存储空间回收操作。本申请提供的技术方案,能够降低硬盘的负载。

Description

一种存储空间回收方法、系统及计算机存储介质
技术领域
本发明涉及互联网技术领域,特别涉及一种存储空间回收方法、系统及计算机存储介质。
背景技术
为了有效利用硬盘的有限空间,目前可以通过GC(Garbage Collection,垃圾收集)技术实现存储空间的回收。具体地,可以统计文件中过期的数据,如果过期的数据达到一定的比例,便可以执行GC操作,从而将这部分过期的数据删除。
然而,文件中的数据可能是批量上传的,一部分数据可能会在短时间内陆续过期。按照现有的存储空间回收策略,会导致硬盘中持续执行GC操作,从而使得硬盘一直处于较高的读写状态中。这样会增加硬盘的负担,也会影响硬盘中正常的数据读写过程。此外,文件在存储回收过程中,可能会存在读写放大的问题,这样会进一步增加硬盘的负担。
发明内容
本申请的目的在于提供一种存储空间回收方法、系统及计算机存储介质,能够降低硬盘的负载。
为实现上述目的,本申请一方面提供一种存储空间回收方法,键值对数据中的键数据存储于第一文件中,所述键值对数据中的值数据存储于第二文件中,所述方法包括:当所述第一文件中触发合并操作时,根据所述第一文件中失效的键数据,在所述第二文件中确定失效的值数据;识别所述第二文件中当前处于失效状态的值数据的数据量,并在所述数据量满足前提条件时,在指定时长内确定所述第二文件中是否新增失效的值数据,并根据确定结果判断是否在所述第二文件中执行存储空间回收操作。
为实现上述目的,本申请另一方面还提供一种存储空间回收系统,键值对数据中的键数据存储于第一文件中,所述键值对数据中的值数据存储于第二文件中,所述系统包括:失效数据确定单元,用于当所述第一文件中触发合并操作时,根据所述第一文件中失效的键数据,在所述第二文件中确定失效的值数据;空间回收单元,用于识别所述第二文件中当前处于失效状态的值数据的数据量,并在所述数据量满足前提条件时,在指定时长内确定所述第二文件中是否新增失效的值数据,并根据确定结果判断是否在所述第二文件中执行存储空间回收操作。
为实现上述目的,本申请另一方面还提供一种计算机存储介质,所述计算机存储介质中包括随机存储区域和顺序存储区域,所述随机存储区域中写入第一文件,所述顺序存储区域中写入第二文件,其中,键值对数据中的键数据存储于所述第一文件中,所述键值对数据中的值数据存储于所述第二文件中;所述第一文件和所述第二文件按照上述的存储空间回收方法进行处理。
由上可见,本申请一个或者多个实施方式提供的技术方案,键值对数据可以分离存储在不同的文件中,这样可以减缓读写放大的问题,从而降低硬盘的负载。具体地,键数据可以存储于第一文件中,对应的值数据可以存储于第二文件中。当第一文件中发生合并操作时,部分键数据可能会被删除或者覆盖,从而导致这部分键数据失效。在第二文件中失效的这部分键数据对应的值数据,便可以作为存储空间回收的对象。在实际应用中,第一文件中完成合并操作后,可以根据第一文件中失效的键数据计算出第二文件中应当删除的数据量。经过多次合并操作,便可以累计出第二文件中应当被删除的数据总量。这部分应当被删除的数据,便可以作为存储空间回收的对象。具体地,可以统计当前处于失效状态的值数据的数据量,如果统计的数据量满足回收条件时,可以不立即执行GC操作,而是继续确定在之后的指定时长内,第二文件中是否新增了失效的值数据。如果新增了失效的值数据,则表明批量文件可能在陆续失效,此时不宜直接进行GC操作。如果指定时长内都没有新增失效数据,则表明已经具备了GC操作的前提。这样,根据确定的结果,可以判断是否在第二文件中执行存储空间回收操作,从而避免了硬盘一直处于较高的读写状态,可以减轻硬盘的负载。
附图说明
为了更清楚地说明本发明实施方式中的技术方案,下面将对实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施方式中存储空间回收方法步骤图;
图2是本发明实施方式中存储空间回收方法的流程图;
图3是本发明实施方式中存储空间回收系统的功能模块示意图;
图4为现有技术中进行存储空间回收时的硬盘读写情况示意图;
图5为本申请实施方式中进行存储空间回收时的硬盘读写情况示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施方式仅是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。
键值对(key-value)存储系统由于数据简单、易部署等优点,被广泛应用在数据存储领域。键值对存储系统中,可以通过写入(put)或者查询(get)功能,分别写入键值对数据,或者根据提供的键数据,查询对应的值数据。
LSM-Tree(Log-Structured Merge Tree,日志结构的合并树)是为键值对存储系统设计的存储引擎。该存储引擎可以先将最新的数据驻留在内存中,等到内存中积累到足够多的数据之后,再使用归并排序的方式将内存中的数据合并(compact)追加到硬盘的队尾。目前,基于LSM-Tree的数据库有很多,例如可以包括Hbase、RocksDB、LevelDB等。
然而,LSM-Tree的SST文件在执行数据合并操作时,通常会存在读写放大的问题。其中,读写放大问题是指,LSM-Tree在执行合并操作时,通常要把数据从当前的文件读出来,再写到新的文件去。实际上,在合并过程中可能没有任何数据发生变更,但这个过程依然需要执行一遍,从而导致了读写放大的问题。为了缓解这一问题带来的影响,可以将键值对数据中的键数据和值数据分离存储。其中,键值对数据中的键数据可以存储于SST文件中,而键值对数据中的值数据可以分离至Blob(BinaryLargeObject,二进制大对象)文件中。当然,在实际应用中,在进行键值对数据分离存储时,可以不仅仅限于SST文件和Blob文件,而是可以将键数据和值数据分别存储于不同的第一文件和第二文件中。因此,本申请对于第一文件和第二文件的具体类型并不做限定,后续为了阐述方便,可以用SST文件和Blob文件为例,但本领域技术人员应当了解,这并不表示本申请的技术方案仅限于SST文件和Blob文件。
目前,为了存储海量数据和降低硬件成本,可以采用叠瓦式硬盘(ShingledMagnetic Recording,SMR)进行数据存储。叠瓦式硬盘中可以包括顺序存储区域和随机存储区域。其中,顺序存储区域中的数据需要满足顺序写入并且对齐的要求。通常而言,叠瓦式硬盘中可以保留1%至5%的随机存储区域,其它区域都可以作为顺序存储区域。
在将基于LSM-Tree的数据库(例如RocksDB)部署于叠瓦式硬盘上时,由于LSM-Tree中的SST文件以及分离存储值数据的Blob文件的写入方式均存在覆盖写和不对齐的特点,因此无法直接将数据存储至叠瓦式硬盘的顺序存储区域中。
在本申请一个实施方式中,第一文件中除了保留原始键值对数据中的键数据,还可以存储该键数据对应的位置信息。其中,该位置信息可以指向原始键值对数据的值数据在第二文件中的存储位置。在实际应用中,该位置信息中可以包括第二文件的文件名称、值数据在第二文件中的起始偏移值(offset)以及值数据在第二文件中所占的数据量。由于键数据和位置信息的数据总量相对较小,可以将第一文件直接写入叠瓦式硬盘的随机存储区域中,这样,第一文件便可以保持原有的覆盖写和不对齐的特点。
在本实施方式中,第二文件中除了存储原始键值对数据的值数据,还可以一并存储原始键值对数据中的键数据,该键数据可以与第一文件中的键数据保持一致。这样,键数据和值数据便可以构成键值对记录存储在第二文件中。第二文件中由于包含了值数据,因此第二文件的数据量通常较大,无法直接存储于叠瓦式硬盘的随机存储区域,而是需要写入叠瓦式硬盘的顺序存储区域。鉴于此,需要将第二文件的写入方式改写为顺序写入和对齐。具体地,可以将第二文件的数据先写入内存缓冲区(buffer)中,并在内存缓冲区内写满数据后,再将内存缓冲区内的数据写入叠瓦式硬盘的顺序存储区域中,这样便可以实现顺序写入。此外,内存缓冲区的区域大小可以被配置为扇区对齐,例如可以是4K对齐,这样,内存缓冲区写满的数据再写入至叠瓦式硬盘的顺序存储区域时,也可以保证4K对齐。同时,在向顺序存储区域中写入最后一次数据后,如果顺序存储区域中的数据没有实现扇区对齐,可以将顺序存储区域中的数据补齐为扇区对齐。例如,可以将顺序存储区域中的数据补齐到4K对齐,这样便可以保证顺序存储区域中的数据符合顺序写入并且对齐的特征。
在实际应用中,以Blob文件为例,在遍历Blob文件时,通常需要将该Blob文件中所有的键值对记录都从硬盘读取到内存中,这样无疑会占用大量的系统总线资源,同时频繁的读写操作还会对叠瓦式硬盘的性能造成影响。鉴于此,在本申请一个实施方式中,可以在Blob文件中新增索引区块,在该索引区间中,可以保存键数据和键数据对应的索引信息。其中,索引区域中的键数据可以与Blob文件中存储的键数据保持一致,键数据的索引信息可以指向对应的值数据在Blob文件中的存储位置。例如,该索引信息可以是值数据在Blob文件中的起始偏移量(offset)以及值数据的在Blob文件中所占的数据量大小。这样,当需要遍历第二文件时,可以先将索引区块中的数据读取至内存中,然后可以针对其中的键数据进行筛选,再将需要处理的键数据对应的值数据读取至内存中,而无需将所有的值数据都读取到内存中,从而减少了系统总线资源的占用,也减少了硬盘的读取数据量和频繁程度。
举例来说,改造后的Blob文件结构中可以包括文件头(file head)、记录区块(record)、索引区块(index)、关联句柄区块(block handle)和文件脚(file footer)。其中,文件头可以记录Blob文件的版本、幻数(magic number)、文件大小等信息。记录区块则可以写入键数据和对应的值数据。索引区块中可以写入键数据和对应的索引信息,该索引信息可以包括值数据在Blob文件中的起始偏移量(offset)以及值数据的在Blob文件中所占的数据量大小。关联句柄区块中记录的信息则可以指向索引区块的存储位置,该存储位置例如可以包括索引区块的起始偏移量(offset)和数据量。文件脚可以是固定数据量的字段,可以指向关联句柄区块的存储位置,并可以用于进行整个文件的校验。
本申请一个实施方式提供的存储空间回收方法,键值对数据中的键数据和值数据可以分离存储。按照以上的描述,键数据可以存储于第一文件中,值数据可以存储于第二文件中。并且在第一文件中可以存储键数据对应的位置信息,在第二文件中还可以存储值数据对应的键数据。
请参阅图1和图2,上述的存储空间回收方法,可以包括以下多个步骤。
S1:当所述第一文件中触发合并操作时,根据所述第一文件中失效的键数据,在所述第二文件中确定失效的值数据。
在本实施方式中,以SST文件和Blob文件进行阐述。当SST文件中触发合并操作时,一部分键数据可能会被覆盖或者删除,这部分被覆盖或者删除的键数据便可以作为失效的键数据。然而,在Blob文件中,并不会同步将对应的值数据删除,而是采用GC操作清除Blob文件中失效的值数据。
具体地,由于SST文件和Blob文件中的键数据保持一致,那么可以根据SST文件中被删除或者覆盖的键数据,直接在Blob文件中查询到对应的值数据,这部分值数据便可以作为失效的值数据。此外,SST文件在发生合并操作时,可以将合并操作之后的数据写到新的SST文件中,通过比较前后两个SST文件关联的Blob文件的数据量,从而可以计算出Blob文件中应当被删除的数据量。举例来说,1.sst文件与Blob文件相关联,在发生合并操作后,由1.sst文件生成了2.sst文件。其中,1.sst文件关联的Blob文件的原始数据量例如可以是1024KB,而经过合并操作后,2.sst文件对应的Blob文件中的数据量应当是1000KB,可见,在Blob文件中应当需要删除24KB的数据量。
S3:识别所述第二文件中当前处于失效状态的值数据的数据量,并在所述数据量满足前提条件时,在指定时长内确定所述第二文件中是否新增失效的值数据,并根据确定结果判断是否在所述第二文件中执行存储空间回收操作。
在本实施方式中,可以识别第一文件中的失效的键数据,依据失效的键数据读取Blob文件的索引区块中的内容,从而可以得到失效的键数据对应的索引信息。通过解析这部分索引信息,可以识别出失效的值数据的数据量。同理,按照前文的描述,在第一文件中发生合并操作时,可以统计出第二文件中应当被删除的数据量。每次合并操作对应的应当被删除的数据量都可以被累计,最终可以根据累计的结果判断第二文件是否需要执行GC操作。在针对Blob文件进行存储空间回收操作时,可以统计当前时刻处于失效状态的值数据的数据量,然后可以判断统计的数据量是否满足存储空间回收操作的前提条件。
在实际应用中,前提条件可以根据场景的不同而不同。例如,统计的数据量满足前提条件,可以指数据量大于或者等于指定数据量阈值。其中,指定数据量阈值可以是一个绝对值,例如,当前统计的数据量大于或者等于1.2GB时,可以认为满足了前提条件,1.2GB便可以作为指定数据量阈值。又例如,统计的数据量满足前提条件,可以指可以指数据量所占的比例大于或者等于指定比例阈值。具体地,可以统计Blob文件中包含的值数据的数据总量,并且可以计算当前处于失效状态的值数据的数据量在该数据总量中所占的比例,如果该比例大于或者等于指定比例阈值,便认为满足了前提条件。例如,Blob文件中当前处于失效状态的值数据的数据量达到50%时,便认为满足了存储空间回收的前提条件。
在本实施方式中,在满足了存储空间回收的前提条件后,并不会立即执行GC操作,而是会增加一段指定时长,并在该指定时长内观测Blob文件中是否新增了失效的值数据。如果在该指定时长内新增了失效的值数据,则表明短时间陆续有过期的值数据产生。如果立即执行GC操作,会导致当前的GC操作结束之后,很快又要进行下一次GC操作,这样会占用大量的系统总线资源,并且会频繁地对硬盘进行读写操作。鉴于此,如果在指定时长内Blob文件中新增了失效的值数据,则可以不执行存储空间回收操作,并且可以确定新增的失效的值数据的时间节点。例如,在系统时间19点50分20秒的时候,Blob文件中统计出的失效的值数据的数据量满足了前提条件,然后以30秒为指定时长,即可以在19点50分20秒之后的30秒内,继续观测是否新增了失效的值数据。如果在19点50分30秒的时候又出现了失效的值数据,那么可以将19点50分30秒作为上述确定的时间节点。在确定出该时间节点后,可以从该时间节点开始,重新确定在指定时长内Blob文件中是否新增失效的值数据。举例来说,可以从19点50分30秒开始,在接下来的30秒内继续观测是否新增了失效的值数据,如果新增了失效的值数据,可以继续重新确定时间节点,并继续在30秒内观测是否又新增了失效的值数据。这样,如果在观测的指定时长内,总是会有新增的失效的值数据,那么可以继续推迟执行存储空间回收操作,直至在指定时长内没有新增失效的值数据。
在本实施方式中,如果在指定时长内Blob文件中没有新增失效的值数据,则表示Blob文件中没有陆续产生过期的值数据。此时,可以在Blob文件中执行存储空间回收操作,从而将当前处于失效状态的值数据删除。
在执行存储空间回收操作时,可以读取Blob文件的索引区块中的内容,从而可以解析出Blob文件中存储的键数据。然后,可以识别出键数据中当前处于失效状态的目标键数据。这部分目标键数据对应的值数据,在进行存储空间回收时,可以不读取到内存中。具体地,可以确定键数据中除目标键数据以外的其它键数据,并从Blob文件中读取这些其它键数据对应的值数据。这样,可以避免将所有的值数据都读取到内存中,而是仅仅读取有效的值数据,过滤掉无效的值数据。然后,可以将读取的有效的值数据写入新的Blob文件中,并删除原有的Blob文件。这样,便可以将有效的值数据回写至Blob文件中,无效的值数据可以无需读取到内存中,并且可以将无效的值数据从Blob文件中删除。
以RocksDB数据库为例,整体架构可以采用LSM-Tree存储引擎,第一文件可以是SST文件,第二文件可以是Blob文件。数据写入和读取需要通过SST文件来实现。当有数据写入时,SST文件中可以触发合并(compact)操作,该合并操作可以使得SST文件中的部分键数据被覆盖或者被删除,这部分被覆盖和被删除的键数据便可以作为失效的键数据。根据这部分失效的键数据,可以在Blob文件的键值对记录中查询到对应的失效的值数据。后续,便可以对这部分失效的值数据进行存储空间回收操作。
请参阅图3,本申请还提供一种存储空间回收系统,其中,键值对数据中的键数据存储于第一文件中,所述键值对数据中的值数据存储于第二文件中,所述系统包括:
失效数据确定单元,用于当所述第一文件中触发合并操作时,根据所述第一文件中失效的键数据,在所述第二文件中确定失效的值数据;
空间回收单元,用于识别所述第二文件中当前处于失效状态的值数据的数据量,并在所述数据量满足前提条件时,在指定时长内确定所述第二文件中是否新增失效的值数据,并根据确定结果判断是否在所述第二文件中执行存储空间回收操作。
在一个实施方式中,所述系统还包括:
索引区块新增单元,用于在所述第二文件中新增索引区块,所述索引区块中包含所述键数据和所述键数据对应的索引信息,所述索引信息用于指向所述值数据在所述第二文件中的存储位置。
在一个实施方式中,所述空间回收单元包括:
数据删除模块,用于若在所述指定时长内所述第二文件中不存在新增失效的值数据,在所述第二文件中执行存储空间回收操作,以删除所述第二文件中当前处于失效状态的值数据。
在一个实施方式中,所述空间回收单元还包括:
时间节点重置模块,用于若在所述指定时长内所述第二文件中新增了失效的值数据,不执行存储空间回收操作,并确定新增的失效的值数据的时间节点;
重新确定模块,用于从所述时间节点开始,重新确定在所述指定时长内所述第二文件中是否新增失效的值数据。
本申请还提供一种计算机存储介质,所述计算机存储介质中包括随机存储区域和顺序存储区域,所述随机存储区域中写入第一文件,所述顺序存储区域中写入第二文件,其中,键值对数据中的键数据存储于所述第一文件中,所述键值对数据中的值数据存储于所述第二文件中;所述第一文件和所述第二文件按照上述的存储空间回收方法进行处理。
在本申请中,所述计算机存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。所述计算机存储介质又可以包括:利用电能方式存储信息的装置,如RAM或ROM等;利用磁能方式存储信息的装置,如硬盘、软盘、磁带、磁芯存储器、磁泡存储器或U盘;利用光学方式存储信息的装置,如CD或DVD。当然,还有其他方式的计算机存储介质,例如量子计算机存储介质或石墨烯计算机存储介质等等。
在本申请中,所述处理器可以按任何适当的方式实现。例如,所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
由上可见,本申请一个或者多个实施方式提供的技术方案,键值对数据可以分离存储在不同的文件中,这样可以减缓读写放大的问题,从而降低硬盘的负载。具体地,键数据可以存储于第一文件中,对应的值数据可以存储于第二文件中。当第一文件中发生合并操作时,部分键数据可能会被删除或者覆盖,从而导致这部分键数据失效。在第二文件中失效的这部分键数据对应的值数据,便可以作为存储空间回收的对象。在实际应用中,第一文件中完成合并操作后,可以根据第一文件中失效的键数据计算出第二文件中应当删除的数据量。经过多次合并操作,便可以累计出第二文件中应当被删除的数据总量。这部分应当被删除的数据,便可以作为存储空间回收的对象。具体地,可以统计当前处于失效状态的值数据的数据量,如果统计的数据量满足回收条件时,可以不立即执行GC操作,而是继续确定在之后的指定时长内,第二文件中是否新增了失效的值数据。如果新增了失效的值数据,则表明批量文件可能在陆续失效,此时不宜直接进行GC操作。如果指定时长内都没有新增失效数据,则表明已经具备了GC操作的前提。这样,根据确定的结果,可以判断是否在第二文件中执行存储空间回收操作,从而避免了硬盘一直处于较高的读写状态,可以减轻硬盘的负载。
在实际应用中,请参阅图4和图5,图4为按照现有技术进行GC操作时,硬盘总线的读写情况,图5为按照本申请的技术方案进行GC操作时,硬盘总线的读写情况。其中,横坐标均为系统时间,纵坐标为每秒的数据读写量。可见,图4中,在Blob文件删除比例还未达到50%前(15:24分前)只有小部分读写占用,但达到50%后立即有部分文件开始执行GC操作,此时开始出现较高的总线读写。而在图5中,从测试开始到测试结束占用的总线读写都比较稳定,这是由于删除是持续的,达到50%删除比例后会延迟一段时间,这段时间内Blob的删除比例又发生变化,会继续延迟,直到整个Blob文件绝大部分数据都被删除才会执行GC操作,此时的GC只需要读取很少的数据,因此对硬盘的负载很小。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。尤其,针对系统和计算机存储介质的实施方式来说,均可以参照前述方法的实施方式的介绍对照解释。
本领域内的技术人员应明白,本发明的实施方式可提供为方法、系统、或计算机程序产品。因此,本发明可采用结合软件和硬件方面的实施方式的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施方式而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种存储空间回收方法,其特征在于,键值对数据中的键数据存储于第一文件中,所述键值对数据中的值数据存储于第二文件中,所述方法包括:
当所述第一文件中触发合并操作时,根据所述第一文件中失效的键数据,在所述第二文件中确定失效的值数据;
识别所述第二文件中当前处于失效状态的值数据的数据量,并在所述数据量满足前提条件时,在指定时长内确定所述第二文件中是否新增失效的值数据,并根据确定结果判断是否在所述第二文件中执行存储空间回收操作;
若在所述指定时长内所述第二文件中不存在新增失效的值数据,在所述第二文件中执行存储空间回收操作,以删除所述第二文件中当前处于失效状态的值数据。
2.根据权利要求1所述的方法,其特征在于,所述第一文件写入叠瓦式硬盘的随机存储区域,所述第二文件写入所述叠瓦式硬盘的顺序存储区域。
3.根据权利要求2所述的方法,其特征在于,所述第二文件写入所述叠瓦式硬盘的顺序存储区域包括:
将所述第二文件的数据写入内存缓冲区中,并在所述内存缓冲区内写满数据后,将所述内存缓冲区内的数据写入所述叠瓦式硬盘的顺序存储区域中;
其中,所述内存缓冲区的区域大小被配置为扇区对齐,并且在向所述顺序存储区域中写入最后一次数据后,将所述顺序存储区域中的数据补齐为扇区对齐。
4.根据权利要求1所述的方法,其特征在于,所述第一文件中还存储所述键数据关联的位置信息,所述位置信息用于指向所述键数据对应的值数据在所述第二文件中的存储位置;所述第二文件中还存储所述值数据对应的所述键数据。
5.根据权利要求1或4所述的方法,其特征在于,所述第二文件中新增索引区块,所述索引区块中包含所述键数据和所述键数据对应的索引信息,所述索引信息用于指向所述值数据在所述第二文件中的存储位置。
6.根据权利要求5所述的方法,其特征在于,所述第二文件中还包括关联句柄区块,所述关联句柄区块中记录的信息用于指向所述索引区块的存储位置。
7.根据权利要求1所述的方法,其特征在于,所述数据量满足前提条件包括:
所述数据量大于或者等于指定数据量阈值;
或者
统计所述第二文件中包含的值数据的数据总量,并且所述当前处于失效状态的值数据的数据量在所述数据总量中的占比大于或者等于指定比例阈值。
8.根据权利要求1所述的方法,其特征在于,删除所述第二文件中当前处于失效状态的值数据包括:
遍历所述第二文件的索引区块中存储的所述键数据,并识别所述键数据中当前处于失效状态的目标键数据;
确定所述键数据中除所述目标键数据以外的其它键数据,并从所述第二文件中读取所述其它键数据对应的值数据;
将读取的所述值数据写入新的第二文件中,并删除原有的第二文件。
9.根据权利要求1所述的方法,其特征在于,根据确定结果判断是否在所述第二文件中执行存储空间回收操作还包括:
若在所述指定时长内所述第二文件中新增了失效的值数据,不执行存储空间回收操作,并确定新增的失效的值数据的时间节点;
从所述时间节点开始,重新确定在所述指定时长内所述第二文件中是否新增失效的值数据。
10.一种存储空间回收系统,其特征在于,键值对数据中的键数据存储于第一文件中,所述键值对数据中的值数据存储于第二文件中,所述系统包括:
失效数据确定单元,用于当所述第一文件中触发合并操作时,根据所述第一文件中失效的键数据,在所述第二文件中确定失效的值数据;
空间回收单元,用于识别所述第二文件中当前处于失效状态的值数据的数据量,并在所述数据量满足前提条件时,在指定时长内确定所述第二文件中是否新增失效的值数据,并根据确定结果判断是否在所述第二文件中执行存储空间回收操作;
数据删除模块,用于若在所述指定时长内所述第二文件中不存在新增失效的值数据,在所述第二文件中执行存储空间回收操作,以删除所述第二文件中当前处于失效状态的值数据。
11.根据权利要求10所述的系统,其特征在于,所述系统还包括:
索引区块新增单元,用于在所述第二文件中新增索引区块,所述索引区块中包含所述键数据和所述键数据对应的索引信息,所述索引信息用于指向所述值数据在所述第二文件中的存储位置。
12.根据权利要求10所述的系统,其特征在于,所述空间回收单元还包括:
时间节点重置模块,用于若在所述指定时长内所述第二文件中新增了失效的值数据,不执行存储空间回收操作,并确定新增的失效的值数据的时间节点;
重新确定模块,用于从所述时间节点开始,重新确定在所述指定时长内所述第二文件中是否新增失效的值数据。
13.一种计算机存储介质,其特征在于,所述计算机存储介质中包括随机存储区域和顺序存储区域,所述随机存储区域中写入第一文件,所述顺序存储区域中写入第二文件,其中,键值对数据中的键数据存储于所述第一文件中,所述键值对数据中的值数据存储于所述第二文件中;所述第一文件和所述第二文件按照权利要求1至9中任一所述的方法进行处理。
CN202010261693.5A 2020-04-04 2020-04-04 一种存储空间回收方法、系统及计算机存储介质 Active CN113495847B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010261693.5A CN113495847B (zh) 2020-04-04 2020-04-04 一种存储空间回收方法、系统及计算机存储介质
PCT/CN2021/085631 WO2021197493A1 (zh) 2020-04-04 2021-04-06 一种基于LSM-Tree存储引擎的文件管理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010261693.5A CN113495847B (zh) 2020-04-04 2020-04-04 一种存储空间回收方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113495847A CN113495847A (zh) 2021-10-12
CN113495847B true CN113495847B (zh) 2023-08-18

Family

ID=77995218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010261693.5A Active CN113495847B (zh) 2020-04-04 2020-04-04 一种存储空间回收方法、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113495847B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089415A (zh) * 2021-11-05 2023-05-09 中兴通讯股份有限公司 键-值存储的方法和设备、计算机可读介质
CN114020707B (zh) * 2022-01-06 2022-06-14 阿里云计算有限公司 存储空间回收方法、存储介质及程序产品
CN114741456A (zh) * 2022-04-14 2022-07-12 北京字节跳动网络技术有限公司 一种信息存储方法及装置
CN114817263A (zh) * 2022-04-28 2022-07-29 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106549983A (zh) * 2015-09-16 2017-03-29 中国移动通信集团公司 一种数据库的访问方法及终端、服务器
CN107368517A (zh) * 2017-06-02 2017-11-21 上海恺英网络科技有限公司 一种大数据流查询的方法及设备
CN110389942A (zh) * 2019-06-21 2019-10-29 华中科技大学 一种无垃圾回收的键值分离存储方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11093450B2 (en) * 2017-09-27 2021-08-17 Vmware, Inc. Auto-tuned write-optimized key-value store

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106549983A (zh) * 2015-09-16 2017-03-29 中国移动通信集团公司 一种数据库的访问方法及终端、服务器
CN107368517A (zh) * 2017-06-02 2017-11-21 上海恺英网络科技有限公司 一种大数据流查询的方法及设备
CN110389942A (zh) * 2019-06-21 2019-10-29 华中科技大学 一种无垃圾回收的键值分离存储方法和系统

Also Published As

Publication number Publication date
CN113495847A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN113495847B (zh) 一种存储空间回收方法、系统及计算机存储介质
US20220413706A1 (en) Data Storage Method, Apparatus and Storage System
US11301379B2 (en) Access request processing method and apparatus, and computer device
CN108319602B (zh) 数据库管理方法及数据库系统
CN107038206B (zh) Lsm树的建立方法、lsm树的数据读取方法和服务器
CN108009098B (zh) 具有经压缩的正向映射的存储分层
CN105706061B (zh) 使用非易失性存储器的崩溃恢复
CN106951375B (zh) 在存储系统中删除快照卷的方法及装置
CN107729558B (zh) 文件系统碎片整理的方法、系统、装置及计算机存储介质
US20150310053A1 (en) Method of generating secondary index and apparatus for storing secondary index
US9666228B2 (en) Shingled magnetic recording data store
CN111651127B (zh) 一种基于叠瓦式磁记录盘的监控数据存储方法及装置
KR920018599A (ko) 온라인 데이터베이스시스템의 동적화일확장방법 및 시스템
CN112799595B (zh) 数据处理方法、设备及存储介质
JP2010535379A (ja) フラッシュメモリに最適化された入出力制御方法および装置
US20220107921A1 (en) Journals to record metadata changes in a storage system
CN113568582B (zh) 数据管理方法、装置和存储设备
US10359964B2 (en) Reducing time to read many files from tape
US11841826B2 (en) Embedded reference counts for file clones
WO2021197493A1 (zh) 一种基于LSM-Tree存储引擎的文件管理方法和装置
CN112131140A (zh) 基于ssd的支持高效存储空间管理的键值分离存储方法
WO2018067856A1 (en) Techniques for generating snapshots of datasets
CN114780489B (zh) 一种实现分布式块存储底层gc的方法及装置
CN101911198B (zh) 用于管理和编辑文件系统中文件的方法和装置
CN110716696A (zh) 对象处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant