CN110750211A - 一种存储空间的管理方法及装置 - Google Patents

一种存储空间的管理方法及装置 Download PDF

Info

Publication number
CN110750211A
CN110750211A CN201910835398.3A CN201910835398A CN110750211A CN 110750211 A CN110750211 A CN 110750211A CN 201910835398 A CN201910835398 A CN 201910835398A CN 110750211 A CN110750211 A CN 110750211A
Authority
CN
China
Prior art keywords
data
space
storage system
storage
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910835398.3A
Other languages
English (en)
Other versions
CN110750211B (zh
Inventor
任仁
朱芳芳
郭平静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910835398.3A priority Critical patent/CN110750211B/zh
Publication of CN110750211A publication Critical patent/CN110750211A/zh
Priority to PCT/CN2020/111002 priority patent/WO2021043026A1/zh
Application granted granted Critical
Publication of CN110750211B publication Critical patent/CN110750211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种存储空间的管理方法及装置，在该方法中，首先获取存储系统中存储的数据的数据量，然后根据存储的数据的数据量的大小，调整存储系统中用于存储指纹记录项的重删元数据空间的大小，该指纹记录项用于记录数据的指纹。由于可以灵活调整重删元数据空间的大小，这样可以通过增加重删元数据空间的大小来提高重复数据删除的效率。且，由于调整重删元数据空间的大小是以存储系统中存储的数据的数据量为调整因子，因此，通过该方法设置的重删元数据空间的大小，也能够满足用户的数据存储需求，不影响存储系统的存储性能。

Description

一种存储空间的管理方法及装置
技术领域
本申请涉及存储技术领域，尤其涉及一种存储空间的管理方法及装置。
背景技术
随着技术的发展，越来越多的数据需要使用存储系统进行存储。为了节省存储系统的存储空间，提出了重复数据删除技术，即，若某个数据在存储系统中存储多份，则将该多份数据删除而只保存一份数据，从而通过缩减数据实现减少数据所占用的存储空间的目的。
目前，其中一种重复数据删除技术的实现过程为：计算每个数据的指纹，并将指纹存储到重删元数据空间中，从重删元数据空间存储的多个指纹中确定重复指纹，与重复指纹对应的数据为待进行重复数据删除的数据，对该待进行重复数据删除的数据进行批量的重复数据删除。
由于存储系统的存储空间有限，当重删元数据空间较大时，则用户能够用来存储数据的存储空间减小；当重删元数据空间较小时，由于存储的指纹数量有限，从而重复指纹出现的概率较低，影响重复数据删除的效率，因此，如何合理地设置重删元数据空间的大小，是影响存储系统的存储性能的重要因素。
发明内容
本申请提供一种存储空间的管理方法及装置，用以提供一种设置重删元数据空间的方法。
第一方面，提供一种存储空间的管理方法，在该方法中，首先获取存储系统中存储的数据的数据量，然后根据存储的数据的数据量的大小，调整存储系统中用于存储指纹记录项的重删元数据空间的大小，该指纹记录项用于记录数据的指纹。
在上述技术方案中，由于可以灵活调整重删元数据空间的大小，这样可以通过增加重删元数据空间的大小来提高重复数据删除的效率。且，由于调整重删元数据空间的大小是以存储系统中存储的数据的数据量为调整因子，因此，通过该方法设置的重删元数据空间的大小，也能够满足用户的数据存储需求，不影响存储系统的存储性能。
在一种可能的设计中，获取存储系统中存储的数据的数据量可以包括但不限于如下两种方式：
第一种方式，获取存储在该存储系统的数据存储空间中的数据的数据量，该数据存储空间用于存储数据。
在上述技术方案中，存储系统的存储空间可以分为数据存储空间和元数据存储空间，而存储系统中存储的数据即存储在数据存储空间的数据，因此，当需要获取存储系统中存储的数据的数据量时，可以直接获取数据存储空间中存储的数据的数据量，获取方式简单。
第二种方式，获取存储在该存储系统的元数据存储空间中的元数据的数据量，根据该元数据的数据量与预设比值，计算得到该存储系统中存储的数据的数据量，该元数据存储空间用于存储数据的元数据。
在上述技术方案中，由于数据本身的数据量与其元数据的数据量之间存在预设比值，这样，可以通过获取存储系统中的元数据的数据量，来获取存储系统中存储的数据的数据量，由于元数据存储空间相较于数据存储空间较小，因此，可以减少搜索空间，减少时延。
在一种可能的设计中，根据该存储系统中存储的数据的数据量的大小，调整重删元数据空间的大小，可以包括但不限于如下三种方式：
第一种调整方式，在存储系统中存储的数据的数据量不大于第一阈值时，增大该重删元数据空间。
在上述技术方案中，当存储系统中存储的数据较少时，说明存储系统中有较多的空闲存储空间，因此，可以增大重删元数据空间提高重复数据删除的效率。
第二种调整方式，在存储系统中存储的数据的数据量不小于第二阈值时，减小该重删元数据空间。
在上述技术方案中，当存储系统中存储的数据较多时，说明数据即将写满存储系统，数据需要较大的存储空降，则可以减少重删元数据空间以存储数据，避免对存储系统的存储性能的影响。
第三种调整方式，存储系统中可以预先存储重删元数据空间的占比与存储系统中存储的数据的数据量之间的对应关系，然后，在获取该存储系统中能够存储的数据的最大数据量后，根据该最大数据量、该存储系统中存储的数据的数据量的大小，以及该预设的对应关系，调整该重删元数据空间的大小。
在上述技术方案中，可以根据存储系统所允许的最大数据量以及上述预设的对应关系，确定在当前情况下重删元数据空间的大小，可以提高调整重删元数据空间的大小的准确度。
在一种可能的设计中，可以通过数据存储空间来实现对重删元数据空间的大小的调整。当需要增大该重删元数据空间时，可以通过减小数据存储空间以增大重删元数据空间，当需要减小该重删元数据空间时，可以通过增加数据存储空间以减小重删元数据空间。
第二方面，提供一种存储空间的管理装置，该存储空间的管理装置可以是存储节点或者存储服务端，也可以是存储节点或者存储服务端中的装置。该存储空间的管理装置包括处理器，用于实现上述第一方面描述的方法。该存储空间的管理装置还可以包括存储器，用于存储程序指令和数据。该存储器与该处理器耦合，该处理器可以调用并执行该存储器中存储的程序指令，用于实现上述第一方面描述的方法中的任意一种方法。该存储空间的管理装置还可以包括接口，该接口与处理器进行通信。
在一种可能的设计中，该存储空间的管理装置包括处理器和接口，所述接口与所述处理器通信；其中，所述处理器，用于：
获取存储系统中存储的数据的数据量；
根据所述数据量的大小，调整所述存储系统的重删元数据空间的大小；其中，所述重删元数据空间用于存储指纹记录项；指纹记录项用于记录数据的指纹。
在一种可能的设计中，所述处理器具体用于：
获取存储在所述存储系统的数据存储空间中的数据的数据量，所述数据存储空间用于存储数据；或，
获取存储在所述存储系统的元数据存储空间中的元数据的数据量，根据所述元数据的数据量与预设比值，计算得到所述存储系统中存储的数据的数据量，所述元数据存储空间用于存储数据的元数据。
在一种可能的设计中，所述处理器具体用于：
在所述数据量不大于第一阈值时，增大所述重删元数据空间；或，
在所述数据量不小于第二阈值时，减小所述重删元数据空间。
在一种可能的设计中，所述处理器具体用于：
获取所述存储系统中能够存储的数据的最大数据量；
根据所述最大数据量、所述数据量的大小，以及，预设的重删元数据空间的占比与所述存储系统中存储的数据的数据量之间的对应关系，调整所述重删元数据空间的大小。
在一种可能的设计中，所述处理器具体用于：
减小所述存储系统的数据存储空间以增大所述重删元数据空间的大小；或，
增大所述数据存储空间以减小所述重删元数据空间的大小。
第三方面，提供一种存储空间的管理装置，该存储空间的管理装置可以是存储节点或者存储服务端，也可以是存储节点或者存储服务端中的装置。该存储空间的管理装置可以包括处理单元和获取单元，这些单元可以执行上述第一方面任一种设计示例中的所执行的相应功能，具体的：
所述获取单元，用于获取存储系统中存储的数据的数据量；
所述处理单元，用于根据所述数据量的大小，调整所述存储系统的重删元数据空间的大小；其中，所述重删元数据空间用于存储指纹记录项；指纹记录项用于记录数据的指纹。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任意一项所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任意一项所述的方法。
第六方面，本申请提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现第一方面所述的方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
第七方面，本申请实施例提供了一种存储系统，该存储系统包括存储设备以及第二方面及第二方面任一种设计中所述的存储空间的管理装置，或者，该存储系统包括存储设备以及第三方面及第三方面任一种设计中所述的存储空间的管理装置。
上述第二方面至第七方面及其实现方式的有益效果可以参考对第一方面的方法及其实现方式的有益效果的描述。
附图说明
图1为现有技术中的一种重复数据的删除方法的流程图；
图2为现有技术中进行重复数据删除操作之前的指纹记录和进行重复数据删除操作之后的指纹记录的一种示例的示意图；
图3为本申请实施例提供的数据存储方法的流程图；
图4为本申请实施例提供的存储空间的管理装置的一种示例的结构图；
图5为本申请实施例提供的存储空间的管理装置的另一种示例的结构图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。
本申请实施例中“多个”是指两个或两个以上，鉴于此，本申请实施例中也可以将“多个”理解为“至少两个”。“至少一个”，可理解为一个或多个，例如理解为一个、两个或更多个。例如，包括至少一个，是指包括一个、两个或更多个，而且不限制包括的是哪几个，例如，包括A、B和C中的至少一个，那么包括的可以是A、B、C、A和B、A和C、B和C、或A和B和C。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。在本申请实施例中，“节点”和“节点”可以互换使用。
除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。
为便于理解本申请实施例中的方法，首先对重复数据删除技术进行说明。
目前，重复数据删除技术根据执行重复数据删除操作的时刻，可以分为在线重删方式和后重删方式。其中，在线重删方式是指，在将存储系统的缓存中的数据存储到存储设备之前进行重复数据删除操作，后重删方式是指在将缓存中的数据存储到存储设备之后进行重复数据删除操作。本申请实施例中的技术方案是针对后重删方式进行的改进。
请参考图1，为后重删方式的流程图，该流程图的描述如下：
S11、存储系统的存储节点生成并存储每个数据对应的指纹记录项。
具体来讲，存储节点计算每个数据的指纹，存储节点将数据存储到存储地址后，生成数据的指纹记录项，并将该指纹记录项存储到用于存储指纹记录项的重删元数据空间。其中，指纹记录项包含数据的指纹与数据的存储地址的对应关系。
作为一种示例，请参考图2，假设存储设备中存储了10个数据，则重删元数据空间存储与该10个数据分别对应的指纹记录项，该10个指纹记录项如图2(a)所示。在图2(a)中，与一个数据对应的指纹记录项包括三个部分，分别为编号、指纹(finger print，FP)以及令牌(token)。编号可以指示存储节点生成与数据对应的指纹记录项的顺序，通过token来指示该数据的存储地址等信息。
S12、存储节点对多个指纹记录项进行排序，获得并存储排序后的指纹记录。
具体来讲，可以按照FP的标识从小到大的顺序，将多个指纹记录项进行排序，排序后，具有相同FP的标识的指纹记录项则排列在一起，从而获得如图2(b)所示的排序后的指纹记录，并将该排序后的指纹记录存储在重删元数据空间。
S13、存储节点从排序后的指纹记录中确定重复指纹。
存储节点中预先存储用于判断是否为重复指纹的门限值，该门限值可以是用户通过存储系统的客户端配置的，也可以是预先约定的，在此不作限制。然后，存储节点判断排序后的指纹记录中，包括同一指纹的指纹记录出现的次数是否大于或等于该门限值，若大于该门限值，则确定该指纹是重复指纹。若某一个指纹为重复指纹，则说明与该指纹对应的数据相同，也就是说，在存储设备中重复存储了该数据。
作为一种示例，该门限值可以为3。在图2(b)所示的指纹记录中，有3个指纹记录项包括FP_1，以及，有4个指纹记录项包括FP_4，从而存储节点确定FP_1和FP_4为重复指纹。
另外一种实现，为提高重复数据删除率，可以不设备重复指纹门限值，例如，只要查找到指纹记录项中包含重复的指纹，即进行重复数据删除。
S14、存储节点对与重复指纹对应的数据进行重复数据删除操作。
当存储节点确定重复指纹后，则使用该重复指纹查询指纹表，若指纹表中能够查找到该重复指纹，则表明存储系统中已经存储与该重复指纹对应的唯一数据，且指纹表中记录了该唯一数据的存储地址，从而将该数据的访问地址与该数据的存储地址的对应关系改为该数据的访问地址与该指纹的对应关系。其中，访问地址是指数据对外呈现的地址，例如，逻辑块地址(logical block address,LBA)等，本发明实施例对此不作限定。若在指纹表中查找不到该重复指纹，则表明存储系统中没有存储与该重复指纹对应的唯一数据，从而存储节点从包含该重复指纹的至少一个指纹记录项中选择一个指纹记录项，读取该指纹记录项中与该重复指纹对应的存储地址中的数据，将该数据存储到重复数据删除区域中，得到该数据的新的存储地址，在指纹表中建立该指纹与该新的存储地址的映射，并将该数据的访问地址与该数据的存储地址的对应关系改为该数据的访问地址与该指纹的对应关系。
需要说明的是，指纹表用于记录重复数据删除后的唯一数据的指纹与该唯一数据在重复数据删除区域的存储地址的映射。重复数据删除区域是指存储系统中用于存储重复数据删除后的唯一数据的存储区域。
由上述过程可知，重复数据删除的效率是根据重删元数据空间中存储的指纹记录项相关联的。例如，如图2(b)所示，在重删元数据空间中存储10个指纹记录项时，执行一次如图1所示的方法可以确定出两个重复指纹，分别为FP_1和FP_4；在重删元数据空间中仅存储图2(b)中所示的前5个指纹时，则执行一次该方法只能确定出一个重复指纹，即FP_1，可见，重删元数据空间中存储的指纹记录项越多，则执行一次重复数据删除过程可以删除更多的重复数据。从这个角度上来说，增加重删元数据空间有利于提升重复数据删除的效率。本发明实施例的一种实现方式，重删元数据空间是指存储系统的内存空间。
但是，由于存储系统的存储空间有限，当重删元数据空间较大时，则用户能够用来存储数据的存储空间减小，从而用户要存储相同数据量的数据时，则需要存储空间更大的存储系统，会增加成本；而当重删元数据空间较小时，由于存储的指纹数量有限，从而重复指纹出现的概率较低，影响重复数据删除的效率，因此，如何合理地设置重删元数据空间的大小，是影响存储系统的存储性能的重要因素。
在实际使用过程中，存储系统中存储的数据量是实时变化的，例如，在存储系统刚开始使用时，存储系统中存储的数据较少，随着使用时间的增加，存储系统中存储的数据越来越多。然而，在存储系统中存储的数据较少时，存储系统中的剩余存储空间较大，在这种情况下，可以占用一部分剩余存储空间用于重复数据删除，可以增加重复数据删除的重删率以及重删速度。在存储系统中存储的数据越来越多时，说明存储系统逐渐被写满，数据需要较大的存储空间，在这种情况下，则可以将重复数据删除所占用的部分剩余存储空间释放，以满足用户的数据存储需求。
鉴于此，本申请实施例提供一种存储空间的管理方法，用以提供一种设置重删元数据空间的方法。该方法可以应用于存储系统中，该存储系统可以是分布式存储系统，也可以是集中式存储系统。该存储系统可以是文件存储系统、块存储系统或者对象存储系统，或者上述存储系统的组合，在本申请实施例中不作限制。
请参考图3，为该方法的流程图，该流程图的描述如下：
S31、获取存储系统中存储的数据的数据量。
存储系统的存储空间可以分为数据存储空间和元数据存储空间，数据存储空间用于存储数据，元数据存储空间用于存储数据的元数据。数据的数据量与其元数据的数据量成预设比值，该预设比值是由存储系统确定的，该预设比值可以为10/1或者20/1等，也就是说，存储10兆字节(megabytes，MB)数据，其元数据的数据量为1/10*10MB＝1MB。因此，在本申请实施例中，获取存储系统中存储的数据的数据量包括但不限于如下两种方式：
第一种方式，获取存储在该存储系统的数据存储空间中的数据的数据量，该数据存储空间存储的数据的数据量即该存储系统中存储的数据的数据量。
具体来讲，可由存储系统中的管理节点或者存储阵列的阵列控制器等，获取其所管理的多个存储节点中每个存储节点中存储的数据的数据量，该多个存储节点中存储的数据的数据量之和即存储系统中存储的所有的数据的数据量。例如，管理节点用于管理3个存储节点，分别为存储节点1～存储节点3，管理节点获取存储节点1～存储节点3中每个存储节点存储的数据的数据量均为10MB，则确定存储系统中存储的所有的数据的数据量为10*3＝30MB。该获取方式简单，不会增加管理节点的运算复杂度。
第二种方式，获取存储在该存储系统的元数据存储空间中的元数据的数据量，根据该元数据的数据量与预设比值，计算得到该存储系统中存储的数据的数据量。
具体来讲，存储系统中的管理节点或者控制器等，获取其所管理的多个存储节点中每个存储节点中存储的元数据的数据量，该多个存储节点中存储的元数据的数据量之和即存储系统中存储的所有的元数据的数据量。然后，管理节点通过数据的数据量与其元数据的数据量之间的预设比值，计算出存储系统中存储的所有的数据的数据量。沿用上述例子，管理节点获取存储节点1～存储节点3中每个存储节点存储的数据的数据量均为1MB，则确定存储系统中存储的所有的元数据的数据量为1*3＝3MB，假设数据的数据量与其元数据的数据量之间的比值为10/1，则管理节点确定存储系统中存储的数据的数据量为3*10＝30MB。由于元数据存储空间相较于数据存储空间较小，因此，可以减少搜索空间，减少时延。
S32、根据数据量的大小，调整存储系统的重删元数据空间的大小。
在本申请实施例中，重删元数据空间的大小是根据存储系统中存储的数据量的大小而变化。在获取存储系统中存储的数据的数据量后，则可以该数据量调整重删元数据空间的大小。
具体来讲，调整重删元数据空间的大小可以包括但不限于如下两种方式：
第一种调整方式，在该数据量不大于第一阈值时，增大该重删元数据空间；或，在该数据量不小于第二阈值时，减小该重删元数据空间。
具体来讲，存储系统会给重删元数据空间设置一个初始大小，例如，设置重删元数据空间的初始大小为10MB。且存储系统中预先存储用于判断是否需要调整重删元数据空间大小的阈值，例如，用于判断是否增大重删元数据空间的第一阈值，和用于判断是否减小重删元数据空间的第二阈值，第一阈值可以小于第二阈值，或者，第一阈值也可以与第二阈值相同，在此不做限制。然后，管理节点可以根据存储系统中存储的数据的数据量与该第一阈值或该第二阈值之间的大小关系，确定增大或者减小该重删元数据空间。
作为一种示例，可以预先设置调整值，按照该调整值增大或减小该重删元数据空间。例如，该调整值为10MB，则当确定增大或减小重删元数据空间时，则在重删元数据空间的当前值的基础上增加或减去10MB。
在这种情况下，管理节点可以通过周期性获取存储系统中存储的数据的数据量，多次调整重删元数据空间的大小。
作为另一种示例，可以预先设置目标值，例如，设置两个目标值，分别对应增大重删元数据空间的第一目标值，和减小重删元数据空间的第二目标值，当确定需要增大重删元数据空间时，则将该重删元数据空间调整为该第一目标值，当确定需要减小重删元数据空间时，则将该重删元数据空间调整为第二目标值。
在这种情况下，当管理节点周期性获取存储系统中存储的数据的数据量后，若当前的判断结果与上一次的判断结果相同，例如，都是增大重删元数据空间，则由于上一次调整结果已经将该重删元数据空间的大小调整至目标值，则管理节点可以不用再次进行调整，可以较低管理节点的负载。
第二种调整方式，预先设置重删元数据空间在存储空间的占比与该存储系统中存储的数据的数据量之间的对应关系，在获取该存储系统当前存储的数据的数据量后，则根据该存储系统中能够存储的数据的最大数据量、存储系统当前存储的数据的数据量的大小，以及该对应关系，调整该重删元数据空间的大小。
作为一种示例，重删元数据空间在存储空间的占比与该存储系统中存储的数据的数据量之间的对应关系可以如表1所示。在表1中，当存储的数据的数据量为0％时，重删元数据空间在存储系统中的占比最大，为2％；当存储的数据的数据量达到60％后，重删元数据空间在存储系统的占比下降为1％，当存储的数据的数据量达到85％后，重删元数据空间在存储系统中的占比下降为0.2％。
表1
存储的数据的数据量 重删元数据空间的占比
20MB 2.00％
200TB 1.00％
240TB 0.20％
管理节点在获取该存储系统中当前存储的数据的数据量后，则查询表1，确定在当前情况下，重删元数据空间的占比。例如，当前存储的数据量为10MB，小于表1中的20MB，则可以确定重删元数据空间的占比为2％。
然后，管理节点确定存储系统能够存储的数据的最大数据量。
在存储系统中，为了使得存储系统能够尽可能多的存储数据，存储系统在接收用户发送的待存储数据后，会对待存储数据进行压缩等操作，然后将压缩后的数据存储在存储系统中。在本申请实施例中，该存储系统能够存储的数据的最大数据量是指在进行压缩操作之前的数据的数据量，若进行压缩操作时使用的缩减率不同，则存储系统能够存储的数据的最大数据量也不同，而存储系统所使用的缩减率可能会不断发生变化，因此，在确定存储系统能够存储的数据的最大数据量之前，首先需要确定存储系统所使用的缩减率。例如，管理节点可以获取存储系统中当前存储的所有的元数据的数据量，然后根据元数据的数据量和与元数据对应的数据的数据量之间的预设比值，计算出存储系统接收的在进行压缩操作之前的数据的第一数据量。然后，获取存储系统的数据存储空间中存储的所有数据的第二数据量，该第一数据量和第二数据量的比值即存储系统当前使用的缩减率。
然后，管理节点确定存储系统的存储空间的总量与该存储系统当前使用的缩减率的乘积，即存储系统能够存储的数据的最大数据量。例如，通过上述计算，确定存储系统当前使用的缩减率为3，存储系统的存储空间的总量为100TB，则管理节点确定存储系统能够存储的数据的最大数据量为300TB。
最后，管理节点确定重删元数据空间的占比与该存储系统能够存储的数据的最大数据量的乘积，即重删元数据空间的取值，从而将重删元数据空间调整为该取值。
作为另一种示例，由图1所示的对后重删方式的流程的描述可知，重删元数据空间中存储了两种指纹记录项，一种是未排序的指纹记录项，另一种是排序的指纹记录项。对于未排序的指纹记录项，可以在重删元数据空间不足时，通过淘汰策略进行批量移除，从而使得存储系统可以快递地获取能够使用的重删元数据空间。而对于排序后的指纹记录项，需要依赖排序结果进行移除，例如，出现同一指纹的指纹记录项的次数是否大于或等于有预设次数等，可见，移除排序后的指纹记录项需要一定的时延。因此，本申请实施例中，针对上述两种不同的指纹记录项，可以设置不同的重删元数据空间在存储空间的占比与该存储系统中存储的数据的数据量之间的对应关系，使得对重删元数据空间的调整更加精确。
为方便说明，在下文中，将重删元数据空间中用于存储未排序的指纹记录项的存储空间称为第一重删元数据空间，将用于存储排序后的指纹记录项的存储空间称为第二重删元数据空间。作为一种示例，请参考表2和表3，分别为第一重删元数据空间的占比与该存储系统中存储的数据的数据量之间的对应关系，以及，第二重删元数据空间的占比与该存储系统中存储的数据的数据量之间的对应关系。在表2和表3中，存储的数据的数据量用数据量与存储空间的总量的百分比来表示。
表2
存储的数据的数据量 第一重删元数据空间的占比
0％ 2.00％
60％ 1.00％
85％ 0.20％
95％ 0.10％
在表2中，第一重删元数据空间的占比最大为2％，当存储系统中存储的数据的数据量较少时，则第一重删元数据空间可以为该最大占比；在数据量与存储空间的总量百分比大于或等于60％时候，才需要降低该第一重删元数据空间的占比，例如，从2％降到1％；当数据量与存储空间的总量百分比大于或等于85％时，将第一重删元数据空间的占比调整为较为接近存储系统所要求的占比，例如，存储系统要求第一重删元数据空间的占比只能为0.1％，则在这种情况下，可以将第一重删元数据空间的占比调整为接近0.1％的取值，例如，降为0.2％。当数据量与存储空间的总量百分比大于或等于95％时，按照存储系统要求的第一重删元数据空间的占比(例如，0.1％)严格控制。
需要说明的是，第一重删元数据空间的占比的下降速率，取决于存储系统淘汰未排序的指纹记录项的速度。存储系统淘汰未排序的指纹记录项的速率越快，则第一重删元数据空间的占比的下降速率越慢。
表3
存储的数据的数据量 第二重删元数据空间的占比
0％ 0.40％
25％ 0.30％
50％ 0.20％
75％ 0.10％
在表3中，第二重删元数据空间的占比最大为0.4％，当存储系统中存储的数据的数据量较少时，则第二重删元数据空间可以为该最大占比；由于排序的指纹记录项被淘汰的速度较慢，因此，在数据量与存储空间的总量百分比大于或等于25％时候，则需要降低该第二重删元数据空间的占比，例如，从0.4％降到0.3％。在此不对表3中的其他表项一一进行说明。
由表2和表3可知，第二重删元数据空间的占比的下降速度相较于第一重删元数据空间的占比的下降速度更快。
管理节点确定第一重删元数据空间的占比，和第二重删元数据空间的占比后，则确定第一重删元数据空间的大小为第一重删元数据空间的占比与该存储系统能够存储的数据的最大数据量的乘积，第二重删元数据空间的大小为该第二重删元数据空间的占比与该最大数据量的乘积，从而将第一重删元数据空间和第二重删元数据空间调整为对应的取值。其中，获取该存储系统能够存储的数据的最大数据量的方式与前述示例中的方式相似，在此不再赘述。
由前述表1～表3可知，重删元数据空间可以在较长的一段时间内占用一个较大的存储空间，这样，重删元数据空间中存储的指纹记录项较多，从而一次重复数据删除操作能够确定出的重复指纹的数量也越多，从而可以提高存储系统进行重复数据删除操作的重删率和重删速率。
由于存储系统中存储空间的大小是固定的，且存储空间可以分为数据存储空间和元数据存储空间，因此，在本申请实施例中，增大重删元数据空间的大小可以理解为通过减小数据存储空间来增大重删元数据空间，或者，可以理解为，占用部分数据存储空间以用于存储指纹记录项。相应地，减小重删元数据空间的大小可以理解为通过增大数据存储空间来减小重删元数据空间，或者，可以理解为，重删元数据空间退还其占用的部分数据存储空间。
另外，存储系统的元数据存储空间中除了用于存储指纹记录项，还包括用于存储其他元数据，例如，该存储系统中存储的数据的元数据，该存储系统的存储池的元数据，存储系统的逻辑卷的卷元数据等，从而可以将存储系统的元数据存储空间按照存储的元数据的作用分为重删元数据空间和其他元数据空间。而其他元数据空间中，存储池的元数据和卷元数据等的数据量较为固定，因此，其他元数据空间中存储的元数据的数据量，与存储系统中存储的数据的元数据的数据量相关联，当存储系统中存储的数据的数据量较小时，其他元数据空间中的元数据的数据量也较小。这样，当其他元数据空间有剩余存储空间时，重删元数据空间也可以使用该其他元数据空间中的剩余存储空间。
作为一种示例，假设元数据空间的容量为该存储系统能够存储的数据的最大数据量的1.5％，其他元数据空间中存储的元数据的数据量是随着存储系统中存储的数据的增加而增加的，因此，当存储系统中存储的数据较少时，其他元数据空间中也有剩余存储空间，则重删元数据空间也可以利用其他元数据空间中的剩余存储空间，来调整重删元数据空间的大小，重删元数据空间的可用存储空间(元数据空间的剩余存储空间)，即该存储系统能够存储的数据的最大数据量，与存储系统中除重删元数据空间外的其他元数据的数据量的差值。在这种情况下，调整重删元数据空间的大小的具体过程，与前述占用数据存储空间调整重删元数据空间的大小的方式相似，在此不再赘述。
在上述技术方案中，由于可以灵活调整重删元数据空间的大小，这样可以通过增加重删元数据空间的大小来提高重复数据删除的效率。且，由于调整重删元数据空间的大小是以存储系统中存储的数据的数据量为调整因子，因此，通过该方法设置的重删元数据空间的大小，也能够满足用户的数据存储需求，不影响存储系统的存储性能。
上述本申请提供的实施例中，为了实现上述本申请实施例提供的方法中的各功能，存储系统可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
图4示出了一种存储空间的管理装置400的结构示意图。其中，存储空间的管理装置400可以用于实现存储系统的存储节点或者存储阵列的阵列控制器的功能。存储空间的管理装置400可以是硬件结构、软件模块、或硬件结构加软件模块。存储空间的管理装置400可以由芯片系统实现。本申请实施例中，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
存储空间的管理装置400可以包括处理单元401和获取单元402。
获取单元402可以用于执行图3所示的实施例中的步骤S31，和/或用于支持本文所描述的技术的其它过程。一种可能的实现方式，获取单元402可以用于与处理单元401通信，或者，获取单元402可以用于存储空间的管理装置400和其它模块进行通信，其可以是电路、器件、接口、总线、软件模块、收发器或者其它任意可以实现通信的装置。
处理单元401可以用于执行图3所示的实施例中的步骤S32，和/或用于支持本文所描述的技术的其它过程。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
图4所示的实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
如图5所示为本申请实施例提供的存储空间的管理装置500，其中，存储空间的管理装置500可以用于实现存储系统的存储节点或者存储阵列的阵列控制器的功能。其中，该存储空间的管理装置500可以为芯片系统。本申请实施例中，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
存储空间的管理装置500包括至少一个处理器520，用于实现或用于支持存储空间的管理装置500实现本申请实施例提供的方法中存储节点或者存储阵列的阵列控制器的功能。示例性地，处理器520可以根据存储系统中存储的数据的数据量的大小，调整所述存储系统的重删元数据空间的大小，具体参见方法示例中的详细描述，此处不做赘述。
存储空间的管理装置500还可以包括至少一个存储器530，用于存储程序指令和/或数据。存储器530和处理器520耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器520可能和存储器530协同操作。处理器520可能执行存储器530中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。
存储空间的管理装置500还可以包括接口510，用于与处理器520通信，或者用于通过传输介质和其它设备进行通信，从而用于存储空间的管理装置500可以和其它设备进行通信。示例性地，该其它设备可以是存储客户端或者存储设备。处理器520可以利用接口510收发数据。
本申请实施例中不限定上述接口510、处理器520以及存储器530之间的具体连接介质。本申请实施例在图5中以存储器530、处理器520以及接口510之间通过总线550连接，总线在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中，处理器520可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中，存储器530可以是非易失性存储器，比如硬盘(hard diskdrive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本申请实施例中还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行图3所示的实施例中存储节点或阵列控制器执行的方法。
本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行图3所示的实施例中存储节点或阵列控制器执行的方法。
本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现前述方法中存储节点或阵列控制器的功能。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
本申请实施例提供了一种存储系统，该存储系统包括存储设备以及图3所示的实施例中存储节点或阵列控制器。
本申请实施例提供的方法中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，简称DVD))、或者半导体介质(例如，SSD)等。

Claims (17)

1.一种存储空间的管理方法，其特征在于，包括：
获取存储系统中存储的数据的数据量；
根据所述数据量的大小，调整所述存储系统的重删元数据空间的大小；其中，所述重删元数据空间用于存储指纹记录项；指纹记录项用于记录数据的指纹。
2.根据权利要求1所述的方法，其特征在于，获取存储系统中存储的数据的数据量，包括：
获取存储在所述存储系统的数据存储空间中的数据的数据量，所述数据存储空间用于存储数据；或，
获取存储在所述存储系统的元数据存储空间中的元数据的数据量，根据所述元数据的数据量与预设比值，计算得到所述存储系统中存储的数据的数据量，所述元数据存储空间用于存储数据的元数据。
3.根据权利要求1或2所述的方法，其特征在于，根据所述数据量的大小，调整重删元数据空间的大小，包括：
在所述数据量不大于第一阈值时，增大所述重删元数据空间；或，
在所述数据量不小于第二阈值时，减小所述重删元数据空间。
4.根据权利要求1或2所述的方法，其特征在于，根据所述数据量的大小，调整重删元数据空间的大小，包括：
获取所述存储系统中能够存储的数据的最大数据量；
根据所述最大数据量、所述数据量的大小，以及，预设的重删元数据空间的占比与所述存储系统中存储的数据的数据量之间的对应关系，调整所述重删元数据空间的大小。
5.根据权利要求1-4中任一项所述的方法，其特征在于，调整所述重删元数据空间的大小，包括：
减小所述存储系统的数据存储空间以增大所述重删元数据空间的大小；或，
增大所述数据存储空间以减小所述重删元数据空间的大小。
6.一种存储空间的管理装置，其特征在于，包括接口和处理器，所述接口与所述处理器通信；其中，所述处理器，用于：
获取存储系统中存储的数据的数据量；
根据所述数据量的大小，调整所述存储系统的重删元数据空间的大小；其中，所述重删元数据空间用于存储指纹记录项；指纹记录项用于记录数据的指纹。
7.根据权利要求6所述的装置，其特征在于，所述处理器具体用于：
获取存储在所述存储系统的数据存储空间中的数据的数据量，所述数据存储空间用于存储数据；或，
获取存储在所述存储系统的元数据存储空间中的元数据的数据量，根据所述元数据的数据量与预设比值，计算得到所述存储系统中存储的数据的数据量，所述元数据存储空间用于存储数据的元数据。
8.根据权利要求6或7所述的装置，其特征在于，所述处理器具体用于：
在所述数据量不大于第一阈值时，增大所述重删元数据空间；或，
在所述数据量不小于第二阈值时，减小所述重删元数据空间。
9.根据权利要求6或7所述的装置，其特征在于，所述处理器具体用于：
获取所述存储系统中能够存储的数据的最大数据量；
根据所述最大数据量、所述数据量的大小，以及，预设的重删元数据空间的占比与所述存储系统中存储的数据的数据量之间的对应关系，调整所述重删元数据空间的大小。
10.根据权利要求6-9所述的装置，其特征在于，所述处理器具体用于：
减小所述存储系统的数据存储空间以增大所述重删元数据空间的大小；或，
增大所述数据存储空间以减小所述重删元数据空间的大小。
11.一种存储空间的管理装置，其特征在于，包括获取单元和处理单元，其中，
所述获取单元，用于获取存储系统中存储的数据的数据量；
所述处理单元，用于根据所述数据量的大小，调整所述存储系统的重删元数据空间的大小；其中，所述重删元数据空间用于存储指纹记录项；指纹记录项用于记录数据的指纹。
12.根据权利要求11所述的装置，其特征在于，所述获取单元用于：
获取存储在所述存储系统的数据存储空间中的数据的数据量，所述数据存储空间用于存储数据；或，
获取存储在所述存储系统的元数据存储空间中的元数据的数据量，根据所述元数据的数据量与预设比值，计算得到所述存储系统中存储的数据的数据量，所述元数据存储空间用于存储数据的元数据。
13.根据权利要求11或12所述的装置，其特征在于，所述处理单元用于：
在所述数据量不大于第一阈值时，增大所述重删元数据空间；或，
在所述数据量不小于第二阈值时，减小所述重删元数据空间。
14.根据权利要求12或12所述的装置，其特征在于，所述处理单元用于：
获取所述存储系统中能够存储的数据的最大数据量；
根据所述最大数据量、所述数据量的大小，以及，预设的重删元数据空间的占比与所述存储系统中存储的数据的数据量之间的对应关系，调整所述重删元数据空间的大小。
15.根据权利要求11-14所述的装置，其特征在于，所述处理单元用于：
减小所述存储系统的数据存储空间以增大所述重删元数据空间的大小；或，
增大所述数据存储空间以减小所述重删元数据空间的大小。
16.一种计算机存储介质，其特征在于，所述计算机存储介质存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-5任一项所述的方法。
17.一种计算机程序产品，其特征在于，所述计算机程序产品存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-5任一项所述的方法。
CN201910835398.3A 2019-09-05 2019-09-05 一种存储空间的管理方法及装置 Active CN110750211B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910835398.3A CN110750211B (zh) 2019-09-05 2019-09-05 一种存储空间的管理方法及装置
PCT/CN2020/111002 WO2021043026A1 (zh) 2019-09-05 2020-08-25 一种存储空间的管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910835398.3A CN110750211B (zh) 2019-09-05 2019-09-05 一种存储空间的管理方法及装置

Publications (2)

Publication Number Publication Date
CN110750211A true CN110750211A (zh) 2020-02-04
CN110750211B CN110750211B (zh) 2021-05-04

Family

ID=69276170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910835398.3A Active CN110750211B (zh) 2019-09-05 2019-09-05 一种存储空间的管理方法及装置

Country Status (2)

Country Link
CN (1) CN110750211B (zh)
WO (1) WO2021043026A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148791A (zh) * 2020-09-15 2020-12-29 张立旭 一种分布式数据动态调整存储方法及系统
CN112181291A (zh) * 2020-09-04 2021-01-05 杭州宏杉科技股份有限公司 数据回写方法、装置、电子设备及及机器可读存储介质
WO2021043026A1 (zh) * 2019-09-05 2021-03-11 华为技术有限公司 一种存储空间的管理方法及装置
CN113625938A (zh) * 2020-05-06 2021-11-09 华为技术有限公司 一种元数据存储方法及其设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767050A (zh) * 2005-09-23 2006-05-03 北京中星微电子有限公司 可编程的存储装置和方法
US20070088920A1 (en) * 2005-10-19 2007-04-19 Philip Garcia Managing data for memory, a data store, and a storage device
CN103064639A (zh) * 2012-12-28 2013-04-24 华为技术有限公司 数据存储方法及装置
CN103309812A (zh) * 2012-03-15 2013-09-18 中国移动通信集团公司 一种智能卡内存空间的分配方法及装置
CN105335100A (zh) * 2015-09-29 2016-02-17 华为技术有限公司 一种数据处理方法、装置及闪存设备
CN106843762A (zh) * 2017-01-17 2017-06-13 北京联想核芯科技有限公司 管理存储区域的方法及固态硬盘
CN107632791A (zh) * 2017-10-10 2018-01-26 郑州云海信息技术有限公司 一种存储空间的分配方法及系统
CN109074226A (zh) * 2016-09-28 2018-12-21 华为技术有限公司 一种存储系统中重复数据删除方法、存储系统及控制器
CN110069215A (zh) * 2019-03-27 2019-07-30 浙江宇视科技有限公司 一种基于块存储的动态调整存储单元的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750211B (zh) * 2019-09-05 2021-05-04 华为技术有限公司 一种存储空间的管理方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767050A (zh) * 2005-09-23 2006-05-03 北京中星微电子有限公司 可编程的存储装置和方法
US20070088920A1 (en) * 2005-10-19 2007-04-19 Philip Garcia Managing data for memory, a data store, and a storage device
CN103309812A (zh) * 2012-03-15 2013-09-18 中国移动通信集团公司 一种智能卡内存空间的分配方法及装置
CN103064639A (zh) * 2012-12-28 2013-04-24 华为技术有限公司 数据存储方法及装置
CN105335100A (zh) * 2015-09-29 2016-02-17 华为技术有限公司 一种数据处理方法、装置及闪存设备
CN106484331A (zh) * 2015-09-29 2017-03-08 华为技术有限公司 一种数据处理方法、装置及闪存设备
CN109074226A (zh) * 2016-09-28 2018-12-21 华为技术有限公司 一种存储系统中重复数据删除方法、存储系统及控制器
CN106843762A (zh) * 2017-01-17 2017-06-13 北京联想核芯科技有限公司 管理存储区域的方法及固态硬盘
CN107632791A (zh) * 2017-10-10 2018-01-26 郑州云海信息技术有限公司 一种存储空间的分配方法及系统
CN110069215A (zh) * 2019-03-27 2019-07-30 浙江宇视科技有限公司 一种基于块存储的动态调整存储单元的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021043026A1 (zh) * 2019-09-05 2021-03-11 华为技术有限公司 一种存储空间的管理方法及装置
CN113625938A (zh) * 2020-05-06 2021-11-09 华为技术有限公司 一种元数据存储方法及其设备
CN112181291A (zh) * 2020-09-04 2021-01-05 杭州宏杉科技股份有限公司 数据回写方法、装置、电子设备及及机器可读存储介质
CN112148791A (zh) * 2020-09-15 2020-12-29 张立旭 一种分布式数据动态调整存储方法及系统
CN112148791B (zh) * 2020-09-15 2024-05-24 张立旭 一种分布式数据动态调整存储方法及系统

Also Published As

Publication number Publication date
CN110750211B (zh) 2021-05-04
WO2021043026A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN110750211B (zh) 一种存储空间的管理方法及装置
CN108319654B (zh) 计算系统、冷热数据分离方法及装置、计算机可读存储介质
CN110618789B (zh) 一种重复数据的删除方法及装置
US9727246B2 (en) Memory device, computer system, and method of controlling memory device
CN111381779B (zh) 数据处理方法、装置、设备及存储介质
CN110688062B (zh) 一种缓存空间的管理方法及装置
CN109240607B (zh) 一种文件读取方法和装置
US20150293700A1 (en) Control apparatus and control method
WO2021073635A1 (zh) 一种数据存储方法及装置
KR20180086120A (ko) 테일 레이턴시를 인식하는 포어그라운드 가비지 컬렉션 알고리즘
US20200142634A1 (en) Hybrid distributed storage system to dynamically modify storage overhead and improve access performance
US10013425B1 (en) Space-efficient persistent block reservation optimized for compression
CN110647502A (zh) 一种文件加载方法、设备、装置和计算机存储介质
US10409776B1 (en) Space-efficient persistent block reservation
CN111857574A (zh) 一种写请求数据压缩方法、系统、终端及存储介质
CN108132759B (zh) 一种文件系统中管理数据的方法和装置
EP3267329A1 (en) Data processing method having structure of cache index specified to transaction in mobile environment dbms
CN114116634B (zh) 一种缓存方法、装置及可读存储介质
CN115576956A (zh) 一种数据处理方法、系统、设备以及存储介质
CN115509437A (zh) 存储系统、网卡、处理器、数据访问方法、装置及系统
CN113760854A (zh) Hdfs内存中数据的识别方法及相关设备
CN110209343B (zh) 数据存储方法、装置、服务器及存储介质
CN114237507B (zh) 管理数据的方法及装置
US20240143449A1 (en) Data Processing Method and Apparatus
CN116661684B (zh) 一种闪存数据的读取方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant