CN114153395B - 一种对象存储数据生命周期管理方法、装置及设备 - Google Patents

一种对象存储数据生命周期管理方法、装置及设备 Download PDF

Info

Publication number
CN114153395B
CN114153395B CN202111446695.2A CN202111446695A CN114153395B CN 114153395 B CN114153395 B CN 114153395B CN 202111446695 A CN202111446695 A CN 202111446695A CN 114153395 B CN114153395 B CN 114153395B
Authority
CN
China
Prior art keywords
zone
available
unavailable
expiration time
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111446695.2A
Other languages
English (en)
Other versions
CN114153395A (zh
Inventor
罗心
江文龙
王志豪
周明伟
应秀梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111446695.2A priority Critical patent/CN114153395B/zh
Publication of CN114153395A publication Critical patent/CN114153395A/zh
Application granted granted Critical
Publication of CN114153395B publication Critical patent/CN114153395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种对象存储数据生命周期管理方法、装置及设备，该方法包括：根据对象分片的写入时间及存储生命周期确定到期时间；根据可用zone列表中可用zone的到期时间，选择出一个可用zone进行数据写入，可用zone在满足相应的条件时移动到不可用zone列表，根据不可用zone的到期时间确定过期的不可用zone，指示对应的存储节点删除所述不可用zone，将所述不可用zone恢复为空闲zone。解决SMR硬盘只支持连续zone写入，整块zone删除特性带来的空间浪费，提升了整个对象存储系统的空间利用率，实现将相近生命周期的数据写入同一类zone中，对过期zone进行实时回收。

Description

一种对象存储数据生命周期管理方法、装置及设备
技术领域
本发明涉及数据存储技术领域，具体涉及一种对象存储数据生命周期管理方法、装置及设备。
背景技术
叠瓦式磁记录(Shingled magnetic recording，SMR)是一种领先的下一代磁盘技术，相邻磁道之间按序部分重叠，能提高单位存储介质的存储密度，降低存储成本。正是由于SMR磁盘物理上的特点，导致了它的读行为虽然与普通HDD(Hard Disk Drive)机械硬盘无异，但是它的写行为却有着巨大的变化，它不支持随机写和原地更新写，因为这样会导致相重叠磁道数据被覆盖。
SMR磁盘将磁道划分为多个带(Band)，即连续磁道所构成的壳连续写入的区域，每个区域成为一个需要顺序写入的基本单元。Band是SMR磁盘物理概念，对应的逻辑概念称为“区域(Zone)”，一个Zone的大小为256MB。即Zone只支持连续写入，支持随机读取，只支持整个Zone空间删除，造成空间浪费、空间不能及时回收。
基于上述SMR的缺点，目前更多的是SMR硬盘内部怎么具体的使用，例如，创建本地文件系统，创建SMR硬盘内部索引，SMR和随机存储介质之间的关联关系。均不涉及到对象生命周期管理以及空间管理，并未有效解决SMR硬盘Zone空间复用问题，也并未提升整个对象存储系统的空间利用率。
发明内容
本申请目的是提供一种对象存储数据生命周期管理方法、装置及设备，用于对象生命周期管理以及空间管理，解决了SMR硬盘Zone空间复用问题，并提升了整个对象存储系统的空间利用率。
第一方面，本申请实施例提供了一种对象存储数据生命周期管理方法，所述方法包括：
响应于数据写入指令，根据对象分片的写入时间及存储生命周期确定所述对象分片的到期时间；
根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone时，指示对应的存储节点将所述对象分片写入所述第一目标zone；
否则，选择一个空闲zone作为第二目标zone，指示对应的存储节点将所述对象分片写入所述第二目标zone，将所述第二目标zone加入可用zone列表，并根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间；
确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表；
根据不可用zone的到期时间确定过期的不可用zone，指示对应的存储节点删除所述不可用zone，将所述不可用zone恢复为空闲zone。
在一种可能的实施例中，根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone，包括：
根据到期时间范围与可用zone列表的索引中，查找对象分片的到期时间所在的到期时间范围；
从查找到的到期时间范围对应的可用zone列表中，确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone。
在一种可能的实施例中，从所述至少一个可用zone中选择出一个第一目标zone/选择一个空闲zone作为第二目标zone，包括：
按照存储节点负载均衡的方式，从所述至少一个可用zone中选择出一个第一目标zone/选择一个空闲zone作为第二目标zone。
在一种可能的实施例中，确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表，包括如下至少一种情况：
确定可用zone列表中可用zone的剩余空间小于预设值时，将所述可用zone变更为不可用zone移动到不可用zone列表；
确定可用zone加入可用zone列表后超过预设可复用时间时，将所述可用zone变更为不可用zone移动到不可用zone列表。
在一种可能的实施例中，根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间，包括：
将所述对象分片的写入时间与所述对象分片的生命周期求和，得到所述第二目标zone的最短到期时间，将所述最短到期时间与预设可复用时间求和，得到最长到期时间。
在一种可能的实施例中，从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的最短到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone；
否则，将可用zone列表中可用zone的最短到期时间，按照设定时间粒度递增；
确定递增后的至少一个可用zone的到期时间在所述对象分片的到期时间之后时结束递增，从所述至少一个可用zone中选择出一个第一目标zone，或递增后可用zone的到期时间到达对应的最长到期时间时结束递增。
在一种可能的实施例中，根据不可用zone的到期时间确定过期的不可用zone，包括：
将所述不可用zone中第一个对象分片写入的时间、所述第一个对象分片的生命周期与预设可复用时间求和，得到所述不可用zone的最长到期时间；
确定当前时间距离不可用zone中第一个对象分片写入的时间，超过所述不可用zone的最长到期时间时，确定所述不可用zone过期。
在一种可能的实施例中，从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中，选择到期时间与所述对象分片的到期时间最接近的一个可用zone作为第一目标zone。
在一种可能的实施例中，所述方法还包括：
获取存储节点上报的已删除zone内的对象分片信息；
确定同一文件的小于/等于M个对象分片被删除时，将该文件对应的对象数据状态更新为降级状态，将对所述文件的访问控制更新为可读取；
确定同一文件的大于M个对象分片，但小于N+M个对象被删除时，将该文件对应的对象数据状态更新为删除中状态，将对所述文件的访问控制更新为可查询记录，但不可读取；
确定同一文件的N+M个对象分片被删除时，将该文件对应的对象数据状态更新为删除状态，将对所述文件的访问控制更新为不可查询。
第二方面，本申请实施例提供了一种对象存储数据生命周期管理装置，所述装置包括：
响应指令模块，用于响应于数据写入指令，用于分别获取写入的对象分片及可用zone列表中可用zone的到期时间；
第一选择zone模块，用于根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone时，指示对应的存储节点将所述对象分片写入所述第一目标zone；
第二选择zone模块，用于选择一个空闲zone作为第二目标zone，指示对应的存储节点将所述对象分片写入所述第二目标zone，将所述第二目标zone加入可用zone列表，并根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间；
第一zone变更模块，用于确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表；
第二zone变更模块，用于根据不可用zone的到期时间确定过期的不可用zone，指示对应的存储节点删除所述不可用zone，将所述不可用zone恢复为空闲zone。
第三方面，本申请实施例提供了一种对象存储数据生命周期管理设备，所述设备包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行对象存储数据生命周期管理方法中任何一项所述的方法。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行对象存储数据生命周期管理方法任何一项所述的方法。
本申请实施例提供的一种对象存储数据生命周期管理方法、装置及设备，通过维护可用zone列表、不可用zone列表和空闲zone之间的动态变更，进行对象分片数据删除和zone空间整块释放，达到高效循环利用云存储空间；解决了SMR硬盘只支持连续Zone写入，整块zone删除特性带来的空间浪费、空间及时回收的问题，提升了整个对象存储系统的空间利用率。
附图说明
图1a为根据本发明示例性实施例示例的一种数据写入过程示意图；
图1b为根据本发明示例性实施例示例的一种数据写入过程示意图；
图2为根据本发明示例性实施例示例的一种对象存储数据生命周期管理方法流程示意图；
图3为根据本发明示例性实施例示例的一种数据写入过程示意图；
图4为根据本发明示例性实施例示例的一种可用zone列表示意图；
图5为根据本发明示例性实施例示例的一种不可用zone列表示意图；
图6为根据本发明示例性实施例示例的一种按照时间粒度管理可用/不可用zone列表流程示意图；
图7为根据本发明示例性实施例示例的一种对象分片写入流程示意图；
图8为根据本发明示例性实施例示例的一种对象存储数据生命周期管理装置示意图；
图9为根据本发明示例性实施例示例的一种对象存储数据生命周期管理设备示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本发明实施例的专业术语进行介绍。
叠瓦式磁记录(Shingled magnetic recording，SMR)磁盘：是一种领先的下一代磁盘技术，相邻磁道之间按序部分重叠，能提高单位存储介质的存储密度，降低存储成本。正是由于SMR磁盘物理上的特点，导致了它的读行为虽然与普通机械硬盘(Hard DiskDrive，HDD)无异，但是它的写行为却有着巨大的变化，它不支持随机写和原地更新写，因为这样会导致相重叠磁道数据被覆盖。因此SMR磁盘仅支持从头到尾的顺序写入。
SMR磁盘将磁道划分为多个带(Band)，即连续磁道所构成的壳连续写入的区域，每个区域成为一个需要顺序写入的基本单元。Band是SMR磁盘物理概念，对应的逻辑概念称为“区域”(zone)，一个zone的大小为256MB。即Zone只支持连续写入，支持随机读取，只支持整个zone空间删除。
纠删码(Erasure Code，EC)：通用术语为N+M，即N个数据块，生成M个校验块。
数据生命周期：即表示数据的有效存储时间。例如在安防存储场景下，视频、图片存储周期，通常都是按照以“小时”粒度进行衡量。例如录像存储90天*24小时、图片存储180天*24小时。数据生命周期到期之后，系统自动对过期数据进行删除，空间释放，用于新数据写入，存储空间循环利用。
对象存储：通常将用户数据，按照4MB大小进行切分，以4MB为粒度进行管理。其中4MB大小为可配置大小，每家存储厂商可能不同。本实施例提到对象，对象文件，均表示同一个意思。在本实施例中，对象数据存储模式，采用的是N+M EC模式，即将4MB对象文件数据，在拆分为N个数据分片，再计算出M个冗余分片，每个分片，本实施例中统一称为对象分片。每个对象分片，最终是写入到不同的SMR硬盘的Zone空间内。
如图1a所示，例如将一个16MB用户数据的数据分割成对象文件数据1、对象文件数据2、对象文件数据3和对象文件数据4，每个对象大小为4MB。
然后，对每个对象采用EC模式写入对应存储节点中，如图1b所示，以对象1为例，将对象1拆分为4个对象分片，即N为4，每个对象分片大小为1MB，根据4个对象分片计算得到1个冗余对象分片，即M为1，将所述5个对象分片分别写入5个存储节点中。
下面将结合附图对本申请实施例中的对象存储数据生命周期管理方法进行详细的说明。
图2为本申请实施例提供的一种对象存储数据生命周期管理方法流程示意图，应用于管理节点，包括：
S201：响应于数据写入指令，根据对象分片的写入时间及存储生命周期确定所述对象分片的到期时间。
用户通过客户端将数据写入云存储系统，一个数据文件可以划分为多个对象，将对象按照预设数据块大小进行分片得到对象分片。对象分片的到期时间又可以称为“分片对象生命周期到期时间”，通过计算该对象分片写入对应的存储节点的时间与用户预设的生命周期的和，得到该对象分片的到期时间。
S202：根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone时，指示对应的存储节点将所述对象分片写入所述第一目标zone，否则，执行步骤203。
本实施例中可用zone列表中包括多个可用zone，空闲zone在第一次写入对象分片时，更新为可用zone并加入到可用zone列表，并根据第一个对象分片的写入数据确定该可用zone的到期时间，可用zone列表中的可用zone在满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表。
在数据写入的过程中，需要分别计算对象分片和各可用zone的到期时间，对象分片的到期时间可以根据用户的需求进行配置，例如用户希望当前数据存储30天，则当前数据对应的对象分片30天后到期，即该对象分片的生命周期为30天。
如前所述，每个可用zone具有一个到期时间，则根据对象分片的到期时间，选择是否有到期时间在对象分片到期之后的可用zone，如果有，则确定能够选择出一个可用zone作为第一目标zone时，将所述对象分片写入所述第一目标zone，否则，确定不能选择出一个可用zone作为第一目标zone。确定能够选择出一个可用zone作为第一目标zone时，确定至少一个可用zone的到期时间在所述对象分片的到期时间之后，从所述至少一个可用zone中选择出一个第一目标zone，将所述对象分片写入所述第一目标zone。
作为一种可选的实施方式，采用如下方式从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中，选择到期时间与所述对象分片的到期时间最接近的一个可用zone作为第一目标zone，确保了zone内存储的不同对象分片最终的到期时间一致或者相差不大，保证在删除整个zone的时候，该zone内的对象分片均达到到期时间。
作为一种可选的实施方式，从所述至少一个可用zone中选择出一个第一目标zone，包括：
按照存储节点负载均衡的方式，从所述至少一个可用zone中选择出一个第一目标zone，避免了只从一个存储节点选择目标zone造成的该存储节点负载过重的问题。
S203：如果从可用zone列表中获取可用zone失败时，则选择一个空闲zone作为第二目标zone，指示对应的存储节点将所述对象分片写入所述第二目标zone，将所述第二目标zone加入可用zone列表，并根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间。
如果可用列表中没有可用zone，则从空闲zone资源池中选择一个空闲zone作为第二目标zone，指示对应的存储节点将所述对象分片写入所述第二目标zone，并根据第二目标zone中第一个对象分片的写入时间确定第二目标zone的到期时间。
S204：确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表。
本申请实施例中可以采用不同的参数定义可用zone对应的不可用条件，可以但不限于采用到期时间、剩余空间等参数进行定义。
S205：根据不可用zone的到期时间确定过期的不可用zone，指示对应的存储节点删除所述不可用zone，将所述不可用zone恢复为空闲zone。
本申请实施例可以采用不同的参数定义不可用zone列表中的不可用zone过期，作为一种可选的实施方式，可以根据不可用zone的到期时间定义，在不可用zone到达对应的到期时间之后，确定过期。
本申请实施例通过管理节点对所述不可用zone列表的到期时间进行实时“监测”，确定某个不可用zone过期时，指示对应的存储节点删除该不可用zone，将该zone恢复为空闲zone，实现资源的实时回收。
本申请实施例提供的一种对象存储数据生命周期管理方法，确定满足将可用zone移动到不可用zone列表条件时，将可用zone移动到不可用zone列表；确定满足将不可用zone删除条件时，将不可用zone恢复为空闲zone；确定满足将空闲zone移动到可用zone列表条件时，将空闲zone移动到可用zone列表。通过实现上述可用zone、不可用zone、空闲zone之间的动态流转过程，解决了SMR盘只支持连续写入、只支持整个zone空间删除特性带来的空间浪费、空间及时回收的问题。
在一种可能的实施方式中，在确定出第一目标zone/第二目标zone后，指示第一目标zone/第二目标zone所在的存储节点写入对象分片的具体过程如图3所示，管理节点将对应的存储节点指示给客户端，客户端根据管理节点指示的各对象分片写入的存储节点，并将各对象分片数据分发给对应的存储节点。各对象分片的生命周期为可配置项，即可根据用户的意愿进行配置。对象分片可以通过SDK传递给存储节点，同时传递有该对象分片的生命周期信息，针对不同用户的数据文件，可以配置不同的生命周期。例如用户1写入数据存储180天，用户2写入数据需要存储180天；同样用户，写入不同数据，也可以设置不同的生命周期。
客户端将对象文件发送到管理节点，带有该对象的详细信息，包括对象名称、大小，以及所属的用户，以及所处于的bucket目录等；
客户端将对象分片分发给存储节点，带有该对象分片的大小，生命周期，其中生命周期时间的单位精确到1秒。
本发明实施例中对可用zone列表中的可用zone可以设置可复用时间，则可用zone加入可用列表之后，如果超出预设可复用时间，则意味着不可复用，需要加入到不可用zone列表中。
作为一种可选的实施方式，确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表，包括如下至少一种情况：
确定可用zone列表中可用zone的剩余空间小于预设值时，将所述可用zone变更为不可用zone移动到不可用zone列表；
确定可用zone加入可用zone列表后超过预设可复用时间时，将所述可用zone变更为不可用zone移动到不可用zone列表。
例如当某一zone的剩余空间小于1MB，或者距离第一个对象分片写入该zone的时间超过2天，则将该zone加入到不可用zone列表中，其中1MB、2天为可配置项。
预设可复用时间以2天为例，可用zone加入可用列表就意味着，该zone已经被写入数据，在2天内，该可用zone可以作为第一目标zone被选择，若超出两天，无论该可用zone的剩余空间为多少，都将变更为不可用zone，并移动到不可以zone列表中。
本发明实施例中可用zone的到期时间根据zone中第一个对象分片的时间，及该对象分片的生命周期确定，具体可以采用如下方式确定：将所述对象分片的写入时间与所述对象分片的生命周期求和，得到所述第二目标zone的最短到期时间，将所述最短到期时间与预设可复用时间求和，得到最长到期时间。
作为一种可选的实施方式，根据不可用zone的到期时间确定过期的不可用zone，包括：
将所述不可用zone中第一个对象分片写入的时间、所述第一个对象分片的生命周期与预设可复用时间求和，得到所述不可用zone的最长到期时间；
确定当前时间距离不可用zone中第一个对象分片写入的时间，超过所述不可用zone的最长到期时间时，确定所述不可用zone过期。
例如一个不可用zone中第一个对象分片写入的时间为10月1日，预设的生命周期为30天，预设的复用时间为2天，则该不可用zone的最长到期时间为11月2日，即11月2日删除该不可用zone，并将该不可用zone恢复为空闲zone。
可用zone的到期时间是一个时间范围，即可用zone的到期时间为[最短到期时间，最长到期时间]。其中，zone的可复用时间以该zone第一次写入对象分片的时间开始计算，例如第一个对象分片写入zone的时间为9月1日2：00，预设的可复用时间为2天，则从9月1日2：00到9月3日2：00之间，都在zone的可复用时间范围内，即在这个时间范围内，具有同样数据生命周期的对象分片可以写入该zone。
基于上述方式确定可用zone列表中可用zone的到期时间后，可以建立可用zone到期时间与可用/不可用zone的索引关系，以支持新对象分片的数据写入，具体如图4、图5所示，同一个到期时间可能对应多个可用/不可用zone。表中的T1、T2...Tn，表明了是按照到期时间先后排序，新对象分片数据写入优先写入最先到期的zone内。到期时间默认以30分钟为粒度进行管理，默认每天48个索引，如果云存储系统最长的数据存储365天，则总共有365*48个“到期时间”索引映射。其中，到期时间管理粒度可以配置，可以根据云存储最长存储周期、存储节点容量、并发度进行合理配置。
需要注意的是，存储节点上所有空闲的zone，单独通过缓存管理，不需要单独建立如上类似的索引管理。
作为一种可选的实施方式，本申请实施例按照时间粒度K对可用zone列表和不可用zone列表进行管理，即间隔时间K判断可用zone列表中的可用zone是否满足不可用条件，判断不可用zone列表中的不可用zone是否过期，按照时间粒度K建立上述索引关系。如图6所示，具体按照时间粒度K进行如下管理：
1)获取当前系统的时间，遍历不可用zone列表，判断是否从不可用zone列表中获取到一个距离第一个对象分片写入时间，超过zone最长到期时间的不可用zone，若获取一个过期的不可用zone成功，则删除该不可用zone，并将该zone恢复为空闲zone。按照时间粒度K对不可用zone列表进行循环遍历。当获取一个过期的不可用zone失败时，执行步骤2)。
2)重新获取当前系统时间，遍历可用zone列表，判断是否从可用zone列表中获取到一个第一个对象分片写入zone后超过预设复用时间，但是还未从可用zone列表中移除的可用zone，若获取到一个过期可用zone，则将该可用zone移入不可用zone列表中。
按照时间粒度K对可用zone列表进行循环遍历，1)、2)中的K为可配置项。减少下次可用zone复用判断次数，提高复用对比效率。
在一种可能的实施方式中，对象分片写入流程包括如下步骤：从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的最短到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone；
否则，将可用zone列表中可用zone的最短到期时间，按照设定时间粒度递增；
确定递增后的至少一个可用zone的到期时间在所述对象分片的到期时间之后时结束递增，从所述至少一个可用zone中选择出一个第一目标zone，或递增后可用zone的到期时间到达对应的最长到期时间时结束递增。
对象分片写入流程具体如图7所示：
1)接收来自客户端发过来的对象分片及其信息，所述信息包括对象分片的生命周期，根据对象分片的生命周期得到该对象分片的到期时间。
在一中可能的实施方式中，以对象分片的生命周期为30天为例，当前系统时间为10月1日，则对象分片将在10月31日到期。
2)查找可用zone列表，获取一个可用zone。
首先需要计算所述多个zone的最短到期时间，当存在至少一个可用zone的最短到期时间为10月31日及之后，则按照负载均衡的方式选择一个可用zone；当所述多个可用zone的最短到期时间在10月31日之前，则按照设定的时间粒度(30分钟)将可用zone的到期时间进行递增，当递增后的可用zone的到期时间为10月31日及之后，结束递增，选择该可用zone作为第一目标zone；若到期时间递增至最长到期时间，都未获取到一个可用zone，结束递增，即为选择一个可用zone作为第一zone失败。
3)选择一个空闲zone作为第二目标zone。
当通过2)中所述方法选择一个可用zone作为第一目标zone失败时，则按照负载均衡的方式选择一个空闲zone，将该zone加入到可用zone列表中，并计算该zone的最短到期时间和最长到期时间。
在一种可能的实施方式中，本申请实施例提供的一种对象存储数据生命周期管方法还包括：
获取存储节点上报的已删除zone内的对象分片信息；
确定同一文件的小于/等于M个对象分片被删除时，将该文件对应的对象数据状态更新为降级状态，将对所述文件的访问控制更新为可读取；
确定同一文件的大于M个对象分片，但小于N+M个对象被删除时，将该文件对应的对象数据状态更新为删除中状态，将对所述文件的访问控制更新为可查询记录，但不可读取；
确定同一文件的N+M个对象分片被删除时，将该文件对应的对象数据状态更新为删除状态，将对所述文件的访问控制更新为不可查询。
通过上述实施方式，实现根据存储节点上报的已删除zone内的对象分片信息，结合对象的EC模式，更新对象状态和访问控制。以4+1为例：4为EC写入模式中数据块的数量，1为EC写入模式中冗余块的数量。
确定同一文件的小于/等于1个对象分片被删除时，将该文件对应的对象数据状态更新为降级状态，将对所述文件的访问控制更新为可读取；
确定同一文件的大于1个对象分片，但小于5个对象被删除时，将该文件对应的对象数据状态更新为删除中状态，将对所述文件的访问控制更新为可查询记录，但不可读取；
确定同一文件的5个对象分片被删除时，将该文件对应的对象数据状态更新为删除状态，将对所述文件的访问控制更新为不可查询。
基于相同的发明构思，本申请提供了一种对象存储数据生命周期管理装置，800，如图8所示，该装置包括：
响应指令模块801，用于响应于数据写入指令，根据对象分片的写入时间及存储生命周期确定所述对象分片的到期时间；
第一选择zone模块802，用于根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone时，指示对应的存储节点将所述对象分片写入所述第一目标zone；
第二选择zone模块803，用于选择一个空闲zone作为第二目标zone，指示对应的存储节点将所述对象分片写入所述第二目标zone，将所述第二目标zone加入可用zone列表，并根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间；
第一zone变更模块804，用于确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表；
第二zone变更模块805，用于根据不可用zone的到期时间确定过期的不可用zone，指示对应的存储节点删除所述不可用zone，将所述不可用zone恢复为空闲zone。
在一种可能的实施方式中，根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone，包括：
根据到期时间范围与可用zone列表的索引中，查找对象分片的到期时间所在的到期时间范围；
从查找到的到期时间范围对应的可用zone列表中，确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone。
在一种可能的实施方式中，第二选择zone模块从所述至少一个可用zone中选择出一个第一目标zone/选择一个空闲zone作为第二目标zone，包括：
按照存储节点负载均衡的方式，从所述至少一个可用zone中选择出一个第一目标zone/选择一个空闲zone作为第二目标zone。
在一种可能的实施方式中，第一zone变更模块确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表，包括如下至少一种情况：
确定可用zone列表中可用zone的剩余空间小于预设值时，将所述可用zone变更为不可用zone移动到不可用zone列表；
确定可用zone加入可用zone列表后超过预设可复用时间时，将所述可用zone变更为不可用zone移动到不可用zone列表。
在一种可能的实施方式中，根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间，包括：
将所述对象分片的写入时间与所述对象分片的生命周期求和，得到所述第二目标zone的最短到期时间，将所述最短到期时间与预设可复用时间求和，得到最长到期时间。
在一种可能的实施方式中，第一选择zone模块，从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的最短到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone；
否则，将可用zone列表中可用zone的最短到期时间，按照设定时间粒度递增；
确定递增后的至少一个可用zone的到期时间在所述对象分片的到期时间之后时结束递增，从所述至少一个可用zone中选择出一个第一目标zone，或递增后可用zone的到期时间到达对应的最长到期时间时结束递增。
在一种可能的实施方式中，第二zone变更模块根据不可用zone的到期时间确定过期的不可用zone，包括：
将所述不可用zone中第一个对象分片写入的时间、所述第一个对象分片的生命周期与预设可复用时间求和，得到所述不可用zone的最长到期时间；
确定当前时间距离不可用zone中第一个对象分片写入的时间，超过所述不可用zone的最长到期时间时，确定所述不可用zone过期。
在一种可能的实施方式中，第一选择zone模块从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中，选择到期时间与所述对象分片的到期时间最接近的一个可用zone作为第一目标zone。
在一种可能的实施方式中，上报信息模块用于获取存储节点上报的已删除zone内的对象分片信息；
确定同一文件的小于/等于M个对象分片被删除时，将该文件对应的对象数据状态更新为降级状态，将对所述文件的访问控制更新为可读取；
确定同一文件的大于M个对象分片，但小于N+M个对象被删除时，将该文件对应的对象数据状态更新为删除中状态，将对所述文件的访问控制更新为可查询记录，但不可读取；
确定同一文件的N+M个对象分片被删除时，将该文件对应的对象数据状态更新为删除状态，将对所述文件的访问控制更新为不可查询。
其中N为纠删码EC写入模式中数据块的数量，M为EC写入模式中冗余块的数量。
基于相同的发明构思，本申请提供了一种对象存储数据生命周期管理设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中的任一对象存储数据生命周期管理的方法。
下面参照图9来描述根据本申请的这种实施方式的电子设备130。图9显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
所述处理器131用于读取所述存储器132中的指令并执行，以使所述至少一个处理器能够执行上述实施例提供的对象存储数据生命周期管理方法。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的一种对象存储数据生命周期管理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种对象存储数据生命周期管理方法的步骤。
另外，本申请还提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序所述计算机程序用于使计算机执行上述实施例中任何一项所述的方法。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种对象存储数据生命周期管理方法，其特征在于，所述方法包括：
响应于数据写入指令，根据对象分片的写入时间及存储生命周期确定所述对象分片的到期时间；
根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone时，指示对应的存储节点将所述对象分片写入所述第一目标zone；
确定获取可用zone失败时，选择一个空闲zone作为第二目标zone，指示对应的存储节点将所述对象分片写入所述第二目标zone，将所述第二目标zone加入可用zone列表，并根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间；
确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表；
根据不可用zone的到期时间确定过期的不可用zone，指示对应的存储节点删除所述不可用zone，将所述不可用zone恢复为空闲zone；
其中，所述不可用条件包括如下至少一种：
可用zone列表中可用zone的剩余空间小于预设值；
可用zone加入可用zone列表后超过预设可复用时间，所述预设可复用时间表征所述可用zone能够作为第一目标zone被选择的时间。
2.根据权利要求1所述的方法，其特征在于，根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone，包括：
根据到期时间范围与可用zone列表的索引中，查找对象分片的到期时间所在的到期时间范围；
从查找到的到期时间范围对应的可用zone列表中，确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone。
3.根据权利要求2所述的方法，其特征在于，从所述至少一个可用zone中选择出一个第一目标zone/选择一个空闲zone作为第二目标zone，包括：
按照存储节点负载均衡的方式，从所述至少一个可用zone中选择出一个第一目标zone/选择一个空闲zone作为第二目标zone。
4.根据权利要求1或2所述的方法，其特征在于，根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间，包括：
将所述对象分片的写入时间与所述对象分片的生命周期求和，得到所述第二目标zone的最短到期时间，将所述最短到期时间与预设可复用时间求和，得到最长到期时间。
5.根据权利要求4所述的方法，其特征在于，从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的最短到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone；
否则，将可用zone列表中可用zone的最短到期时间，按照设定时间粒度递增；
确定递增后的至少一个可用zone的到期时间在所述对象分片的到期时间之后时结束递增，从所述至少一个可用zone中选择出一个第一目标zone，或递增后可用zone的到期时间到达对应的最长到期时间时结束递增。
6.根据权利要求1所述的方法，其特征在于，根据不可用zone的到期时间确定过期的不可用zone，包括：
将所述不可用zone中第一个对象分片写入的时间、所述第一个对象分片的生命周期与预设可复用时间求和，得到所述不可用zone的最长到期时间；
确定当前时间距离不可用zone中第一个对象分片写入的时间，超过所述不可用zone的最长到期时间时，确定所述不可用zone过期。
7.根据权利要求2所述的方法，其特征在于，确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中选择出一个第一目标zone，包括：
确定至少一个可用zone的到期时间在所述对象分片的到期时间之后时，从所述至少一个可用zone中，选择到期时间与所述对象分片的到期时间最接近的一个可用zone作为第一目标zone。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取存储节点上报的已删除zone内的对象分片信息；
确定同一文件的小于/等于M个对象分片被删除时，将该文件对应的对象数据状态更新为降级状态，将对所述文件的访问控制更新为可读取；
确定同一文件的大于M个对象分片，但小于N+M个对象被删除时，将该文件对应的对象数据状态更新为删除中状态，将对所述文件的访问控制更新为可查询记录，但不可读取；
确定同一文件的N+M个对象分片被删除时，将该文件对应的对象数据状态更新为删除状态，将对所述文件的访问控制更新为不可查询；
其中N为纠删码EC写入模式中数据块的数量，M为EC写入模式中冗余块的数量。
9.一种对象存储数据生命周期管理装置，其特征在于，所述装置包括：
响应指令模块，用于响应于数据写入指令，用于根据对象分片的写入时间及存储生命周期确定所述对象分片的到期时间；
第一选择zone模块，用于根据可用zone列表中可用zone的到期时间，确定能够选择出一个可用zone作为第一目标zone时，指示对应的存储节点将所述对象分片写入所述第一目标zone；
第二选择zone模块，用于确定获取可用zone失败时，选择一个空闲zone作为第二目标zone，指示对应的存储节点将所述对象分片写入所述第二目标zone，将所述第二目标zone加入可用zone列表，并根据所述对象分片的写入时间及存储生命周期确定所述第二目标zone的到期时间；
第一zone变更模块，用于确定可用zone列表中可用zone满足不可用条件时，将所述可用zone变更为不可用zone并移动到不可用zone列表；
第二zone变更模块，用于根据不可用zone的到期时间确定过期的不可用zone，指示对应的存储节点删除所述不可用zone，将所述不可用zone恢复为空闲zone；
其中，所述不可用条件包括如下至少一种：
可用zone列表中可用zone的剩余空间小于预设值；
可用zone加入可用zone列表后超过预设可复用时间，所述预设可复用时间表征所述可用zone能够作为第一目标zone被选择的时间。
10.一种对象存储数据生命周期管理设备，其特征在于，所述设备包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8中任何一项所述的方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-8任何一项所述的方法。
CN202111446695.2A 2021-11-30 2021-11-30 一种对象存储数据生命周期管理方法、装置及设备 Active CN114153395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111446695.2A CN114153395B (zh) 2021-11-30 2021-11-30 一种对象存储数据生命周期管理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111446695.2A CN114153395B (zh) 2021-11-30 2021-11-30 一种对象存储数据生命周期管理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114153395A CN114153395A (zh) 2022-03-08
CN114153395B true CN114153395B (zh) 2024-05-14

Family

ID=80455794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111446695.2A Active CN114153395B (zh) 2021-11-30 2021-11-30 一种对象存储数据生命周期管理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114153395B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806528A (zh) * 2022-09-23 2024-04-02 华为云计算技术有限公司 一种数据存储方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331973A (zh) * 2011-03-18 2012-01-25 北京神州数码思特奇信息技术股份有限公司 一种内存数据存储系统和内存数据的插入、删除方法
CN104391661A (zh) * 2014-12-12 2015-03-04 西安三星电子研究有限公司 向固态硬盘写入数据的方法及设备
CN111858577A (zh) * 2019-04-29 2020-10-30 伊姆西Ip控股有限责任公司 存储管理的方法、设备和计算机程序产品
CN113672175A (zh) * 2021-08-09 2021-11-19 浙江大华技术股份有限公司 分布式对象存储方法、装置和设备及计算机存储介质
CN113688062A (zh) * 2020-05-18 2021-11-23 北京市商汤科技开发有限公司 用于存储数据的方法和相关产品

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7392234B2 (en) * 1999-05-18 2008-06-24 Kom, Inc. Method and system for electronic file lifecycle management
US10192065B2 (en) * 2015-08-31 2019-01-29 Commvault Systems, Inc. Automated intelligent provisioning of data storage resources in response to user requests in a data storage management system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331973A (zh) * 2011-03-18 2012-01-25 北京神州数码思特奇信息技术股份有限公司 一种内存数据存储系统和内存数据的插入、删除方法
CN104391661A (zh) * 2014-12-12 2015-03-04 西安三星电子研究有限公司 向固态硬盘写入数据的方法及设备
CN111858577A (zh) * 2019-04-29 2020-10-30 伊姆西Ip控股有限责任公司 存储管理的方法、设备和计算机程序产品
CN113688062A (zh) * 2020-05-18 2021-11-23 北京市商汤科技开发有限公司 用于存储数据的方法和相关产品
CN113672175A (zh) * 2021-08-09 2021-11-19 浙江大华技术股份有限公司 分布式对象存储方法、装置和设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向流式处理系统的对象管理方法;王家兴;林学练;申阳;张韵;张明明;马帅;;计算机科学与探索;20151030(第11期);全文 *

Also Published As

Publication number Publication date
CN114153395A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
US10896102B2 (en) Implementing secure communication in a distributed computing system
US9355112B1 (en) Optimizing compression based on data activity
US9798629B1 (en) Predicting backup failures due to exceeding the backup window
CN105468473B (zh) 数据迁移方法及数据迁移装置
US9846540B1 (en) Data durability using un-encoded copies and encoded combinations
US11151030B1 (en) Method for prediction of the duration of garbage collection for backup storage systems
US11093387B1 (en) Garbage collection based on transmission object models
CN113672175A (zh) 分布式对象存储方法、装置和设备及计算机存储介质
CN106951375B (zh) 在存储系统中删除快照卷的方法及装置
CN110727406B (zh) 一种数据存储调度方法及装置
EP2583183A1 (en) Data deduplication
CN109582213B (zh) 数据重构方法及装置、数据存储系统
US10628298B1 (en) Resumable garbage collection
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
CN103605585A (zh) 一种基于数据发现的智能备份方法
US11223528B2 (en) Management of cloud-based shared content using predictive cost modeling
WO2024061108A1 (en) Distributed storage systems and methods thereof, device and storage medium
CN114153395B (zh) 一种对象存储数据生命周期管理方法、装置及设备
CN112579550B (zh) 一种分布式文件系统的元数据信息同步方法及系统
US20210397599A1 (en) Techniques for generating a consistent view of an eventually consistent database
US11436193B2 (en) System and method for managing data using an enumerator
CN106873906A (zh) 用于管理元信息的方法和装置
CN114153392A (zh) 一种对象存储数据存储管理方法、装置及设备
CN103502953B (zh) 提高分布式对象存储系统的并发性能的方法和装置
TWI754837B (zh) 資料庫遷移的方法、裝置、設備及電腦可讀媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant