CN114780484A - 一种用于对象存储的文件生命周期管理的实施方法 - Google Patents

一种用于对象存储的文件生命周期管理的实施方法 Download PDF

Info

Publication number
CN114780484A
CN114780484A CN202210007767.1A CN202210007767A CN114780484A CN 114780484 A CN114780484 A CN 114780484A CN 202210007767 A CN202210007767 A CN 202210007767A CN 114780484 A CN114780484 A CN 114780484A
Authority
CN
China
Prior art keywords
file
volume
time
object storage
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210007767.1A
Other languages
English (en)
Inventor
陆玉平
邓瑞明
蔡攀龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chuanyuan Information Technology Co ltd
Original Assignee
Shanghai Chuanyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chuanyuan Information Technology Co ltd filed Critical Shanghai Chuanyuan Information Technology Co ltd
Publication of CN114780484A publication Critical patent/CN114780484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及文件生命周期管理技术领域，具体是一种用于对象存储的文件生命周期管理的实施方法，包括以下步骤：步骤一：为每一个上传对象存储的文件设定一个生存时间值属；步骤二：为对象存储中创建的卷设定一个生存时间值属性；步骤三：查找对象存储中是否存在一个与文件具有相同生存时间值的卷；步骤四：定期检查具有生存时间值属性的卷，本发明通过将文件的时间生存值精确到分钟，能有效管理对象存储的文件的生存周期，以卷为单位进行文件生命周期管理，在存储大量小文件的对象存储中，能避免遍历所有小文件造成不能及时在用户指定时间删除，定期清理操作根据用户设定时间进行，有效避免在对象存储读写高峰期进行从而影响性能。

Description

一种用于对象存储的文件生命周期管理的实施方法
技术领域
本发明涉及文件生命周期管理技术领域，特别是涉及一种用于对象存储的 文件生命周期管理的实施方法。
背景技术
生命周期功能是AWSs3最早提供的一个bucket功能，生命周期功能 对bucket内的对象起作用，需要设置在bucket中，AWS s3的生命周期功能主 要有过期对象删除和达到条件的对象进行转存，也就是数据迁移两个功能， RGW全称RADOS gateway，是Ceph对外提供的对象存储服务，接口与AWS S3 和Swift兼容，通过RGW，用户可以使用HTTP协议，以RESTful的方式访问 Ceph的对象存储，RGW目前支持过期对象删除，对存储对象文件进行生命周 期管理。
RGW的bucket生命周期功能能够指定的生存期最小单位为天，最小生存 期为1天，无法设置更小的以时分秒为单位的生命周期，当数据量很大的时候， 很大概率不能在指定的时间内完成所有bucket遍历，bucket无法在指定时间完 成清理。
因此，现在亟需设计一种能解决上述一个或者多个问题的用于对象存储的 文件生命周期管理的实施方法。
发明内容
为解决现有技术中存在的一个或者多个问题，本发明提供了一种用于对象 存储的文件生命周期管理的实施方法。
本发明为达到上述目的所采用的技术方案是：一种用于对象存储的文件生 命周期管理的实施方法，包括以下步骤：
步骤一：为每一个上传对象存储的文件设定一个生存时间值属性，在对象 存储中存在的时间超过了设定的生存时间的文件视为无效文件，用户无权对该 文件进行读写，并且需要及时进行垃圾回收；
步骤二：为对象存储中创建的卷设定一个生存时间值属性；
步骤三：查找对象存储中是否存在一个与文件具有相同生存时间值的卷；
步骤四：定期检查具有生存时间值属性的卷。
优选的，所述步骤一中文件生存时间值的默认值为零时，则是未设置文件 生存时间值，此时文件长期有效。
优选的，所述步骤一中文件生存时间值的格式为整数加单位。
优选的，所述步骤三中如果存在与文件具有相同生存时间值的卷并且该卷 未满，则将该文件存储在该卷，根据上传文件设定的生存时间值选择存储用的 卷。
优选的，所述步骤三中如果不存在与文件具有相同生存时间值的卷或者查 找到的卷已满，则新建一个与文件具有相同生存时间值的卷并挂载，将文件上 传保存到该卷中。
优选的，所述步骤四中通过检查该卷的上一次读写时间与卷的生存时间值， 如果距离上一次读写该卷的时间已超过卷的生存时间值，则将该卷卸载并删除， 卷中存储的所有文件一并删除。
优选的，所述步骤四中用户要求读取文件时，如果该文件在对象存储中存 在的时间超过了其设定的生存时间，则在读取时报告该文件不存在。
本发明的有益效果是：
本发明通过将文件的时间生存值精确到分钟，能有效管理对象存储的文件 的生存周期，以卷为单位进行文件生命周期管理，在存储大量小文件的对象存 储中，能避免遍历所有小文件造成不能及时在用户指定时间删除，定期清理操 作根据用户设定时间进行，有效避免在对象存储读写高峰期进行从而影响性能， 有效管理对象存储的文件的生存周期，实现对超过生命管理周期的文件的读写 限制。
附图说明
图1为发明的方法流程示意图；
图2为发明的实施例方法示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加浅显易懂，下面结合附图对 本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以 便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实 施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发 明不受下面公开的具体实施例的限制。
如图1所示，本发明提供了一种用于对象存储的文件生命周期管理的实施 方法，包括以下步骤：
步骤一：为每一个上传对象存储的文件设定一个生存时间值属性，在对象 存储中存在的时间超过了设定的生存时间的文件视为无效文件，用户无权对该 文件进行读写，并且需要及时进行垃圾回收；
步骤二：为对象存储中创建的卷设定一个生存时间值属性；
步骤三：查找对象存储中是否存在一个与文件具有相同生存时间值的卷；
步骤四：定期检查具有生存时间值属性的卷。
进一步的，在上述技术方案中，所述步骤一中文件生存时间值的默认值为 零时，则是未设置文件生存时间值，此时文件长期有效。
进一步的，在上述技术方案中，所述步骤一中文件生存时间值的格式为整 数加单位。
进一步的，在上述技术方案中，所述步骤三中如果存在与文件具有相同生 存时间值的卷并且该卷未满，则将该文件存储在该卷，根据上传文件设定的生 存时间值选择存储用的卷。
进一步的，在上述技术方案中，所述步骤三中如果不存在与文件具有相同 生存时间值的卷或者查找到的卷已满，则新建一个与文件具有相同生存时间值 的卷并挂载，将文件上传保存到该卷中。
进一步的，在上述技术方案中，所述步骤四中通过检查该卷的上一次读写 时间与卷的生存时间值，如果距离上一次读写该卷的时间已超过卷的生存时间 值，则将该卷卸载并删除，卷中存储的所有文件一并删除。
进一步的，在上述技术方案中，所述步骤四中用户要求读取文件时，如果 该文件在对象存储中存在的时间超过了其设定的生存时间，则在读取时报告该 文件不存在。
实施例1
1.用户A上传一个生存时间值为3分钟的文件file1；
2.对象存储自动创建一个生存时间值为3分钟的卷volume1，并挂载该卷；
3.将步骤1中用户上传的文件file1放入步骤2创建的卷volume1；
4.用户B上传一个生存时间值为26小时的文件file2；
5.对象存储自动创建一个生存时间值为26小时的卷volume2，并挂载该卷；
6.将步骤4用户上传的文件file2放入步骤5创建的卷volume2；
7.用户B上传一个生存时间值为3分钟的文件file3；
8.对象存储检测到已经存在生存时间值为3分钟的卷volume1，将步骤7 用户上传的文件file3放入步骤2创建的卷volume1；
9.距离步骤1的操作10分钟后，用户A希望读取步骤1上传的文件file1， 由于此时文件file1放入对象存储的时间已超过生存时间值，因此对象存储返回 文件不存在的警告，用户读取文件file1失败，用户无权对该文件进行读写，并 且需要及时进行垃圾回收；
10.距离步骤4的操作20分钟后，用户B希望读取步骤4上传的文件file2， 此时文件file2放入对象存储的时间尚未超过尚存时间值，因此用户正常读取文 件file2；
11.每日凌晨0点定期检查对象存储中的已设置了生存时间值的卷是否已 超过卷的生存时间值未读写，如果距离上一次读写该卷的时间已超过卷的生存 时间值，卷volume1已超过3分钟未读写，说明卷中所有文件已无效，卸载并 删除该卷，卷volume2距离上一次读写该卷，即放入file2的时间未超过26小 时，保留该卷。
综上所述，本发明包括：首先为每一个上传对象存储的文件设定一个生存 时间值属性，然后为对象存储中创建的卷设定一个生存时间值属性，然后查找 对象存储中是否存在一个与文件具有相同生存时间值的卷，如果存在与文件具 有相同生存时间值的卷并且该卷未满，则将该文件存储在该卷，根据上传文件 设定的生存时间值选择存储用的卷，如果不存在与文件具有相同生存时间值的 卷或者查找到的卷已满，则新建一个与文件具有相同生存时间值的卷并挂载， 将文件上传保存到该卷中，然后定期检查具有生存时间值属性的卷，通过检查 该卷的上一次读写时间与卷的生存时间值，如果距离上一次读写该卷的时间已 超过卷的生存时间值，则将该卷卸载并删除，卷中存储的所有文件一并删除， 用户要求读取文件时，如果该文件在对象存储中存在的时间超过了其设定的生 存时间，则在读取时报告该文件不存在，在对象存储中存在的时间超过了设定 的生存时间的文件视为无效文件，用户无权对该文件进行读写，并且需要及时 进行垃圾回收。
以上所述实施例仅表达了本发明的一种或者多种实施方式，其描述较为具 体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对 于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若 干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围 应以所附权利要求为准。

Claims (7)

1.一种用于对象存储的文件生命周期管理的实施方法，其特征在于：包括以下步骤：
步骤一：为每一个上传对象存储的文件设定一个生存时间值属性，在对象存储中存在的时间超过了设定的生存时间的文件视为无效文件，用户无权对该文件进行读写，并且需要及时进行垃圾回收；
步骤二：为对象存储中创建的卷设定一个生存时间值属性；
步骤三：查找对象存储中是否存在一个与文件具有相同生存时间值的卷；
步骤四：定期检查具有生存时间值属性的卷。
2.根据权利要求1所述的一种用于对象存储的文件生命周期管理的实施方法，其特征在于：所述步骤一中文件生存时间值的默认值为零时，则是未设置文件生存时间值，此时文件长期有效。
3.根据权利要求1所述的一种用于对象存储的文件生命周期管理的实施方法，其特征在于：所述步骤一中文件生存时间值的格式为整数加单位。
4.根据权利要求1所述的一种用于对象存储的文件生命周期管理的实施方法，其特征在于：所述步骤三中如果存在与文件具有相同生存时间值的卷并且该卷未满，则将该文件存储在该卷，根据上传文件设定的生存时间值选择存储用的卷。
5.根据权利要求4所述的一种用于对象存储的文件生命周期管理的实施方法，其特征在于：所述步骤三中如果不存在与文件具有相同生存时间值的卷或者查找到的卷已满，则新建一个与文件具有相同生存时间值的卷并挂载，将文件上传保存到该卷中。
6.根据权利要求1所述的一种用于对象存储的文件生命周期管理的实施方法，其特征在于：所述步骤四中通过检查该卷的上一次读写时间与卷的生存时间值，如果距离上一次读写该卷的时间已超过卷的生存时间值，则将该卷卸载并删除，卷中存储的所有文件一并删除。
7.根据权利要求1所述的一种用于对象存储的文件生命周期管理的实施方法，其特征在于：所述步骤四中用户要求读取文件时，如果该文件在对象存储中存在的时间超过了其设定的生存时间，则在读取时报告该文件不存在。
CN202210007767.1A 2021-12-30 2022-01-06 一种用于对象存储的文件生命周期管理的实施方法 Pending CN114780484A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111652882 2021-12-30
CN2021116528826 2021-12-30

Publications (1)

Publication Number Publication Date
CN114780484A true CN114780484A (zh) 2022-07-22

Family

ID=82422888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210007767.1A Pending CN114780484A (zh) 2021-12-30 2022-01-06 一种用于对象存储的文件生命周期管理的实施方法

Country Status (2)

Country Link
CN (1) CN114780484A (zh)
WO (1) WO2023123802A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123802A1 (zh) * 2021-12-30 2023-07-06 上海川源信息科技有限公司 一种用于对象存储的文件生命周期管理的实施方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738588B2 (en) * 2007-03-26 2014-05-27 International Business Machines Corporation Sequential media reclamation and replication
JP5876592B2 (ja) * 2012-04-25 2016-03-02 株式会社日立製作所 ファイルストレージシステムとファイルクローニング方法
CN105893152A (zh) * 2016-03-31 2016-08-24 广东欧珀移动通信有限公司 一种内存管理方法、装置及移动终端
CN108646987B (zh) * 2018-05-21 2022-05-31 北京五八信息技术有限公司 一种文件卷的管理方法、装置、存储介质及终端
CN114780484A (zh) * 2021-12-30 2022-07-22 上海川源信息科技有限公司 一种用于对象存储的文件生命周期管理的实施方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123802A1 (zh) * 2021-12-30 2023-07-06 上海川源信息科技有限公司 一种用于对象存储的文件生命周期管理的实施方法

Also Published As

Publication number Publication date
WO2023123802A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
US8250033B1 (en) Replication of a data set using differential snapshots
CN104462563B (zh) 一种文件存储方法和系统
JP5823037B2 (ja) インデックス構築方法、検索方法、検索デバイス、および検索システム
JP2008546076A (ja) 時間制限メッセージの効率的な処理
CN108399047B (zh) 一种闪存文件系统及其数据管理方法
US10628298B1 (en) Resumable garbage collection
EP3788505B1 (en) Storing data items and identifying stored data items
US9195692B2 (en) Information processing system
CN104462389A (zh) 基于分级存储的分布式文件系统实现方法
US9348711B2 (en) Copy control apparatus and copy control method
CN113568582B (zh) 数据管理方法、装置和存储设备
CN103605585A (zh) 一种基于数据发现的智能备份方法
WO2023155849A1 (zh) 基于时间衰减的样本删除方法及其装置、存储介质
CN114780484A (zh) 一种用于对象存储的文件生命周期管理的实施方法
CN101470733A (zh) 数据块副本数量调整方法及分布式文件系统
CN109783274B (zh) 一种磁盘快照的管理方法、装置以及可读存储介质
CN114595291B (zh) 基于数据库注释的归集任务调整方法、装置
WO2018077092A1 (zh) 应用于分布式文件系统的存盘方法、装置及分布式文件系统
JP6110354B2 (ja) 異種記憶サーバおよびそのファイル記憶方法
US11645333B1 (en) Garbage collection integrated with physical file verification
CN115987759B (zh) 数据处理方法、装置、电子设备及存储介质
CN113821176B (zh) 一种数据迁移的处理方法、装置及存储介质
CN104821907A (zh) 一种电子邮件处理方法
CN114063935B (zh) 处理数据的方法以及装置
CN115658626B (zh) 一种分布式网络小文件存储管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination