CN114489483A - 一种基于对象储存的磁盘管理方法及对象存储模组 - Google Patents

一种基于对象储存的磁盘管理方法及对象存储模组 Download PDF

Info

Publication number
CN114489483A
CN114489483A CN202111600725.0A CN202111600725A CN114489483A CN 114489483 A CN114489483 A CN 114489483A CN 202111600725 A CN202111600725 A CN 202111600725A CN 114489483 A CN114489483 A CN 114489483A
Authority
CN
China
Prior art keywords
folder
target
storage module
object storage
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111600725.0A
Other languages
English (en)
Inventor
唐健
许义霖
黄海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202111600725.0A priority Critical patent/CN114489483A/zh
Publication of CN114489483A publication Critical patent/CN114489483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Abstract

本申请实施例提供了一种基于对象储存的磁盘管理方法及对象存储模组，用于提高磁盘效率。本申请实施例方法包括：对象存储模组接收创建指令；所述对象存储模组根据所述创建指令建立储存区；所述对象存储模组在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；所述对象存储模组获取存储指令；所述对象存储模组根据所述存储指令获取目标文件；所述对象存储模组根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。

Description

一种基于对象储存的磁盘管理方法及对象存储模组
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种基于对象储存的磁盘管理方法及对象存储模组。
背景技术
对象存储在大数据的大潮中受到广泛关注，并得到迅速的发展，对象存储与文件存储不同，对象不以目录分层的结构进行组织。
在现有技术中，每个对象都位于被称为离散的扁平空间的同级，每一级的每个对象在存储系统中都有唯一的标识，用户通过这个标志来访问对象。采用离散扁平化的数据组织结构抛弃了嵌套的文件夹，避免维护庞大的目录树。在大数据和人工智能时代下，存储的文件对象超过上百万个，单位时间内的访问次数和并发访问量也达到了前所未有的量级，过于庞大的数据量级访问量导致用户访问的磁盘的效率降低。
发明内容
本申请实施例提供了一种基于对象储存的磁盘管理方法及对象存储模组，用于提高磁盘效率。
本申请第一方面提供了一种基于对象储存的磁盘管理方法，包括：
对象存储模组接收创建指令；
所述对象存储模组根据所述创建指令建立储存区；
所述对象存储模组在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
所述对象存储模组获取存储指令；
所述对象存储模组根据所述存储指令获取目标文件；
所述对象存储模组根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
可选的，在所述根据预设规则将所述目标文件储存至目标文件夹内之前，所述方法还包括：
所述对象存储模组判断所述储存区是否达到储存量的预设值；
若是，则所述对象存储模组遍历所述储存区对应的的目标文件夹集群，得到对象信息列表；
所述对象存储模组根据所述对象信息列表中对象信息的创建时间对所述对象信息列表进行排序，得到目标对象信息列表；
所述对象存储模组根据所述创建时间淘汰在所述目标对象信息列表中创建时间最早的对象信息，直到所述储存区的储存量低于所述储存量的预设值。
可选的，所述遍历所述储存区对应的的目标文件夹集群，得到对象信息列表之后，所述方法还包括：
所述对象存储模组锁定所述目标文件夹集群中正在遍历读取的文件夹。
可选的，锁定所述目标文件夹集群中正在遍历读取的文件夹之后，所述方法还包括：
所述对象存储模组判断所述文件夹是否锁定成功；
若否，则所述对象存储模组确定所述文件夹正在被读取；
所述对象存储模组对所述文件夹进行二次锁定，直至所述文件夹被锁定成功。
可选的，所述根据预设规则将所述目标文件储存至目标文件夹内包括：
所述对象存储模组对所述目标文件的文件名进行哈希计算，得到目标文件名；
所述对象存储模组根据所述目标文件名的前两位数值对比所述文件夹集群中的文件名，得到目标文件夹；
所述对象存储模组将所述目标文件映射至所述目标文件夹内。
本申请第二方面提供了一种对象存储模组，包括：
第一接收单元，用于接收创建指令；
第一建立单元，用于根据所述创建指令建立储存区；
第二建立单元，用于在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
第一获取单元，用于获取存储指令；
第二获取单元，用于根据所述存储指令获取目标文件；
储存单元，用于根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
可选的，所述对象存储模组还包括：
第一判断单元，用于判断所述储存区是否达到储存量的预设值；
遍历单元，用于在所述第一判断单元的判断结果为是时，遍历所述储存区对应的的目标文件夹集群，得到对象信息列表；
排序单元，用于根据所述对象信息列表中对象信息的创建时间对所述对象信息列表进行排序，得到目标对象信息列表；
淘汰单元，用于根据所述创建时间淘汰在所述目标对象信息列表中创建时间最早的对象信息，直到所述储存区的储存量低于所述储存量的预设值。
可选的，所述对象存储模组还包括：
第一锁定单元，用于锁定所述目标文件夹集群中正在遍历读取的文件夹。
可选的，锁定所述目标文件夹集群中正在遍历读取的文件夹之后，所述方法还包括：
第二判断单元，用于判断所述文件夹是否锁定成功；
确定单元，用于在所述第二判断单元判断结果为否时，确定所述文件夹正在被读取；
第二锁定单元，用于对所述文件夹进行二次锁定，直至所述文件夹被锁定成功。
可选的，所述储存单元还包括：
计算模块，用于对所述目标文件的文件名进行哈希计算，得到目标文件名；
对比模块，用于根据所述目标文件名的前两位数值对比所述文件夹集群中的文件名，得到目标文件夹；
储存模块，用于将所述目标文件映射至所述目标文件夹内。
本申请第三方面提供了一种对象存储模组，包括：
处理器、存储器、输入输出单元、总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述处理器具体执行与前述第一方面相同的操作。
从以上技术方案可以看出，本申请通过采用离散扁平化的对象存储策略和磁盘管理策略，合理利用磁盘和提高磁盘的效率。
附图说明
图1为本申请实施例中基于对象储存的磁盘管理方法的一个实施例流程示意图；
图2为本申请实施例中基于对象储存的磁盘管理方法的另一实施例流程示意图；
图3为本申请实施例中对象存储模组的一个实施例结构示意图；
图4为本申请实施例中对象存储模组的另一实施例结构示意图；
图5为本申请实施例中对象存储模组的另一实施例结构示意图。
具体实施方式
本申请实施例提供了一种基于对象储存的磁盘管理方法及对象存储模组，用于提高磁盘效率。
下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，本申请实施例提供了基于对象储存的磁盘管理方法的一种实施例，包括：
101、对象存储模组接收创建指令；
本申请实施例描述的磁盘管理方法针对于对象储存，对象存储与文件存储不同，对象不以目录分层的结构进行组织。每个对象都位于被称为离散的扁平空间的同级，每一级的每个对象在存储系统中都有唯一的标识，用户通过这个标志来访问对象。对象储存采用离散扁平化的数据组织结构抛弃了嵌套的文件夹，避免维护庞大的目录树。
102、所述对象存储模组根据所述创建指令建立储存区；
对象存储模组在接受客户指令后会创建与该客户对应的桶(bucket)，桶是存储对象的容器，用于容纳对象文件。
103、所述对象存储模组在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
在对象存储模组创建与该用户对应的桶后，对象存储模组会在储存区中建立一个离散的文件夹集群，该集群中的文件夹命名规则为从00至ZZ，即从01、02、03、04至ZX、ZY、ZZ结束共计生成1296个文件夹，具体的多个文件夹集群使得用户无需关心对象存储模块的具体物理实现，只需关心文件对象的key，简化了程序结构降低程序开发成本。
104、所述对象存储模组获取存储指令；
在对象存储模组针对该用户建立了文件夹集群后，当该用户需要对对象进行存储时，用户会向对象存储模组发送存储指令，从而使对象存储模组会接收到该存储指令。
105、所述对象存储模组根据所述存储指令获取目标文件；
对象存储模组在接收到用户的存储指令后，对象存储模组将会根据该存储指令获取目标文件，目标文件为存储指令的携带信息，使得对象存储模组能够根据用户的存储指令获取到目标文件。
106、所述对象存储模组根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
预设规则的目的是为了防止对象储存模组在接收到大量文件后将所有文件集中储存在统一文件夹内，导致后续对对象数据的管维护困难，在本申请实施例中，预设规则的目的是从目标文件的数据中找到与文件夹命名规则相同的参照数据，使得在后续需要对对象进行调取或维护时能够有依据的对对象数据进行检索并调用。
从以上技术方案可以看出，本申请通过采用离散扁平化的对象存储策略和磁盘管理策略，合理利用磁盘和提高磁盘的效率。
请参阅图2，本申请实施例提供了基于对象储存的磁盘管理方法的另一实施例，包括：
201、对象存储模组接收创建指令；
202、所述对象存储模组根据所述创建指令建立储存区；
203、所述对象存储模组在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
204、所述对象存储模组获取存储指令；
205、所述对象存储模组根据所述存储指令获取目标文件；
本实施例中的步骤201至205与前述实施例中步骤101至105类似，此处不再赘述。
206、所述对象存储模组判断所述储存区是否达到储存量的预设值；
在本申请实施例中，在对象存储模组向桶内存储对象数据之前，对象存储模组会对桶的储存余量进行判断，该储存量为目标用户对应的桶的磁盘使用量，在对象存储模组中存放有用于进行储存区存储量的预设值，当对象存储模组获取到目标文件后，目标存储模组将会确定目标文件的存储的桶，并判断该目标文件对应的桶是的储存量是否超过预设的储存量的值，若超过预设的储存量的值，则执行步骤207，若不超过预设储存量的值则执行步骤214。
207、若是，则所述对象存储模组遍历所述储存区对应的目标文件夹集群，得到对象信息列表；
当对象储存模组判断该目标用户对应的桶的储存量达到了预设值，则说明该目标用户对应的桶所储存的对象临近存储上限，需要对该桶中包含的目标用户进行对象数据的清理，在这一情况下，对象储存模组会对目标桶中的文件夹集群中的文件夹逐一进行遍历。
208、所述对象存储模组锁定所述目标文件夹集群中正在遍历读取的文件夹。
在对象存储模组对文件夹集群中的文件夹进行遍历时，可能会对该文件夹进行读写操作，因此在对象存储模组对文件夹进行遍历时，会将该目标文件夹上锁，使得在遍历的过程中不会出现向目标文件夹内文件进行其他读写操作，导致在对目标文件夹进行遍历时获取到无效对象或遗漏对象未进行遍历的情况发生。
209、所述对象存储模组判断所述文件夹是否锁定成功；
在实际情况中，目标文件夹若正在进行文件夹内部对象的调用时，目标文件夹可能会被其他的调用方锁定，在这一情况下，对象存储模组对目标文件夹的锁定会失败，故需要对象存储模组需要判断该目标文件夹是否锁定成功。若成功，则对该文件夹进行遍历，若不成功，则执行步骤210。
210、若否，则所述对象存储模组确定所述文件夹正在被读取；
若对象存储模组无法锁定目标文件夹，则说明目标文件夹正在被调用，此时的对象存储模组会对该文件夹进行标记，该标记用于确定文件夹的遍历状态，在本申请实施例中，对象存储模组依序对文件夹集群进行遍历，为了防止因目标文件夹正在被调用而没有进行遍历的情况发生，在目标文件夹正在被读取时，对象存储模组会对文件夹进行标记。
211、所述对象存储模组对所述文件夹进行二次锁定，直至所述文件夹被锁定成功。
在对象存储模组判断锁定失败后，对象储存模组会优先遍历下一个文件夹，在对下一个文件夹进行遍历后，在重新对目标文件夹进行锁定遍历，该流程循环到目标文件夹成功锁定。
212、所述对象存储模组根据所述对象信息列表中对象信息的创建时间对所述对象信息列表进行排序，得到目标对象信息列表；
在对象存储模组在对目标文件夹进行锁定后，对象存储模组会对目标文件夹内的对象进行生成时间的信息提取，并根据获取到的生成时间信息将目标文件夹内的对象进行排序，从而得到目标对象信息列表。
213、所述对象存储模组根据所述创建时间淘汰在所述目标对象信息列表中创建时间最早的对象信息，直到所述储存区的储存量低于所述储存量的预设值。
对象存储模组依序清理目标文件夹中最早的对象信息，知道储存区的储存量低于所述储存量的预设值位置。
具体的，由于只是局部的子文件夹锁，所以在整个磁盘淘汰策略期间，对象存储模组还是可以进行对象的存储，提高了整个对象存储的效率。淘汰早期的对象，释放出磁盘空间，使得对象存储模块可以容纳最的文件对象，提高了磁盘利用率。
214、所述对象存储模组对所述目标文件的文件名进行哈希计算，得到目标文件名；
当对象存储模组确定目标文件可以进行存放后，对象存储模组会对目标文件的文件名进行md5哈希计算，目标文件名为通过计算后得到的哈希值。
具体的，md5的离散算法简单，在高并发的场景下不会造成系统的负担，同时md5的算法能使得对象很平均的分布到各个桶的子文件夹下，避免文件夹的集中存储,为后续各个文件夹管理提供很好的条件。同时在文件存储时，具体只锁到对应的子文件夹下，避免了整个桶的锁，从而大大提供了对象存储模块的效率。
215、所述对象存储模组根据所述目标文件名的前两位数值对比所述文件夹集群中的文件名，得到目标文件夹；
在对象存储模块取文件名中哈希值的前2位作为对应桶的文件夹集群中子文件夹名称，从而确定目标文件夹。
216、所述对象存储模组将所述目标文件映射至所述目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
具体的，在对象存储模块确定了目标文件夹后，对象存储模块会根据对象信息将其文件内容映射到桶对应的文件夹下。
在本申请实施例中，对象存储模组在对对象信息进行存储之前会对目标用户的对应桶进行储存量的判断，从而防止剩余储存量无法满足对象信息储存的情况发生，在进行储存量判断时，对象存储模组的锁定目标针对于目标文件夹，因为仅是对局部的子文件夹进行锁定操作，所以在整个磁盘淘汰策略期间，对象存储模组还是可以进行对象的存储，提高了整个对象存储的效率。
请参阅图3，本申请实施例提供了对象存储模组的一种实施例，包括：
第一接收单元301，用于接收创建指令；
第一建立单元302，用于根据所述创建指令建立储存区；
第二建立单元303，用于在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
第一获取单元304，用于获取存储指令；
第二获取单元305，用于根据所述存储指令获取目标文件；
储存单元306，用于根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
本实施例中，各单元的功能与前述图1所示实施例中的步骤对应，此处不再赘述。
请参阅图4，本申请实施例提供了对象存储模组的另一实施例，包括：
第一接收单元401，用于接收创建指令；
第一建立单元402，用于根据所述创建指令建立储存区；
第二建立单元403，用于在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
第一获取单元404，用于获取存储指令；
第二获取单元405，用于根据所述存储指令获取目标文件；
第一判断单元406，用于判断所述储存区是否达到储存量的预设值；
遍历单元407，用于在所述第一判断单元的判断结果为是时，遍历所述储存区对应的目标文件夹集群，得到对象信息列表；
锁定单元408，用于锁定所述目标文件夹集群中正在遍历读取的文件夹。
第二判断单元409，用于判断所述文件夹是否锁定成功；
确定单元410，用于在所述第二判断单元判断结果为否时，确定所述文件夹正在被读取；
第二锁定单元411，用于对所述文件夹进行二次锁定，直至所述文件夹被锁定成功。
排序单元412，用于根据所述对象信息列表中对象信息的创建时间对所述对象信息列表进行排序，得到目标对象信息列表；
淘汰单元413，用于根据所述创建时间淘汰在所述目标对象信息列表中创建时间最早的对象信息，直到所述储存区的储存量低于所述储存量的预设值。
储存单元414，用于根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
在本申请实施例中，所述储存单元413还包括：
计算模块4131，用于对所述目标文件的文件名进行哈希计算，得到目标文件名；
对比模块4132，用于根据所述目标文件名的前两位数值对比所述文件夹集群中的文件名，得到目标文件夹；
储存模块4133，用于将所述目标文件映射至所述目标文件夹内。
本实施例中，各单元的功能与前述图2所示实施例中的步骤对应，此处不再赘述。
请参阅图5，本申请实施例提供了对象存储模组的另一实施例，包括：
处理器501、存储器502、输入输出单元503、总线504；
所述处理器501与所述存储器502、所述输入输出单元503以及所述总线504相连；
所述处理器501具体执行图1至图2的方法中的步骤对应的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于对象储存的磁盘管理方法，其特征在于，包括：
对象存储模组接收创建指令；
所述对象存储模组根据所述创建指令建立储存区；
所述对象存储模组在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
所述对象存储模组获取存储指令；
所述对象存储模组根据所述存储指令获取目标文件；
所述对象存储模组根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
2.根据权利要求1所述的磁盘管理方法，其特征在于，在所述根据预设规则将所述目标文件储存至目标文件夹内之前，所述方法还包括：
所述对象存储模组判断所述储存区是否达到储存量的预设值；
若是，则所述对象存储模组遍历所述储存区对应的的目标文件夹集群，得到对象信息列表；
所述对象存储模组根据所述对象信息列表中对象信息的创建时间对所述对象信息列表进行排序，得到目标对象信息列表；
所述对象存储模组根据所述创建时间淘汰在所述目标对象信息列表中创建时间最早的对象信息，直到所述储存区的储存量低于所述储存量的预设值。
3.根据权利要求2所述的磁盘管理方法，其特征在于，所述遍历所述储存区对应的目标文件夹集群，得到对象信息列表之后，所述方法还包括：
所述对象存储模组锁定所述目标文件夹集群中正在遍历读取的文件夹。
4.根据权利要求3所述的磁盘管理方法，其特征在于，锁定所述目标文件夹集群中正在遍历读取的文件夹之后，所述方法还包括：
所述对象存储模组判断所述文件夹是否锁定成功；
若否，则所述对象存储模组确定所述文件夹正在被读取；
所述对象存储模组对所述文件夹进行二次锁定，直至所述文件夹被锁定成功。
5.根据权利要求1至4中任一项所述的磁盘管理方法，其特征在于，所述根据预设规则将所述目标文件储存至目标文件夹内包括：
所述对象存储模组对所述目标文件的文件名进行哈希计算，得到目标文件名；
所述对象存储模组根据所述目标文件名的前两位数值对比所述文件夹集群中的文件名，得到目标文件夹；
所述对象存储模组将所述目标文件映射至所述目标文件夹内。
6.一种对象存储模组，其特征在于，包括：
第一接收单元，用于接收创建指令；
第一建立单元，用于根据所述创建指令建立储存区；
第二建立单元，用于在所述储存区的指定路径上建立文件夹集群，所述文件夹集群为通过预设的命名规则进行离散建立，所述文件夹集群最多包括1296个文件夹；
第一获取单元，用于获取存储指令；
第二获取单元，用于根据所述存储指令获取目标文件；
储存单元，用于根据预设规则将所述目标文件储存至目标文件夹内，所述目标文件夹属于所述文件夹集群内的文件夹。
7.根据权利要求6所述的对象存储模组，其特征在于，所述对象存储模组还包括：
第一判断单元，用于判断所述储存区是否达到储存量的预设值；
遍历单元，用于在所述第一判断单元的判断结果为是时，遍历所述储存区对应的的目标文件夹集群，得到对象信息列表；
排序单元，用于根据所述对象信息列表中对象信息的创建时间对所述对象信息列表进行排序，得到目标对象信息列表；
淘汰单元，用于根据所述创建时间淘汰在所述目标对象信息列表中创建时间最早的对象信息，直到所述储存区的储存量低于所述储存量的预设值。
8.根据权利要求7所述的对象存储模组，其特征在于，所述对象存储模组还包括：
第一锁定单元，用于锁定所述目标文件夹集群中正在遍历读取的文件夹。
9.根据权利要求8所述的对象存储模组，其特征在于，所述对象存储模组还包括：
第二判断单元，用于判断所述文件夹是否锁定成功；
确定单元，用于在所述第二判断单元判断结果为否时，确定所述文件夹正在被读取；
第二锁定单元，用于对所述文件夹进行二次锁定，直至所述文件夹被锁定成功。
10.根据权利要求6至9中任一项所述的对象存储模组，其特征在于，所述储存单元还包括：
计算模块，用于对所述目标文件的文件名进行哈希计算，得到目标文件名；
对比模块，用于根据所述目标文件名的前两位数值对比所述文件夹集群中的文件名，得到目标文件夹；
储存模块，用于将所述目标文件映射至所述目标文件夹内。
CN202111600725.0A 2021-12-24 2021-12-24 一种基于对象储存的磁盘管理方法及对象存储模组 Pending CN114489483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111600725.0A CN114489483A (zh) 2021-12-24 2021-12-24 一种基于对象储存的磁盘管理方法及对象存储模组

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111600725.0A CN114489483A (zh) 2021-12-24 2021-12-24 一种基于对象储存的磁盘管理方法及对象存储模组

Publications (1)

Publication Number Publication Date
CN114489483A true CN114489483A (zh) 2022-05-13

Family

ID=81496349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111600725.0A Pending CN114489483A (zh) 2021-12-24 2021-12-24 一种基于对象储存的磁盘管理方法及对象存储模组

Country Status (1)

Country Link
CN (1) CN114489483A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393532A (zh) * 2007-03-29 2009-03-25 赛门铁克公司 从单实例数据归档和/或备份环境中去除数据的系统和方法
CN101556557A (zh) * 2009-05-14 2009-10-14 浙江大学 一种基于对象存储设备的对象文件组织方法
CN104639570A (zh) * 2013-11-06 2015-05-20 南京中兴新软件有限责任公司 资源对象存储处理方法及装置
WO2017185616A1 (zh) * 2016-04-25 2017-11-02 乐视控股（北京）有限公司 文件存储方法及电子设备
US20180341665A1 (en) * 2017-05-25 2018-11-29 International Business Machines Corporation Data object storage across multiple storage nodes
CN110489059A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 数据集群存储的方法、装置及计算机设备
CN112799841A (zh) * 2021-01-29 2021-05-14 烽火通信科技股份有限公司 一种数据对象存储管理的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393532A (zh) * 2007-03-29 2009-03-25 赛门铁克公司 从单实例数据归档和/或备份环境中去除数据的系统和方法
CN101556557A (zh) * 2009-05-14 2009-10-14 浙江大学 一种基于对象存储设备的对象文件组织方法
CN104639570A (zh) * 2013-11-06 2015-05-20 南京中兴新软件有限责任公司 资源对象存储处理方法及装置
WO2017185616A1 (zh) * 2016-04-25 2017-11-02 乐视控股（北京）有限公司 文件存储方法及电子设备
US20180341665A1 (en) * 2017-05-25 2018-11-29 International Business Machines Corporation Data object storage across multiple storage nodes
CN110489059A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 数据集群存储的方法、装置及计算机设备
CN112799841A (zh) * 2021-01-29 2021-05-14 烽火通信科技股份有限公司 一种数据对象存储管理的方法和装置

Similar Documents

Publication Publication Date Title
US9767131B2 (en) Hierarchical tablespace space management
US8806175B2 (en) Hybrid hash tables
US20180060318A1 (en) Coordinated hash table indexes to facilitate reducing database reconfiguration time
CN102629247B (zh) 一种数据处理方法、装置和系统
US20060282481A1 (en) Implementing a tree data storage structure in a distributed environment
US20240104059A1 (en) Method for Service Processing and System, Device, and Medium
CN106254466A (zh) 基于局域网的hdfs分布式文件共享方法
CN111917834A (zh) 一种数据同步方法、装置、存储介质及计算机设备
CN113901279B (zh) 一种图数据库的检索方法和装置
CN111309677B (zh) 一种分布式文件系统的文件管理方法及装置
CN113761059A (zh) 数据处理方法及装置
CN114489483A (zh) 一种基于对象储存的磁盘管理方法及对象存储模组
CN114595286A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN116501760A (zh) 一种内存与前缀树相结合的高效分布式元数据管理方法
WO2020131114A1 (en) Tree delta encoding
CN114443583A (zh) 一种碎片空间整理方法、装置、设备及存储介质
CN113282563A (zh) 基于对象存储的文件网关高可用实现方法及电子设备
Ayyalasomayajula et al. Optimization of Merkle Tree Structures: A Focus on Subtree Implementation
CN117009439B (zh) 数据处理方法、装置、电子设备及存储介质
CN115033608B (zh) 一种储能系统信息的分级处理方法及系统
US11640390B2 (en) Bulk file verification
CN111949439B (zh) 基于数据库的数据文件更新方法和装置
CN115705314A (zh) 文件操作方法、装置、计算机设备和存储介质
CN117891796A (zh) 一种适用于多读少写场景的hdfs海量小文件存储方法
CN114461572A (zh) 用于分布式文件系统的元数据采集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination