CN109446177A - 一种分布式文件系统目录文件个数配额的实现方法及装置 - Google Patents

一种分布式文件系统目录文件个数配额的实现方法及装置 Download PDF

Info

Publication number
CN109446177A
CN109446177A CN201811301449.6A CN201811301449A CN109446177A CN 109446177 A CN109446177 A CN 109446177A CN 201811301449 A CN201811301449 A CN 201811301449A CN 109446177 A CN109446177 A CN 109446177A
Authority
CN
China
Prior art keywords
file
catalogue
quota
newly created
number quota
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811301449.6A
Other languages
English (en)
Other versions
CN109446177B (zh
Inventor
牛勇刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811301449.6A priority Critical patent/CN109446177B/zh
Publication of CN109446177A publication Critical patent/CN109446177A/zh
Application granted granted Critical
Publication of CN109446177B publication Critical patent/CN109446177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开一种分布式文件系统目录文件个数配额的实现方法及装置,该方法包括:首先接收包括新创建文件的第一元数据更新请求信息,然后判断在写入该新创建文件后,目录文件个数配额是否超过预设的配额阈值,若超过,则不将该新创建文件写入目录文件中,若不超过,则将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器。可见,本申请通过将新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器,使得每个元数据服务器上统计的个数配额信息是一致的,从而保证在其他元数据服务器上创建新文件时,统计信息更新准确,超额判断及时。

Description

一种分布式文件系统目录文件个数配额的实现方法及装置
技术领域
本申请涉及计算机技术领域,具体涉及一种分布式文件系统目录文件个数配额的实现方法及装置。
背景技术
随着科学技术的快速发展,尤其是移动互联网、社交网络、电子商务的飞速发展,人类在生产和生活中产生的数据呈现指数型增长,导致数据处理量也与日俱增,随着需求的不断变大,云计算技术应用而生。
在云计算技术架构中,由于是需要支持海量数据的计算,传统集中式的架构已经不能适应云计算的发展要求,为了适应云计算要求,目前均采用的分布式的架构。在分布式架构中,主要由数据服务器,元数据服务器以及客户端组成,数据服务器主要负责数据存储,元数据服务器主要负责元数据的管理,客户端主要负责给用户提供交互接口。在分布式系统中,如果需要使用文件系统,则需要通过元数据服务器实现会文件系统中元数据管理,分布式系统中,为了提高分布式文件系统处理能力,往往会有多个元数据管理器来管理元数据。
目前在分布式文件系统中,配额存在主要目的是限制某个目录或者用户使用存储空间或者文件个数的数量。目录文件个数配额指的是限制该目录可以写入文件的数量,对于设置完用户文件个数配额的目录,统计该目录下使用文件的个数,如果文件超过设置的配额,则禁止新文件的创建。在目前分布式文件系统中,设置配额的文件统计目录文件个数,主要是通过元数据信息里面字段来统计更新,但是在现有的统计方法中,由于新创建文件存在多个元数据服务器存在原因,出于性能考虑,对于目录层级比较深的目录,很难做到实时更新目录配额的统计量,进而由于目录文件个数统计不实时更新,将会导致出现文件个数写超的现象,失去配额的意义
因此,如何在分布式文件系统中准确实现目录文件个数配额的限制,以便不出现文件个数写超的现象,已成为亟待解决的问题。
发明内容
为解决上述问题,本申请提供了一种分布式文件系统目录文件个数配额的实现方法及装置,具体技术方案如下:
第一方面,本申请提供了一种分布式文件系统目录文件个数配额的实现方法,所述方法包括:
接收第一元数据更新请求信息,所述第一元数据更新请求信息包括新创建文件;
判断在目录文件中写入所述新创建文件后,所述目录文件个数配额是否超过预设的配额阈值;
若是,则不将所述新创建文件写入所述目录文件中;
若否,则将所述新创建文件写入所述目录文件中,更新所述目录文件个数配额的统计信息,并将所述新创建文件以及所述更新后的目录文件个数配额的统计信息同步至其他元数据服务器。
在一种可选的实现方式中,所述方法还包括:
预先选择一个map,用以专门存储目录文件个数配额的统计信息。
在一种可选的实现方式中,所述将所述新创建文件写入所述目录文件中,更新所述目录文件个数配额的统计信息,并将所述新创建文件以及所述更新后的目录文件个数配额的统计信息同步至其他元数据服务器之后,还包括:
发送第一数据更新响应信息至客户端,所述第一元数据响应信息包括新创建文件成功。
在一种可选的实现方式中,所述方法还包括:
接收第二元数据更新请求信息,所述第二元数据更新请求信息包括删除文件;
在目录文件中删除所述文件,并更新所述目录文件个数配额的统计信息;
将所述更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除所述文件,并更新自身存储的所述目录文件个数配额的统计信息。
在一种可选的实现方式中,所述方法还包括:
发送第二数据更新响应信息至客户端,所述第二元数据响应信息包括删除建文件成功。
第二方面,本申请提供了一种分布式文件系统目录文件个数配额的实现装置,所述装置包括:
第一接收单元,用于接收第一元数据更新请求信息,所述第一元数据更新请求信息包括新创建文件;
判断单元,用于判断在目录文件中写入所述新创建文件后,所述目录文件个数配额是否超过预设的配额阈值;
禁止写入单元,用于若判断在目录文件中写入所述新创建文件后,所述目录文件个数配额超过预设的配额阈值,则不将所述新创建文件写入所述目录文件中
第一同步单元,用于若判断在目录文件中写入所述新创建文件后,所述目录文件个数配额未超过预设的配额阈值,则将所述新创建文件写入所述目录文件中,更新所述目录文件个数配额的统计信息,并将所述新创建文件以及所述更新后的目录文件个数配额的统计信息同步至其他元数据服务器。
在一种可选的实现方式中,所述装置还包括:
选择单元,用于预先选择一个map,用以专门存储目录文件个数配额的统计信息。
在一种可选的实现方式中,所述装置还包括:
第一发送单元,用于发送第一数据更新响应信息至客户端,所述第一元数据响应信息包括新创建文件成功。
在一种可选的实现方式中,所述装置还包括:
第一接收单元,用于接收第二元数据更新请求信息,所述第二元数据更新请求信息包括删除文件;
删除单元,用于在目录文件中删除所述文件,并更新所述目录文件个数配额的统计信息;
第二同步单元,用于将所述更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除所述文件,并更新自身存储的所述目录文件个数配额的统计信息。
在一种可选的实现方式中,所述装置还包括:
第二发送单元,用于发送第二数据更新响应信息至客户端,所述第二元数据响应信息包括删除建文件成功。
在本申请提供的分布式文件系统目录文件个数配额的实现方法中,首先接收第一元数据更新请求信息,其中,第一元数据更新请求信息包括新创建文件,接着,判断在目录文件中写入该新创建文件后,目录文件个数配额是否超过预设的配额阈值,若超过,则不将该新创建文件写入目录文件中,若不超过,则将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器。可见,本申请判断出在目录文件中写入该新创建文件后,目录文件个数配额不超过预设的配额阈值时,将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器,以便每个元数据服务器上统计的目录文件个数配额信息是一致的,从而可以保证在其他元数据服务器上创建新文件的时候,统计信息更新准确,超额判断及时。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式文件系统目录文件个数配额的实现方法的流程示意图;
图2为本申请实施例提供的另一种分布式文件系统目录文件个数配额的实现方法的流程示意图;
图3为本申请实施例提供的分布式文件系统目录文件个数配额的实现示意图;
图4为本申请实施例提供的一种分布式文件系统目录文件个数配额的实现装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解本申请提供的技术方案,下面先对本申请技术方案的研究背景进行简单说明。
众所周知,正如背景技术中的描述,移动互联网和物联网产生的数据量越来越大、数据维度越来越多,而数据也越来越受到重视,导致计算量急剧增长且弹性变大,随着需求的不断变大,云计算技术应用而生。在云计算技术架构中,由于是需要支持海量数据的计算,传统集中式的架构已经不能适应云计算的发展要求,为了适应云计算要求,目前均采用的分布式的架构。而在目前的分布式文件系统中,设置配额的文件统计目录文件个数,主要是通过元数据信息里面字段来统计更新,但是通过这种方式进行统计,会由于新创建文件存在多个元数据服务器存在原因,出于性能考虑,对于目录层级比较深的目录,很难做到实时更新目录配额的统计量,进而由于目录文件个数统计不实时更新,将会导致出现文件个数写超的现象,失去配额的意义。所以,如何在分布式文件系统中准确实现目录文件个数配额的限制,以便不出现文件个数写超的现象,已成为亟待解决的问题。
基于此,本申请提出了一种分布式文件系统目录文件个数配额的实现方法及装置,用于在分布式文件系统中准确实现目录文件个数配额的限制,以便不出现文件个数写超的现象。
以下将结合附图对本申请实施例提供的分布式文件系统目录文件个数配额的实现方法进行详细说明。参见图1,其示出了本申请实施例提供的一种分布式文件系统目录文件个数配额的实现方法的流程图,本实施例可以包括以下步骤:
S101:接收第一元数据更新请求信息,其中,第一元数据更新请求信息包括新创建文件。
在本实施例中,为了在分布式文件系统中准确实现目录文件个数配额的限制,以便不出现文件个数写超的现象,首先,可以接收用户通过客户端向元数据服务器发送的第一元数据更新请求信息,其中,该第一元数据更新请求信息包括新创建文件。
一种可选的实现方式是,预先选择一个map,用以专门存储目录文件个数配额的统计信息。
在本实现方式中,为了在分布式文件系统中,可以准确实现目录文件个数配额的限制,不会出现写超问题。本实施例不再将目录文件个数配额的统计信息保存在元数据信息中,而是可以在各个元数据服务器中预先选择一个map,即在数据库中预先选择一个存储空间,用以专门存储目录文件个数配额的统计信息,即保存各个元数据服务器设置的配额目录的元数据号和该配额对应统计文件个数。
S102:判断在目录文件中写入该新创建文件后,目录文件个数配额是否超过预设的配额阈值。
在本实施例中,当元数据服务器通过步骤S101,接收到用户通过客户端发送的包括新创建文件的第一元数据更新请求信息后,可以判断出将该新创建文件写入目录文件后,目标文件的个数配额是否超过预先设置的配额阈值,其中,预先设置的配额阈值指的是预先设置的目标文件中可以写入的文件的个数临界值,若超过该临界值,则表明目标文件中写入的文件个数会出现超额,可继续执行步骤S103,反之,则表明目标文件中写入的文件个数未出现超额,可继续执行步骤S104。
S103:不将新创建文件写入目录文件中。
在本实施例中,若通过步骤S102判断出在目录文件中写入新创建文件后,目录文件个数配额会超过预设的配额阈值,则不能将新创建文件写入目录文件中,这样,不会使目标文件中写入的文件个数出现超额现象。
S104:将新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器。
在本实施例中,若通过步骤S102判断出在目录文件中写入新创建文件后,目录文件个数配额并未超过预设的配额阈值,则可以将新创建文件写入目录文件中,同时在map中更新目录文件个数配额的统计信息,并将该新创建文件以及map中更新后的目录文件个数配额的统计信息同步至其他元数据服务器,以实现目录文件个数配额的准确控制,达到较好的用户体验。
一种可选的实现方式是,在通过步骤S104将新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器之后,还可以发送第一数据更新响应信息至客户端,其中,第一元数据响应信息包括新创建文件成功,以便用户知晓其通过客户端执行的新创建文件操作成功。
需要说明的是,本实施不仅能够实现用户通过客户端在分布式文件系统中新创建文件时的目录文件个数配额控制,还能够实现用户通过客户端删除分布式文件系统中的某些文件时,对分布式文件系统中目录文件个数配额的准确控制,达到较好的用户体验。
参见图2,其示出了本申请实施例提供的另一种分布式文件系统目录文件个数配额的实现方法的流程图,本实施例可以包括以下步骤:
S201:接收第二元数据更新请求信息,其中,第二元数据更新请求信息包括删除文件。
在本实施例中,为了实现用户通过客户端删除分布式文件系统中的某些文件时,对分布式文件系统中目录文件个数配额的准确控制,首先,可以接收用户通过客户端向元数据服务器发送的第二元数据更新请求信息,其中,该第二元数据更新请求信息包括删除文件。
S202:在目录文件中删除所述文件,并更新目录文件个数配额的统计信息。
在本实施例中,当元数据服务器通过步骤S101,,接收到用户通过客户端发送的包括删除文件的第二元数据更新请求信息后,可以在所需删除文件所属的目录文件中删除该文件,并在map中更新目录文件个数配额的统计信息。
S203:将更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除所述文件,并更新自身存储的目录文件个数配额的统计信息。
在本实施例中,当元数据服务器通过步骤S102,在所需删除文件所属的目录文件中删除指定文件,并在map中更新目录文件个数配额的统计信息后,进一步可以将更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除指定的文件,并更新自身map中存储的目录文件个数配额的统计信息。
一种可选的实现方式是,在通过步骤S203将所需删除文件在其所属目录文件中删除,同时更新目录文件个数配额的统计信息,并将更新后的目录文件个数配额的统计信息同步至其他元数据服务器之后,还可以发送第二数据更新响应信息至客户端,其中,第二元数据响应信息包括删除文件成功,以便用户知晓其通过客户端执行的删除文件操作成功。
这样,在本申请提供的分布式文件系统目录文件个数配额的实现方法中,首先接收第一元数据更新请求信息,其中,第一元数据更新请求信息包括新创建文件,接着,判断在目录文件中写入该新创建文件后,目录文件个数配额是否超过预设的配额阈值,若超过,则不将该新创建文件写入目录文件中,若不超过,则将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器。可见,本申请判断出在目录文件中写入该新创建文件后,目录文件个数配额不超过预设的配额阈值时,将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器,以便每个元数据服务器上统计的目录文件个数配额信息是一致的,从而可以保证在其他元数据服务器上创建新文件的时候,统计信息更新准确,超额判断及时。
为便于理解,现结合图3所示分布式文件系统目录文件个数配额的实现示意图。对本申请实施例提供的分布式文件系统目录文件个数配额的实现方法的具体实现过程进行介绍。
如图3所示,本申请实施例的实现过程为:首先,元数据服务器预先选择一个map,用以专门存储目录文件个数配额的统计信息,然后,在接收到包括新创建文件的第一元数据更新请求信息后,判断在目录文件中写入新创建文件后,目录文件个数配额是否超过预设的配额阈值,若超过,则不将该新创建文件写入目录文件中,若不超过,则将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器,并发送包括新创建文件成功的第一数据更新响应信息至客户端,以便用户知晓其通过客户端执行的新创建文件操作成功,具体实现过程参见上述步骤S101~步骤S104。
另外,如图3所示,元数据服务器也可以在接收到包括删除文件的第二元数据更新请求信息后,在所需删除文件所属的目录文件中删除该文件,并在map中更新目录文件个数配额的统计信息,进一步可以将更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除指定的文件,并更新自身map中存储的目录文件个数配额的统计信息,进一步也可以发送包括删除建文件成功的第二数据更新响应信息至客户端,以便用户知晓其通过客户端执行的删除文件操作成功,具体实现过程参见上述步骤S201~步骤S203。
上述实施例详细叙述了本申请方法的技术方案,相应地,本申请还提供了一种分布式文件系统目录文件个数配额的实现供电装置,下面对该装置进行介绍。
参见图4,图4是本申请实施例提供的一种分布式文件系统目录文件个数配额的实现装置的结构图,如图4所示,该装置包括:
第一接收单元401,用于接收第一元数据更新请求信息,所述第一元数据更新请求信息包括新创建文件;
判断单元402,用于判断在目录文件中写入所述新创建文件后,所述目录文件个数配额是否超过预设的配额阈值;
禁止写入单元403,用于若判断在目录文件中写入所述新创建文件后,所述目录文件个数配额超过预设的配额阈值,则不将所述新创建文件写入所述目录文件中
第一同步单元404,用于若判断在目录文件中写入所述新创建文件后,所述目录文件个数配额未超过预设的配额阈值,则将所述新创建文件写入所述目录文件中,更新所述目录文件个数配额的统计信息,并将所述新创建文件以及所述更新后的目录文件个数配额的统计信息同步至其他元数据服务器。
可选地,所述装置还包括:
选择单元,用于预先选择一个map,用以专门存储目录文件个数配额的统计信息。
可选地,所述装置还包括:
第一发送单元,用于发送第一数据更新响应信息至客户端,所述第一元数据响应信息包括新创建文件成功。
可选地,所述装置还包括:
第一接收单元,用于接收第二元数据更新请求信息,所述第二元数据更新请求信息包括删除文件;
删除单元,用于在目录文件中删除所述文件,并更新所述目录文件个数配额的统计信息;
第二同步单元,用于将所述更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除所述文件,并更新自身存储的所述目录文件个数配额的统计信息。
可选地,所述装置还包括:
第二发送单元,用于发送第二数据更新响应信息至客户端,所述第二元数据响应信息包括删除建文件成功。
这样,在本申请提供的分布式文件系统目录文件个数配额的实现装置中,首先接收第一元数据更新请求信息,其中,第一元数据更新请求信息包括新创建文件,接着,判断在目录文件中写入该新创建文件后,目录文件个数配额是否超过预设的配额阈值,若超过,则不将该新创建文件写入目录文件中,若不超过,则将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器。可见,本申请判断出在目录文件中写入该新创建文件后,目录文件个数配额不超过预设的配额阈值时,将该新创建文件写入目录文件中,更新目录文件个数配额的统计信息,并将该新创建文件以及更新后的目录文件个数配额的统计信息同步至其他元数据服务器,以便每个元数据服务器上统计的目录文件个数配额信息是一致的,从而可以保证在其他元数据服务器上创建新文件的时候,统计信息更新准确,超额判断及时。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种分布式文件系统目录文件个数配额的实现方法,其特征在于,所述方法包括:
接收第一元数据更新请求信息,所述第一元数据更新请求信息包括新创建文件;
判断在目录文件中写入所述新创建文件后,所述目录文件个数配额是否超过预设的配额阈值;
若是,则不将所述新创建文件写入所述目录文件中;
若否,则将所述新创建文件写入所述目录文件中,更新所述目录文件个数配额的统计信息,并将所述新创建文件以及所述更新后的目录文件个数配额的统计信息同步至其他元数据服务器。
2.根据权利要求1所述的分布式文件系统目录文件个数配额的实现方法,其特征在于,所述方法还包括:
预先选择一个map,用以专门存储目录文件个数配额的统计信息。
3.根据权利要求1所述的分布式文件系统目录文件个数配额的实现方法,其特征在于,所述将所述新创建文件写入所述目录文件中,更新所述目录文件个数配额的统计信息,并将所述新创建文件以及所述更新后的目录文件个数配额的统计信息同步至其他元数据服务器之后,还包括:
发送第一数据更新响应信息至客户端,所述第一元数据响应信息包括新创建文件成功。
4.根据权利要求1所述的分布式文件系统目录文件个数配额的实现方法,其特征在于,所述方法还包括:
接收第二元数据更新请求信息,所述第二元数据更新请求信息包括删除文件;
在目录文件中删除所述文件,并更新所述目录文件个数配额的统计信息;
将所述更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除所述文件,并更新自身存储的所述目录文件个数配额的统计信息。
5.根据权利要求4所述的分布式文件系统目录文件个数配额的实现方法,其特征在于,所述方法还包括:
发送第二数据更新响应信息至客户端,所述第二元数据响应信息包括删除建文件成功。
6.一种分布式文件系统目录文件个数配额的实现装置,其特征在于,所述装置包括:
第一接收单元,用于接收第一元数据更新请求信息,所述第一元数据更新请求信息包括新创建文件;
判断单元,用于判断在目录文件中写入所述新创建文件后,所述目录文件个数配额是否超过预设的配额阈值;
禁止写入单元,用于若判断在目录文件中写入所述新创建文件后,所述目录文件个数配额超过预设的配额阈值,则不将所述新创建文件写入所述目录文件中
第一同步单元,用于若判断在目录文件中写入所述新创建文件后,所述目录文件个数配额未超过预设的配额阈值,则将所述新创建文件写入所述目录文件中,更新所述目录文件个数配额的统计信息,并将所述新创建文件以及所述更新后的目录文件个数配额的统计信息同步至其他元数据服务器。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
选择单元,用于预先选择一个map,用以专门存储目录文件个数配额的统计信息。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一发送单元,用于发送第一数据更新响应信息至客户端,所述第一元数据响应信息包括新创建文件成功。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一接收单元,用于接收第二元数据更新请求信息,所述第二元数据更新请求信息包括删除文件;
删除单元,用于在目录文件中删除所述文件,并更新所述目录文件个数配额的统计信息;
第二同步单元,用于将所述更新后目录文件个数配额的统计信息同步至其他元数据服务器,以便其他元数据服务器删除所述文件,并更新自身存储的所述目录文件个数配额的统计信息。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第二发送单元,用于发送第二数据更新响应信息至客户端,所述第二元数据响应信息包括删除建文件成功。
CN201811301449.6A 2018-11-02 2018-11-02 一种分布式文件系统目录文件个数配额的实现方法及装置 Active CN109446177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811301449.6A CN109446177B (zh) 2018-11-02 2018-11-02 一种分布式文件系统目录文件个数配额的实现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811301449.6A CN109446177B (zh) 2018-11-02 2018-11-02 一种分布式文件系统目录文件个数配额的实现方法及装置

Publications (2)

Publication Number Publication Date
CN109446177A true CN109446177A (zh) 2019-03-08
CN109446177B CN109446177B (zh) 2022-03-22

Family

ID=65550644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811301449.6A Active CN109446177B (zh) 2018-11-02 2018-11-02 一种分布式文件系统目录文件个数配额的实现方法及装置

Country Status (1)

Country Link
CN (1) CN109446177B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783467A (zh) * 2019-01-12 2019-05-21 郑州云海信息技术有限公司 一种分布式文件系统的嵌套目录文件个数配额设置方法
CN110413615A (zh) * 2019-07-15 2019-11-05 北京字节跳动网络技术有限公司 在线文档数目的对账方法、装置、计算机设备和存储介质
CN111181791A (zh) * 2019-12-31 2020-05-19 浪潮电子信息产业股份有限公司 一种配额管理方法、装置、设备及存储介质
CN113342746A (zh) * 2021-08-06 2021-09-03 联想凌拓科技有限公司 文件管理系统、文件管理方法、电子设备和存储介质
CN113626404A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 分布式文件系统嵌套目录配额的控制方法、装置及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064639A (zh) * 2012-12-28 2013-04-24 华为技术有限公司 数据存储方法及装置
CN105159968A (zh) * 2015-08-25 2015-12-16 浪潮(北京)电子信息产业有限公司 一种文件系统的目录管理方法及客户端
CN105677789A (zh) * 2015-12-31 2016-06-15 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的目录容量管理方法及系统
CN106210026A (zh) * 2016-07-05 2016-12-07 浪潮(北京)电子信息产业有限公司 分布式文件系统多客户端目录配额精度的控制方法及系统
CN106326013A (zh) * 2016-08-25 2017-01-11 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的磁盘配额管理系统及方法
US20170147218A1 (en) * 2010-12-22 2017-05-25 International Business Machines Corporation Retrieving data segments from a dispersed storage network
CN107506440A (zh) * 2017-08-24 2017-12-22 郑州云海信息技术有限公司 一种分布式系统目录的配额方法及装置
CN107885859A (zh) * 2017-11-20 2018-04-06 郑州云海信息技术有限公司 一种文件个数配额的方法、装置和计算机可读存储介质
CN108196787A (zh) * 2017-12-21 2018-06-22 北京鲸鲨软件科技有限公司 集群存储系统的配额管理方法以及集群存储系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147218A1 (en) * 2010-12-22 2017-05-25 International Business Machines Corporation Retrieving data segments from a dispersed storage network
CN103064639A (zh) * 2012-12-28 2013-04-24 华为技术有限公司 数据存储方法及装置
CN105159968A (zh) * 2015-08-25 2015-12-16 浪潮(北京)电子信息产业有限公司 一种文件系统的目录管理方法及客户端
CN105677789A (zh) * 2015-12-31 2016-06-15 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的目录容量管理方法及系统
CN106210026A (zh) * 2016-07-05 2016-12-07 浪潮(北京)电子信息产业有限公司 分布式文件系统多客户端目录配额精度的控制方法及系统
CN106326013A (zh) * 2016-08-25 2017-01-11 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的磁盘配额管理系统及方法
CN107506440A (zh) * 2017-08-24 2017-12-22 郑州云海信息技术有限公司 一种分布式系统目录的配额方法及装置
CN107885859A (zh) * 2017-11-20 2018-04-06 郑州云海信息技术有限公司 一种文件个数配额的方法、装置和计算机可读存储介质
CN108196787A (zh) * 2017-12-21 2018-06-22 北京鲸鲨软件科技有限公司 集群存储系统的配额管理方法以及集群存储系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DHANARAJ MARUTHACHALAM: "A distributed system design for next generation storage and remote replication", 《IEEE》 *
殷齐林: "物联网服务平台中分布式数据存储方案的设计与实现", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783467A (zh) * 2019-01-12 2019-05-21 郑州云海信息技术有限公司 一种分布式文件系统的嵌套目录文件个数配额设置方法
CN110413615A (zh) * 2019-07-15 2019-11-05 北京字节跳动网络技术有限公司 在线文档数目的对账方法、装置、计算机设备和存储介质
CN111181791A (zh) * 2019-12-31 2020-05-19 浪潮电子信息产业股份有限公司 一种配额管理方法、装置、设备及存储介质
CN113626404A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 分布式文件系统嵌套目录配额的控制方法、装置及介质
CN113626404B (zh) * 2021-06-30 2024-02-13 济南浪潮数据技术有限公司 分布式文件系统嵌套目录配额的控制方法、装置及介质
CN113342746A (zh) * 2021-08-06 2021-09-03 联想凌拓科技有限公司 文件管理系统、文件管理方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN109446177B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN109446177A (zh) 一种分布式文件系统目录文件个数配额的实现方法及装置
US20200117569A1 (en) Graphical user interface for visual correlation of virtual machine information and storage volume information
CN111881133B (zh) 存储桶管理方法、装置、计算机设备及可读存储介质
US20120291133A1 (en) Security compliant data storage management
KR20200027413A (ko) 데이터 저장 방법, 장치 및 시스템
CN108183965A (zh) 一种数据同步方法、装置、设备、系统及可读存储介质
CN105677789A (zh) 一种分布式文件系统的目录容量管理方法及系统
CN107239569A (zh) 一种分布式文件系统子树存储方法及装置
JP2007157138A (ja) チャージバック課金データを提供するための、ファイルシステム、ストレージ・システム、プログラム・ストレージ・デバイスおよび方法
CN106331075B (zh) 用于存储文件的方法、元数据服务器和管理器
CN109002730A (zh) 一种文件系统目录权限管理方法、装置、设备及存储介质
CN110515546A (zh) 一种系统间数据迁移的方法、装置、设备及存储介质
CN103905517A (zh) 一种数据存储方法及设备
CN105653209A (zh) 一种对象存储数据传输方法及装置
CN109086462A (zh) 一种分布式文件系统中元数据的管理方法
CN110032543A (zh) 一种存储文件系统的管理方法
CN110008174A (zh) 一种目录导出方法、系统及相关装置
CN112272137B (zh) 通过多个邮箱在通信应用中进行海量数据管理的方法、计算设备和计算机可读存储器设备
CN107506466A (zh) 一种小文件存储方法及系统
CN104021088A (zh) 日志存储方法和装置
CN103713926A (zh) 一种预更新软件客户端的方法及系统
CN107408239B (zh) 通过多个邮箱在通信应用中进行海量数据管理的架构
CN107645547A (zh) 基于存储设备的数据热度确定方法、设备以及系统
CN109299043A (zh) 分布式集群系统大文件删除方法、装置、设备及存储介质
CN103812912B (zh) 一种维护组织结构信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant