CN108196787A - 集群存储系统的配额管理方法以及集群存储系统 - Google Patents
集群存储系统的配额管理方法以及集群存储系统 Download PDFInfo
- Publication number
- CN108196787A CN108196787A CN201711397586.XA CN201711397586A CN108196787A CN 108196787 A CN108196787 A CN 108196787A CN 201711397586 A CN201711397586 A CN 201711397586A CN 108196787 A CN108196787 A CN 108196787A
- Authority
- CN
- China
- Prior art keywords
- quota
- capacity
- directory
- user
- catalogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种集群存储系统的配额管理方法以及集群存储系统,其中的方法包括:运行在客户端的配额执行模块判断在执行数据处理操作之后目录使用容量是否超过目录配额值;如果否,则下发数据处理操作,运行在服务端的配额元数据管理模块根据目录扩展属性执行数据处理操作,并且更新、同步目录扩展属性到磁盘;如果是,则配额执行模块向此用户返回操作错误提示信息;本发明的配额管理方法以及集群存储系统,将配额管理拆分成了客户端的配额执行模块与服务端的配额元数据管理模块两部分执行,配额执行模块主要负责目录使用容量的限额,配额元数据管理模块主要负责同步配额元数据到磁盘上,能够降低客户端和服务端的压力,提高了配额管理的效率。
Description
技术领域
本发明涉及集群存储技术领域,尤其涉及一种集群存储系统的配额管理方法以及集群存储系统。
背景技术
对象存储(OBS,Object-based Morage)技术将文件数据和元数据分开存储。目录子树分区的优点是利用了文件访问的局部性原理,能够快速遍历文件系统。集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池。集群存储系统有多种,例如无集中元数据服务器集群存储系统等。配额管理是指管理员为不同的用户能使用的空间容量进行配额限制。对于集群存储系统来说,配额管理是很重要的功能,当目录使用容量超过设置的配额值时或者将要超额时,可以及时的提醒管理员,提高存储系统数据访问和管理的效率。无集中元数据服务器集群存储系统的目录分布在多个存储结点上,相应的元数据也是分布在各个结点上的,其配额的管理一直是比较重要的问题。
在现有的配额管理方法中,配额执行部分由服务端来完成。由于目录是分布在多个存储结点上的,服务端只能统计到目录使用容量的一部分,只有客户端才能统计到整个目录的使用容量,这就需要服务端向客户端发送获取目录使用容量的请求,客户端收到请求后统计目录使用容量然后返回给服务端,服务端判断是否超过了配额。在现有的配额管理方法中增加了客户端与服务端的交互过程,使系统变得复杂,降低了系统配额管理的性能。
发明内容
有鉴于此,本发明要解决的一个技术问题是提供一种集群存储系统的配额管理方法以及集群存储系统。
根据本发明的一个方面,提供一种集群存储系统的配额管理方法,包括:将集群存储系统的目录分布在多个服务器端;运行在客户端的配额执行模块接收到用户发送的数据处理操作,判断在执行所述数据处理操作之后,与此用户对应的目录使用容量是否超过为此用户设置的目录配额值;如果否,则下发所述数据处理操作,运行在服务端的配额元数据管理模块根据与此用户对应的目录扩展属性执行所述数据处理操作,并且更新、同步所述目录扩展属性;如果是,则所述配额执行模块向此用户返回操作错误提示信息。
可选地,所述与此用户对应的目录扩展属性分别存储在所述多个服务器端;其中,所述目录扩展属性包括:用户目录配额值、用户目录已使用容量;每个服务器端存储的所述用户目录配额值都相同,每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量。
可选地,所述配额元数据管理模块根据与此用户对应的目录扩展属性执行所述数据处理操作,并且更新、同步所述目录扩展属性包括:所述配额元数据管理模块计算与所述数据处理操作对应的目录容量增量;所述配额元数据管理模块根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中,并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值。
可选地,所述判断在执行所述数据处理操作之后、与此用户对应的目录使用容量是否超过为此用户设置的目录配额值包括:所述配额执行模块从所述多个服务器端获取此用户对应的所述目录配额值以及当前目录已使用容量;所述配额执行模块计算与所述数据处理操作对应的目录容量增量;判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值,如果否,则下发所述数据处理操作。
可选地,所述配额执行模块从所述多个服务器端获取此用户对应的当前目录已使用容量包括:所述配额执行模块定时将更新目录使用容量请求发送给每个服务器端;每个服务器端分别获取自身所述存储的所述目录扩展属性,基于所述目录扩展属性统计与各个用户对应的目录使用容量,并将所述目录使用容量发送给所述配额执行模块;所述配额执行模块计算所述多个服务器端发送的与此用户对应的目录使用容量之和,获得此用户对应的当前目录已使用容量。
根据本发明的另一方面,提供一种集群存储系统,包括:多个客户端、多个服务器端、运行在客户端的配额执行模块和运行在服务端的配额元数据管理模块;将集群存储系统的目录分布在多个服务器端;所述配额执行模块,用于接收到用户发送的数据处理操作,判断在执行所述数据处理操作之后,与此用户对应的目录使用容量是否超过为此用户设置的目录配额值;如果否,则下发所述数据处理操作,如果是,则向此用户返回操作错误提示信息;所述配额元数据管理模块,用于根据与此用户对应的目录扩展属性执行所述数据处理操作,并且更新、同步所述目录扩展属性。
可选地,所述集群存储系统包括:无集中元数据服务器集群存储系统;所述与此用户对应的目录扩展属性分别存储在所述多个服务器端;其中,所述目录扩展属性包括:用户目录配额值、用户目录已使用容量;每个服务器端存储的所述用户目录配额值都相同,每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量。
可选地,所述配额元数据管理模块,用于计算与所述数据处理操作对应的目录容量增量;根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中,并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值。
可选地,所述配额执行模块,用于从所述多个服务器端获取此用户对应的所述目录配额值以及当前目录已使用容量;计算与所述数据处理操作对应的目录容量增量;判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值,如果否,则下发所述数据处理操作。
可选地,所述配额执行模块,用于定时将更新目录使用容量请求发送给每个服务器端;其中,每个服务器端分别获取自身所述存储的所述目录扩展属性,基于所述目录扩展属性统计与各个用户对应的目录使用容量,并将所述目录使用容量发送给所述配额执行模块;所述配额执行模块,用于计算所述多个服务器端发送的与此用户对应的目录使用容量之和,获得此用户对应的当前目录已使用容量。
本发明的集群存储系统的配额管理方法以及集群存储系统,运行在客户端的配额执行模块判断在执行数据处理操作之后目录使用容量是否超过目录配额值;如果否,则下发数据处理操作,运行在服务端的配额元数据管理模块根据目录扩展属性执行数据处理操作,并且更新、同步目录扩展属性;如果是,则配额执行模块向此用户返回操作错误提示信息;将配额管理拆分成了客户端的配额执行模块与服务端的配额元数据管理模块两部分执行,配额执行模块主要负责目录使用容量的限额,配额元数据管理模块主要负责同步配额元数据到磁盘上,并将配额的元数据通过目录的扩展属性存储在磁盘上,能够降低客户端和服务端的压力,提高了配额管理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的集群存储系统的配额管理方法的一个实施例的流程示意图;
图2为本发明的集群存储系统的配额管理方法的一个实施例中的客户端的配额执行模块获取目录使用容量的流程示意图;
图3为本发明的集群存储系统的配额管理方法的一个实施例中的服务器端的配额元数据管理模块同步元数据到磁盘的流程示意图;
图4为本发明的集群存储系统的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:智能手机、个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明的集群存储系统的配额管理方法的一个实施例的流程示意图,如图1所示:
步骤101,将集群存储系统的目录分布在多个服务器端。
集群存储系统可以有多种,例如为无集中元数据服务器集群存储系统等,无集中元数据服务器集群存储系统的目录分布在多个服务器端。
步骤102,运行在客户端的配额执行模块接收到用户发送的数据处理操作,判断在执行数据处理操作之后,与此用户对应的目录使用容量是否超过为此用户设置的目录配额值。数据处理操作可以有多种,例如为存储等。
步骤103,如果与此用户对应的目录使用容量没有超过为此用户设置的目录配额值,则下发数据处理操作,运行在服务端的配额元数据管理模块根据与此用户对应的目录扩展属性执行数据处理操作,并且更新、同步目录扩展属性。
与此用户对应的目录扩展属性分别存储在多个服务器端,目录扩展属性包括:用户目录配额值、用户目录已使用容量。每个服务器端存储的用户目录配额值都相同,每个服务器端存储的用户目录已使用容量为此用户在此服务器端已使用的目录容量,将配额的元数据通过目录的扩展属性存储在多个服务器端的磁盘上。
步骤104,如果与此用户对应的目录使用容量超过为此用户设置的目录配额值,则配额执行模块向此用户返回操作错误提示信息。
上述实施例中的集群存储系统的配额管理方法,将配额的执行与配额元数据的管理折分为两部分,分别由客户端和服务端来承担,客户端的配额执行模块主要负责目录使用容量的限额;服务器端的配额元数据管理模块主要负责同步配额元数据,将配额的元数据通过目录的扩展属性存储在磁盘上;降低了客户端和服务端的压力,提高了配额管理的效率。
在一个实施例中,与目录配额对应的元数据是通过目录的扩展属性存储在磁盘上的,扩展属性包括配额的设置值、目录的已经使用容量。配额的设置值在各服务器端是一致的,代表用户在整个目录的配额值。目录的已经使用容量仅能表示当前服务端目录已经使用的容量,存储在各服务器端的目录的已经使用容量之和是用户在整个目录的已经使用容量。
配额执行模块从多个服务器端获取此用户对应的目录配额值以及当前目录已使用容量,配额执行模块计算与数据处理操作对应的目录容量增量,判断此当前目录已使用容量与目录容量增量之和是否大于目录配额值,如果否,则下发数据处理操作。
图2为本发明的集群存储系统的配额管理方法的一个实施例中的客户端的配额执行模块获取目录使用容量的流程示意图。当客户端的配额执行模块发现有操作将要改变目录的使用容量时,判断用户对于目录的使用容量是否会超过对用户设置的配额值,如图2所示:
步骤201,配额执行模块定时将更新目录使用容量请求发送给每个服务器端。
步骤202,每个服务器端分别获取自身存储的目录扩展属性,基于目录扩展属性统计与各个用户对应的目录使用容量,并将目录使用容量发送给配额执行模块。
各服务器端在收到客户端的请求后,各自统计对应目录下所有文件及目录占用的磁盘容量,即目录使用容量。例如,基于目录扩展属性可以获取用户的目录使用容量,将获取的目录使用容量返回给客户端。
步骤203,配额执行模块计算多个服务器端发送的与此用户对应的目录使用容量之和,获得此用户对应的当前目录已使用容量,即客户端在收到各个服务器端返回的目录使用容量后,相加得到用户对于目录的实际使用容量。
客户端的配额执行模块负责目录使用容量的限额,当配额执行模块判断有操作将要改变目录的使用容量时,递归地判断各级父目录的使用容量是否已经超过了设置的配额值。由于存储系统是多客户端并发访问的,所以对于各级父目录的使用容量需要定时从磁盘获取,确保目录使用容量的有效性。当目录的使用容量已经超过对于用户所设置的配额时,配额执行模块直接返回超额的错误给用户,否则,将当前的操作下发。
在一个实施例中,服务器端的配额元数据管理模块的任务是统计目录使用容量的增量并以目录扩展属性的方式将数据存储到磁盘上。图3为本发明的集群存储系统的配额管理方法的一个实施例中的服务器端的配额元数据管理模块同步元数据到磁盘的流程示意图,如图3所示:
步骤301,配额元数据管理模块计算与数据处理操作对应的目录容量增量。
步骤302,配额元数据管理模块根据目录容量增量以及目录扩展属性将与数据处理操作对应的配额元数据同步至多个服务器端中的至少一个服务器端的磁盘中。
步骤303,修改存储在至少一个服务器端中的用户目录已使用容量的值。
当服务器端的配额元数据管理模块发现有操作将要改变目录的使用容量时,需要同步各级父目录的元数据到磁盘上,将配额元数据以目录扩展属性的方式同步到磁盘上,以便客户端的配额执行模块在获取目录使用容量时,得到的值是有效的。
在一个实施例中,如图4所示,本发明提供一种集群存储系统,集群存储系统可以为无集中元数据服务器集群存储系统等,包括:多个客户端A、B、C、多个服务器端X、Y、Z、运行在客户端A、B、C的配额执行模块11、12、13和运行在服务端X、Y、Z的配额元数据管理模块21、22、23。将集群存储系统的目录A分布在多个服务器端X、Y、Z。
配额执行模块11、12、13接收到用户发送的数据处理操作,判断在执行数据处理操作之后,与此用户对应的目录使用容量是否超过为此用户设置的目录配额值;如果否,则配额执行模块11、12、13下发数据处理操作,如果是,则配额执行模块11、12、13向此用户返回操作错误提示信息。配额元数据管理模块21、22、23根据与此用户对应的目录扩展属性执行数据处理操作,并且更新、同步目录扩展属性。
与用户对应的目录扩展属性分别存储在多个服务器端X、Y、Z。目录扩展属性包括:用户目录配额值、用户目录已使用容量。每个服务器端X、Y、Z存储的用户目录配额值都相同,每个服务器端X、Y、Z存储的用户目录已使用容量为此用户在此服务器端已使用的目录容量。
配额元数据管理模块21、22、23计算与数据处理操作对应的目录容量增量。配额元数据管理模块21、22、23根据目录容量增量以及目录扩展属性将与数据处理操作对应的配额元数据同步至多个服务器端中的至少一个服务器端的磁盘中,配额元数据管理模块21、22、23修改存储在至少一个服务器端X、Y、Z中的用户目录已使用容量的值。
配额执行模块11、12、13从多个服务器端X、Y、Z获取此用户对应的目录配额值以及当前目录已使用容量。配额执行模块11、12、13计算与数据处理操作对应的目录容量增量,判断此当前目录已使用容量与目录容量增量之和是否大于目录配额值,如果否,则下发数据处理操作。
配额执行模块11、12、13定时将更新目录使用容量请求发送给每个服务器端X、Y、Z;其中,每个服务器端X、Y、Z分别获取自身存储的目录扩展属性,基于目录扩展属性统计与各个用户对应的目录使用容量,并将目录使用容量发送给配额执行模块11、12、13。配额执行模块11、12、13计算多个服务器端发送的与此用户对应的目录使用容量之和,获得此用户对应的当前目录已使用容量。
上述实施例中的集群存储系统的配额管理方法以及集群存储系统,运行在客户端的配额执行模块判断在执行数据处理操作之后目录使用容量是否超过目录配额值;如果否,则下发数据处理操作,运行在服务端的配额元数据管理模块根据目录扩展属性执行数据处理操作,并且更新、同步目录扩展属性;如果是,则配额执行模块向此用户返回操作错误提示信息;将配额管理拆分成了客户端的配额执行模块与服务端的配额元数据管理模块两部分执行,配额执行模块主要负责目录使用容量的限额,配额元数据管理模块主要负责同步配额元数据到磁盘上,并将配额的元数据通过目录的扩展属性存储在磁盘上,能够降低客户端和服务端的压力,提高了配额管理的效率。
可能以许多方式来实现本发明的方法和系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种集群存储系统的配额管理方法,其特征在于,包括:
将集群存储系统的目录分布在多个服务器端;
运行在客户端的配额执行模块接收到用户发送的数据处理操作,判断在执行所述数据处理操作之后,与此用户对应的目录使用容量是否超过为此用户设置的目录配额值;
如果否,则下发所述数据处理操作,运行在服务端的配额元数据管理模块根据与此用户对应的目录扩展属性执行所述数据处理操作,并且更新、同步所述目录扩展属性;
如果是,则所述配额执行模块向此用户返回操作错误提示信息。
2.如权利要求1所述的方法,其特征在于,还包括:
所述与此用户对应的目录扩展属性分别存储在所述多个服务器端;
其中,所述目录扩展属性包括:用户目录配额值、用户目录已使用容量;每个服务器端存储的所述用户目录配额值都相同,每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量。
3.如权利要求2所述的方法,其特征在于,所述配额元数据管理模块根据与此用户对应的目录扩展属性执行所述数据处理操作、并且更新、同步所述目录扩展属性包括:
所述配额元数据管理模块计算与所述数据处理操作对应的目录容量增量;
所述配额元数据管理模块根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中,并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值。
4.如权利要求3所述的方法,其特征在于,所述判断在执行所述数据处理操作之后、与此用户对应的目录使用容量是否超过为此用户设置的目录配额值包括:
所述配额执行模块从所述多个服务器端获取此用户对应的所述目录配额值以及当前目录已使用容量;
所述配额执行模块计算与所述数据处理操作对应的目录容量增量;
判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值,如果否,则下发所述数据处理操作。
5.如权利要求4所述的方法,其特征在于,所述配额执行模块从所述多个服务器端获取此用户对应的当前目录已使用容量包括:
所述配额执行模块定时将更新目录使用容量请求发送给每个服务器端;
每个服务器端分别获取自身所述存储的所述目录扩展属性,基于所述目录扩展属性统计与各个用户对应的目录使用容量,并将所述目录使用容量发送给所述配额执行模块;
所述配额执行模块计算所述多个服务器端发送的与此用户对应的目录使用容量之和,获得此用户对应的当前目录已使用容量。
6.一种集群存储系统,其特征在于,包括:
多个客户端、多个服务器端、运行在客户端的配额执行模块和运行在服务端的配额元数据管理模块;将集群存储系统的目录分布在多个服务器端;
所述配额执行模块,用于接收到用户发送的数据处理操作,判断在执行所述数据处理操作之后,与此用户对应的目录使用容量是否超过为此用户设置的目录配额值;如果否,则下发所述数据处理操作,如果是,则向此用户返回操作错误提示信息;
所述配额元数据管理模块,用于根据与此用户对应的目录扩展属性执行所述数据处理操作,并且更新、同步所述目录扩展属性。
7.如权利要求6所述的系统,其特征在于,
所述集群存储系统包括:无集中元数据服务器集群存储系统;所述与此用户对应的目录扩展属性分别存储在所述多个服务器端;
其中,所述目录扩展属性包括:用户目录配额值、用户目录已使用容量;每个服务器端存储的所述用户目录配额值都相同,每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量。
8.如权利要求7所述的系统,其特征在于,
所述配额元数据管理模块,用于计算与所述数据处理操作对应的目录容量增量;根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中,并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值。
9.如权利要求8所述的系统,其特征在于,
所述配额执行模块,用于从所述多个服务器端获取此用户对应的所述目录配额值以及当前目录已使用容量;计算与所述数据处理操作对应的目录容量增量;判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值,如果否,则下发所述数据处理操作。
10.如权利要求9所述的系统,其特征在于,
所述配额执行模块,用于定时将更新目录使用容量请求发送给每个服务器端;其中,每个服务器端分别获取自身所述存储的所述目录扩展属性,基于所述目录扩展属性统计与各个用户对应的目录使用容量,并将所述目录使用容量发送给所述配额执行模块;
所述配额执行模块,用于计算所述多个服务器端发送的与此用户对应的目录使用容量之和,获得此用户对应的当前目录已使用容量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711397586.XA CN108196787B (zh) | 2017-12-21 | 2017-12-21 | 集群存储系统的配额管理方法以及集群存储系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711397586.XA CN108196787B (zh) | 2017-12-21 | 2017-12-21 | 集群存储系统的配额管理方法以及集群存储系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108196787A true CN108196787A (zh) | 2018-06-22 |
CN108196787B CN108196787B (zh) | 2021-04-13 |
Family
ID=62583575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711397586.XA Active CN108196787B (zh) | 2017-12-21 | 2017-12-21 | 集群存储系统的配额管理方法以及集群存储系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108196787B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108829356A (zh) * | 2018-06-27 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种数据处理方法及相关设备 |
CN109446177A (zh) * | 2018-11-02 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种分布式文件系统目录文件个数配额的实现方法及装置 |
CN109901798A (zh) * | 2019-02-27 | 2019-06-18 | 新华三技术有限公司成都分公司 | 数据存储方法及装置 |
CN110519336A (zh) * | 2019-08-01 | 2019-11-29 | 北京浪潮数据技术有限公司 | 分布式存储系统配额状态更新方法及分布式存储系统 |
CN110764937A (zh) * | 2019-11-07 | 2020-02-07 | 浪潮云信息技术有限公司 | 控制Hive数据库和表存储配额的方法、终端及介质 |
CN111581025A (zh) * | 2020-05-08 | 2020-08-25 | 苏州浪潮智能科技有限公司 | 一种数据中心间的数据计算的方法和设备 |
CN112597120A (zh) * | 2020-11-30 | 2021-04-02 | 新华三大数据技术有限公司 | 一种目录管理方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104158858A (zh) * | 2014-07-29 | 2014-11-19 | 浪潮(北京)电子信息产业有限公司 | 一种访问分布式集群文件系统方法及系统 |
CN105159968A (zh) * | 2015-08-25 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种文件系统的目录管理方法及客户端 |
CN105677789A (zh) * | 2015-12-31 | 2016-06-15 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件系统的目录容量管理方法及系统 |
CN106230938A (zh) * | 2016-07-29 | 2016-12-14 | 浪潮(北京)电子信息产业有限公司 | 一种客户端与服务器之间的目录信息同步方法及系统 |
CN106899676A (zh) * | 2017-02-28 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种多客户端写入目录配额分配方法 |
CN107040407A (zh) * | 2017-03-15 | 2017-08-11 | 成都中讯创新科技股份有限公司 | 一种高性能计算集群动态节点作业方法 |
US20170249304A1 (en) * | 2016-02-29 | 2017-08-31 | Red Hat, Inc. | File system quota versioning |
CN107391045A (zh) * | 2017-08-01 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种目录空间配额方法及系统 |
-
2017
- 2017-12-21 CN CN201711397586.XA patent/CN108196787B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104158858A (zh) * | 2014-07-29 | 2014-11-19 | 浪潮(北京)电子信息产业有限公司 | 一种访问分布式集群文件系统方法及系统 |
CN105159968A (zh) * | 2015-08-25 | 2015-12-16 | 浪潮(北京)电子信息产业有限公司 | 一种文件系统的目录管理方法及客户端 |
CN105677789A (zh) * | 2015-12-31 | 2016-06-15 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件系统的目录容量管理方法及系统 |
US20170249304A1 (en) * | 2016-02-29 | 2017-08-31 | Red Hat, Inc. | File system quota versioning |
CN106230938A (zh) * | 2016-07-29 | 2016-12-14 | 浪潮(北京)电子信息产业有限公司 | 一种客户端与服务器之间的目录信息同步方法及系统 |
CN106899676A (zh) * | 2017-02-28 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种多客户端写入目录配额分配方法 |
CN107040407A (zh) * | 2017-03-15 | 2017-08-11 | 成都中讯创新科技股份有限公司 | 一种高性能计算集群动态节点作业方法 |
CN107391045A (zh) * | 2017-08-01 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种目录空间配额方法及系统 |
Non-Patent Citations (2)
Title |
---|
YOSHIAKI KASAHARA;TAKUYA KAWATANI;EISUKE ITO;KOICHI SHIMOZONO: ""An Analysis of Relationship between Storage Usage Distribution and Per-User Quota Value"", 《SIGUCCS ANNUAL CONFERENCE》 * |
刘仲,章文嵩,王召福,周兴铭: ""基于对象存储的集群存储系统设计"", 《计算机工程与科学》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108829356A (zh) * | 2018-06-27 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种数据处理方法及相关设备 |
CN109446177A (zh) * | 2018-11-02 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种分布式文件系统目录文件个数配额的实现方法及装置 |
CN109901798A (zh) * | 2019-02-27 | 2019-06-18 | 新华三技术有限公司成都分公司 | 数据存储方法及装置 |
CN110519336A (zh) * | 2019-08-01 | 2019-11-29 | 北京浪潮数据技术有限公司 | 分布式存储系统配额状态更新方法及分布式存储系统 |
CN110764937A (zh) * | 2019-11-07 | 2020-02-07 | 浪潮云信息技术有限公司 | 控制Hive数据库和表存储配额的方法、终端及介质 |
CN110764937B (zh) * | 2019-11-07 | 2022-09-06 | 浪潮云信息技术有限公司 | 控制Hive数据库和表存储配额的方法、终端及介质 |
CN111581025A (zh) * | 2020-05-08 | 2020-08-25 | 苏州浪潮智能科技有限公司 | 一种数据中心间的数据计算的方法和设备 |
CN112597120A (zh) * | 2020-11-30 | 2021-04-02 | 新华三大数据技术有限公司 | 一种目录管理方法及装置 |
CN112597120B (zh) * | 2020-11-30 | 2022-05-27 | 新华三大数据技术有限公司 | 一种目录管理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108196787B (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108196787A (zh) | 集群存储系统的配额管理方法以及集群存储系统 | |
TWI698108B (zh) | 基於區塊鏈的資料處理方法和裝置 | |
US10291704B2 (en) | Networked solutions integration using a cloud business object broker | |
US8356288B2 (en) | Method and apparatus for monitoring runtime of persistence applications | |
CN102082818B (zh) | 基于云存储的图形化和结构化数据存储及管理方法和系统 | |
JP2019534496A (ja) | マネージクエリサービス | |
CN103338135B (zh) | 一种集群存储容量的实时监控方法 | |
CN109074265A (zh) | 移动云服务的预先形成的指令 | |
US20190251096A1 (en) | Synchronization of offline instances | |
CN110516076B (zh) | 一种基于知识图谱的云计算管理方法及系统 | |
CN107888666A (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
US20170134531A1 (en) | Generation and distribution of named, definable, serialized tokens | |
US11165585B2 (en) | Token repository and integration | |
CN112015696B (zh) | 数据访问、数据关系设置方法、装置及存储介质 | |
CN115185705A (zh) | 一种消息通知方法、装置、介质及设备 | |
JP7366664B2 (ja) | オフラインブリーフケース同期 | |
Brunette et al. | ODK tables: building easily customizable information applications on Android devices | |
CN107729394A (zh) | 基于Hadoop集群的数据集市管理系统及其使用方法 | |
US11323322B2 (en) | Non-disruptively merging coordinated timing networks | |
CN104821939B (zh) | 一种用于实现计算机与移动设备间异步通信的方法和装置 | |
CN107894942B (zh) | 数据表访问量的监控方法和装置 | |
US11093477B1 (en) | Multiple source database system consolidation | |
CN108881344B (zh) | 业务处理方法、装置、存储设备及处理服务器 | |
CN109379405A (zh) | 虚拟磁盘构建方法、虚拟磁盘系统及网盘 | |
CN114205651B (zh) | 一种资源处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210902 Address after: 271024 Taishan science and Technology Industrial Park, high tech Zone, Tai'an City, Shandong Province Patentee after: Shandong whale shark Information Technology Co.,Ltd. Address before: 100195 Room 101, 1st floor, building 31, yuquanhuigu, No.3 minzhuang Road, Yuquanshan, Haidian District, Beijing Patentee before: PERABYTES TECHNOLOGY Co.,Ltd. |