CN108196787B - 集群存储系统的配额管理方法以及集群存储系统 - Google Patents

集群存储系统的配额管理方法以及集群存储系统 Download PDF

Info

Publication number
CN108196787B
CN108196787B CN201711397586.XA CN201711397586A CN108196787B CN 108196787 B CN108196787 B CN 108196787B CN 201711397586 A CN201711397586 A CN 201711397586A CN 108196787 B CN108196787 B CN 108196787B
Authority
CN
China
Prior art keywords
directory
quota
user
capacity
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711397586.XA
Other languages
English (en)
Other versions
CN108196787A (zh
Inventor
王晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong whale shark Information Technology Co.,Ltd.
Original Assignee
Perabytes Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perabytes Technology Co ltd filed Critical Perabytes Technology Co ltd
Priority to CN201711397586.XA priority Critical patent/CN108196787B/zh
Publication of CN108196787A publication Critical patent/CN108196787A/zh
Application granted granted Critical
Publication of CN108196787B publication Critical patent/CN108196787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种集群存储系统的配额管理方法以及集群存储系统，其中的方法包括：运行在客户端的配额执行模块判断在执行数据处理操作之后目录使用容量是否超过目录配额值；如果否，则下发数据处理操作，运行在服务端的配额元数据管理模块根据目录扩展属性执行数据处理操作，并且更新、同步目录扩展属性到磁盘；如果是，则配额执行模块向此用户返回操作错误提示信息；本发明的配额管理方法以及集群存储系统，将配额管理拆分成了客户端的配额执行模块与服务端的配额元数据管理模块两部分执行，配额执行模块主要负责目录使用容量的限额，配额元数据管理模块主要负责同步配额元数据到磁盘上，能够降低客户端和服务端的压力，提高了配额管理的效率。

Description

集群存储系统的配额管理方法以及集群存储系统
技术领域
本发明涉及集群存储技术领域，尤其涉及一种集群存储系统的配额管理方法以及集群存储系统。
背景技术
对象存储(OBS，Object-based Morage)技术将文件数据和元数据分开存储。目录子树分区的优点是利用了文件访问的局部性原理，能够快速遍历文件系统。集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池。集群存储系统有多种，例如无集中元数据服务器集群存储系统等。配额管理是指管理员为不同的用户能使用的空间容量进行配额限制。对于集群存储系统来说，配额管理是很重要的功能，当目录使用容量超过设置的配额值时或者将要超额时，可以及时的提醒管理员，提高存储系统数据访问和管理的效率。无集中元数据服务器集群存储系统的目录分布在多个存储结点上，相应的元数据也是分布在各个结点上的，其配额的管理一直是比较重要的问题。
在现有的配额管理方法中，配额执行部分由服务端来完成。由于目录是分布在多个存储结点上的，服务端只能统计到目录使用容量的一部分，只有客户端才能统计到整个目录的使用容量，这就需要服务端向客户端发送获取目录使用容量的请求，客户端收到请求后统计目录使用容量然后返回给服务端，服务端判断是否超过了配额。在现有的配额管理方法中增加了客户端与服务端的交互过程，使系统变得复杂，降低了系统配额管理的性能。
发明内容
有鉴于此，本发明要解决的一个技术问题是提供一种集群存储系统的配额管理方法以及集群存储系统。
根据本发明的一个方面，提供一种集群存储系统的配额管理方法，包括：将集群存储系统的目录分布在多个服务器端；运行在客户端的配额执行模块接收到用户发送的数据处理操作，判断在执行所述数据处理操作之后，与此用户对应的目录使用容量是否超过为此用户设置的目录配额值；如果否，则下发所述数据处理操作，运行在服务端的配额元数据管理模块根据与此用户对应的目录扩展属性执行所述数据处理操作，并且更新、同步所述目录扩展属性；如果是，则所述配额执行模块向此用户返回操作错误提示信息。
可选地，所述与此用户对应的目录扩展属性分别存储在所述多个服务器端；其中，所述目录扩展属性包括：用户目录配额值、用户目录已使用容量；每个服务器端存储的所述用户目录配额值都相同，每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量。
可选地，所述配额元数据管理模块根据与此用户对应的目录扩展属性执行所述数据处理操作，并且更新、同步所述目录扩展属性包括：所述配额元数据管理模块计算与所述数据处理操作对应的目录容量增量；所述配额元数据管理模块根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中，并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值。
可选地，所述判断在执行所述数据处理操作之后、与此用户对应的目录使用容量是否超过为此用户设置的目录配额值包括：所述配额执行模块从所述多个服务器端获取此用户对应的所述目录配额值以及当前目录已使用容量；所述配额执行模块计算与所述数据处理操作对应的目录容量增量；判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值，如果否，则下发所述数据处理操作。
可选地，所述配额执行模块从所述多个服务器端获取此用户对应的当前目录已使用容量包括：所述配额执行模块定时将更新目录使用容量请求发送给每个服务器端；每个服务器端分别获取自身所述存储的所述目录扩展属性，基于所述目录扩展属性统计与各个用户对应的目录使用容量，并将所述目录使用容量发送给所述配额执行模块；所述配额执行模块计算所述多个服务器端发送的与此用户对应的目录使用容量之和，获得此用户对应的当前目录已使用容量。
根据本发明的另一方面，提供一种集群存储系统，包括：多个客户端、多个服务器端、运行在客户端的配额执行模块和运行在服务端的配额元数据管理模块；将集群存储系统的目录分布在多个服务器端；所述配额执行模块，用于接收到用户发送的数据处理操作，判断在执行所述数据处理操作之后，与此用户对应的目录使用容量是否超过为此用户设置的目录配额值；如果否，则下发所述数据处理操作，如果是，则向此用户返回操作错误提示信息；所述配额元数据管理模块，用于根据与此用户对应的目录扩展属性执行所述数据处理操作，并且更新、同步所述目录扩展属性。
可选地，所述集群存储系统包括：无集中元数据服务器集群存储系统；所述与此用户对应的目录扩展属性分别存储在所述多个服务器端；其中，所述目录扩展属性包括：用户目录配额值、用户目录已使用容量；每个服务器端存储的所述用户目录配额值都相同，每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量。
可选地，所述配额元数据管理模块，用于计算与所述数据处理操作对应的目录容量增量；根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中，并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值。
可选地，所述配额执行模块，用于从所述多个服务器端获取此用户对应的所述目录配额值以及当前目录已使用容量；计算与所述数据处理操作对应的目录容量增量；判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值，如果否，则下发所述数据处理操作。
可选地，所述配额执行模块，用于定时将更新目录使用容量请求发送给每个服务器端；其中，每个服务器端分别获取自身所述存储的所述目录扩展属性，基于所述目录扩展属性统计与各个用户对应的目录使用容量，并将所述目录使用容量发送给所述配额执行模块；所述配额执行模块，用于计算所述多个服务器端发送的与此用户对应的目录使用容量之和，获得此用户对应的当前目录已使用容量。
本发明的集群存储系统的配额管理方法以及集群存储系统，运行在客户端的配额执行模块判断在执行数据处理操作之后目录使用容量是否超过目录配额值；如果否，则下发数据处理操作，运行在服务端的配额元数据管理模块根据目录扩展属性执行数据处理操作，并且更新、同步目录扩展属性；如果是，则配额执行模块向此用户返回操作错误提示信息；将配额管理拆分成了客户端的配额执行模块与服务端的配额元数据管理模块两部分执行，配额执行模块主要负责目录使用容量的限额，配额元数据管理模块主要负责同步配额元数据到磁盘上，并将配额的元数据通过目录的扩展属性存储在磁盘上，能够降低客户端和服务端的压力，提高了配额管理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的集群存储系统的配额管理方法的一个实施例的流程示意图；
图2为本发明的集群存储系统的配额管理方法的一个实施例中的客户端的配额执行模块获取目录使用容量的流程示意图；
图3为本发明的集群存储系统的配额管理方法的一个实施例中的服务器端的配额元数据管理模块同步元数据到磁盘的流程示意图；
图4为本发明的集群存储系统的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：智能手机、个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明的集群存储系统的配额管理方法的一个实施例的流程示意图，如图1所示：
步骤101，将集群存储系统的目录分布在多个服务器端。
集群存储系统可以有多种，例如为无集中元数据服务器集群存储系统等，无集中元数据服务器集群存储系统的目录分布在多个服务器端。
步骤102，运行在客户端的配额执行模块接收到用户发送的数据处理操作，判断在执行数据处理操作之后，与此用户对应的目录使用容量是否超过为此用户设置的目录配额值。数据处理操作可以有多种，例如为存储等。
步骤103，如果与此用户对应的目录使用容量没有超过为此用户设置的目录配额值，则下发数据处理操作，运行在服务端的配额元数据管理模块根据与此用户对应的目录扩展属性执行数据处理操作，并且更新、同步目录扩展属性。
与此用户对应的目录扩展属性分别存储在多个服务器端，目录扩展属性包括：用户目录配额值、用户目录已使用容量。每个服务器端存储的用户目录配额值都相同，每个服务器端存储的用户目录已使用容量为此用户在此服务器端已使用的目录容量，将配额的元数据通过目录的扩展属性存储在多个服务器端的磁盘上。
步骤104，如果与此用户对应的目录使用容量超过为此用户设置的目录配额值，则配额执行模块向此用户返回操作错误提示信息。
上述实施例中的集群存储系统的配额管理方法，将配额的执行与配额元数据的管理折分为两部分，分别由客户端和服务端来承担，客户端的配额执行模块主要负责目录使用容量的限额；服务器端的配额元数据管理模块主要负责同步配额元数据，将配额的元数据通过目录的扩展属性存储在磁盘上；降低了客户端和服务端的压力，提高了配额管理的效率。
在一个实施例中，与目录配额对应的元数据是通过目录的扩展属性存储在磁盘上的，扩展属性包括配额的设置值、目录的已经使用容量。配额的设置值在各服务器端是一致的，代表用户在整个目录的配额值。目录的已经使用容量仅能表示当前服务端目录已经使用的容量，存储在各服务器端的目录的已经使用容量之和是用户在整个目录的已经使用容量。
配额执行模块从多个服务器端获取此用户对应的目录配额值以及当前目录已使用容量，配额执行模块计算与数据处理操作对应的目录容量增量，判断此当前目录已使用容量与目录容量增量之和是否大于目录配额值，如果否，则下发数据处理操作。
图2为本发明的集群存储系统的配额管理方法的一个实施例中的客户端的配额执行模块获取目录使用容量的流程示意图。当客户端的配额执行模块发现有操作将要改变目录的使用容量时，判断用户对于目录的使用容量是否会超过对用户设置的配额值，如图2所示：
步骤201，配额执行模块定时将更新目录使用容量请求发送给每个服务器端。
步骤202，每个服务器端分别获取自身存储的目录扩展属性，基于目录扩展属性统计与各个用户对应的目录使用容量，并将目录使用容量发送给配额执行模块。
各服务器端在收到客户端的请求后，各自统计对应目录下所有文件及目录占用的磁盘容量，即目录使用容量。例如，基于目录扩展属性可以获取用户的目录使用容量，将获取的目录使用容量返回给客户端。
步骤203，配额执行模块计算多个服务器端发送的与此用户对应的目录使用容量之和，获得此用户对应的当前目录已使用容量，即客户端在收到各个服务器端返回的目录使用容量后，相加得到用户对于目录的实际使用容量。
客户端的配额执行模块负责目录使用容量的限额，当配额执行模块判断有操作将要改变目录的使用容量时，递归地判断各级父目录的使用容量是否已经超过了设置的配额值。由于存储系统是多客户端并发访问的，所以对于各级父目录的使用容量需要定时从磁盘获取，确保目录使用容量的有效性。当目录的使用容量已经超过对于用户所设置的配额时，配额执行模块直接返回超额的错误给用户，否则，将当前的操作下发。
在一个实施例中，服务器端的配额元数据管理模块的任务是统计目录使用容量的增量并以目录扩展属性的方式将数据存储到磁盘上。图3为本发明的集群存储系统的配额管理方法的一个实施例中的服务器端的配额元数据管理模块同步元数据到磁盘的流程示意图，如图3所示：
步骤301，配额元数据管理模块计算与数据处理操作对应的目录容量增量。
步骤302，配额元数据管理模块根据目录容量增量以及目录扩展属性将与数据处理操作对应的配额元数据同步至多个服务器端中的至少一个服务器端的磁盘中。
步骤303，修改存储在至少一个服务器端中的用户目录已使用容量的值。
当服务器端的配额元数据管理模块发现有操作将要改变目录的使用容量时，需要同步各级父目录的元数据到磁盘上，将配额元数据以目录扩展属性的方式同步到磁盘上，以便客户端的配额执行模块在获取目录使用容量时，得到的值是有效的。
在一个实施例中，如图4所示，本发明提供一种集群存储系统，集群存储系统可以为无集中元数据服务器集群存储系统等，包括：多个客户端A、B、C、多个服务器端X、Y、Z、运行在客户端A、B、C的配额执行模块11、12、13和运行在服务端X、Y、Z的配额元数据管理模块21、22、23。将集群存储系统的目录A分布在多个服务器端X、Y、Z。
配额执行模块11、12、13接收到用户发送的数据处理操作，判断在执行数据处理操作之后，与此用户对应的目录使用容量是否超过为此用户设置的目录配额值；如果否，则配额执行模块11、12、13下发数据处理操作，如果是，则配额执行模块11、12、13向此用户返回操作错误提示信息。配额元数据管理模块21、22、23根据与此用户对应的目录扩展属性执行数据处理操作，并且更新、同步目录扩展属性。
与用户对应的目录扩展属性分别存储在多个服务器端X、Y、Z。目录扩展属性包括：用户目录配额值、用户目录已使用容量。每个服务器端X、Y、Z存储的用户目录配额值都相同，每个服务器端X、Y、Z存储的用户目录已使用容量为此用户在此服务器端已使用的目录容量。
配额元数据管理模块21、22、23计算与数据处理操作对应的目录容量增量。配额元数据管理模块21、22、23根据目录容量增量以及目录扩展属性将与数据处理操作对应的配额元数据同步至多个服务器端中的至少一个服务器端的磁盘中，配额元数据管理模块21、22、23修改存储在至少一个服务器端X、Y、Z中的用户目录已使用容量的值。
配额执行模块11、12、13从多个服务器端X、Y、Z获取此用户对应的目录配额值以及当前目录已使用容量。配额执行模块11、12、13计算与数据处理操作对应的目录容量增量，判断此当前目录已使用容量与目录容量增量之和是否大于目录配额值，如果否，则下发数据处理操作。
配额执行模块11、12、13定时将更新目录使用容量请求发送给每个服务器端X、Y、Z；其中，每个服务器端X、Y、Z分别获取自身存储的目录扩展属性，基于目录扩展属性统计与各个用户对应的目录使用容量，并将目录使用容量发送给配额执行模块11、12、13。配额执行模块11、12、13计算多个服务器端发送的与此用户对应的目录使用容量之和，获得此用户对应的当前目录已使用容量。
上述实施例中的集群存储系统的配额管理方法以及集群存储系统，运行在客户端的配额执行模块判断在执行数据处理操作之后目录使用容量是否超过目录配额值；如果否，则下发数据处理操作，运行在服务端的配额元数据管理模块根据目录扩展属性执行数据处理操作，并且更新、同步目录扩展属性；如果是，则配额执行模块向此用户返回操作错误提示信息；将配额管理拆分成了客户端的配额执行模块与服务端的配额元数据管理模块两部分执行，配额执行模块主要负责目录使用容量的限额，配额元数据管理模块主要负责同步配额元数据到磁盘上，并将配额的元数据通过目录的扩展属性存储在磁盘上，能够降低客户端和服务端的压力，提高了配额管理的效率。
可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (2)

1.一种集群存储系统的配额管理方法，其特征在于，包括：
将集群存储系统的目录分布在多个服务器端；
运行在客户端的配额执行模块接收到用户发送的数据处理操作，判断在执行所述数据处理操作之后，与此用户对应的目录使用容量是否超过为此用户设置的目录配额值；
如果否，则下发所述数据处理操作，运行在服务端的配额元数据管理模块根据与此用户对应的目录扩展属性执行所述数据处理操作，并且更新、同步所述目录扩展属性；
如果是，则所述配额执行模块向此用户返回操作错误提示信息；
其中，所述与此用户对应的目录扩展属性分别存储在所述多个服务器端；所述目录扩展属性包括：用户目录配额值、用户目录已使用容量；每个服务器端存储的所述用户目录配额值都相同，每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量；
所述配额元数据管理模块计算与所述数据处理操作对应的目录容量增量；所述配额元数据管理模块根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中，并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值；
其中，所述判断在执行所述数据处理操作之后、与此用户对应的目录使用容量是否超过为此用户设置的目录配额值包括：
所述配额执行模块从所述多个服务器端获取此用户对应的所述目录配额值；
所述配额执行模块定时将更新目录使用容量请求发送给每个服务器端；
每个服务器端分别获取自身所述存储的所述目录扩展属性，基于所述目录扩展属性统计与各个用户对应的目录使用容量，并将所述目录使用容量发送给所述配额执行模块；
所述配额执行模块计算所述多个服务器端发送的与此用户对应的目录使用容量之和，获得此用户对应的当前目录已使用容量；
所述配额执行模块计算与所述数据处理操作对应的目录容量增量；
判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值，如果否，则下发所述数据处理操作。
2.一种集群存储系统，其特征在于，包括：
多个客户端、多个服务器端、运行在客户端的配额执行模块和运行在服务端的配额元数据管理模块；将集群存储系统的目录分布在多个服务器端；
所述配额执行模块，用于接收到用户发送的数据处理操作，判断在执行所述数据处理操作之后，与此用户对应的目录使用容量是否超过为此用户设置的目录配额值；如果否，则下发所述数据处理操作，如果是，则向此用户返回操作错误提示信息；
所述配额元数据管理模块，用于根据与此用户对应的目录扩展属性执行所述数据处理操作，并且更新、同步所述目录扩展属性；
所述集群存储系统包括：无集中元数据服务器集群存储系统；所述与此用户对应的目录扩展属性分别存储在所述多个服务器端；
其中，所述目录扩展属性包括：用户目录配额值、用户目录已使用容量；每个服务器端存储的所述用户目录配额值都相同，每个服务器端存储的所述用户目录已使用容量为用户在此服务器端已使用的目录容量；
所述配额元数据管理模块，用于计算与所述数据处理操作对应的目录容量增量；根据所述目录容量增量以及所述目录扩展属性将与所述数据处理操作对应的配额元数据同步至所述多个服务器端中的至少一个服务器端的磁盘中，并修改存储在所述至少一个服务器端中的所述用户目录已使用容量的值；
其中，所述配额执行模块，用于从所述多个服务器端获取此用户对应的所述目录配额值；定时将更新目录使用容量请求发送给每个服务器端；其中，每个服务器端分别获取自身所述存储的所述目录扩展属性，基于所述目录扩展属性统计与各个用户对应的目录使用容量，并将所述目录使用容量发送给所述配额执行模块；
所述配额执行模块，用于计算所述多个服务器端发送的与此用户对应的目录使用容量之和，获得此用户对应的当前目录已使用容量；
所述配额执行模块，用于计算与所述数据处理操作对应的目录容量增量；判断此所述当前目录已使用容量与所述目录容量增量之和是否大于所述目录配额值，如果否，则下发所述数据处理操作。
CN201711397586.XA 2017-12-21 2017-12-21 集群存储系统的配额管理方法以及集群存储系统 Active CN108196787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711397586.XA CN108196787B (zh) 2017-12-21 2017-12-21 集群存储系统的配额管理方法以及集群存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711397586.XA CN108196787B (zh) 2017-12-21 2017-12-21 集群存储系统的配额管理方法以及集群存储系统

Publications (2)

Publication Number Publication Date
CN108196787A CN108196787A (zh) 2018-06-22
CN108196787B true CN108196787B (zh) 2021-04-13

Family

ID=62583575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711397586.XA Active CN108196787B (zh) 2017-12-21 2017-12-21 集群存储系统的配额管理方法以及集群存储系统

Country Status (1)

Country Link
CN (1) CN108196787B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829356A (zh) * 2018-06-27 2018-11-16 郑州云海信息技术有限公司 一种数据处理方法及相关设备
CN109446177B (zh) * 2018-11-02 2022-03-22 郑州云海信息技术有限公司 一种分布式文件系统目录文件个数配额的实现方法及装置
CN109901798B (zh) * 2019-02-27 2022-12-09 新华三技术有限公司成都分公司 数据存储方法及装置
CN110519336A (zh) * 2019-08-01 2019-11-29 北京浪潮数据技术有限公司 分布式存储系统配额状态更新方法及分布式存储系统
CN110764937B (zh) * 2019-11-07 2022-09-06 浪潮云信息技术有限公司 控制Hive数据库和表存储配额的方法、终端及介质
CN111581025A (zh) * 2020-05-08 2020-08-25 苏州浪潮智能科技有限公司 一种数据中心间的数据计算的方法和设备
CN112597120B (zh) * 2020-11-30 2022-05-27 新华三大数据技术有限公司 一种目录管理方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104158858A (zh) * 2014-07-29 2014-11-19 浪潮(北京)电子信息产业有限公司 一种访问分布式集群文件系统方法及系统
CN105159968A (zh) * 2015-08-25 2015-12-16 浪潮(北京)电子信息产业有限公司 一种文件系统的目录管理方法及客户端
CN105677789A (zh) * 2015-12-31 2016-06-15 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的目录容量管理方法及系统
US10983949B2 (en) * 2016-02-29 2021-04-20 Red Hat, Inc. File system quota versioning
CN106230938A (zh) * 2016-07-29 2016-12-14 浪潮(北京)电子信息产业有限公司 一种客户端与服务器之间的目录信息同步方法及系统
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN107040407B (zh) * 2017-03-15 2020-02-18 成都中讯创新科技股份有限公司 一种高性能计算集群动态节点作业方法
CN107391045B (zh) * 2017-08-01 2021-02-19 苏州浪潮智能科技有限公司 一种目录空间配额方法及系统

Also Published As

Publication number Publication date
CN108196787A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108196787B (zh) 集群存储系统的配额管理方法以及集群存储系统
CN106506605B (zh) 一种基于微服务架构的SaaS应用构建方法
US11042569B2 (en) System and method for load, aggregate and batch calculation in one scan in a multidimensional database environment
US20190073366A1 (en) System and method for client-side calculation in a multidimensional database environment
US10356150B1 (en) Automated repartitioning of streaming data
US20130218934A1 (en) Method for directory entries split and merge in distributed file system
CN106326239B (zh) 分布式文件系统及其文件元信息管理方法
WO2019106476A1 (en) Aggregation in dynamic and distributed computing systems
US10860604B1 (en) Scalable tracking for database udpates according to a secondary index
US11106651B2 (en) Table discovery in distributed and dynamic computing systems
CN105468720A (zh) 集成分布式数据处理系统的方法、相应系统及其数据处理方法
US10616042B2 (en) Collaborative triggers in distributed and dynamic computing systems
CN110347651A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
US9235613B2 (en) Flexible partitioning of data
CN110858194A (zh) 一种数据库扩容的方法和装置
CN105900093A (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
US20190251096A1 (en) Synchronization of offline instances
CN113111038B (zh) 文件存储方法、装置、服务器及存储介质
CN109189341B (zh) 分布式存储系统的目录负载均衡方法、装置、设备及介质
CN109145053B (zh) 数据处理方法和装置、客户端、服务器
EP2940587A1 (en) Computer, control device for computer system, and recording medium
CN109992575B (zh) 大数据的分布式存储系统
CN112000971A (zh) 一种文件权限记录方法、系统及相关装置
CN115563073A (zh) 分布式元数据的数据处理的方法、装置及电子设备
CN114879907A (zh) 一种数据分布确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210902

Address after: 271024 Taishan science and Technology Industrial Park, high tech Zone, Tai'an City, Shandong Province

Patentee after: Shandong whale shark Information Technology Co.,Ltd.

Address before: 100195 Room 101, 1st floor, building 31, yuquanhuigu, No.3 minzhuang Road, Yuquanshan, Haidian District, Beijing

Patentee before: PERABYTES TECHNOLOGY Co.,Ltd.