CN109634759A - 一种分布式存储系统的配额管理方法、系统及相关组件 - Google Patents

一种分布式存储系统的配额管理方法、系统及相关组件 Download PDF

Info

Publication number
CN109634759A
CN109634759A CN201811518882.5A CN201811518882A CN109634759A CN 109634759 A CN109634759 A CN 109634759A CN 201811518882 A CN201811518882 A CN 201811518882A CN 109634759 A CN109634759 A CN 109634759A
Authority
CN
China
Prior art keywords
quota
information
message
mds
memory system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811518882.5A
Other languages
English (en)
Inventor
马顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201811518882.5A priority Critical patent/CN109634759A/zh
Publication of CN109634759A publication Critical patent/CN109634759A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式存储系统的配额管理方法，所述配额管理方法包括当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；根据所述配额信息存储至MDS缓存的配额信息队列，并根据所述配额信息队列生成配额创建消息；向分布式存储系统内所有客户端广播所述配额创建消息。本方法能够降低客户端与MDS服务器在设置配额过程中交互的频率，节约MDS资源。本申请还公开了一种分布式存储系统的配额管理系统、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

Description

一种分布式存储系统的配额管理方法、系统及相关组件
技术领域
本申请涉及分布式存储技术领域，特别涉及一种分布式存储系统的配额管理方法、系统、一种计算机可读存储介质及一种电子设备。
背景技术
随着信息技术的进一步加速，海量数据的存储和共享显得更加的紧迫和必要。移动互联网，人工智能技术使得我们可以时时刻刻接受各方面的资讯，不像以前我们从互联网上接受信息必须要依赖于PC终端。但是硬件资源总是有限的，对于当前主流的NAS存储场景来说，最多的是用NAS终端挂载到存储设备进行资源的共享。如何对有限资源进行有效的分配，如何对资源进行扩充，通过用户配额方法可以有效的解决这些问题。配额是合作性的、非对抗性的。Ceph的配额功能依赖于挂载它的客户端的合作，在达到上限时要停止写入；无法阻止篡改过的或者对抗性的客户端，它们可以想写多少就写多少。
现有技术中，任何的配额修改或配额设置都要和MDS服务器进行频繁的交互，而且MDS的大部分作用是用来和OSD、MON数据交互，反馈给客户端的元数据信息，这样配额的设置或修改就会占用大量的MDS资源，造成数据的读写性能的下降。
因此，如何降低客户端与MDS服务器在设置配额过程中交互的频率，节约MDS资源是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种分布式存储系统的配额管理方法、系统、一种计算机可读存储介质及一种电子设备，能够降低客户端与MDS服务器在设置配额过程中交互的频率，节约MDS资源。
为解决上述技术问题，本申请提供一种分布式存储系统的配额管理方法，该配额管理方法包括：
当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；
根据所述配额信息存储至MDS缓存的配额信息队列，并根据所述配额信息队列生成配额创建消息；
向分布式存储系统内所有客户端广播所述配额创建消息。
可选的，还包括：
当接收到第二客户端发送的配额查询请求时，根据所述配额查询请求获取所述MDS缓存中的配额信息队列；
将所述配额信息队列序列化至缓冲表中；
创建包括所述缓冲表的reply对象，并将所述reply对象发送至所述第二客户端。
可选的，所述配额信息队列中存储有每一用户的用户标识符与配额信息的对应关系。
可选的，还包括：
当接收到第三客户端发送的配额删除请求时，解析所述配额删除请求的配额数据结构得到待删除配额用户标识符；
将所述MDS缓存中的配额信息队列中与所述待删除配额用户标识符对应的配额信息。
可选的，在将所述MDS缓存中的配额信息队列中与所述待删除配额用户标识符对应的配额信息之后，还包括：
生成所述待删除配额用户标识符对应的配额删除消息，并向所述分布式存储系统内所有客户端广播所述配额删除消息，以便所有所述客户端根据所述配额删除消息删除待删除配额用户标识符对应的配额信息。
可选的，还包括：
当接收到第四客户端发送的配额更新请求时，解析所述配额更新请求的配额数据结构得到待更新配额用户标识符；
将所述MDS缓存中的配额信息队列中与所述待更新配额用户标识符对应的配额信息；
生成所述待更新配额用户标识符对应的配额更新消息，并向所述分布式存储系统内所有客户端广播所述配额更新消息，以便所有所述客户端根据所述配额更新消息更新所述待更新配额用户标识符对应的配额信息。
可选的，所述配额创建消息、所述配额删除消息和所述配额更新消息为同一数据结构的消息。
本申请还提供了一种分布式存储系统的配额管理系统，该配额管理系统包括：
配额信息获取模块，用于当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；
配额设置模块，用于根据所述配额信息设置MDS缓存中的配额信息队列，并根据所述配额信息队列生成配额创建消息；
广播模块，用于向分布式存储系统内所有客户端广播所述配额创建消息。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述分布式存储系统的配额管理方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述分布式存储系统的配额管理方法执行的步骤。
本申请提供了一种分布式存储系统的配额管理方法，包括当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；根据所述配额信息存储至MDS缓存的配额信息队列，并根据所述配额信息队列生成配额创建消息；向分布式存储系统内所有客户端广播所述配额创建消息。
本申请在接收到配额设置请求时，根据解析配额设置请求得到的配额信息设置MDS缓存中的配额信息队列，进一步的本申请还根据设置后的配额信息队列生成配额创建消息，向分布式存储系统内所有的客户端广播配额创建信息，以便完成配额设置操作。在本申请中仅需设置MDS缓存配额信息队列，和生成配额创建信息的操作，无需现有技术中繁杂的处理过程，因此本申请可以降低客户端与MDS服务器在设置配额过程中交互的频率，节约MDS资源。本申请同时还提供了一种分布式存储系统的配额管理系统、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种分布式存储系统的配额管理方法的流程图；
图2为本申请实施例所提供的配额信息查询方法的流程图；
图3为本申请实施例所提供的配额信息删除方法的流程图；
图4为本申请实施例所提供的一种分布式存储系统的配额管理系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种分布式存储系统的配额管理方法的流程图。
具体步骤可以包括：
S101：当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；
其中，客户端一般通过CIFS客户端或fuse客户端两种方式挂载到存储设备。CIFS客户端仅提供CIFS磁盘空间查询和磁盘空间校验功能，在windows下通过映射网路驱动器的方式访问smb共享的目录时，会查询用户磁盘信息(可用空间及总空间)。Fuse客户端设置指定用户/用户组的配额值，包括：软阈值、硬阈值、精度，在客户端配额设置函数中，先判断参数是否符合以下条件，再将待设置的配额信息发送至MDS端。
本实施例的执行主体为元数据服务器MDS(Metadata Server)，一个MDS可以对应多个客户端，在本步骤中提到的第一客户端可以为与MDS连接的任一客户端。当接收到第一客户端发送的配额设置请求之后，可以解析配额设置请求得到用户或用户组的配额数据结构，从该配额数据结构种可以获取到需要进行设置的配额信息。
S102：根据所述配额信息存储至MDS缓存的配额信息队列，并根据所述配额信息队列生成配额创建消息；
其中，在已经解析到配额信息的基础上本步骤将配额信息存储至MDS缓存的配额信息队列中。在将配额信息存储至配额信息队列后，可以在后续的配额信息修改、删除、查询过程中直接从MDS缓存中进行处理即可，无需占用大量的MDS资源，保证了MDS较高的数据读写性能。
配额信息队列中不但存储有本次解析得到的配额信息，进一步的，本实施例默认配额信息队列中存储有整个分布式存储系统中所有客户端的配额信息。在将配额信息存储至MDS缓存中后，可以生成相应的配额创建消息。具体的，配额创建消息中可以包括用户ID、配额的具体数值、创建时间等信息。
S103：向分布式存储系统内所有客户端广播所述配额创建消息。
在生成配额创建消息之后，可以向分布式存储系统内所有客户端广播该配额创建消息，以便所有的客户端都能够了解当前分布式存储系统内各个客户端的配额分配状况。
本实施例在接收到配额设置请求时，根据解析配额设置请求得到的配额信息设置MDS缓存中的配额信息队列，进一步的本实施例还根据设置后的配额信息队列生成配额创建消息，向分布式存储系统内所有的客户端广播配额创建信息，以便完成配额设置操作。在本实施例中仅需设置MDS缓存配额信息队列，和生成配额创建信息的操作，无需现有技术中繁杂的处理过程，因此本实施例可以降低客户端与MDS服务器在设置配额过程中交互的频率，节约MDS资源。
下面请参见图2，图2为本申请实施例所提供的配额信息查询方法的流程图；本实施例为对图1对应实施例的进一步扩充，以将所有的配额信息存储至MDS缓存的配额信息队列中为前提，可以将本实施例与图1对应的实施例相结合得到更为优选的实施方式，具体步骤可以包括：
S201：当接收到第二客户端发送的配额查询请求时，根据所述配额查询请求获取所述MDS缓存中的配额信息队列；
其中，本实施例中提到的第二客户端与图1对应实施例中提到的第一客户端可以为同一客户端，也可以为不同的两个客户端。在接收到配额查询请求时，可以直接获取MDS缓存中的配额信息队列。
S202：将所述配额信息队列序列化至缓冲表中；
其中，配额消息队列中的配额信息是以队列的方式存储的，为了方便传输，本步骤将配额信息队列中的配额信息序列化至缓冲表中。
S203：创建包括所述缓冲表的reply对象，并将所述reply对象发送至所述第二客户端。
本实施例通过创建包括S202得到的缓冲表的reply对象，将reply对象作为查询结果发送至第二客户端，以便完成第二客户端查询配额信息的操作。
下面请参见图3，图3为本申请实施例所提供的配额信息删除方法的流程图；本实施例为对图1对应实施例的进一步扩充，以将所有的配额信息存储至MDS缓存的配额信息队列中为前提，可以将本实施例与图1对应的实施例相结合得到更为优选的实施方式，具体步骤可以包括：
S301：当接收到第三客户端发送的配额删除请求时，解析所述配额删除请求的配额数据结构得到待删除配额用户标识符；
S302：将所述MDS缓存中的配额信息队列中与所述待删除配额用户标识符对应的配额信息。
S303：生成所述待删除配额用户标识符对应的配额删除消息，并向所述分布式存储系统内所有客户端广播所述配额删除消息，以便所有所述客户端根据所述配额删除消息删除待删除配额用户标识符对应的配额信息。
其中，本实施例默认所述配额信息队列中存储有每一用户的用户标识符与配额信息的对应关系。在接收到配额删除请求时，得到配额删除请求对应的待删除用户标识符，根据用户标识符与配额信息的对应关系可以删除该待删除用户标识符对应的配额消息。若待删除用户标识符不存在，则可以直接返回错误。
当将配额删除请求对应的配额信息删除后，可以生成待删除配额用户标识符对应的配额删除消息，向所述分布式存储系统内所有客户端广播所述配额删除消。可以理解的是，配额删除信息中可以包括待删除用户标识符，以便客户端在各自的配额信息存储表中删除待删除用户标识符对应的配额信息，最终使分布式存储系统中的配额信息一致。
作为一种可行的实施方式，还可以包括以下配额信息更新方法的操作步骤：
步骤1、当接收到第四客户端发送的配额更新请求时，解析所述配额更新请求的配额数据结构得到待更新配额用户标识符；
步骤2、将所述MDS缓存中的配额信息队列中与所述待更新配额用户标识符对应的配额信息；
步骤3、生成所述待更新配额用户标识符对应的配额更新消息，并向所述分布式存储系统内所有客户端广播所述配额更新消息，以便所有所述客户端根据所述配额更新消息更新所述待更新配额用户标识符对应的配额信息。
一个客户端对于文件的某些操作会导致用户/用户组当前已用配额量的改变，在多客户端应用场景下，需要将这些信息实时同步到其它客户端。需要同步的操作：创建配额、删除配额、清除所有配额、修改配额和当前已用量更新。所有操作的同步使用同一个类MClientUserQuota向所有客户端发送消息，客户端收到MclientUserQuota类型的消息就知道这是一个配额的广播消息，然后会根据MclientUserQuota中封装的二级操作码opcode来判定要执行哪个处理流程(创建、修改、删除、更新等)，opcode由MDS端指定。所述配额创建消息、所述配额删除消息和所述配额更新消息为同一数据结构的消息。
下面通过在实际应用中的实施例说明上述实施例描述的流程。
服务端给客户端更新用户配额消息结构如下：
对用户封装命令行进行用户配额的设置功能。
一、设置用户配额
前提条件
(1)用户容量配额设置：
用户的硬阈值要小于所在组剩余的硬阈值；
用户下文件数为0；
硬阈值小于系统总容；
软阈值小于硬阈值；
精度大于200M。
(2)用户以前未设置过容量配额
用户文件个数配额设置：
用户文件个数配额值小于所在组剩余的配额值；
用户以前未设置过文件个数配额。
(3)命令格式
设置用户配额：
>>- icfs-admin-quota ---- --set -----+-- -u user_name --+-------->
>--+- --hardlimit hardlimit -- --softlimit softlimit -- --accuraryaccurary--+-----><`--------- --filelimit filelimit---------------`。
(4)命令示例
设置用户testuser1的容量配额硬阈值为200G，软阈值为10G，精度为300MB：
icfs-admin-quota --set -u testuser1 --hardlimit 200G --softlimit10G--accurary 300M。
设置用户testuser1的文件个数配额为1000个：
icfs-admin-quota --set -u testuser1 --filelimit 1000。
(5)参数说明
--set为设置命令，-u为用户命令，--hardlimit为硬阈值(单位G/T)，--softlimit为软阈值(单位G/T，它要小于hardlimit)，--accurary为精度(单位MB，要大于200MB)，--filelimit为文件个数配额值。user_name为用户名称，hardlimit为硬阈值(单位G/T，它要小于系统总容量)，softlimit为软阈值(单位G/T，它要小于hardlimit)，accurary精度(单位MB，要大于200MB)，filelimit为文件个数配额值。
二、删除用户配额。
(1)命令格式
删除用户配额：
>>- icfs-admin-quota --- --delete --+-- --size -+-+- -u user_name1,user_name2--+--><
`-- --file --` `---- --user --------------------------`。
(2)命令示例
删除用户testuser1的容量配额：
icfs-admin-quota --delete --size -u testuser1。
删除用户testuser1、testuser2、testuser3的容量配额：
icfs-admin-quota --delete --size -u testuser1,testuser2,testuser3。
删除所有用户的容量配额：
icfs-admin-quota --delete --size –user。
删除用户testuser1的文件个数配额：
icfs-admin-quota --delete --file -u testuser1。
删除用户testuser1、testuser2、testuser3的文件个数配额：
icfs-admin-quota --delete --file -u testuser1,testuser2,testuser3。
删除所有用户的文件个数配额：
icfs-admin-quota --delete --file –user。
(3)参数说明
-u为用户命令，--delete为删除命令，--user为所有用户配额命令，--size为删除容量配额命令，--file为删除文件个数配额命令，user_name为用户名称，多个用户名用“,”隔开。
本实施例通过定义存储中实现用户配额功能下的MDS缓存技术，减少配额的功能设置与MDS服务器的交互频率，使得配额的功能配置更加的高效。该优化方案极大的提高了定义存储用户配额功能使用效率，在高性能计算、视频监控场景下多用户访问控制场景下的竞争力。
请参见图4，图4为本申请实施例所提供的一种分布式存储系统的配额管理系统的结构示意图；
该系统可以包括：
配额信息获取模块100，用于当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；
配额设置模块200，用于根据所述配额信息设置MDS缓存中的配额信息队列，并根据所述配额信息队列生成配额创建消息；
广播模块300，用于向分布式存储系统内所有客户端广播所述配额创建消息。
本实施例在接收到配额设置请求时，根据解析配额设置请求得到的配额信息设置MDS缓存中的配额信息队列，进一步的本实施例还根据设置后的配额信息队列生成配额创建消息，向分布式存储系统内所有的客户端广播配额创建信息，以便完成配额设置操作。在本实施例中仅需设置MDS缓存配额信息队列，和生成配额创建信息的操作，无需现有技术中繁杂的处理过程，因此本实施例可以降低客户端与MDS服务器在设置配额过程中交互的频率，节约MDS资源。
进一步的，还包括：
查询模块，用于当接收到第二客户端发送的配额查询请求时，根据所述配额查询请求获取所述MDS缓存中的配额信息队列；还用于将所述配额信息队列序列化至缓冲表中；还用于创建包括所述缓冲表的reply对象，并将所述reply对象发送至所述第二客户端。
进一步的，所述配额信息队列中存储有每一用户的用户标识符与配额信息的对应关系。
进一步的，还包括：
删除模块，用于当接收到第三客户端发送的配额删除请求时，解析所述配额删除请求的配额数据结构得到待删除配额用户标识符；还用于将所述MDS缓存中的配额信息队列中与所述待删除配额用户标识符对应的配额信息，还用于生成所述待删除配额用户标识符对应的配额删除消息，并向所述分布式存储系统内所有客户端广播所述配额删除消息，以便所有所述客户端根据所述配额删除消息删除待删除配额用户标识符对应的配额信息。
进一步的，还包括：
更新模块，用于当接收到第四客户端发送的配额更新请求时，解析所述配额更新请求的配额数据结构得到待更新配额用户标识符；还用于将所述MDS缓存中的配额信息队列中与所述待更新配额用户标识符对应的配额信息；还用于生成所述待更新配额用户标识符对应的配额更新消息，并向所述分布式存储系统内所有客户端广播所述配额更新消息，以便所有所述客户端根据所述配额更新消息更新所述待更新配额用户标识符对应的配额信息。
进一步的，所述配额创建消息、所述配额删除消息和所述配额更新消息为同一数据结构的消息。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种分布式存储系统的配额管理方法，其特征在于，包括：
当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；
根据所述配额信息存储至MDS缓存的配额信息队列，并根据所述配额信息队列生成配额创建消息；
向分布式存储系统内所有客户端广播所述配额创建消息。
2.根据权利要求1所述配额管理方法，其特征在于，还包括：
当接收到第二客户端发送的配额查询请求时，根据所述配额查询请求获取所述MDS缓存中的配额信息队列；
将所述配额信息队列序列化至缓冲表中；
创建包括所述缓冲表的reply对象，并将所述reply对象发送至所述第二客户端。
3.根据权利要求1所述配额管理方法，其特征在于，所述配额信息队列中存储有每一用户的用户标识符与配额信息的对应关系。
4.根据权利要求3所述配额管理方法，其特征在于，还包括：
当接收到第三客户端发送的配额删除请求时，解析所述配额删除请求的配额数据结构得到待删除配额用户标识符；
将所述MDS缓存中的配额信息队列中与所述待删除配额用户标识符对应的配额信息。
5.根据权利要求4所述配额管理方法，其特征在于，在将所述MDS缓存中的配额信息队列中与所述待删除配额用户标识符对应的配额信息之后，还包括：
生成所述待删除配额用户标识符对应的配额删除消息，并向所述分布式存储系统内所有客户端广播所述配额删除消息，以便所有所述客户端根据所述配额删除消息删除待删除配额用户标识符对应的配额信息。
6.根据权利要求3所述配额管理方法，其特征在于，还包括：
当接收到第四客户端发送的配额更新请求时，解析所述配额更新请求的配额数据结构得到待更新配额用户标识符；
将所述MDS缓存中的配额信息队列中与所述待更新配额用户标识符对应的配额信息；
生成所述待更新配额用户标识符对应的配额更新消息，并向所述分布式存储系统内所有客户端广播所述配额更新消息，以便所有所述客户端根据所述配额更新消息更新所述待更新配额用户标识符对应的配额信息。
7.根据权利要求5或6所述配额管理方法，其特征在于，所述配额创建消息、所述配额删除消息和所述配额更新消息为同一数据结构的消息。
8.一种分布式存储系统的配额管理系统，其特征在于，包括：
配额信息获取模块，用于当接收到第一客户端发送的配额设置请求时，解析所述配额设置请求的配额数据结构得到配额信息；
配额设置模块，用于根据所述配额信息设置MDS缓存中的配额信息队列，并根据所述配额信息队列生成配额创建消息；
广播模块，用于向分布式存储系统内所有客户端广播所述配额创建消息。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述分布式存储系统的配额管理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述分布式存储系统的配额管理方法的步骤。
CN201811518882.5A 2018-12-12 2018-12-12 一种分布式存储系统的配额管理方法、系统及相关组件 Withdrawn CN109634759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811518882.5A CN109634759A (zh) 2018-12-12 2018-12-12 一种分布式存储系统的配额管理方法、系统及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811518882.5A CN109634759A (zh) 2018-12-12 2018-12-12 一种分布式存储系统的配额管理方法、系统及相关组件

Publications (1)

Publication Number Publication Date
CN109634759A true CN109634759A (zh) 2019-04-16

Family

ID=66073285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811518882.5A Withdrawn CN109634759A (zh) 2018-12-12 2018-12-12 一种分布式存储系统的配额管理方法、系统及相关组件

Country Status (1)

Country Link
CN (1) CN109634759A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561078A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 分布式的模型训练方法、相关装置及计算机程序产品
CN112565356A (zh) * 2020-11-24 2021-03-26 北京百度网讯科技有限公司 数据存储方法、装置以及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226145A1 (en) * 2004-04-09 2005-10-13 International Business Machines Corporation Method, system and program product for actively managing central queue buffer allocation
CN101799797A (zh) * 2010-03-05 2010-08-11 中国人民解放军国防科学技术大学 分布式存储系统中用户磁盘配额的动态分配方法
CN102447736A (zh) * 2011-11-17 2012-05-09 华中科技大学 一种多方网络存储系统中用户配额管理和控制方法
CN105468989A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 基于Linux内核监控的云存储配额管理方法
CN106326013A (zh) * 2016-08-25 2017-01-11 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的磁盘配额管理系统及方法
CN107040567A (zh) * 2016-09-27 2017-08-11 阿里巴巴集团控股有限公司 资源预分配额度的管控方法及装置
CN107229755A (zh) * 2017-06-30 2017-10-03 郑州云海信息技术有限公司 一种分布式系统优化方法及设备
CN108829352A (zh) * 2018-06-06 2018-11-16 郑州云海信息技术有限公司 一种分布式存储系统的用户配额方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226145A1 (en) * 2004-04-09 2005-10-13 International Business Machines Corporation Method, system and program product for actively managing central queue buffer allocation
CN101799797A (zh) * 2010-03-05 2010-08-11 中国人民解放军国防科学技术大学 分布式存储系统中用户磁盘配额的动态分配方法
CN102447736A (zh) * 2011-11-17 2012-05-09 华中科技大学 一种多方网络存储系统中用户配额管理和控制方法
CN105468989A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 基于Linux内核监控的云存储配额管理方法
CN106326013A (zh) * 2016-08-25 2017-01-11 浪潮(北京)电子信息产业有限公司 一种分布式文件系统的磁盘配额管理系统及方法
CN107040567A (zh) * 2016-09-27 2017-08-11 阿里巴巴集团控股有限公司 资源预分配额度的管控方法及装置
CN107229755A (zh) * 2017-06-30 2017-10-03 郑州云海信息技术有限公司 一种分布式系统优化方法及设备
CN108829352A (zh) * 2018-06-06 2018-11-16 郑州云海信息技术有限公司 一种分布式存储系统的用户配额方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘荣辉: "云存储系统的技术与分类", 《大数据架构技术与实例分析》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565356A (zh) * 2020-11-24 2021-03-26 北京百度网讯科技有限公司 数据存储方法、装置以及电子设备
CN112561078A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 分布式的模型训练方法、相关装置及计算机程序产品
CN112561078B (zh) * 2020-12-18 2021-12-28 北京百度网讯科技有限公司 分布式的模型训练方法及相关装置

Similar Documents

Publication Publication Date Title
CN104731516B (zh) 一种存取文件的方法、装置及分布式存储系统
CN102571420B (zh) 一种网元数据管理方法及系统
CN108829352B (zh) 一种分布式存储系统的用户配额方法及系统
CN107888666B (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN108196787B (zh) 集群存储系统的配额管理方法以及集群存储系统
CN109684282A (zh) 一种构建元数据缓存的方法及装置
CN110457305B (zh) 数据去重方法、装置、设备及介质
CN110532058B (zh) 容器集群服务的管理方法、装置、设备及可读存储介质
CN109756573A (zh) 一种基于区块链的文件系统
CN105868251A (zh) 一种缓存数据更新方法及装置
CN108647304A (zh) 报表显示系统、方法、计算机设备及存储介质
CN114153806A (zh) 一种文件存储方法、装置、设备及存储介质
CN108073723A (zh) 一种用于分布式集群存储上的文件自精简方法及设备
EP3791282A1 (en) Distributed data storage system with automatic snapshots, user snapshots and soft delete
CN109634759A (zh) 一种分布式存储系统的配额管理方法、系统及相关组件
CN113923213A (zh) 目录级服务质量控制方法、系统及接入节点
CN115146002A (zh) 跨数据中心的数据同步方法及装置
CN104205730A (zh) 网元数据访问方法、装置以及网络管理系统
CN112463305A (zh) 一种云端虚拟化gpu的管理方法、系统及相关装置
WO2011088757A1 (zh) 建立目录组织结构的方法、装置及数字电视前端服务器
CN110929126A (zh) 一种基于远程过程调用实现的分布式爬虫调度方法
CN110188140A (zh) 数据拉取方法、装置、存储介质和计算机设备
CN109165259A (zh) 基于网络附属存储的索引表更新方法、处理器及存储装置
CN115189931A (zh) 一种分布式密钥管理方法、装置、设备、存储介质
CN104166820A (zh) 一种数据管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190416

WW01 Invention patent application withdrawn after publication