CN113923213B - 目录级服务质量控制方法、系统及接入节点 - Google Patents

目录级服务质量控制方法、系统及接入节点 Download PDF

Info

Publication number
CN113923213B
CN113923213B CN202110988886.5A CN202110988886A CN113923213B CN 113923213 B CN113923213 B CN 113923213B CN 202110988886 A CN202110988886 A CN 202110988886A CN 113923213 B CN113923213 B CN 113923213B
Authority
CN
China
Prior art keywords
directory
service
metadata
data structure
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110988886.5A
Other languages
English (en)
Other versions
CN113923213A (zh
Inventor
张松
豆文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202110988886.5A priority Critical patent/CN113923213B/zh
Publication of CN113923213A publication Critical patent/CN113923213A/zh
Application granted granted Critical
Publication of CN113923213B publication Critical patent/CN113923213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827Management specifically adapted to NAS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种目录级服务质量控制方法、系统及接入节点,其中,所述方法包括:接收元数据服务节点发来的针对目标目录的服务质量配置通知;根据所述服务质量配置通知,构建所述目标目录的服务质量数据结构,并将所述服务质量数据结构与所述目标目录的目录元数据进行关联;所述服务质量数据结构中包括用于对所述目标目录进行流量控制的策略。本发明提供的技术方案,能够在充分发挥分布式集群的数据存储性能的基础上,灵活适应分布式存储集群的目录存储结构,从而灵活地提供目录级别的服务质量功能的部署过程。

Description

目录级服务质量控制方法、系统及接入节点
技术领域
本发明涉及互联网技术领域,具体涉及一种目录级服务质量控制方法、系统及接入节点。
背景技术
在当前的云存储场景下,可以采用分布式文件系统,为用户提供目录级别的文件存储方式。现有的分布式文件系统,为了避免个别用户过度使用系统资源,通常会提供QoS(Quality of Service,服务质量)功能,该QoS功能可以对用户使用的带宽和IOPS(Inputand Output Per Second,每秒IO数)进行限制。
当前的分布式文件系统,可以将用户的目录空间与逻辑单元号(Logical UnitNumber,LUN)建立对应关系,通过对LUN部署QoS功能,从而实现带宽和IOPS的控制。
具体地,请参阅图1,分布式文件系统的应用服务器接收到用户的资源访问请求后,可以将该资源访问请求通过交换机设备分配到用户对应的逻辑单元的队列处。逻辑单元的队列根据部署的QoS功能,可以对用户的资源访问请求进行带宽和IOPS的控制,最终,可以根据逻辑单元归属的物理存储设备,向用户提供所需的资源。
现有技术中对LUN部署QoS功能的方式,往往存在以下缺陷:
1.用户的目录空间必须要与LUN建立对应关系,这样极大地限制了底层存储类型和数据分布的方式。
2.在进行QoS功能的配置时,需要明确目录空间和底层LUN的对应关系,这样不仅对配置人员提出了较高的要求,也降低了QoS功能的部署灵活性。
发明内容
有鉴于此,本发明实施方式提供了一种目录级服务质量控制方法、系统及接入节点,能够在充分发挥分布式集群的数据存储性能的基础上,灵活适应分布式存储集群的目录存储结构,从而灵活地提供目录级别的服务质量功能的部署过程。
本发明一方面提供了一种目录级服务质量控制方法,所述方法包括:接收元数据服务节点发来的针对目标目录的服务质量配置通知;所述服务质量配置通知由所述元数据服务节点在生成所述目标目录的目录元数据后发出,所述目录元数据由所述元数据服务节点基于服务质量配置请求生成;所述服务质量配置请求中至少包括所述目标目录的目录标识和所述目标目录对应的流量控制参数;根据所述服务质量配置通知,构建所述目标目录的服务质量数据结构,并将所述服务质量数据结构与所述目录元数据进行关联;所述服务质量数据结构中包括用于对所述目标目录进行流量控制的策略。
本发明另一方面还提供一种接入节点,所述接入节点包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的目录级服务质量控制方法。
本发明另一方面还提供一种目录级服务质量控制系统,所述系统包括元数据服务节点和接入节点,其中:所述元数据服务节点,用于接收针对目标目录的服务质量配置请求,在基于所述服务质量配置请求生成所述目标目录的目录元数据后,向所述接入节点发送所述目标目录对应的服务质量配置通知;所述服务质量配置请求中至少包括所述目标目录的目录标识和所述目标目录对应的流量控制参数;所述接入节点,用于根据所述服务质量配置通知,构建所述目标目录的服务质量数据结构,并将所述服务质量数据结构与所述目录元数据进行关联;所述服务质量数据结构中包括用于对所述目标目录进行流量控制的策略。
本申请提供的技术方案,不需要建立目录与LUN之间的对应关系,就能够实现目录级别的QoS控制方法。针对目标目录进行QoS配置时,元数据服务节点可以根据服务质量配置请求,生成对应的目录元数据。后续,接入节点可以根据元数据服务节点发来的服务质量配置通知,创建对应的服务质量数据结构,在服务质量数据结构中,可以限定对目标目录的流量控制策略。可见,元数据服务节点与接入节点之间,通过将目录元数据和服务质量数据结构进行关联,可以保证目录元数据和服务质量数据结构之间的同步更新,进而实现对目标目录的QoS控制。该方案不需要建立目录与LUN之间的对应关系,而是直接对目录的元数据和服务质量数据结构进行关联,从而实现目录级别的QoS控制过程,在充分发挥分布式集群的数据存储性能的基础上,灵活适应分布式存储集群的目录存储结构,从而灵活地提供目录级别的服务质量功能的部署过程。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了现有技术中QoS的配置示意图;
图2示出了本发明一个实施方式中QoS的配置示意图;
图3示出了本发明一个实施方式中目录级服务质量控制方法的步骤示意图;
图4示出了本发明一个实施方式中令牌桶结构中放入令牌的示意图;
图5示出了本发明一个实施方式中令牌桶结构对读写操作的限制示意图;
图6示出了本发明一个实施方式中服务质量数据结构与目录之间的关联关系图;
图7示出了本发明一个实施方式中目录级服务质量控制系统的功能模块示意图;
图8示出了本发明一个实施方式中接入节点的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
本申请提供的目录级服务质量控制方法,可以用于图2所示的系统架构中。在该系统架构中,可以包括客户端、应用服务器、元数据服务节点以及接入节点。其中,客户端可以是用户使用的终端设备,或者是运行于终端设备上的软件。例如,客户端可以是用户使用的智能手机,也可以是智能手机中运行的浏览器。用户可以在客户端中,对分布式文件系统中的目录进行QoS配置。需要说明的是,上述的用户,指的是具备QoS配置权限的人员。该用户可以是分布式文件系统的管理员,或者是具备管理员权限的用户。
在本实施方式中,用户在客户端中针对目录进行QoS配置后,客户端可以向应用服务器发送服务质量配置请求。在实际应用中,客户端可以是web浏览器,而应用服务器就可以是web服务器。应用服务器接收到客户端发来的服务质量配置请求后,可以向元数据服务节点转发给服务质量配置请求。
在本实施方式中,元数据服务节点与接入节点可以处于同一个物理设备上,也可以分别位于不同的物理设备上,本申请对此并不做限定,只要接入节点与元数据服务节点之间能够通信即可。元数据服务节点可以针对服务质量配置请求创建对应的目录元数据,并且可以向分布式文件系统中的各个接入节点广播服务质量配置通知。
在本实施方式中,接入节点可以是NAS(Network Attached Storage,网络附属存储)节点。接收到广播的服务质量配置通知后,接入节点可以构建对应的服务质量数据结构,并可以将目录元数据与该服务质量数据结构进行关联,从而协同实现目录级别的QoS管控过程。
具体地,请参阅图2和图3,在一个实施方式中,目录级服务质量控制方法可以包括以下多个步骤。
S1:接收元数据服务节点发来的针对目标目录的服务质量配置通知;所述服务质量配置通知由所述元数据服务节点在生成所述目标目录的目录元数据后发出,所述目录元数据由所述元数据服务节点基于服务质量配置请求生成;所述服务质量配置请求中至少包括所述目标目录的目录标识和所述目标目录对应的流量控制参数。
在本实施方式中,为了实现对分布式文件系统进行目录级别的QoS配置过程,可以建立QoS配置的内存结构,并对内存结构的数据进行持久化处理。具体地,用户通过客户端的restful接口,可以向应用服务器传入需要进行QoS配置的目标目录的目录标识以及该目录标识对应的流量控制参数。应用服务器接收到客户端发来的配置信息后,可以向元数据服务节点发送服务质量配置请求。该服务质量配置请求中至少可以携带上述的目录标识和流量控制参数。其中,流量控制参数可以是限定的带宽值和IOPS值。
在本实施方式中,元数据服务节点中的元数据服务进程在收到服务质量配置请求后,可以创建该目标目录的目录元数据。该目录元数据可以快速地对目标目录的QoS信息进行查询和处理。需要说明的是,在实际应用中,目标目录可以具备原始的目录元数据,该原始的目录元数据可以用于描述目标目录的各项信息。例如,原始的目录元数据可以描述目标目录的创建时间、目标目录中的数据量大小、目标目录的读取权限等。在本实施方式中,根据服务质量配置请求创建的目录元数据,可以通过原始的目录元数据的扩展属性来表示。在本申请中,根据服务质量配置请求创建的目录元数据指代的就是通过扩展属性表示的内容,并非表示目标目录的原始的目录元数据。
在实际应用中,考虑到分布式文件系统中各个目录或者文件都可以设置扩展属性(Xattr),那么可以通过对扩展属性进行设置,从而实现目录元数据的生成过程。具体地,应用服务器可以向元数据服务节点发送SetXattr的服务质量配置请求,元数据服务节点在接收到该服务质量配置请求后,可以创建目标目录的扩展属性,并在该扩展属性中记录上述的目录标识和流量控制参数,这样,记录了目标标识和流量控制参数的扩展属性,就可以作为目标目录的目录元数据。当然,根据应用场景的不同,扩展属性中还可以记录更多的信息,本申请对此并不做限定。元数据服务节点还可以将生成的目录元数据持久化到目标目录的标准元数据结构Xattr Map中,从而达到对目录元数据进行持久化处理的目的。
在本实施方式中,元数据服务节点生成目录元数据,并对目录元数据进行持久化管理后,可以向分布式文件系统中的各个接入节点广播服务质量配置通知,该服务质量配置通知中可以携带目标目录的目录标识和对应的流量控制参数。
S3:根据所述服务质量配置通知,构建所述目标目录的服务质量数据结构,并将所述服务质量数据结构与所述目录元数据进行关联;所述服务质量数据结构中包括用于对所述目标目录进行流量控制的策略。
在本实施方式中,各个接入节点内可以具备守护进程和消息处理单元(handler),守护进程在接收到元数据服务节点广播的服务质量配置通知后,可以将该服务质量配置通知交由消息处理单元来处理。
具体地,在接入节点内,通常会缓存目录的服务质量数据结构。消息处理单元针对接收到的服务质量配置通知,可以识别其中的目录标识,然后可以在接入节点的内存中查询是否具备该目录标识对应的服务质量数据结构。如果不具备,消息处理单元就可以新建服务质量数据结构。该服务质量数据结构可以是一个固定格式的内存数据结构,在该服务质量数据结构中,可以包括多个成员。在创建了服务质量数据结构后,消息处理单元可以根据服务质量配置通知中的各项信息,对服务质量数据结构中对应的成员进行初始化。
在本实施方式中,服务质量数据结构中还可以包括用于对所述目标目录进行流量控制的策略,该策略可以通过令牌桶结构来实现。在令牌桶结构中,可以包括深度和令牌放入周期等参数。其中,令牌桶结构的深度可以指令牌桶中最多可以放入的令牌数量;令牌放入周期可以指放入令牌桶中的相邻两个令牌之间的时间间隔。该令牌桶结构的深度与令牌放入周期可以由服务质量配置通知确定。具体地,令牌桶结构的深度越深,IOPS的值可以越大;令牌放入周期越短,带宽值就越大。请参阅图4和图5,令牌桶结构中可以具备定时器,该定时器可以按照令牌放入周期进行时间统计,当到达令牌放入周期限定的放入时间节点时,如果令牌桶中的令牌没有放满,可以自动向令牌桶中放入一个令牌;而如果令牌桶中的令牌已满,则可以跳过本次的放入令牌的步骤。这样,令牌桶中的令牌数量可以按照一定的时间周期进行补充。
当分布式文件系统接收到用户的读写操作时,可以先尝试从令牌桶中获取对应数量的令牌。通常而言,获取的令牌数量与读写操作的数据量是对应一致的。如果令牌桶中的令牌数量足够,那么本次的读写操作就可以正常执行;而如果令牌桶中的令牌数量不够,那么就可以等待一段时间或者先将读写操作重新放入消息队列,等到令牌桶中的令牌数量足够后,再获取对应数量的令牌,并执行读写操作。
可见,通过令牌桶结构的限制,可以对目录下的读写操作进行带宽和IOPS的控制。
在本实施方式中,在构建目标目录的服务质量数据结构之后,消息处理单元可以激活该服务质量数据结构中的令牌桶结构,激活后的令牌桶结构就可以按照令牌放入周期,对令牌桶中的令牌进行补充。
需要说明的是,服务质量数据结构中还可以根据需要包含更多的内容。例如,服务质量数据结构中还可以包含目录下的流量统计值,通过查询该流量统计值,可以对目录下数据的读写操作进行评估。
在本实施方式中,目标目录的目录元数据和服务质量数据结构都是基于用户的QoS配置信息设置的,因此可以建立两者之间的关联关系,后续如果目录元数据发生了更改,也需要同步地对服务质量数据结构中的内容进行更改。
在实际应用中,对目录元数据的处理方式,除了包含上述实施方式中例举的生成,还可以包括修改、删除、查询等处理方式。针对这些不同的处理方式,也需要对应地对关联的服务质量数据结构进行调整。
在一个实施方式中,元数据服务节点在接收到针对目标目录的质量修改请求后,可以对目标目录的目录元数据进行修改。在目录元数据完成修改后,元数据服务节点同样会向分布式文件系统中的各个接入节点发送该目标目录对应的质量修改通知。接入节点中的守护进程接收到该质量修改通知后,会对目标目录的服务质量数据结构中的成员进行修改,并对应调整用于对所述目标目录进行流量控制的策略。例如,当目标目录的QoS策略发生更改后,接入节点就需要对令牌桶结构的深度和/或令牌放入周期进行对应的调整,从而使得调整后的令牌桶结构能够与目标目录的QoS策略保持一致。
在一个实施方式中,元数据服务节点在接收到针对目标目录的质量删除请求后,可以删除所述目标目录的目录元数据,然后向分布式文件系统中的各个接入节点广播质量删除通知。接入节点响应于该质量删除通知,可以不销毁对应的服务质量数据结构,而是可以为所述目标目录的服务质量数据结构添加失效标记,并冻结用于对所述目标目录进行流量控制的策略。以令牌桶结构为例,冻结后的令牌桶结构,就会停止向令牌桶中放入令牌,直至下次被激活。需要说明的是,本申请中对目录元数据的处理过程,都是针对扩展属性表征的内容进行处理,并非是对目标目录的原始的目录元数据进行处理。例如,上文在删除目标目录的目录元数据时,只是将扩展属性表征的QoS配置内容删除,并非是将原始的目录元数据也删除。
在本实施方式中,接入节点在接收到目标目录的质量删除通知后,之所以不直接销毁服务质量数据结构,而是添加失效标记,原因在于,目标目录的服务质量数据结构,可能仍然被子目录或子文件所关联。针对目标目录的服务质量数据结构,只需要标记失效,等到后续子目录或子文件都与该服务质量数据结构解除关联后,再删除该服务质量数据结构,以防止关联指向的地址空间不存在。
在实际应用中,一个服务质量数据结构可能会被多个目录或者文件关联,例如在目标目录下存在一个或者多个子目录和/或子文件,那么目标目录的服务质量数据结构会被下面的各个子目录和/或子文件继承,各个子目录和/或子文件也会与该服务质量数据结构进行关联。为了表征服务质量数据结构与目录/文件之间的关联关系,可以为服务质量数据结构设置数据关联计数。该数据关联计数的初始值可以是零,后续每存在一个关联的目录,就可以将数据关联计数加1。
在一个实施方式中,可以判断服务质量数据结构的数据关联计数是否为零,如果为零,则表示当前没有目录/文件与该服务质量数据结构相关联,此时可以直接销毁所述服务质量数据结构,并释放所述服务质量数据结构所占用的内存空间。而如果数据关联计数不为零,就不能销毁该服务质量数据结构。
在分布式文件系统中,目录可以按照树形结构进行组织,其中,树形结构的root节点对应了文件系统中的根目录,中间节点对应了根目录下某个层级的中间目录,叶子节点对应最底层的空目录或者文件。通常而言,需要进行QoS配置的目录,可以是树形结构中某一层级的目录,该需要进行QoS配置的目录可以称为QoS目录。在QoS目录下,可以包含一个或者多个子目录和/或子文件。基于这种树形结构,可以先构建QoS目录的目录元数据,然后再构建中间目录/文件的目录元数据,最后再构建底层目录/文件的目录元数据。
在本实施方式中,在为树形结构中的各个目录元数据关联服务质量数据结构时,可以按照从上到下(从QoS目录到最底层目录)的顺序来执行。针对QoS目录的目录元数据,由于在内存中不具备对应的服务质量数据结构,因此需要按照上述的步骤,创建对应的服务质量数据结构,并将该服务质量数据结构与QoS目录的目录元数据进行关联。同时,可以将该服务质量数据结构的数据关联计数更新为1。后续,针对QoS目录下的子目录而言,可以识别该子目录的父目录(第一个子目录的父目录就是QoS目录),然后,在该父目录的目录元数据具备关联的服务质量数据结构的情况下,将该父目录的服务质量数据结构与该子目录的目录元数据进行关联。请参阅图6,也就是说,QoS目录与其下第一个子目录的目录元数据,都是与同一个服务质量数据结构进行关联。当然,针对QoS目录下的子文件而言,也可以与QoS目录关联同一个服务质量数据结构。同理,后续的各个子目录/子文件的目录元数据/文件元数据,也是与该服务质量数据结构关联。并且,父目录的服务质量数据结构根据关联的目录的数量,可以设置对应的数据关联计数。如图6所示,同一个服务质量数据结构与6个目录的目录元数据(或者文件的文件元数据)相关联(一个QoS目录,一个中间目录,一个中间文件,三个底层文件),因此该服务质量数据结构的数据关联计数就是6。
在本实施方式中,若其中的一个子目录/子文件的目录元数据/文件元数据被删除或者释放,那么可以取消该子目录的目录元数据/子文件的文件元数据与父目录的服务质量数据结构之间的关联关系,同时更新该父目录的服务质量数据结构对应的数据关联计数。需要说明的是,如果系统的缓存资源比较紧缺,那么目录元数据或者文件元数据在缓存中所占的空间可能会被释放,在这种情况下,尽管目录元数据或者文件元数据没有被删除,那么其与父目录的服务质量数据结构之间的关联关系也需要被取消,同时会更新数据关联计数。也就是说,这个数据关联计数不仅仅是目录或者文件的元数据被删除时减少,实际上这个数据关联计数是一个临时的计数,负责对内存空间的延迟释放进行管理。子目录和子文件在内存中都叫做缓存,具备关联关系的实际是缓存和服务质量数据结构。服务质量数据结构也是临时生成的,是一个内存空间,所以只有服务质量数据结构关联的计数降到0,服务质量数据结构的内存空间才能释放,否则这个内存空间就要一直存在,一直被子目录或者子文件的缓存所关联,被指向和使用数据结构里面的配置信息和令牌桶结构。
举例来说,如果图6中的文件1的目录元数据被删除或者释放,那么文件1的目录元数据就不再与服务质量数据结构进行关联,同时该服务质量数据结构的数据关联计数会更新为5,以此类推。若父目录的服务质量数据结构对应的数据关联计数为零,则可以销毁父目录的服务质量数据结构,同时释放该服务质量数据结构所占用的空间。
可见,通过目录元数据与服务质量数据结构之间的这种动态调节关系,可以及时地对分布式文件系统中的QoS信息进行更新,并且在其中一个子目录/子文件取消关联后,依然能保持其它子目录/子文件和QoS目录的QoS信息正常运行,从而极大地提升了系统的灵活性和稳定性。需要说明的是,取消关联关系的过程通常是从下而上进行的,也就是说,只有在下一级的各个子目录/子文件与服务质量数据结构取消关联关系后,这些子目录/子文件归属的目录才可以与服务质量数据结构取消关联关系。
本申请提供的技术方案,不需要建立目录与LUN之间的对应关系,就能够实现目录级别的QoS控制方法。针对目标目录进行QoS配置时,元数据服务节点可以根据服务质量配置请求,生成对应的目录元数据。后续,接入节点可以根据元数据服务节点发来的服务质量配置通知,创建对应的服务质量数据结构,在服务质量数据结构中,可以限定对目标目录的流量控制策略。可见,元数据服务节点与接入节点之间,通过将目录元数据和服务质量数据结构进行关联,可以保证目录元数据和服务质量数据结构之间的同步更新,进而实现对目标目录的QoS控制。该方案不需要建立目录与LUN之间的对应关系,而是直接对目录的元数据和服务质量数据结构进行关联,从而实现目录级别的QoS控制过程,在充分发挥分布式集群的数据存储性能的基础上,灵活适应分布式存储集群的目录存储结构,从而灵活地提供目录级别的服务质量功能的部署过程。
请参阅图7,本申请还提供一种目录级服务质量控制系统,所述系统包括元数据服务节点和接入节点,其中:
所述元数据服务节点,用于接收针对目标目录的服务质量配置请求,在基于所述服务质量配置请求生成所述目标目录的目录元数据后,向所述接入节点发送所述目标目录对应的服务质量配置通知;所述服务质量配置请求中至少包括所述目标目录的目录标识和所述目标目录对应的流量控制参数;
所述接入节点,用于根据所述服务质量配置通知,构建所述目标目录的服务质量数据结构,并将所述服务质量数据结构与所述目录元数据进行关联;所述服务质量数据结构中包括用于对所述目标目录进行流量控制的策略。
请参阅图8,本申请一个实施方式还提供一种接入节点,所述接入节点包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的目录级服务质量控制方法。
本申请一个实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现上述的目录级服务质量控制方法。
其中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解,实现上述实施方式方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施方式的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种目录级服务质量控制方法,其特征在于,所述方法包括:
接收元数据服务节点发来的针对目标目录的服务质量配置通知;所述服务质量配置通知由所述元数据服务节点在生成所述目标目录的目录元数据后发出,所述目录元数据由所述元数据服务节点基于服务质量配置请求生成;所述服务质量配置请求中至少包括所述目标目录的目录标识和所述目标目录对应的流量控制参数;
根据所述服务质量配置通知,构建所述目标目录的服务质量数据结构,并将所述服务质量数据结构与所述目录元数据进行关联;所述服务质量数据结构中包括用于对所述目标目录进行流量控制的策略。
2.根据权利要求1所述的方法,其特征在于,所述目标目录的扩展属性中记录所述目录标识和所述流量控制参数。
3.根据权利要求1所述的方法,其特征在于,所述用于对所述目标目录进行流量控制的策略为令牌桶结构,所述令牌桶结构的深度与令牌放入周期由所述服务质量配置通知确定,并且在构建所述服务质量数据结构之后,激活所述服务质量数据结构中的令牌桶结构。
4.根据权利要求1所述的方法,其特征在于,在将所述服务质量数据结构与所述目录元数据进行关联之后,所述方法还包括:
接收所述元数据服务节点发来的质量修改通知,对所述目标目录的服务质量数据结构中的成员进行修改,并对应调整用于对所述目标目录进行流量控制的策略。
5.根据权利要求1所述的方法,其特征在于,在将所述服务质量数据结构与所述目录元数据进行关联之后,所述方法还包括:
响应于所述元数据服务节点发来的质量删除通知,为所述目标目录的服务质量数据结构添加失效标记,并冻结用于对所述目标目录进行流量控制的策略。
6.根据权利要求5所述的方法,其特征在于,在为所述目标目录的服务质量数据结构添加失效标记之后,所述方法还包括:
识别所述服务质量数据结构的数据关联计数,若所述数据关联计数为零,销毁所述服务质量数据结构,并释放所述服务质量数据结构所占用的内存空间。
7.根据权利要求1所述的方法,其特征在于,所述目标目录下包括一个或者多个子目录和/或子文件,其中,针对任意一个子目录或者子文件,识别所述子目录或者子文件的父目录,在所述父目录的目录元数据具备关联的服务质量数据结构的情况下,将所述父目录的服务质量数据结构与所述子目录的目录元数据或者子文件的文件元数据进行关联;其中,所述父目录的服务质量数据结构根据关联的目录的数量,设置对应的数据关联计数。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若所述子目录的目录元数据或者子文件的文件元数据被删除或释放,取消所述子目录的目录元数据或者子文件的文件元数据与所述父目录的服务质量数据结构之间的关联关系,并更新所述父目录的服务质量数据结构对应的数据关联计数;其中,若所述父目录的服务质量数据结构对应的数据关联计数为零,销毁所述父目录的服务质量数据结构。
9.一种接入节点,其特征在于,所述接入节点包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至8中任一所述的方法。
10.一种目录级服务质量控制系统,其特征在于,所述系统包括元数据服务节点和接入节点,其中:
所述元数据服务节点,用于接收针对目标目录的服务质量配置请求,在基于所述服务质量配置请求生成所述目标目录的目录元数据后,向所述接入节点发送所述目标目录对应的服务质量配置通知;所述服务质量配置请求中至少包括所述目标目录的目录标识和所述目标目录对应的流量控制参数;
所述接入节点,用于根据所述服务质量配置通知,构建所述目标目录的服务质量数据结构,并将所述服务质量数据结构与所述目录元数据进行关联;所述服务质量数据结构中包括用于对所述目标目录进行流量控制的策略。
CN202110988886.5A 2021-08-26 2021-08-26 目录级服务质量控制方法、系统及接入节点 Active CN113923213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110988886.5A CN113923213B (zh) 2021-08-26 2021-08-26 目录级服务质量控制方法、系统及接入节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110988886.5A CN113923213B (zh) 2021-08-26 2021-08-26 目录级服务质量控制方法、系统及接入节点

Publications (2)

Publication Number Publication Date
CN113923213A CN113923213A (zh) 2022-01-11
CN113923213B true CN113923213B (zh) 2023-09-22

Family

ID=79233225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110988886.5A Active CN113923213B (zh) 2021-08-26 2021-08-26 目录级服务质量控制方法、系统及接入节点

Country Status (1)

Country Link
CN (1) CN113923213B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415971B (zh) * 2022-03-25 2022-09-23 阿里云计算有限公司 数据处理方法以及装置
CN114884816B (zh) * 2022-06-17 2024-02-13 中国联合网络通信集团有限公司 数据包限速规则处理方法、装置、设备、存储介质
CN116668372B (zh) * 2023-08-01 2023-11-03 腾讯科技(深圳)有限公司 一种流量控制方法和相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154776A (en) * 1998-03-20 2000-11-28 Sun Microsystems, Inc. Quality of service allocation on a network
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103218175A (zh) * 2013-04-01 2013-07-24 无锡成电科大科技发展有限公司 多租户的云存储平台访问控制系统
US8818951B1 (en) * 2011-12-29 2014-08-26 Emc Corporation Distributed file system having separate data and metadata and providing a consistent snapshot thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154776A (en) * 1998-03-20 2000-11-28 Sun Microsystems, Inc. Quality of service allocation on a network
US8818951B1 (en) * 2011-12-29 2014-08-26 Emc Corporation Distributed file system having separate data and metadata and providing a consistent snapshot thereof
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103218175A (zh) * 2013-04-01 2013-07-24 无锡成电科大科技发展有限公司 多租户的云存储平台访问控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
可扩展的分布式元数据管理系统设计;黄秋兰;程耀东;杜然;陈刚;;计算机工程(第05期);全文 *

Also Published As

Publication number Publication date
CN113923213A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN113923213B (zh) 目录级服务质量控制方法、系统及接入节点
US10509701B2 (en) Performing data backups using snapshots
CN111200657B (zh) 一种管理资源状态信息的方法和资源下载系统
CN108984560B (zh) 文件存储方法及装置
JP5514903B2 (ja) ファイルレベル階層ストレージ管理システム、方法、及び装置
JP4955677B2 (ja) 領域を解放するための、ストレージボリューム上のファイルから代替ロケーションへのデータの移動
US20120150930A1 (en) Cloud storage and method for managing the same
KR101948956B1 (ko) 데이터 유지 방법
US20170134495A1 (en) Method and apparatus for sharing collaboratively edited document
US9479578B1 (en) Randomized peer-to-peer synchronization of shared content items
CN105187523B (zh) 一种目录访问方法及装置
CN110022338B (zh) 文件读取方法、系统、元数据服务器和用户设备
CN108810055B (zh) 一种大文件传输方法及装置
US10257272B2 (en) Randomized peer-to-peer synchronization of shared content items
CN110515548B (zh) 一种避免浪费第三方云存储空间的方法
US11080909B2 (en) Image layer processing method and computing device
KR101531564B1 (ko) 네트워크 분산 파일 시스템 기반 iSCSI 스토리지 시스템에서의 부하 분산 방법 및 시스템
AU2021202286A1 (en) Managing data
CN112749144A (zh) 一种基于区块链的持久化文件存储系统及方法
CN109634759A (zh) 一种分布式存储系统的配额管理方法、系统及相关组件
CN108566421A (zh) 一种基于网络附属存储器的网络式分布方法及系统
CN107846429B (zh) 一种文件备份方法、装置和系统
US20140149499A1 (en) Remote request fulfillment and delivery
CN106407320B (zh) 文件处理方法、装置及系统
CN116991815B (zh) 一种分布式存储系统的日志收集方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant