CN113014408A - 分布式系统及其管理方法 - Google Patents

Abstract

公开了一种分布式系统及其管理方法。所述分布式系统包括多个服务节点，所述服务节点用于：接收客户端发送的操作请求；获取所述操作请求的类型信息；基于所述类型信息，调用所述服务节点的服务质量配置策略，确定所述操作请求的优先级；根据所述优先级，对所述操作请求进行处理。该方案针对操作类型制定优先级策略，并可基于实际请求和当前处理能力进行细粒度更新，提供应对集群资源动态变化的服务质量机制。

Description

分布式系统及其管理方法

技术领域

本发明涉及信息技术领域，尤其涉及一种分布式系统及其管理方法。

背景技术

分布式系统是由多个协同工作的节点组成的集群。现代的大型分布式系统可以在调度机制的控制下，同时满足海量用户的多种服务请求。为了应对多用户同时访问造成的系统资源占用不均问题，分布式系统通常会引入服务质量(QualityofService，QoS)机制。服务质量机制能够针对不同用户或者不同数据流分配不同的优先级，或者是根据应用程序的要求，保证数据流的性能达到一定的水准。

现有技术中的服务质量机制通常会为每个用户设置一个总体带宽限制以及输入输出操作(例如，IOPS，Input/Output Operations Per Second，每秒输入/输出操作)限制。上述限制通常会与分布式系统的物理资源强相关，无法应对各类服务的不同访问需求。

由此，需要一种能够灵活应对各类业务需求的分布式系统及其管理方案。

发明内容

为了解决如上的至少一个问题，本发明提出了一种分布式系统及其管理方案，该方案针对操作类型制定服务质量配置策略，以满足不同操作的优先级需求。进一步地，服务质量配置策略可以基于实际请求和设备处理能力进行细粒度更新，实现对集群资源动态变化的合理应对。

根据本发明的第一方面，提出了一种分布式系统，包括多个服务节点，所述服务节点用于：接收客户端发送的操作请求；获取所述操作请求的类型信息；基于所述类型信息，调用所述服务节点的服务质量配置策略，确定所述操作请求的优先级；以及根据所述优先级，对所述操作请求进行处理。

根据本发明的第二方面，提出了一种分布式系统的管理方法，所述分布式系统包括多个服务节点，所述方法包括：服务节点接收客户端发送的操作请求；所述服务节点获取所述操作请求的类型信息；基于所述类型信息，所述服务节点调用服务质量配置策略，确定所述操作请求的优先级；以及根据所述优先级，所述服务节点对所述操作请求进行处理。

根据本发明的第三方面，提出了一种分布式存储系统，包括多个存储节点，所述存储节点包括存储引擎和存储介质。存储引擎用于：接收来自客户端的输入/输出IO请求；获取所述IO请求的类型信息；调用服务质量配置策略，基于所述类型信息，确定所述IO请求的优先级；以及基于所述优先级将所述IO请求发送至存储介质。存储介质，用于接收所述IO请求，并将所述IO请求的处理结果返回所述存储引擎。

根据本发明的第四方面，提出了一种服务节点，用于：接收客户端发送的操作请求；获取所述操作请求的类型信息；基于所述类型信息，调用所述服务节点的服务质量配置策略，确定所述操作请求的优先级；以及根据所述优先级，对所述操作请求进行处理。

根据本发明的第五方面，提出了一种存储节点，包括存储引擎和存储介质。存储引擎用于：接收来自客户端的输入/输出IO请求；获取所述IO请求的类型信息；调用服务质量配置策略，基于所述类型信息计算所述IO请求的优先级；基于所述优先级将所述IO请求发送至存储介质。存储介质用于接收所述IO请求，并将所述IO请求的处理结果返回所述存储引擎。

根据本发明的第六方面，提出了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的分布式系统管理方法。

根据本发明的第七方面，提出了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的针对分布式系统管理方法。

本发明针对分布式系统的管理方案通过基于服务和操作类型的优先级分配，以更细的控制粒度实现了对操作的整体优化。进一步地，上述优先级的分配可以与每种操作类型的配额相关联，以确保重要操作请求的高优先级。上述操作配额还可包括动态配额，以方便在多种操作类型之间动态调配剩余资源，由此进一步提示系统的实际资源利用率。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了一个分布式系统的组成示意图。

图2示出了根据本发明一个实施例的服务节点的操作示意图。

图3示出了另一个分布式系统的组成示意图。

图4示出了存储节点进行操作的一个例子。

图5示出了中心节点的一个例子。

图6示出了分布式系统执行管理的一个例子。

图7示出了根据本发明一个实施例的分布式系统管理方法的流程示意图。

图8示出了根据本发明一个实施例可用于实现上述分布式系统管理方法的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

现有技术中的服务质量机制通常会为每个用户设置一个总体带宽限制以及输入输出操作(IOPS)限制。上述限制通常会与分布式系统的物理资源(例如，设备吞吐量)强相关，无法应对各类服务的不同访问需求。

为此，本发明提出了一种分布式系统及其管理方案，该方案针对操作类型制定服务策略，以满足不同操作的优先级需求。进一步地，服务策略可以基于实际请求和设备当前处理能力进行更新，从而实现集群资源的动态变化。

图1示出了一个分布式系统的组成示意图。该系统100本身可以是一个具备QoS能力的分布式系统，例如分布式存储系统，用于为系统的租户提供各类存取服务。在此，“分布式系统”可以指代由多个服务节点(例如，多台服务器)组成的分布式集群，并且作为一个整体对外提供服务。“分布式存储系统”则可相应指代由多个分布式存储节点(例如，多台服务器)组成的分布式集群，并且作为一个整体对外提供数据存取服务。“租户”则可指代使用分布式存储系统数据存取服务的用户、系统或模块，在下文中也可成为以“用户”或“客户端”。分布式存储系统同时支持多个用户同时使用集群写入、读取数据，共享集群的存储空间。在多个用户同时访问存储系统的情况下，由于存在部分用户占用大部分系统资源，影响其他用户的服务质量的可能，因此分布式存储系统中通常引入针对不同用户或者不同数据流采用相应不同的优先级的QoS机制。应该理解的是，虽然如下的描述中多结合分布式存储系统及其IO操作进行描述，但是在更广泛的应用场景中，本发明的分布式系统管理方法可以应用于提供存储服务之外的其他服务的其他分布式系统和操作请求。

如图1所示，分布式系统100包括用于接收来自客户端20的输入/输出(IO)请求以进行对应IO操作的多个用于提供存储服务的“存储节点”110_1～110_N。在其他实施例中，分布式系统100也可以包括用于接收来自客户端20的其他操作请求的多个用于提供其他服务的“服务节点”110_1～110_N。应该理解的是，图1是为了说明系统结构的例示，而非限定。例如，虽然图中示出了每个服务节点分别与3个客户端20相连，但应该理解的是，每个服务节点可以根据系统的部署方式，经由网络30分别与多个用户相连。客户端20可以是为其他个人用户提供服务的系统租户，也可以是其他个人终端，例如智能手机和个人计算机等，本发明对此不做限制。此处将客户端20示出为服务器、智能手机和PC，由此指代在不同的实现中，服务节点可以为各类用户提供服务。网络30可以是因特网的一部分，也可以是企业内联网等，并且不同的客户端可以经由不同的网络与分布式系统100的各个服务节点相连。应该理解的是，虽然图中示出了不同的客户端20分别经由表示网络的箭头30直接连接至不同的服务节点110，但是在实际操作中，客户端20通常经由分布式系统100的调度机制而在系统内部被连接至特定的服务节点。

系统100中的每个服务节点110在接收到操作请求后，可以基于预定规则为其分配相应的优先级并之下操作。例如，存储节点在接收到IO请求后，可以为该IO请求分配相应的优先级并执行IO操作。图2示出了根据本发明一个实施例的服务节点的操作流程图。

在步骤S210，接收客户端发送的操作请求。在步骤S220，获取所述操作请求的类型信息。在步骤S230，基于所述类型信息，调用所述服务节点的服务质量配置策略，确定所述操作请求的优先级。基于服务质量配置策略中所述操作请求对应的服务类型，计算所述操作请求的优先级。具体地，所述操作请求的类型信息可以包括所述操作请求对应的服务类型和/或所述操作请求对应服务下的具体操作类型。在不同的实现中，可以在服务质量配置策略中针对不同的服务制定不同的优先级策略，针对不同服务下的不同操作制定不同的优先级策略，针对不同操作(不区分服务)制定不同的优先级策略等等。随后，在步骤S240，根据所述优先级，对所述操作请求进行处理。

在操作请求是IO请求的情况下，实现为存储节点的服务节点可以用于：基于接收到的IO请求对应的服务和IO类型，确定所述IO请求的优先级，并根据所述优先级进行对应的IO操作。IO操作包括针对存储介质的读写操作。由此，存储介质可以针对读请求返回相应的数据内容，或是针对写请求写入相应的数据。

在此，“服务”(service)可以指代使用分布式系统实现的特定功能，或关联功能组合，例如，查询服务等。在分布式存储系统的情况下，服务可以指代利用分布式存储系统进行数据存储来提供特定功能或功能组合。“操作类型”可以指代具有相同特征的操作请求，例如，同一服务内具有相同特征的操作请求。每类请求的目的和需求相同，因此可以在此视为同一种flow”，并被分配相同的优先级。在涉及存储类操作时，“操作类型”可以是“IO类型”，指代服务内部具有相同特征的一类IO请求，一个服务内可以定义多个IO类型。

例如，系统支持的一个服务是具有LSM树(log structured merge-tree)结构的应用(如LevelDB)，应用本身是一个分布式系统，每个实例存取数据时，请求可分为如下三类：

1.外部用户访问：上层用户发出的IO请求到达应用程序后，转化为对底层分布式文件系统的IO请求；应用处理这类请求一般会以较高的优先级访问文件系统，保证对外部用户的服务质量。

2.内部日志：应用运行时写日志，不要求时效性，以最低优先级写到底层分布式文件系统。

3.内部数据压缩：应用定时从底层分布式文件系统读取数据压缩后再写回；这类IO请求一般以较低优先级读写文件。

上面3类请求可以对应3个IO类型(每个IO类型归入1个flow)，每个类型中的请求的目的、需求相同，适于使用相同的优先级进行IO处理。

存储节点可以基于不同的机制确定IO请求的对应服务和IO类型。在一个实施例中，存储节点可以根据IO请求自身的标识来确定其对应的服务和IO类型，或是发送IO请求的客户端可以预先获取该请求对应的类型标识(例如，从下文中的管理节点)并将所述标识连同IO请求一起发送给存储节点。作为替换或者附加，存储节点也可预先(例如，从下文述及的管理节点)获取一份IO请求类型信息表，在该信息表中规定了每个操作请求所对应的服务和IO类型。存储节点可以通过查询该信息表，确定当前IO请求对的应服务和IO类型

在获知了IO请求对应的服务和IO类型之后，存储节点可以根据实际需要以不同的方式来确定该请求的优先级。在一个最简单的实现中，可以直接查找服务质量配置策略中规定的每种服务和/或IO类型对应的固定优先级。在其他实施例中，可以如下文所述，基于进一步的计算规则来确定优先级。

在一个实施例中，优先级的确定至少部分基于系统或该服务节点本身的当前处理能力，例如，存储节点本身物理存储介质的实际吞吐能力。换句话说，每个服务包括的每个操作类型的优先级需要至少基于集群资源进行规划。“集群”在此指代分布式系统范围上的概念。例如，在针对IO操作的情况下，可以使用VIOPS描述单一存储介质的吞吐能力。VIOPS的含义是磁盘上每秒可执行IO操作次数。这里的IO操作特指读写4KB的数据块，如数据块超过4KB，可以折算到4KB对应的VIOPS值。

单个存储节点上通常挂载有多个物理存储介质，存储介质的VIOPS之和作为该节点的VIOPS，集群中所有存储节点的VIOPS之和，作为存储集群的VIOPS。在如下基于IO配额确定优先级的优选实施例中，所有服务下所有IO类型的IO配额之和显然不应大于集群的VIOPS。

在具体实现中，存储节点可以调用内部的计算模块，例如，策略执行模块，来至少基于对应的服务和IO类型计算该IO请求的优先级。随后，内部的IO调度器可以将该IO请求发送到实际执行的存储介质，后者执行相应的IO操作，例如，针对读操作返回所请求的数据内容，或是写入相应的数据内容。

在不同的实施例中，分布式系统可以具有不同的体系架构。例如，系统可以具有集中的元数据管理节点，也可以是无中心节点的架构。在一个实施例中，分布式系统可以包括中心节点，例如QoS中心节点(也可称为管理节点)，用于管理服务质量配置策略。在一个实施例中，服务质量配置策略可以包括：操作请求所属的服务及相应操作类型的操作配额信息。于是，服务节点就可以用于根据操作配额信息，计算所述操作请求的优先级。

图3示出了另一个分布式系统的组成示意图。如图3所示，系统300还包括管理节点320，用于管理针对系统包含的各种服务和操作类型的服务质量配置策略。每个服务节点310可以与该管理节点320相连，以便基于从该管理节点获取服务质量配置策略。

在此，“服务质量配置策略”可以指代如何基于操作请求的类型信息来确定其优先级的规则，也可被称为优先级确定规则。在一个实施例中，从管理节点320获取的服务质量配置策略可以是基于操作类型的固定优先级分配规则。例如，分布式系统定义N个IO优先级，系统管理员可以根据每个服务(例如，应用)的重要性以及资源需求性来固定每个服务包含的每个IO类型的IO请求的优先级。在其他实施例中，则可涉及更为复杂的优先级确定规则，例如，至少基于系统给予每个操作类型的操作配额进行确定。由此，服务质量配置策略可以包括：为不同类型的操作请求分配相应配额的操作配额信息。服务节点于是可以根据所述操作配额信息，确定所述操作请求的优先级。

操作配额信息可以包括分级配额信息。分级配额信息基于服务节点当前实际资源使用量，为相同操作请求分配不同的优先级。于是，在一个实施例中，从中心节点获取的所述IO请求的服务质量配置策略可以包括：所述IO请求对应的服务及相应IO类型的IO配额信息，并且存储节点基于所述IO配额信息以及当前所述IO请求所属的服务的相应IO类型的实际IO资源使用量，计算所述IO请求的优先级，以及基于所述优先级进行对应的IO操作。由此，优先级的确定除了服务和IO类型之外，还需要知道该IO类型确定的IO配额信息以及当前实际IO资源使用量。换句话说，在IO配额使耗尽之前和之后，IO请求适用不同的优先级确定规则。例如，服务A的IO类型A₁在10,000VIOPS的IO配额下具有最高优先级，在实际使用的IO资源超过该配额时，可以将属于IO类型A₁的IO请求的优先级下降为例如次高优先级、最低优先级或是与其他超额请求争夺IO资源。

IO配额可以包括在多个优先级下的相应分级配额。由此进一步提升系统应对服务高峰时的控制能力。例如，服务A的IO类型A₁在10,000VIOPS的IO配额下具有最高优先级，在8,000VIOPS的IO配额下具有次高优先级。于是在实际使用的IO资源小于10,000VIOPS时，属于IO类型A₁的IO请求具有最高优先级；在实际使用的IO资源大于10,000VIOPS但小于18,000VIOPS时，属于IO类型A₁的IO请求具有次高优先级；而在大于18,000VIOPS时，则以将属于IO类型A₁的IO请求的优先级下降为例如最低优先级或是与其他超额请求争夺IO资源。

作为替换或者附加，操作配额信息可以是静态配额，或是进一步包括与静态配额相配合的动态配额。于是，服务节点可以用于：基于所述静态配额信息，判断所述操作请求对应的静态配额是否耗尽；以及如果静态配额未耗尽，向所述操作请求分配与所述静态配额相对应的优先级。例如，IO配额可以包括静态配额。在此，静态配额可以表示该IO类型在所属服务的优先级配额中的预留比例，或是给定的固定配额数，该配额数量不受实际IO压力变动的影响保持不变。为此，所述存储节点可以用于：在当前所述IO请求所属的服务的相应IO类型的实际IO资源使用量小于所述IO请求的静态配额的情况下，向所述IO请求分配相应的优先级。

如果静态配额已耗尽，服务节点可以调整(通常是调低)所述操作请求的优先级。优先级的调整可以是在静态配额耗尽之后的无条件降级。在其他实施例中，还可以基于动态配额进行优先级的确定。于是，操作配额信息还可以包括动态配额信息，并且如果静态配额耗尽，则基于所述动态配额信息，判断所述操作请求对应的动态配额是否耗尽；以及如果动态配额未耗尽，则控制所述操作请求参与对剩余动态配额的争抢。例如，所述操作请求与其他静态配额已满且剩余动态配额的操作请求争抢剩余的动态配额。例如，IO配额还可以包括动态配额。在静态配额分配后，该IO类型面对可变的优先级。为此，所述存储节点还可以用于：在当前所述IO请求所属的服务的相应IO类型的实际IO资源使用量大于所述IO请求的静态配额并且剩余动态配额的情况下，调整所述IO请求的优先级。调整所述IO请求的优先级包括如下至少一项：使得所述IO请求与其他静态配额已满且剩余动态配额的IO请求争抢剩余的动态配额；以及直接降低所述IO请求的优先级。上述争抢可以在同一服务的不同IO类型之间进行，也可以在不同服务的重要程度类似的IO类型之间进行，或是按照规定的方式在预定的IO类型范围内进行。另外，可以定义权重表示该IO类型与其他IO类型进行争抢时的权重。

集群的IO资源规划可由管理节点基于存储节点的实际存储能力，每个服务及其包括的IO类型的重要性以及时效性综合考虑而得出。如下将给出一个资源规划实例。

首先，可将整个集群的IO资源作为待分配总配额total_quota(总配额)，设集群中有多个服务(service)使用集群。随后，根据用户的吞吐需求为每个Service分配IO资源配额service_quota(服务配额)，所有service的配额之和不大于上述total_quota。

针对每个service，将其得到配额service_quota分配到每个io优先级上,得到配额向量service_priority_quota[N]。(priority：优先级，N为系统的优先级数量)。

针对每个service的每个flow(每种IO类型被归入一个flow)，定义默认优先级priority，其配额分为静态、动态两部分。其中，静态配额表示flow在service的优先级配额service_priority_quota[priority]中的预留比例，该配额数量不受实际IO压力变动的影响保持不变；动态配额则是在静态配额分配后，service在每个优先级上未分配的配额称为剩余配额，如果flow的实际使用资源大于已分配的静态配额，则需要与其他超额的flow争抢剩余配额。可以定义weight表示flow与其他flow争抢时的权重。由此，服务质量配置策略可以包括针对每种服务的每个IO类型的服务质量配置策略，所述服务质量配置策略是表示该IO类型在每个优先级上的IO配额量的N维向量，其中N是优先级的个数。

如上给出了管理节点确定每个服务的每个IO类型的优先级规则的方法，在一个实施例中，可以基于系统当前状况更新服务质量配置策略。于是，管理节点320可以进一步地用于：汇总每个服务节点的实际资源使用量；基于所述实际资源使用量，更新服务质量配置策略；以及将更新的服务质量配置策略下发至每个服务节点。

应该明确的是，存储系统的IO和吞吐(Throughput)是两个不同的概念。IO操作是物理存储介质进行存取操作的能力，通常以IOPS表示。而吞吐能力则是存储数据量的能力，通常以字节数表示。在不同的服务和IO类型中，通常会存在对IO能力和吞吐能力的不同需要。本发明的分布式系统及其管理方案能够如上所述针对IO操作或其他服务操作进行细粒度和动态的优先级划分。

进一步地，上述反馈更新还可以考虑服务节点的当前处理能力，于是中心节点320可以进一步地用于：汇总每个服务节点的当前处理能力基于所述当前处理能力，更新所述服务质量配置策略；以及将更新的所述服务质量配置策略发送至所述多个服务节点。

为了方便对客户端发送操作请求的操作类型进行确定，管理节点320可以向客户端发送操作请求类型信息表，所述操作请求类型信息表用于查询操作请求对应的类型信息。接收到操作请求类型信息表的客户端在发送操作请求时，可以将从该信息表上查询到的对应类型信息与操作请求一并发送，于是服务节点320就可以接收所述客户端发送的操作请求和所述操作请求对应的类型信息两者。

另外，如上所述，本发明的分布式系统尤其适于实现为具有QoS功能的分布式存储系统。为此，本发明还可以实现为一种分布式存储系统，包括多个存储节点。图4示出了存储节点的一个例子。如图4所示，每个存储节点410可以包括存储介质411和存储引擎412。存储引擎412用于：接收来自客户端的输入/输出IO请求；获取所述IO请求的类型信息；调用服务质量配置策略，基于所述类型信息，确定所述IO请求的优先级；基于所述优先级将所述IO请求发送至存储介质。存储介质411接收所述IO请求，基于所述优先级进行对应的IO操作，例如，相应的读或写操作，并将所述IO请求的处理结果返回所述存储引擎。存储介质411可以是由多个物理存储介质组成的介质集合。

可选地，存储节点410还可以包括策略执行模块413，用于从所述管理节点获取所述服务质量配置策略，并执行所述服务质量配置策略。由此，存储引擎412可以根据策略执行模块413中的服务质量配置策略确定IO请求的优先级。在一个实施例中，服务质量配置策略可以包括：所述IO请求对应的服务及IO类型的IO配额信息。于是，存储引擎411可以基于所述IO配额信息以及实际IO资源使用量，计算所述IO请求的优先级。

分布式存储系统也可以包括用于管理服务质量配置策略的管理节点(也可称为中心节点)。所述IO请求的服务质量配置策略可以包括：所述IO请求对应的服务及相应IO类型的IO配额信息，并且所述存储引擎412基于所述IO配额信息以及当前所述IO请求对应的服务的相应IO类型的实际IO资源使用量，确定所述IO请求的优先级，以及根据所述优先级进行对应的IO操作。进一步地，所述IO配额包括静态配额信息和动态配额信息，并且，所述存储引擎412用于：基于所述静态配额信息，判断所述IO请求对应的静态配额是否耗尽；如果静态配额耗尽，向所述IO请求分配与所述静态配额相对应的优先级；如果静态配额耗尽，基于所述动态配额信息，判断所述IO请求对应的动态配额是否耗尽；以及如果动态配额未耗尽，控制所述IO请求参与对剩余动态配额的争抢，例如与其他静态配额已满且剩余动态配额的IO请求争抢剩余的动态配额。如上所述，分布式存储系统可以具备调度策略的反馈机制。图5示出了管理节点的一个例子。如图5所示，管理节点520可以包括策略计算模块521和IO数据统计模块522，以至少基于从各个存储节点收集上来的实际IO资源使用量更新所述各种服务和IO类型的服务质量配置策略以供所述存储节点的策略执行模块执行。

可选地，管理节点520进一步包括：集群资源管理模块523，用于汇总来自每个存储节点的资源管理模块的吞吐能力；以及资源配置模块524，用于存储所述分布式存储系统支持的各种服务及其IO类型的IO请求类型信息表。相应地，策略计算模块521可以基于实际IO资源使用量、吞吐能力和所述IO请求类型信息表，更新服务质量配置策略以供所述存储节点的策略执行模块执行。

与中心节点520汇总IO使用量和吞吐能力相对应的，存储节点可以包括：IO数据采集模块，用于采集实际消耗的IO资源，即，用于采集该存储节点实际IO资源使用量。作为替换或者附加，存储节点还可以包括：资源管理模块，用于汇总例如通过扫描获取的所述存储节点内所有存储介质的吞吐能力。

本发明还可以实现为一种执行上述方案的服务节点。该服务节点可以用于：接收客户端发送的操作请求；获取所述操作请求的类型信息；基于所述类型信息，调用所述服务节点的服务质量配置策略，确定所述操作请求的优先级；以及根据所述优先级，对所述操作请求进行处理。

如前所述，所述服务质量配置策略可以包括：为不同属性的操作请求分配相应配额的操作配额信息。于是，所述服务节点可以用于：根据所述操作配额信息，确定所述操作请求的优先级。

更进一步地，该服务节点尤其适于实现为一种存储节点，包括：存储引擎和存储介质。存储引擎可以用于：接收来自客户端的输入/输出IO请求；获取所述IO请求的类型信息；调用服务质量配置策略，基于所述类型信息计算所述IO请求的优先级；基于所述优先级将所述IO请求发送至存储介质。存储介质则可用于接收所述IO请求，并将所述IO请求的处理结果返回所述存储引擎。

在一个实施例中，该存储节点还可以包括：策略执行模块，用于：从管理节点获取服务质量配置策略；执行所述服务质量配置策略。

在一个实施例中，该存储节点还可以包括：IO数据采集模块，用于采集所述存储节点实际IO资源使用量；资源管理模块，用于获取所述存储节点内存储介质的吞吐能力。所述实际IO资源使用量和所述吞吐能力可以用于管理节点更新所述服务质量配置策略。

图6示出了分布式存储系统执行管理的一个例子。如下，将从用户20、存储节点610和管理节点620各自的操作来说明分布式系统的管理流程。

首先，系统用户20通过应用程序与系统600交互。

IO流程如下：

a1)应用程序20从管理节点620获取QoS资源配置表(对应于上文中的操作/IO请求类型信息表)，该表描述了系统中QoS资源配置表；应用程序20可以从QoS资源配置表查询自身<service,flow>对应的QoS参数(即，类型标识)；

a2)携带上一步骤中得到的QoS参数向存储节点610发送IO请求；

a3)存储节点610内部调用策略执行模块计算IO请求的优先级；

a4)IO请求按上一步的优先级发送到IO调度器然后分发到存储介质611；

a5)IO请求从存储介质返回后，将该请求消耗的IO资源发送到IO数据采集模块613。

集群资源统计：

b1)每个存储节点610内部定时扫描该节点内挂载的所有存储介质的吞吐能力，汇总到资源管理模块614；

b2)管理节点620周期性地从每个存储节点获取该节点吞吐能力，汇总到集群资源管理模块623；

c1)管理节点620周期性地从每个存储节点获取该节点实际消耗的IO资源，汇总到IO数据统计模块622。

调度策略反馈更新：

d1)管理节点620的策略计算模块621按固定的调度周期运行，每个周期开始时以集群的Qos资源配置表(d1.1)、实际IO资源消耗(d1.2)、集群实际资源统计(d1.3)作为输入，计算生成新的QoS调度策略；策略计算模块首先按Qos资源配置和集群实际资源统计为每个service的每个flow分配静态配额，然后按flow的权重和实际需求缺口分配动态配额，每个flow静态配额与动态配额的形式是一个N维向量，表示该flow在每个优先级上得到的io配额量；

d2)将新的服务质量配置策略分发到所有存储节点610的策略执行模块613。由此，实现了QoS调度策略的反馈更新。

由上，结合图1-6描述了本发明的分布式系统及其管理方法。本发明的分布式系统管理方案根据用户的操作需求为服务分配相应配额，与用户需要的存储空间资源解耦，在服务质量配置中定义读写所用的吞吐资源，数据所需空间资源可另行设定。本发明为用户提供了细粒度的优先级机制，可以根据自身业务的内部差异将重要的操作请求放在高优先级获得更高的吞吐带宽。另外，本方案可以在用户的多个操作类型之间动态调配剩余资源，根据操作类型实际消耗动态调整，提高资源利用率。

本发明还可以实现为一种用于分布式系统的管理方法。该分布式系统包括用于接收来自客户端的操作请求以进行对应操作的多个服务节点，例如，可以是如上结合图1-6描述的分布式系统及其所包括的存储节点和/或管理节点。

图7示出了根据本发明一个实施例的分布式系统管理方法的流程示意图。该分布式系统包括多个服务节点。多个服务节点可以如上所述针对来自客户端的操作请求提供服务。

在步骤S710，服务节点接收客户端发送的操作请求。在步骤S720，所述服务节点获取所述操作请求的类型信息。在步骤S730，基于所述类型信息，所述服务节点调用服务质量配置策略，确定所述操作请求的优先级。在步骤S740，根据所述优先级，对所述操作请求进行处理。

分布式系统还可以包括管理节点。为此，所述方法还可以包括：从管理节点获取所述服务质量配置策略。服务质量配置策略可以包括所述分布式系统提供的多种服务的多个操作类型各自的操作配额信息，并且所述操作配额信息可以由所述服务节点用于计算所述操作请求的优先级。

在一个实施例中，操作配额可以包括静态配额信息和动态配额信息，并且，基于服务质量配置策略中所述操作请求所属的类型，计算所述操作请求的优先级的步骤包括：基于所述静态配额信息，判断所述操作请求对应的静态配额是否耗尽；如果静态配额未耗尽，向所述操作请求分配与所述静态配额相对应的优先级；如果静态配额耗尽，基于所述动态配额信息，判断所述操作请求对应的动态配额是否耗尽；以及如果动态配额未耗尽，控制所述操作请求参与对剩余动态配额的争抢。例如，IO配额可以包括静态配额信息和动态配额信息，于是，可以在当前所述IO请求所属的服务的相应IO类型的实际IO资源使用量小于所述IO请求的静态配额的情况下，向所述IO请求分配相应的优先级；以及在当前所述IO请求所属的服务的相应IO类型的实际IO资源使用量大于所述IO请求的静态配额并且剩余动态配额的情况下，控制所述IO请求与其他静态配额已满且剩余动态配额的IO请求争抢剩余的动态配额。

在一个实施例中，该方法还可以包括：管理节点汇总每个存储节点的实际资源使用量以及当前处理能力；至少基于实际资源使用量以及当前处理能力，更新服务质量配置策略；以及将更新的服务质量配置策略下发至每个服务节点。

图8示出了根据本发明一个实施例可用于实现上述分布式系统管理方法的计算设备的结构示意图。

参见图8，计算设备800包括存储器810和处理器820。

处理器820可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器820可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器820可以使用定制的电路实现，例如特定用途集成电路(ASIC)或者现场可编程逻辑门阵列(FPGA)。

存储器810可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器820或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器810可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器810可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器810上存储有可执行代码，当可执行代码被处理器820处理时，可以使处理器820执行上文述及的分布式系统管理方法。

上文中已经参考附图详细描述了根据本发明的分布式系统及其管理方案。本发明在分布式系统上设计了多用户、多需求的资源配置方法，相比以往的方案支持在用户、需求层级之下更细粒度的优先级机制。另外，该分布式存储系统还具备服务质量效果反馈机制，通过采集实际资源数据，周期性调整服务质量配置策略保证高优先级需求的操作资源，当高优先级流量降低时低优先级需求可利用这部分剩余资源，避免浪费。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (31)

1.一种分布式系统，包括多个服务节点，所述服务节点用于：

接收客户端发送的操作请求；

获取所述操作请求的类型信息；

基于所述类型信息，调用所述服务节点的服务质量配置策略，确定所述操作请求的优先级；以及

根据所述优先级，对所述操作请求进行处理。

2.如权利要求1所述的系统，还包括：

管理节点，用于管理所述多个服务节点的服务质量配置策略，并将所述服务质量配置策略发送给所述多个服务节点。

3.如权利要求2所述的系统，其中，所述管理节点进一步用于：

汇总所述多个服务节点用于处理操作请求的实际资源使用量；

基于所述实际资源使用量，更新所述服务质量配置策略；以及

将更新的所述服务质量配置策略发送至所述多个服务节点。

4.如权利要求2所述的系统，其中，所述管理节点用于：

汇总所述多个服务节点的当前处理能力；

基于所述当前处理能力，更新所述服务质量配置策略；以及

将更新的所述服务质量配置策略发送至所述多个服务节点。

5.如权利要求2所述的系统，其中，所述管理节点用于：

向客户端发送操作请求类型信息表，所述操作请求类型信息表用于查询操作请求对应的类型信息，

所述服务节点用于接收所述客户端发送的操作请求和所述操作请求对应的类型信息。

6.如权利要求1所述的系统，其中，所述操作请求的类型信息包括如下至少一项：

所述操作请求对应的服务类型；以及

所述操作请求对应的操作类型。

7.如权利要求6所述的系统，其中，所述服务质量配置策略包括：

为不同类型的操作请求分配相应配额的操作配额信息，

其中，所述服务节点用于：

根据所述操作配额信息，确定所述操作请求的优先级。

8.如权利要求7所述的系统，其中，所述操作配额信息包括分级配额信息，所述分级配额信息基于服务节点当前的实际资源使用量，为相同类型的操作请求分配不同的优先级。

9.如权利要求7所述的系统，其中，所述操作配额信息包括静态配额信息；

所述服务节点用于：

基于所述静态配额信息，判断所述操作请求对应的静态配额是否耗尽；以及

如果静态配额未耗尽，向所述操作请求分配与所述静态配额相对应的优先级。

10.如权利要求9所述的系统，其中，所述服务节点还用于：

如果静态配额耗尽，调整所述操作请求的优先级。

11.如权利要求10所述的系统，其中，所述操作配额信息还包括动态配额信息；

所述服务节点还用于：

如果所述静态配额耗尽，则基于所述动态配额信息，判断所述操作请求对应的动态配额是否耗尽；

如果动态配额未耗尽，控制所述操作请求参与对剩余动态配额的争抢。

12.如权利要求7所述的系统，其中，所述操作配额信息是表示该操作类型在每个优先级上的操作配额量的N维向量，其中N是优先级的个数。

13.如权利要求6所述的系统，其中，所述操作请求的类型信息包括所述操作请求对应的服务类型和操作类型，

其中，所述服务质量配置策略包括所述分布式系统提供的多种服务包含的多种操作类型各自的操作配额信息。

14.一种分布式系统的管理方法，所述分布式系统包括多个服务节点，所述方法包括：

服务节点接收客户端发送的操作请求；

所述服务节点获取所述操作请求的类型信息；

基于所述类型信息，所述服务节点调用服务质量配置策略，确定所述操作请求的优先级；以及

根据所述优先级，所述服务节点对所述操作请求进行处理。

15.如权利要求14所述的方法，还包括：

从所述分布式系统的管理节点获取所述服务质量配置策略，其中，所述服务质量配置策略包括所述分布式系统提供的多种服务的多个操作类型各自的操作配额信息；

其中，所述确定所述操作请求的优先级，包括：

所述服务节点基于所述操作配额信息，确定所述操作请求的优先级。

16.如权利要求15所述的方法，其中，所述操作配额信息包括静态配额信息和动态配额信息；

所述服务节点基于所述操作配额信息确定所述操作请求的优先级，包括：

基于所述静态配额信息，判断所述操作请求对应的静态配额是否耗尽；

如果静态配额未耗尽，向所述操作请求分配与所述静态配额相对应的优先级；

如果静态配额耗尽，则基于所述动态配额信息，判断所述操作请求对应的动态配额是否耗尽；以及

如果动态配额未耗尽，控制所述操作请求参与对剩余动态配额的争抢。

17.如权利要求15所述的方法，还包括：

所述管理节点汇总所述多个服务节点的实际资源使用量以及当前处理能力；

至少基于所述实际资源使用量以及所述当前处理能力，所述管理节点更新所述服务质量配置策略；以及

所述管理节点将更新的所述服务质量配置策略发送至所述多个服务节点。

18.一种分布式存储系统，包括多个存储节点，所述存储节点包括：

存储引擎，用于：

接收来自客户端的输入/输出IO请求；

获取所述IO请求的类型信息；

调用服务质量配置策略，基于所述类型信息，确定所述IO请求的优先级；以及

基于所述优先级将所述IO请求发送至存储介质，

所述存储介质，用于接收所述IO请求，并将所述IO请求的处理结果返回所述存储引擎。

19.如权利要求18所述的系统，还包括：

管理节点，用于管理服务质量配置策略；

其中，所述存储节点还包括：

策略执行模块，用于：

从所述管理节点获取所述服务质量配置策略；以及

执行所述服务质量配置策略。

20.如权利要求19所述的系统，其中，所述存储节点包括：

IO数据采集模块，用于采集所述存储节点实际IO资源使用量，

所述管理节点包括：

IO数据统计模块，用于汇总来自所述多个存储节点的IO数据采集模块所采集的实际IO资源使用量；

策略计算模块，用于至少基于所述实际IO资源使用量，更新所述服务质量配置策略。

21.如权利要求20所述的系统，其中，所述存储节点包括：

资源管理模块，用于获取所述存储节点内存储介质的当前吞吐能力；

所述管理节点包括：

集群资源管理模块，用于汇总所述多个存储节点的资源管理模块所获取的当前吞吐能力；以及

资源配置模块，用于存储所述分布式存储系统支持的多种服务包含的IO类型的IO请求类型信息表，

所述策略计算模块用于基于所述实际IO资源使用量、所述当前吞吐能力和所述IO请求类型信息表，更新所述服务质量配置策略。

22.如权利要求21所述的系统，其中，所述管理节点用于：

向客户端发送所述IO请求类型信息表，所述IO请求类型信息表用于查询IO请求对应的类型信息，

所述服务节点用于接收所述客户端发送的操作请求和所述操作请求对应的类型信息。

23.如权利要求18所述的系统，其中，所述服务质量配置策略包括：

为所述IO请求对应的服务及IO类型分配相应配额的IO配额信息，

其中，所述存储引擎用于：

根据所述IO配额信息以及实际IO资源使用量，确定所述IO请求的优先级。

24.如权利要求23所述的系统，其中，所述IO配额包括静态配额信息和动态配额信息，

所述存储引擎用于：

基于所述静态配额信息，判断所述IO请求对应的静态配额是否耗尽；

如果静态配额未耗尽，向所述IO请求分配与所述静态配额相对应的优先级；

如果静态配额耗尽，则基于所述动态配额信息，判断所述IO请求对应的动态配额是否耗尽；以及

如果动态配额未耗尽，控制所述IO请求参与对剩余动态配额的争抢。

25.一种服务节点，用于：

接收客户端发送的操作请求；

获取所述操作请求的类型信息；

基于所述类型信息，调用所述服务节点的服务质量配置策略，确定所述操作请求的优先级；以及

根据所述优先级，对所述操作请求进行处理。

26.如权利要求25所述的服务节点，其中，所述服务质量配置策略包括：

为不同类型的操作请求分配相应配额的操作配额信息；

所述服务节点用于：

根据所述操作配额信息，确定所述操作请求的优先级。

27.一种存储节点，包括：

存储引擎，用于：

接收来自客户端的输入/输出IO请求；

获取所述IO请求的类型信息；

调用服务质量配置策略，基于所述类型信息计算所述IO请求的优先级；

基于所述优先级将所述IO请求发送至存储介质，

所述存储介质，用于接收所述IO请求，并将所述IO请求的处理结果返回所述存储引擎。

28.如权利要求27所述的存储节点，还包括：

策略执行模块，用于：

从管理节点获取服务质量配置策略；

执行所述服务质量配置策略。

29.如权利要求28所述的存储节点，还包括：

IO数据采集模块，用于采集所述存储节点实际IO资源使用量；

资源管理模块，用于获取所述存储节点内存储介质的当前吞吐能力，

所述实际IO资源使用量和所述当前吞吐能力用于管理节点更新所述服务质量配置策略。

30.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求14-17中任一项所述的方法。

31.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求14-17中任一项所述的方法。

Images