CN113923216A - 一种分布式集群限流系统及方法和分布式集群节点 - Google Patents

Abstract

本申请公开了一种分布式集群限流系统及方法和分布式集群节点，本申请满足了集群限流的准确性，而且通过构建本地限流模式，改善了网络传输导致的时延问题。进一步地，本申请实施例通过动态调整各节点的预期可处理请求量，均衡了各节点的资源可支撑的请求量，对本申请实施例提供的分布式集群限流系统进行了优化。进一步地，通过对响应容忍度的调整，在超出本节点的资源容忍度时，以响应容忍度为限将请求转送至其他节点处理，实现了保障集群限流可靠性与准确性的前提下，贴合业务实现了支持脉冲流量的场景。

Description

一种分布式集群限流系统及方法和分布式集群节点

技术领域

本申请涉及但不限于分布式计算技术，尤指一种分布式集群限流系统及方法和分布式集群节点。

背景技术

限流为保证系统的平稳运行起到了关键性的作用。不管应用场景是哪种，可以认为限流是针对超过预期的流量，通过预先设定的限流规则选择性地对某些请求进行限流熔断。不同的场景对“流”的定义是不同的，比如可以是指网络流量、带宽、每秒处理的事务数(TPS)、每秒请求数(hits per second)、并发请求数、甚至还可能是业务上的某个指标如用户在某段时间内允许的最多请求短信验证码次数等等。

集群限流主要场景在与大部分系统以集群化多节点方式部署，牵涉大量三方件及依赖服务的调用，流量防护的视角由本应用本节点扩大至依赖服务及基础设施的可用性保障，在系统日益复杂的趋势下，集群限流已成为大型系统必备的防护措施。

发明内容

本申请提供一种分布式集群限流系统及方法和分布式集群节点，能够兼顾限流效率和准确性，提升限流合理性。

本发明实施例提供了一种分布式集群限流系统，包括：一个以上节点、集群限流控制器；

其中，节点包括：请求拦截器、流量调节器、请求缓存器、状态收发器、请求处理器；

请求拦截器，用于接收来自集群限流控制器的指令，拦截应用请求并转发至流量调节器；

流量调节器，用于根据限流时间窗口中的已通过流量确定当前请求的通过概率，以使流量调节器所属节点的预期可处理请求量在预设范围内。

请求缓存器，用于根据当前请求的通过概率确定处理当前请求，或者缓存当前请求；按照来自集群限流控制器的指令，确定处理本地缓存的请求；将自身所属节点的状态信息输出给状态转发器；

请求处理器，用于处理通过概率高的请求，或者，处理本地缓存的请求；

状态转发器，用于接收来自请求缓存器产生的状态信息并发送给集群限流控制器；

集群限流控制器，用于将接收到的自身所属集群中各节点的状态信息转发给所属集群中的其他节点；根据集群限流阈值，调度流量负载轻的节点处理流量负载重的节点本地缓存的请求。

在一种示例性实例中，还包括：设置在所述节点中的指标采集器，以及指标调节器；其中，

指标采集器，用于从请求处理器获取指标信息；

指标调节器，用于根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及所述流量调节器的预期可处理请求量E(X)；

其中，资源容忍度指所述请求处理器所属节点的资源单位时间内最大可同时处理的请求数。

在一种示例性实例中，所述集群限流控制器用于：

将接收到的所述集群限流控制器自身所属集群中各节点的流量情况转发给所述集群中的其他节点，其中，流量情况包括：当前集群总每秒处理请求数QPS、各节点的所述状态信息；

在集群总QPS不超出集群限流阈值且存在通过流量低于E(X)节点的情况下，调度流量最低的节点向流量超出预期可处理请求量E(X)的节点发送处理本地缓存的请求。

在一种示例性实例中，所述请求缓存器中的根据当前请求的通过概率确定处理当前请求，或者缓存当前请求，包括：

将所述限流时间窗口T分为m份，每隔T/m时长向所述集群限流控制器发送所述请求缓存器自身所属节点的状态信息；处理通过概率高的请求，或者缓存通过概率低的请求。

在一种示例性实例中，所述请求缓存器还用于：

设置响应容忍度，对于超出响应容忍度的请求以失效处理；其中，响应容忍度指请求发出后最大可接受的处理时长。

在一种示例性实例中，所述状态信息包括：节点的通过流量、资源容忍度。

在一种示例性实例中，所述指标调节器用于：

预先设置指标与资源容忍度之间的关系，以及指标与流量调节器的预期可处理请求量E(X)之间的关系；周期性地按照预先设置的关系，根据获得的所述指标信息，调节自身所属集群中各节点的资源容忍度及所述流量调节器的预期可处理请求量E(X)；将更新后的资源容忍度及预期可处理请求量E(X)反馈至各节点的所述流量调节器；

所述流量调节器还用于：根据所述指标调节器反馈的资源容忍度及预期可处理请求量E(X)进行更新。

在一种示例性实例中，所述指标采集器包括以下之一或任意组合：用于采集业务指标的业务指标采集器、用于采集系统指标的系统指标采集器、用于采集三方件指标的三方件指标采集器。

在一种示例性实例中，所述集群限流控制器还用于：

按照实际业务调整响应容忍度；以资源容忍度为限，定时调度批量试探处理所述请求缓存器内的剩余请求；当超出本节点的资源容忍度时，以响应容忍度为限，将本节点的所述请求缓存器中的请求转送至其他节点处理。

在一种示例性实例中，所述请求处理器为微服务。

本申请还提供一种分布式集群节点，包括：请求拦截器、流量调节器、请求缓存器、状态收发器、请求处理器；

请求拦截器，用于接收到指令，拦截应用请求并转发至流量调节器；

流量调节器，用于根据限流时间窗口中的已通过流量确定当前请求的通过概率，以使流量调节器所属节点的预期可处理请求量在预设范围内。

请求缓存器，用于根据当前请求的通过概率确定处理当前请求，或者缓存当前请求；按照来自集群限流控制器的指令，确定处理本地缓存的请求；将自身所属节点的状态信息输出给状态转发器；

请求处理器，用于处理通过概率高的请求，或者，处理本地缓存的请求；

状态转发器，用于接收来自请求缓存器产生的状态信息并发送。

本申请实施例又提供一种分布式集群限流方法，包括：

控制中心获取自身所属集群中各节点的状态信息，并转发给所属集群中的其他节点；

根据集群限流阈值，调度将流量负载重的节点上的请求量转移至流量负载轻的节点上处理。

在一种示例性实例中，还包括：

获取所述控制中心自身所属集群中各节点的指标信息；

根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)。

在一种示例性实例中，所述调节自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)，包括：

预先设置指标与资源容忍度之间的关系，以及指标与流量调节器的预期可处理请求量E(X)之间的关系；

周期性地按照预先设置的关系，根据获得的所述指标信息，调节所述控制中心自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)；

将更新后的资源容忍度及预期可处理请求量E(X)反馈至各节点。

在一种示例性实例中，还包括：

对来自各节点的指标信息进行评估，以调整资源容忍度及节点的预期可处理请求量E(X)。

本申请实施例提供的分布式集群限流系统，通过流量调节器计算出了到达当前节点的请求是转至请求处理器处理，还是暂时缓存在请求缓存器。通过流量调节器计算自身所属每个节点的预期可处理请求量E(X)，保障节点在不超出自身处理能力的情况下还能尽可能满足整体请求达到符合集群限流要求。每个节点中超出预期可处理请求量E(X)的部分均会被限制，而所有节点预期可处理请求量E(X)总和为集群限流阈值，这样保证了所有节点均超出各自节点限流阈值情况下的准确性。

进一步地，本申请根据集群系统的实际情况调节了资源容忍度，对本申请实施例提供的分布式集群限流系统进行了优化。这样，实现了随着环境变化，各节点的请求处理能力随资源使用率、饱和度及错误率等均发生了变化，保障了系统的可靠性；通过流量调节器调节各节点的预期可处理请求量E(X)，虽然各节点的资源对应的请求能力存在固有差异，且存在随时间发生漂移的问题，但是，预期可处理请求量E(X)反映的是节点请求处理能力，当底层资源状态发生改变时，预期可处理请求量E(X)也随之而发生了改变，保障了系统的可靠性。

本申请实施例提供的分布式集群限流系统，满足了集群限流的准确性，而且通过构建本地限流模式，改善了网络传输导致的时延问题。进一步地，本申请实施例通过动态调整各节点的预期可处理请求量，均衡了各节点的资源可支撑的请求量，对本申请实施例提供的分布式集群限流系统进行了优化。进一步地，通过对响应容忍度的调整，在超出本节点的资源容忍度时，以响应容忍度为限将请求转送至其他节点处理，实现了保障集群限流可靠性与准确性的前提下，贴合业务实现了支持脉冲流量的场景。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例中分布式集群限流系统的组成架构示意图；

图2为本申请实施例中分布式集群限流方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在本申请一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本申请实施例中分布式集群限流系统的组成架构示意图，如图1所示，至少包括一个以上分布式集群节点(下文中简称为节点)、集群限流控制器；其中，节点至少包括：请求拦截器、流量调节器、请求缓存器、状态收发器、请求处理器；其中，

请求拦截器，用于接收来自集群限流控制器的指令；拦截应用请求并转发至流量调节器；

流量调节器，用于根据限流时间窗口中的已通过流量确定当前请求的通过概率，以使流量调节器所属节点的预期可处理请求量在预设范围内。

请求缓存器，用于根据当前请求的通过概率确定处理当前请求，或者缓存当前请求；按照来自集群限流控制器的指令，确定处理本地缓存的请求；将自身所属节点的状态信息输出给状态转发器；

请求处理器，用于处理通过概率高的请求，或者，处理本地缓存的请求；

状态转发器，用于接收来自请求缓存器产生的状态信息并发送给集群限流控制器；

集群限流控制器，用于将接收到的各节点的状态信息转发给所属集群中的其他节点；根据集群限流阈值，指令将流量负载重的节点上的请求量转移至流量负载轻的节点上处理。

在一种示例性实例中，负载可以包括但不限于如系统资源CPU，I/O，接口SLA，如RT，状态码等。

本申请实施例中，集群限流阈值是总的设置的值，调度流量指的是调度单个节点上的请求，也就是将负载比较高的节点上的请求量转移至负载比较低的节点上处理。集群限流的目的在于保护集群依赖的三方件，，因此，需要确保集群内所有节点的总的请求处理量稳定在集群限流阈值内。

在一种实施例中，集群限流控制发送的指令为指示各个节点可以处理的请求数，比如：假设有两个节点(节点A、节点B)，各自缓存请求个数为3，6；集群限流控制器发送的指令为指示节点A处理2各请求，指示节点B处理6各请求，那么，表明节点A处理缓存中的2个请求，节点B处理缓存中的6个请求。

在一种示例性实例中，集群限流阈值可以采用如节点可以承受每秒处理请求数(QPS，Query Per Second)阈值来表示。

在一种示例性实例中，假设总的集群限流阈值表示为global_QPS，分布式集群包括n个节点，那么，预期可处理请求量

σ²(X)<ε，ε为一个非常小的数，表示σ²(X)接近与0，也就是说，集群限流阈值global_QPS的均值满足预期可处理请求量E(X)公式且方差接近0。

在一种示例性实例中，流量调节器中的根据限流时间窗口中的已通过流量确定当前请求的通过概率，可以包括：

计算限流时间窗口T内的已通过流量的求和值sum，得到的求和值越小，表明已通过的流量越小，则，提高当前请求通过的概率；得到的求和值越大，表明已通过的流量越大，则，降低当前请求通过的概率。对当前请求通过的概率的已调整以保证流量调节器所属节点的预期可处理请求量在预设范围内即可。

具体如何调整当前请求通过的概率可以根据实际应用场景进行设置，并不用于限定本申请的保护范围，这里强调的是，通过预期可处理请求量E(X)，保障了节点在不超出自身处理能力的情况下还能尽可能满足整体请求达到符合集群限流要求。每个节点中超出预期可处理请求量E(X)的部分均会被限制，而所有节点预期可处理请求量E(X)总和为集群限流阈值，这样保证了所有节点均超出各自节点限流阈值情况下的准确性。

在一种实施例中，按照流量特点，假设每个请求各自独立，那么，可以将某一请求是否通过表达为：

此时，按照限流定义，在给定限流时间窗口T内，可通过流量与准确性E(X)存在如下关系：

将问题转换为获得满足上述表达式的函数g(n)，在一种示例性实例中，一种可行方式是将限流时间窗口T内的求和值sum(即已通过流量)转化后作为g(n)是否为真(true)的阈值。限流时间窗口T内的求和值sum(即已通过流量)越大，表明已通过的流量越大，那么，应降低当前请求通过的概率，从而使得限流时间窗口T内的E(X)偏差控制在预期范围内。集群限流阈值的一种可能的表达式如下：

其中，参数a、参数b为相关参数，具体值可以结合经验或具体业务测试来设置，从公式(1)可见，集群限流阈值threshold与和值sum呈现负相关特性。

综合集群限流阈值threshold与节点流量期望值，g(n)的一种可能的表达式如公式(2)所示：

random＝Math.random∈(0，1)

公式(2)中，随机值random表明的是一种概率分布，可以使得当前节点的流量处理存在一定弹性，这样，当出现部分节点的流量超出预期可处理请求量E(X)，部分节点无法到达预期可处理请求量E(X)的情况，集群限流服务可以灵活进行调节，比如：如果没有到达集群限流阈值则允许处理，如果超出集群限流阈值或者超出预期可处理请求量E(X)则不再处理，直接丢弃。

根据推导过程，可将预期可处理请求量E(X)及g(n)作为定义流量调节器的主要参数。

在一种示例性实例中，请求拦截器可采用如面向切面编程(AOP，Aspect OrientedProgramming)方式实现拦截。通过请求拦截器实现了对发送至请求处理器如微服务的请求的拦截，并将拦截的请求转发至了流量调节器。

本申请实施例中，通过流量调节器计算出了到达当前节点的请求是转至请求处理器处理，还是暂时缓存在请求缓存器。通过流量调节器计算自身所属每个节点的预期可处理请求量E(X)，保障节点在不超出自身处理能力的情况下还能尽可能满足整体请求达到符合集群限流要求。每个节点中超出预期可处理请求量E(X)的部分均会被限制，而所有节点预期可处理请求量E(X)总和为集群限流阈值，这样保证了所有节点均超出各自节点限流阈值情况下的准确性。

在一种示例性实例中，请求缓存器中的根据当前请求的通过概率确定处理当前请求，或者缓存当前请求，可以包括：

将限流时间窗口T分为m份，每隔T/m时长向集群限流控制器发送请求缓存器自身所属节点的状态信息，比如通过流量、资源容忍度等信息；处理通过概率高的请求，或者缓存通过概率低的请求。其中，资源容忍度是指请求处理器如微服务所属节点的资源单位时间内最大可同时处理的请求数，根据各节点情况分别设置，资源容忍度可以计作MR。

本申请实施例中的请求缓存器对于通过概率低的请求，也就是流量超出预期可处理请求量E(X)的情况，不直接拒绝该请求，而是将该清楚存储于本地缓存中(即本申请实施例中各节点单独限流)，进一步地，请求缓存器还可以用于：设置响应容忍度，对于超出响应容忍度的请求以失效处理。其中，响应容忍度是指请求发出后最大可接受的处理时长，可以根据业务统一设置，响应容忍度可以计作PT。

在一种示例性实例中，节点的状态信息可以包括但不限于：请求缓存器所属节点的通过流量、资源容忍度等。

本申请实施例中，对于节点流量不均衡，比如部分节点流量超出，部分节点流量不足等情况、或者是节点宕机、或者是节点网络2将军等问题，通过请求缓存器暂存请求的方式，平衡了各节点流量的差异，保障了集群限流准确性。

在一种示例性实例中，集群限流控制器具体可以用于：

将接收到的集群限流控制器自身所属集群中各节点的流量情况转发给集群中的其他节点，使得集群中的每个节点都能获知其他节点的流量情况，其中，流量情况可以包括但不限于如：当前集群总QPS、各节点的通过流量及资源容忍度等；

在集群总QPS不超出集群限流阈值且存在通过流量低于预期可处理请求量E(X)的情况下，可以调度流量最低或较低(具体可以根据实际应用场景中的策略决定)的节点向流量超出预期可处理请求量E(X)的节点发送处理本地缓存的请求；其中，处理本地缓存的请求可以包括节点可处理的请求数，且所有节点可处理的请求总和与当前集群总QPS之和不超过集群限流阈值。

也就是说，本申请集群限流控制器的调节可以分为两个阶段：第一阶段按照上述公式调节后，当前节点可能会由于负载不均或处理能力受限等原因不能处理更多的请求，从而无法到达在上一周期计算的预期请求处理量E(X)，这样会存在部分请求处理量低于预期可处理请求量E(X)的情况，此时，整体请求量无法达到集群限流阈值，则进入第二阶段，对处理量不足预期可处理请求量E(X)的节点的缺失请求量进行二次分配，转移至其他节点处理，或本节点处理，但处理总量不超过集群限流阈值，也就是说，为了保证达到集群限流阈值，缺失部分的QPS需由有处理能力且缓存中有请求量(超出预期可处理请求量E(X))的节点处理。本申请实施例中这样的处理，达到了集群限流的准确性。

在一种示例性实例中，集群限流控制器可以设置在集群系统的控制中心，集群限流控制器可以包括集群限流算法，用于计算集群限流情况，包括但不限于如滑动窗口、令牌桶及漏斗等算法。

在一种示例性实例中，请求处理器可以是微服务。请求处理器中的处理本地缓存的请求可以包括：

在不超出资源容忍度的前提下，处理本地缓存中的请求。

需要说明的是，到达限流时间窗口T，将各节点的状态信息，以及集群总QPS进行清零处理。

通过本申请实施例提供的分布式集群限流系统，对于集群中的节点均超出预期可处理请求量E(X)的情况，直接按本地限流方式，超出部分存储在本地缓存中，并让超出响应容忍度的请求失效；对于集群中的节点均未超出预期可处理请求量E(X)的情况，直接按本地限流方式处理；对于部分节点超出预期可处理请求量E(X)、部分节点未超出预期可处理请求量E(X)的情况，请求超出预期可处理请求量E(X)的节点处理缓存请求，如果此时请求总量仍未达到限流阈值，那么，在资源容忍度范围内提高流量通过率，以满足系统可靠性下的准确性；否则，QPS总量被限制在集群限流阈值内。需要说明的是，如果某节点通过QPS恰好等于预期可处理请求量E(X)，可以将该节点看作超出预期可处理请求量E(X)的特殊情况，即超出值为0。

在一种示例性实例中，本申请节点还可以包括：指标采集器、指标调节器；其中，

指标采集器，设置在节点中，用于从请求处理器获取指标信息；

指标调节器，用于根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及流量调节器的预期可处理请求量E(X)。

在一种示例性实例中，指标信息可以包括以下之一或任意组合：业务指标、系统指标、三方件指标等，相应地，指标采集器可以包括以下之一或任意组合：业务指标采集器、系统指标采集器、三方件指标采集器。

在一种示例性实例中，业务指标是可以量化的、用于明确反映业务状态且可用于评判业务的变化趋势的信息。在一种实施例中，业务指标可以包括但不限于：下单量、成交量、

等。

在一种示例性实例中，系统指标主要指与业务相关的核心系统指标，需要避免指标爆炸。在一种实施例中，系统指标可以包括但不限于：节点资源使用情况的最直接反映，包括但不限于常用的USE方法等。其中，USE方法用于检查使用率(utilization)、饱和度(saturation)，以及所有硬件资源的错误(error)。

在一种示例性实例中，三方件指标用于反映当前应用系统依赖服务的健康程度，三方件指标范围可以包括但不限于：能够反映应用系统业务直接交互部分的指标、与系统指标存在直接关联的指标、以及三方件自身的核心指标等。其中，三方件可以存在于节点中，也可以存在于节点外。

本申请实施例中，为了方便统一处理，这些业务指标应以使得业务指标综合评分值越高，反映节点调节资源容忍度越高，从而表明可以处理更多的请求为目的。

在一种示例性实例中，指标调节器可以设置在集群系统的控制中心，可以用于：

预先设置指标与资源容忍度之间的关系，预先设置指标与流量调节器的预期可处理请求量E(X)之间的关系；

周期性地按照预先设置的关系，根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及流量调节器的预期可处理请求量E(X)；

将更新后的资源容忍度及预期可处理请求量E(X)反馈至各节点的流量调节器。

相应地，流量调节器还用于：

根据指标调节器反馈的资源容忍度及预期可处理请求量E(X)进行更新。

在一种示例性实例中，指标调节器可以用于：

对来自各节点的指标采集器搜集的指标信息进行评估，以调整资源容忍度变更及节点的预期可处理请求量E(X)。

其中，资源容忍度resource_tolerance反映了节点的请求处理能力，与其他节点无关，在一种实施例中，资源容忍度的可能表示方式可以为公式(3)所示：

resource_tolerance＝a*business+b*system+c*third_part (3)

其中，参数a、参数b、参数c分别表示业务指标的系数、系统指标的系数、三方指标的系数；business表示业务指标信息，system表示系统指标信息，third_part表示三方指标信息。

需要说明的是，参数a、参数b、参数c反应业务偏好，可以根据实际情况设置，这里不再给出具体设置方法。以系统资源容忍度较高为例，那么，对应的参数b设置较低值，表明资源较为富余，其变化情况对整体影响较小。

节点的集群限流阈值E(X)反映当前节点在集群中的请求处理能力，受其他节点影响，在一种实施例中，集群限流阈值E(X)的可能表示方式可以为公式(4)所示：

E(X)_i＝resource_tolerance_i*GLOBAL_QPS/total_tolerance (4)

从公式(4)可见，各节点限流能力与其资源能力匹配，同时资源具备一定的弹性。其中，m表示集群中总节点的个数；i表示节点i。

通过本申请实施例新增的指标调节器，根据集群系统的实际情况调节了资源容忍度，对本申请实施例提供的分布式集群限流系统进行了优化。这样，实现了随着环境变化，各节点的请求处理能力随资源使用率、饱和度及错误率等均发生了变化，保障了系统的可靠性；通过流量调节器调节各节点的预期可处理请求量E(X)，虽然各节点的资源对应的请求能力存在固有差异，且存在随时间发生漂移的问题，但是，预期可处理请求量E(X)反映的是节点请求处理能力，当底层资源状态发生改变时，预期可处理请求量E(X)也随之而发生了改变，保障了系统的可靠性。

为了更好地使得本申请实施例提供的分布式集群限流系统对业务的支撑，以渗透至应用真实使用场景，本申请需要更好地用于支持集中请求流量。比如对于短时脉冲类型流量，若完全按照限流阈值则会损失大部分有效请求，业务而言造成隐形损失，故此阶段设计业务调整模型用于应用此场景。

在一种示例性实例中，集群限流控制器还用于：

按照实际业务调整响应容忍度，即适当延长请求生命周期，具体调整值可以视业务而定；以资源容忍度为限，定时调度批量试探处理请求缓存器内的剩余请求；当超出本节点的资源容忍度时，以响应容忍度为限，将本节点请求缓存器中的请求转送至其他节点处理。

本申请实施例提供的分布式集群限流系统，满足了集群限流的准确性，而且通过构建本地限流模式，改善了网络传输导致的时延问题。进一步地，本申请实施例通过动态调整各节点的集群限流阈值，均衡了各节点的资源可支撑的请求量，对本申请实施例提供的分布式集群限流系统进行了优化。进一步地，通过对响应容忍度的调整，在超出本节点的资源容忍度时，以响应容忍度为限将请求转送至其他节点处理，实现了保障集群限流可靠性与准确性的前提下，贴合业务实现了支持脉冲流量的场景。

本申请还提供一种分布式集群节点，包括图1所述的任一项节点的组成部分。

通过本申请实施例提供的分布式集群限流系统和节点，兼顾了效率与准确性。在节点可用性方面，基于业务稳定下，均衡了各节点的流量分布，达到了资源使用率匹配请求处理能力的状态；在限流合理性方面，在不超出系统处理能力的前提下，以节点资源容忍度和响应容忍度为限，覆盖了脉冲流量场景。进一步地，结合业务指标及系统指标反馈，实时调节了集群限流阈值，保障了系统可靠性。而且，在限流场景方面提出容忍度概念，进一步提升了限流的合理性。

图2为本申请实施例中分布式集群限流方法的流程示意图，如图2所示，至少包括：

步骤200：控制中心获取自身所属集群中各节点的状态信息，并转发给所属集群中的其他节点。

步骤201：根据集群限流阈值，调度将流量负载重的节点上的请求量转移至流量负载轻的节点上处理。

在一种示例性实例中，本申请还可以包括：

步骤202：获取自身所属集群中各节点的指标信息。

步骤203：根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)。

在一种示例性实例中，步骤203可以包括：

预先设置指标与资源容忍度之间的关系，预先设置指标与流量调节器的预期可处理请求量E(X)之间的关系；

周期性地按照预先设置的关系，根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)；

将更新后的资源容忍度及预期可处理请求量E(X)反馈至各节点。

在一种示例性实例中，本申请还可以包括：

对来自各节点的指标采集器搜集的指标信息进行评估，以调整资源容忍度及节点的预期可处理请求量E(X)。

本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行图2任一项所述的分布式集群限流方法。

本申请再提供一种实现分布式集群限流的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行图2任一项所述的分布式集群限流方法的步骤。

虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种分布式集群限流系统，包括：一个以上节点、集群限流控制器；

其中，节点包括：请求拦截器、流量调节器、请求缓存器、状态收发器、请求处理器；

请求拦截器，用于接收来自集群限流控制器的指令，拦截应用请求并转发至流量调节器；

流量调节器，用于根据限流时间窗口中的已通过流量确定当前请求的通过概率，以使流量调节器所属节点的预期可处理请求量在预设范围内；

请求缓存器，用于根据当前请求的通过概率确定处理当前请求，或者缓存当前请求；按照来自集群限流控制器的指令，确定处理本地缓存的请求；将自身所属节点的状态信息输出给状态转发器；

请求处理器，用于处理通过概率高的请求，或者，处理本地缓存的请求；

状态转发器，用于接收来自请求缓存器产生的状态信息并发送给集群限流控制器；

集群限流控制器，用于将接收到的自身所属集群中各节点的状态信息转发给所属集群中的其他节点；根据集群限流阈值，调度流量负载轻的节点处理流量负载重的节点本地缓存的请求。

2.根据权利要求1所述的分布式集群限流系统，还包括：设置在所述节点中的指标采集器，以及指标调节器；其中，

指标采集器，用于从请求处理器获取指标信息；

指标调节器，用于根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及所述流量调节器的预期可处理请求量E(X)；

其中，资源容忍度指所述请求处理器所属节点的资源单位时间内最大可同时处理的请求数。

3.根据权利要求1所述的分布式集群限流系统，其中，所述集群限流控制器用于：

将接收到的所述集群限流控制器自身所属集群中各节点的流量情况转发给所述集群中的其他节点，其中，流量情况包括：当前集群总每秒处理请求数QPS、各节点的所述状态信息；

在集群总QPS不超出集群限流阈值且存在通过流量低于E(X)节点的情况下，调度流量最低的节点向流量超出预期可处理请求量E(X)的节点发送处理本地缓存的请求。

4.根据权利要求3所述的分布式集群限流系统，其中，所述请求缓存器中的根据当前请求的通过概率确定处理当前请求，或者缓存当前请求，包括：

将所述限流时间窗口T分为m份，每隔T/m时长向所述集群限流控制器发送所述请求缓存器自身所属节点的状态信息；处理通过概率高的请求，或者缓存通过概率低的请求。

5.根据权利要求4所述的分布式集群限流系统，所述请求缓存器还用于：

设置响应容忍度，对于超出响应容忍度的请求以失效处理；其中，响应容忍度指请求发出后最大可接受的处理时长。

6.根据权利要求3或4所述的分布式集群限流系统，其中，所述状态信息包括：节点的通过流量、资源容忍度。

7.根据权利要求2所述的分布式集群限流系统，其中，

所述指标调节器用于：

预先设置指标与资源容忍度之间的关系，以及指标与流量调节器的预期可处理请求量E(X)之间的关系；周期性地按照预先设置的关系，根据获得的所述指标信息，调节自身所属集群中各节点的资源容忍度及所述流量调节器的预期可处理请求量E(X)；将更新后的资源容忍度及预期可处理请求量E(X)反馈至各节点的所述流量调节器；

所述流量调节器还用于：根据所述指标调节器反馈的资源容忍度及预期可处理请求量E(X)进行更新。

8.根据权利要求2所述的分布式集群限流系统，所述指标采集器包括以下之一或任意组合：用于采集业务指标的业务指标采集器、用于采集系统指标的系统指标采集器、用于采集三方件指标的三方件指标采集器。

9.根据权利要求1或2所述的分布式集群限流系统，所述集群限流控制器还用于：

按照实际业务调整响应容忍度；以资源容忍度为限，定时调度批量试探处理所述请求缓存器内的剩余请求；当超出本节点的资源容忍度时，以响应容忍度为限，将本节点的所述请求缓存器中的请求转送至其他节点处理。

10.一种分布式集群节点，包括：请求拦截器、流量调节器、请求缓存器、状态收发器、请求处理器；

请求拦截器，用于接收到指令，拦截应用请求并转发至流量调节器；

流量调节器，用于根据限流时间窗口中的已通过流量确定当前请求的通过概率，以使流量调节器所属节点的预期可处理请求量在预设范围内；

请求缓存器，用于根据当前请求的通过概率确定处理当前请求，或者缓存当前请求；按照来自集群限流控制器的指令，确定处理本地缓存的请求；将自身所属节点的状态信息输出给状态转发器；

请求处理器，用于处理通过概率高的请求，或者，处理本地缓存的请求；

状态转发器，用于接收来自请求缓存器产生的状态信息并发送。

11.一种分布式集群限流方法，包括：

控制中心获取自身所属集群中各节点的状态信息，并转发给所属集群中的其他节点；

根据集群限流阈值，调度将流量负载重的节点上的请求量转移至流量负载轻的节点上处理。

12.根据权利要求11所述的分布式集群限流方法，还包括：

获取所述控制中心自身所属集群中各节点的指标信息；

根据获得的指标信息，调节自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)。

13.根据权利要求12所述的分布式集群限流方法，其中，所述调节自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)，包括：

预先设置指标与资源容忍度之间的关系，以及指标与流量调节器的预期可处理请求量E(X)之间的关系；

周期性地按照预先设置的关系，根据获得的所述指标信息，调节所述控制中心自身所属集群中各节点的资源容忍度及预期可处理请求量E(X)；

将更新后的资源容忍度及预期可处理请求量E(X)反馈至各节点。

14.根据权利要求11或12所述的分布式集群限流方法，还包括：

对来自各节点的指标信息进行评估，以调整资源容忍度及节点的预期可处理请求量E(X)。

Images