CN109005125A - 动态限流方法、装置及系统 - Google Patents

Abstract

本说明书一个或多个实施例公开了一种动态限流方法、装置及系统，用以通过动态调整限流阈值来实现全局准确限流。所述方法应用于与服务器集群之间建立长连接的限流设备，包括：获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；根据所述限流阈值，对所述各服务器执行限流操作。

Description

动态限流方法、装置及系统

技术领域

本说明书涉及通讯领域，尤其涉及一种动态限流方法、装置及系统。

背景技术

在高并发、海量流量的场景中，限流成为了一种必不可少的手段。而因为存在长连接，传统的单机限流会造成负载不平衡的问题，造成用户远没达到限流值就被限制了。因此，集群限流成为了唯一的选择，而如何在分布式环境下做到全局准确限流一直是个难题。

现有技术中，常用的集群限流方法有两种。一种是利用前置限流服务器先进行限流，然后再转发到真实服务器上，这种方法会存在限流服务器的单点问题，即限流服务器一旦故障，将直接影响整个系统的可用性；并且所有流量均要先走到限流服务器，造成系统延时的增加，从而影响系统性能。第二种方法是将限流令牌存入高速缓存(如redis等)中，并预分配单机令牌，一旦令牌用完就再向中央令牌库申请新的令牌。显然，这种方法同样存在中央领牌库的单点问题，且预分配的令牌如果没有用完就将一直占用着，导致令牌难以回收。

发明内容

本说明书一个或多个实施例的目的是提供一种动态限流方法、装置及系统，用以通过动态调整限流阈值来实现全局准确限流。

为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

一方面，本说明书一个或多个实施例提供一种动态限流方法，应用于与服务器集群之间建立长连接的限流设备，包括：

获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。

在一个实施例中，所述各服务器分配有至少一个第一令牌；所述总限流阈值包括总令牌数；所述当前限流状态包括所述各服务器在所述当前工作周期内的第一令牌使用数和/或第一令牌剩余数；所述历史限流状态包括所述各服务器在所述历史工作周期内的第二令牌使用数和/或第二令牌剩余数；所述限流阈值包括令牌使用阈值；

相应的，所述根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值，包括：

根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数；

根据所述第三令牌使用数，确定所述各服务器在所述下一个工作周期内的令牌使用阈值。

在一个实施例中，所述根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数，包括：

根据所述第一令牌使用数和/或所述第一令牌剩余数，确定所述各服务器在所述下一个工作周期内所需的令牌数占所述总令牌数的比例；

根据所述比例及所述总令牌数，确定所述第三令牌使用数。

在一个实施例中，所述根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数，包括：

分析所述第二令牌使用数和/或所述第二令牌剩余数，得到分析结果；

根据所述分析结果，确定所述各服务器在各工作周期内的令牌使用平均数；

根据所述令牌使用平均数，确定所述第三令牌使用数。

在一个实施例中，所述根据所述限流阈值，对所述各服务器执行限流操作，包括：

当到达所述下一个工作周期时，为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌。

在一个实施例中，所述为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌之后，还包括：

确定所述下一个工作周期内的令牌生效时间；

控制所述第二令牌在所述令牌生效时间到达时同时生效。

另一方面，本说明书一个或多个实施例提供一种动态限流装置，应用于与服务器集群之间建立长连接的限流设备，包括：

获取模块，用于获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

第一确定模块，用于根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

限流模块，用于根据所述限流阈值，对所述各服务器执行限流操作。

在一个实施例中，所述各服务器分配有至少一个第一令牌；所述总限流阈值包括总令牌数；所述当前限流状态包括所述各服务器在所述当前工作周期内的第一令牌使用数和/或第一令牌剩余数；所述历史限流状态包括所述各服务器在所述历史工作周期内的第二令牌使用数和/或第二令牌剩余数；所述限流阈值包括令牌使用阈值；

相应的，所述第一确定模块包括：

第一确定单元，用于根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数；

第二确定单元，用于根据所述第三令牌使用数，确定所述各服务器在所述下一个工作周期内的令牌使用阈值。

在一个实施例中，所述第一确定单元还用于：

根据所述第一令牌使用数和/或所述第一令牌剩余数，确定所述各服务器在所述下一个工作周期内所需的令牌数占所述总令牌数的比例；

根据所述比例及所述总令牌数，确定所述第三令牌使用数。

在一个实施例中，所述第一确定单元还用于：

分析所述第二令牌使用数和/或所述第二令牌剩余数，得到分析结果；

根据所述分析结果，确定所述各服务器在各工作周期内的令牌使用平均数；

根据所述令牌使用平均数，确定所述第三令牌使用数。

在一个实施例中，所述限流模块包括：

分配单元，用于当到达所述下一个工作周期时，为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌。

在一个实施例中，所述装置还包括：

第二确定模块，用于所述为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌之后，确定所述下一个工作周期内的令牌生效时间；

控制模块，用于控制所述第二令牌在所述令牌生效时间到达时同时生效。

再一方面，本说明书一个或多个实施例提供一种动态限流系统，包括服务器集群和限流设备，所述服务器集群和限流设备之间建立有长连接；其中，所述限流设备包括：

巡检器，用于获取服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

决策器，用于根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

干预器，用于根据所述限流阈值，对所述各服务器执行限流操作。

再一方面，本说明书一个或多个实施例提供一种动态限流设备，应用于与服务器集群之间建立长连接的限流设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。

再一方面，本申请实施例提供一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：

获取与限流设备之间建立长连接的服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。

采用本说明书一个或多个实施例的技术方案，通过获取服务器集群中各服务器的限流状态及服务器集群的总限流阈值，并根据该限流状态及总限流阈值确定各服务器在下一个工作周期的限流阈值，进而根据限流阈值对各服务器执行限流操作。可见，该技术方案首先能够动态确定各服务器在下一个工作周期的限流阈值，从而通过动态调整限流阈值达到限流的目的；其次，该技术方案由于采用非侵入性的负反馈方式，因此避免了由于限流设备故障导致的单点问题，同时也避免了全局限流带来的性能问题；再次，该技术方案由于采用长连接的方式，因此能够大大减少限流决策的滞后性，从而实现全局准确限流。

进一步的，该技术方案通过主动调整分配给各服务器的令牌数，并控制令牌统一生效，使得已发放但并未使用的令牌能够被收回(即失效)，从而有效避免了已发放令牌无法回收的问题。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本说明书一实施例的一种动态限流方法的应用场景图；

图2是根据本说明书一实施例的一种动态限流方法的示意性流程图；

图3是根据本说明书一实施例的一种动态限流装置的示意性框图；

图4是根据本说明书一实施例的一种动态限流系统的示意性框图

图5是根据本说明书一实施例的一种动态限流设备的示意性框图。

具体实施方式

本说明书一个或多个实施例提供一种动态限流方法、装置及系统，用以通过动态调整限流阈值来实现全局准确限流。

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书一个或多个实施例保护的范围。

本说明书一个或多个实施例提供的动态限流方法应用于与服务器集群之间建立长连接的限流设备，如图1所示，限流设备110与服务器集群120之间建立长连接，服务器集群120中包括多个服务器，图1中仅示意性地示出了五个服务器，实际应用中，服务器集群120中服务器的数量根据实际应用场景确定。此外，图1所示的限流设备110也仅是示意性地示出设备中的一个服务器，并不代表实际应用场景中限流设备仅包含一个服务器。

图2是根据本说明书一实施例的一种动态限流方法的示意性流程图。如图2所示，动态限流方法包括：

S202，获取服务器集群中各服务器的限流状态及服务器集群的总限流阈值。

其中，限流状态包括各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态。

当前工作周期和历史工作周期均为可调整项，例如，设定单个工作周期为10分钟、5分钟等。限流设备可按照每个工作周期执行一次S202的频率，即每个工作周期获取一次服务器集群中各服务器的限流状态及服务器集群的总限流阈值。

服务器集群的总限流阈值为服务器集群中各服务器的限流阈值的总和。例如，采用为各服务器分配令牌的方式进行限流，则服务器器群的总限流阈值即为为各服务器分配的令牌数的总和。

S204，根据限流状态及总限流阈值，确定各服务器在下一个工作周期内的限流阈值。

S206，根据限流阈值，对各服务器执行限流操作。

采用本说明书一个或多个实施例的技术方案，通过获取服务器集群中各服务器的限流状态及服务器集群的总限流阈值，并根据该限流状态及总限流阈值确定各服务器在下一个工作周期的限流阈值，进而根据限流阈值对各服务器执行限流操作。可见，该技术方案首先能够动态确定各服务器在下一个工作周期的限流阈值，从而通过动态调整限流阈值达到限流的目的；其次，该技术方案由于采用非侵入性的负反馈方式，因此避免了由于限流设备故障导致的单点问题，同时也避免了全局限流带来的性能问题；再次，该技术方案由于采用长连接的方式，因此能够大大减少限流决策的滞后性，从而实现全局准确限流。

本实施例提供的动态限流方法中，限流设备可采用多种方法对服务器集群进行限流，例如为各服务器分配令牌的方式、动态调整各服务器对应的滑动窗口的方式、或采用计数器的方式等等。以下重点介绍采用为各服务器分配令牌的方式进行限流。

在一个实施例中，各服务器分配有至少一个第一令牌，分配形式可以是令牌桶或漏桶；总限流阈值包括总令牌数；当前限流状态包括各服务器在当前工作周期内的第一令牌使用数和/或第一令牌剩余数；历史限流状态包括各服务器在历史工作周期内的第二令牌使用数和/或第二令牌剩余数；限流阈值包括令牌使用阈值。

本实施例中，可根据如下步骤A1-A2确定各服务器在下一个工作周期内的限流阈值：

步骤A1，根据第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及总令牌数，确定各服务器在下一个工作周期内的第三令牌使用数。

该步骤中，各服务器在下一个工作周期内的第三令牌使用数可采用多种方式确定，以下介绍两种方式。

方式一、首先，根据各服务器在当前工作周期内的第一令牌使用数和/或第一令牌剩余数，确定各服务器在下一个工作周期内所需的令牌数占总令牌数的比例；其次，根据比例及总令牌数，确定第三令牌使用数。

可选的，总令牌数与比例值的乘积，即为该比例值所对应的服务器在下一个工作周期内所需的令牌数，也就是该比例值所对应的服务器在下一个工作周期内的第三令牌使用数。

例如，预先设置单个工作周期为5秒，服务器集群中包括服务器A、服务器B以及服务器C，总令牌数为300。初始状态下，各服务器默认分配相同数量的令牌，即各服务器分配有100个令牌。限流设备获取到当前工作周期(即前5秒)内，服务器A发出100个令牌，剩余0个令牌；服务器B发出20个令牌，剩余80个令牌；服务器C发出0个令牌，剩余100个令牌。

根据服务器A、服务器B以及服务器C的令牌使用数及令牌剩余数，可将服务器A、服务器B以及服务器C的令牌数按照83:16:1的比例进行分配，即，服务器A在一个工作周期内所需的令牌数占总令牌的比例为83％，服务器B在一个工作周期内所需的令牌数占总令牌的比例为16％，服务器C在一个工作周期内所需的令牌数占总令牌的比例为1％。根据这三项比例值及总令牌数，可确定出服务器A在下一个工作周期内的第三令牌使用数为300*83％＝249，服务器B在下一个工作周期内的第三令牌使用数为300*16％＝48，服务器C在下一个工作周期内的第三令牌使用数为300*1％＝3。因此，限流设备在下一个工作周期内为服务器A分配249个令牌，为服务器B分配48个令牌，为服务器C分配1个令牌。

方式二、首先，分析各服务器在历史工作周期内的第二令牌使用数和/或第二令牌剩余数，得到分析结果；其次，根据分析结果确定各服务器在各工作周期内的令牌使用平均数；再次，根据令牌使用平均数确定第三令牌使用数。

可选的，服务器在历史工作周期内的第二令牌使用数的平均值即为该服务器在各工作周期内的令牌使用平均数。此外，可直接确定服务器在各工作周期内的令牌使用平均数为该服务器在下一个工作周期内的第三令牌使用数；也可在服务器的令牌使用平均数的基础上增加相应数量，并确定增加相应数量后的令牌数为该服务器在下一个工作周期内的第三令牌使用数，以确保为服务器分配足够的令牌。

步骤A2，根据各服务器在下一个工作周期内的第三令牌使用数，确定各服务器在下一个工作周期内的令牌使用阈值。

可选的，可直接确定服务器在下一个工作周期内的第三令牌使用数为该服务器在下一个工作周期内的令牌使用阈值；也可在服务器的第三令牌使用数的基础上增加相应数量，并确定增加相应数量后的令牌数为该服务器在下一个工作周期内的令牌使用阈值，以确保为服务器分配足够的令牌。

例如，服务器A在下一个工作周期内的第三令牌使用数为100，则可确定为服务器A在下一个工作周期内的令牌使用阈值；或者，为确保限流的同时服务器A有足够用的令牌，可在第三令牌使用数的基础上增加相应数量，例如增加10，从而确定增加相应数量的令牌数(即100+10＝110)为服务器A在下一个工作周期内的令牌使用阈值。

在一个实施例中，确定出各服务器在下一个工作周期内的限流阈值后，即可在到达下一个工作周期时，为各服务器分配与令牌使用阈值相应数量的令牌。

例如，服务器A在下一个工作周期内的限流阈值为110，那么在到达下一个工作周期时，可为服务器A分配110个令牌。

在一个实施例中，限流设备为各服务器分配与令牌使用阈值相应数量的令牌之后，确定下一个工作周期内的令牌生效时间，进而控制所分配的令牌在令牌生效时间到达时同时生效。

本实施例通过主动调整分配给各服务器的令牌数，并控制令牌统一生效，使得已发放但并未使用的令牌能够被收回(即失效)，从而有效避免了已发放令牌无法回收的问题。

在一个实施例中，可采用动态调整各服务器对应的滑动窗口的方式进行限流。具体的，这种限流方法可包括以下步骤B1-B3：

步骤B1、分别获取各服务器对应的滑动窗口的尺寸信息，以及服务器集群的总滑动窗口尺寸。

其中，滑动窗口的尺寸信息包括各服务器在当前工作周期内的当前滑动窗口尺寸和/或在历史工作周期内的历史滑动窗口尺寸。服务器集群的总滑动窗口尺寸为各服务器的滑动窗口的尺寸的总和。

当前滑动窗口尺寸包括各服务器在当前工作周期内的滑动窗口使用数和/或滑动窗口剩余数；历史滑动窗口尺寸包括各服务器在历史工作周期内的滑动窗口使用数和/或滑动窗口剩余数。

步骤B2、根据滑动窗口的尺寸信息及总滑动窗口尺寸，确定各服务器在下一个工作周期内的滑动窗口尺寸。

该步骤中，可根据各服务器在当前工作周期内的滑动窗口使用数和/或滑动窗口剩余数，确定各服务器在下一个工作周期内所需的滑动窗口的尺寸占总滑动窗口尺寸的比例；其次，根据比例及总滑动窗口尺寸，确定各服务器在下一个工作周期内的滑动窗口尺寸。

其中，总滑动窗口尺寸与比例值的乘积，即为该比例值所对应的服务器在下一个工作周期内的滑动窗口尺寸。

步骤B3、根据各服务器在下一个工作周期内的滑动窗口尺寸，对各服务器执行限流操作。

该步骤中，对各服务器执行限流操作时，可在到达下一个工作周期时，为各服务器分配与滑动窗口尺寸相应大小的滑动窗口。

综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

以上为本说明书一个或多个实施例提供的动态限流方法，基于同样的思路，本说明书一个或多个实施例还提供一种动态限流装置。

图3是根据本说明书一实施例的一种动态限流装置的示意性框图，如图3所示，该装置300应用于与服务器集群之间建立长连接的限流设备，包括：

获取模块310，用于获取服务器集群中各服务器的限流状态及服务器集群的总限流阈值，限流状态包括各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

第一确定模块320，用于根据限流状态及总限流阈值，确定各服务器在下一个工作周期内的限流阈值；

限流模块330，用于根据限流阈值，对各服务器执行限流操作。

在一个实施例中，各服务器分配有至少一个第一令牌；总限流阈值包括总令牌数；当前限流状态包括各服务器在当前工作周期内的第一令牌使用数和/或第一令牌剩余数；历史限流状态包括各服务器在历史工作周期内的第二令牌使用数和/或第二令牌剩余数；限流阈值包括令牌使用阈值；

相应的，第一确定模块320包括：

第一确定单元，用于根据第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及总令牌数，确定各服务器在下一个工作周期内的第三令牌使用数；

第二确定单元，用于根据第三令牌使用数，确定各服务器在下一个工作周期内的令牌使用阈值。

在一个实施例中，第一确定单元还用于：

根据第一令牌使用数和/或第一令牌剩余数，确定各服务器在下一个工作周期内所需的令牌数占总令牌数的比例；

根据比例及总令牌数，确定第三令牌使用数。

在一个实施例中，第一确定单元还用于：

分析第二令牌使用数和/或第二令牌剩余数，得到分析结果；

根据分析结果，确定各服务器在各工作周期内的令牌使用平均数；

根据令牌使用平均数，确定第三令牌使用数。

在一个实施例中，限流模块330包括：

分配单元，用于当到达下一个工作周期时，为各服务器分配与令牌使用阈值相应数量的第二令牌。

在一个实施例中，装置300还包括：

第二确定模块，用于为各服务器分配与令牌使用阈值相应数量的第二令牌之后，确定下一个工作周期内的令牌生效时间；

控制模块，用于控制第二令牌在令牌生效时间到达时同时生效。

采用本说明书一个或多个实施例的装置，通过获取服务器集群中各服务器的限流状态及服务器集群的总限流阈值，并根据该限流状态及总限流阈值确定各服务器在下一个工作周期的限流阈值，进而根据限流阈值对各服务器执行限流操作。可见，该技术方案首先能够动态确定各服务器在下一个工作周期的限流阈值，从而通过动态调整限流阈值达到限流的目的；其次，该技术方案由于采用非侵入性的负反馈方式，因此避免了由于限流设备故障导致的单点问题，同时也避免了全局限流带来的性能问题；再次，该技术方案由于采用长连接的方式，因此能够大大减少限流决策的滞后性，从而实现全局准确限流。

本领域的技术人员应可理解，上述动态限流装置能够用来实现前文所述的动态限流方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。

图4是根据本说明书一实施例的一种动态限流系统的示意性框图，如图4所示，该系统包括服务器集群410和限流设备420，服务器集群410和限流设备420之间建立有长连接；其中，服务器集群410包括多个服务器(图4中未示出)，限流设备420包括：

巡检器421，用于获取服务器集群中各服务器的限流状态及服务器集群的总限流阈值，限流状态包括各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

决策器422，用于根据限流状态及总限流阈值，确定各服务器在下一个工作周期内的限流阈值；

干预器423，用于根据限流阈值，对各服务器执行限流操作。

采用本说明书一个或多个实施例的设备，通过获取服务器集群中各服务器的限流状态及服务器集群的总限流阈值，并根据该限流状态及总限流阈值确定各服务器在下一个工作周期的限流阈值，进而根据限流阈值对各服务器执行限流操作。可见，该技术方案首先能够动态确定各服务器在下一个工作周期的限流阈值，从而通过动态调整限流阈值达到限流的目的；其次，该技术方案由于采用非侵入性的负反馈方式，因此避免了由于限流设备故障导致的单点问题，同时也避免了全局限流带来的性能问题；再次，该技术方案由于采用长连接的方式，因此能够大大减少限流决策的滞后性，从而实现全局准确限流。

基于同样的思路，本说明书一个或多个实施例还提供一种动态限流设备，如图5所示。动态限流设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对动态限流设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在动态限流设备上执行存储器502中的一系列计算机可执行指令。动态限流设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506。

具体在本实施例中，动态限流设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对动态限流设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。

可选地，所述各服务器分配有至少一个第一令牌；所述总限流阈值包括总令牌数；所述当前限流状态包括所述各服务器在所述当前工作周期内的第一令牌使用数和/或第一令牌剩余数；所述历史限流状态包括所述各服务器在所述历史工作周期内的第二令牌使用数和/或第二令牌剩余数；所述限流阈值包括令牌使用阈值；

相应的，计算机可执行指令在被执行时，还可以使所述处理器：

根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数；

根据所述第三令牌使用数，确定所述各服务器在所述下一个工作周期内的令牌使用阈值。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

根据所述第一令牌使用数和/或所述第一令牌剩余数，确定所述各服务器在所述下一个工作周期内所需的令牌数占所述总令牌数的比例；

根据所述比例及所述总令牌数，确定所述第三令牌使用数。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

分析所述第二令牌使用数和/或所述第二令牌剩余数，得到分析结果；

根据所述分析结果，确定所述各服务器在各工作周期内的令牌使用平均数；

根据所述令牌使用平均数，确定所述第三令牌使用数。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

当到达所述下一个工作周期时，为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌。

可选地，计算机可执行指令在被执行时，还可以使所述处理器：

所述为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌之后，确定所述下一个工作周期内的令牌生效时间；

控制所述第二令牌在所述令牌生效时间到达时同时生效。

本说明书一个或多个实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行上述动态限流方法，并具体用于执行：

获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (15)

1.一种动态限流方法，应用于与服务器集群之间建立长连接的限流设备，包括：

获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。

2.根据权利要求1所述的方法，所述各服务器分配有至少一个第一令牌；所述总限流阈值包括总令牌数；所述当前限流状态包括所述各服务器在所述当前工作周期内的第一令牌使用数和/或第一令牌剩余数；所述历史限流状态包括所述各服务器在所述历史工作周期内的第二令牌使用数和/或第二令牌剩余数；所述限流阈值包括令牌使用阈值；

相应的，所述根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值，包括：

根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数；

根据所述第三令牌使用数，确定所述各服务器在所述下一个工作周期内的令牌使用阈值。

3.根据权利要求2所述的方法，所述根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数，包括：

根据所述第一令牌使用数和/或所述第一令牌剩余数，确定所述各服务器在所述下一个工作周期内所需的令牌数占所述总令牌数的比例；

根据所述比例及所述总令牌数，确定所述第三令牌使用数。

4.根据权利要求2所述的方法，所述根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数，包括：

分析所述第二令牌使用数和/或所述第二令牌剩余数，得到分析结果；

根据所述分析结果，确定所述各服务器在各工作周期内的令牌使用平均数；

根据所述令牌使用平均数，确定所述第三令牌使用数。

5.根据权利要求2-4中任一项所述的方法，所述根据所述限流阈值，对所述各服务器执行限流操作，包括：

当到达所述下一个工作周期时，为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌。

6.根据权利要求5所述的方法，所述为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌之后，还包括：

确定所述下一个工作周期内的令牌生效时间；

控制所述第二令牌在所述令牌生效时间到达时同时生效。

7.一种动态限流装置，应用于与服务器集群之间建立长连接的限流设备，包括：

获取模块，用于获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

第一确定模块，用于根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

限流模块，用于根据所述限流阈值，对所述各服务器执行限流操作。

8.根据权利要求7所述的装置，所述各服务器分配有至少一个第一令牌；所述总限流阈值包括总令牌数；所述当前限流状态包括所述各服务器在所述当前工作周期内的第一令牌使用数和/或第一令牌剩余数；所述历史限流状态包括所述各服务器在所述历史工作周期内的第二令牌使用数和/或第二令牌剩余数；所述限流阈值包括令牌使用阈值；

相应的，所述第一确定模块包括：

第一确定单元，用于根据所述第一令牌使用数、第一令牌剩余数、第二令牌使用数、第二令牌剩余数中的至少一项及所述总令牌数，确定所述各服务器在所述下一个工作周期内的第三令牌使用数；

第二确定单元，用于根据所述第三令牌使用数，确定所述各服务器在所述下一个工作周期内的令牌使用阈值。

9.根据权利要求8所述的装置，所述第一确定单元还用于：

根据所述第一令牌使用数和/或所述第一令牌剩余数，确定所述各服务器在所述下一个工作周期内所需的令牌数占所述总令牌数的比例；

根据所述比例及所述总令牌数，确定所述第三令牌使用数。

10.根据权利要求8所述的装置，所述第一确定单元还用于：

分析所述第二令牌使用数和/或所述第二令牌剩余数，得到分析结果；

根据所述分析结果，确定所述各服务器在各工作周期内的令牌使用平均数；

根据所述令牌使用平均数，确定所述第三令牌使用数。

11.根据权利要求8-10中任一项所述的装置，所述限流模块包括：

分配单元，用于当到达所述下一个工作周期时，为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌。

12.根据权利要求8-10中任一项所述的装置，还包括：

第二确定模块，用于所述为所述各服务器分配与所述令牌使用阈值相应数量的第二令牌之后，确定所述下一个工作周期内的令牌生效时间；

控制模块，用于控制所述第二令牌在所述令牌生效时间到达时同时生效。

13.一种动态限流系统，包括服务器集群和限流设备，所述服务器集群和限流设备之间建立有长连接；其中，所述限流设备包括：

巡检器，用于获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

决策器，用于根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

干预器，用于根据所述限流阈值，对所述各服务器执行限流操作。

14.一种动态限流设备，应用于与服务器集群之间建立长连接的限流设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取所述服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。

15.一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：

获取与限流设备之间建立长连接的服务器集群中各服务器的限流状态及所述服务器集群的总限流阈值，所述限流状态包括所述各服务器在当前工作周期内的当前限流状态和/或在历史工作周期内的历史限流状态；

根据所述限流状态及所述总限流阈值，确定所述各服务器在下一个工作周期内的限流阈值；

根据所述限流阈值，对所述各服务器执行限流操作。