CN112579396A - 软件系统动态限流方法、装置及设备 - Google Patents

Abstract

本申请实施例涉及数据处理领域，具体涉及一种软件系统动态限流方法、装置及设备，旨在实现软件系统的稳定高效的动态限流。所述方法包括：设定服务端程序的多个监控指标及每个监控指标对应的预设水位线，每隔一个观察周期，对多个监控指标进行检测，当检测到任意一个监控指标超过对应的预设水位线时，进入分段限流模式，对客户端发送到服务端的请求实施概率限流，当检测到监控指标降低至预设水位线之下时，解除分段限流模式。

Description

软件系统动态限流方法、装置及设备

技术领域

本申请实施例涉及数据处理技术领域，具体而言，涉及一种软件系统动态限流方法、装置及设备。

背景技术

在软件系统中，需要对系统中的流量进行限制，通过限制系统中的流量的方式，一方面保护服务提供方的设备不会过载，另一方面当服务提供方的设备过载时也能够及时作出处置，不至于过载进一步扩大导致服务方宕机。现有技术中主要由两种限流方法，第一种方法是通过滑动窗口和令牌桶在一个时间区域内发放固定数量的访问令牌，每次收到一个客户端请求就会从令牌桶中消耗一个令牌，没有令牌时则向客户返回请求过多的状态码，滑动窗口通过滑动补充令牌。第二种方法是在客户端提交请求时，携带额外的指标信息，服务端接收到后根据近期同类请求的响应情况智能判断是否需要限流以及限流的程度。

第一种方法存在的问题是无法感知服务端程序所处环境的变化，如服务端运行定时任务导致内存和CPU资源不足时，或服务端程序中某个功能响应慢时，这些时候原有的限流策略无法保护服务端。第二中方法存在的问题是增加了客户端复杂度，无法应用于异构系统；服务端需要引入智能算法，过于复杂；客户端到服务端的回路较长，及时性难以保证。

发明内容

本申请实施例提供一种软件系统动态限流方法、装置及设备，旨在实现软件系统的稳定高效的动态限流。

本申请实施例第一方面提供一种软件系统动态限流方法，所述方法包括：

设定服务端程序的多个监控指标以及所述多个监控指标对应的多个预设水位线；

每隔一个观察周期，对所述多个监控指标进行一次检测；

当检测到所述多个监控指标均低于各自对应的预设水位线时，将接收到的客户端程序发出的请求发送到所述服务端程序中；

当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

当检测到所述多个监控指标均低于其对应的预设水位线之下时，解除所述分段限流模式。

可选地，在解除所述分段限流模式之后，所述方法还包括：

在接下来的观察周期内，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标再次进入所述分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

当检测到所述多个监控指标均低于其对应的预设水位线之下时，再次解除所述分段限流模式。

可选地，所述方法还包括：

当针对所述多个监控指标中的任意一项监控指标进入所述分段限流模式，检测到另一项监控指标超过其对应的预设水位线时，根据上述两项监控指标中超过其对应的预设水位线的程度较高的一项监控指标超过其对应预设水位线的程度，分段限制发送到所述服务端程序的请求数量。

可选地，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量，包括：

当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，分段增加限制发送到所述服务端程序的请求的数量；

当检测到所述监控指标开始回落时，分段减少限制发送到所述服务端程序的请求的数量。

可选地，在根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量之后，所述方法还包括：

向所述请求未发送至所述服务端程序的客户端程序，发送表示请求过多的返回状态码，以使所述客户端程序暂停访问所述服务端程序。

可选地，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，分段增加限制发送到所述服务端程序的请求的数量，包括：

当检测到所述监控指标超过其对应的预设水位线，但超过的值低于第一预设阈值时，进入第一段限流模式，对每个请求实施第一预设概率的限流，并在接下来一个观察周期内持续处于第一段限流模式；

当检测到所述监控指标超过其对应的预设水位线的值为第一预设阈值至第二预设阈值之间时，进入第二段限流模式，对每个请求实施第二预设概率概率的限流，并在接下来一个观察周期内持续处于所述第二段限流模式中；

当检测到所述监控指标超过其对应的预设水位线的值在第二预设阈值以上时，进入第三段限流模式，对每个请求实施第三预设概率的限流，并在接下来一个观察周期内持续处于所述第三段限流模式中。

可选地，当检测到所述监控指标开始回落时，分段减少限制发送到所述服务端程序的请求的数量，包括：

处于任意一段限流模式时，若检测到所述监控指标连续回落两个观察周期，则进入比当前段位限流模式低一段的限流模式中，直至解除所述分段限流模式。

可选地，所述方法还包括：

当检测到连续三个观察周期均处于第三段限流模式时，重启所述服务端程序。

本申请实施例第二方面提供一种软件系统动态限流装置，所述装置包括：

规则设定模块，用于设定服务端程序的多个监控指标以及所述多个监控指标对应的多个预设水位线；

监控指标检测模块，用于每隔一个观察周期，对所述多个监控指标进行一次检测；

请求发送模块，用于当检测到所述多个监控指标均低于各自对应的预设水位线时，将接收到的客户端程序发出的请求发送到所述服务端程序中；

分段限流模块，用于当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

分段限流解除模块，用于当检测到所述多个监控指标均低于其对应的预设水位线之下时，解除所述分段限流模式。

可选地，在解除所述分段限流模式之后，所述方法还包括：

在接下来的观察周期内，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标再次进入所述分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

当检测到所述多个监控指标均低于其对应的预设水位线之下时，再次解除所述分段限流模式。

可选地，所述装置还包括：

监控指标变更模块，用于当针对所述多个监控指标中的任意一项监控指标进入所述分段限流模式，检测到另一项监控指标超过其对应的预设水位线时，根据上述两项监控指标中超过其对应的预设水位线的程度较高的一项监控指标超过其对应预设水位线的程度，分段限制发送到所述服务端程序的请求数量。

可选地，所述分段限流模块包括：

第一分段限流子模块，用于当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，分段增加限制发送到所述服务端程序的请求的数量；

第二分段限流子模块，用于当检测到所述监控指标开始回落时，分段减少限制发送到所述服务端程序的请求的数量。

可选地，所述分段限流模块还包括：

返回状态码子模块，用于向所述请求未发送至所述服务端程序的客户端程序，发送表示请求过多的返回状态码，以使所述客户端程序暂停访问所述服务端程序。

可选地，第一分段限流子模块包括：

一段限流子模块，当检测到所述监控指标超过其对应的预设水位线，但超过的值低于第一预设阈值时，进入第一段限流模式，对每个请求实施第一预设概率的限流，并在接下来一个观察周期内持续处于第一段限流模式；

二段限流子模块，用于当检测到所述监控指标超过其对应的预设水位线的值为第一预设阈值至第二预设阈值之间时，进入第二段限流模式，对每个请求实施第二预设概率概率的限流，并在接下来一个观察周期内持续处于所述第二段限流模式中；

三段限流子模块，用于当检测到所述监控指标超过其对应的预设水位线的值在第二预设阈值以上时，进入第三段限流模式，对每个请求实施第三预设概率的限流，并在接下来一个观察周期内持续处于所述第三段限流模式中。

可选地，所述第二分段限流子模块包括：

段位降低子模块，用于处于任意一段限流模式时，若检测到所述监控指标连续回落两个观察周期，则进入比当前段位限流模式低一段的限流模式中，直至解除所述分段限流模式。

可选地，所述第一分段限流子模块还包括：

服务端重启子模块，用于当检测到连续三个观察周期均处于第三段限流模式时，重启所述服务端程序。

本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。

采用本申请提供的软件系统动态限流方法，首先设定服务端程序的多个监控指标，为每个监控指标设置一个预设的水位线，当检测到多个监控指标均低于各自对应的预设水位线时，将接收到的客户端程序发出的请求发送到服务端程序中，也就是对客户端程序的请求直接放行，当检测到多个监控质保中的任意一项监控指标超过其对应的预设水位线时，进入限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到服务端程序的请求数量，当检测到监控指标回落到其对应的预设水位线之下时，解除限流模式。同时还可以按照预设规则为监控指标设置优先级，每当检测到优先级较高的监控指标超过预设水位线时，立即对该监控指标进行分段限流，而原指标则维持当前段位的限流。本申请通过在服务端设置监控指标可以实时监控服务端程序的指标变化，保证限流策略的正常运行，设置起来较为简单，只需要在服务端进行设置，不需要对客户端进行处理，适用于各种系统。提高了软件系统流量限流的效率和准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的软件系统动态限流方法的流程图；

图2是本申请一实施例提出的软件系统结构示意图；

图3是本申请一实施例提出的软件系统动态限流装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，图1是本申请一实施例提出的软件系统动态限流方法的流程图。如图1所示，该方法包括以下步骤：

S11：设定服务端程序的多个监控指标以及所述多个监控指标对应的多个预设水位线。

本实施例中，一个软件系统中存在多个程序，程序与程序之间存在直接调用的关系，服务端程序指的是被调用方程序，与之对应的是客户端程序，即调用方程序，软件系统中还存在一类与系统外其他系统交互的程序，若这类程序是被调用方，则这类程序也称作服务端程序，一个程序可能既是服务端程序，也是客户端程序，监控指标指的是服务端的硬件指标或应用指标。

示例地，当程序A调用了程序B的接口，此时A程序相对于B程序为客户端程序，B程序相对于A程序为服务端程序，若存在另一个程序C调用了程序A，则相对于程序C，程序A为服务端程序，也就是说，此时的程序A既是程序B的客户端程序，又是程序C的服务端程序。

如图2所示，图2是本申请一实施例提出的软件系统结构示意图，图中包括服务端，限流模块，监控子模块、客户端1和客户端2。

服务端程序的同一环境中部署有限流模块，限流模块中包含有限流程序，限流模块可以独立部署在服务端程序所在的设备上，也可以集成到服务端程序之中。限流模块中设置了对于服务端程序的监控规则，监控规则由监控指标，监控指标对应的预设水位线，一个观察周期内允许多少请求超越预设水位线和排序字段组成。除了针对单个监控指标设置独立的预设水位线之外，也可以为多个监控指标设置一个统一的预设水位线。

示例地，服务端的监控指标可以是硬件指标或应用指标，硬件指标可以是CPU使用率、内存使用率、磁盘IOPS等。应用指标可以是接口响应速度、JVM垃圾回收频率等。硬件指标和应用指标可以根据实际情况自行设置，在这里不做限制。监控指标对应的预设水位线可以根据服务端的实际情况自行设置，例如CPU使用率的水位线可以是80％，内存使用率的水位线可以是60％，接口响应速度对应的水位线可以是100ms。

S12：每隔一个观察周期，对所述多个监控指标进行一次检测。

本实施例中，如图2所示，限流模块中包含有监控子模块，监控子模块中含有监控程序，监控子模块负责对服务端的各项监控指标进行监控，观察周期就是监控子模块对服务端各项监控指标的监控周期，监控子模块的监控周期和监控频率可以自行配置，当频率较高时，可以近似的当做实时监控，监控周期的长短会影响限流模块的反应速度。监控子模块中还可以内抽样模块，抽样模块中包含有抽样程序，可以对数据进行一定比率的抽样采集，抽样采集就是在服务端的多个监控指标中采集几个典型的指标，以此来降低采集过程的资源消耗。

示例地，观察周期可以设置为5分钟，在这里观察周期的设定可以依据实际情况自行设定，在此不做限制。

S13：当检测到所述多个监控指标均低于各自对应的预设水位线时，将接收到的客户端程序发出的请求发送到所述服务端程序中。

本实施例中，如图2所示，客户端程序在需要调用服务端程序中的资源时，会向服务端发出请求，客户端在本实施例中只需要向服务端发出请求，完成自身业务逻辑，不需要进行任何特殊处理。客户端程序可以是软件系统内的，也可以是软件系统外的。

客户端程序发出的请求被服务端程序中的限流模块拦截，限流模块会根据监控子模块实时检测到的服务端的各个指标的水位线，决定是否将这些请求发送到服务端程序中，当检测到服务端中的各个监控指标均低于各自对应的预设水位线时，表明服务端运行正常，不会发生过载宕机的情况，这时就对客户端程序发出的请求进行放行，将其发送至服务端程序中。而客户端程序并不知道限流模块的存在。

示例地，请求方式通常通过REST接口或者RPC调用。REST接口基于HTTP协议，使用HTTP动词(GET，POST，DELETE，PUT)描述操作。REST用来规范应用如何在HTTP层与API(接口)提供方进行数据交互，客户端程序通过向服务端程序发送HTTP(s)请求，再接收服务端程序的响应，完成一次HTTP交互。RPC调用即远程过程调用，其主要是为了解决分布式系统时间的透明性的问题。当客户端程序调用服务端程序的进程时，客户端程序上的调用进程被挂起，服务端程序的被调用进程开始执行。

S14：当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量。

本实施例中，当限流模块中的监控子模块检测到任意一项监控指标超过其对应的预设水位线时，就表示服务端过载，有宕机的风险，这时限流模块就会限制发送到服务端的客户端请求数量，减小服务端承受的压力，具体的步骤是：

S14-1：当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，分段增加限制发送到所述服务端程序的请求的数量。

本实施例中，针对同一个监控指标，限流分为三段，当监控子模块检测到某一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，即根据该监控指标超过对应的预设水位线的程度对客户端发出的请求进行分段限流，具体的步骤为：

S14-1-1：当检测到所述监控指标超过其对应的预设水位线，但超过的值低于第一预设阈值时，进入第一段限流模式，对每个请求实施第一预设概率的限流，并在接下来一个观察周期内持续处于第一段限流模式。

S14-1-2：当检测到所述监控指标超过其对应的预设水位线的值为第一预设阈值至第二预设阈值之间时，进入第二段限流模式，对每个请求实施第二预设概率概率的限流，并在接下来一个观察周期内持续处于所述第二段限流模式中。

S14-1-3：当检测到所述监控指标超过其对应的预设水位线的值在第二预设阈值以上时，进入第三段限流模式，对每个请求实施第三预设概率的限流，并在接下来一个观察周期内持续处于所述第三段限流模式中。

本实施例中，第一预设阈值，第二预设阈值为监控指标超过其对应预设水位线的值，可以分别设置为20％、50％。第一预设概率、第二预设概率、第三预设概率为客户端程序的请求被发送到服务端程序的概率，可以分别设置为20％、50％、80％。阈值与概率可以根据实际情况自行设置。

示例地，分段限流模式中进行对每个请求实施概率限流，即在第一段限流模式中，客户端服务端发出的请求有20％的概率被拦截掉，无法发送至服务端中，在第二段限流模式中，请求被拦截的概率升至50％，在第三段线限流模式中，请求被拦截的概率达到了80％。

本实施例中，当进入分段限流模式中之后，每经过一个周期，会根据检测结果判断是否改变段位，无论当前处于哪一段限流模式中，该限流段位都会持续至一个周期，直至下一个周期才会发生改变。

示例地，在第一段限流模式中时，对拦截到的每个请求生成一个大于0小于100的随机数，若该随机数小于20，则将该请求进行限流。在第二段限流模式中，对随机数小于50的请求进行限流。在第三段限流模式中时，对随机数小于80的请求进行限流。

本实施例中，还存在一种情况，当同一个概率连续出现3个周期，则自动进入高一段的限流段位。当同一个概率连续出现3个周期时，服务端的负载会上升，故提高一个限流段位，减轻服务端的负载。

示例地，当限流模块对接收到的客户端请求实施第二段限流的时间为连续3个周期，则此时限流模块进入第三段限流模式，对接收到的客户端请求实施第三段限流。

本实施例中，还存在一种情况，当检测到连续三个观察周期均处于第三段限流模式时，重启所述服务端程序。

当监控模块检测到限流模块在连续3个观察周期内都对客户端程序提出的请求实施第三段限流时，服务端程序很有可能过载并宕机，此时就重启服务端程序，对服务端程序做一个保护。

本实施例中，在根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量之后，向所述请求未发送至所述服务端程序的客户端程序，发送表示请求过多的返回状态码，以使所述客户端程序暂停访问所述服务端程序。

本实施例中，当客户端程序发出的请求没有被发送至服务端程序中时，限流模块会向对应的客户端程序返回请求过多的状态码。这样一来，请求不会传递到服务端程序，以此来给服务端减压。

本实施例中，不需要对客户端进行任何处理，但客户端可以在收到服务端返回的请求过多的状态码后，启动自身的保护机制，例如熔断。根据熔断规则的设定，当接收到满足熔断规则的请求过多状态码后，触发熔断机制。一方面减少服务端和限流模块的压力，另一方面也可以保证自身业务的正常运行。

S14-2：当检测到所述监控指标开始回落时，分段减少限制发送到所述服务端程序的请求的数量。

本实施例中，当检测到监控指标开始回落时，表明服务端受到的压力开始减小，这时就可以根据超过预设水位线的指标的下降程度来分段减少限制发送到服务端程序的请求的数量。

具体的，处于任意一段限流模式时，若检测到所述监控指标连续回落两个观察周期，则进入比当前段位限流模式低一段的限流模式中，直至解除所述分段限流模式。

示例地，当第一个观察周期检测到CPU使用率超过预设水位线50％以上时，对接收到的客户端请求实施第三段限流，并持续处于第三段限流模式一个周期的时间，当第二个周期和第三个周期连续检测到CPU超过预设水位线20％至50％之间时，进入第二段限流模式，当第四个观察周期和第五个观察周期检测到CPU使用频率超过预设水位线且低于20％时，进入第一段限流模式，当第五个观察周期和第六个观察周期检测到CPU使用频率均低于预设水位线时，解除分段限流模式。

S15：当检测到所述多个监控指标均低于其对应的预设水位线之下时，解除所述分段限流模式。

本实施例中，当检测到服务端的各个指标均低于其对应的预设水位线之下时，表示服务端此时运转正常，不会出现过载，宕机的情况，这时即可解除分段限流模式。

本申请实施例在解除分段限流模式后还包括如下步骤：

S21：在接下来的观察周期内，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标再次进入所述分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量。

S22：当检测到所述多个监控指标均低于其对应的预设水位线之下时，再次解除所述分段限流模式。

本实施例中，在解除分段限流模式的一个周期内，限流模块将接收到的所有客户端请求信息发送给服务端程序。当在下一个周期内又检测到有监控指标超过预设的水位线时，再次进入分段限流模式，直至下一次解除分段限流模式。

本实施例存在另一种情况，当针对所述多个监控指标中的任意一项监控指标进入所述分段限流模式，检测到另一项监控指标超过其对应的预设水位线时，根据上述两项监控指标中超过其对应的预设水位线的程度较高的一项监控指标超过其对应预设水位线的程度，分段限制发送到所述服务端程序的请求数量。

本实施例中，当限流模块进入分段限流模式后，监控子模块在每一个周期仍会遍历检查各个监控指标，当检测到有另一个监控指标超过其对应的预设水位线时，会对两个监控指标超过其预设水位线的程度进行对比，若后检测到的监控指标超过其预设水位线的程度低于之前的监控指标超过其预设水位线的程度，则保持当前段位的限流不变，若后检测到的监控指标超过其预设水位线的程度高于之前的监控指标超过其预设水位线的程度，则针对后检测到的监控指标实施相应段位的限流。

示例地，在第一个周期检测到CPU使用率超过其预设水位线15％时，则进入第一段限流模式，对发送到服务端的请求实施第一段限流，在第二个周期检测到内存使用率超过其预设水位线45％，则针对内存使用率进入第二段限流模式。

本实施例还存在另一种情况，多个监控指标可以设置聚合规则，该规则中包含了多个监控指标与其对应的预设水位线的信息，将多个监控指标与其对应的预设水位线设置为同一段限流模式。

示例地，聚合规则可以设置为：当CPU使用率超过其预设水位线50％到60％之间并且内存使用率超过70％到80％之间时，进入第一段限流模式，对接收到的客户端的请求实施第一段限流。

使用上述实施例中的软件系统动态限流方法，对客户端程序的请求量进行了很好的调控，保证了服务端程序的高可用度。为服务端程序设置了监控指标，对监控指标进行实时采集，每当监控指标超过预设水位线时，对客户端发出的请求进行概率限流，这样就实现了软件的动态限流。由于限流模块本身和服务端程序处于同一环境，因此限流模块中的监控子模块采集监控指标的效率很高，并且限流模块只是根据规则对标监控子模块上报的数据和水位线，也保证了软件动态限流的效率，对系统的性能损耗较小。另外，每个观察周期采集到的数据不做持久化保存，一旦上报给限流模块时，就得数据就可以清除。数据的清理可以使用操作系统的临时文件目录，通过操作系统的清理机制完成清理。

本实施例中，提供了一种基于服务端侧的监控指标与相应水位线来动态的调整流量控制比率，进而保证业务系统的可用性的软件系统限流方法。针对软件系统流量的特点，使用尽力而为的方式，动态调整限流比率，保证服务端不会因为主机资源发生变化或者客户端大量请求而导致服务端宕机。

基于同一发明构思，本申请一实施例提供一种软件系统动态限流装置。参考图3，图3是本申请一实施例提出的软件系统动态限流装置300的示意图。如图3所示，该装置包括：

规则设定模块301，用于设定服务端程序的多个监控指标以及所述多个监控指标对应的多个预设水位线；

监控指标检测模块302，用于每隔一个观察周期，对所述多个监控指标进行一次检测；

请求发送模块303，用于当检测到所述多个监控指标均低于各自对应的预设水位线时，将接收到的客户端程序发出的请求发送到所述服务端程序中；

分段限流模块304，用于当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

分段限流解除模块305，用于当检测到所述多个监控指标均低于其对应的预设水位线之下时，解除所述分段限流模式。

可选地，在解除所述分段限流模式之后，所述方法还包括：

在接下来的观察周期内，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标再次进入所述分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

当检测到所述多个监控指标均低于其对应的预设水位线之下时，再次解除所述分段限流模式。

可选地，所述装置还包括：

监控指标变更模块，用于当针对所述多个监控指标中的任意一项监控指标进入所述分段限流模式，检测到另一项监控指标超过其对应的预设水位线时，根据上述两项监控指标中超过其对应的预设水位线的程度较高的一项监控指标超过其对应预设水位线的程度，分段限制发送到所述服务端程序的请求数量。

可选地，所述分段限流模块包括：

第一分段限流子模块，用于当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，分段增加限制发送到所述服务端程序的请求的数量；

第二分段限流子模块，用于当检测到所述监控指标开始回落时，分段减少限制发送到所述服务端程序的请求的数量。

可选地，所述分段限流模块还包括：

返回状态码子模块，用于向所述请求未发送至所述服务端程序的客户端程序，发送表示请求过多的返回状态码，以使所述客户端程序暂停访问所述服务端程序。

可选地，第一分段限流子模块包括：

一段限流子模块，当检测到所述监控指标超过其对应的预设水位线，但超过的值低于第一预设阈值时，进入第一段限流模式，对每个请求实施第一预设概率的限流，并在接下来一个观察周期内持续处于第一段限流模式；

二段限流子模块，用于当检测到所述监控指标超过其对应的预设水位线的值为第一预设阈值至第二预设阈值之间时，进入第二段限流模式，对每个请求实施第二预设概率概率的限流，并在接下来一个观察周期内持续处于所述第二段限流模式中；

三段限流子模块，用于当检测到所述监控指标超过其对应的预设水位线的值在第二预设阈值以上时，进入第三段限流模式，对每个请求实施第三预设概率的限流，并在接下来一个观察周期内持续处于所述第三段限流模式中。

可选地，所述第二分段限流子模块包括：

段位降低子模块，用于处于任意一段限流模式时，若检测到所述监控指标连续回落两个观察周期，则进入比当前段位限流模式低一段的限流模式中，直至解除所述分段限流模式。

可选地，所述第一分段限流子模块还包括：

服务端重启子模块，用于当检测到连续三个观察周期均处于第三段限流模式时，重启所述服务端程序。

本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。

基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的软件系统动态限流方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的软件系统动态限流方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种软件系统动态限流方法、装置及设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种软件系统动态限流方法，其特征在于，所述方法包括：

设定服务端程序的多个监控指标以及所述多个监控指标对应的多个预设水位线；

每隔一个观察周期，对所述多个监控指标进行一次检测；

当检测到所述多个监控指标均低于各自对应的预设水位线时，将接收到的客户端程序发出的请求发送到所述服务端程序中；

当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

当检测到所述多个监控指标均低于其对应的预设水位线之下时，解除所述分段限流模式。

2.根据权利要求1所述的方法，其特征在于，在解除所述分段限流模式之后，所述方法还包括：

在接下来的观察周期内，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标再次进入所述分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

当检测到所述多个监控指标均低于其对应的预设水位线之下时，再次解除所述分段限流模式。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当针对所述多个监控指标中的任意一项监控指标进入所述分段限流模式，检测到另一项监控指标超过其对应的预设水位线时，根据上述两项监控指标中超过其对应的预设水位线的程度较高的一项监控指标超过其对应预设水位线的程度，分段限制发送到所述服务端程序的请求数量。

4.根据权利要求1所述的方法，其特征在于，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量，包括：

当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，分段增加限制发送到所述服务端程序的请求的数量；

当检测到所述监控指标开始回落时，分段减少限制发送到所述服务端程序的请求的数量。

5.根据权利要求1所述的方法，其特征在于，在根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量之后，所述方法还包括：

向所述请求未发送至所述服务端程序的客户端程序，发送表示请求过多的返回状态码，以使所述客户端程序暂停访问所述服务端程序。

6.根据权利要求4所述的方法，其特征在于，当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，分段增加限制发送到所述服务端程序的请求的数量，包括：

当检测到所述监控指标超过其对应的预设水位线，但超过的值低于第一预设阈值时，进入第一段限流模式，对每个请求实施第一预设概率的限流，并在接下来一个观察周期内持续处于第一段限流模式；

当检测到所述监控指标超过其对应的预设水位线的值为第一预设阈值至第二预设阈值之间时，进入第二段限流模式，对每个请求实施第二预设概率概率的限流，并在接下来一个观察周期内持续处于所述第二段限流模式中；

当检测到所述监控指标超过其对应的预设水位线的值在第二预设阈值以上时，进入第三段限流模式，对每个请求实施第三预设概率的限流，并在接下来一个观察周期内持续处于所述第三段限流模式中。

7.根据权利要求4所述的方法，其特征在于，当检测到所述监控指标开始回落时，分段减少限制发送到所述服务端程序的请求的数量，包括：

处于任意一段限流模式时，若检测到所述监控指标连续回落两个观察周期，则进入比当前段位限流模式低一段的限流模式中，直至解除所述分段限流模式。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当检测到连续三个观察周期均处于第三段限流模式时，重启所述服务端程序。

9.一种软件系统动态限流装置，其特征在于，所述装置包括：

规则设定模块，用于设定服务端程序的多个监控指标以及所述多个监控指标对应的多个预设水位线；

监控指标检测模块，用于每隔一个观察周期，对所述多个监控指标进行一次检测；

请求发送模块，用于当检测到所述多个监控指标均低于各自对应的预设水位线时，将接收到的客户端程序发出的请求发送到所述服务端程序中；

分段限流模块，用于当检测到所述多个监控指标中的任意一项监控指标超过其对应的预设水位线时，针对该监控指标进入分段限流模式，根据该监控指标超过其对应的预设水位线的程度分段限制发送到所述服务端程序的请求的数量；

分段限流解除模块，用于当检测到所述多个监控指标均低于其对应的预设水位线之下时，解除所述分段限流模式。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至8任一所述的方法的步骤。

Images