CN114157717B - 一种微服务动态限流的系统及方法 - Google Patents

Abstract

本发明涉及一种微服务动态限流的系统，包括服务分发器、服务实例配置器、票据池和重要服务实例队列；所述服务分发器与服务实例配置器、票据池和重要服务实例队列分别连接；所述服务分发器接收服务请求，并决定该请求发往该服务的哪个服务实例；所述服务实例配置器记录每个服务实例的信息instance_info；所述票据池ticket_pool用于存放票据s_ticket；所述重要服务实例队列保存专门用于重要服务请求的服务实例信息。本发明能根据服务请求数的实时变化，动态而平滑的调整流量分配，保证服务能力的充分利用。

Description

一种微服务动态限流的系统及方法

技术领域

本发明涉及微服务架构领域，特别是涉及一种微服务动态限流的系统及方法。

背景技术

在微服务架构中，常常需要对其中的某些微服务进行限流，以防止在高并发的情况下大量服务请求涌入无法及时处理导致微服务的拥塞，进而影响到其他微服务导致系统的瘫痪。

现有常用的限流手段，包括等待队列、漏桶、令牌桶、计数器法等普通的限流方式，能很好的限制单位时间内的请求数量，保证服务的正常运行。但这些方法往往对所有服务请求进行统一限流，某个服务请求无论是否重要，在限流的情况下，都无法得到执行。部分限流方法在此基础上，增加了优先级的配置，优先执行高优先级的服务请求，而阻挡限制低优先级服务请求，但往往出现在并发请求不高的情况下，预留太多流量给高优先级请求，出现服务能力空闲，而低优先级请求仍得不到执行。

发明内容

有鉴于此，本发明的目的在于提供一种微服务动态限流的系统及方法，能根据服务请求数的实时变化，动态而平滑的调整流量分配，保证服务能力的充分利用。

为实现上述目的，本发明采用如下技术方案：

一种微服务动态限流的系统，包括服务分发器、服务实例配置器、票据池和重要服务实例队列；所述服务分发器与服务实例配置器、票据池和重要服务实例队列分别连接；所述服务分发器接收服务请求，并决定该请求发往该服务的哪个服务实例；所述服务实例配置器记录每个服务实例的信息instance_info；所述票据池ticket_pool用于存放票据s_ticket；所述重要服务实例队列保存专门用于重要服务请求的服务实例信息。

进一步的，所述服务请求分为重要服务请求和普通服务请求，所述重要服务请求添加标志位vital，与普通服务请求区别。

进一步的，所述服务分发器中有一个请求信息列表中记录重要服务请求的信息，包括：请求时间，是否获得票据。

进一步的，所述信息instance_info包括服务实例id、调用地址、最大并发量C。

进一步的，所述票据池ticket_pool存放票据s_ticket，具体为：每个服务实例启动时，根据其最大并发量C,生成C个票据s_ticket,放到票据池ticket_pool中；所述服务请求要从票据次中获取票据才能访问服务。

进一步的，所述票据s_ticket信息包含票据所属服务实例和是否被占用标志位。

一种微服务动态限流系统的限流方法，包括以下步骤：

步骤S1:初始化系统；

步骤S2:每个服务请求发送到服务分发器时，服务分发器从票据池中获取票据；

步骤S3:判断服务请求是否获得票据，如果服务请求未获得票据，直接对服务请求方返回失败，流程结束；

如果服务请求获得票据，服务请求和票据被分发往票据所属的服务实例，服务实例执行服务请求并在执行完成后将票据返回票据池；

步骤S4:判断服务请求类型，当服务请求为重要服务请求时，服务分发器在请求信息列表中记录请求信息，同时，服务分发器删除最近t时间段之前的请求信息，只保留最近t时间段内的请求信息，同时服务分发器更新重要服务实例队列que_imp_instance。

进一步的，所述初始化，具体为：每个服务实例启动时，根据其最大并发量C,生成C个票据s_ticket,放到票据池ticket_pool中；根据业务需要设定好重要服务最大失败率fail_rate_max，重要服务实例队列最大空闲率idle_rate_max，以及重要服务失败率和重要服务实例队列空闲率的统计时间段t；

进一步的，所述每个服务请求发送到服务分发器时，服务分发器从票据池中获取票据，具体方法为：

(1)如果服务请求为重要服务请求，则直接从票据池中随机获取票据s_ticket：先获取票据池中票据的数量num；再生成一个大于0、小等于num的整数index；然后取第index个票据s_ticket；

(2)如果服务请求为普通服务请求，先检查重要服务实例队列中有哪些服务实例。然后从票据池中获取所有不属于这些服务实例的票据，组成普通票据池。普通服务请求从普通票据池中随机获得票据s_ticket：先获取票据池中票据的数量num；再生成一个大于0、小等于num的整数index；然后取第index个票据s_ticket；

进一步的，所述服务分发器更新重要服务实例队列que_imp_instanc，具体如下：

(1)如果重要服务请求成功获得票据：

对que_imp_instance中每个服务实例的并发容量进行累加，得出专门服务于重要服务请求的总并发容量imp_ticket_all，也就是预留给重要服务请求的总票据数；统计票据池中属于que_imp_instance中的服务实例的票据数量imp_ticket_left，也就是重要服务请求剩余未使用的票据数；计算空闲率idle_rate,公式为idle_rate=imp_ticket_left/imp_ticket_all；

如果当前时间-time_add_imp_instance>t，并且空闲率idle_rate>预先设定的阈值idle_rate_max，则从que_imp_instance中选择选择最大并发量C最小的服务实例，将该实例的信息从que_imp_instance中移出；

(2)如果重要服务请求未获得票据：

根据请求信息列表中的请求信息，统计最近t时间段内的重要服务请求中，获得票据的请求数req_succ以及未获得票据的请求数req_fail；计算重要服务请求在最近t时间段内的失败率fail_rate,计算公式为fail_rate=req_fail/(req_succ+req_fail)；如果失败率fail_rate>预先设定阈值fail_rate_max,则服务分发器在服务实例配置器中选择不在重要服务实例队列que_imp_instance的服务实例中，选择最大并发量C最小的服务实例，将该实例的信息instance_info添加到que_imp_instance中；同时，服务分发器记录当前时间为往que_imp_instance新增用例的时间time_add_imp_instance。

本发明与现有技术相比具有以下有益效果：

1. 本发明在高并发场景中触发限流的情况下，根据服务的重要程度，分配合适的流量给重要服务，保证重要服务的优先执行的同时，也有部分流量提供给低优先级的普通服务；

2. 本发明能根据服务请求数的实时变化，动态而平滑的调整流量分配，保证服务能力的充分利用。

附图说明

图1是本发明系统示意图；

图2是本发明一实施例中的方法流程图；

图3是本发明一实施例中的服务分发器更新重要服务实例队列流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

在本实施例中提供一种微服务动态限流的系统，包括服务分发器、服务实例配置器、票据池和重要服务实例队列；

服务分发器，在微服务架构中，对于需要限流的关键服务，设置一个服务分发器。服务有多个服务实例。所有对该服务的请求，都被先发送到服务分发器，由分发器决定该请求发往该服务的哪个服务实例。

在本实施例中，服务实例用于执行服务请求并返回结果。服务请求分为重要服务请求和普通服务请求。对于重要的业务，其服务请求为重要服务请求，添加标志位vital，与普通服务请求区别。服务分发器中有一个请求信息列表中记录重要服务请求的信息，包括：请求时间，是否获得票据。

服务实例配置器记录每个服务实例的信息instance_info，包括服务实例id、调用地址、最大并发量C。这些信息在系统启动时，由各服务写入，并定时更新。其中每个服务实例同时能处理最大并发数量C为事先预设的估算值，可通过压力测试等方式估算。

票据池存放票据s_ticket。每个服务实例启动时，根据其最大并发量C,生成C个票据s_ticket,放到票据池ticket_pool中。服务请求要从票据次中获取票据才能访问服务。票据s_ticket信息包含票据所属服务实例和是否被占用标志位。

重要服务实例队列que_imp_instance，保存专门用于重要服务请求的服务实例信息instance_info。这些服务实例在高并发情况下，只用于执行重要服务请求，保证重要服务不会出现大量的失败。que_imp_instance由服务分发器动态维护。

参考图2，在本实施例中，还提供一种微服务动态限流系统的限流方法，包括以下步骤：

步骤S1:初始化系统；

步骤S2:每个服务请求发送到服务分发器时，服务分发器从票据池中获取票据；

步骤S3:判断服务请求是否获得票据，如果服务请求未获得票据，直接对服务请求方返回失败，流程结束；

如果服务请求获得票据，服务请求和票据被分发往票据所属的服务实例，服务实例执行服务请求并在执行完成后将票据返回票据池；

步骤S4:判断服务请求类型，当服务请求为重要服务请求时，服务分发器在请求信息列表中记录请求信息，同时，服务分发器删除最近t时间段之前的请求信息，只保留最近t时间段内的请求信息，同时服务分发器更新重要服务实例队列que_imp_instance。

在本实施例中，初始化，具体为：每个服务实例启动时，根据其最大并发量C,生成C个票据s_ticket,放到票据池ticket_pool中；根据业务需要设定好重要服务最大失败率fail_rate_max，重要服务实例队列最大空闲率idle_rate_max，以及重要服务失败率和重要服务实例队列空闲率的统计时间段t；

在本实施例中，每个服务请求发送到服务分发器时，服务分发器从票据池中获取票据，具体方法为具体为：

(1)如果服务请求为重要服务请求，则直接从票据池中随机获取票据s_ticket：先获取票据池中票据的数量num；再生成一个大于0、小等于num的整数index；然后取第index个票据s_ticket；

(2)如果服务请求为普通服务请求，先检查重要服务实例队列中有哪些服务实例。然后从票据池中获取所有不属于这些服务实例的票据，组成普通票据池。普通服务请求从普通票据池中随机获得票据s_ticket：先获取票据池中票据的数量num；再生成一个大于0、小等于num的整数index；然后取第index个票据s_ticket；

参考图3，在本实施例中，服务分发器更新重要服务实例队列que_imp_instanc，具体如下：

(1)如果重要服务请求成功获得票据：

对que_imp_instance中每个服务实例的并发容量进行累加，得出专门服务于重要服务请求的总并发容量imp_ticket_all，也就是预留给重要服务请求的总票据数；统计票据池中属于que_imp_instance中的服务实例的票据数量imp_ticket_left，也就是重要服务请求剩余未使用的票据数；计算空闲率idle_rate,公式为idle_rate=imp_ticket_left/imp_ticket_all；

如果当前时间-time_add_imp_instance>t，并且空闲率idle_rate>预先设定的阈值idle_rate_max，则从que_imp_instance中选择选择最大并发量C最小的服务实例，将该实例的信息从que_imp_instance中移出；

(2)如果重要服务请求未获得票据：

根据请求信息列表中的请求信息，统计最近t时间段内的重要服务请求中，获得票据的请求数req_succ以及未获得票据的请求数req_fail；计算重要服务请求在最近t时间段内的失败率fail_rate,计算公式为fail_rate=req_fail/(req_succ+req_fail)；

如果失败率fail_rate>预先设定阈值fail_rate_max,则服务分发器在服务实例配置器中选择不在重要服务实例队列que_imp_instance的服务实例中，选择最大并发量C最小的服务实例，将该实例的信息instance_info添加到que_imp_instance中；同时，服务分发器记录当前时间为往que_imp_instance新增用例的时间time_add_imp_instance。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种微服务动态限流的系统，其特征在于，包括服务分发器、服务实例配置器、票据池和重要服务实例队列；所述服务分发器与服务实例配置器、票据池和重要服务实例队列分别连接；所述服务分发器接收服务请求，并决定该请求发往该服务的哪个服务实例；所述服务实例配置器记录每个服务实例的信息instance_info；所述票据池ticket_pool用于存放票据s_ticket；所述重要服务实例队列保存专门用于重要服务请求的服务实例信息。

2.根据权利要求1所述的一种微服务动态限流的系统，其特征在于，所述服务请求分为重要服务请求和普通服务请求，所述重要服务请求添加标志位vital，与普通服务请求区别。

3.根据权利要求1所述的一种微服务动态限流的系统，其特征在于，所述服务分发器中有一个请求信息列表中记录重要服务请求的信息，包括：请求时间，是否获得票据。

4.根据权利要求1所述的一种微服务动态限流的系统，其特征在于，所述信息instance_info包括服务实例id、调用地址、最大并发量C。

5.根据权利要求1所述的一种微服务动态限流的系统，其特征在于，所述票据池ticket_pool存放票据s_ticket，具体为：每个服务实例启动时，根据其最大并发量C,生成C个票据s_ticket,放到票据池ticket_pool中；所述服务请求要从票据次中获取票据才能访问服务。

6.根据权利要求1所述的一种微服务动态限流的系统，其特征在于，所述票据s_ticket信息包含票据所属服务实例和是否被占用标志位。

7.根据权利要求1-6任一所述的一种微服务动态限流系统的限流方法，其特征在于，包括以下步骤：

步骤S1:初始化系统；

步骤S2:每个服务请求发送到服务分发器时，服务分发器从票据池中获取票据；

步骤S3:判断服务请求是否获得票据，如果服务请求未获得票据，直接对服务请求方返回失败，流程结束；

如果服务请求获得票据，服务请求和票据被分发往票据所属的服务实例，服务实例执行服务请求并在执行完成后将票据返回票据池；

步骤S4:判断服务请求类型，当服务请求为重要服务请求时，服务分发器在请求信息列表中记录请求信息，同时，服务分发器删除最近t时间段之前的请求信息，只保留最近t时间段内的请求信息，同时服务分发器更新重要服务实例队列que_imp_instance。

8.根据权利要求7所述的一种微服务动态限流系统的限流方法，其特征在于，所述初始化，具体为：每个服务实例启动时，根据其最大并发量C,生成C个票据s_ticket,放到票据池ticket_pool中；根据业务需要设定好重要服务最大失败率fail_rate_max，重要服务实例队列最大空闲率idle_rate_max，以及重要服务失败率和重要服务实例队列空闲率的统计时间段t。

9.根据权利要求7所述的一种微服务动态限流系统的限流方法，其特征在于，所述每个服务请求发送到服务分发器时，服务分发器从票据池中获取票据，具体方法为：

如果服务请求为重要服务请求，则直接从票据池中随机获取票据s_ticket：先获取票据池中票据的数量num；再生成一个大于0、小等于num的整数index；然后取第index个票据s_ticket；

如果服务请求为普通服务请求，先检查重要服务实例队列中有哪些服务实例;

然后从票据池中获取所有不属于这些服务实例的票据，组成普通票据池;

普通服务请求从普通票据池中随机获得票据s_ticket：先获取票据池中票据的数量num；再生成一个大于0、小等于num的整数index；然后取第index个票据s_ticket。

10.根据权利要求7所述的一种微服务动态限流系统的限流方法，其特征在于，所述服务分发器更新重要服务实例队列que_imp_instanc，具体如下：

(1)如果重要服务请求成功获得票据：

对que_imp_instance中每个服务实例的并发容量进行累加，得出专门服务于重要服务请求的总并发容量imp_ticket_all，也就是预留给重要服务请求的总票据数；统计票据池中属于que_imp_instance中的服务实例的票据数量imp_ticket_left，也就是重要服务请求剩余未使用的票据数；计算空闲率idle_rate,公式为idle_rate=imp_ticket_left/imp_ticket_all；

如果当前时间-time_add_imp_instance>t，并且空闲率idle_rate>预先设定的阈值idle_rate_max，则从que_imp_instance中选择选择最大并发量C最小的服务实例，将该实例的信息从que_imp_instance中移出；

(2)如果重要服务请求未获得票据：

根据请求信息列表中的请求信息，统计最近t时间段内的重要服务请求中，获得票据的请求数req_succ以及未获得票据的请求数req_fail；计算重要服务请求在最近t时间段内的失败率fail_rate,计算公式为fail_rate=req_fail/(req_succ+req_fail)；

如果失败率fail_rate>预先设定阈值fail_rate_max,则服务分发器在服务实例配置器中选择不在重要服务实例队列que_imp_instance的服务实例中，选择最大并发量C最小的服务实例，将该实例的信息instance_info添加到que_imp_instance中；同时，服务分发器记录当前时间为往que_imp_instance新增用例的时间time_add_imp_instance。