CN111585913A - 基于回收令牌的服务流量限制方法及存储介质 - Google Patents

Abstract

本发明公开了一种基于回收令牌的服务流量限制方法及存储介质，属于互联网、金融、软件系统网关技术领域，解决常用流量限制方法、接口的性能变低容易导致整个服务器的雪崩。本发明当服务器接收服务请求调用时，获取服务调用的接口名称，根据接口名称从内存映射表中获取该接口的限流实例；失败则从配置表中获取接口名称的限流配置，构建限流实例；成功获取限流实例后，调用限流实例的获取令牌功能函数，调用后返回值为token，若token大于0，继续执行业务逻辑，执行结束之后调用限流实例的回收令牌功能函数，回收获取的令牌，并返回业务逻辑执行结果；否则，返回服务流量被限制，请求调用结束。本发明用于流量限制。

Description

基于回收令牌的服务流量限制方法及存储介质

技术领域

一种基于回收令牌的服务流量限制方法及存储介质，用于流量限制，属于互联网行业应用服务器的流量控制、金融行业应用服务器的流量控制、互联网网关系统的服务流量控制和软件系统网关流量控制等技术领域。

背景技术

现在的很多应用都是面向互联网的，其背后的服务器就面临着高并发的难题，而且互联网应用服务器时时刻刻都面临着浪涌问题。作为应用的运营商，面临着有限的资源与无限甚至不可控的流量冲击的难题。为解决该问题，流量控制概念被提了出来。而限流(服务流量限制)就是流量控制中的一种。

目前的流量限制(即流量控制)有多种方案，比较普遍的是漏桶和固定时间段的流量控制两种。漏桶是基于一个固定容量和固定滴速的令牌发送规则，流量的最大极限不会超过桶的容量，最小不会低于桶的滴速。固定时间段的流量控制，就更加简单粗暴，通过设定固定时间段的流量阀值来控制，在固定时间段内，如果流量超过了阀值则不再进行处理。

这两种方式都面临着一个问题，在服务器的某个接口的性能因某些原因(可硬件原因、也可为软件原因，比如一个服务是可以调用其他三方服务的，如果三方服务性能出现了问题，那么作为调用方服务也会出现问题。还比如，常见的数据性能问题导致的应用服务性能问题等等。)性能变得低下的时候，以上两种方式仍然会以固定的速度接收服务请求，最终会因为此接口的问题导致整个服务器的雪崩，在互联网和金融行业中，若因单个服务的性能问题导致服务器的雪崩，服务器一旦雪崩所有的服务就都将停止服务，互联网网站将不可访问，金融交易将会停摆，造成的损失是十分巨大的。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于回收令牌的服务流量限制方法及存储介质，解决常用流量限制方法、在服务器的某个接口的性能变低时，仍以固定的速度接收服务请求，最终会因为此接口的问题导致整个服务器的雪崩。

为了达到上述目的，本发明采用如下技术方案：

一种基于回收令牌的服务流量限制方法，步骤如下：

步骤1：当服务器接收包含接口名称的服务请求调用时，获取服务调用的接口名称serviceName，根据接口名称serviceName从已创建的内存映射表map中获取该接口的限流实例instance，其中，服务指的是服务器对外暴露的接口；

步骤2：若获取限流实例instance失败，则从已预置好的配置表中获取接口名称serviceName的限流配置，直接构造限流实例instance，再和接口名称映射到内存映射表map中，其中，限流配置即指接口名称对应的接口的令牌桶容量V；

步骤3：若获取限流实例instance成功，即得到步骤1或步骤2中的限流实例instance后，调用限流实例instance的获取令牌功能函数obtainToken，调用令牌成功后返回值为token，若token大于0，执行步骤4；否则，即表示调用令牌失败，返回服务流量被限制，请求调用结束，其中，token代表令牌；

步骤4：继续执行业务逻辑调用，执行结束之后调用限流实例instance的回收令牌功能函数recycleToken，其入参为token，回收获取的令牌，并返回业务逻辑执行结果。

进一步，所述各接口名称即为各标识，用于从内存映射表map和配置表中获取限流实例instance和限流配置。

进一步，所述配置表是服务请求调用前就已经配置好，并保存在数据库或配置文件中，其中，配置表包括接口名称serviceName和该接口名称对应的服务的令牌桶容量V。

进一步，所述内存映射表map是在服务首次调用时根据配置表创建的，即把服务的接口名称和限流实例按照(k，v)键值对保存在内存中所创建的。

进一步，所述步骤2中构建限流实例instance的具体步骤如下：

步骤2.1：若获取限流实例instance失败，即表示服务请求首次调用时，从已预置好的配置表中获取接口名称serviceName的限流配置，其中，限流配置即指接口名称对应的服务的令牌桶容量V，定义全局变量initTokenNum，令initTokenNum＝V；定义全局变量currentTokenNum，令currentTokenNum＝V，其中，initTokenNum是限流实例instance中的一个全局变量，表示当前的服务所对应的令牌桶容量，currentTokenNum表示令牌桶中剩余的令牌数；

步骤2.2：直接构造限流实例instance，并将接口名称serviceName和限流实例instance，按照(k，v)键值对映射到内存映射表map中，便于下次调用直接获取，其中，限流实例instance构造为initTokenNum＝currentTokenNum＝V。

进一步，所述步骤3中获取令牌功能函数obtainToken的实现步骤如下：

步骤3.1：获取currentTokenNum，针对currentTokenNum加同步锁；

步骤3.2：加同步锁后，若currentTokenNum-1大于等于0，则设置currentTokenNum＝currentTokenNum-1，即表示令牌获取成功，同时返回当前时间毫秒数，即token，为一个正整形数，再执行步骤3.3；否则，表示令牌获取失败，返回-1，再执行步骤3.3；

步骤3.3：释放同步锁。

进一步，所述步骤4中回收令牌功能函数recycleToken的实现步骤如下：

步骤4.1：获取initTokenNum和currentTokenNum，调用参数n，n表示入参token，若n小于0，则直接结束，即回收令牌功能函数recycleToken执行结束，否则执行步骤4.2；

步骤4.2：针对currentTokenNum加同步锁；

步骤4.3：如果currentTokenNum+1大于initTokenNum，则设置

currentTokenNum＝initTokenNum，执行步骤4.5；

步骤4.4：如果ourrentTokenNum+1小于或者等于initTokenNum，则设置

currentTokenNum＝currentTokenNum+1，执行步骤4.5；

步骤4.5：释放同步锁，令牌回收成功。

一种基于回收令牌的服务流量限制存储介质，包括用于存储内存映射表map的内存存储介质和用于存储配置表的硬盘，处理器接收包含接口名称的服务请求，判断是否首次调用，若是通过调用配置表创建内存映射表map，并通过调用内存映射表map来获取令牌，若否，直接调用内存映射表map来获取令牌；以及业务逻辑执行结束后，释放令牌。

本发明同现有技术相比，其有益效果表现在：

一、本发明通过采用数字模拟令牌的获取和回收，减少对内存的占用，传统的令牌都是通过内存数组存储，而本案是通过两个单纯的数字用于模拟，减少的内存一般是传统方式的百分之八十至百分之九十；

二、本发明在服务(如服务A、服务B等)调用业务逻辑处理前申请令牌，业务逻辑处理完成之后回收令牌，使得令牌的使用效率与业务逻辑的执行效率成正相关，服务的吞吐量有很大的弹性，例：设接口配置的令牌数是10，而该接口正常的处理时间是100毫秒，那么该接口的吞吐量能达到100；如果因为数据库或者其他三方服务原因导致接口的处理时间从100毫秒变成了1秒，由于10个令牌的限制，这1秒成功处理的吞吐量就是10，剩下的90个请求均因为没有令牌而且被拒绝；如果没有这10个令牌的限制，服务器仍然会按照100的吞吐量接收，而且不会拒绝，这会导致服务器处理拥塞，进而导致服务器崩溃；

三、本发明通过设置固定的令牌桶容量(即通过同步锁控制当前令牌数始终处于零与令牌桶容量之间)，使得服务器在突然面临处理大量性能低下的接口调用时，能够对服务器起到很好的保护作用；

四、本发明通过内存映射表与配置表结合的方式，既能灵活的对各个接口的流量配置(即可通过配置表实现各个接口的个性化限流配置)，又能减少因多次读取配置表带来的性能损耗；

五、本发明在互联网应用服务器和网关领域，对服务器的保护是最大的，可以避免服务器的停摆。

附图说明

图1为本发明的流程示意图；

图2为本发明中限流实例instance的构造流程；

图3为本发明中获取令牌功能函数obtainToken的实现流程图；

图4为本发明中回收令牌功能函数recycleToken的实现流程图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

而基于回收令牌的服务流量限制方式，不会因某接口的性能低下，导致整个服务器的雪崩。该方式通过给具体的接口设定固定的令牌数，在服务请求处理前先申请令牌，在获取令牌后才进行下一步业务逻辑处理，等处理完之后归还领令牌。由于令牌数是固定的，所以服务请求调用的处理数量跟接口的处理效率相关。接口处理的越快，则服务请求调用的处理的越多越快，反之，处理的越少越慢。通过这种方式，可以避免因为某个接口的性能问题导致整个服务器的雪崩。

系统(即指应用服务器)在处理业务逻辑之前必须申请令牌(可以申请多个)，如果申请失败则服务直接返回或者拒绝处理。如果令牌申请成功，则令牌桶的数量会相应减少，系统继续处理业务逻辑，等业务逻辑处理完成之后返还令牌，最后返回业务逻辑处理结果。

在互联网行业应用服务器的流量控制、金融行业应用服务器的流量控制、互联网网关系统的服务流量控制和软件系统网关流量控制等领域中，具体实现步骤如下：

一种基于回收令牌的服务流量限制方法，步骤如下：

步骤1：当服务器接收包含接口名称的服务请求调用时，获取服务调用的接口名称serviceName，根据接口名称serviceName从已创建的内存映射表map中获取该接口的限流实例instance，其中，服务指的是服务器对外暴露的接口；

所述各接口名称即为各标识，用于从内存映射表map和配置表中获取限流实例instance和限流配置。

所述配置表是服务请求调用前就已经配置好，并保存在数据库或配置文件中，其中，配置表包括接口名称serviceName和该接口名称对应的服务的令牌桶容量V

所述内存映射表map是在服务首次调用时根据配置表创建的，即把服务的接口名称和限流实例按照(k，v)键值对保存在内存中所创建的。

步骤2：若获取限流实例instance失败，则从已预置好的配置表中获取接口名称serviceName的限流配置，直接构造限流实例instance，再和接口名称映射到内存映射表map中，其中，限流配置即指接口名称对应的接口的令牌桶容量V；

构建限流实例instance的具体步骤如下：

步骤2.1：若获取限流实例instance失败，即表示服务请求首次调用时，从已预置好的配置表中获取接口名称serviceName的限流配置，其中，限流配置即指接口名称对应的服务的令牌桶容量V，定义全局变量initTokenNum，令initTokenNum＝V；定义全局变量currentTokenNum，令currentTokenNum＝V，其中，initTokenNum是限流实例instance中的一个全局变量，表示当前的服务所对应的令牌桶容量，currentTokenNum表示令牌桶中剩余的令牌数；

步骤2.2：直接构造限流实例instance，并将接口名称serviceName和限流实例instance，按照(k，v)键值对映射到内存映射表map中，便于下次调用直接获取，其中，限流实例instance构造为initTokenNum＝currentTokenNum＝V。

步骤3：若获取限流实例instance成功，即得到步骤1或步骤2中的限流实例instance后(其中，获取成功的限流实例instance包括限流实例名和赋值)，调用限流实例instance的获取令牌功能函数obtainToken，调用令牌成功后返回值为token，若token大于0，执行步骤4；否则，即表示调用令牌失败，返回服务流量被限制，请求调用结束，其中，token代表令牌；

获取令牌功能函数obtainToken的实现步骤如下：

步骤3.1：获取currentTokenNum，针对currentTokenNum加同步锁；

步骤3.2：加同步锁后，若currentTokenNum-1大于等于0，则设置currentTokenNum＝currentTokenNum-1，即表示令牌获取成功，同时返回当前时间毫秒数，即token，为一个正整形数，再执行步骤3.3；否则，表示令牌获取失败，返回-1，再执行步骤3.3；

步骤3.3：释放同步锁。

步骤4：继续执行业务逻辑调用(这个业务逻辑调用可以是对三方接口或者数据库的调用，亦可是本地逻辑代码的调用)，执行结束之后调用限流实例instance的回收令牌功能函数recycleToken，其入参为token，回收获取的令牌，并返回业务逻辑执行结果。

回收令牌功能函数recycleToken的实现步骤如下：

步骤4.1：获取initTokenNum和currentTokenNum，调用参数n，n表示入参token，若n小于0，则直接结束，即回收令牌功能函数recycleToken执行结束，否则执行步骤4.2；n＜0，意味着这是一个无效token。

步骤4.2：针对currentTokenNum加同步锁；

步骤4.3：如果currentTokenNum+1大于initTokenNum，则设置

currentTokenNum＝initTokenNum，执行步骤4.5；

步骤4.4：如果currentTokenNum+1小于或者等于initTokenNum，则设置

currentTokenNum＝currentTokenNum+1，执行步骤4.5；

步骤4.5：释放同步锁，令牌回收成功。

一种基于回收令牌的服务流量限制存储介质，包括用于存储内存映射表map的内存存储介质和用于存储配置表的硬盘，处理器接收包含接口名称的服务请求，判断是否首次调用，若是通过调用配置表创建内存映射表map，并通过调用内存映射表map来获取令牌，若否，直接调用内存映射表map来获取令牌；以及业务逻辑执行结束后，释放令牌。

实施例

互联网网关是这样一种web应用服务：它是整个互联网系统的出口，所有的服务请求调用都先经过互联网网关转到各个对应的业务系统，然后在获得业务系统的响应之后，将结果返回服务请求调用方。互联网网关是7x24小时不断运行的，无时无刻不在做接口(即服务)调用转发操作，那么这个互联网网关的作用就极其重要，一旦网关出现问题，则整个互联网系统就出现了问题。

造成互联网网关出问题的有一个很重要的因素就是因为业务系统出现问题。举例来说，假设一个互联网公司有10个业务系统，正常情况下所有业务系统的平均响应时间是50毫秒，互联网网关在业务系统响应时间在50毫秒的时候，200个线程的网关服务器在一秒钟内能处理200x(1000/50)＝4000笔服务请求调用转发。如果某一台业务系统A出现问题，其相应时间变成了5秒，则200个线程的网关服务器，在处理业务系统A的效率就降低了100倍，就算200个线程全部用来处理A系统的服务请求调用转发，其1秒钟的吞吐量也不过是200x(1000/5000)＝40。然而，网关服务器不会因为业务系统A的问题就停止接收其他服务请求调用，但是互联网网关所有的线程都已经去转发业务系统A的服务请求调用，整个网关服务器已经没有资源可用，对外的表现就是整个互联网业务停摆，用户所有的请求都得不到响应，或者响应很慢。

如果在同样条件下，网关服务器使用了该流量限制方法，为保证在平均响应时间为50毫秒的条件下能够达到每秒4000吞吐量，则给每个系统配置20令牌(也就是令牌桶容量)。按照本方法，令牌在互联网网关转发服务请求前申请，在网关得到响应后回收(每个令牌的使用时间是50毫秒)，则每个系统的20个令牌在一秒钟内能重复使用20x(1000/50)＝400次。10个系统200个令牌能重复使用10x20x(1000/50)＝4000次，刚好吻合每秒钟4000吞吐量。又假设此时，业务系统A出现故障，它的处理时间从50毫秒变成了5秒(令牌的使用时间从50毫秒变成了5秒)，则业务系统A的10个令牌在5秒钟内的只能重复使用20x(5000/5000)＝20次(一秒钟平均4次)。也就说，在业务系统A出故障的这段时间，无论网关接收多少关于业务系统A的服务请求调用，互联网网关只能按照平均5秒钟20个的数量往业务系统A转发服务请求，其他关于业务系统A的请求均会因为申请不到令牌而被拒绝转发(网关在处理令牌申请和回收的效率上是非常高的，正常情况下处理时间不会超过5毫秒)。通过这种方式，其他所有跟业务系统A无关的交易都会正常得到转发处理，从而保证网关的正常运转，避免了因为业务系统A的问题导致整个互联网系统停摆。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (8)

1.一种基于回收令牌的服务流量限制方法，其特征在于：步骤如下：

步骤1：当服务器接收包含接口名称的服务请求调用时，获取服务调用的接口名称serviceName，根据接口名称serviceName从已创建的内存映射表map中获取该接口的限流实例instance，其中，服务指的是服务器对外暴露的接口；

步骤2：若获取限流实例instance失败，则从已预置好的配置表中获取接口名称serviceName的限流配置，直接构造限流实例instance，再和接口名称映射到内存映射表map中，其中，限流配置即指接口名称对应的接口的令牌桶容量V；

步骤3：若获取限流实例instance成功，即得到步骤1或步骤2中的限流实例instance后，调用限流实例instance的获取令牌功能函数obtainToken，调用令牌成功后返回值为token，若token大于0，执行步骤4；否则，即表示调用令牌失败，返回服务流量被限制，请求调用结束，其中，token代表令牌；

步骤4：继续执行业务逻辑调用，执行结束之后调用限流实例instance的回收令牌功能函数recycleToken，其入参为token，回收获取的令牌，并返回业务逻辑执行结果。

2.根据权利要求1所述的一种基于回收令牌的服务流量限制方法，其特征在于：所述各接口名称即为各标识，用于从内存映射表map和配置表中获取限流实例instance和限流配置。

3.根据权利要求2所述的一种基于回收令牌的服务流量限制方法，其特征在于：所述配置表是服务请求调用前就已经配置好，并保存在数据库或配置文件中，其中，配置表包括接口名称serviceName和该接口名称对应的服务的令牌桶容量V。

4.根据权利要求3所述的一种基于回收令牌的服务流量限制方法，其特征在于：所述内存映射表map是在服务首次调用时根据配置表创建的，即把服务的接口名称和限流实例按照(k，v)链值对保存在内存中所创建的。

5.根据权利要求1-4任意一项所述的一种基于回收令牌的服务流量限制方法，其特征在于：所述步骤2中构建限流实例instance的具体步骤如下：

步骤2.1：若获取限流实例instance失败，即表示服务请求首次调用时，从已预置好的配置表中获取接口名称serviceName的限流配置，其中，限流配置即指接口名称对应的服务的令牌桶容量V，定义全局变量initTokenNum，令initTokenNum＝V；定义全局变量currentTokenNum，令currentTokenNum＝V，其中，initTokenNum是限流实例instance中的一个全局变量，表示当前的服务所对应的令牌桶容量，currentTokenNum表示令牌桶中剩余的令牌数；

步骤2.2：直接构造限流实例instance，并将接口名称serviceName和限流实例instance按照(k，v)键值对映射到内存映射表map中，便于下次调用直接获取，其中，限流实例instance构造为initTokenNum＝currentTokenNum＝V。

6.根据权利要求5所述的一种基于回收令牌的服务流量限制方法，其特征在于：所述步骤3中获取令牌功能函数obtainToken的实现步骤如下：

步骤3.1：获取currentTokenNum，针对currentTokenNum加同步锁；

步骤3.2：加同步锁后，若currentTokenNum-1大于等于0，则设置currentTokenNum＝currentTokenNum-1，即表示令牌获取成功，同时返回当前时间毫秒数，即token，为一个正整形数，再执行步骤3.3；否则，表示令牌获取失败，返回-1，再执行步骤3.3；

步骤3.3：释放同步锁。

7.根据权利要求6所述的一种基于回收令牌的服务流量限制方法，其特征在于：所述步骤4中回收令牌功能函数recycleToken的实现步骤如下：

步骤4.1：获取initTokenNum和currentTokenNum，调用参数n，n表示入参token，若n小于0，则直接结束，即回收令牌功能函数recycleToken执行结束，否则执行步骤4.2；

步骤4.2：针对currentTokenNum加同步锁；

步骤4.3：如果currentTokenNum+1大于initTokenNum，则设置

currentTokenNum＝initTokenNum，执行步骤4.5；

步骤4.4：如果currentTokenNum+1小于或者等于initTokenNum，则设置currentTokenNum＝currentTokenNum+1，执行步骤4.5；

步骤4.5：释放同步锁，令牌回收成功。

8.一种基于回收令牌的服务流量限制存储介质，其特征在于：包括用于存储内存映射表map的内存存储介质和用于存储配置表的硬盘，处理器接收包含接口名称的服务请求，判断是否首次调用，若是通过调用配置表创建内存映射表map，并通过调用内存映射表map来获取令牌，若否，直接调用内存映射表map来获取令牌；以及业务逻辑执行结束后，释放令牌。

Images