CN109871260B - 一种基于容器间共享内存的多维度服务限流方法及系统 - Google Patents

Abstract

本发明实施例提供一种基于容器间共享内存的多维度服务限流方法及系统，该方法包括：对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到应用进程的虚拟地址空间中，对于任一应用进程，根据所述任一应用进程的类型，选择所述任一应用进程的三个维度进行限流。本发明实施例提供的一种基于容器间共享内存的多维度服务限流方法及系统，既解决了传统限流方法无法跨服务容器的问题，又解决了一般分布式限流算法访问三方中间件带来的性能问题，在两者间取得了良好的平衡。

Description

一种基于容器间共享内存的多维度服务限流方法及系统

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种基于容器间共享内存的多维度服务限流方法及系统。

背景技术

在高并发的实时交易系统中，当某个服务的请求流量突然暴增并不断涌入，会产生服务的负载过高、网络响应延迟等一系列问题，并可能产生连锁反应引发雪崩,致使其他服务不可用，如果不加以处理可能导致整个系统不可用。

所以对服务中流量的控制十分重要，通过对流量的合理限制可以保证服务的高可用性和服务的稳定性。

基于限流问题而提出的经典的限流算法，虽然解决了非预期突发流量对系统的冲击，但是这些算法只能做到在单个进程内进行限流，而现在典型的互联网系统都构建在微服务以及容器技术之上,传统的限流算法无法满足跨进程甚至跨服务容器限流的需求。

发明内容

针对上述问题，本发明实施例提供一种基于容器间共享内存的多维度服务限流方法及系统。

第一方面，本发明实施例提供一种基于容器间共享内存的多维度服务限流方法，包括：

对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每个角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度。

第二方面，本发明实施例提供一种基于容器间共享内存的多维度服务限流系统，包括：

第一模块，用于对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

第二模块，用于对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每个角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度。

第三方面，本发明实施例提供一种电子设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的一种基于容器间共享内存的多维度服务限流方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的一种基于容器间共享内存的多维度服务限流方法。

本发明实施例提供的一种基于容器间共享内存的多维度服务限流方法及系统，既解决了传统限流方法无法跨服务容器的问题，又解决了一般分布式限流算法访问三方中间件带来的性能问题，在两者间取得了良好的平衡。

同时，该限流方案中对不同级别和不同规则的支持，保证了对生产上不同粒度的访问进行了限流。而方案中对多层次时间窗口的设置，也扩展了限流方案所适用的时间范围。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于容器间共享内存的多维度服务限流方法的流程图；

图2为本发明实施例中一种虚拟地址空间的结构示意图；

图3为本发明实施例一种基于容器间共享内存的多维度服务限流系统的结构示意图；

图4示例了一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种基于容器间共享内存的多维度服务限流方法的流程图，如图1所示，该方法包括：

S1，对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

S2，对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每一角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度。

使用MMAP计数，将限流计数文件映射到进程的虚拟地址空间，将其作为计数中心，当一台宿主机上运行多个同样的服务节点的时候，能起到跨容器和跨进程共享，而在虚拟化大行其道的今天，有相当重要的意义。

需要说明的是，MMAP将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。MMAP在用户空间映射调用系统中作用很大。

对内存直接进行读写操作，该操作是微妙级别的，消除了网络访问带来的性能问题，性能跟经典单进程限流算法相当，比普通分布式限流算法高千倍以上。

对于任意一个应用进程的类型，可以从该应用进程的三个角度进行限流，该三个角度包括服务提供端角度、客户调用端角度和时间角度，每个角度又对应不同的维度，如果是从服务提供端角度来看，可以从服务级别限流和服务接口方法级别限流两个维度来进行限流，如果是从客户调用端角度来看，可以从用户ID、用户IP、调用端IP和调用端资源ID以及ALL五个维度来对该应用进程进行限流，ALL表示不区分其它4个维度，如果是从时间角度来看，可以从分钟级、小时级和天三个方面来对该应用进程进行限流。

例如，可以按照如下方式定义一条限流规则：对该服务的createOrder方法，根据用户Id来限制用户请求，每分钟只能调用1次，每小时只能调用10次，每天只能调用100次。createOrder方法就是服务提供端中选择“服务接口方法级别”这个维度来限流，用户Id是客户端角度选择的“用户Id”这个维度来限流，每分钟只能调用1次，每小时只能调用10次，每天只能调用100次，这是从时间角度来进行限流。每条限流规则都是需要从服务端、客户端和时间端三个角度的某个维度进行限定。

又例如，还可针对整个服务，根据用户IP来限制流量，每分钟xx,m每小时xx,每天xx，整个服务是服务提供端中选择“服务级别”这个维度进行限流，用户IP就是客户端角度中选择的一个维度，“每分钟xx,m每小时xx,每天xx”就是从时间角度中选择的维度进行限流。

定义的限流规则可以针对微服务中的服务级别和方法级别，以及userIp、userId、callerIp、callerMId等不同的ruleType进行限流。userIp表示用户IP，userId表示用户ID，callerMIp表示请求端IP，callerId表示请求端资源ID。

可以针对不同粒度的访问限流，可以多层次限流：定义了三个层次的时间窗口进行限流。

本发明实施例提供的一种基于容器间共享内存的多维度服务限流方法，既解决了传统限流方法无法跨服务容器的问题，又解决了一般分布式限流算法访问三方中间件带来的性能问题，在两者间取得了良好的平衡。

在上述实施例的基础上，优选地，所述虚拟地址空间包括第一模块、第二模块、第三模块和第四模块四个区域，所述第一模块用于存储所述限流计数文件的版本号，所述第二模块表示一个字符串到ID的字典映射区，所述第三模块表示存储每个字符串的UTF-8编码，所述第四模块表示存储调用计数值。

通过MMAP技术将限流计数文件映射到各应用进程的虚拟内存，来保证同一个服务器上的多个应用服务进程可以共享同样的限流数据。

各应用服务进程直接操作内存以确保限流的高效。

图2为本发明实施例中一种虚拟地址空间的结构示意图，如图2所示，该虚拟地址空间包括第一模块、第二模块、第三模块和第四模块四个区域，其中，第一模块为图中的RootPage，第二模块为图中的Dictionary Root，第三模块为图中的Dictionary Data，第四模块为图中的Node Page。

RootPage:大小为4K，存储基本的信息。

i16version：表示目前版本号为1。

i16NodePageCount：一般建议取16K的整数倍，这个值越大，NodePage的数量越多，每个NodePage中的node就越少冲突，当然，也需要消耗更多的内存。如果为16K，则占用16M内存，建议最小配置为64K。

i32RootPageLock对RootPage进行修改前，必须获得的自旋锁，为0时，表示free，锁获取成功。

i16nextUtf8offset：表示下一个可分配的字符串偏移量。

i16nextDictionId：表示下一个字典ID，从1开始。

Dictionary Root：12K，是一个字符串到id的映射区，这个区中保存了当前共享内存中的app_id，rule_type_id等String的id映射。其基本数据结构如下,最多存储2K个字符串。

DictionaryItem分配新ID时，需要对RootPageLock进行加锁。

Dictionary Data:128K，作为Dictionay Root中的utf8offset，每个字符串以utf8编码。

NodePage表示一个NodePage为1024byte，具有相同的Hash值的CounterNode保存在同一个Page中。一个Page可以存储42个Node。每个Page的前16个字节是保留的。

本发明实施例中虚拟地址空间的目标：使用64M共享内存，可以管理64K个NodePage，最多可以支持2.75M个CounterNode。由于设置了64K个Hash分散，尽可能避免Hash冲突，提高操作效率。

在上述实施例的基础上，优选地，所述服务级别限流表示设置是针对服务的所有方法的，所述方法级别限流表示只针对服务的其中一个方法。

所谓的服务类型就是指表示该设置是针对所有方法的，而方法类型表示该设置只针对其中一种方法。

在上述实施例的基础上，优选地，从时间角度对所述任一应用进程进行限流，具体包括：

设置每分钟请求数的第一最大阈值；

设置每小时请求数的第二最大阈值；

设置每天请求数的第三最大阈值。

在实现时，具体地限流规则范例如下:

限流规则范例1：

match_app＝*，针对服务类型进行限流；

rule_type＝callerIp，对每个请求端IP；

min_interval＝60,600，每分钟请求数不多余600,600为第一最大阈值；

mid_interval＝3600,10000，每小时请求数不超过1万，10000为第二最大阈值；

max_interval＝86400,80000，每天请求数不超过8万，80000为第三最大阈值。

限流规则范例2：

match_app＝getSomething，针对方法类型进行限流；

rule_type＝callerIp，对每个请求端IP；

min_interval＝60,600，每分钟请求数不多余600；

mid_interval＝3600,10000，每小时请求数不超过1万；

max_interval＝86400,80000，每天请求数不超过8万。

该限流规则表明了本实施例的限流方案可以对服务级别和方法级别的请求进行限流，同时也可以对userIp、userId、callerIp、callerId等不同的ruleType进行限流。并同时可以设定min、mid、max三个不同的统计周期和限流频率。

另外需要说明的是：在本实施例的限流方案中对于不同级别的限流规则和对不同的ruleType的限流规则是可以同时配置的。对于前者，方法级别的优先级别更高，对于后者，可以同时配置多个ruleType进行限流。

限流逻辑处理流程如下：

假设服务名为orderService，接口名为createOrder，该服务的限流规则如下:

[rule1]

match_app＝createOrder；

rule_type＝userId；

min_interval＝60,600，表示每分钟请求数不多余600；

mid_interval＝3600,10000，表示每小时请求数不超过1万；

max_interval＝86400,80000，表示每天请求数不超过8万。

意思是，对每个用户，限制每分钟下单次数不超过600次，每小时不超过一万次，每天不能超过八万次。

那么当服务收到一个来自用户A(userId＝15348)创建订单的请求的时候，这时候app＝createOrder，ruleType＝userId，key＝15348。

限流处理器的处理逻辑如下：

首先在本地字符串映射表中查找appId和ruleTypeId,如果存在则返回对应ID，如果本地不存在，则在共享内存的字典中查找，如果存在则返回，如果不存在则构建新的Item，并在构建本地映射后，再返回ID。

通过得到的appId、ruleTypeId和规则中的key值进行hash:NodeHash＝(app_id<<16|rule_type_id)^key，定位到对应的Nodepage:NodePageIndex＝NodeHash％NodePageCount。获取当前Nodepage中的node数量，如果为零，则创建并插入一个node(新node默认三个维度的计数值为1)；否则遍历所有node，如果找不到符合条件的node(appId,ruletypeId,key一致)，则创建并插入一个node(如果数量已达到系统设定的阈值，则根据一定的淘汰策略删除对应的node再插入)；如果找到匹配的node，则修改相应的count值，最后返回node。

将返回node的三个维度的count值与规则(600，10000，80000)比较，大于则返回false，表示该用户已经超过系统设定的可访问阈值，否则返回true，表示服务允许处理该次请求。

图3为本发明实施例一种基于容器间共享内存的多维度服务限流系统的结构示意图，如图3所示，该系统包括第一模块301和第二模块302，其中：

第一模块301用于对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

第二模块302用于对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每一角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度。

本系统实施例的具体执行过程与上述方法实施例的执行过程相同，具体请参考上述方法实施例，本系统实施例在此不再赘述。

图4示例了一种电子设备的实体结构示意图，如图4所示，该服务器可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和总线440，其中，处理器410，通信接口420，存储器430通过总线440完成相互间的通信。通信接口440可以用于服务器与智能电视之间的信息传输。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：

对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每个角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：

对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每个角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于容器间共享内存的多维度服务限流方法，其特征在于，包括：

对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每个角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度；

所述虚拟地址空间包括第一模块、第二模块、第三模块和第四模块四个区域，所述第一模块用于存储所述限流计数文件的版本号，所述第二模块表示一个字符串到ID的字典映射区，所述第三模块表示存储每个字符串的UTF-8编码，所述第四模块表示存储调用计数值。

2.根据权利要求1所述方法，其特征在于，所述服务级别限流表示设置是针对服务的所有方法的，所述方法级别限流表示只针对服务的其中一个方法。

3.根据权利要求1所述方法，其特征在于，从所述时间角度对所述任一应用进程进行限流，具体包括：

设置每分钟请求数的第一最大阈值；

设置每小时请求数的第二最大阈值；

设置每天请求数的第三最大阈值。

4.一种基于容器间共享内存的多维度服务限流系统，其特征在于，包括：

第一单元，用于对于同一个服务器上的若干个应用进程，通过MMAP技术将限流计数文件映射到进程的虚拟地址空间中，以使得若干个应用进程能共享所述限流计数文件中的流量数据；

第二单元，用于对于任一应用进程，根据所述任一应用进程的类型，通过所述任一应用进程的三个角度进行限流，每一角度对应不同的维度，从服务提供端角度看，所述任一应用进程包括服务级别限流以及服务接口方法级别限流两个维度，从客户调用端角度看，所述任一应用进程包括用户ID、用户IP、调用端IP、调用端资源ID以及ALL共五个维度，从时间角度看，所述任一应用进程包括分钟级、小时级以及天共三个维度；

所述虚拟地址空间包括第一模块、第二模块、第三模块和第四模块四个区域，所述第一模块用于存储所述限流计数文件的版本号，所述第二模块表示一个字符串到ID的字典映射区，所述第三模块表示存储每个字符串的UTF-8编码，所述第四模块表示存储调用计数值。

5.一种电子设备，其特征在于，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于所述电子设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-3中任一项所述的方法。

6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。

Images