CN115037693B - 一种基于令牌桶的分布式限流方法和分布式限流装置 - Google Patents

一种基于令牌桶的分布式限流方法和分布式限流装置 Download PDF

Info

Publication number
CN115037693B
CN115037693B CN202210537854.8A CN202210537854A CN115037693B CN 115037693 B CN115037693 B CN 115037693B CN 202210537854 A CN202210537854 A CN 202210537854A CN 115037693 B CN115037693 B CN 115037693B
Authority
CN
China
Prior art keywords
user
current limiting
token
service request
token bucket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210537854.8A
Other languages
English (en)
Other versions
CN115037693A (zh
Inventor
胡云森
何渝君
王翔
舒忠玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanyun Technology Co Ltd
Original Assignee
Hanyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanyun Technology Co Ltd filed Critical Hanyun Technology Co Ltd
Priority to CN202210537854.8A priority Critical patent/CN115037693B/zh
Publication of CN115037693A publication Critical patent/CN115037693A/zh
Application granted granted Critical
Publication of CN115037693B publication Critical patent/CN115037693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/215Flow control; Congestion control using token-bucket

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种基于令牌桶的分布式限流方法和分布式限流装置,该分布式限流方法包括:接收用户发送的接入请求,并确定所述用户的请求来源地址;基于所述用户的请求来源地址,确定该用户所对应的限流策略;基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;若否,则拒绝所述业务请求。根据所述分布式限流方法和分布式限流装置,解决了现有技术中无法实现分布式限流的问题。

Description

一种基于令牌桶的分布式限流方法和分布式限流装置
技术领域
本申请涉及计算机通信技术领域,具体而言,涉及一种基于令牌桶的分布式限流方法和分布式限流装置。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域或IT技术等领域,但由于各行业的安全性及实时性要求,也对技术提出了更高的要求。其中,在数据流量管理方面,为了防止某一服务器访问量或某一应用访问量过大而导致系统瘫痪,常常采用限流的方式来对服务器或应用后台进行保护。限流,即服务或者应用对自身保护的一种手段,通过限制或者拒绝调用方的流量,来保证自身的负载。传统的限流方式流量限制是在单机内存中,多台网关服务器无法共享限流流量,而随着开放网关使用的数量越来越多,如何能够实现多机分布式限流对当前技术提出了更高要求。
发明内容
有鉴于此,本申请的目的在于提供一种基于令牌桶的分布式限流方法和分布式限流装置,根据用户的请求来源地址确定该用户对应的限流策略,并根据该用户所属的限流策略向令牌桶中放入对应的令牌,以对该用户进行限流。每个用户均有所属的限流策略,使用对应的限流策略对用户进行限流,解决了现有技术中无法实现分布式限流的问题,提高了对于用户限流的准确性和实时性,实现了对于不同用户进行分布式限流的目的。
第一方面,本申请实施例提供了一种基于令牌桶的分布式限流方法,所述分布式限流方法包括:
接收用户发送的接入请求,并确定所述用户的请求来源地址;
基于所述用户的请求来源地址,确定该用户所对应的限流策略;其中,所述限流策略用于表征所述用户在每个限流间隔时间内能够使用的令牌的数量;
基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;
接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;
若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;
若否,则拒绝所述业务请求。
进一步的,在所述接收用户发送的接入请求之前,所述分布式限流方法还包括:
针对于每个不同的限流等级,为该限流等级对应的限流策略设置所述限流间隔时间、每一限流间隔时间内需要放入所述令牌桶中的令牌的数量和所述用户每次业务请求消耗的令牌的数量。
进一步的,所述基于所述用户的请求来源地址,确定该用户所对应的限流策略,包括:
基于所述用户的请求来源地址,判断所述用户是否为白名单用户;
若否,则基于所述请求来源地址确定所述用户的限流等级,并基于所述限流等级确定该用户所对应的限流策略。
进一步的,通过以下步骤判断是否能够从令牌桶中为所述业务请求获取所述令牌:
在每一限流间隔时间内,判断所述令牌桶中当前令牌数量是否大于或等于所述业务请求消耗的令牌的数量;
若是,则能够从所述令牌桶中为所述业务请求获取所述令牌;
若否,则不能从所述令牌桶中为所述业务请求获取所述令牌。
进一步的,当判断能够从所述令牌桶中为所述业务请求获取所述令牌时,所述分布式限流方法还包括;
确定所述用户在当前限流间隔时间内的令牌消耗数量;
在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,向所述令牌桶中放入所述令牌消耗数量对应的令牌。
进一步的,当判断不能从所述令牌桶中为所述业务请求获取所述令牌时,所述分布式限流方法还包括;
在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,基于所述限流策略,向所述用户所属的令牌桶中放入所述限流策略对应的令牌。
进一步的,当拒绝所述业务请求之后,所述分布式限流方法还包括:
将所述用户确定为超额访问用户,并确定所述超额访问用户的用户信息;其中,所述用户信息包括请求来源地址、用户姓名、用户联系方式和API路径;
根据所述超额访问用户的用户联系方式,向所述超额访问用户发送每个不同限流等级对应的限流策略;
当检测到所述超额访问用户对于限流策略的下单操作时,则获取所述超额访问用户的下单等级,并将所述下单等级所对应的限流策略确定为所述超额访问用户所对应的限流策略,以使所述超额访问用户在下次发送业务请求时,根据所述超额访问用户所对应的限流策略为所述超额访问用户提供所述限流策略对应的令牌;其中,所述下单等级为所述限流等级中的任意一个。
第二方面,本申请实施例还提供了一种基于令牌桶的分布式限流装置,所述分布式限流装置包括:
接收模块,用于接收用户发送的接入请求,并确定所述用户的请求来源地址;
限流策略确定模块,用于基于所述用户的请求来源地址,确定该用户所对应的限流策略;其中,所述限流策略用于表征所述用户在每个限流间隔时间内能够使用的令牌数量;
令牌放置模块,用于基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;
判断模块,用于接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;
请求执行模块,用于若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;
请求拒绝模块,用于若否,则拒绝所述业务请求。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的基于令牌桶的分布式限流方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的基于令牌桶的分布式限流方法的步骤。
本申请实施例提供的基于令牌桶的分布式限流方法,首先,接收用户发送的接入请求,并确定所述用户的请求来源地址;然后基于所述用户的请求来源地址,确定该用户所对应的限流策略;其中,所述限流策略用于表征所述用户在每个限流间隔时间内能够使用的令牌的数量;基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;最后,接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;若否,则拒绝所述业务请求。
本申请提供的分布式限流方法与现有技术中的限流方法相比,根据用户的请求来源地址确定该用户对应的限流策略,并根据该用户所属的限流策略向令牌桶中放入对应的令牌,以对该用户进行限流。每个用户均有所属的限流策略,使用对应的限流策略对用户进行限流,解决了现有技术中无法实现分布式限流的问题,提高了对于用户限流的准确性和实时性,实现了对于不同用户进行分布式限流的目的。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种基于令牌桶的分布式限流方法的流程图;
图2为本申请实施例所提供的限流策略的确定方法的流程图;
图3为本申请实施例所提供的一种基于令牌桶的分布式限流装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
随着计算机技术的发展,越来越多的技术应用在金融领域或IT技术等领域,但由于各行业的安全性及实时性要求,也对技术提出了更高的要求。其中,在数据流量管理方面,为了防止某一服务器访问量或某一应用访问量过大而导致系统瘫痪,常常采用限流的方式来对服务器或应用后台进行保护。限流,即服务或者应用对自身保护的一种手段,通过限制或者拒绝调用方的流量,来保证自身的负载。传统的限流方式流量限制是在单机内存中,多台网关服务器无法共享限流流量,而随着开放网关使用的数量越来越多,如何能够实现多机分布式限流对当前技术提出了更高要求。
近年来,在高并发的应用中,用户限流是一个绕不开的话题。因为随着我们系统的用户数越来越多,API网关在安全,性能方面有了更高的要求,对代码的便于维护性、健壮性等存在极大挑战。请求量大网关系统每天需要扛几十亿的流量调用,接口的平稳运行、每一个接口在后端服务之后的性能耗损都非常重要。限流可以保障我们的API服务对所有用户的可用性,也可以防止网络攻击。
基于此,本申请实施例提供了一种基于令牌桶的分布式限流方法,每个用户均有所属的限流策略,使用对应的限流策略对用户进行限流,解决了现有技术中无法实现分布式限流的问题,提高了对于用户限流的准确性和实时性,实现了对于不同用户进行分布式限流的目的。
请参阅图1,图1为本申请实施例所提供的一种基于令牌桶的分布式限流方法的流程图。如图1中所示,本申请实施例提供的基于令牌桶的分布式限流方法,包括:
S101,接收用户发送的接入请求,并根据所述接入请求确定所述用户的请求来源地址。
需要说明的是,接入请求指的是用户在准备接入为用户提供业务需求的平台时,向平台发送的接入请求。请求来源地址指的是用户发送接入请求的地址,这里,请求来源地址可以是用户的IP地址(Internet Protocol Address),对此不做具体限定。IP地址是互联网协议特有的一种地址,它是IP协议提供的一种统一的地址格式,IP地址为互联网上的每一个网络和每一台主机分配一个逻辑地址,以此来屏蔽物理地址的差异。
针对上述步骤S101,在具体实施时,当用户接入为用户提供业务需求的平台时,接收用户发送的接入请求,并根据用户发送的接入请求确定用户的请求来源地址。
S102,基于所述用户的请求来源地址,确定该用户所对应的限流策略。
需要说明的是,限流策略指的是用户在每个限流间隔时间能够请求的业务的数量,也就是,限流策略用于表征用户在每个限流间隔时间内能够使用的令牌的数量。具体的,限流间隔时间指的是预先设定好的一个间隔时间,在每个限流间隔时间内为用户提供令牌。例如,限流间隔时间可以设定为1分钟,对此本申请不做具体限定。令牌桶技术(TokenBucket)是一种常见的流量测量技术,常用于流量的限制和流量的整形,能够对流量的速率和突发进行测量。本申请所提供的分布式限流方法即是在令牌桶技术的基础上实现的。令牌即是存放在令牌桶中的,用于相应用户业务请求的令牌。令牌的数量指的是令牌桶中令牌的数量。例如,可以设定用户在一分钟内可使用的令牌的数量为100个,对此本申请不做具体限定。
针对上述步骤S102,在具体实施时,当步骤S101确定出了用户的请求来源地址后,根据该用户的请求来源地址,确定该用户所对应的限流策略。延续上一实施例,限流策略可以是该用户在每一分钟内能够使用100个令牌。
作为一种可选的实施方式,在所述接收所述用户发送的接入请求之前,本申请提供的分布式限流方法还包括:
针对于每个不同的限流等级,为该限流等级对应的限流策略设置所述限流间隔时间、每一限流间隔时间内需要放入所述令牌桶中的令牌的数量和所述用户每次业务请求消耗的令牌的数量。
需要说明的是,限流等级指的是预先设定好的,不同的限流策略对应的等级。根据本申请提供的实施例,限流等级可以包括第一限流等级、第二限流等级和第三限流等级等,对此本申请不做具体限定。每个不同的限流等级对应不同的限流策略。每一限流间隔时间内需要放入令牌桶中的令牌的数量指的是在每一限流间隔时间内,向令牌桶中放置的令牌的数量。例如,当限流间隔时间为1分钟时,每一分钟内需要放入令牌桶中的令牌的数量可以是100个,对此本申请不做具体限定。用户每次业务请求消耗的令牌的数量指的是用户每发送一次业务请求,响应该业务请求时所消耗的令牌的数量。例如,可以设定用户每次业务请求消耗的令牌的数量为1个,对此本申请不做具体限定。
针对上述步骤,在具体实施时,针对于每个不同的限流等级,对该限流等级对应的限流策略设置限流间隔时间、每一限流间隔时间内需要放入令牌桶中的令牌的数量和用户每次业务请求消耗的令牌的数量。延续上一实施例,例如,针对于第一限流等级,为第一限流等级对应的限流策略设定限流间隔时间为1分钟,每一限流间隔时间内需要放入令牌桶中的令牌的数量为100个,用户每次业务请求消耗的令牌的数量为1个;针对于第二限流等级,为第二限流等级对应的限流策略设定限流间隔时间为1分钟,每一限流间隔时间内需要放入令牌桶中的令牌的数量为500个,用户每次业务请求消耗的令牌的数量为1个;针对于第三限流等级,为第三限流等级对应的限流策略设定限流间隔时间为1分钟,每一限流间隔时间内需要放入令牌桶中的令牌的数量为1000个,用户每次业务请求消耗的令牌的数量为1个。
这样,在用户接入平台前,可以为不同的限流等级设定不同的限流策略,根据用户的请求来源地址确定用户所属的限流策略,以使用对应的限流策略对用户进行限流,根据设置的限流策略来实时保障平台中对所有用户的可用性,也可以有效防止网络恶意攻击。
这里,应注意,上述对于限流等级以及限流等级对应的限流策略的例子仅为实例,实际中,限流等级以及限流等级对应的限流策略不限于上述例子。
请参阅图2,图2为本申请实施例所提供的限流策略的确定方法的流程图。如图2中所示,所述基于所述用户的请求来源地址,确定该用户所对应的限流策略,包括:
S201,基于所述用户的请求来源地址,判断所述用户是否为白名单用户。
需要说明的是,白名单用户指的是无需进行限流的用户。
针对上述步骤S201,在具体实施时,基于用户的请求来源地址,判断该用户是否为白名单用户。具体的,通过查询请求来源地址与Nacos配置的白名单IP地址进行比对,判断该用户的请求来源地址是否在白名单IP地址内。若在白名单IP地址内,则认为该用户为白名单用户;若不在白名单IP地址内,则认为该用户不是白名单用户。若该用户为白名单用户,则为该用户走正常的API调用流程,也就是无需为该用户设定限流策略,无需用令牌桶来限制该用户的业务请求数量,无论用户发送多少个业务请求,都可以为该用户正常执行。若该用户不是白名单用户,则执行步骤S202。
S202,若否,则基于所述请求来源地址确定所述用户的限流等级,并基于所述限流等级确定该用户所对应的限流策略。
针对上述步骤S202,在具体实施时,若用户不是白名单用户,则根据该用户的请求来源地址确定该用户的限流等级,并基于限流等级确定该用户所对应的限流策略。根据本申请提供的实施例,在具体实施时,如果根据用户的请求来源地址判断该用户首次接入用户提供业务需求的平台时,则默认该用户的限流等级为最低等级,也就是上述实施例中的第一限流等级。当用户不是首次接入用户提供业务需求的平台时,则根据该用户的请求来源地址,确定该用户对应的限流等级。例如,该用户在之前购买过第二限流等级的限流策略,则根据该用户的请求来源地址可以确定该用户的限流等级为第二限流等级。在用户的限流等级确定好后,根据限流等级确定该用户提供对应的限流策略,以根据该限流策略为用户提供限流服务。
S103,基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌。
需要说明的是,限流间隔时间的开始时刻指的是在每个限流间隔时间中,该间隔时间内的开始时刻。例如,当限流间隔时间为一分钟时,限流间隔时间的开始时刻为每一分钟的开始时刻。
针对上述步骤S103,在具体实施时,基于确定出的该用户的限流策略,在每一限流间隔时间的开始时刻向该用户所属的令牌桶中放入限流策略对应的令牌。延续上一实施例,当确定出该用户的限流等级为第一限流等级,该用户的限流策略为限流间隔时间1分钟,每一限流间隔时间内需要放入令牌桶中的令牌的数量为100个时,则在每个一分钟的开始时刻向该用户所述的令牌桶中放入100个令牌。具体的,在实现向令牌桶中放入令牌时,将令牌持久化到redisson缓存中,采用redis lua脚本实现逻辑,即通过lua脚本执行redis命令,lua是reids支持的可执行的动态脚本语言;能够保证操作原子性,实现集群环境中用户接口访问的原子限流,避免并发访问下令牌桶令牌数量设置错误的情况,保证多台网关服务共享流量限制。当令牌桶中放满了,就丢弃当前存入的令牌。
S104,接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌。
需要说明的是,业务请求指的是用户提出的想要进行业务服务的请求,例如,业务请求可以是用户提出的针对数据库中数据的需求,对此本申请不做具体限定。
针对上述步骤S104,在具体实施时,当接收到用户发送的业务请求后,判断能够从令牌桶中为该业务请求获取到令牌。若是,则执行步骤S105;若否,则执行步骤S106。
S105,若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求。
针对上述步骤S105,在具体实施时,当判断能够从令牌桶中为该业务请求获取到令牌时,从令牌桶中获取令牌并将令牌赋予业务请求,以执行具有令牌的业务请求。这里,根据该用户对应的限流策略中的每次业务请求消耗的令牌的数量获取令牌。例如,若该用户对应的限流策略中每次业务请求消耗的令牌的数量1个,则为业务请求获取1个令牌;若该用户对应的限流策略中每次业务请求消耗的令牌的数量2个,则为业务请求获取2个令牌。然后再将获取到的令牌赋予该业务请求,以执行具有令牌的业务请求。当将用户发送的业务请求传送至令牌桶节点时,如果令牌桶中有足够的令牌可以用来响应用户的业务请求时,则直接从令牌桶中获取令牌,获取的令牌的数量应与该业务请求所消耗的令牌的数量相同,同时令牌桶中的令牌量按该业务请求所消耗的令牌的数量做相应的减少。
S106,若否,则拒绝所述业务请求。
针对上述步骤S106,在具体实施时,当判断不能从令牌桶中为该业务请求获取到令牌时,则拒绝该用户发送的业务请求。如果令牌桶中的令牌数量不足或为空,则无法得到足够令牌的业务请求将被拒绝,此时令牌桶中的令牌数量不发生变化。
作为一种可选的实施方式,针对上述步骤S104,通过以下步骤判断是否能够从令牌桶中为所述业务请求获取所述令牌:
步骤1041,在每一限流间隔时间内,判断所述令牌桶中当前令牌数量是否大于或等于所述业务请求消耗的令牌的数量。
步骤1042,若是,则能够从所述令牌桶中为所述业务请求获取所述令牌。
步骤1043,若否,则不能从所述令牌桶中为所述业务请求获取所述令牌。
需要说明的是,当前令牌数量指的是在某一限流间隔时间内,当接收到用户的业务请求时,令牌桶中剩余的令牌的数量。
针对上述步骤1041-1043,在具体实施时,在每一限流间隔时间内,当接收到用户发送的业务请求时,确定该用户所属的令牌桶中当前令牌数量,判断当前令牌数量是否大于或等于业务请求消耗的令牌的数量。若是,则执行步骤1042,判断能够从所述令牌桶中为所述业务请求获取所述令牌。若否,则执行步骤1043,判断不能从所述令牌桶中为所述业务请求获取所述令牌。
作为一种可选的实施方式,当判断能够从所述令牌桶中为所述业务请求获取所述令牌时,所述分布式限流方法还包括;
A:确定所述用户在当前限流间隔时间内的令牌消耗数量。
需要说明的是,令牌消耗数量指的是该用户在当前限流间隔时间内所使用的令牌的数量。
针对于上述步骤A,在具体实施时,当能够从令牌桶中为业务请求获取令牌时,则确定用户在当前限流间隔时间内的令牌消耗数量,例如,用户在当前限流间隔时间内的令牌消耗数量为70个,对此本申请不做具体限定。
B:在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,向所述令牌桶中放入所述令牌消耗数量对应的令牌。
需要说明的是,下一限流间隔时间指的是当前限流间隔时间之后的一个限流间隔时间。
针对上述步骤B,在具体实施时,在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,向令牌桶中放入令牌消耗数量对应的令牌。延续步骤A中的实施例,当该用户在每一限流间隔时间内能够使用的令牌的数量为100时,用户在当前限流间隔时间内的令牌消耗数量为70个,令牌消耗数量小于该用户能够使用的令牌的数量,所以在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,仅添加70个令牌以使令牌桶达到最大容量。
作为一种可选的实施方式,当判断不能从所述令牌桶中为所述业务请求获取所述令牌时,所述分布式限流方法还包括;
在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,基于所述限流策略,向所述用户所属的令牌桶中放入所述限流策略对应的令牌。
针对上述步骤,在具体实施时,在当前限流间隔时间内所有的令牌全部被与用户耗尽时,在当前限流间隔时间内将不会再向令牌桶中放入令牌,在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,基于该用户对应的限流策略,向该用户所属的令牌桶中放入限流策略对应的令牌。
作为一种可选的实施方式,当拒绝所述业务请求之后,所述分布式限流方法还包括:
a:将所述用户确定为超额访问用户,并确定所述超额访问用户的用户信息。
需要说明的是,超额访问用户指的是在某一限流间隔时间内,将令牌桶内的全部令牌全部耗尽的用户。用户信息指的是该超额访问用户的用户基本信息,这里,用户信息包括请求来源地址、用户姓名、用户联系方式和API路径。用户联系方式可以包括超额访问用户的邮箱或手机号等,对此本申请不做具体限定。作为一种可选的实施方式,用户信息也可以包括超额访问用户的其他信息,例如所调用的令牌的数量,所超额的令牌的数量等,对此本申请不做具体限定。
针对上述步骤a,在具体实施时,当拒绝了该用户的业务请求后,将该用户确定为超额访问用户,并确定该超额访问用户的用户信息,这里,确定该超额访问用户的请求来源地址、用户姓名、用户联系方式和API路径。
b:根据所述超额访问用户的用户联系方式,向所述超额访问用户发送每个不同限流等级对应的限流策略。
针对上述步骤b,在具体实施时,根据超额访问用户的用户联系方式,将每个不同限流等级对应的限流策略发送给超额访问用户,以使超额访问用户可以对不同限流等级对应的限流策略进行选择。
c:当检测到所述超额访问用户对于限流策略的下单操作时,则获取所述超额访问用户的下单等级,并将所述下单等级所对应的限流策略确定为所述超额访问用户所对应的限流策略,以使所述超额访问用户在下次发送业务请求时,根据所述超额访问用户所对应的限流策略为所述超额访问用户提供所述限流策略对应的令牌。
需要说明的是,下单操作指的是用户在购买限流策略时对于限流策略的下单操作。下单等级为用户的下单操作对应的限流等级,这里,下单等级为预设的限流等级中的任意一个。
针对上述步骤c,在具体实施时,当检测到超额访问用户对于限流策略的下单操作时,则获取超额访问用户的下单等级,并将下单等级所对应的限流策略确定为该超额访问用户所对应的限流策略,以使该超额访问用户在下次发送业务请求时,根据该超额访问用户所对应的限流策略为超额访问用户提供限流策略对应的令牌。延续上述实施例中的例子,例如,超额访问用户所下单的限流等级为第三限流等级时,当检测到超额访问用户对于限流策略的下单操作时,获取该超额访问用户的下单等级为第三限流等级,并将第三限流等级所对应的限流策略确定为该超额访问用户的限流策略,这样,该超额访问用户在下次发送业务请求时,就可以该超额访问用户下单的第三限流等级所对应的限流策略为该超额访问用户提供该限流策略对应的令牌,即每一分钟内需要放入令牌桶中的令牌的数量为1000个,用户每次业务请求消耗的令牌的数量为1个。
这样,当用户在发送业务请求时,在该限流间隔时间所消耗的令牌的数量超过了该用户对应的限流策略中的令牌的数量时,即可将已有的不同等级的限流策略发送给用户,用户可以根据自身的需求进行选择。这样用户在下次发送业务请求时,就可以根据用户所选则的限流等级对应的限流策略为用户提供对应的令牌。
本申请实施例提供的基于令牌桶的分布式限流方法,首先,接收用户发送的接入请求,并确定所述用户的请求来源地址;然后基于所述用户的请求来源地址,确定该用户所对应的限流策略;其中,所述限流策略用于表征所述用户在每个限流间隔时间内能够使用的令牌的数量;基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;最后,接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;若否,则拒绝所述业务请求。
本申请提供的分布式限流方法与现有技术中的限流方法相比,根据用户的请求来源地址确定该用户对应的限流策略,并根据该用户所属的限流策略向令牌桶中放入对应的令牌,以对该用户进行限流。每个用户均有所属的限流策略,使用对应的限流策略对用户进行限流,解决了现有技术中无法实现分布式限流的问题,提高了对于用户限流的准确性和实时性,实现了对于不同用户进行分布式限流的目的。
请参阅图3,图3为本申请实施例所提供的一种基于令牌桶的分布式限流装置的结构示意图。如图3中所示,所述分布式限流装置300包括:
接收模块301,用于接收用户发送的接入请求,并确定所述用户的请求来源地址;
限流策略确定模块302,用于基于所述用户的请求来源地址,确定该用户所对应的限流策略;其中,所述限流策略用于表征所述用户在每个限流间隔时间内能够使用的令牌数量;
令牌放置模块303,用于基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;
判断模块304,用于接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;
请求执行模块305,用于若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;
请求拒绝模块306,用于若否,则拒绝所述业务请求。
进一步的,所述分布式限流装置300还包括限流策略设定模块,所述限流策略设定模块用于:
针对于每个不同的限流等级,为该限流等级对应的限流策略设置所述限流间隔时间、每一限流间隔时间内需要放入所述令牌桶中的令牌的数量和所述用户每次业务请求消耗的令牌的数量。
进一步的,所述限流策略确定模块302在用于基于所述用户的请求来源地址,确定该用户所对应的限流策略时,所述限流策略确定模块302还用于:
基于所述用户的请求来源地址,判断所述用户是否为白名单用户;
若否,则基于所述请求来源地址确定所述用户的限流等级,并基于所述限流等级确定该用户所对应的限流策略。
进一步的,所述判断模块304通过以下步骤判断是否能够从令牌桶中为所述业务请求获取所述令牌:
在每一限流间隔时间内,判断所述令牌桶中当前令牌数量是否大于或等于所述业务请求消耗的令牌的数量;
若是,则能够从所述令牌桶中为所述业务请求获取所述令牌;
若否,则不能从所述令牌桶中为所述业务请求获取所述令牌。
进一步的,所述分布式限流装置300还包括第一放置模块,当判断能够从所述令牌桶中为所述业务请求获取所述令牌时,所述第一放置模块用于:
确定所述用户在当前限流间隔时间内的令牌消耗数量;
在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,向所述令牌桶中放入所述令牌消耗数量对应的令牌。
进一步的,所述分布式限流装置300还包括第二放置模块,当判断不能从所述令牌桶中为所述业务请求获取所述令牌时,所述第二放置模块用于:
在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,基于所述限流策略,向所述用户所属的令牌桶中放入所述限流策略对应的令牌。
进一步的,所述分布式限流装置300还包括限流策略发送模块,当拒绝所述业务请求之后,所述限流策略发送模块用于:
将所述用户确定为超额访问用户,并确定所述超额访问用户的用户信息;其中,所述用户信息包括请求来源地址、用户姓名、用户联系方式和API路径;
根据所述超额访问用户的用户联系方式,向所述超额访问用户发送每个不同限流等级对应的限流策略;
当检测到所述超额访问用户对于限流策略的下单操作时,则获取所述超额访问用户的下单等级,并将所述下单等级所对应的限流策略确定为所述超额访问用户所对应的限流策略,以使所述超额访问用户在下次发送业务请求时,根据所述超额访问用户所对应的限流策略为所述超额访问用户提供所述限流策略对应的令牌;其中,所述下单等级为所述限流等级中的任意一个。
请参阅图4,图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示,所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令,当电子设备400运行时,所述处理器410与所述存储器420之间通过总线430通信,所述机器可读指令被所述处理器410执行时,可以执行如上述图1以及图2所示方法实施例中的基于令牌桶的分布式限流方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的基于令牌桶的分布式限流方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于令牌桶的分布式限流方法,其特征在于,所述分布式限流方法包括:
接收用户发送的接入请求,并确定所述用户的请求来源地址;
基于所述用户的请求来源地址,确定该用户所对应的限流策略;其中,所述限流策略用于表征所述用户在每个限流间隔时间内能够使用的令牌的数量;
基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;
接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;
若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;
若否,则拒绝所述业务请求;
当拒绝所述业务请求之后,所述分布式限流方法还包括:
将所述用户确定为超额访问用户,并确定所述超额访问用户的用户信息;其中,所述用户信息包括请求来源地址、用户姓名、用户联系方式和API路径;
根据所述超额访问用户的用户联系方式,向所述超额访问用户发送每个不同限流等级对应的限流策略;
当检测到所述超额访问用户对于限流策略的下单操作时,则获取所述超额访问用户的下单等级,并将所述下单等级所对应的限流策略确定为所述超额访问用户所对应的限流策略,以使所述超额访问用户在下次发送业务请求时,根据所述超额访问用户所对应的限流策略为所述超额访问用户提供所述限流策略对应的令牌;其中,所述下单等级为所述限流等级中的任意一个。
2.根据权利要求1所述的分布式限流方法,其特征在于,在所述接收用户发送的接入请求之前,所述分布式限流方法还包括:
针对于每个不同的限流等级,为该限流等级对应的限流策略设置所述限流间隔时间、每一限流间隔时间内需要放入所述令牌桶中的令牌的数量和所述用户每次业务请求消耗的令牌的数量。
3.根据权利要求2所述的分布式限流方法,其特征在于,所述基于所述用户的请求来源地址,确定该用户所对应的限流策略,包括:
基于所述用户的请求来源地址,判断所述用户是否为白名单用户;
若否,则基于所述请求来源地址确定所述用户的限流等级,并基于所述限流等级确定该用户所对应的限流策略。
4.根据权利要求2所述的分布式限流方法,其特征在于,通过以下步骤判断是否能够从令牌桶中为所述业务请求获取所述令牌:
在每一限流间隔时间内,判断所述令牌桶中当前令牌数量是否大于或等于所述业务请求消耗的令牌的数量;
若是,则能够从所述令牌桶中为所述业务请求获取所述令牌;
若否,则不能从所述令牌桶中为所述业务请求获取所述令牌。
5.根据权利要求4所述的分布式限流方法,其特征在于,当判断能够从所述令牌桶中为所述业务请求获取所述令牌时,所述分布式限流方法还包括;
确定所述用户在当前限流间隔时间内的令牌消耗数量;
在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,向所述令牌桶中放入所述令牌消耗数量对应的令牌。
6.根据权利要求4所述的分布式限流方法,其特征在于,当判断不能从所述令牌桶中为所述业务请求获取所述令牌时,所述分布式限流方法还包括;
在位于当前限流间隔时间之后的下一限流间隔时间的开始时刻,基于所述限流策略,向所述用户所属的令牌桶中放入所述限流策略对应的令牌。
7.一种基于令牌桶的分布式限流装置,其特征在于,所述分布式限流装置包括:
接收模块,用于接收用户发送的接入请求,并确定所述用户的请求来源地址;
限流策略确定模块,用于基于所述用户的请求来源地址,确定该用户所对应的限流策略;其中,所述限流策略用于表征所述用户在每个限流间隔时间内能够使用的令牌数量;
令牌放置模块,用于基于所述限流策略,在每一限流间隔时间的开始时刻向所述用户所属的令牌桶中放入所述限流策略对应的令牌;
判断模块,用于接收用户发送的业务请求,判断是否能够从所述令牌桶中为所述业务请求获取所述令牌;
请求执行模块,用于若是,则获取所述令牌并将所述令牌赋予所述业务请求,以执行具有令牌的业务请求;
请求拒绝模块,用于若否,则拒绝所述业务请求;
所述分布式限流装置还包括限流策略发送模块,当拒绝所述业务请求之后,所述限流策略发送模块用于:
将所述用户确定为超额访问用户,并确定所述超额访问用户的用户信息;其中,所述用户信息包括请求来源地址、用户姓名、用户联系方式和API路径;
根据所述超额访问用户的用户联系方式,向所述超额访问用户发送每个不同限流等级对应的限流策略;
当检测到所述超额访问用户对于限流策略的下单操作时,则获取所述超额访问用户的下单等级,并将所述下单等级所对应的限流策略确定为所述超额访问用户所对应的限流策略,以使所述超额访问用户在下次发送业务请求时,根据所述超额访问用户所对应的限流策略为所述超额访问用户提供所述限流策略对应的令牌;其中,所述下单等级为所述限流等级中的任意一个。
8.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至6任一所述的基于令牌桶的分布式限流方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至6任一所述的基于令牌桶的分布式限流方法的步骤。
CN202210537854.8A 2022-05-17 2022-05-17 一种基于令牌桶的分布式限流方法和分布式限流装置 Active CN115037693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210537854.8A CN115037693B (zh) 2022-05-17 2022-05-17 一种基于令牌桶的分布式限流方法和分布式限流装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210537854.8A CN115037693B (zh) 2022-05-17 2022-05-17 一种基于令牌桶的分布式限流方法和分布式限流装置

Publications (2)

Publication Number Publication Date
CN115037693A CN115037693A (zh) 2022-09-09
CN115037693B true CN115037693B (zh) 2023-05-26

Family

ID=83121575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210537854.8A Active CN115037693B (zh) 2022-05-17 2022-05-17 一种基于令牌桶的分布式限流方法和分布式限流装置

Country Status (1)

Country Link
CN (1) CN115037693B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276182A (zh) * 2019-06-10 2019-09-24 必成汇(成都)科技有限公司 Api分布式限流的实现方法
CN110611623A (zh) * 2019-08-30 2019-12-24 江苏苏宁物流有限公司 限流方法和装置
US10659371B1 (en) * 2017-12-11 2020-05-19 Amazon Technologies, Inc. Managing throttling limits in a distributed system
CN111447150A (zh) * 2020-02-29 2020-07-24 中国平安财产保险股份有限公司 访问请求限流方法、服务器及存储介质
WO2020211222A1 (zh) * 2019-04-15 2020-10-22 厦门市美亚柏科信息股份有限公司 基于数据服务平台提供微服务的方法、装置、存储介质
CN111901249A (zh) * 2020-07-31 2020-11-06 深圳前海微众银行股份有限公司 业务限流方法、装置、设备及存储介质
CN112929291A (zh) * 2021-02-18 2021-06-08 欧冶云商股份有限公司 一种基于redis的分布式限流方法、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659371B1 (en) * 2017-12-11 2020-05-19 Amazon Technologies, Inc. Managing throttling limits in a distributed system
WO2020211222A1 (zh) * 2019-04-15 2020-10-22 厦门市美亚柏科信息股份有限公司 基于数据服务平台提供微服务的方法、装置、存储介质
CN110276182A (zh) * 2019-06-10 2019-09-24 必成汇(成都)科技有限公司 Api分布式限流的实现方法
CN110611623A (zh) * 2019-08-30 2019-12-24 江苏苏宁物流有限公司 限流方法和装置
CN111447150A (zh) * 2020-02-29 2020-07-24 中国平安财产保险股份有限公司 访问请求限流方法、服务器及存储介质
CN111901249A (zh) * 2020-07-31 2020-11-06 深圳前海微众银行股份有限公司 业务限流方法、装置、设备及存储介质
CN112929291A (zh) * 2021-02-18 2021-06-08 欧冶云商股份有限公司 一种基于redis的分布式限流方法、计算机设备和存储介质

Also Published As

Publication number Publication date
CN115037693A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN109831504B (zh) 微服务请求处理方法、装置及设备
KR102024694B1 (ko) 블록체인 기반의 다수의 서비스 노드를 사용하는 탈중앙화 서비스 플랫폼
CN110554927A (zh) 基于区块链的微服务调用方法
CN112672357B (zh) 处理业务系统中用户账号的方法、装置及计算机设备
CN113067875B (zh) 基于微服务网关动态流控的访问方法和装置以及设备
CN111371772A (zh) 基于redis的智能网关限流方法、系统和计算机设备
CN114257551A (zh) 一种分布式限流的方法及系统、存储介质
CN111752770A (zh) 服务请求的处理方法、系统、计算机设备和存储介质
CN113220723A (zh) 一种流量控制方法、装置、计算机设备及存储介质
CN111083093B (zh) 调用端能力的方法、装置、电子设备及存储介质
US20070265976A1 (en) License distribution in a packet data network
CN115934202A (zh) 一种数据管理方法、系统、数据服务网关及存储介质
CN113821307B (zh) 一种虚拟机镜像的快速导入方法、装置及设备
CN114422439A (zh) 接口限流方法、装置、计算机设备和存储介质
CN110750761A (zh) 一种小程序访问控制方法和装置
CN113905091A (zh) 用于对访问请求进行处理的方法及装置
CN113676549A (zh) 应用请求的分流方法及应用网关、电子设备、存储介质
CN115037693B (zh) 一种基于令牌桶的分布式限流方法和分布式限流装置
CN109992298B (zh) 审批平台扩充方法、装置、审批平台及可读存储介质
CN112417402B (zh) 权限控制方法、权限控制装置、权限控制设备及存储介质
CN103493543B (zh) 一种控制用户接入系统的方法及装置
CN110177110A (zh) 内容访问方法、设备及计算机可读存储介质
CN111507594A (zh) 一种数据处理方法以及设备
CN111294311A (zh) 一种防止流量欺诈的流量计费方法及系统
CN105142130B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant