CN110545246B - 一种基于令牌桶的限流方法、装置和计算机可读介质 - Google Patents
一种基于令牌桶的限流方法、装置和计算机可读介质 Download PDFInfo
- Publication number
- CN110545246B CN110545246B CN201810533488.2A CN201810533488A CN110545246B CN 110545246 B CN110545246 B CN 110545246B CN 201810533488 A CN201810533488 A CN 201810533488A CN 110545246 B CN110545246 B CN 110545246B
- Authority
- CN
- China
- Prior art keywords
- tokens
- token
- request
- consumable
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000670 limiting effect Effects 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- OVBPIULPVIDEAO-LBPRGKRZSA-N folic acid Chemical compound C=1N=C2NC(N)=NC(=O)C2=NC=1CNC1=CC=C(C(=O)N[C@@H](CCC(O)=O)C(O)=O)C=C1 OVBPIULPVIDEAO-LBPRGKRZSA-N 0.000 description 1
- 230000002147 killing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/215—Flow control; Congestion control using token-bucket
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于令牌桶的限流方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作。该实施方式能够解决无法兼顾系统稳定性和服务高可用的技术问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于令牌桶的限流方法和装置。
背景技术
在大流量高并发系统中，一般通过缓存、限流和降级来控制流量。其中，限流是针对稀缺资源(例如商品秒杀或者抢票等)或业务需求限制(供应商接入，针对不同供应商依据订单量等因素限制接入并发量)等场景，需有一定手段来限制这些场景的并发/请求量。
目前，限流算法主要有以下三种：
1)计数器法：主要用来限制总并发数，通过全局总请求数或者一定时间段的总请求数设定的阀值来进行限流，属于暴力总数量限流，而不是平均速率限流。
2)令牌桶：按照固定速率往桶中添加令牌，请求是否被处理需要看桶中令牌是否足够，当令牌数减为零时，则拒绝新的请求，其限制的是平均流入速率，并允许一定程度的突发流量。
3)漏桶：按照固定速率流出请求，流入请求速率任意，当流入的请求数累积到漏桶容量时，则新流入的请求被拒绝，其主要目的是平滑流入速度。
高并发系统为了均衡负载，一般都会做分布式处理，而分布式限流最关键的是要将限流服务原子化，实现分布式限流的基础算法是基于上面介绍的三种算法之一。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：首先，现有的分布式限流实现技术主要是基于令牌桶算法实现，但是桶初始化过程和接入请求所需令牌数大多以手动设定的方式设置，接入请求所需令牌数难以量化，目前主要还是依据个人经验评估的方式设定，导致使用繁杂；其次，缺少高效且实用的算法，虽然现有算法(比如令牌桶算法)实现效率高，但是适用场景单一，对于一定高度优先级的请求是直接采用预消费的模式预消费令牌，如果高优先级并发请求量大，预消费令牌数很多，同样会使得后面到达的请求一直处于等待状态；最后，由于分布式服务接入场景多样化，因此分布式服务环境和普通宽带限流不同，不能简单依据请求数据包大小来或者接入请求重要程度来设定桶相关初始化参数，需要在保证系统稳定性和服务高可用之间找到平衡点。
发明内容
有鉴于此，本发明实施例提供一种基于令牌桶的限流方法和装置，以解决无法兼顾系统稳定性和服务高可用的技术问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种基于令牌桶的限流方法，包括：
计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；
计算令牌桶内的可使用令牌数；
基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述基于所述限流配置，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定是否执行取令牌操作，包括：
在限流配置表中查找接入所述令牌桶的当前请求对应的类型和优先级，以从所述限流配置表中读取所述当前请求对应的所需令牌数和可预消费令牌数；
根据所述当前请求对应的所需令牌数和可预消费令牌数，以及所述令牌桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定是否执行取令牌操作，包括：
判断令牌桶内的可使用令牌数是否大于零；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；
若是，则执行取令牌操作；
若否，则继续判断当前请求是否存在优先级；若存在优先级，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；若不存在优先级，则执行熔断操作。
可选地，所述从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断当前请求是否存在优先级；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并继续判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；若是，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则执行熔断操作。
可选地，所述从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，判断所需令牌数与可使用令牌数的差值是否大于可预消费令牌数，若是，则执行熔断操作，若否，则执行取令牌操作。
可选地，计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表，包括：
周期性地计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；
所述不同请求类型对应的所需令牌数通过以下公式计算得到：
need_permits(i)＝S(i)*V(i)*U(i)
其中，S(i)表示i类型的请求的平均耗时比率，V(i)表示i类型的请求对应的每秒添加令牌数，U(i)表示i类型的请求对应的调节因子，need_permits(i)表示i类型的请求对应的所需令牌数；
所述不同请求类型对应的可预消费令牌数通过以下公式计算得到：
Pre_count(i)＝need_permits(i)*G(i)
其中，Pre_count(i)表示i类型的请求对应的可预消费令牌数，G(i)表示i类型的请求对应的优先级系数。
可选地，所述执行取令牌操作，包括：
判断令牌桶内的可使用令牌数是否大于桶高度；若是，则将桶高度作为可使用令牌数，并执行取令牌操作；若是，则直接执行取令牌操作；
将所述当前请求离开令牌桶的时间以及所述当前请求离开令牌桶时桶内剩余的令牌数保存于所述限流配置表。
可选地，计算令牌桶内的可使用令牌数，包括：
根据当前请求接入令牌桶的时间与上一次请求离开令牌桶的时间的时间差值，以及令牌的添加速率，确定所述当前请求接入令牌桶与上一次请求离开令牌桶的时间段内添加的令牌数；
根据所述时间段内添加的令牌数和上一次请求离开令牌桶时桶内剩余的令牌数，确定令牌桶内的可使用令牌数。
另外，根据本发明实施例的另一个方面，提供了一种基于令牌桶的限流装置，包括：
第一计算模块，用于计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；
第二计算模块，用于计算令牌桶内的可使用令牌数；
限流模块，用于基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述限流模块用于：
在限流配置表中查找接入所述令牌桶的当前请求对应的类型和优先级，以从所述限流配置表中读取所述当前请求对应的所需令牌数和可预消费令牌数；
根据所述当前请求对应的所需令牌数和可预消费令牌数，以及所述令牌桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述限流模块用于：
判断令牌桶内的可使用令牌数是否大于零；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；
若是，则执行取令牌操作；
若否，则继续判断当前请求是否存在优先级；若存在优先级，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；若不存在优先级，则执行熔断操作。
可选地，所述从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断当前请求是否存在优先级；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并继续判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；若是，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则执行熔断操作。
可选地，所述从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，判断所需令牌数与可使用令牌数的差值是否大于可预消费令牌数，若是，则执行熔断操作，若否，则执行取令牌操作。
可选地，所述第一计算模块用于：
周期性地计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；
所述不同请求类型对应的所需令牌数通过以下公式计算得到：
need_permits(i)＝S(i)*V(i)*U(i)
其中，S(i)表示i类型的请求的平均耗时比率，V(i)表示i类型的请求对应的每秒添加令牌数，U(i)表示i类型的请求对应的调节因子，need_permits(i)表示i类型的请求对应的所需令牌数；
所述不同请求类型对应的可预消费令牌数通过以下公式计算得到：
Pre_count(i)＝need_permits(i)*G(i)
其中，Pre_count(i)表示i类型的请求对应的可预消费令牌数，G(i)表示i类型的请求对应的优先级系数。
可选地，所述执行取令牌操作，包括：
判断令牌桶内的可使用令牌数是否大于桶高度；若是，则将桶高度作为可使用令牌数，并执行取令牌操作；若是，则直接执行取令牌操作；
将所述当前请求离开令牌桶的时间以及所述当前请求离开令牌桶时桶内剩余的令牌数保存于所述限流配置表。
可选地，所述第二计算模块用于：
根据当前请求接入令牌桶的时间与上一次请求离开令牌桶的时间的时间差值，以及令牌的添加速率，确定所述当前请求接入令牌桶与上一次请求离开令牌桶的时间段内添加的令牌数；
根据所述时间段内添加的令牌数和上一次请求离开令牌桶时桶内剩余的令牌数，确定令牌桶内的可使用令牌数。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用动态计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表，然后根据当前请求对应的所需令牌数和可预消费令牌数以及桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作的技术手段，所以克服了无法兼顾系统稳定性和服务高可用的技术问题。本发明实施例基于请求类型和优先级，动态计算请求对应的所需令牌数和可预消费令牌数，从而确定执行取令牌操作或者执行熔断操作，因此本发明能够在高并发环境下在更精准地实现流量控制的同时，更大程度地保证系统服务质量，在保证系统稳定性和服务高可用之间找到最佳平衡。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的基于令牌桶的限流方法的主要流程的示意图；
图2是根据本发明一个可参考实施例的基于令牌桶的限流方法的主要流程的示意图；
图3是根据本发明实施例的基于令牌桶的限流装置的主要模块的示意图；
图4是本发明实施例可以应用于其中的示例性系统架构图；
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的基于令牌桶的限流方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述基于令牌桶的限流方法可以包括：
步骤101，计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置。
在该步骤中，对令牌桶进行初始化，并创建限流配置表，将不同请求类型对应的所需令牌数以及可预消费令牌数均写入所述限流配置表中。进一步地，可以预先配置令牌桶的桶高度、令牌添加速率，因此将桶高度、令牌添加速率也写入所述限流配置表中，以便于后续步骤的读取。可选地，还可以配置应用标识App_id。
基于分布式场景，可以对接入令牌桶的请求进行分类，例如可以将一种类型的请求归属为一个应用，还可以将一个应用对应的不同用户分为不同类型的请求(比如供应商接入请求，将不同的供应商对应的请求分为不同类型的请求)。还可以将一个应用生成的不同业务请求分为不同类型的请求，例如订单接入请求、报价接入请求、酒店静态批量接入请求等。
可选地，可以对一些请求设置优先级，还可以对不同类型的请求设置不同的优先级，举例来说，可以对不同业务场景(即不同的请求类型)设定不同的优先等级，比如订单接入请求的优先级相对较高，而酒店静态批量接入请求的优先级就相对低一些。如果只对单个接入请求做限流，可以只对该请求单独归类即可。因此，基于优先级的设置，使得不同类型的请求对应于不同的可预消费令牌数。
在本发明的一个实施例中，接入令牌桶的请求携带有请求类型标识Key和是否存在优先级的标识，所述请求还可以携带请求所述应用的标识App_id。可选地，通过配置应用标识App_id，使得一个令牌桶接入携带有该应用标识的请求。
可选地，不同请求类型对应的所需令牌数、可预消费令牌数可以通过自适应计算得到，那么在系统资源紧张的情况下，动态调整对应请求的所需令牌数，降低对应请求的请求频率，从而更好地保证系统稳定性，同时动态设置合理的可预消费令牌数，防止过度预消费。
作为本发明的又一个实施例，所述不同请求类型对应的所需令牌数通过以下公式计算得到：
need_permits(i)＝S(i)*V(i)*U(i)
其中，S(i)表示i类型的请求的平均耗时比率，V(i)表示i类型的请求对应的每秒添加令牌数，U(i)表示i类型的请求对应的调节因子，need_permits(i)表示i类型的请求对应的所需令牌数。
在本发明的实施例中，请求的平均耗时是指从请求接入令牌桶到取令牌离开的时间差值，那么某一类型的请求的平均处理耗时可以通过令牌桶处理该类型的请求的耗时之和除以该类型的请求数量而得到。因此，i类型的请求的平均耗时比率＝i类型的请求的平均耗时/所有类型的请求的平均耗时之和，0＜S(i)≤1。
可以基于现有的开源框架做或者基于Spring AOP(Aspect-OrientedProgramming，面向切面编程)统计每个接入令牌桶的请求的平均处理耗时，从而计算得到各个类型的请求对应的平均处理耗时。因此，可以通过请求的平均处理耗时与令牌添加速率的乘积，再乘以调节因子，获取的结果向上取整，从而计算出该请求对应的所需令牌数。
需要指出的是，调节因子是一个扩展调节参数，可以对不同应用、不同业务配置不同的调节因子，调节因子的大小会直接影响到各个类型请求对应的所需令牌数，因此可以直接使用该扩展因子进行调节。比如可以将数据包长度比率作为调节因子，或者根据需要设置调节因子的大小。调节因子U与请求的优先级成正比，如果没有设置优先级，则默认取值为1，是指如果不需要扩展因子时，此时不会影响所需令牌数的计算结果。
作为本发明的再一个实施例，所述不同请求类型对应的可预消费令牌数通过以下公式计算得到：
Pre_count(i)＝need_permits(i)*G(i)
其中，Pre_count(i)表示i类型的请求对应的可预消费令牌数，G(i)表示i类型的请求对应的优先级系数。
还需要说明的是，U和G均间接或者直接的影响当前请求对应的可预消费令牌数，但是G是一种优先级策略，可以按照等级区分不同百分比。比如可以分为3个优先级，一级优先类型的请求G设置为50％,二级优先级类型的请求G为30％，三级优先级类型请求的G为20％。引入基于百分比的消费等级策略G主要是为了限制可预消费数，使其不能无限制预消费。
为了更大程度地提升算法性能，在令牌桶初始化之后，通过周期性计算的方式，计算不同请求类型对应的所需令牌数、可预消费令牌数，从而周期性地更新限流配置表，以使后续步骤可以依据当前服务性能和请求优先级，动态地确定当前请求对应的所需令牌数和可预消费令牌数。
可见，本发明将耗时计算都放到初始化阶段以及通过独立任务动态计算所需令牌数和可预消费令牌数，在实际接入请求时获取令牌过程相对简单很多，从而减少了限流接入计算量，简化了限流接入过程。而且，由于令牌可预消费，本发明实际上是通过单令牌桶实现了的双漏桶的算法。因此，本发明实施例基于现有令牌桶算法做升级，通过动态计算对应请求所需令牌数和可预消费令牌数的方式，提供了更高效的算法，在保证系统服务高可用和系统稳定性之间找到最佳平衡点，实现了更精确合理的限流控制。
步骤102，计算令牌桶内的可使用令牌数。
在该步骤中，计算令牌桶内的当前可使用令牌数，以便于步骤103调用该数据。由于分布式环境获取当前系统时间是由外部引入的，因此分布式环境下可能涉及到系统时间可能不一致问题，所以获取当前系统时间需要统一从单点系统获取或者从缓存获取。如果缓存也是分布式的，可以基于Hash将请求类型标识Key映射到指定的缓存实例上。
由于令牌桶按照固定速率添加令牌是个相对独立的过程，因此要为每个桶添加一个重复执行的线程，随着桶数量的增加，开销会越来越大，而且添加令牌的固定时间间隔精度很难控制，所以本发明实施例采用触发式添加令牌的方式，每次获取令牌之前被动计算对应时间段内添加的令牌数。
可选地，所述计算令牌桶内的可使用令牌数，包括：首先，根据当前请求接入令牌桶的时间与上一次请求离开令牌桶的时间的时间差值，以及令牌的添加速率，确定所述当前请求接入令牌桶与上一次请求离开令牌桶的时间段内添加的令牌数；然后，根据所述时间段内添加的令牌数和上一次请求离开令牌桶时桶内剩余的令牌数，确定令牌桶内的可使用令牌数。
具体地，该步骤可以包括：
首先，当请求接入令牌桶时，读取系统的当前时间(即当前请求接入令牌桶的时间)，从限流配置表中读取上一次请求离开令牌桶的时间，计算两者的时间差值；
然后，从限流配置表中读取令牌的添加速率，通过计算时间差值与添加速率的乘积，得到当前请求接入令牌桶与上一次请求离开令牌桶的时间段内添加的令牌数；
最后，从限流配置表中读取上一次请求离开令牌桶时桶内剩余的令牌数，通过上一次请求离开令牌桶时桶内剩余的令牌数加上添加的令牌数，得到令牌桶内的可使用令牌数。
步骤103，基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作。
在该实施例中，通过读取步骤101中创建的限流配置表，获得接入令牌桶的当前请求对应的所需令牌数和可预消费令牌数，然后进一步基于步骤201中计算得到的令牌桶内的可使用令牌，确定执行取令牌操作或者执行熔断操作。具体地，步骤103可以包括：首先，在限流配置表中查找接入所述令牌桶的当前请求对应的类型和优先级，以从所述限流配置表中读取所述当前请求对应的所需令牌数和可预消费令牌数；然后，根据所述当前请求对应的所需令牌数和可预消费令牌数，以及所述令牌桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作。
作为本发明的再一个实施例，步骤103可以包括：
判断令牌桶内的可使用令牌数是否大于零；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作。
在该实施例中，如果令牌桶内的可使用令牌数小于等于零，则暂不读取当前请求对应的所需令牌数，而且判断当前请求是否存在优先级，从而灵活地控制流量。
可选地，如果牌桶内的可使用令牌数大于零，则所述基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；
若是，则执行取令牌操作；
若否，则继续判断当前请求是否存在优先级；若存在优先级，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；若不存在优先级，则执行熔断操作。
可选地，如果令牌桶内的可使用令牌数小于等于零，则所述从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断当前请求是否存在优先级；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并继续判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；若是，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则执行熔断操作。
在本发明的一些实施例中，所述从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，判断所需令牌数与可使用令牌数的差值是否大于可预消费令牌数，若是，则执行熔断操作，若否，则执行取令牌操作。
作为本发明的另一个实施例，所述执行取令牌操作，包括：首先，判断令牌桶内的可使用令牌数是否大于桶高度；若是，则将桶高度作为可使用令牌数，并执行取令牌操作；若是，则直接执行取令牌操作；然后，将所述当前请求离开令牌桶的时间以及所述当前请求离开令牌桶时桶内剩余的令牌数保存于所述限流配置表。
本发明实施例提供的基于令牌桶的限流方法通过单令牌桶实现双漏桶的功能，针对不同优先级请求自适应计算相应的可预消费令牌数，实现关键请求优先，在保证系统稳定性的前提下最大限度地提升系统服务能力。本发明实施例可以实现更优的算法和更灵活的流量控制方法，还可以实现多优先级可预消费策略。本发明实施例适用于交换机、网关、路由器等通信设备中通过令牌桶实现限速的场合。
根据上面所述的各种实施例，可以看出本发明通过采用动态计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表，然后根据当前请求对应的所需令牌数和可预消费令牌数以及桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作的技术手段，从而解决了无法兼顾系统稳定性和服务高可用的问题。也就是说，现有技术依据个人经验评估的方式设定请求所需令牌数，缺少高效且实用的算法，导致无法在保证系统稳定性和服务高可用之间找到平衡点。而本发明是基于请求类型和优先级，动态计算请求对应的所需令牌数和可预消费令牌数，从而确定执行取令牌操作或者执行熔断操作，因此本发明能够在高并发环境下在更精准地实现流量控制的同时，更大程度地保证系统服务质量，在保证系统稳定性和服务高可用之间找到最佳平衡。
可见，本发明实施例基于单令牌桶基本算法，实现了可基于不同优先级实现不同预消费策略的双漏桶控制，以自适应计算的方式计算不同优先级请求可预消费令牌数和所需令牌数，在系统资源紧张的情况下，动态调整请求对应的所需令牌数，降低对应请求的请求频率，更好保证系统稳定性，同时动态设置合理的可预消费令牌数，防止过度预消费。
图2是根据本发明另一个可参考实施例的基于令牌桶的限流方法的主要流程的示意图，所述基于令牌桶的限流方法可以包括：
步骤201，计算令牌桶内的可使用令牌数；
步骤202，判断令牌桶内的可使用令牌数是否大于等于零，若是则执行步骤203，若否，则执行步骤204；
步骤203，从限流配置表中读取当前请求对应的所需令牌数；
步骤204，判断当前请求是否存在优先级，若是，则执行步骤203，若否，则执行步骤216；
步骤205，判断令牌桶内的可使用令牌数是否大于等于当前请求对应的所需令牌数，若是，则执行步骤207，若否，则执行步骤206；
步骤206，判断当前请求是否存在优先级，若是，则执行步骤208，若否，则执行步骤216；
步骤207，判断令牌桶内的可使用令牌数是否大于桶高度，若是，则执行步骤212，若否，则执行步骤213；
步骤208，从限流配置表中读取当前请求对应的优先级下的可预消费令牌数；
步骤209，令牌桶内的可使用令牌数减去当前请求对应的所需令牌数，得到当前剩余令牌数(可能是正数、负数或者是零)；
步骤210，判断当前剩余令牌数是否大于等于零，若是，则执行步骤207，若否，则执行步骤211；
步骤211，对当前剩余令牌数取绝对值，判断当前剩余令牌数的绝对值是否大于可预消费令牌数，若否，则执行步骤207，若是，则执行步骤216；
步骤212，将令牌桶的桶高度作为可使用令牌数；
步骤213，执行取令牌操作；
步骤214，将当前请求取令牌离开令牌桶的时间以及当前请求离开令牌桶时桶内剩余的令牌数保存于所述限流配置表；
步骤215，执行请求；
步骤216，执行熔断操作。
需要指出的是，可以周期性地计算各个类型请求对应的所需令牌数和可预消费令牌数，并将其保存到限流配置表，以供在执行步骤203、步骤208等的过程中调用。
根据上面所述的各种实施例，可以看出本发明通过采用动态计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表，然后根据当前请求对应的所需令牌数和可预消费令牌数以及桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作的技术手段，从而解决了无法兼顾系统稳定性和服务高可用的问题。本发明是基于请求类型和优先级，动态计算请求对应的所需令牌数和可预消费令牌数，从而确定执行取令牌操作或者执行熔断操作，因此本发明能够在高并发环境下在更精准地实现流量控制的同时，更大程度地保证系统服务质量，在保证系统稳定性和服务高可用之间找到最佳平衡。所以，本发明实施例提供的方法适用于大型分布式系统，主要作用是灵活地限制用户终端的接入。
另外，在本发明一个可参考实施例中基于令牌桶的限流方法的具体实施内容，在上面所述基于令牌桶的限流方法中已经详细说明了，故在此重复内容不再说明。
图3是根据本发明实施例的基于令牌桶的限流装置的主要模块的示意图，如图3所示，所述基于令牌桶的限流装置300包括第一计算模块301、第二计算模块302和限流模块303。其中，所述第一计算模块301计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；所述第二计算模块302计算令牌桶内的可使用令牌数；所述限流模块303基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述限流模块303在限流配置表中查找接入所述令牌桶的当前请求对应的类型和优先级，以从所述限流配置表中读取所述当前请求对应的所需令牌数和可预消费令牌数；根据所述当前请求对应的所需令牌数和可预消费令牌数，以及所述令牌桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述限流模块303判断令牌桶内的可使用令牌数是否大于零；若是，则从限流配置表中读取当前请求对应的所需令牌数，并基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作；若否，则从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作。
可选地，所述基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；
若是，则执行取令牌操作；
若否，则继续判断当前请求是否存在优先级；若存在优先级，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；若不存在优先级，则执行熔断操作。
可选地，所述从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断当前请求是否存在优先级；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并继续判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；若是，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则执行熔断操作。
可选地，所述从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，判断所需令牌数与可使用令牌数的差值是否大于可预消费令牌数，若是，则执行熔断操作，若否，则执行取令牌操作。
可选地，所述第一计算模块301周期性地计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；
所述不同请求类型对应的所需令牌数通过以下公式计算得到：
need_permits(i)＝S(i)*V(i)*U(i)
其中，S(i)表示i类型的请求的平均耗时比率，V(i)表示i类型的请求对应的每秒添加令牌数，U(i)表示i类型的请求对应的调节因子，need_permits(i)表示i类型的请求对应的所需令牌数；
所述不同请求类型对应的可预消费令牌数通过以下公式计算得到：
Pre_count(i)＝need_permits(i)*G(i)
其中，Pre_count(i)表示i类型的请求对应的可预消费令牌数，G(i)表示i类型的请求对应的优先级系数。
可选地，所述执行取令牌操作，包括：
判断令牌桶内的可使用令牌数是否大于桶高度；若是，则将桶高度作为可使用令牌数，并执行取令牌操作；若是，则直接执行取令牌操作；
将所述当前请求离开令牌桶的时间以及所述当前请求离开令牌桶时桶内剩余的令牌数保存于所述限流配置表。
可选地，所述第二计算模块302根据当前请求接入令牌桶的时间与上一次请求离开令牌桶的时间的时间差值，以及令牌的添加速率，确定所述当前请求接入令牌桶与上一次请求离开令牌桶的时间段内添加的令牌数；根据所述时间段内添加的令牌数和上一次请求离开令牌桶时桶内剩余的令牌数，确定令牌桶内的可使用令牌数。
根据上面所述的各种实施例，可以看出本发明通过采用动态计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表，然后根据当前请求对应的所需令牌数和可预消费令牌数以及桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作的技术手段，从而解决了无法兼顾系统稳定性和服务高可用的问题。也就是说，现有技术依据个人经验评估的方式设定请求所需令牌数，缺少高效且实用的算法，导致无法在保证系统稳定性和服务高可用之间找到平衡点。而本发明是基于请求类型和优先级，动态计算请求对应的所需令牌数和可预消费令牌数，从而确定执行取令牌操作或者执行熔断操作，因此本发明能够在高并发环境下在更精准地实现流量控制的同时，更大程度地保证系统服务质量，在保证系统稳定性和服务高可用之间找到最佳平衡。
需要说明的是，在本发明所述基于令牌桶的限流装置的具体实施内容，在上面所述基于令牌桶的限流方法中已经详细说明了，故在此重复内容不再说明。
图4示出了可以应用本发明实施例的基于令牌桶的限流方法或基于令牌桶的限流装置的示例性系统架构400。
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息——仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的基于令牌桶的限流方法一般在公共场所的终端设备401、402、403上执行，也可以由服务器405执行，相应地，所述基于令牌桶的限流装置一般设置在公共场所的终端设备401、402、403上，也可以设置在服务器405中。
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一计算模块、第二计算模块和限流模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；计算令牌桶内的可使用令牌数；基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作。
根据本发明实施例的技术方案，因为采用动态计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表，然后根据当前请求对应的所需令牌数和可预消费令牌数以及桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作的技术手段，所以克服了无法兼顾系统稳定性和服务高可用的技术问题。本发明基于请求类型和优先级，动态计算请求对应的所需令牌数和可预消费令牌数，从而确定执行取令牌操作或者执行熔断操作，因此本发明能够在高并发环境下在更精准地实现流量控制的同时，更大程度地保证系统服务质量，在保证系统稳定性和服务高可用之间找到最佳平衡。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (18)
1.一种基于令牌桶的限流方法，其特征在于，包括：
计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；
计算令牌桶内的可使用令牌数；
基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作；
所述不同请求类型对应的所需令牌数通过以下公式计算得到：
need_permits(i)＝S(i)*V(i)*U(i)
其中，S(i)表示i类型的请求的平均耗时比率，V(i)表示i类型的请求对应的每秒添加令牌数，U(i)表示i类型的请求对应的调节因子，need_permits(i)表示i类型的请求对应的所需令牌数；
所述不同请求类型对应的可预消费令牌数通过以下公式计算得到：
Pre_count(i)＝need_permits(i)*G(i)
其中，Pre_count(i)表示i类型的请求对应的可预消费令牌数，G(i)表示i类型的请求对应的优先级系数。
2.根据权利要求1所述的方法，其特征在于，所述基于所述限流配置，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定是否执行取令牌操作，包括：
在限流配置表中查找接入所述令牌桶的当前请求对应的类型和优先级，以从所述限流配置表中读取所述当前请求对应的所需令牌数和可预消费令牌数；
根据所述当前请求对应的所需令牌数和可预消费令牌数，以及所述令牌桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作。
3.根据权利要求1所述的方法，其特征在于，所述基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定是否执行取令牌操作，包括：
判断令牌桶内的可使用令牌数是否大于零；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作。
4.根据权利要求3所述的方法，其特征在于，所述基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；
若是，则执行取令牌操作；
若否，则继续判断当前请求是否存在优先级；若存在优先级，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；若不存在优先级，则执行熔断操作。
5.根据权利要求3所述的方法，其特征在于，所述从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断当前请求是否存在优先级；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并继续判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；若是，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则执行熔断操作。
6.根据权利要求4或5所述的方法，其特征在于，所述从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，判断所需令牌数与可使用令牌数的差值是否大于可预消费令牌数，若是，则执行熔断操作，若否，则执行取令牌操作。
7.根据权利要求1所述的方法，其特征在于，所述执行取令牌操作，包括：
判断令牌桶内的可使用令牌数是否大于桶高度；若是，则将桶高度作为可使用令牌数，并执行取令牌操作；若是，则直接执行取令牌操作；
将所述当前请求离开令牌桶的时间以及所述当前请求离开令牌桶时桶内剩余的令牌数保存于所述限流配置表。
8.根据权利要求1所述的方法，其特征在于，计算令牌桶内的可使用令牌数，包括：
根据当前请求接入令牌桶的时间与上一次请求离开令牌桶的时间的时间差值，以及令牌的添加速率，确定所述当前请求接入令牌桶与上一次请求离开令牌桶的时间段内添加的令牌数；
根据所述时间段内添加的令牌数和上一次请求离开令牌桶时桶内剩余的令牌数，确定令牌桶内的可使用令牌数。
9.一种基于令牌桶的限流装置，其特征在于，包括：
第一计算模块，用于计算不同请求类型对应的所需令牌数和可预消费令牌数，并将其写入限流配置表；
第二计算模块，用于计算令牌桶内的可使用令牌数；
限流模块，用于基于所述限流配置表，确定接入所述令牌桶的当前请求对应的所需令牌数和可预消费令牌数，从而根据所述所需令牌数和可预消费令牌数以及所述可使用令牌数，确定执行取令牌操作或者执行熔断操作；
所述不同请求类型对应的所需令牌数通过以下公式计算得到：
need_permits(i)＝S(i)*V(i)*U(i)
其中，S(i)表示i类型的请求的平均耗时比率，V(i)表示i类型的请求对应的每秒添加令牌数，U(i)表示i类型的请求对应的调节因子，need_permits(i)表示i类型的请求对应的所需令牌数；
所述不同请求类型对应的可预消费令牌数通过以下公式计算得到：
Pre_count(i)＝need_permits(i)*G(i)
其中，Pre_count(i)表示i类型的请求对应的可预消费令牌数，G(i)表示i类型的请求对应的优先级系数。
10.根据权利要求9所述的装置，其特征在于，所述限流模块用于：
在限流配置表中查找接入所述令牌桶的当前请求对应的类型和优先级，以从所述限流配置表中读取所述当前请求对应的所需令牌数和可预消费令牌数；
根据所述当前请求对应的所需令牌数和可预消费令牌数，以及所述令牌桶内的可使用令牌数，确定执行取令牌操作或者执行熔断操作。
11.根据权利要求9所述的装置，其特征在于，所述限流模块用于：
判断令牌桶内的可使用令牌数是否大于零；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作。
12.根据权利要求11所述的装置，其特征在于，所述基于令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；
若是，则执行取令牌操作；
若否，则继续判断当前请求是否存在优先级；若存在优先级，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；若不存在优先级，则执行熔断操作。
13.根据权利要求11所述的装置，其特征在于，所述从限流配置表中读取当前请求对应的所需令牌数、当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
判断当前请求是否存在优先级；
若是，则从限流配置表中读取当前请求对应的所需令牌数，并继续判断令牌桶内的可使用令牌数是否大于当前请求对应的所需令牌数；若是，则从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作；
若否，则执行熔断操作。
14.根据权利要求12或13所述的装置，其特征在于，所述从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，并基于令牌桶内的可使用令牌数以及当前请求对应的所需令牌数、可预消费令牌数，确定执行取令牌操作或者执行熔断操作，包括：
从限流配置表中读取当前请求对应的优先级下的可预消费令牌数，判断所需令牌数与可使用令牌数的差值是否大于可预消费令牌数，若是，则执行熔断操作，若否，则执行取令牌操作。
15.根据权利要求9所述的装置，其特征在于，所述执行取令牌操作，包括：
判断令牌桶内的可使用令牌数是否大于桶高度；若是，则将桶高度作为可使用令牌数，并执行取令牌操作；若是，则直接执行取令牌操作；
将所述当前请求离开令牌桶的时间以及所述当前请求离开令牌桶时桶内剩余的令牌数保存于所述限流配置表。
16.根据权利要求9所述的装置，其特征在于，所述第二计算模块用于：
根据当前请求接入令牌桶的时间与上一次请求离开令牌桶的时间的时间差值，以及令牌的添加速率，确定所述当前请求接入令牌桶与上一次请求离开令牌桶的时间段内添加的令牌数；
根据所述时间段内添加的令牌数和上一次请求离开令牌桶时桶内剩余的令牌数，确定令牌桶内的可使用令牌数。
17.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810533488.2A CN110545246B (zh) | 2018-05-29 | 2018-05-29 | 一种基于令牌桶的限流方法、装置和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810533488.2A CN110545246B (zh) | 2018-05-29 | 2018-05-29 | 一种基于令牌桶的限流方法、装置和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110545246A CN110545246A (zh) | 2019-12-06 |
| CN110545246B true CN110545246B (zh) | 2023-12-08 |
Family
ID=68701036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810533488.2A Active CN110545246B (zh) | 2018-05-29 | 2018-05-29 | 一种基于令牌桶的限流方法、装置和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110545246B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110995611A (zh) * | 2019-12-20 | 2020-04-10 | 创盛视联数码科技（北京）有限公司 | 一种用于针对高并发请求分布式限流方法 |
| CN111158878B (zh) * | 2019-12-30 | 2023-08-29 | 北京三快在线科技有限公司 | 资源转移请求线程控制方法、装置及存储介质 |
| CN111314238B (zh) * | 2020-02-03 | 2023-12-05 | 网银在线（北京）科技有限公司 | 令牌的管理方法和装置、存储介质、电子装置 |
| CN111431816B (zh) * | 2020-06-15 | 2020-11-10 | 广东睿江云计算股份有限公司 | 一种分布式流量限速方法及系统 |
| CN114095444B (zh) * | 2020-07-15 | 2023-11-10 | 中移物联网有限公司 | 限流方法、装置及电子设备 |
| CN113742114A (zh) * | 2020-09-28 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种系统限流的方法和装置 |
| CN113765820A (zh) * | 2020-10-30 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 基于令牌桶的限流方法、装置、计算设备及介质 |
| CN112333111A (zh) * | 2020-11-05 | 2021-02-05 | 广东科徕尼智能科技有限公司 | 一种系统动态限流方法、设备、存储介质 |
| CN112286693B (zh) * | 2020-11-24 | 2022-03-29 | 上海浦东发展银行股份有限公司 | 一种高并发场景下抢购活动的精细化限流处理方法、装置 |
| CN112953840A (zh) * | 2021-01-27 | 2021-06-11 | 上海金仕达成括信息科技有限公司 | 一种限流控制方法、网关设备及限流控制系统 |
| CN113760365A (zh) * | 2021-01-28 | 2021-12-07 | 北京京东拓先科技有限公司 | 取令牌操作执行方法、装置、电子设备和计算机可读介质 |
| CN113315825A (zh) * | 2021-05-24 | 2021-08-27 | 康键信息技术（深圳）有限公司 | 分布式请求的处理方法、装置、设备及存储介质 |
| CN114374652B (zh) * | 2022-01-11 | 2024-01-16 | 同方有云(北京)科技有限公司 | 热磁存储和蓝光存储之间的数据传输限速方法及装置 |
| CN114500381A (zh) * | 2022-01-20 | 2022-05-13 | 北京奇艺世纪科技有限公司 | 网络带宽限制方法、系统、电子设备及可读存储介质 |
| CN114615203A (zh) * | 2022-01-30 | 2022-06-10 | 阿里云计算有限公司 | 访问控制方法、装置、存储介质及处理器 |
| CN114584519B (zh) * | 2022-05-05 | 2022-09-16 | 飞狐信息技术（天津）有限公司 | 一种消息中间件的限流方法及消息中间件 |
| CN114915593B (zh) * | 2022-06-10 | 2023-05-09 | 北京世纪好未来教育科技有限公司 | 基于Redis的流量控制方法、装置、电子设备及存储介质 |
| CN115378879A (zh) * | 2022-08-22 | 2022-11-22 | Oppo广东移动通信有限公司 | 数据控制方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101741603A (zh) * | 2008-11-11 | 2010-06-16 | 中兴通讯股份有限公司 | 一种基于令牌桶的流量监管方法及设备 |
| CN101997766A (zh) * | 2009-08-31 | 2011-03-30 | 中兴通讯股份有限公司 | 一种基于优先级的令牌桶限速的方法及系统 |
| WO2012109911A1 (zh) * | 2011-02-15 | 2012-08-23 | 中兴通讯股份有限公司 | 网络流量监管方法及装置 |
| CN107493241A (zh) * | 2016-06-13 | 2017-12-19 | 中兴通讯股份有限公司 | 一种令牌分配方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9374300B2 (en) * | 2013-09-12 | 2016-06-21 | Oracle International Corporation | Methods, systems, and computer readable media for regulation of multi-priority traffic in a telecommunications network |
-
2018
- 2018-05-29 CN CN201810533488.2A patent/CN110545246B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101741603A (zh) * | 2008-11-11 | 2010-06-16 | 中兴通讯股份有限公司 | 一种基于令牌桶的流量监管方法及设备 |
| CN101997766A (zh) * | 2009-08-31 | 2011-03-30 | 中兴通讯股份有限公司 | 一种基于优先级的令牌桶限速的方法及系统 |
| WO2012109911A1 (zh) * | 2011-02-15 | 2012-08-23 | 中兴通讯股份有限公司 | 网络流量监管方法及装置 |
| CN107493241A (zh) * | 2016-06-13 | 2017-12-19 | 中兴通讯股份有限公司 | 一种令牌分配方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110545246A (zh) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110545246B (zh) | 一种基于令牌桶的限流方法、装置和计算机可读介质 | |
| CN109684358B (zh) | 数据查询的方法和装置 | |
| US11334929B2 (en) | Managing resource requests that exceed reserved resource capacity | |
| JP2018088293A (ja) | 単一テナント及び複数テナント環境を提供するデータベースシステム | |
| CN113381944B (zh) | 系统限流方法、装置、电子设备、介质和程序产品 | |
| CN111786895A (zh) | 动态全局限流的方法和装置 | |
| US11030169B1 (en) | Data re-sharding | |
| US10972555B2 (en) | Function based dynamic traffic management for network services | |
| JP2012118987A (ja) | メモリ使用量照会ガバナのためのコンピュータ実装方法、コンピュータ・プログラム、およびシステム（メモリ使用量照会ガバナ） | |
| WO2015149644A1 (en) | Intelligent file pre-fetch based on access patterns | |
| CN112445857A (zh) | 一种基于数据库的资源配额管理方法和装置 | |
| US20180352020A1 (en) | Perfect application capacity analysis for elastic capacity management of cloud-based applications | |
| CN112600761A (zh) | 一种资源分配的方法、装置及存储介质 | |
| US9710302B2 (en) | Dynamic timeout period adjustment of service requests | |
| CN114339135A (zh) | 一种负载均衡方法、装置、电子设备和存储介质 | |
| CN112631504A (zh) | 利用堆外内存实现本地缓存的方法和装置 | |
| CN112685481B (zh) | 一种数据处理方法和装置 | |
| CN113254191A (zh) | 用于运行应用的方法、电子设备和计算机程序产品 | |
| US11025712B1 (en) | Load balancer employing slow start, weighted round robin target selection | |
| US10887381B1 (en) | Management of allocated computing resources in networked environment | |
| US11233847B1 (en) | Management of allocated computing resources in networked environment | |
| US20210044497A1 (en) | Hybrid approach for rate limiting in distributed systems | |
| CN109213815B (zh) | 控制执行次数的方法、装置、服务器终端以及可读介质 | |
| US10956037B2 (en) | Provisioning storage allocation using prioritized storage system capabilities | |
| CN111698273B (zh) | 处理请求的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |