CN115277577B - 数据处理方法、装置、计算机设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、计算机设备和计算机可读存储介质，通过获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值；以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带令牌的访问请求被服务器响应；根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，得到每个合作机构发起访问请求的请求发起速率；若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整，减缓通信堵塞。

Description

数据处理方法、装置、计算机设备和计算机可读存储介质

技术领域

本申请涉及通信技术领域，具体涉及一种数据处理方法、装置、计算机设备和计算机可读存储介质。

背景技术

随着社会发展的需要，银行或者企业的一些业务需要与其他机构协作完成，合作机构会从银行或者企业的服务器发起访问请求以获取数据或者返回处理结果等，为了防止合作机构在短时间内发起大量请求，导致银行或者企业系统运行慢或宕机，通常通过进行限流处理，限流是对某一时间窗口内的请求数进行限制，保证系统的可用性和稳定性，防止因流量暴增（短时间内发起大量请求）而导致的系统运行慢或宕机，然而，当有一个合作机构流量暴增时，会导致其他合作机构的访问请求无法被处理，导致通信堵塞，请求处理效率低。

发明内容

本申请实施例提供一种数据处理方法、装置、计算机设备和计算机可读存储介质，可以减缓通信堵塞，提高请求处理效率。

本申请实施例提供的一种数据处理方法，包括：

获取多个令牌桶分别对应的限流配置参数，所述限流配置参数包含所述令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶对应至少一个合作机构；

以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，所述令牌桶中的令牌数量小于等于所述令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带所述令牌的访问请求被服务器响应；

根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个所述合作机构发起访问请求的请求发起速率；

若存在合作机构的请求发起速率满足预设容量调整条件，则对与所述合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制所述令牌桶的令牌数量。

相应的，本申请实施例还提供的一种数据处理装置，包括：

获取单元，用于获取多个令牌桶分别对应的限流配置参数，所述限流配置参数包含所述令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶对应至少一个合作机构；

生成单元，用于以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，所述令牌桶中的令牌数量小于等于所述令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带所述令牌的访问请求被服务器响应；

接收单元，用于根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个所述合作机构发起访问请求的请求发起速率；

调整单元，用于若存在合作机构的请求发起速率满足预设容量调整条件，则对与所述合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制所述令牌桶的令牌数量。

在一实施例中，所述调整单元，包括：

计算子单元，用于若所述请求发起速率与所述令牌生成速率的差值满足预设阈值，则基于所述容量调整因子和所述令牌数量阈值计算调整后令牌数量阈值；

更新子单元，用于基于所述调整后令牌数量阈值对所述令牌数量阈值进行更新，以对所述合作机构对应的令牌桶的限流配置参数进行调整。

在一实施例中，所述计算子单元，包括：

第一阈值计算模块，用于若所述请求发起速率与所述令牌生成速率的差值大于等于第一预设阈值，则基于所述扩容因子和所述令牌数量阈值计算调整后令牌数量阈值；

第二阈值计算模块，用于若所述请求发起速率与所述令牌生成速率的差值小于等于第二预设阈值，则基于所述缩容因子和所述令牌数量阈值计算调整后令牌数量阈值。

在一实施例中，所述限流配置参数包括容量阈值，所述更新子单元，包括：

第一阈值更新模块，用于若所述调整后令牌数量阈值满足所述容量阈值，则基于所述容量阈值对所述令牌数量阈值进行更新；

第二阈值更新模块，用于若所述调整后令牌数量阈值不满足所述容量阈值，则基于所述调整后令牌数量阈值对所述令牌数量阈值进行更新。

在一实施例中，所述调整单元，包括：

占比计算子单元，用于若所述请求发起速率大于所述令牌生成速率，则根据所述令牌桶中剩余的令牌数量和所述令牌数量阈值计算所述令牌桶的令牌占比；

参数调整子单元，用于若所述令牌占比小于预设比值，则增大所述限流配置参数中的令牌生成速率和令牌数量阈值，以对所述合作机构对应的令牌桶的限流配置参数进行调整。

在一实施例中，所述数据处理装置还包括：

参数获取单元，用于获取所述熔断器的熔断配置参数，所述熔断配置参数包括预设失败率阈值；

状态获取单元，用于获取所述服务器响应携带所述令牌的访问请求返回的处理状态，所述处理状态包括处理成功状态和处理失败状态；

统计单元，用于对所述处理状态中的处理失败状态进行概率统计，以得到所述合作机构发起的访问请求的访问失败率；

启动单元，用于若所述访问失败率满足预设失败率阈值，则启动所述熔断器的熔断服务，以通过所述熔断器响应携带所述令牌的访问请求，并生成失败状态。

在一实施例中，所述熔断配置参数包括探测流量值，所述数据处理装置还包括：

请求获取单元，用于获取与所述探测流量值匹配的携带所述令牌的访问请求；

探测单元，用于基于携带所述令牌的访问请求通过所述熔断器进行报文探测，得到探测结果；

关闭单元，用于若探测结果满足熔断关闭条件，则关闭所述熔断器的熔断服务，以便通过所述熔断器获取携带所述令牌的访问请求。

相应的，本申请实施例还提供的一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例提供的任一种数据处理方法。

相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本申请实施例提供的任一种数据处理方法。

本申请实施例通过获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶对应至少一个合作机构；以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带令牌的访问请求被服务器响应；根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个合作机构发起访问请求的请求发起速率；若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制令牌桶的令牌数量。

本申请实施例对不同的合作机构设置对应的限流配置参数，并根据限流配置参数，以不同的令牌生成速率在合作机构对应的令牌桶中生成令牌，且根据合作机构的请求发起速率对限流配置参数进行调整，以匹配不同流量的合作机构的需求，减缓通信堵塞，提高请求处理效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的数据处理方法的流程图；

图2是本申请实施例提供的数据处理装置示意图；

图3是本申请实施例提供的终端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种数据处理方法、装置、计算机设备和计算机可读存储介质。该数据处理装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。

其中，该终端可以包括手机、穿戴式智能设备、平板电脑、笔记本电脑、个人计算（PC，Personal Computer）、以及车载计算机等。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从数据处理装置的角度进行描述，该数据处理装置具体可以集成在计算机设备中，该计算机设备可以是服务器。

本申请实施例提供的一种数据处理方法，如图1所示，该数据处理方法的具体流程可以如下：

101、获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶中的令牌用于赋予对应的至少一个合作机构。

其中，限流配置参数可以包括预先设置的参数，例如，可以预先在计算机程序中设置限流配置参数，可选的，还可以通过客户端提供限流参数配置页面，用户通过限流参数配置页面可以设置限流配置参数。限流配置参数中的令牌数量阈值表示令牌桶中包含的令牌的最大数量。限流配置参数中的令牌生成速率决定令牌桶中令牌产生的速度，服务器基于令牌生成速率在令牌桶中产生令牌。

其中，合作机构可以是具有合作关系的机构，机构可以是公司、企业、团队或者组织等。例如，公司A与机构a、机构b和机构c合作某个业务，那么，机构a、机构b和机构c是公司A的合作机构，为了区分，公司A称为业务方。

可以理解的是合作机构与业务方之间的通信可以通过各自的计算机设备进行通信，例如，合作机构可以通过其终端或者服务器向业务方的服务器发送访问请求，以从业务方的服务器获取数据进行处理，或者向业务方的服务器写入数据等。

可以基于令牌桶算法设置多个令牌桶，每个令牌桶可以对应一个合作机构或者多个合作机构，合作机构发起的访问请求从对应的令牌桶申请到令牌后，能够被业务方的服务器处理，否则，业务方的服务器不处理该访问请求。

业务方的服务器可以是能够对访问请求进行处理的服务器，为了区分，业务方的服务器可以称为业务服务器，执行本申请实施例提供的数据处理方法的服务器称为网关服务器，或者简称服务器。业务服务器和网关可以是不同的服务器，也可以是一个服务器，即在一个服务器中部署了网关服务和处理访问请求的业务服务。

令牌桶对应的合作机构可以预先设置的，例如，可以通过客户端显示令牌桶设置页面，用户可以通过令牌桶设置页面设置每个令牌桶对应的合作机构。可选的，可以预先的计算机程序中设置每个令牌桶对应的合作机构。

可选的，可以根据预设分组策略对多个合作机构进行分组，得到与令牌桶数量匹配的合作机构组，针对每个合作机构组设置对应的令牌桶。例如，每个合作机构发起访问请求的请求发起速率对合作机构进行分组，划分的组数等于令牌桶的数量，每一组对应一个令牌桶。

例如，为了均衡每个令牌桶的负载，可以将访问请求平均地分配至令牌桶，获取每个合作机构在历史时间段发起访问请求的数量，并根据访问请求的数量计算每个合作机构的请求发起速率。

然后，计算所有合作机构的请求发起速率总和，根据请求发起速率总和计算每个令牌桶请求接收速率，例如，请求发起速率总和是200，共有5个令牌桶，那么，每个令牌桶的请求接收速率为200/5=40。

基于每个令牌桶的请求接收速率，对合作机构进行分组，得到多组合作机构，例如，若合作机构发起速率大于请求接收速率，则该合作机构单独作为一组；若合作机构的请求发起速率小于请求接收速率，则计算请求发起速率与请求接收速率之间的差值，基于该差值从其他请求发起速率小于请求接收速率的合作机构中选择目标合作机构，目标合作机构为请求发起速率与该差值最接近的合作机构，目标合作机构也可以是请求发起速率之和与该差值最接近的多个合作机构，将该合作机构和目标合作机构进行组合，得到一组合作机构，对每一组合作机构设置对应的令牌桶。

可选的，可以根据基于请求接收速率计算标准速率，例如，将请求接收速率减去预设速率差值，得到标准速率。将发起速率大于等于标准速率的合作机构分别作为一组，并设置对应的令牌桶；根据未对应的合作机构的令牌桶的数量，和发起速率小于请求接收速率的合作机构的数量，计算未对应的合作机构的令牌桶所需对应的平均机构数量，例如，未对应的合作机构的令牌桶的数量为2，发起速率小于请求接收速率的合作机构的数量为6，平均机构数量为6/2=3，将小于标准速率的发起速率进行排序，并根据平均机构数量将排序后的发起速率划分为对应数量的区间，根据从每个区间获取对应的合作机构组合成一组，并设置对应的令牌桶。

其中，令牌桶算法是用于网络流量整形（Traffic Shaping）和速率限制（RateLimiting）的算法。

令牌桶的容量由限流配置参数中的令牌数量阈值决定，令牌数量阈值表示令牌桶中包含的令牌的最大数量，服务器会源源不断地在令牌桶中生成令牌，如果令牌不被消耗，或者令牌被消耗的速度小于令牌产生的速度，令牌就会不断地增多，直到把桶填满。后面再产生的令牌就会从桶中溢出。令牌产生的速度由限流配置参数中的令牌生成速率决定，服务器基于令牌生成速率在令牌桶中产生令牌。

102、以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予合作机构发起的访问请求权限，使得携带令牌的访问请求被业务服务器响应。

比如，服务器会源源不断地以令牌生成速率在令牌桶中生成令牌，如果令牌不被消耗，或者令牌被消耗的速度小于令牌产生的速度，令牌就会不断地增多，直到令牌数量等于令牌数量阈值，之后生成的令牌就会从桶中溢出。

当接收到访问请求时，根据访问请求中携带的机构标识确定发起该访问请求的合作机构，从与该合作机构对应的令牌桶中申请一个令牌赋予该访问请求，以使得该访问请求能够被业务服务器响应。对应于令牌桶可以设置消息队列，消息队列用于缓存与令牌桶对应的合作机构发起的访问请求。

103、根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个合作机构发起访问请求的请求发起速率。

其中，机构标识可以是服务器识别合作机构的标识，基于机构标识服务器可以识别访问请求对应的合作机构。

其中，预设时间可以预先设置的时间长度，例如，1秒或者1分钟等。

其中，请求发起速率为合作机构在单位时间内通过其终端或者服务器发起的请求数量。

比如，合作机构可以通过其终端或者服务器发起访问请求，在接收到访问请求时，根据访问请求中包含的机构标识确定对应的合作机构，并可以根据机构标识统计每个机构在预设时间内发起的访问请求的请求数量，并根据该请求数量计算每个合作机构发起访问请求的请求发起速率。

104、若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制令牌桶的令牌数量。

其中，预设容量调整条件可以根据需要进行灵活设置，例如，预设容量调整条件可以包括请求发起速率大于第一速率阈值、请求发起速率小于第二速率阈值等。

在一实施例中，预设容量调整条件可以包括请求发起速率大于等于第一速率阈值、或者小于等于第二速率阈值，第一速率阈值和第二速率阈值可以等于令牌生成速率，其中第一速率阈值大于第二速率阈值。

若存在合作机构的请求发起速率大于等于第一速率阈值，则将限流配置参数中的令牌生成速率或者令牌数量阈值增大，使得有更多的访问请求可以从令牌桶中获取到令牌，减缓通信堵塞。

若存在合作机构的请求发起速率小于第一速率阈值，则将限流配置参数中的令牌生成速率或者令牌数量阈值减小，减少在相同时间内令牌数量产生的数量，或者是减少令牌桶的令牌数量能够达到的数量，释放令牌资源。由于业务服务器能够处理能够同时处理请求数量是有限的，该合作机构的令牌桶的令牌数量阈值减少了，业务服务器能够处理的其他合作机构发起的访问请求的数量增加了，能够实现令牌资源动态分配。

可选的，预设容量调整条件可以是请求发起速率与令牌生成速率的差值满足预设阈值，在一实施例中，限流配置参数包括容量调整因子，步骤“若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整”，具体可以包括：

若请求发起速率与令牌生成速率的差值满足预设阈值，则基于容量调整因子和令牌数量阈值计算调整后令牌数量阈值；

基于调整后令牌数量阈值对令牌数量阈值进行更新，以对合作机构对应的令牌桶的限流配置参数进行调整。

其中，预设阈值可以是预先设置的数值，预设阈值可以用于衡量是否对限流配置参数进行调整的标准。

其中，容量调整因子可以是令牌桶的容量调整因子，可以表示令牌桶缩容或者扩容的百分比，可以通过调整令牌数量阈值调整令牌桶的容量，即令牌数量阈值增大或者减少的比例。

比如，预设阈值可以包括第一预设阈值和第二预设阈值，第一预设阈值大于第二预设阈值，预设容量调整条件为请求发起速率与令牌生成速率的差值大于等于第一预设阈值，或者若请求发起速率与令牌生成速率的差值小于等于预设阈值。

当合作机构的请求发起速率与令牌生成速率的差值大于等于第一预设阈值时，将该合作机构的令牌桶的基于容量调整因子增大令牌数量阈值，得到调整后令牌数量阈值，例如，没有调整前令牌桶的令牌数量阈值为x，容量调整因子为a，那么调整后令牌数量阈值y为：y=(1+a)。

当合作机构的请求发起速率与令牌生成速率的差值小于等于第二预设阈值时，将该合作机构的令牌桶的基于容量调整因子减少令牌数量阈值，得到调整后令牌数量阈值，例如，没有调整前令牌桶的令牌数量阈值为x，容量调整因子为a，那么调整后令牌数量阈值y为：y=(1-a)。

可选的，容量调整因子可以包括扩容因子和缩容因子，扩容因子和缩容因子可以不同，当增大令牌数量阈值时，采用扩容因子调整令牌数量阈值，当减少令牌数量阈值时，采用缩容因子调整令牌数量阈值，即容量调整因子包括扩容因子和缩容因子，步骤“若请求发起速率与令牌生成速率的差值满足预设阈值，则基于容量调整因子和令牌数量阈值计算调整后令牌数量阈值”，具体可以包括：

若请求发起速率与令牌生成速率的差值大于等于第一预设阈值，则基于扩容因子和令牌数量阈值计算调整后令牌数量阈值；

若请求发起速率与令牌生成速率的差值小于等于第二预设阈值，则基于缩容因子和令牌数量阈值计算调整后令牌数量阈值。

比如，假设扩容因子为b，缩容因子为c，若请求发起速率与令牌生成速率的差值大于等于第一预设阈值，则基于扩容因子扩大令牌数量阈值，例如，没有调整前令牌桶的令牌数量阈值为x，容量调整因子为b，那么调整后令牌数量阈值y为：y=(1+b)。

若请求发起速率与令牌生成速率的差值小于等于第二预设阈值，则基于缩容因子减小令牌数量阈值，例如，没有调整前令牌桶的令牌数量阈值为x，容量调整因子为c，那么调整后令牌数量阈值y为：y=(1-c)。

基于调整后令牌数量阈值对令牌数量阈值进行更新，以对合作机构对应的令牌桶的限流配置参数进行调整。

对限流配置参数进行调整后，会基于调整后的限流配置参数生成令牌，已控制令牌桶中的令牌数量。

为了避免无限扩容导致在单位时间内向业务服务器发起的访问请求的数量超过业务服务器在单位时间内所能够处理的请求数量的最大值，业务服务器由于过载崩溃，可以在限流配置参数中设置容量阈值，控制令牌桶的扩容范围，即在一实施例中，限流配置参数包括容量阈值，步骤“基于调整后令牌数量阈值对令牌数量阈值进行更新”，具体可以包括：

若调整后令牌数量阈值满足容量阈值，则基于容量阈值对令牌数量阈值进行更新；

若调整后令牌数量阈值不满足容量阈值，则基于调整后令牌数量阈值对令牌数量阈值进行更新。

其中，容量阈值为预先设置的数值，表示令牌桶扩容和缩容的临界值，令牌桶的令牌数量阈值不能超过容量阈值，容量阈值可以包括扩容阈值和缩容阈值，令牌桶中的令牌数量不超出缩容阈值和扩容阈值之间的数值范围。

比如，具体可以是根据容量调整因子得到调整后令牌数量阈值，判断调整后令牌数量阈值是否大于扩容阈值，若是，则基于扩容阈值更新令牌数量阈值，即将扩容阈值作为令牌数量阈值。

为了避免无限缩容导致令牌桶中的令牌数量过少，访问请求无法获取到令牌，业务服务器无法及时处理访问请求，可以在限流配置参数中设置缩容阈值，控制令牌桶的缩容范围，比如，具体可以是根据容量调整因子得到调整后令牌数量阈值，判断调整后令牌数量阈值是否小于缩容阈值，若是，则基于缩容阈值更新令牌数量阈值，即将缩容阈值作为令牌数量阈值；否则，将调整后令牌数量阈值作为令牌数量阈值。

可选的，如果请求发起速率大于令牌生成速率，在经过一段时间后，令牌桶中的令牌会被消耗完，若请求发起速率在短时间内减少，令牌桶中积累的令牌足够，可以不增大令牌生成速率和令牌数量阈值，当令牌桶中记录的令牌不足时，需要增加令牌生成速率和令牌数量阈值，增加使得令牌桶中可以积累更多的令牌以赋予访问请求权限，即步骤“若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整”，具体可以包括：

若请求发起速率大于令牌生成速率，则根据令牌桶中剩余的令牌数量和令牌数量阈值计算令牌桶的令牌占比；

若令牌占比小于预设比值，则增大限流配置参数中的令牌生成速率和令牌数量阈值，以对合作机构对应的令牌桶的限流配置参数进行调整。

其中，预设比值可以是预先设置的数值，用于衡量在请求速率大于令牌生成速率的前提下，令牌桶的令牌占比是否满足调整预设容量调整条件。

比如，若请求发起速率大于令牌生成速率，则计算令牌桶中剩余的令牌数量与令牌数量阈值的比值，得到令牌桶的令牌占比；若令牌占比小于预设比值，则确定令牌桶的令牌将会被完全消耗完，为了防止出现令牌桶中没有令牌可以赋予访问请求，可以增大限流配置参数中的令牌生成速率和令牌数量阈值，使得令牌桶中能够有更多令牌。

为了进一步防止合作机构不断地尝试可能超时和失败的服务，保证业务服务器自身的正常运行，防止雪崩效应。可以设置熔断器，熔断器是实现将访问请求转发给服务器或者阻断访问请求发送至服务器以执行访问请求功能的计算机程序，该计算机程序可以部署在于本申请实施例提供的服务器上，起到对访问请求进行过滤的作用，即在一实施例中，携带令牌的访问请求通过熔断器转发至业务服务器，本申请实施例提供的数据处理方法具体还可以包括：

获取熔断器的熔断配置参数，熔断配置参数包括预设失败率阈值；

获取服务器响应携带令牌的访问请求返回的处理状态，处理状态包括处理成功状态和处理失败状态；

对处理状态中的处理失败状态进行概率统计，以得到合作机构发起的访问请求的访问失败率；

若访问失败率满足预设失败率阈值，则启动熔断器的熔断服务，以通过熔断器响应携带令牌的访问请求，并生成失败状态。

其中，服务器可以是能够处理访问请求的业务服务器，与实现本申请实施例提供的数据处理方法的服务器可以是不同的服务器，也可以是相同的服务器，如果是相同的服务器，业务服务器具体可以是服务器中能够响应携带令牌的访问请求的业务服务。

其中，熔断配置参数可以是预先设置的参数，例如，可以预先在计算机程序中设熔断配置参数，可选的，还可以通过客户端提供熔断参数配置页面，用户通过熔断参数配置页面可以设置熔断配置参数。熔断配置参数中的失败率阈值可以预先设置的参数，用于衡量是否达到启动熔断器的条件。

其中，处理状态表征业务服务器的处理结果，若业务服务器处理超时和失败，则处理状态为失败，否则，处理状态为成功。

其中，访问失败率为业务服务器返回失败状态的概率。

比如，具体可以是访问请求可以通过熔断器转发至业务服务器，或者是服务器相应的业务服务中，以通过该业务服务对访问请求进行处理，并向合作机构返回处理状态，熔断器记录业务服务器返回的处理状态，并统计一段时间内（例如，1min），业务服务器处理该合作机构携带令牌的访问请求中，处理状态为失败状态的概率，到该合作机构发起的访问请求的访问失败率。

若访问失败率满足预设失败率阈值，则启动熔断器的熔断服务，熔断器的熔断服务启动，不将访问请求转发至业务服务器与数据处理对应的服务，熔断器直接响应携带令牌的访问请求，并向合作机构返回失败状态。

可选的，熔断配置参数还可以包括探测流量值，探测流量值用于确定在熔断器的熔断服务半开启模式时，向业务服务器转发的访问请求的数量，检测业务服务器能够正常处理访问请求，即熔断配置参数包括探测流量值，步骤“若访问失败率满足预设失败率阈值，则启动熔断器的熔断服务”之后，本申请实施例提供的数据处理方法还包括：

获取与探测流量值匹配的携带令牌的访问请求；

基于携带令牌的访问请求通过熔断器进行报文探测，得到探测结果；

若探测结果满足熔断关闭条件，则关闭熔断器的熔断服务，以便通过熔断器获取携带令牌的访问请求。

在熔断器启动一段时间后，熔断器进入半开启状态，向业务服务器转发与探测流量值匹配的携带令牌的访问请求以进行报文探测，并统计业务服务器针对该访问请求返回的处理状态，将其中成功状态的概率作为探测结果，若该概率满足条件，例如，大于预设熔断关闭成功率，则关闭熔断器的熔断服务，否则，熔断器仍保持开启状态。

由上可知，本申请实施例服务器通过获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶对应至少一个合作机构；以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带令牌的访问请求被服务器响应；根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个合作机构发起访问请求的请求发起速率；若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制令牌桶的令牌数量。

本申请实施例对不同的合作机构设置对应的限流配置参数，并根据限流配置参数，以不同的令牌生成速率在合作机构对应的令牌桶中生成令牌，且根据合作机构的请求发起速率对限流配置参数进行调整，以匹配不同流量的合作机构的需求，减缓通信堵塞，提高请求处理效率。

为了便于更好地实施本申请实施例提供的数据处理方法，在一实施例中还提供了一种数据处理装置。其中名词的含义与上述数据处理方法中相同，具体实现细节可以参考方法实施例中的说明。

该数据处理装置具体可以集成在计算机设备中，如图2所示，该数据处理装置可以包括：获取单元301、生成单元302、接收单元303和调整单元304，具体如下：

本申请实施例对不同的合作机构设置对应的限流配置参数，并根据限流配置参数，以不同的令牌生成速率在合作机构对应的令牌桶中生成令牌，且根据合作机构的请求发起速率对限流配置参数进行调整，以匹配不同流量的合作机构的需求，减缓通信堵塞，提高请求处理效率。

（1）获取单元301：用于获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶中的令牌用于赋予对应的至少一个合作机构。

（2）生成单元302：用于以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带令牌的访问请求被服务器响应。

（3）接收单元303：用于根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个合作机构发起访问请求的请求发起速率。

（4）调整单元304：用于若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制令牌桶的令牌数量。

在一实施例中，调整单元304包括计算子单元和更新子单元，具体地：

计算子单元：用于若请求发起速率与令牌生成速率的差值满足预设阈值，则基于容量调整因子和令牌数量阈值计算调整后令牌数量阈值；

更新子单元：用于基于调整后令牌数量阈值对令牌数量阈值进行更新，以对合作机构对应的令牌桶的限流配置参数进行调整。

在一实施例中，计算子单元包括第一阈值计算模块和第二阈值计算模块，具体地：

第一阈值计算模块：用于若请求发起速率与令牌生成速率的差值大于等于第一预设阈值，则基于扩容因子和令牌数量阈值计算调整后令牌数量阈值；

第二阈值计算模块：用于若请求发起速率与令牌生成速率的差值小于等于第二预设阈值，则基于缩容因子和令牌数量阈值计算调整后令牌数量阈值。

在一实施例中，限流配置参数包括容量阈值，更新子单元包括第一阈值更新模块和第二阈值更新模块，具体地：

第一阈值更新模块：用于若调整后令牌数量阈值满足容量阈值，则基于容量阈值对令牌数量阈值进行更新；

第二阈值更新模块：用于若调整后令牌数量阈值不满足容量阈值，则基于调整后令牌数量阈值对令牌数量阈值进行更新。

在一实施例中，调整单元304包括占比计算子单元和参数调整子单元，具体地：

占比计算子单元：用于若请求发起速率大于令牌生成速率，则根据令牌桶中剩余的令牌数量和令牌数量阈值计算令牌桶的令牌占比；

参数调整子单元：用于若令牌占比小于预设比值，则增大限流配置参数中的令牌生成速率和令牌数量阈值，以对合作机构对应的令牌桶的限流配置参数进行调整。

在一实施例中，数据处理装置还可以包括参数获取单元、状态获取单元、统计单元和启动单元，具体地：

参数获取单元：用于获取熔断器的熔断配置参数，熔断配置参数包括预设失败率阈值；

状态获取单元：用于获取服务器响应携带令牌的访问请求返回的处理状态，处理状态包括处理成功状态和处理失败状态；

统计单元：用于对处理状态中的处理失败状态进行概率统计，以得到合作机构发起的访问请求的访问失败率；

启动单元：用于若访问失败率满足预设失败率阈值，则启动熔断器的熔断服务，以通过熔断器响应携带令牌的访问请求，并生成失败状态。

在一实施例中，熔断配置参数包括探测流量值，数据处理装置还可以包括请求获取单元、探测单元和关闭单元，具体地：

请求获取单元：用于获取与探测流量值匹配的携带令牌的访问请求；

探测单元：用于基于携带令牌的访问请求通过熔断器进行报文探测，得到探测结果；

关闭单元：用于若探测结果满足熔断关闭条件，则关闭熔断器的熔断服务，以便通过熔断器获取携带令牌的访问请求。

由上可知，本申请实施例数据处理装置通过获取单元301获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶对应至少一个合作机构；由生成单元302以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带令牌的访问请求被服务器响应；通过接收单元303根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个合作机构发起访问请求的请求发起速率；若存在合作机构的请求发起速率满足预设容量调整条件，则通过调整单元304对与合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制令牌桶的令牌数量。

本申请实施例还提供一种计算机设备，该计算机设备可以是终端，也可以是服务器，如图3所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图3中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器1001是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。

存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。

计算机设备还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器1001会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的计算机程序，从而实现各种功能，如下：

获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶对应至少一个合作机构；

以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带令牌的访问请求被服务器响应；

根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个合作机构发起访问请求的请求发起速率；

若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制令牌桶的令牌数量。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由上可知，本申请实施例的计算机设备可以通过获取多个令牌桶分别对应的限流配置参数，限流配置参数包含令牌桶的令牌生成速率和令牌数量阈值，每个令牌桶对应至少一个合作机构；以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，令牌桶中的令牌数量小于等于令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带令牌的访问请求被服务器响应；根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个合作机构发起访问请求的请求发起速率；若存在合作机构的请求发起速率满足预设容量调整条件，则对与合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制令牌桶的令牌数量。

本申请实施例对不同的合作机构设置对应的限流配置参数，并根据限流配置参数，以不同的令牌生成速率在合作机构对应的令牌桶中生成令牌，且根据合作机构的请求发起速率对限流配置参数进行调整，以匹配不同流量的合作机构的需求，减缓通信堵塞，提高请求处理效率。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序，能够被处理器进行加载，以执行本申请实施例所提供的任一种数据处理方法。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种数据处理方法，因此，可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种数据处理方法、装置、计算机设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取通过客户端提供的限流参数配置页面设置的多个令牌桶分别对应的限流配置参数，所述限流配置参数包含所述令牌桶的令牌生成速率和令牌数量阈值；

获取每个合作机构在历史时间段发起访问请求的数量，根据发起访问请求的数量计算每个合作机构的请求发起速率，并基于所述请求发起速率计算得到请求发起速率总和；

根据所述请求发起速率总和与所述令牌桶的数量进行平均计算，得到每个令牌桶的请求接收速率；

若所述合作机构的请求发起速率大于等于所述请求接收速率，则将所述合作机构作为一组合作机构组；

若所述合作机构请求的请求发起速率小于所述请求接收速率，则计算所述请求发起速率与请求接收速率之间的差值；

基于所述差值查询目标合作机构，并将该合作机构和所述目标合作机构作为一组合作机构组，所述目标合作机构为请求发起速率与所述差值最接近的合作机构；

针对每个合作机构组设置对应的令牌桶，得到每个令牌桶对应的至少一个合作机构；

以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，所述令牌桶中的令牌数量小于等于所述令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带所述令牌的访问请求被服务器响应；

根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个所述合作机构发起访问请求的请求发起速率；

若存在合作机构的请求发起速率满足预设容量调整条件，则对与所述合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制所述令牌桶的令牌数量。

2.根据权利要求1所述的方法，其特征在于，所述限流配置参数包括容量调整因子，所述若存在合作机构的所述请求发起速率满足预设容量调整条件，则对与所述令牌桶对应的合作机构对应的令牌桶的限流配置参数进行调整，包括：

若所述请求发起速率与所述令牌生成速率的差值满足预设阈值，则基于所述容量调整因子和所述令牌数量阈值计算调整后令牌数量阈值；基于所述调整后令牌数量阈值对所述令牌数量阈值进行更新，以对所述合作机构对应的令牌桶的限流配置参数进行调整。

3.根据权利要求2所述的方法，其特征在于，所述容量调整因子包括扩容因子和缩容因子，所述预设阈值包括第一预设阈值和第二预设阈值，所述若所述请求发起速率与所述令牌生成速率的差值满足预设阈值，则基于所述容量调整因子和所述令牌数量阈值计算调整后令牌数量阈值，包括：

若所述请求发起速率与所述令牌生成速率的差值大于等于第一预设阈值，则基于所述扩容因子和所述令牌数量阈值计算调整后令牌数量阈值；

若所述请求发起速率与所述令牌生成速率的差值小于等于第二预设阈值，则基于所述缩容因子和所述令牌数量阈值计算调整后令牌数量阈值。

4.根据权利要求2所述的方法，其特征在于，所述限流配置参数包括容量阈值，所述基于所述调整后令牌数量阈值对所述令牌数量阈值进行更新，包括：

若所述调整后令牌数量阈值满足所述容量阈值，则基于所述容量阈值对所述令牌数量阈值进行更新；

若所述调整后令牌数量阈值不满足所述容量阈值，则基于所述调整后令牌数量阈值对所述令牌数量阈值进行更新。

5.根据权利要求1所述的方法，其特征在于，所述若存在合作机构的所述请求发起速率满足预设容量调整条件，则对与所述令牌桶对应的合作机构对应的令牌桶的限流配置参数进行调整，包括：

若所述请求发起速率大于所述令牌生成速率，则根据所述令牌桶中剩余的令牌数量和所述令牌数量阈值计算所述令牌桶的令牌占比；

若所述令牌占比小于预设比值，则增大所述限流配置参数中的令牌生成速率和令牌数量阈值，以对所述合作机构对应的令牌桶的限流配置参数进行调整。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述携带所述令牌的访问请求通过熔断器转发至所述服务器，所述方法还包括：获取所述熔断器的熔断配置参数，所述熔断配置参数包括预设失败率阈值；

获取所述服务器响应携带所述令牌的访问请求返回的处理状态，所述处理状态包括处理成功状态和处理失败状态；

对所述处理状态中的处理失败状态进行概率统计，以得到所述合作机构发起的访问请求的访问失败率；

若所述访问失败率满足预设失败率阈值，则启动所述熔断器的熔断服务，以通过所述熔断器响应携带所述令牌的访问请求，并生成失败状态。

7.根据权利要求6所述的方法，其特征在于，所述若所述访问失败率满足预设失败率阈值，则启动所述熔断器的熔断服务，熔断配置参数包括探测流量值，所述通过所述熔断器响应携带所述令牌的访问请求，并返回失败状态之后，所述方法还包括：

获取与所述探测流量值匹配的携带所述令牌的访问请求；

基于携带所述令牌的访问请求通过所述熔断器进行报文探测，得到探测结果；

若探测结果满足熔断关闭条件，则关闭所述熔断器的熔断服务，以便通过所述熔断器获取转发携带所述令牌的访问请求。

8.一种数据处理装置，其特征在于，包括：

获取单元，用于：

获取通过客户端提供的限流参数配置页面设置的多个令牌桶分别对应的限流配置参数，所述限流配置参数包含所述令牌桶的令牌生成速率和令牌数量阈值；

获取每个合作机构在历史时间段发起访问请求的数量，根据发起访问请求的数量计算每个合作机构的请求发起速率，并基于所述请求发起速率计算得到请求发起速率总和；

根据所述请求发起速率总和与所述令牌桶的数量进行平均计算，得到每个令牌桶的请求接收速率；

若所述合作机构的请求发起速率大于等于所述请求接收速率，则将所述合作机构作为一组合作机构组；

若所述合作机构请求的请求发起速率小于所述请求接收速率，则计算所述请求发起速率与请求接收速率之间的差值；

基于所述差值查询目标合作机构，并将该合作机构和所述目标合作机构作为一组合作机构组，所述目标合作机构为请求发起速率与所述差值最接近的合作机构；

针对每个合作机构组设置对应的令牌桶，得到每个令牌桶对应的至少一个合作机构；

生成单元，用于以每个令牌桶的令牌生成速率在各个令牌桶中生成令牌，所述令牌桶中的令牌数量小于等于所述令牌数量阈值，每个令牌桶中的令牌用于赋予对应的合作机构发起的访问请求权限，使得携带所述令牌的访问请求被服务器响应；

接收单元，用于根据接收到的访问请求携带的机构标识，统计每个合作机构在预设时间内发起访问请求的请求数量，以得到每个所述合作机构发起访问请求的请求发起速率；

调整单元，用于若存在合作机构的请求发起速率满足预设容量调整条件，则对与所述合作机构对应的令牌桶的限流配置参数进行调整，以通过调整后的限流配置参数控制所述令牌桶的令牌数量。

9.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至7任一项所述的数据处理方法。

Images