CN114679412A - 一种流量向业务节点的转发方法、装置、设备及介质 - Google Patents

Abstract

本说明书实施例公开了一种流量向业务节点的转发方法、装置、设备及介质，应用于流量转发系统，所述系统包括转发节点与监控节点，包括：在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

Description

一种流量向业务节点的转发方法、装置、设备及介质

技术领域

本说明书涉及计算机技术领域，尤其涉及一种流量向业务节点的转发方法、装置、设备及介质。

背景技术

随着互联网业务的不断发展，用户对于系统服务可用性的要求越来越高，因而系统服务必须要具有应对短时间内有大量请求涌入的能力，期间需要将流量向业务节点转发。

现有技术中，在系统服务众多且业务复杂的情况下，如果让每个服务各自负责，没有统一的规则，会使服务与服务之间存在差异，而出现资源浪费。流量向业务节点转发时可能会产生不必要的沟通成本，同时也增加了开发的重复度。

发明内容

本说明书一个或多个实施例提供了一种流量向业务节点的转发方法、装置、设备及介质，用于解决如下技术问题：

现有技术中，在系统服务众多且业务复杂的情况下，如果让每个服务各自负责没有统一的规则，会使服务与服务之间存在差异出现资源浪费。流量向业务节点转发时可能会产生不必要的沟通成本，同时也增加了开发的重复度。

本说明书一个或多个实施例采用下述技术方案：

本说明书一个或多个实施例提供一种流量向业务节点的转发方法，所述方法应用于流量转发系统，所述系统包括转发节点与监控节点，所述方法包括：

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

进一步的，所述系统还包括配置管理节点；

所述根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户前，所述方法还包括：

所述转发节点启动时，从所述配置管理节点加载所有租户对应的流量转发的业务节点及熔断限流策略，并加载下游业务集群中各业务节点的路由转发表；

所述将所述流量转发请求对应的流量转发至所述目的业务节点，具体包括：

通过所述各业务节点的路由转发表将所述流量转发请求对应的流量转发至所述目的业务节点。

进一步的，所述将所述流量转发请求对应的流量转发至所述目的业务节点后，所述方法还包括：

当检测出所述流量转发请求对应的流量大小超出所述目的业务节点预先设定的接收阈值，所述转发节点根据所述指定租户对应的熔断限流策略与所述各业务节点的工作状态，在所述下游业务集群的其余业务节点中选定符合要求的目的业务节点；

将所述流量转发请求对应的流量转发至所述符合要求的目的业务节点。

进一步的，所述熔断限流策略为业务节点在指定时间内的处理流量阈值。

进一步的，若所述监控节点对下游的任意一个业务节点的工作状态检查失败，所述方法还包括：

将检查失败的通知发送至所述转发节点，以便所述监控节点对所述工作状态信息表进行更新。

进一步的，所述确定对应的目的业务节点后，所述方法还包括：

当所述转发节点收到监控节点反馈的所述目的业务节点请求延迟超出预设值或出现故障，通过所述指定租户对应的熔断限流策略，终止将所述流量转发请求对应的流量转发至所述目的业务节点；

重新选定符合要求的目的业务节点，并将所述流量转发请求对应的流量转发至所述复合要求的目的业务节点。

进一步的，在所述转发节点启动后，对于所述指定租户对应的流量转发的业务节点及熔断限流策略修改，所述方法还包括：

通过所述配置管理节点对所述指定租户对应的流量转发的业务节点及熔断限流策略进行动态修改，并将修改结果发送至所述转发节点。

本说明书一个或多个实施例提供一种流量向业务节点的转发装置，所述装置应用于流量转发系统，所述系统包括转发节点与监控节点，所述装置包括：

租户确定单元，在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

策略确定单元，确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

流量转发单元，根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

本说明书一个或多个实施例提供一种流量向业务节点的转发设备，应用于流量转发系统，所述系统包括转发节点与监控节点，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

本说明书一个或多个实施例提供一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

应用于流量转发系统，所述系统包括转发节点与监控节点；

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：本说明书实施例通过转发节点接收上层的流量转发请求，并根据流量转发请求中的身份标识确定流量转发请求对应的指定租户，以便确定该指定租户对应的流量转发的业务节点及熔断限流策略。此外，本说明书实施例通过控制节点获取下游各业务节点的工作状态信息表，以根据各业务节点的工作状态信息表与指定租户对应的流量转发的业务节点及熔断限流策略，确定目的业务节点，最终将流量转发至该目的业务节点。上述过程中，通过流量转发系统有序的将流量转发到目的业务节点，可以节省系统资源，减少开发的重复度。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本说明书一个或多个实施例提供的一种流量向业务节点的转发方法的流程示意图；

图2为本说明书一个或多个实施例提供的流量转发系统的结构示意图；

图3为本说明书一个或多个实施例提供的一种流量向业务节点的转发装置的结构示意图；

图4为本说明书一个或多个实施例提供的一种流量向业务节点的转发设备的结构示意图。

具体实施方式

本说明书实施例提供一种流量向业务节点的转发方法、装置、设备及介质。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

图1为本说明书一个或多个实施例提供的一种流量向业务节点的转发方法的流程示意图，该流程可以由流量转发系统执行，该系统可以提供流量转发的规则，减少资源浪费，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。

其中，流量转发系统包括转发节点与监控节点

说明书实施例的方法流程步骤如下：

S102，在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户。

在本说明书实施例中，流量转发系统可以接收服务器下发的流量转发请求，此时的服务器可以认定为上层部分，服务器对应不同的租户。通过流量转发系统中的转发节点，将流量转发至业务节点，此时的业务节点可以认定为下层部分。

在本说明书实施例中，流量转发请求中的身份标识用于确定租户的身份。

进一步的，流量转发系统还包括配置管理节点；根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户前，转发节点需要预先启动，过程中，从所述配置管理节点加载所有租户对应的流量转发的业务节点及熔断限流策略，并加载下游业务集群中各业务节点的路由转发表。其中，路由转发表是用于查找业务节点的地址信息。

需要说明的是，转发节点主要负责流量的转发调度和熔断限流操作。配置管理节点启动时用于加载所有租户对于流量转发的业务节点，以及熔断限流策略，配置管理节点启动之后可以通过管理平台进行动态修改，并将改动通知给所有转发节点。

其中，上述提到的熔断限流策略为业务节点在指定时间内的处理流量阈值QPS(Queries-per-second)。

S104，转发节点确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表。

在本说明书实施例中，工作状态信息表包括下游业务集群中各业务节点的健康状态，即各业务节点是否可以正常接收流量。流量转发的业务节点即为流量转发的待选业务节点。此时的流量转发的业务节点至少包括一个，可以通过熔断限流策略与监控下游业务集群中各业务节点的工作状态信息表，在流量转发的业务节点选择目的业务节点。

S106，根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

在本说明书实施例中，将所述流量转发请求对应的流量转发至所述目的业务节点时，可以通过所述各业务节点的路由转发表将所述流量转发请求对应的流量转发至所述目的业务节点。

进一步的，所述将所述流量转发请求对应的流量转发至所述目的业务节点后，所述方法还包括：

当检测出所述流量转发请求对应的流量大小超出所述目的业务节点预先设定的接收阈值，以致目的业务节点无法正常接收该流量，对此，所述转发节点可以根据所述指定租户对应的熔断限流策略与所述各业务节点的工作状态，在所述下游业务集群的其余业务节点中选定符合要求的目的业务节点，此次重新选定目的业务节点时，是需要考虑业务节点的接收能力，是否可以接收该流量，以免出现无法接收流量的情况，需要说明的时，重新选定目的业务节点时，并不局限上述提到的流量转发的业务节点，而是从下游业务集群的各业务节点中选取；然后，将所述流量转发请求对应的流量转发至所述符合要求的目的业务节点。

进一步的，若所述监控节点对下游的任意一个业务节点的工作状态检查失败，可以将检查失败的通知发送至所述转发节点，以便所述监控节点对所述工作状态信息表进行更新。

进一步的，本说明书实施例在确定对应的目的业务节点后，当所述转发节点收到监控节点反馈的所述目的业务节点请求延迟超出预设值或出现故障，可以通过所述指定租户对应的熔断限流策略，终止将所述流量转发请求对应的流量转发至所述目的业务节点；然后，重新选定符合要求的目的业务节点，并将所述流量转发请求对应的流量转发至所述复合要求的目的业务节点。

进一步的，本说明书实施例在所述转发节点启动后，对于所述指定租户对应的流量转发的业务节点及熔断限流策略修改，可以通过所述配置管理节点对所述指定租户对应的流量转发的业务节点及熔断限流策略进行动态修改，并将修改结果发送至所述转发节点。

本说明书实施例提出一种分布式的流量转发系统，位于业务集群之前，在上游统一进行流量的管理调度，将流量调度至合适的下游业务节点。同时进行流量日志的记录和监控，在流量突然增大时可以进行限流操作；如果下游业务节点出现故障或流量超过其处理能力，则会采取熔断操作，防止出现雪崩。

流量转发系统主要由负载均衡节点(转发节点)、配置管理节点和监控节点组成，系统结构图参见图2，图中，上游为nginx(一个高性能的HTTP和反向代理web服务器)，nginx向流量转发系统的转发节点发送流量转发请求，转发节点连接配置管理节点和监控节点，流量转发系统下游为业务节点。下面针对不同的节点详细说明：

转发节点：

转发节点主要负责流量的转发调度和熔断限流操作。启动时从配置管理节点加载所有租户的流量转发以及熔断限流策略，同时加载下游业务集群的路由转发表；当收到来自上层的流量时，转发节点会根据header(流量转发请求中的身份标识)的内容来确定租户，综合租户对应的转发业务节点和熔断限流策略、以及来自监控节点对下游业务节点的健康检查进行判断，选择一个合适的节点将流量转发给该节点。当发给下游某个节点的流量超过了其设定的规则，转发节点会尝试将流量转发给其他下游节点，如果找不到合适的节点就将流量丢弃。当转发节点收到来自监控节点的反馈，反应下游某个节点请求延迟过高或出现故障，此时熔断限流策略中的熔断器会变为开启状态，拒绝所有转发给该节点的流量，将流量转发给其他节点，如果找不到合适的节点则将流量丢弃。

配置管理节点：

配置管理节点启动时加载所有租户对于流量转发业务节点、熔断限流策略的配置，启动之后可以通过管理平台进行动态修改，并将改动通知给所有转发节点。

监控节点：

监控节点负责统计流量转发相关的各项数据，以及对下游业务节点进行主动健康检查。如果对下游某个节点健康检查失败，则通知给转发节点，转发节点本地维护的节点健康检查信息表进行更新。

图3为本说明书一个或多个实施例提供一种流量向业务节点的转发装置的结构示意图，所述装置应用于流量转发系统，所述系统包括转发节点与监控节点，所述装置包括：租户确定单元302、策略确定单元304与流量转发单元306。

租户确定单元302在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

策略确定单元304确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

流量转发单元306根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

图4为本说明书一个或多个实施例提供一种流量向业务节点的转发设备的结构示意图，应用于流量转发系统的结构示意图，所述系统包括转发节点与监控节点，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

本说明书一个或多个实施例提供一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

应用于流量转发系统，所述系统包括转发节点与监控节点；

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种流量向业务节点的转发方法，其特征在于，所述方法应用于流量转发系统，所述系统包括转发节点与监控节点，所述方法包括：

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

2.根据权利要求1所述的方法，其特征在于，所述系统还包括配置管理节点；

所述根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户前，所述方法还包括：

所述转发节点启动时，从所述配置管理节点加载所有租户对应的流量转发的业务节点及熔断限流策略，并加载下游业务集群中各业务节点的路由转发表；

所述将所述流量转发请求对应的流量转发至所述目的业务节点，具体包括：

通过所述各业务节点的路由转发表将所述流量转发请求对应的流量转发至所述目的业务节点。

3.根据权利要求1所述的方法，其特征在于，所述将所述流量转发请求对应的流量转发至所述目的业务节点后，所述方法还包括：

当检测出所述流量转发请求对应的流量大小超出所述目的业务节点预先设定的接收阈值，所述转发节点根据所述指定租户对应的熔断限流策略与所述各业务节点的工作状态，在所述下游业务集群的其余业务节点中选定符合要求的目的业务节点；

将所述流量转发请求对应的流量转发至所述符合要求的目的业务节点。

4.根据权利要求1所述的方法，其特征在于，所述熔断限流策略为业务节点在指定时间内的处理流量阈值。

5.根据权利要求1所述的方法，其特征在于，若所述监控节点对下游的任意一个业务节点的工作状态检查失败，所述方法还包括：

将检查失败的通知发送至所述转发节点，以便所述监控节点对所述工作状态信息表进行更新。

6.根据权利要求1所述的方法，其特征在于，所述确定对应的目的业务节点后，所述方法还包括：

当所述转发节点收到监控节点反馈的所述目的业务节点请求延迟超出预设值或出现故障，通过所述指定租户对应的熔断限流策略，终止将所述流量转发请求对应的流量转发至所述目的业务节点；

重新选定符合要求的目的业务节点，并将所述流量转发请求对应的流量转发至所述符合要求的目的业务节点。

7.根据权利要求2所述的方法，其特征在于，在所述转发节点启动后，对于所述指定租户对应的流量转发的业务节点及熔断限流策略修改，所述方法还包括：

通过所述配置管理节点对所述指定租户对应的流量转发的业务节点及熔断限流策略进行动态修改，并将修改结果发送至所述转发节点。

8.一种流量向业务节点的转发装置，其特征在于，所述装置应用于流量转发系统，所述系统包括转发节点与监控节点，所述装置包括：

租户确定单元，在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

策略确定单元，确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

流量转发单元，根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

9.一种流量向业务节点的转发设备，其特征在于，应用于流量转发系统，所述系统包括转发节点与监控节点，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

10.一种非易失性计算机存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令设置为：

应用于流量转发系统，所述系统包括转发节点与监控节点；

在所述转发节点收到上层的流量转发请求时，根据所述流量转发请求中的身份标识确定所述流量转发请求对应的指定租户；

确定所述指定租户对应的流量转发的业务节点及熔断限流策略，并通过所述监控节点获取预先写入的下游业务集群中各业务节点的工作状态信息表；

根据所述指定租户对应的流量转发的业务节点及熔断限流策略，与所述各业务节点的工作状态，确定对应的目的业务节点，并将所述流量转发请求对应的流量转发至所述目的业务节点。

Images