CN114978998A - 一种流量控制方法、装置、终端及存储介质 - Google Patents

Abstract

本申请实施例提供一种流量控制方法、装置、终端及存储介质，其中确定消息系统中待控制租户对应的流量配额阈值；根据所述流量配额阈值，确定所述待控制租户的每一子级操作单元的流量速率；根据每一所述子级操作单元的流量速率，控制每一所述子级操作单元的各个通道的流量速率阈值；如此，可以在租户层级进行流量限制，以控制消息系统的通道在传输消息过程中的流量速率阈值。

Description

一种流量控制方法、装置、终端及存储介质

技术领域

本申请涉及计算机技术，涉及但不限于一种流量控制方法、装置、终端及存储介质。

背景技术

随着互联网技术的迅速发展，云计算服务正在成为越来越多企业线上业务基础架构的重要组成部分。用户所需的计算资源由云计算服务提供商来协调调度，对于云计算用户而言，通过网络就可以获得无限的资源，同时不受时间和空间的限制。就分布式消息系统服务而言，在私有云方案中，是为每个用户创建单独的分布式消息系统集群，并分别提供对应的运维服务。为了避免用户异常操作使入流量或出流量突增，对集群造成巨大压力，设计了流量限制机制。相关技术中，是通过对用户授权的方式来管控不同用户所能生产/消费的主题(topic)，再结合用户级配额来实现多租户的资源管控；或者是通过在命名空间(namespace)级设置流量速度阈值来控制该namespace下每一topic的流量速度。相关流量控制技术中都是通过控制topic的生产消费或流量速度，并不能从租户层级实现对流量的控制，而且不便于分布式消息系统服务提供商进行管理与控制。

发明内容

本申请实施例提供一种流量控制方法、装置、终端及存储介质，能在租户层面控制消息系统中的通道传输消息过程中的流量。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种流量控制方法、所述方法包括：

确定待控制租户对应的流量配额阈值；

根据所述流量配额阈值，确定所述待控制租户的子级操作单元的流量速率；

根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，以基于所述流量速率阈值对各个通道对应的流量进行控制。

本申请实施例提供一种流量控制装置，所述装置包括：

第一确定模块，用于确定待控制租户对应的流量配额阈值；

第二确定模块，用于根据所述流量配额阈值，确定所述待控制租户的子级操作单元的流量速率；

控制模块，用于根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，以基于所述流量速率阈值对各个通道对应的流量进行控制。

本申请实施例提供一种终端，所述终端至少包括：控制器和配置为存储可执行指令的存储介质，其中：

控制器配置为执行存储的可执行指令，所述可执行指令配置为执行上述提供的流量控制方法。

本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令配置为执行上述提供的流量控制方法。

本申请实施例提供一种流量控制方法、装置、终端及存储介质，通过待控制租户、子级操作单元和通道形成的多级管理消息系统中限制租户的流量配额阈值，确定租户对应的子级操作单元的流量速率，再根据子级操作单元单元的流量速率，控制子级操作单元包含的各个通道传输数据的流量速率，使得可以通过控制消息系统中的租户的流量配额阈值，来控制租户对应的用于传输数据的通道的流量速率，有效节省了租用分布式消息系统服务的成本。

附图说明

在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。

图1为本申请实施例提供的流量控制方法的实现流程示意图；

图2为本申请实施例提供的流量控制方法的又一实现流程示意图；

图3为本申请实施例提供的流量控制方法的另一实现流程示意图；

图4为本申请实施例提供的分布式消息系统的实现模块结构图；

图5为本申请实施例的传输待处理消息的流程示意图；

图6为本申请实施例提供的流量控制装置的组成结构示意图；

图7为本申请实施例提供的所述终端的组成结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本申请中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴终端、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。

随着互联网技术的迅速发展，云计算服务正在成为越来越多企业线上业务基础架构的重要组成部分。用户所需的计算资源由云计算服务提供商来协调调度，对于云计算用户而言，通过网络，就可以获得无限的资源，而且不受时间和空间的限制。就分布式消息系统服务而言，在传统的私有云方案中，是为每个用户创建单独的分布式消息系统集群，并分别提供对应的运维服务。这对于服务提供商来说，管理与维护多个分布式消息系统集群，是复杂与低效的。面对这种问题，一种可行的思路就是让分布式消息系统集群本身可以支持多租户，而多租户，则需要考虑如何对不同用户所需的服务资源进行隔离。

分布式发布订阅消息系统卡夫卡(kafka)作为应用较为广泛的分布式消息系统，为了避免用户异常操作使入流量或出流量突增，对集群造成巨大压力，因此设计了流量限制机制。在kafka现有的流量限制机制中，可以根据用户、客户端编码(Identity Document，ID)、或者用户和客户端ID的组合进行限制。例如，为某个客户端ID设置了配额，则所有通过该ID的客户端进行的操作都会受到该配额的限制。kafka在设计之初，没有考虑多租户需求，所以kafka本身是没有租户的概念，只是在用户和客户端ID两个级别进行了资源管控。如果要想满足多租户的需求，可以以用户来区分不同的租户，然后通过对用户授权的方式来管控不同用户所能生产/消费的topic，再结合用户级配额来实现多租户的资源管控。

分布式消息系统Apache Pulsar是由雅虎创建，并贡献于Apache SoftwareFoundation的云原生分布式流数据平台。在Pulsar的设计中，通过租户tenant和命名空间namespace两个核心概念来实现对多租户的支持。Tenant是一个资源的隔离单位，一个tenant下可以有多个namespace，而一个namespace又可以有多个topic。Pulsar的多租户，就是通过tenant、namespace和topic形成的多级管理系统。

在流量控制方面，Pulsar从生产者和消费者两个方面进行了限制：在生产方面，可以配置消息发送到缓存代理(broker)的速度，以此来避免当前用户发送消息的速度大于系统本身的处理能力；在消费方面，也可以限制broker以指定的速率向消费者投递消息。Pulsar现有的流量控制方案，是通过对每个topic限流来实现的，并且对于每一topic的限流阈值，是所有订阅共享的，即对于设定了流量配额的topic，是所有对该topic的订阅共享该配额值的。在配额的设定上，提供两种单位：消息率和比特率。消息率，就是指每秒钟所能生产/消费的消息的条数；比特率，是指每秒钟所能生产/消费的消息的字节大小，单位一般为MB。如果同时设置了两种配额限制，则以先到达阈值的配额为准。在实际应用中，Pulsar提供两种级别的配额设定：集群级和namespace级。如果设定了集群级流量配额，则那些没有在namespace级单独设定过配额的topic，都统一采用集群级的流量配额；另外在设定了集群级流量配额的基础上，可以针对不同的namespace再设定namespace级配额，则该namespace下的所有topic都会以namespace级配额为标准进行流量控制。

对于多租户的需求，kafka虽然可以通过用户的差异来区分租户，但是对用户的权限管控，只能限制对topic的生产/消费，而集群中的所有topic对所有用户都是可见的，这种程度的租户隔离是不完整的。

在Pulsar相关的流量控制方法中，可以通过在namespace级设置流量速度阈值来控制该namespace下每一topic的流量速度。这样，想要控制某一租户的整体流量速度，就要综合考虑该租户下每一topic的流量速度以及topic的总体数量，这对于分布式消息系统服务提供商来说，是不便于管理与控制的。另外，对于消息系统的用户来说，可以使用不同的topic来存储不同应用的数据，不同应用的数据，在重要程度和数据量上，可能存在较大的差异，在高并发且资源有限的情况下，用户可以接受限制重要性低的应用的流量速度，以此来优先保证重要业务的流量速度。对于相关技术中的流量控制方法，是无法满足以上需求的。

针对以上问题，本申请提出了一种新的适应于多租户分布式消息系统的限流方案，从分布式消息系统服务提供商的角度看，在限流时，以租户为单位，仅控制该租户所能使用的总流量速率，即控制每一租户所能使用的总体吞吐量速率，对于这些流量速率如何进行细分，交由用户自行分配。对于分布式消息系统的用户来说，根据不同应用，针对不同topic有差异的进行流量速率分配，可以有效节省成本。

为此，提出了本申请实施例的以下技术方案，为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

本申请实施例提供一种流量控制方法，图1为本申请实施例提供的流量控制方法的实现流程示意图，如图1所示，所述流量控制方法包括以下步骤：

步骤S101：确定待控制租户对应的流量配额阈值。

本申请实施例可应用在消息系统中，消息系统为分布式多租户消息系统。分布式多租户消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。

本申请实施例以分布式多租户消息系统Pulsar例，但不限于Pulsar，同样适用于其他支持多租户的分布式消息系统服务。向Pulsar发送数据的应用程序叫作生产者(producer)，而从Pulsar读取数据的应用程序叫作消费者(consumer)。有时候消费者也被叫作订阅者。Topic是Pulsar的核心资源，一个主题可以被看成是一个通道，生产者向这个通道发送数据，消费者从这个通道拉取数据。在本申请实施例中，将消息系统中的topic称为通道。

在Pulsar消息系统中，Pulsar的多租户机制包含了两种资源：租户和命名空间，也就是本申请实施例中消息系统的租户和子级操作单元。租户一般为使用同一个分布式消息系统的企业用户。假设有一个Pulsar集群用于支持多个应用程序(就像雅虎Yahoo那样)，集群里的每个资产可以代表一个组织的团队、一个核心的功能或一个产品线。一个租户可以包含多个命名空间，一个命名空间可以包含任意个主题。在Pulsar的设计中，通过租户tenant和命名空间namespace两个核心概念来实现对多租户的支持。租户Tenant是一个资源的隔离单位，一个租户tenant下可以有多个namespace，即子级操作单元，而一个namespace又可以有多个分类topic即通道。

在Pulsar消息系统中，Pulsar的多租户，就是通过tenant、namespace、topic形成的多级管理系统来管理消息系统中的topic，即可以通过租户、子级操作单元和通道形成的对应组，对消息中进行消息传输的通道topic进行分组管理。

租户的流量配额阈值，是指在租户的元数据中添加流量配额阈值属性，默认为0，表示没有限额，在该值大于0时，触发租户级的限流，对消息系统的租户进行整体流量控制。可以根据消息系统中的分布式存储服务zookeeper中存储的租户对应的元数据配置项，确定该租户的流量配额阈值。

步骤S102：根据所述流量配额阈值，确定所述待控制租户的每一子级操作单元的流量速率。

这里，子级操作单元是指消息系统中的租户配置的命名空间，是分布式消息系统中主题即通道的管理单元，使得程序可以以层级的方式创建和管理topic。一个租户可以配置多个子级操作单元。例如：“my-tenant/app1”，它的namespace是app1这个应用，对应的租户是my-tenant，可以在namespace下创建任意数量的topic。

在待控制租户配置的子级操作单元的数据结构中，添加权重属性，用于根据每一子级操作单元的权重将租户的流量分配到租户配置的子级操作单元中。即某一租户下的所有子级操作单元可以根据其对应的权重，采用加权平均的方法来确定各自的流量速率上限。每个权重属性的设置可以根据实际业务的需求，对业务需求高的子级操作单元分配较高的资源，设置的权重较高，需要在创建租户的子级操作单元的时候，指定该子级操作单元的权重。在一个具体例子中，一租户下配置有三个子级操作单元a、b、c，子级操作单元对应的权重为2：1：1，该租户的流量配额阈值为200Mbps(兆位/秒)，则根据子级操作单元的权重和租户的流量配额阈值可以得到，a的流量速率上限为100Mbps，b的流量速率上限为50Mbps，c的流量速率上限为50Mbps

在一些可实现的实施方式中，一租户配置的子级操作单元的默认权重为1，即在不明确指定子级操作单元预期的流量速率上限的情况下，同一租户下的所有子级操作单元平均分配该租户的总流量。

步骤S103：根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，以基于所述流量速率阈值对各个通道对应的流量进行控制。

这里，通道为子级操作单元包含的主题topic，每个子级操作单元可以包含任意数量个通道。消息生产者通过通道向消息系统传输数据，消费者通过通道从消息系统中读取数据。即在消息系统中，是通过通道传输消息。

在一些可实施方式中，在一子级操作单元包含的多个通道的数据结构中添加权重属性，用户根据每一通道的权重和对应的子级操作单元的流量速率，通过加权平均方法计算每一通道的流量速率。并将每一通道的流量速率存储至消息系统的分布式存储服务的znode节点中。这样，对于租户的总体流量限制，就可以落实到该租户下的每一个通道的流量速率阈值。即可以通过租户的流量限制，控制该租户下的每一个通道的流量速率，即可以基于流量速率阈值对各个通道对应的流量进行控制。

在本申请实施例中，通过待控制租户、子级操作单元和通道形成的多级管理消息系统中租户的流量配额阈值，确定租户对应的每一子级操作单元的流量速率阈值，再根据子级操作单元单元的流量速率，控制每一子级操作单元包含的通道传输数据的流量速率阈值，使得可以通过控制消息系统中的租户的流量配额阈值，来控制租户对应的用于传输数据的通道的流量速率，有效节省了租用分布式消息系统服务的成本。

在一些实施例中，步骤S102可以通过以下步骤实现：

步骤S1021：确定所述子级操作单元的第一流量速率分配比例。

这里，消息系统中的租户可以配置多个子级操作单元，同一租户下的多个子级操作单元分配该租户的流量配额阈值。在分布式消息系统的分布式存储服务zookeeper中，读取存储的每一子级操作单元的元数据，根据子级操作单元元数据的数据结构中的流量速率分配比例属性，确定每一子级操作单元的第一流量速率流量比例。第一流量速率分配比例是同一租户下的多个子级操作单元分配该租户的流量配额阈值的权重值。在一个例子中，一租户下配置有三个子级操作单元a、b、c，子级操作单元对应的权重为2：1：1，则可得三个子级操作单元a、b、c的第一流量速率分配比例分别为1/2、1/4和1/4。

在一些实施例中，租户可以根据实际的业务需求，对该租户下配置的子级操作单元设置不同的流量速率分配比例，可以对业务需求多的子级操作单元设置较高的分配比例。

在一些可实现的实施方式中，若同一租户下的多个子级操作单元的第一流量速率分配比例为1，说明该租户下的子级操作单元平分该租户的流量资源。

步骤S1022：根据所述流量配额阈值和所述第一流量速率分配比例，确定所述待控制租户的子级操作单元的流量速率。

这里，将同一待控制租户下的多个子级操作单元的第一流量速率比例和该待控制租户的流量配额阈值，采用加权平均的方法，则可得到该租户的每一子级操作单元的流量速率。并将待控制租户的每一子级操作单元的流量速率存储至消息系统的分布式存储服务的znode节点中。在一个例子中，一租户下配置有三个子级操作单元a、b、c，三个子级操作单元对应的第一流量速率分配比例分别为：1/2、1/4和1/4，该租户的流量配额阈值为200Mbps，则根据子级操作单元的第一流量速率分配比例和租户的流量配额阈值，采用加权平均的方法可以得到：子级操作单元a的流量速率为100Mbps，子级操作单元b的流量速率为50Mbps，子级操作单元c的流量速率为50Mbps。

这样，可以根据每一子级操作单元的元数据中的第一流量速率分配比例，控制消息系统的多级管理系统中的每一租户的多个子级操作单元的流量速率阈值。

在一些实施例中，步骤S1021还可以通过以下步骤来确定子级操作单元的第一流量速率分配比例：

步骤一：确定所述子级操作单元待处理业务的业务属性。

这里，待控制租户在使用消息系统时，需要根据每一待控制租户包括的子级操作单元自己处理的业务，从消息系统存储数据或接收数据。业务属性是指租户包括的子级操作单元要处理的业务的特征，比如，业务类型、业务名称、业务重要程度、业务所需要的流量速率等属性信息。

步骤二：根据所述业务属性，确定所述业务属性对应的子级操作单元的第一流量速率分配比例。

这里，在获取到消息系统中待控制的每一租户包括的子级操作单元的业务属性后，根据不同的业务属性与第一流量速率分配比例之间的对应关系，可以确定每一子级操作单元的第一流量速率分配比例。比如，用户可以根据实际业务需求，对特定子级操作单元分配较高比例的资源，则在创建子级操作单元时，指定该业务属性对应的权重。

这样，可以根据消息系统中每一待控制租户包括的子级操作单元待处理业务的业务属性，以及租户的元数据中租户的包括的子级操作单元待处理业务的业务属性与所需第一流量速率分配比例之间的对应关系，确定每一子级操作单元的第一流量速率分配比例，从而可以实现在消息系统的子级操作单元层级进行流量控制。

在一些实施例中，上述步骤S103可以通过以下步骤实现：

步骤S1031：确定所述子级操作单元的通道的第二流量速率分配比例。

这里，消息系统中的同一租户下的每一子级操作单元是该消息系统的通道即主题topic的管理单元，通道是消息系统中的用于传输生产者到消费者之间的消息。租户和子级操作单元是消息系统中的通道的实例中的上级管理单元。在以租户、子级操作单元和通道形成的多级管理消息系统中，同一子级操作单元的多个通道共同分配该子级操作单元的流量速率。在分布式消息系统的分布式存储服务zookeeper中，读取存储的每一通道的元数据，根据通道元数据的数据结构中的流量速率分配比例属性，确定同一子级操作单元下的每一通道的第二流量速率流量比例。第二流量速率分配比例是同一子级操作单元下的每个通道分配该子级操作单元的流量速率的权重值。在一个例子中，一子级操作单元下配置有三个通道d、e、f，子级操作单元对应的权重为2：1：3，则可得三个通道d、e、f的第二流量速率分配比例分别为1/3、1/6和1/2。

步骤S1032：根据所述第二流量速率分配比例和所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值。

这里，将通道的第二流量速率比例和对应的子级操作单元的流量速率通过加权平均的方法进行计算，控制每一子级操作单元下的通道的流量速率阈值，并将每一子级操作单元下的通道的流量速率阈值存储至消息系统的分布式存储服务的znode节点中。在一个例子中，一子级操作单元下配置有三个通道d、e、f，子级操作单元对应的权重为2：1：3，则可得三个通道d、e、f的第二流量速率分配比例分别为1/3、1/6和1/2。，该子级操作单元的流量速率为300Mbps，则根据子级操作单元的第一流量速率分配比例分别和租户的流量配额阈值，采用加权平均的方法进行计算可以得到：通道d的流量速率为100Mbps，通道e的流量速率为50Mbps，通道f的流量速率为150Mbps。

这样，可以根据同一子级操作单元下的通道元数据中的第二流量速率分配比例，控制同一子级操作单元的多个通道的流量速率阈值，使得在消息系统中对租户级别的流量控制，落实在该租户配置的子级操作单元的通道的流量速率阈值控制上，从而可以通过控制租户级别的整体流量配额阈值，来实现对消息系统中的每一通道的流量速率控制，使得可以有效节省租用分布式消息系统服务的成本。

在一些实施例中，分布式消息系统的元数据，比如租户、租户的子级操作单元以及每个操作单元包括的通道，都存储在分布式消息系统的分布式服务框架中。分布式服务框架中的监听组件会实时监听分布式服务框架的节点路径上的租户、租户的子级操作单元以及每个操作单元包括的通道对应的数据，在监测到租户、租户的子级操作单元以及每个操作单元包括的通道对应的数据发生变化时，则根据发生变化的数据，调整对应通道的流量速率阈值。

确定所述子级操作单元的第一流量速率分配比例和所述子级操作单元的通道的第二流量速率分配比例，如果检测到所述流量配额阈值、所述第一流量速率分配比例和所述第二流量速率分配比例中的至少一个发生变化，调整所述子级操作单元的各个通道的流量速率阈值。

这里，消息系统中的分布式存储服务启动监听组件watcher，监测分布式存储服务zookeeper的znode节点路径中存储的元数据，其中，znode节点路径中存储的元数据可以有该消息系统中租户的流量配额阈值、子级操作单元的第一流量速率分配比例和通道的第二流量速率分配比例。在监听组件watcher监测到租户的流量配额阈值、子级操作单元的第一流量速率分配比例和通道的第二流量速率分配比例中的至少一个参数发生变化时，则记录发生变化的参数对应的znode路径下的租户的流量配额阈值、子级操作单元的第一流量速率分配比例和通道的第二流量速率分配比例，并根据发生变化的参数，调整该参数对应的znode路径下的其他参数，以调整每一所述子级操作单元的通道的流量速率阈值，并将调整后的每一子级操作单元下的通道的流量速率阈值存储至消息系统的分布式存储服务的znode节点中。

这样，可以实时监测租户、子级操作单元和通道组成的多级管理消息系统中分布式存储服务中存储的参数，并在监测到参数发生变化的时候，实时动态调整消息系统中的每一通道的流量速率阈值。

在一些实施例中，分布式服务框架中的监听组件监测到租户的子级操作单元对应的流量速率分配比例发生变化的时候，则可以根据下述步骤调整对应的租户下的通道的流量速率阈值。图2为本申请实施例提供的流量控制方法的又一实现流程示意图，如图2所示，所述流量控制方法包括以下步骤：

步骤S201：确定发生变化的所述第一流量速率分配比例所属的第一子级操作单元和所述第一子级操作单元所属的第一租户。

这里，在消息系统的分布式存储服务的监听组件(watcher)监测到某一租户的子级操作单元的第一流量速率分配比例发生变化时，可以根据第一流量速率阈值与子级操作单元的对应关系，确定该第一流量速率分配比例所属的子级操作单元，并根据子级操作单元与租户之间的对应关系，确定该子级操作单元所属的第一租户。

步骤S202：根据变化后的第一流量速率分配比例，调整所述第一租户的子级操作单元的流量速率分配比例。

这里，在确定了发生变化的第一流量速率分配比例对应的子级操作单元以及子级操作单元所属的第一租户后，读取并记录该第一租户的流量配额阈值、第一租户下的子级操作单元的将第一租户下的子级操作单元的原有第一流量速率分配比例以及每一子级操作单元下的通道的第二流量速率分配比例，并将原有第一流量速率分配比例修改为发生变化后的第一流量速率分配比例。在一个例子中，租户A的子级操作单元a的第一流量速率分类比例从1/2，更新为3/5，则读取该租户A的流量配额阈值为1000Mbps，该租户下的三个子级操作单元a、b和c的原有第一流量速率分配比例为1/2、1/4和1/4，则根据子级操作单元a更新后的第一流量速率分配比例3/5，调整第一租户的子级操作单元的流量速率分配比例：1/2、1/4和1/4，得到第一租户的三个子级操作单元a、b和c调整后的流量速率分配比例分别为：3/5、1/5和1/5，并将调整后的参数存储至消息系统的分布式存储服务的znode节点中。

步骤S203：根据调整后的流量速率分配比例和所述第二流量速率分配比例，调整所述第一子级操作单元的各个通道的流量速率阈值。

这里，根据调整后的第一流量速率分配比例和第一租户的流量配额阈值，确定第一租户的子级操作单元调整后的流量速率阈值，根据子级操作单元调整后的流量速率阈值和每一子级操作单元对应的通道的第二流量速率分配比例，确定第一租户的子级操作单元包含的通道的流量速率阈值。在一个例子中，第一租户的三个子级操作单元a、b和c调整后的流量速率分配比例分别为：3/5、1/5和1/5，根据一租户A的流量配额阈值为1000Mbps，得到第一租户的三个子级操作单元a、b和c调整后的流量速率分别为：600Mbps、200Mbps和200Mbps，再根据三个子级操作单元a、b和c分别对应的通道的第二流量速率分配比例，通过加权平均方法，计算得到第一租户下的通道调整后的流量速率，并将调整后的参数存储至消息系统的分布式存储服务的znode节点中。

这样，可以根据监测到的多级管理的消息系统中的子级操作单元的第一流量分配比例的变化，实时动态调整消息系统中的进行消息传输的通道的流量速率。

在一些实施例中，分布式服务框架中的监听组件监测到租户的的流量配额阈值发生变化的时候，则可以根据下述步骤调整对应的租户下的通道的流量速率阈值。图3为本申请实施例提供的流量控制方法的另一实现流程示意图，如图3所示，所述流量控制方法包括以下步骤：：

步骤S301：确定发生变化的所述流量配额阈值所属的第二租户和所述第二租户的第二子级操作单元。

这里，在监听组件watcher监测到某一租户的流量配额阈值发生变化时，根据流量配额阈值与租户的对应关系，确定对应的第二租户，以及第二租户配置的第二子级操作单元。第二子级操作单元的数量可以为一个或多个。

步骤S302：根据变化后的流量配额阈值，调整所述第二租户的子级操作单元的流量速率。

这里，读取分布式存储服务的znode节点中存储的第二租户的原有流量配额阈值，和第二租户的子级操作单元的第一流量速率分配比例和每一子级操作单元的通道的第二流量速率分配比例，根据更新后的第二租户的流量配额阈值，更新第二租户的流量配额阈值，根据更新后的第二租户的流量配额阈值和第二租户的子级操作单元的第一流量速率分配比例，调整第二租户的每一子级操作单元的流量速率，并将调整后的参数存储至消息系统的分布式存储服务的znode节点中。

步骤S303：根据调整后的流量速率和所述第二流量速率分配比例，调整所述第二子级操作单元的各个通道的流量速率阈值。

这里，根据调整后的第二租户的每一子级操作单元的流量速率，以及每一子级操作单元的通道的第二流量速率分配比例，调整每一第二子级操作单元的通道的流量速率阈值，并将调整后的参数存储至消息系统的分布式存储服务的znode节点中。

这样，可以根据监测到的多级管理的消息系统中的租户的流量配额阈值的变化，实时动态调整消息系统中的进行消息传输的通道的流量速率。

在一些实施例中，在所述根据所述子级操作单元的流量速率，控制所述子级操作单元的通道的流量速率阈值之后，在接收到客户端发送的待处理消息时，需要根据通道的流量速率阈值，传输待处理消息。所述流量控制方法包括以下步骤：

步骤一：接收客户端发送的待处理消息。

这里，客户端为生产消息的程序，客户端与消息系统的通道建立套接字socket连接。客户端将生产的消息发布即传输至通道，然后消费者客户端再从通道中获取上述消息。消息系统中的通道接收客户端即消费者发送的待处理消息。

步骤二：确定当前时刻传输所述待处理消息的目标通道的流量速率。

这里，根据消息的业务属性如业务名称或业务标识信息确定传输该待处理消息的通道，得到目标通道。根据待处理消息中携带的业务属性中的信息确定目标通道传输待处理信息所需的流量速率。

步骤三：如果所述目标通道的流量速率大于所述流量速率阈值，生成表征所述待处理消息传输失败的信息。

这里，在消息系统的分布式存储服务的znode节点中存储的参数信息中确定目标通道对应的流量速率阈值，如果目标通道传输待处理消息所需的流量速率大于流量速率阈值，则说明该目标通道当前时刻不能传输该待处理消息，则生成待处理消息传输失败的信息，并生成再次传输该待处理消息的等待传输时长。

步骤四：将所述信息和等待重传输时长发送至所述客户端，以使所述客户端基于所述等待重传输时长，重传输所述待处理消息。

这里，在目标通道不能传输待处理消息时，根据消息系统的再传输机制，生成下次传输该待处理消息的等待重传输时长，并将该待处理消息和等待重传输时长发送至客户端，使得客户端传输该待处理消息的等待时长达到重传输时长时，再次发送该待处理消息。

这样，可以根据客户端发送的待处理消息的属性确定传输待处理信息的目标通道所需的流量速率，根据目标通道的流量速率阈值，确定是否能传输该消息，在不能传输该消息的时候，返回传输失败信息和重传输等待时长，从而实现对目标通道的流量限制。

本申请实施例以分布式消息系统pulasr为例，但不限于分布式消息系统Pulsar，同样适用于其他支持多租户的分布式消息系统服务。本申请实施例主要通过存储模块、监控模块、动态调整模块和实际限流模块四个模块来实现(如图4)，图4为本申请实施例提供的分布式消息系统的实现模块结构图，如图4所示，下面将按模块，对本申请实施例进行详细描述。

1、存储模块401

相关技术中，Pulsar的元数据是存储在分布式存储服务zookeeper中的，要想实现以tenant为单位整体进行流量控制，就要在tenant的元数据中添加流量配额阈值，默认为0，表示没有限额，只有当该值大于0时，才触发租户层级限流。存储模块401是由分布式消息系统的分布式存储服务zookeeper的znode节点组成，存储模块401存储的是租户的流量配额阈值，子级操作单元的第一流量速率分配比例和通道的第二流量速率分配比例等参数数据。

在不设置topic限流的情况下，各topic会根据实际数据量，自由竞争流量速率，这对于不限制租户级流量的情况，是可行的。但如果想要对某一租户整体进行流量控制，就要需要制定策略来决定如何控制各个topic的流量上限。本申请实施例提出一种按预设权重来分配流量的限流办法。在namespace的数据结构中，添加权重属性即子级操作单元的第一流量速率分配比例，则某一tenant下的所有namespace采用加权平均的办法来确定各自的流量上限。Namespace的默认权重为1，即在不明确指定namespace所预期的流量上限的情况下，同一tenant下的所有namespace平分流量资源；用户也可以根据实际业务需求，对特定namespace分配较高比例的资源，这需要用户在创建namespace时，显示的指定该namespace的权重。

2、监控模块402

在本申请实施例中，用户可以动态更新流量速率分配比例。这就需要实时监控各namespace的权重。权重值存储在分布式协调服务框架zookeeper的节点znode中，所以采用zookeeper的监听组件watcher对znode进行监控。本申请实施例中的监控模块402由分布式存储服务zookeeper的监听组件watcher组成，用于监控存储模块401中存储的参数的变化。当监控模块402检测到某一namespace的权重发生变化时，则将该namespace对应的租户的整体流量配额阈值和该租户下所有namespace的权重发送给动态调整模块403。

3、动态调整模块403

动态调整模块403，记录着某一租户的流量总体配额及其下所有namespace的权重值。当监控模块402检测到存储模块401中存储的参数发生变化，并更新存储模块401中存储的所有参数，动态调整模块403就会根据更新后所有参数的数据：更新后的租户流量配额阈值、更新后的第一流量速率分配比例和更新后的第二流量速率分配比例等参数，重新计算并更新每个子级操作单元所能分配到的流量速率。

4、实际限流模块404

在tenant、namespace和topic形成的多级管理系统中，对于topic层，采用和子级操作单元namespace层级相同的加权平均法来计算每个topic的流量速率阈值。这样对于tenant的总体流量限制，就落实到该tenant下每一个topic的限流阈值。这样，对租户的具体限流，是在topic层级生效的。生产消息时，是在客户端和topic之间建立了套接字socket连接，当检测到某一topic的传输速率超过了流量配额阈值，则对于后续新发送来的消息，topic不再继续接收并且返回一个发送失败的信息给客户端，客户端在接收到发送失败的信息后，等待指定时长后重新发送这些消息，由此实现了对topic的限流。本申请实施例的整体流程图如图5所示。图5为本申请实施例的传输待处理消息的流程示意图。如图5所示，所述传输待处理消息的整体流程包括以下步骤：

步骤S501：客户端发送待处理消息。

这里，客户端为生产消息的程序，客户端与消息系统的通道建立套接字socket连接。客户端将生产的消息发布即传输至通道，然后消费者客户端再从通道中获取上述消息。消息系统中的通道接收客户端即消费者发送的待处理消息。

步骤S502：判断是否为新信息。

这里，根据消息系统中的缓存代理broker中存储的消息，判断所述待处理信息是否为新消息。若不是新信息，而是上次发送失败的信息，则执行步骤S503。若是新消息，则执行步骤S504。

步骤S503：等待指定时长。

这里，在确定待处理的消息为上次发送失败的消息时，客户端则等待再次传输，在到达等待指定时长即重传输时长时，执行步骤S504，再次传输该信息。

步骤S504：发送所述待处理消息。

这里，若待处理消息为新消息，则直接发送所述待处理消息。若所述待处理消息为上次传输失败的消息，则在等待时长到达等待指定时长时，再次传输所述待处理消息。

步骤S505：判断是否达到目标通道的流量速率阈值。

这里，根据消息的业务属性如业务名称或业务标识信息确定传输该待处理消息的通道，得到目标通道。根据所述业务属性确定传输待处理消息所需的目标流量速率，判断所述目标流量速率是否达到流量速率阈值。若达到流量速率阈值，则执行步骤S506；若未达到流量速率阈值，则执行步骤S507。

步骤S506：返回发送失败的信息。

这里，如果目标通道传输待处理消息所需的流量速率大于流量速率阈值，则说明该目标通道当前时刻不能传输该待处理消息，则生成发送待处理消息失败的信息，并生成再次传输该待处理消息的等待指定时长。

步骤S507：目标通道接收所述待处理消息。

这里，若未达到目标通道的流量速率阈值，则目标通道接收所述待处理消息，并将消息存储至消息系统的缓存代理broker中，以使消费者可以从通道中接收订阅消息。

这样，可以根据客户端发送的待处理消息的属性确定传输待处理信息的目标通道所需的流量速率，根据目标通道的流量速率阈值，确定是否能传输该消息，在不能传输该消息的时候，返回传输失败信息和重传输等待时长，从而实现对目标通道的流量限制。

本申请实施例提供一种流量控制装置，图6为本申请实施例信息处理装置的组成结构示意图，如图6所示，所述装置600包括：第一确定模块601、第二确定模块602和控制模块603，其中：

所述第一确定模块601，用于确定待控制租户对应的流量配额阈值；

所述第二确定模块602，用于根据所述流量配额阈值，确定所述待控制租户的子级操作单元的流量速率；

所述控制模块603，用于根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，以基于所述流量速率阈值对各个通道对应的流量进行控制。

在上述装置中，所述第二确定模块602，包括：

第一确定子模块，用于确定所述子级操作单元的第一流量速率分配比例；

第二确定子模块，用于根据所述流量配额阈值和所述第一流量速率分配比例，确定所述待控制租户的子级操作单元的流量速率。

在上述装置中，所述第一确定子模块，包括：

第一确定单元，用于确定所述子级操作单元待处理业务的业务属性；

第二确定单元，用于根据所述业务属性，确定所述业务属性对应的子级操作单元的第一流量速率分配比例。

在上述装置中，所述控制模块603，包括：

第三确定子模块，用于确定所述子级操作单元的通道的第二流量速率分配比例；

第一控制子模块，用于根据所述第二流量速率分配比例和所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值。

在上述装置中，所述装置还包括：

调整模块，用于确定所述子级操作单元的第一流量速率分配比例和所述子级操作单元的通道的第二流量速率分配比例；如果检测到所述流量配额阈值、所述第一流量速率分配比例和所述第二流量速率分配比例中的至少一个发生变化，调整所述子级操作单元的各个通道的流量速率阈值。

在上述装置中，所述调整模块，包括：

第四确定子模块，用于确定发生变化的所述第一流量速率分配比例所属的第一子级操作单元和所述第一子级操作单元所属的第一租户；

第一调整子模块，用于根据变化后的第一流量速率分配比例，调整所述第一租户的子级操作单元的流量速率分配比例；

第二调整子模块，用于根据调整后的流量速率分配比例和所述第二流量速率分配比例，调整所述第一子级操作单元的各个通道的流量速率阈值。

在上述装置中，所述调整模块，包括：

第五确定子模块，用于确定发生变化的所述流量配额阈值所属的第二租户和所述第二租户的第二子级操作单元；

第三调整子模块，用于根据变化后的流量配额阈值，调整所述第二租户的子级操作单元的流量速率；

第四调整子模块，用于根据调整后的流量速率和所述第二流量速率分配比例，调整所述第二子级操作单元的各个通道的流量速率阈值。

在上述装置中，所述装置还包括：

接收模块，用于接收客户端发送的待处理消息；

第三确定模块，用于确定当前时刻传输所述待处理消息的目标通道的流量速率；

生成模块，用于如果所述目标通道的流量速率大于所述流量速率阈值，生成表征所述待处理消息传输失败的信息；

发送模块，用于将所述信息和等待重传输时长发送至所述客户端，以使所述客户端基于所述等待重传输时长，重传输所述待处理消息。

本申请实施例再提供一种流量控制装置，该装置包括所包括的各模块、以及各模块所包括的各子模块和各单元，可以通过终端中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

对应地，本申请实施例提供一种终端，图7为本申请实施例所述终端的组成结构示意图，如图7所示，所述终端700至少包括：控制器701和配置为存储可执行指令的存储介质702，其中：

控制器701配置为执行存储的可执行指令，所述可执行指令用于实现提供的流量控制方法。

需要说明的是，以上终端实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请终端实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行本申请其他实施例提供的流量控制方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器等)执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、终端(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端上，使得在计算机或其他可编程终端上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种流量控制方法，其特征在于，所述方法包括：

确定待控制租户对应的流量配额阈值；

根据所述流量配额阈值，确定所述待控制租户的子级操作单元的流量速率；

根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，以基于所述流量速率阈值对各个通道对应的流量进行控制。

2.根据权利要求1所述的方法，其特征在于，所述根据所述流量配额阈值，确定所述待控制租户的子级操作单元的流量速率，包括：

确定所述子级操作单元的第一流量速率分配比例；

根据所述流量配额阈值和所述第一流量速率分配比例，确定所述待控制租户的子级操作单元的流量速率。

3.根据权利要求2所述的方法，其特征在于，所述确定所述子级操作单元的第一流量速率分配比例，包括：

确定所述子级操作单元待处理业务的业务属性；

根据所述业务属性，确定所述业务属性对应的子级操作单元的第一流量速率分配比例。

4.根据权利要求1所述的方法，其特征在于，所述根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，包括：

确定所述子级操作单元的通道的第二流量速率分配比例；

根据所述第二流量速率分配比例和所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，包括：

确定所述子级操作单元的第一流量速率分配比例和所述子级操作单元的通道的第二流量速率分配比例；

如果检测到所述流量配额阈值、所述第一流量速率分配比例和所述第二流量速率分配比例中的至少一个发生变化，调整所述子级操作单元的各个通道的流量速率阈值。

6.根据权利要求5所述的方法，其特征在于，如果所述第一流量速率分配比例发生变化，所述调整所述子级操作单元的各个通道的流量速率阈值，包括：

确定发生变化的所述第一流量速率分配比例所属的第一子级操作单元和所述第一子级操作单元所属的第一租户；

根据变化后的第一流量速率分配比例，调整所述第一租户的子级操作单元的流量速率分配比例；

根据调整后的流量速率分配比例和所述第二流量速率分配比例，调整所述第一子级操作单元的各个通道的流量速率阈值。

7.根据权利要求5所述的方法，其特征在于，如果所述流量配额阈值发生变化，所述调整所述子级操作单元的各个通道的流量速率阈值，包括：

确定发生变化的所述流量配额阈值所属的第二租户和所述第二租户的第二子级操作单元；

根据变化后的流量配额阈值，调整所述第二租户的子级操作单元的流量速率；

根据调整后的流量速率和所述第二流量速率分配比例，调整所述第二子级操作单元的各个通道的流量速率阈值。

8.根据权利要求1所述的方法，其特征在于，在所述根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值之后，所述方法还包括：

接收客户端发送的待处理消息；

确定当前时刻传输所述待处理消息的目标通道的流量速率；

如果所述目标通道的流量速率大于所述流量速率阈值，生成表征所述待处理消息传输失败的信息；

将所述信息和等待重传输时长发送至所述客户端，以使所述客户端基于所述等待重传输时长，重传输所述待处理消息。

9.一种流量控制装置，其特征在于，所述装置包括：

第一确定模块，用于确定待控制租户对应的流量配额阈值；

第二确定模块，用于根据所述流量配额阈值，确定所述待控制租户的子级操作单元的流量速率；

控制模块，用于根据所述子级操作单元的流量速率，控制所述子级操作单元的各个通道的流量速率阈值，以基于所述流量速率阈值对各个通道对应的流量进行控制。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述权利要求1至8任一项提供的流量控制方法。

Images