CN113411230B - 基于容器的带宽控制方法、装置、分布式系统及存储介质 - Google Patents

Abstract

本发明实施例提出一种基于容器的带宽控制方法、装置、分布式系统及存储介质，涉及计算机技术领域。该方法应用于管理设备，包括：为每个容器配置独立带宽包或共享带宽包；其中，独立带宽包与在线任务一一对应，独立带宽包表征容器被用于执行在线任务时的带宽上限信息；共享带宽包与至少一个离线任务对应，共享带宽包表征容器被用于执行至少一个离线任务时的带宽上限信息；根据全部独立带宽包和共享带宽包，对全部容器被用于执行在线任务或离线任务时的带宽使用情况进行监控。由于一个独立带宽包对应一个在线任务，一个共享带宽包对应至少一个离线任务，故通过监测带宽使用情况，可以提高节点中网络的稳定性以及网络资源的利用率。

Description

基于容器的带宽控制方法、装置、分布式系统及存储介质

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于容器的带宽控制方法、装置、分布式系统及存储介质。

背景技术

随着计算机技术的发展，容器被广泛使用，同时，基于容器技术的分布式系统也被广泛运用。该分布式系统指的是将任务容器集群中部署，并且针对每个容器，会配置一个带宽包。

随着节点设备上的容器密度的增长，以及容器集群中的容器数量的增长，对带宽包进行限速时，容易出现带宽无法合理调整以及流量控制不灵活的问题。

发明内容

有鉴于此，本发明的目的在于提供一种方法、基于容器的带宽控制装置、分布式系统和计算机可读存储介质。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供根据权利要求1所述的方法，在所述根据全部所述独立带宽包和所述共享带宽包，对全部所述容器被用于执行所述在线任务或所述离线任务时的带宽使用情况进行监控的步骤之后，还包括：

当所述带宽使用情况满足限速条件时，确定待限速任务所属的任务类型；所述待限速任务为全部所述在线任务和所述离线任务中的至少一个；

当所述待限速任务为在线任务时，根据独立限速规则和所述待限速任务对应的独立带宽包，对所述待限速任务进行限速；

当所述待限速任务为离线任务时，根据共享限速规则和所述共享带宽包，对所述待限速任务进行限速。

在可选的实施方式中，在所述根据全部所述独立带宽包和所述共享带宽包，对全部所述容器被用于执行所述在线任务或所述离线任务时的带宽使用情况进行监控的步骤之后，还包括：

当所述带宽使用情况满足带宽空闲条件时，对所述至少一个离线任务的可用带宽上限信息进行上调，上调后的可用带宽上限信息小于或等于所述共享带宽包。

在可选的实施方式中，所述当所述带宽使用情况满足带宽空闲条件时，对所述至少一个离线任务的可用带宽上限信息进行上调的步骤，包括：

判断全部所述在线任务的当前带宽使用量是否小于带宽空闲阈值；

若是，则对所述至少一个离线任务的可用带宽上限信息进行上调。

在可选的实施方式中，还包括：

接收用户的带宽调整请求；

当存在与所述带宽调整请求对应的容器时，根据所述带宽调整请求对所述容器对应的所述独立带宽包或所述共享带宽包进行调整。

在可选的实施方式中，所述当存在与所述带宽调整请求对应的容器时，根据所述带宽调整请求对所述容器对应的所述独立带宽包或所述共享带宽包进行调整的步骤，还包括：

当所述带宽调整请求用于指示更换带宽包时，则将所述容器对应的独立带宽包更换为目标带宽包，所述目标带宽包为所述带宽调整请求指示的独立带宽包或共享带宽包；

当所述带宽调整请求用于指示修改带宽包时，则对所述容器对应的独立带宽包或共享带宽包进行带宽上限信息的修改。

第二方面，本发明提供一种基于容器的带宽控制装置，所述装置包括：

配置模块，用于为每个容器配置独立带宽包或共享带宽包；其中，所述独立带宽包与在线任务一一对应，所述独立带宽包表征所述容器被用于执行所述在线任务时的带宽上限信息；所述共享带宽包与至少一个离线任务对应，所述共享带宽包表征所述容器被用于执行至少一个所述离线任务时的带宽上限信息；

监测模块，用于根据全部所述独立带宽包和所述共享带宽包，对全部所述容器被用于执行所述在线任务或所述离线任务时的带宽使用情况进行监控。

在可选的实施方式中，所述装置还包括：

限速模块，用于当所述带宽使用情况满足限速条件时，确定待限速任务所属的任务类型；所述待限速任务为全部所述在线任务和所述离线任务中的至少一个；

所述限速模块，还具体用于当所述待限速任务为在线任务时，根据独立限速规则和所述待限速任务对应的独立带宽包，对所述待限速任务进行限速；当所述待限速任务为离线任务时，根据共享限速规则和所述共享带宽包，对所述待限速任务进行限速。

在可选的实施方式中，所述限速模块还用于当所述带宽使用情况满足带宽空闲条件时，对所述至少一个离线任务的可用带宽上限信息进行上调，上调后的可用带宽上限信息小于或等于所述共享带宽包。

在可选的实施方式中，所述限速模块还具体用于判断全部所述在线任务的当前带宽使用量是否小于带宽空闲阈值；

若是，则对所述至少一个离线任务的可用带宽上限信息进行上调。

在可选的实施方式中，所述装置还包括调整模块，用于接收用户的带宽调整请求；当存在与所述带宽调整请求对应的容器时，根据所述带宽调整请求对所述容器对应的所述独立带宽包或所述共享带宽包进行调整。

在可选的实施方式中，所述调整模块还具体用于当所述带宽调整请求用于指示更换带宽包时，则将所述容器对应的独立带宽包更换为目标带宽包，所述目标带宽包为所述带宽调整请求指示的独立带宽包或共享带宽包；当所述带宽调整请求用于指示修改带宽包时，则对所述容器对应的独立带宽包或共享带宽包进行带宽上限信息的修改。

第三方面，本发明提供一种分布式系统，包括前述实施方式中任意一项所述的基于容器的带宽控制装置。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的容器的流量限速方法的步骤。

本发明实施例提供的方法、基于容器的带宽控制装置、分布式系统和计算机可读存储介质，该方法应用于管理设备，包括：为每个容器配置独立带宽包或共享带宽包；其中，独立带宽包与在线任务一一对应，独立带宽包表征容器被用于执行在线任务时的带宽上限信息；共享带宽包与至少一个离线任务对应，共享带宽包表征容器被用于执行至少一个离线任务时的带宽上限信息；根据全部独立带宽包和共享带宽包，对全部容器被用于执行在线任务或离线任务时的带宽使用情况进行监控。由于一个独立带宽包对应一个在线任务，一个共享带宽包对应至少一个离线任务，故通过监测带宽使用情况，可以提高节点中网络的稳定性以及网络资源的利用率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的管理设备的一种方框示意图；

图2示出了本发明实施例提供的一种基于容器技术的分布式系统架构示意图；

图3示出了本发明实施例提供的另一种基于容器技术的分布式系统架构示意图；

图4示出了本发明实施例提供的一种基于容器的带宽控制方法的流程示意图；

图5示出了本发明实施例提供的另一种基于容器的带宽控制方法的流程示意图；

图6示出了本发明实施例提供的一种对该待限速任务进行限速的流程示意图；

图7示出了本发明实施例提供的另一种基于容器的带宽控制方法的流程示意图；

图8示出了本发明实施例提供的另一种对该待限速任务进行限速的流程示意图；

图9示出了本发明实施例提供的一种调整带宽包的流程示意图；

图10示出了本发明实施例提供的另一种基于容器技术的分布式系统架构示意图；

图11示出了本发明实施例提供的一种基于容器的带宽控制装置的功能模块图；

图12示出了本发明实施例提供的另一种基于容器的带宽控制装置的功能模块图。

图标：100-管理设备；200-基于容器的带宽控制装置；110-第一存储器；120-处理器；10-管理控制中心；101-API服务器；102-第二存储器；103-运行管理控制器；104-云控制器管理器；105-调度器；11-节点集群；130-通信模块；210-配置模块；220-监测模块；230-限速模块；240-调整模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参照图1，是管理设备100的方框示意图。管理设备100包括第一存储器110、处理器120及通信模块130。第一存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，第一存储器110用于存储程序或者数据。第一存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。

处理器120用于读/写存储器中存储的数据或程序，并执行相应地功能。

通信模块130用于通过网络建立管理设备100与其它通信终端之间的通信连接，并用于通过网络收发数据。

应当理解的是，图1所示的结构仅为管理设备100的结构示意图，管理设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器120执行时可以实现本发明实施例揭示的基于容器的带宽控制方法。

在一种可能的实现方式中，图1所示的管理设备100，可用于构建基于容器技术的分布式系统，以实现基于容器的带宽控制方法。

图2为一种基于容器技术的分布式系统架构示意图，该基于容器技术的分布式系统可以为Kubernetes(k8s)、Aurora、Marathon等。本发明实施例以k8s作为示例进行说明，显然该方法的技术方案也可以在不进行创造性劳动的条件下，应用于其他基于容器技术的分布式系统上。

参见图2，该架构包括但不限于：管理控制中心10和节点集群11。

其中，管理控制中心10可以在节点集群11中的任何节点上运行。通常其在一台宿主机或实体设备上运行该管理控制中心10。

该管理控制中心10包括但不限于：API服务器101、第二存储器102、运行管理控制器103、云控制器管理器104和调度器105。

其中，API服务器101用于与节点集群11中的节点提供交互接口，以便实现资源请求/调用操作。

可选地，该API服务器101还可以具备与用户交互的端口。

第二存储器102，为该系统默认的存储系统，用于存储所有该节点集群11的数据。

运行管理控制器103，用于处理节点集群11常规任务的后台线程。

云控制器管理器104，用于与底层云的平台系统进行交互。

调度器105，用于监视新创建没有分配到节点的最小进程单元(Plain old datastructure,POD)，并为该最小进程单元选择一个节点。

具体的，该最小进程单元代表集群上正在运行的一个进程。一个POD封装一个应用容器(也可以有多个容器)，存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。POD代表部署的一个单位：单个应用的实例，它可能是由单个容器或多个容器共享组成的资源。

继续参见图2，该节点集群11可以包含一个或多个节点，每一个节点上至少包含容器和独立带宽包。

其中，该容器用于执行任务，由于不同的使用环境，上述任务可以被划分为在线任务与离线任务，其中在线任务是运行在表层的任务，具有支撑现网中正在运行的业务的特点，因此需要网络流量保持稳定；而离线任务是运行在底层的任务，在运行时需要大量流量，且该离线任务可在运行期间被暂停，在下次启动时并不影响在暂停前已完成的任务内容。

对于上述架构，其为了能够对不同任务的带宽使用情况进行控制，一般为每个任务配置一个对应的独立带宽包；该独立带宽包表征容器被用于执行任务时的带宽上限信息；

基于每个任务的独立带宽包，可以基于当前网络的带宽使用情况对网络流量进行控制。

因此，当针对全部任务配置彼此独立的独立带宽包时，存在如下情况：

当多个离线任务同时处于运行高峰时，会造成运行流量突增，从而导致节点网卡处于高负载状态，该状态会引起在线任务的网络发生故障，该故障包括网卡丢包和正在运行的软件被中断等。

另一方面，当在线任务运行状态处于低峰期时，大量网络资源会处于未使用的状态，该现象会造成网络资源浪费且利用率低的问题。

综上可知，由于上述架构为每个任务分别配置彼此独立的独立带宽包，导致节点网卡处于高负载状态或网络资源利用率低。为了避免上述技术问题，本方案通过提出共享带宽包的概念，基于任务不同的类型，分别为在线任务配置独立带宽包，为离线任务配置共享带宽包，进而基于在线任务和离线任务的流量使用情况对带宽进行监控和控制，从而提高了在线任务的稳定性以及网络资源的利用率。

在一种可能的实现方式中，图3为另一种基于容器技术的分布式系统架构示意图，参见图3，其在图2的基础上，为不同的任务配置不同的带宽包，具体的：

针对执行在线任务的容器，对应配置彼此独立的独立带宽包，该独立带宽包仅用于运行在线任务。例如，在图3中，容器1和容器2都用于执行在线任务，这些容器所配置的带宽包则为独立带宽包。

针对执行离线任务的容器，配置共享带宽包，该共享带宽包用于运行至少一个离线任务。需要说明的是，一个节点中包含至少一个共享带宽包。例如，在图3中，容器3、容器4和容器5都用于执行离线任务，这些容器所配置的带宽包则为共享带宽包；并且可以看出，容器3和容器4共用一个共享带宽包，容器5用的是另一个共享带宽包。

以图3所示的架构为例，下面提供一种基于容器的带宽控制方法，可能的实现方式，具体的，图4为本发明实施例提供的一种基于容器的带宽控制方法的流程示意图，参见图4，该方法包括：

步骤100、为每个容器配置独立带宽包或共享带宽包；

其中，独立带宽包与在线任务一一对应，独立带宽包表征容器被用于执行在线任务时的带宽上限信息；共享带宽包与至少一个离线任务对应，共享带宽包表征容器被用于执行至少一个离线任务时的带宽上限信息。

在本实施例中，每个容器配置的带宽包，表征该容器在执行任务时所能运用的带宽上限。例如，若在当前节点的网卡上限是10GB，并且在该节点中有2个在线任务以及至少一个离线任务，而每个在线任务的独立带宽包上限设定为2GB，离线任务的共享带宽包上限设定为6GB，表征容器在执行在线任务时的执行流量不超过2GB，在执行离线任务时的执行流量不超过10GB。

步骤102、根据全部独立带宽包和共享带宽包，对全部容器被用于执行在线任务或离线任务时的带宽使用情况进行监控。

本发明实施例，通过给容器配置独立带宽包或共享带宽包，其中，该独立带宽包与在线任务一一对应该，共享带宽包与至少一个离线任务对应，并且监控所有被用于执行在线任务或离线任务的容器的带宽使用情况，提高了节点网络的稳定性以及网络资源的利用率。

进一步的，对于带宽使用情况进行监控，可能会在线任务和离线任务的流量使用情况达到网卡负载上限，造成网络故障的问题，为了能够对离线任务的共享带宽包进行控制，该方法还包括针对带宽的限速方案，可选地，在图4的基础上，图5为本发明实施例提供的另一种基于容器的带宽控制方法的流程示意图，参见图5，在步骤102之后，还包括：

步骤104、当带宽使用情况满足限速条件时，确定待限速任务所属的任务类型；

具体的，待限速任务为全部在线任务和离线任务中的至少一个；

步骤106、当待限速任务为在线任务时，根据独立限速规则和待限速任务对应的独立带宽包，对待限速任务进行限速；

步骤108、当待限速任务为离线任务时，根据共享限速规则和共享带宽包，对待限速任务进行限速。

针对上文所述限速条件，其可以具有多种实现形式，下面提供2种可能的实现方式：

方式一，在执行流量之和大于预设流量阈值的情况下，则判定该节点中的网卡处于高负载状态，那么，管理设备会对包含了至少一个离线任务的共享带宽包上限进行下调操作；其中，执行流量之和为所有容器在执行在线任务和离线任务时所用的流量总和，预设流量阈值为预先设置的保证网卡出现处于高负载现象的稳定值。

例如，若预设流量阈值为网卡负载上限的百分之九十，离线任务的共享带宽包上限为6GB，也就是说，当网卡负载上限是10GB时，预设流量阈值则为9GB。此时，若执行流量之和为9.5GB，则管理设备会判定该节点中的网卡处于高负载状态，并且会对该节点中的共享带宽包的流量带宽包上限进行下调，从6GB下调至4GB，从而确保该节点中的网卡不会处于高负载状态且保证了容器在执行在线任务时的稳定性。

需要说明的是，上述的预设流量阈值、监测周期、离线任务的共享带宽包上限和下调的取值仅为一种示例，在实际应用中，本领域技术人员可以根据实际情况设置，本申请对此不进行限定。

方式二，在执行流量之和大于预设流量阈值且持续三个监测周期的情况下，则判定该节点中的网卡处于高负载状态，那么，管理设备会对包含了至少一个离线任务的共享带宽包上限进行下调操作；其中，执行流量之和为所有容器在执行在线任务和离线任务时所用的流量总和，预设流量阈值为预先设置的保证网卡出现处于高负载现象的稳定值，以及监测周期为监控所有容器在执行在线任务和离线任务时的时间。

例如，若预设流量阈值为网卡负载上限的百分之九十，监测周期为1分钟，离线任务的共享带宽包上限为6GB，也就是说，当网卡负载上限是10GB时，预设流量阈值则为9GB。此时，若执行流量之和为9.5GB，并且该现象持续了3分钟，则管理设备会判定该节点中的网卡处于高负载状态，并且会对该节点中的共享带宽包的流量带宽包上限进行下调，从6GB下调至4GB，从而确保该节点中的网卡不会处于高负载状态且保证了容器在执行在线任务时的稳定性。

需要说明的是，上述的预设流量阈值、监测周期、离线任务的共享带宽包上限和下调的取值仅为一种示例，在实际应用中，本领域技术人员可以根据实际情况设置，本申请对此不进行限定。

通过判定待限速任务的任务类型，该任务类型包括了在线任务和离线任务，对不同的任务执行对应的限速处理，从而保障了容器在执行在线任务的时网络带宽的稳定性。

为了识别该待限速任务的类型，进而对该待限速任务进行限速，下面针对上述步骤104至步骤108，给出一种可能的实现方式，具体的，图6为一种对该待限速任务进行限速的流程示意图，参见图6，该方法包括：

步骤601、当监测到报文进入网络命名空间时，判断报文的待收发状态。

在本实施例中，容器在网络命名空间中执行任务。其中，网络命名空间(NetNamespace，Netns)是Linux提供的一种内核级别网络环境隔离的方法，不同网络命名空间拥有不同的网络协议栈，包括网卡、路由表等。

在监测到有报文进入网络命名空间后，会获取该报文的源IP，并根据源IP判断该报文是待接收状态还是待发送状态。

其中，待接收状态表征从网络命名空间外部发送至内部，待发送状态表征从网络命名空间内部发送至外部。

步骤602、若报文是待发送状态，则检测报文是否匹配限速规则；若报文是待接收状态，则放行报文。

在本实施例中，限速规则代表的是带宽包，该带宽包包括独立带宽包和共享带宽包。也就是说，在确定报文是待发送状态的情况下，检测该报文是否匹配带宽包；在确定报文是待接收状态的情况下，则不对报文做限速处理，且该报文按照原本的传输路径继续传输。

步骤603、若报文是待发送状态且未匹配限速规则，则放行报文；若报文是待发送状态且匹配限速规则，则判断限速规则的类型，并根据该类型对报文做限速处理。

在本实施例中，在确定报文是待发送状态且未匹配带宽包的情况下，则不对报文做限速处理，且该报文按照原本的传输路径继续传输。

在一种可能的实现方式中，为了对在线任务和离线任务的带宽使用进行限制，引入令牌桶来评估流量使用是否超过了规定值，具体的，针对报文所匹配的带宽包类型，存在不同的情况：

情况一：

在确定报文是待发送状态且匹配带宽包的情况下，则判断该报文匹配的带宽包类型。若该报文匹配的是独立带宽包，则获取该报文的数据量大小，并将该报文的数据量与独立限速令牌桶中现有的令牌数进行比较。

其中，独立限速令牌桶用于限制匹配了独立带宽包的报文中所能传输的数据量。

若该报文的数据量小于或等于独立限速令牌桶中现有的令牌数，则从独立限速令牌桶中消耗与该报文的数据量一致的令牌，从而该报文中的数据能被发送；

若该报文的数据量大于独立限速令牌桶中现有的令牌数，则将独立限速令牌桶中现有的全部令牌用于对该报文，以使该报文中的部分数据能被发送，而针对该报文的数据量中多于独立限速令牌桶中令牌数的部分，做丢弃处理。其中，独立限速令牌桶中的令牌数为允许报文传输的最大数据量。

例如，独立限速令牌桶中现有的令牌数为2048比特，此时报文中的数据量大小为1024比特，那么会从令牌桶中消耗1024比特的令牌数，以使该报文中的全部数据能够被发送。若该报文中的数据量大小为3072比特，此时，会从令牌桶中消耗2048比特，以使该报文中2048比特数据能被继续发送。而多出的数据量为1024比特，该多出的数据量通过用3072比特减去2048比特所得到，此时，由于独立限速令牌桶中没有足够的令牌数可用于完成多出的数据量的发送，则对多出的数据量做丢弃处理。需要说明的是，上述的独立限速令牌桶中现有的令牌数和报文中的数据量大小的取值仅为一种示例，在实际应用中，本领域技术人员可以根据实际情况设置，本申请对此不进行限定。

情况二：

若该报文匹配的是共享带宽包，则获取该报文的数据量大小，并将该报文的数据量与共享限速令牌桶中现有的令牌数进行比较。

其中，共享限速令牌桶用于限制匹配了共享带宽包的报文中所能传输的数据量。

若该报文的数据量小于或等于共享限速令牌桶中现有的令牌数，则从共享限速令牌桶中消耗与该报文的数据量一致的令牌，从而该报文中的数据能被发送；

若该报文的数据量大于共享限速令牌桶中现有的令牌数，则将共享限速令牌桶中现有的全部令牌用于对该报文，以使该报文中的部分数据能被发送，而针对该报文的数据量中多于共享限速令牌桶中令牌数的部分，做丢弃处理。其中，共享限速令牌桶中的令牌数为允许报文传输的最大数据量。

在本实施例中，管理设备会对限速令牌桶预设一个填充时间，该填充时间表征每过一段时间，就会检查限速令牌桶中现有的令牌数量与该限速令牌桶可存储的最大令牌数是否相同，若限速令牌桶中现有的令牌数量与该限速令牌桶可存储的最大令牌数不相同，则向该限速令牌桶中添加令牌，直至达到限速令牌桶可存储的最大令牌数；若限速令牌桶中现有的令牌数量与该限速令牌桶可存储的最大令牌数相同，则不做任何操作。

其中，限速令牌桶包括独立限速令牌桶和共享限速令牌桶，本领域技术人员可根据实际情况设置填充时间的具体时间值。

此外，若在上一次使用限速令牌桶时，已消耗了该限速令牌桶中的所有令牌，并且还未到填充时间，就监测到新的报文需要使用令牌，此时，可计算现在的时间点与上一次消耗限速令牌桶中所有令牌的时间点的差值，并计算该差值与填充时间的比值，然后用该比值乘以限速令牌桶可存储的最大令牌数，得到当前时间可填充的令牌数，并使用当前时间可填充的令牌数。

进一步地，在对离线任务的流量带宽包上限进行调整时，共享限速令牌桶中的最大令牌数也会跟着发生改变，根据调整的带宽值为增加或减少NGB，共享限速令牌桶中最大令牌数也会跟着增加或减少N*1024*1024*1024bits。其中，N*1024*1024*1024bits由NGB＝N*1024Mb＝N*1024*1024kb所得到。

在另一种场景中，当图3中的网络架构的带宽使用相对处于空闲情况时，为了能够更加有效的利用空闲的带宽资源，下面提供一种可能的实现方式，具体的，在图4的基础上，图7为另一种基于容器的带宽控制方法的流程示意图，参见图7，在步骤102之后，还包括：

步骤110、当带宽使用情况满足带宽空闲条件时，对至少一个离线任务的可用带宽上限信息进行上调；

其中，上调后的可用带宽上限信息小于或等于共享带宽包。

通过监测所有在线任务的流量使用情况，当在线任务的流量使用情况处于低负载状态时，对离线任务的流量限速上限在不超过共享带宽包上限的情况下进行上调，以使空闲的网络资源能被充分利用，提高了网络资源的利用率。

可选地，为了能够实现对带宽使用情况是否满足带宽空闲条件的判断，下面给出一种可能的实现方式，在图7的基础上，图8为另一种对该待限速任务进行限速的流程示意图，参见图8，步骤110，包括：

步骤110-1判断全部在线任务的当前带宽使用量是否小于带宽空闲阈值；

步骤110-2若是，则对至少一个离线任务的可用带宽上限信息进行上调。

具体的，在在线任务的执行流量之和小于预设带宽空闲阈值且持续三个监测周期的情况下，则判定该节点中的独立带宽包处于低负载状态，那么，管理设备会对包含了至少一个离线任务的共享带宽包上限进行上调操作；其中，在线任务的执行流量之和为所有容器在执行在线任务时所用的流量总和，预设带宽空闲阈值为预先设置的用于判断在线任务是否处于低负载状态。

例如，若预设带宽空闲阈值为网卡负载上限的百分之十，监测周期为1分钟，共享带宽包在配置时分配的带宽上限是6GB，离线任务的共享带宽包现在配置的上限为4GB，也就是说，若网卡负载上限是10GB时，预设带宽空闲阈值则为1GB。此时，若在线任务的执行流量之和为0.5GB，并且该现象持续了3分钟，则管理设备会判定该节点中的在线任务处于低负载状态，并且会对该节点中的共享带宽包上限进行上调，从4GB上调至6GB，从而确保当在线任务处于低负载状态时未被使用的网络资源能被充分利用。需要说明的是，上述的预设带宽空闲阈值、监测周期、共享带宽包的带宽上限和上调的取值仅为一种示例，在实际应用中，本领域技术人员可以根据实际情况设置，本申请对此不进行限定。其中，调整离线任务的共享带宽包上限时，所上调的最大值不会超过在一开始配置共享带宽包时设定的上限。

可选地，为了能够实现对上述带宽使用情况监控，在一种可能的实现方式中，本申请还引入“网络流量潮汐曲线”的概念，具体的：实时采集节点带宽使用情况、丢包、应用程序中断和连接数等指标，利用采集到的上述指标制作网络流量潮汐曲线，可以实时分析在线任务的带宽使用情况以及带宽需求，判断在执行在线任务时，哪个时间段需要大量带宽，以及哪个时间不需要或只需少量带宽。值得说明的是，该带宽使用情况指的是上文所述的全部在线任务的当前带宽使用量是否小于带宽空闲阈值。于是，在在线任务处于低负载状态时调整离线任务的共享带宽包上限，从而复用空闲的网络资源，提高网络资源的利用率。

可选地，对于上述不同任务配置的独立带宽包与共享带宽包，还可以基于用户的需求，对其进行调整，下面提供一种可能的实现方式，在图4的基础上，图9为一种调整带宽包的流程示意图，参见图9，还包括：

步骤112、接收用户的带宽调整请求；

步骤114、当存在与带宽调整请求对应的容器时，根据带宽调整请求对容器对应的独立带宽包或共享带宽包进行调整。

需要说明的是，该步骤112及114，图9并不对与其执行时序进行限定，以及该步骤112及114可以执行与上述实施例的方案执行的任意一个时刻。

可选地，对于带宽调整的方式，下面给出一种可能的实现方式：

当带宽调整请求用于指示更换带宽包时，则将容器对应的独立带宽包更换为目标带宽包，目标带宽包为带宽调整请求指示的独立带宽包或共享带宽包；

当带宽调整请求用于指示修改带宽包时，则对容器对应的独立带宽包或共享带宽包进行带宽上限信息的修改。

具体的，当收到用户请求后，会在节点中确定与用户请求对应的容器，在确定之后，通过调用API服务器101中的API接口完成该用户请求。

此时，在用户请求是调整带宽包的情况下，若用户请求中要求的目标带宽包为共享带宽包，则将该容器对应的独立带宽包调整至共享带宽包；若用户请求中要求的目标带宽包为独立带宽包，则不需对容器对应的带宽包做调整。

在用户请求是修改带宽包的情况下，根据用户请求中所要求修改的带宽包大小，对应修改该容器所对用的独立带宽包或共享带宽包的上限大小。

进一步的，为了实现上述步骤100～步骤114的功能，本申请引入“网络流量限速控制面服务”、“流量实时分析及预测服务”、“网络流量限速服务”的概念，下面给出一种可能的实现方式，具体的，参见图10：

在本实施例中，网络流量限速控制面服务用于接收用户请求，并通过API服务器101确定与用户请求对应的容器。此外，还可以通过k8s watch实时监测节点中新增的容器。

可选地，该网络流量限速控制面服务还用于针对用户请求，下发与用户请求对应的指令至网络流量限速服务Agent。

进一步地，流量实时分析及预测服务用于实时采集节点带宽使用情况、丢包、应用程序中断和连接数等指标，利用采集到的上述指标制作网络流量潮汐曲线，可以实时分析在线任务的带宽需求，在在线任务处于低负载状态时调整离线任务的共享带宽包上限，从而复用空闲的网络资源，提高网络资源的利用率。

此外，流量实时分析及预测服务在监测到需要调整离线任务的共享带宽包时，会通过调用网络流量限速服务Agent的远程过程调用(Remote Procedure Call，RPC)接口对离线任务的共享带宽包上限进行调整。其中，对离线任务的共享带宽包上限的调整不超过该共享带宽包在最开始配置时的带宽上限。

进一步地，网络流量限速服务包括了两个模块，一个是网络流量限速服务Agent，另一个是处于内核模块的网络流量限速服务。

可选地，网络流量限速服务Agent用于接收网络流量限速控制面服务下发的指令，并将该指令转发至内核模块的网络流量限速服务。

可选地，内核模块的网络流量限速服务用于执行接收到的网络流量限速控制面服务下发的指令，包括更换带宽包，修改带宽包及对离线任务的共享带宽包上限进行修改。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种基于容器的带宽控制装置的实现方式，请参阅图11，图11为本发明实施例提供的一种基于容器的带宽控制装置200的功能模块图。需要说明的是，本实施例所提供的基于容器的带宽控制装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该基于容器的带宽控制装置包括：配置模块210和监测模块220。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图11所示的第一存储器110中或固化于该管理设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器中。

该配置模块210，用于给创建的容器配置独立带宽包或共享带宽包；其中，一个独立带宽包对应一个在线任务，一个共享带宽包对应至少一个离线任务；若容器执行一个在线任务，独立带宽包为容器执行在线任务时的带宽上限；若容器执行至少一个离线任务，共享带宽包为容器执行离线任务时的带宽上限。

可以理解，该配置模块可以执行上述步骤100。

该监测模块220，用于监测在线任务和离线任务的流量使用情况。

可以理解，该监测模块可以执行上述步骤102。

通过配置模块给容器配置独立带宽包或共享带宽包，其中，该独立带宽包与在线任务一一对应该，共享带宽包与至少一个离线任务对应，并且利用监测模块监控所有被用于执行在线任务或离线任务的容器的带宽使用情况，提高了节点网络的稳定性以及网络资源的利用率。

可选地，如图12所示，该基于容器的带宽控制装置200该包括限速模块230和调整模块240。

该限速模块230，用于当带宽使用情况满足限速条件时，确定待限速任务所属的任务类型；待限速任务为全部在线任务和离线任务中的至少一个。

可选地，该限速模块230具体还用于当待限速任务为在线任务时，根据独立限速规则和待限速任务对应的独立带宽包，对待限速任务进行限速；当待限速任务为离线任务时，根据共享限速规则和共享带宽包，对待限速任务进行限速。

可以理解，该限速模块可以执行上述步骤104～108。

限速模块230还用于当带宽使用情况满足带宽空闲条件时，对至少一个离线任务的可用带宽上限信息进行上调，上调后的可用带宽上限信息小于或等于共享带宽包。

可选地，限速模块还具体用于判断全部在线任务的当前带宽使用量是否小于带宽空闲阈值；

若是，则对至少一个离线任务的可用带宽上限信息进行上调。

可以理解，该限速模块还可以执行上述步骤110～110-2。

该调整模块240，用于接收用户的带宽调整请求；当存在与带宽调整请求对应的容器时，根据带宽调整请求对容器对应的独立带宽包或共享带宽包进行调整。

可选地，调整模块240具体还用于当带宽调整请求用于指示更换带宽包时，则将容器对应的独立带宽包更换为目标带宽包，目标带宽包为带宽调整请求指示的独立带宽包或共享带宽包；当带宽调整请求用于指示修改带宽包时，则对容器对应的独立带宽包或共享带宽包进行带宽上限信息的修改。

可以理解，该调整模块可以执行上述步骤112～114。

本发明实施例提供的基于容器的带宽控制装置，通过配置模块为每个容器配置独立带宽包或共享带宽包；其中，独立带宽包与在线任务一一对应，独立带宽包表征容器被用于执行在线任务时的带宽上限信息；共享带宽包与至少一个离线任务对应，共享带宽包表征容器被用于执行至少一个离线任务时的带宽上限信息；监测模块根据全部独立带宽包和共享带宽包，对全部容器被用于执行在线任务或离线任务时的带宽使用情况进行监控。由于一个独立带宽包对应一个在线任务，一个共享带宽包对应至少一个离线任务，故通过监测带宽使用情况，可以提高节点中网络的稳定性以及网络资源的利用率。

在本实施例中，上述提供的基于容器的带宽控制装置可以被部署在分布式系统上，可实现提高节点中网络的稳定性以及网络资源的利用率，该系统可以采用上述图3所示的结构。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，管理设备100，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于容器的带宽控制方法，其特征在于，应用于管理设备，包括：

为每个容器配置独立带宽包或共享带宽包；其中，所述独立带宽包与在线任务一一对应，所述独立带宽包表征所述容器被用于执行所述在线任务时的带宽上限信息；所述共享带宽包与至少一个离线任务对应，所述共享带宽包表征所述容器被用于执行至少一个所述离线任务时的带宽上限信息；所述在线任务表示运行在表层的任务，所述离线任务表示运行在底层的任务；

根据全部所述独立带宽包和所述共享带宽包，对全部所述容器被用于执行所述在线任务或所述离线任务时的带宽使用情况进行监控。

2.根据权利要求1所述的方法，其特征在于，在所述根据全部所述独立带宽包和所述共享带宽包，对全部所述容器被用于执行所述在线任务或所述离线任务时的带宽使用情况进行监控的步骤之后，还包括：

当所述带宽使用情况满足限速条件时，确定待限速任务所属的任务类型；所述待限速任务为全部所述在线任务和所述离线任务中的至少一个；

当所述待限速任务为在线任务时，根据独立限速规则和所述待限速任务对应的独立带宽包，对所述待限速任务进行限速；

当所述待限速任务为离线任务时，根据共享限速规则和所述共享带宽包，对所述待限速任务进行限速。

3.根据权利要求1所述的方法，其特征在于，在所述根据全部所述独立带宽包和所述共享带宽包，对全部所述容器被用于执行所述在线任务或所述离线任务时的带宽使用情况进行监控的步骤之后，还包括：

当所述带宽使用情况满足带宽空闲条件时，对所述至少一个离线任务的可用带宽上限信息进行上调，上调后的可用带宽上限信息小于或等于所述共享带宽包。

4.根据权利要求3所述的方法，其特征在于，所述当所述带宽使用情况满足带宽空闲条件时，对所述至少一个离线任务的可用带宽上限信息进行上调的步骤，包括：

判断全部所述在线任务的当前带宽使用量是否小于带宽空闲阈值；

若是，则对所述至少一个离线任务的可用带宽上限信息进行上调。

5.根据权利要求1所述的方法，其特征在于，还包括：

接收用户的带宽调整请求；

当存在与所述带宽调整请求对应的容器时，根据所述带宽调整请求对所述容器对应的所述独立带宽包或所述共享带宽包进行调整。

6.根据权利要求5所述的方法，其特征在于，所述当存在与所述带宽调整请求对应的容器时，根据所述带宽调整请求对所述容器对应的所述独立带宽包或所述共享带宽包进行调整的步骤，还包括：

当所述带宽调整请求用于指示更换带宽包时，则将所述容器对应的独立带宽包更换为目标带宽包，所述目标带宽包为所述带宽调整请求指示的独立带宽包或共享带宽包；

当所述带宽调整请求用于指示修改带宽包时，则对所述容器对应的独立带宽包或共享带宽包进行带宽上限信息的修改。

7.一种基于容器的带宽控制装置，其特征在于，所述装置包括：

配置模块，用于为每个容器配置独立带宽包或共享带宽包；其中，所述独立带宽包与在线任务一一对应，所述独立带宽包表征所述容器被用于执行所述在线任务时的带宽上限信息；所述共享带宽包与至少一个离线任务对应，所述共享带宽包表征所述容器被用于执行至少一个所述离线任务时的带宽上限信息；所述在线任务表示运行在表层的任务，所述离线任务表示运行在底层的任务；

监测模块，用于根据全部所述独立带宽包和所述共享带宽包，对全部所述容器被用于执行所述在线任务或所述离线任务时的带宽使用情况进行监控。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

限速模块，用于当所述带宽使用情况满足限速条件时，确定待限速任务所属的任务类型；所述待限速任务为全部所述在线任务和所述离线任务中的至少一个；

所述限速模块，还具体用于当所述待限速任务为在线任务时，根据独立限速规则和所述待限速任务对应的独立带宽包，对所述待限速任务进行限速；当所述待限速任务为离线任务时，根据共享限速规则和所述共享带宽包，对所述待限速任务进行限速。

9.根据权利要求8所述的装置，其特征在于，所述限速模块还用于当所述带宽使用情况满足带宽空闲条件时，对所述至少一个离线任务的可用带宽上限信息进行上调，上调后的可用带宽上限信息小于或等于所述共享带宽包。

10.根据权利要求9所述的装置，其特征在于，所述限速模块还具体用于判断全部所述在线任务的当前带宽使用量是否小于带宽空闲阈值；

若是，则对所述至少一个离线任务的可用带宽上限信息进行上调。

11.根据权利要求7所述的装置，其特征在于，所述装置还包括调整模块，用于接收用户的带宽调整请求；当存在与所述带宽调整请求对应的容器时，根据所述带宽调整请求对所述容器对应的所述独立带宽包或所述共享带宽包进行调整。

12.根据权利要求11所述的装置，其特征在于，所述调整模块还具体用于当所述带宽调整请求用于指示更换带宽包时，则将所述容器对应的独立带宽包更换为目标带宽包，所述目标带宽包为所述带宽调整请求指示的独立带宽包或共享带宽包；当所述带宽调整请求用于指示修改带宽包时，则对所述容器对应的独立带宽包或共享带宽包进行带宽上限信息的修改。

13.一种分布式系统，其特征在于，包括权利要求7-12中任意一项所述的基于容器的带宽控制装置。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于容器的带宽控制方法的步骤。

Images