CN113485792B - 一种kubernetes集群内Pod调度方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种kubernetes集群内Pod调度方法、终端设备及存储介质，该方法中包括：S1：采集多个连续的时间窗口片段对应的集群内所有Pod之间网络的连接关系，并将连接关系转换为有向无环图，将所有时间窗口片段对应的有向无环图组成训练集；S2：根据有向无环图提取交易区块特征；S3：构建LSTM网络模型，通过训练集对LSTM网络模型进行训练；LSTM网络模型的输入和输出分别为相邻的两个时间窗口片段中前一个和后一个对应的交易区块特征；S4：通过训练后的LSTM网络模型对下一个时间窗口片段对应的交易区块特征进行预测，根据预测结果生成Pod调度规则，按照生成的Pod调度规则进行Pod调度。本发明提高了对于系统自身对于流量均衡的感知速度和应对突发状况的冗余度。

Description

一种kubernetes集群内Pod调度方法、终端设备及存储介质

技术领域

本发明涉及容器技术领域，尤其涉及一种kubernetes集群内Pod调度方法、终端设备及存储介质。

背景技术

近年来，随着容器编排技术的广泛应用，越来越多的系统采用了容器编排系统kubernetes进行自身服务的部署以及后期的自动化运维工作。基于kubernetes构建的系统依赖自身提供的默认调度方法对相关服务容器进行调度。经过研究发现，在面对一些突发性的外部访问流量或者向系统内部更新服务容器以及增加新的服务容器之后，默认的调度方法无法有效的实现集群宿主机节点之间负载平衡调度。

目前默认的调度方法有：

1.基础的过滤规则：通过PodFitsResource、PodFitsHost、PodFitsHostPorts以及PodMatchNodeSelector等基本过滤规则来考察一个Pod能不能运行在一个Node上。

2.容器持久化Volume相关的过滤规则：通过NoDiskConflict、MaxPDVolumeCountPredicte、VolumeZonePredicte以及VolumeBindingPredicate等过滤规则来保证Pod的调度不会影响持久化Volume的挂载。

3.宿主机相关的过滤规则：通过PodToleratesNodeTaints以及NodeMemoryPressurePredicate等过滤规则来保证Pod是否可以调度到某个节点上。

Pod相关的过滤规则为：通过PodAffinityPredicate等过滤规则来保证Pod的调度不会和其它的Pod产生冲突。

由于基于kubernetes容器编排工具构建的系统通常具有运行时间长，运行过程中可能会有各种突发状况(宿主机资源不足、单节点访问流量过大、内部突发大流量访问)。在这些情况下需要重新计算相关服务在集群中的位置，迁移或者拓展这些服务到需要的宿主机上以缓解这些突发状况带来的负载压力。但是默认的kubernetes调度器由于需要保障自身的简洁性以及可扩展性，只是集成一些用于部署前的调度过滤规则。这样往往只有通过调整部署的配置来实现一些临时的资源调配，这样很难保证系统对突发状况处理的实时性。

发明内容

为了解决上述问题，本发明提出了一种kubernetes集群内Pod调度方法、终端设备及存储介质。

具体方案如下：

一种kubernetes集群内Pod调度方法，包括以下步骤：

S1：采集多个连续的时间窗口片段对应的集群内所有Pod之间网络的连接关系，并将连接关系转换为有向无环图，将所有时间窗口片段对应的有向无环图组成训练集；

S2：根据有向无环图提取交易区块特征；

S3：构建LSTM网络模型，通过训练集对LSTM网络模型进行训练；LSTM网络模型的输入和输出分别为相邻的两个时间窗口片段中前一个和后一个对应的交易区块特征；

S4：通过训练后的LSTM网络模型对下一个时间窗口片段对应的交易区块特征进行预测，根据预测结果生成Pod调度规则，按照生成的Pod调度规则进行Pod调度。

进一步的，集群内所有Pod之间网络的连接关系通过五元组的数据结构表示，五元组包括：源地址、源端口、目的地址、目的端口和连接协议。

进一步的，将连接关系转换为有向无环图的方法为：采集各连接关系对应的多个属性值，并将其转化为各连接关系对应的多维特征；根据各连接关系的多维特征，通过连接规则生成有向无环图。

进一步的，连接关系对应的多个属性值包括：连接建立起始时间、网络通信总数据量、网络通信平均速度、连接协议、源Pod标识ID、目标Pod标识ID、源Pod所在Node、目标Pod所在Node。

进一步的，连接规则为：按照连接建立起始时间的先后顺序，且在连接协议相同的情况下，将前一时刻对应的目标Pod标识ID与当前时刻对应的源Pod标识ID进行连接。

进一步的，交易区块特征为三节点的交易序列，每个节点均通过四维特征数据表示，四维特征数据包括：源Pod、目的Pod、网络流量总数据量和网络通信平均速度；三节点的交易序列的生成方法为：提取有向无环图中的所有交易序列，并将其转换为具有三节点的定长序列。

进一步的，四维数据中的源Pod和目的Pod均通过独热编码表示；四维数据中的网络流量总数据量和网络通信平均速度均进行z-score标准化处理。

进一步的，根据预测结果生成Pod调度过滤规则的方法为，将预测结果转换为有向无环图，并根据有向无环图，将交易量大于交易量阈值的两个Pod部署至一个节点内；将无连接关系的Pod分别部署至不同节点内；按照网络通信总数据量的大小将所有连接关系进行排序，按照大小搭配的原则将对应的Pod部署至同一节点内。

一种kubernetes集群内Pod调度终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，提出了一种基于图方法的kubernetes集群内pod智能自学习流量均衡的调度方法，将集群中的连接关系构建为一个有向无环图(DAG)，并通过这个有向无环图建立一个服务之间的交易链模型，采用适当的预测技术实现对网络拓扑关系变化的预测和Pod调度，从而更好的平衡集群宿主机节点之间因为网络连接带来负载压力。

附图说明

图1所示为本发明实施例一的流程图。

图2所示为该实施例中有向无环图的示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种kubernetes集群内Pod调度方法，如图1所示，所述方法包括以下步骤：

S1：采集多个连续的时间窗口片段对应的集群内所有Pod之间网络的连接关系，并将连接关系转换为有向无环图，将所有时间窗口片段对应的有向无环图组成训练集。

时间窗口片段为固定时间长度的时间窗口片段，具体时间长度在此不做限定。有向无环图记录了交易的随时间变化情况。

该实施例中集群内所有Pod之间网络的连接关系通过五元组的数据结构表示，五元组包括：源地址、源端口、目的地址、目的端口和连接协议。

将连接关系转换为有向无环图的方法为：采集各连接关系对应的多个属性值，并将其转化为各连接关系对应的多维特征；根据各连接关系的多维特征，通过连接规则生成有向无环图。

该实施例中连接关系对应的多个属性值包括：连接建立起始时间、网络通信总数据量、网络通信平均速度、连接协议、源Pod标识ID、目标Pod标识ID、源Pod所在Node、目标Pod所在Node。

连接规则为：按照连接建立起始时间的先后顺序，且在连接协议相同的情况下，将前一时刻对应的目标Pod标识ID与当前时刻对应的源Pod标识ID进行连接。

根据连接规则连接起来的有向无环图又称为连接交易区块，从连接交易区块中可以提取连接变化的特征，即交易区块特征。

S2：根据有向无环图提取交易区块特征。

该实施例中设定交易区块特征为三节点的交易序列，每个节点均通过四维特征数据表示，四维特征数据包括：源Pod、目的Pod、网络流量总数据量和网络通信平均速度。

三节点的交易序列的生成过程如下：

如图2所示的有向无环图，按照交易之间的关联关系和方向提取所有交易序列：

T1,T2,T3

T1,T2,T4,T6

T1,T5,T6

T0,T2,T3

T0,T2,T4,T6

T0,T5,T6

由于交易序列为变长序列，因此还需要对其进行调整，将上述变长序列转换为3节点的定长序列，转换后的结果为：

T1,T2,T3

T1,T2,T4

T2,T4,T6

T0,T2,T3

T0,T2,T4

T0,T5,T6

节点T0、T1、T2、T3、T4、T5、T6均为四维特征数据。

进一步的，由于源Pod和目的Pod是类别数据，需要对类别数据进行编码才能进行训练，为了避免整数编码引入自然排序可能导致的性能不佳以及意外结果，该实施例中采用独热编码来完成对Pod的编码。例如，现在有3个Pod需要进行分类，如表1所示。

表1

Pod1	Pod2	Pod3
			1	0	0
0	1	0
			0	0	1

另外，还将网络流量总数据量以及网络通信平均速度进行z-score标准化，其转换公式为：

其中，x表示需要被标准化的原始值，μ表示均值，δ表示标准差且不为0。

S3：构建LSTM(Long Short-Term Memory，长短期记忆网络)模型，通过训练集对LSTM网络模型进行训练。LSTM网络模型的输入和输出分别为相邻的两个时间窗口片段中前一个和后一个对应的交易区块特征。

该实施例中采用的LSTM网络模型中采用sigmoid作为激活函数；采用随机梯度下降(Stochastic Gradient Descent)作为训练时采用的梯度下降算法；采用均方误差损失作为模型的损失函数。

假设损失函数为L(Y,f(x))。则损失函数和均方差损失MSE分别为：

训练方案为Batch(模式)，即通过训练数据集中的样本子集，然后更新网络权值。一个周期是由一个或者多个批次(batch)组成的。这里选取Batch_size为32来作为训练的批次大小。为了避免记忆太多无效信息影响预测结果，这里将忘记门偏置设置为0.7。

S4：通过训练后的LSTM网络模型对下一个时间窗口片段对应的交易区块特征进行预测，根据预测结果生成Pod调度规则，按照生成的Pod调度规则进行Pod调度。

根据预测结果对应的三节点的交易序列，可以重新构建出一个基于连接交易的有向无环图。然后根据这个有向无环图，即可得出未来可能的网络拓扑关系情况。根据这个关系情况，可以生成以下的一些调度过滤规则：

(1)将交易量大于交易量阈值的两个Pod部署至一个节点内；

(2)将无连接关系的Pod分别部署至不同节点内，保证每个节点自身的冗余性；

(3)按照网络通信总数据量的大小将所有连接关系进行排序，按照大小搭配的原则将对应的Pod部署至同一节点内，避免集群流量负载失衡。

本发明实施例具有以下改进点：

(1)针对默认调度只能依赖手动部署配置来指定服务之间的关联关系：使用有向的多维特征来表示集群内服务网络连接之间的关联关系，将Pod抽象为节点，同时为每个Pod标注好对应的CPU、内存以及所在宿主机的相关信息；同时，将Pod进出的网络连接信息抽象为一个具有方向的多维特征，将每个连接的相关的流量总大小和实时的流量速率变化平均值作为特征来标识连接的网络资源占用程度。

(2)针对默认调度算法对突发状况的响应速度不足：根据这些连接交易形成的网络，可以得到集群中Pod之间连接的变化历史记录，并可以从这些记录中提取出一些特征。包括，服务之间发生连接交易的时间区间、每个时间区间内服务之间所构成的独立的连接交易区块、每个时间区间内服务之间的连接交易频繁度。将这些特征通过LSTM算法模型进行训练，来预测下一个时间内可能出现的服务连接交易集合区块。从而可以提前启动对集群内的服务容器进行调度以应对可能的突发状况下的负载平衡问题。

本发明实施例根据从系统中实时采集的网络连接拓扑关系图中构造出一种基于流量交易为概念的有向无环图，这样的大大简化了网络拓扑动态变化分析的难度。同时通过使用LSTM模型对基于有向无环图提取出来的样本进行学习。可以帮助预测出未来系统可能形成的拓扑关系。这样大大提高了对于系统自身对于流量均衡的感知速度和应对突发状况的冗余度。

实施例二：

本发明还提供一种kubernetes集群内Pod调度终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述kubernetes集群内Pod调度终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述kubernetes集群内Pod调度终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述kubernetes集群内Pod调度终端设备的组成结构仅仅是kubernetes集群内Pod调度终端设备的示例，并不构成对kubernetes集群内Pod调度终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述kubernetes集群内Pod调度终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述kubernetes集群内Pod调度终端设备的控制中心，利用各种接口和线路连接整个kubernetes集群内Pod调度终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述kubernetes集群内Pod调度终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述kubernetes集群内Pod调度终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种kubernetes集群内Pod调度方法，其特征在于，包括以下步骤：

S1：采集多个连续的时间窗口片段对应的集群内所有Pod之间网络的连接关系，并将连接关系转换为有向无环图，将所有时间窗口片段对应的有向无环图组成训练集；

S2：根据有向无环图提取交易区块特征；

S3：构建LSTM网络模型，通过训练集对LSTM网络模型进行训练；LSTM网络模型的输入和输出分别为相邻的两个时间窗口片段中前一个和后一个对应的交易区块特征；

S4：通过训练后的LSTM网络模型对下一个时间窗口片段对应的交易区块特征进行预测，根据预测结果生成Pod调度规则，按照生成的Pod调度规则进行Pod调度；根据预测结果生成Pod调度过滤规则的方法为，将预测结果转换为有向无环图，并根据有向无环图，将交易量大于交易量阈值的两个Pod部署至一个节点内；将无连接关系的Pod分别部署至不同节点内；按照网络通信总数据量的大小将所有连接关系进行排序，按照大小搭配的原则将对应的Pod部署至同一节点内。

2.根据权利要求1所述的kubernetes集群内Pod调度方法，其特征在于：集群内所有Pod之间网络的连接关系通过五元组的数据结构表示，五元组包括：源地址、源端口、目的地址、目的端口和连接协议。

3.根据权利要求1所述的kubernetes集群内Pod调度方法，其特征在于：将连接关系转换为有向无环图的方法为：采集各连接关系对应的多个属性值，并将其转化为各连接关系对应的多维特征；根据各连接关系的多维特征，通过连接规则生成有向无环图。

4.根据权利要求3所述的kubernetes集群内Pod调度方法，其特征在于：连接关系对应的多个属性值包括：连接建立起始时间、网络通信总数据量、网络通信平均速度、连接协议、源Pod标识ID、目标Pod标识ID、源Pod所在Node、目标Pod所在Node。

5.根据权利要求3所述的kubernetes集群内Pod调度方法，其特征在于：连接规则为：按照连接建立起始时间的先后顺序，且在连接协议相同的情况下，将前一时刻对应的目标Pod标识ID与当前时刻对应的源Pod标识ID进行连接。

6.根据权利要求1所述的kubernetes集群内Pod调度方法，其特征在于：交易区块特征为三节点的交易序列，每个节点均通过四维特征数据表示，四维特征数据包括：源Pod、目的Pod、网络流量总数据量和网络通信平均速度；三节点的交易序列的生成方法为：提取有向无环图中的所有交易序列，并将其转换为具有三节点的定长序列。

7.根据权利要求6所述的kubernetes集群内Pod调度方法，其特征在于：四维数据中的源Pod和目的Pod均通过独热编码表示；四维数据中的网络流量总数据量和网络通信平均速度均进行z-score标准化处理。

8.根据权利要求1所述的kubernetes集群内Pod调度方法，其特征在于：根据预测结果生成Pod调度过滤规则的方法为，将预测结果转换为有向无环图，并根据有向无环图，将交易量大于交易量阈值的两个Pod部署至一个节点内；将无连接关系的Pod分别部署至不同节点内；按照网络通信总数据量的大小将所有连接关系进行排序，按照大小搭配的原则将对应的Pod部署至同一节点内。

9.一种kubernetes集群内Pod调度终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任一所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～4中任一所述方法的步骤。

Images