CN110535894B - 一种基于负载反馈的容器资源动态分配方法及其系统 - Google Patents

Abstract

本发明涉及信息技术领域，特别涉及一种基于负载反馈的容器资源动态分配方法及其系统；本发明中，在集群系统中设定容器各项资源的参照值；利用卡尔曼滤波观测器对容器各项资源进行观测；利用马尔可夫链预测器对容器各项资源的变化趋势进行预测；根据得到的观测结果和预测结果，通过负反馈的形式返还给预测控制器，对比设定的参照值，而对各项计算任务所占用的资源进行动态的调整；在本发明中，采用卡尔曼滤波的观测方法和马尔可夫链的预测方法，且之间不用延时模块，改善现有动态分配方法延迟过高、预测不够准确的缺点，来对容器集群资源进行更合理的分配。

Description

一种基于负载反馈的容器资源动态分配方法及其系统

技术领域

本发明涉及信息技术领域，特别涉及一种基于负载反馈的容器资源动态分配方法及其系统。

背景技术

在以Docker技术为代表的容器云服务普及之前，云服务主要还是以虚拟机为单位提供给用户的；然而以虚拟机为基本单位的云计算系统的缺点日渐暴露，那就是每个用户都需要一个单独的完整的操作系统来进行他们的开发，同一台服务器上众多远程虚拟机用户的多个操作系统所占用的资源是非常巨大的，资源利用率也非常低，这些底层的硬件消耗其实可以通过某种类似共享的途径来避免；于是，基于Linux Container的容器技术开始发展起来，容器作为服务单元最大的好处是能共享主机的底层系统而不需要为每个用户单独安装操作系统；然而更高的移植性和轻量级特性也带来了新的挑战，那就是集群利用率的波动可能会很大；即使经过了8年的积淀，到了docker容器已经全面应用于生产服务器集群的今天，仍然广泛存在着比较严重的资源紧缺与浪费。

学界和业界一直在研究探索改进docker容器资源利用率的方法，进而实现节能、降低成本等目标，目前所采取的比较常用的方法大多是从服务器节点之间的初始任务分配时节点的选择入手，在任务执行期间不会对各项任务的资源配额进行动态修改，也没有进行任务或容器的热迁移。另一些并没有被广泛采用的方法考虑到了各个任务对资源需求的动态变化，从而根据各个任务动态的资源占用率对其资源配额进行动态调整，但由于这些方法直接使用集群管理API所提供的资源数据，而且没有相对准确的资源预测模块，所以仍然难以准确、有效地在不影响QOS(QOS是服务质量，是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术)的情况下实现资源利用的最大化。

发明内容

本发明主要解决的技术问题是提供一种基于负载反馈的容器资源动态分配方法，通过负载负反馈的方法对容器内资源配置进行动态分配；还提供一种基于负载反馈的容器资源动态分配系统。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于负载反馈的容器资源动态分配方法，其中，包括如下步骤：

步骤S1、在集群系统中设定容器各项资源的参照值；

步骤S2、利用卡尔曼滤波观测器对容器各项资源进行观测；

步骤S3、利用马尔可夫链预测器对容器各项资源的变化趋势进行预测；

步骤S4、根据步骤S2得到的观测结果和步骤S3得到的预测结果，通过负反馈的形式返还给预测控制器，对比步骤S1内设定的参照值，而对各项计算任务所占用的资源进行动态的调整。

作为本发明的一种改进，在步骤S2内，包括如下步骤：

步骤S201、从集群系统获取所有任务和每个任务的每个资源量；

步骤S202、对每个任务的每个资源量，均采用卡尔曼滤波的方法来改善观测结果，得出资源初始值和相应的误差；

步骤S203、对每个任务的每个资源量进行计算，得出下一步的先验估计值与相应的误差；

步骤S204、对每个任务的每个资源量计算卡尔曼滤波增益；

步骤S205、对每个任务的每个资源量计算最优估计值和最优估计误差；

步骤S206、对比每个任务的每个资源量得到最优观测值。

作为本发明的进一步改进，在步骤S3内，包括如下步骤：

步骤S301、获取步骤S2得到的观测值；

步骤S302、分别用M/M/1排队论预测模型方法与预测算法线性趋势预测模型方法得到资源量的预测值；

步骤S303、通过被测资源量的变化范围、变化单调区间长度来确定结合因子；

步骤S304、由步骤S302内两种方法所得到的资源量的预测值通过结合因子的权重得到该资源量的预测值。

作为本发明的更进一步改进，在步骤S4内，包括如下步骤：

步骤S401、获取步骤S3得到的预测值；

步骤S402、对比该资源量的预测值和参照值；

步骤S403、参照该节点中该项资源使用状况确定影响因子；

步骤S404、以影响因子为权重，通过预测值与参照值的比值来动态修正各个任务的各个资源量的配额。

作为本发明的更进一步改进，在步骤S201内，确定服务器节点上的所有任务和每个任务的每项资源值。

作为本发明的更进一步改进，该资源值包含CPU使用率、内存使用量、磁盘I/O使用率和网络带宽使用量。

作为本发明的更进一步改进，在步骤S303内，该结合因子包含范围因子和时长因子。

作为本发明的更进一步改进，在步骤S402内，得到资源量的预测值后，预测控制器根据参照值来对该资源量的配额进行调整。

作为本发明的更进一步改进，在步骤S404内，如果在节点的该资源量总配额达到节点总资源的90％后，影响因子设定为0.95，并标记该节点的该项资源出现紧缺，不再在该节点安排该项资源密集型任务；如果在节点的该资源量总配额达到节点总资源的95％后，影响因子设定为0.9，并标记该节点的该项资源已经满载。

一种基于负载反馈的容器资源动态分配系统，其中，包括：

设定模块，用于在集群系统中设定容器各项资源的参照值；

观测模块，用于利用卡尔曼滤波观测器对容器各项资源进行观测；

预测模块，用于利用马尔可夫链预测器对容器各项资源的变化趋势进行预测；

分配调整模块，用于根据观测模块得到的观测结果和预测模块得到的预测结果，通过负反馈的形式返还给预测控制器，对比设定模块内设定的参照值，对各项计算任务所占用的资源进行动态的调整。

本发明的有益效果是：与现有技术相比，本发明采用卡尔曼滤波的观测方法和马尔可夫链的预测方法，且之间不用延时模块，改善现有动态分配方法延迟过高、预测不够准确的缺点，来对容器集群资源进行更合理的分配。

附图说明

图1是本发明的基于负载反馈的容器资源动态分配方法的步骤框图；

图2是本发明的步骤S2的步骤框图；

图3是本发明的步骤S3的步骤框图；

图4是本发明的步骤S4的步骤框图；

图5是本发明的基于负载反馈的容器资源动态分配系统的框图。

具体实施方式

本发明提供一种基于负载反馈的容器资源动态分配方法及其系统。

请参照图1至图4，本发明一种基于负载反馈的容器资源动态分配方法，包括如下步骤：

步骤S1、在集群系统中设定容器各项资源的参照值；

步骤S2、利用卡尔曼滤波观测器对容器各项资源进行观测；

步骤S3、利用马尔可夫链预测器对容器各项资源的变化趋势进行预测；

步骤S4、根据步骤S2得到的观测结果和步骤S3得到的预测结果，通过负反馈的形式返还给预测控制器，对比步骤S1内设定的参照值，而对各项计算任务所占用的资源进行动态的调整。

在本发明中，采用卡尔曼滤波的观测方法和马尔可夫链的预测方法，且之间不用延时模块，改善现有动态分配方法延迟过高、预测不够准确的缺点，来对容器集群资源进行更合理的分配。

如图2所示，在步骤S2内，包括如下步骤：

步骤S201、从集群系统获取所有任务和每个任务的每个资源量；也就是说，确定本服务器节点上的所有任务和每个任务的每项资源值，该资源值包括CPU使用率、内存使用量、磁盘I/O使用率、网络带宽使用量等；

步骤S202、对每个任务的每个资源量，均采用卡尔曼滤波的方法来改善观测结果，得出资源初始值和相应的误差；对每个任务的每个资源量x_k，均采用卡尔曼滤波(kalman滤波)的方法来改善观测结果，设定初始值p₀和x₀，步数参数K＝1；

步骤S203、对每个任务的每个资源量进行计算，得出下一步的先验估计值与相应的误差；也就是说，对每个资源量x_k，计算下一步的先验估计值与相应的误差，具体计算方法如下：

步骤S204、对每个任务的每个资源量计算卡尔曼滤波增益；也就是说，对每个资源量x_k，计算卡尔曼滤波增益，计算公式如下：

步骤S205、对每个任务的每个资源量计算最优估计值和最优估计误差；也就是说，对每个资源量x_k，从测量向量计算当前的最优估计值，计算公式如下：

步骤S206、对比每个任务的每个资源量得到最优观测值；也就是说，对每个资源量x_k，计算当前最优估计值误差，计算公式如下：

P_k＝pk/_k-l-K_kH_kP_k/_k-1。

如图3所示，在本发明中，在步骤S3内，包括如下步骤：

步骤S301、获取步骤S2得到的观测值；

步骤S302、分别用M/M/1排队论预测模型方法与预测算法线性趋势预测模型方法得到资源量的预测值；

步骤S303、通过被测资源量的变化范围、变化单调区间长度来确定结合因子；

步骤S304、由步骤S302内两种方法所得到的资源量的预测值通过结合因子的权重得到该资源量的预测值。

如图4所示，在本发明中，在步骤S4内，包括如下步骤：

步骤S401、获取步骤S3得到的预测值；

步骤S402、对比该资源量的预测值和参照值；

步骤S403、参照该节点中该项资源使用状况确定影响因子；

步骤S404、以影响因子为权重，通过预测值与参照值的比值来动态修正各个任务的各个资源量的配额。

在本发明中，在步骤S201内，确定服务器节点上的所有任务和每个任务的每项资源值；该资源值包含CPU使用率、内存使用量、磁盘I/O使用率和网络带宽使用量。

在本发明中，在步骤S303内，该结合因子包含范围因子和时长因子；对每个资源量x_k，预设一个结合因子α来将本发明所采用的两种预测方法来结合起来，结合因子α也包含范围因子β_range和时长因子θ_length，并有如下关系：

α＝β_range+θ_length。

在本发明中，在步骤S402内，得到资源量的预测值后，预测控制器根据参照值来对该资源量的配额进行调整。

作为本发明的更进一步改进，在步骤S404内，如果在节点的该资源量总配额达到节点总资源的90％后，影响因子设定为0.95，并标记该节点的该项资源出现紧缺，不再在该节点安排该项资源密集型任务；如果在节点的该资源量总配额达到节点总资源的95％后，影响因子设定为0.9，并标记该节点的该项资源已经满载。

本发明提供一个实施例进行讲解：

首先，由集群管理应用测得的离散值可以利用卡尔曼滤波(kalman滤波)的方法进行更准确的观测；确定本服务器节点上的所有任务和每个任务的每项资源值，资源值包括CPU使用率、内存使用量、磁盘I/O使用率和网络带宽使用量等。

1、对每个任务的每个资源量x_k，均采用kalman滤波(卡尔曼滤波)的方法来改善观测结果：设定初始值p₀和x₀，步数参数K＝1；

2、对每个资源量x_k，计算下一步的先验估计值与相应的误差，具体计算方法如下：

3、对每个资源量x_k，计算卡尔曼滤波增益：

4、对每个资源量x_k，从测量向量计算当前的最优估计值：

5、对每个资源量x_k，计算当前最优估计值误差：

P_k＝p_k/k-1-K_kH_kP_k/k-1

对每个资源量输出这个资源量x_k的观测值至下一级即马尔可夫链预测器阶段；令步数参数K＝K+1，并返回至第三步，进行下一轮的观测。

此时，利用基于马尔可夫链的预测方法对由卡尔曼滤波观测器所得到的每个资源量x_k的观测值的序列，该序列所遵循的过程可以视为泊松过程，所以非常适合应用M/M/1排队模型。对该序列对应的该资源量的变化趋势进行预测。

本发明采用的预测方法是使用现有的两个预测算法线性趋势预测模型(LTPM)和M/M/1排队论预测模型(MQMPM)的结合：

1、对每个资源量x_k，预设一个结合因子α来将本发明上述采用的两种预测方法来结合起来，结合因子α也包含范围因子β_range和时长因子θ_lengt，并有如下关系：

α＝β_range+θ_length

2、范围因子β_range与被测资源量的变化范围有关，时长因子θ_length与被测资源量的变化单调区间的长度有关，在变化范围大时，β_range随之增大，反之减小；在变化单调区间长度大时，θ_length也随之增大，反之减小对每个资源量x_k，最后的预测结果P(t)如下：

P(t)＝(1-α)*P_mml(t)+α*P_line(t)

其中P_mml(t)和P_line(t)分别是通过MQMPM和LTPM方法得到的预测值，这时就得到了每个任务的每个资源量的观测值及预测值，通过将这些值反馈给预测控制器，可以得到当前节点上所有任务的下一轮的资源配额。

关于本发明中采用的基于预测结果的预测控制器，如下：

(1)在得到一个资源量的预测值P(t)后，控制器根据参照量r_ref来对该资源量的配额u_k进行调整：

u_k＝P(t)/r_ref

(2)实际上具体配额的数值不只收到预测值P(t)的影响，还要受到该资源的集群资源总量的限制，因此引入影响因子γ_k，在该节点的该资源量总配额达到节点总资源的90％之前，影响因子γ_k值为1；在该节点的该资源量总配额达到节点总资源的90％后，影响因子γ_k设定为0.95，并标记该节点的该项资源出现紧缺，不再在该节点安排该项资源密集型任务；达到节点总资源的95％后，影响因子γ_k设定为0.9，并标记该节点的该项资源已经满载，必要时根据优先级来挂起部分在本节点运行的该项资源密集型任务。

如图5所示，本发明中一种基于负载反馈的容器资源动态分配系统，包括设定模块，用于在集群系统中设定容器各项资源的参照值；观测模块，用于利用卡尔曼滤波观测器对容器各项资源进行观测；预测模块，用于利用马尔可夫链预测器对容器各项资源的变化趋势进行预测；分配调整模块，用于根据观测模块得到的观测结果和预测模块得到的预测结果，通过负反馈的形式返还给预测控制器，对比设定模块内设定的参照值，对各项计算任务所占用的资源进行动态的调整。

由于通过kubernetes获得的docker容器资源实时监控结果是一系列离散的值，而各个任务所占用的处理器、内存、磁盘I/O、网络带宽等资源的变化趋势是难以确定的，所以本发明为通过预测控制的方法对某个任务所需的资源状况在观测的同时进行预测，可以有效地避免由于任务资源需求波动导致的服务器资源紧张和资源浪费的现象，显著提高服务器效率。

现有的方案主要有两个方向；第一个，也是应用最广的方案，是采用固定配额的资源分配方案，只是在任务建立的时刻对新任务的资源需求各个节点的空闲资源进性分析比较，考虑数据本地性因素，从而选定新任务所在的节点以及该任务的资源配额，一旦选定后，就不会对这个任务的各项资源配额进行改变，这种方案的优点是操作简单，实现成本最低；但是相对于本发明的方案，该方法需要明显的主从结构，与当今去中心化的集群发展趋势相违背；最关键的，这种方法对任务进行中的资源需求波动没有提出解决方法，集群整体的效率和QoS都低于采用本发明的去中心化集群。第二个相对高效但并未广泛使用的方案是结合经典控制理论和预测控制理论，针对任务资源需求动态变化而实时变动资源配额的MIMO控制方案，这种方案虽然可以比较有效地适应集群中任务对资源需求的动态变化，但由于其采用的预测模块大多是利用多脉冲(MP)延时预测的方法，其观测值为：由此不可避免地会有较大的延时，因此难以应对负载资源需求的快速变化；本发明的卡尔曼滤波观测和马尔可夫链预测的结合能够显著地降低预测延迟，能够大幅提高容器集群对快速变化负载的适应能力。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于负载反馈的容器资源动态分配方法，其特征在于，包括如下步骤：

步骤S1、在集群系统中设定容器各项资源的参照值；

步骤S2、利用卡尔曼滤波观测器对容器各项资源进行观测，得到观测结果；

步骤S3、利用马尔可夫链预测器对容器各项资源的变化趋势进行预测，得到预测结果；

步骤S4、根据步骤S2得到的观测结果和步骤S3得到的预测结果，通过负反馈的形式返还给预测控制器，对比步骤S1内设定的参照值，对各项计算任务所占用的资源进行动态的调整；

在步骤S2内，包括如下步骤：

步骤S201、从集群系统获取所有任务和每个任务的每个资源量；

步骤S202、对每个任务的每个资源量，均采用卡尔曼滤波的方法来改善观测结果，得出资源初始值和相应的误差；

步骤S203、对每个任务的每个资源量进行计算，得出下一步的先验估计值与相应的误差；

步骤S204、对每个任务的每个资源量计算卡尔曼滤波增益；

步骤S205、对每个任务的每个资源量计算最优估计值和最优估计误差；

步骤S206、对比每个任务的每个资源量得到最优观测值；

在步骤S3内，包括如下步骤：

步骤S301、获取步骤S2得到的观测值；

步骤S302、分别用M/M/1排队论预测模型方法与预测算法线性趋势预测模型方法得到资源量的预测值；

步骤S303、通过被测资源量的变化范围、变化单调区间长度来确定结合因子；

步骤S304、由步骤S302内两种方法所得到的资源量的预测值通过结合因子的权重得到该资源量的预测值。

2.根据权利要求1所述的一种基于负载反馈的容器资源动态分配方法，其特征在于，在步骤S4内，包括如下步骤：

步骤S401、获取步骤S3得到的预测值；

步骤S402、对比该资源量的预测值和参照值；

步骤S403、参照该节点中该项资源使用状况确定影响因子；

步骤S404、以影响因子为权重，通过预测值与参照值的比值来动态修正各个任务的各个资源量的配额。

3.根据权利要求1所述的一种基于负载反馈的容器资源动态分配方法，其特征在于，在步骤S201内，确定服务器节点上的所有任务和每个任务的每项资源值。

4.根据权利要求3所述的一种基于负载反馈的容器资源动态分配方法，其特征在于，该资源值包含CPU使用率、内存使用量、磁盘I/O使用率和网络带宽使用量。

5.根据权利要求1所述的一种基于负载反馈的容器资源动态分配方法，其特征在于，在步骤S303内，该结合因子包含范围因子和时长因子。

6.根据权利要求2所述的一种基于负载反馈的容器资源动态分配方法，其特征在于，在步骤S402内，得到资源量的预测值后，预测控制器根据参照值来对该资源量的配额进行调整。

7.根据权利要求6所述的一种基于负载反馈的容器资源动态分配方法，其特征在于，在步骤S404内，如果在节点的该资源量总配额达到节点总资源的90％后，影响因子设定为0.95，并标记该节点的该项资源出现紧缺，不再在该节点安排该项资源密集型任务；如果在节点的该资源量总配额达到节点总资源的95％后，影响因子设定为0.9，并标记该节点的该项资源已经满载。

8.一种利用权利要求1所述的基于负载反馈的容器资源动态分配方法的基于负载反馈的容器资源动态分配系统，其特征在于，包括：

设定模块，用于在集群系统中设定容器各项资源的参照值；

观测模块，用于利用卡尔曼滤波观测器对容器各项资源进行观测；

预测模块，用于利用马尔可夫链预测器对容器各项资源的变化趋势进行预测；

分配调整模块，用于根据观测模块得到的观测结果和预测模块得到的预测结果，通过负反馈的形式返还给预测控制器，对比设定模块内设定的参照值，对各项计算任务所占用的资源进行动态的调整。