CN108762923A - 采用差分进化算法作为Docker Swarm调度策略的方法 - Google Patents

Abstract

本发明提供的是一种采用差分进化算法作为Docker Swarm调度策略的方法。首先获得各节点的资源，通过差分进化算法获得每个节点内存、CPU和网络吞吐率中的最优解；然后根据内存、CPU和网络吞吐率不同的权重进行计算，获得一个代表该节点资源的一个值，根据得到的这些值，对节点进行排序；最终选择排在第一的节点，然后在这个节点上分配容器。本发明选择差分进化算法作为Docker Swarm的容器调度算法。改变调整差分进化算法使其可以适用于Docker Swarm，并解决上述问题。最后通过对比实验验证了差分进化算法可以减少Docker Swarm在进行容器调度时各节点产生的资源碎片。

Description

采用差分进化算法作为Docker Swarm调度策略的方法

技术领域

本发明涉及的是一种Docker Swarm的调度策略，特别涉及利用差分进化算法作为Docker Swarm的调度策略。

背景技术

Docker Swarm的三种调度策略Random、Spread和Binpack算法，三种算法比较简单，三者的不足是显而易见的。现总结的问题如下：

第一，Docker Swarm在进行容器分配时是根据各节点内存的大小，不能准确计算CPU处理能力。因为Docker对于内存是可以计算比较准确的，在CPU方面，Docker能做的只是部署容器在节点上运行，或者对CPU权值大小进行指定，这就导致了不能够按照各个节点的真正资源情况进行容器的准确分配。

第二，Docker Swarm会记录集群内每个节点资源情况，但是Docker Swarm统计的资源只是节点的总资源数，并不是实际可用的资源数，而且Docker Swarm也不会统计每个节点具体分配出去了多少资源，只是很粗略的估算一下资源。比如，一个节点系统显示的总内存为6G，但是可能系统已经分配出去或者自己使用了一些资源，但因为这些资源并不是Docker Swarm分配出去的，所以Docker Swarm仍然对主机资源标记为总的资源数。而且还存在被Docker Swarm分发出去的资源在没有被使用的情况下，这些资源也不会再被使用，可能给人感觉保证了容器的可用资源，但对Docker集群来说将有一大部分的资源被浪费了。所以，Docker Swarm的调度算法也会导致资源碎片化问题。

而差分进化算法(Differential Evolution，DE)是一种基于启发式搜索的随机并行直接搜索算法，种群中每一个个体都存在解向量。它可以对非线性不可微连续空间的函数进行最小化。目前，差分进化算法的应用和研究主要集中于连续、单目标、无约束的确定性优化问题。同时，差分进化算法在多目标、有约束、离散和噪声等不同环境下的研究也取得了一定成就。差分进化算法原理与遗传算法相似度很高，它们的过程都是：变异、交叉，还有选择。二者之间的主要区别在于：差分进化算法在变异操作时采用差分策略，即通过利用种群间的个体差分向量来扰动个体实现个体变异。

发明内容

本发明的目的在于提供一种能够解决原生Docker Swarm调度策略产生资源碎片化严重问题的采用差分进化算法作为Docker Swarm调度策略的方法。

本发明的目的是这样实现的：首先获得各节点的资源，通过差分进化算法获得每个节点内存、CPU和网络吞吐率中的最优解；然后根据内存、CPU和网络吞吐率不同的权重进行计算，获得一个代表该节点资源的一个值，根据得到的这些值，对节点进行排序；最终选择排在第一的节点，然后在这个节点上分配容器。

本发明的采用差分进化算法作为Docker Swarm调度策略的方法具体表述为：

1)确定控制参数：NP、F、CR；

2)在限定边界内的值进行选择，进行种群初始化，即CPU、内存和网络吞吐率；

3)初始种群评估，即计算初始种群中每个个体的适应度值；

4)确定是否达到终止条件或最大进化代数，如果“是”，作为最佳方案的输出，成为最佳个体，然后根据获取到的最优值，选取最优节点；否则，继续；

5)变异和交叉操作产生中间种群，并在变异时采用动态自适应算子；

6)选择原始种群和中间种群的个体，获得新一代个体；

7)进化次数g＝g+1，转至4)。

根据差分进化算法存在鲁棒性强、参数受控少、原理简单，并且可以有效的解决原有调度算法产生的问题等特点，本发明采用差分进化算法作为Docker Swarm的容器调度策略。

Docker Swarm的原生容器调度算法存在没有充分考虑CPU的处理能力和会使集群中各节点产生较多资源碎片的问题，针对此问题，并考虑到差分进化算法在求解最优解方面的优势，故选择了差分进化算法作为Docker Swarm的容器调度算法。改变调整差分进化算法使其可以适用于Docker Swarm，并解决上述问题。最后通过对比实验验证了差分进化算法可以减少Docker Swarm在进行容器调度时各节点产生的资源碎片。

附图说明

图1是差分进化方法流程图。

图2是各节点容器分配结果图。

图3是各节点资源碎片情况结果图。

具体实施方式

下面举例对本发明做更详细的描述。

将差分进化算法应用Docker Swarm容器调度策略中，需要考虑的因素就是各节点的内存、CPU和网络吞吐率。方法思想为：首先，获得各节点的资源，通过差分进化算法获得每个节点内存、CPU和网络吞吐率中的最优解，然后根据三者不同的权重进行计算，获得一个代表该节点资源的一个值，根据得到的这些值，对节点进行排序，最终选择排在第一的节点，然后在这个节点上分配容器。本发明按照差分进化算法的步骤来介绍并给出解释：

1)初始化种群

其中，X_i(0)是第i个个体，j表示第j维。在这里X₁表示内存、X₂表示CPU、X₃表示网络吞吐量。在这个公式中可以看到本文将内存、CPU还有网络吞吐率都作为种群，因此体现了不仅充分的考虑到CPU，而且也考虑到了每个节点的网络吞吐率，这就充分解决了原有Docker Swarm调度算法只考虑内存，计算CPU不准确的问题。

其中，和分别为第j维的下界和上界，在我们这里就是j台节点这三类资源的上下界，rand[0,1]表示区间[0,1]上的随机数。

2)变异

根据随机算法选用两个不同父代个体，根据缩放因子将缩放后的个体与变异个体进行向量融合。

V_i(g+1)＝X_r1(g)+F(X_r2(g)-X_r3(g)) (3)

其中，r₁,r₂,r₃是三个随机数，区间为[1,3]，F称为缩放因子，为一个确定的常数，g表示第几代。

差分进化算法会出现早熟，陷入局部最优解的问题，为了避免出现早熟的现象，根据DE算法搜索推进状况，增加了动态自适应算子，动态自适应算子计算如下：

F＝F₀·2^λ (5)

其中，G_m表示进化最大代数；G表示进化总代数；F₀为变异因子。

初始时，DE算法动态自适应变异因子为F₀～2F₀，具有较大值，初始阶段保持每个个体的多样性，尽量避免早熟。随着DE算法搜索进展，变异因子的降低，到后期种群变异率接近F₀，存储最优信息，避免最优解被覆盖，从而增加算法搜索全局最优解的几率。

3)交叉

u_i,G+1＝(u_1i,G+1,u_2i,G+1,…,u_Di,G+1) (6)

4)选取最优节点

Node_best,i＝β₁·X_1,i+β₂·X_2.i+β₃·X_3,i (8)

其中，β₁,β₂,β₃为比例系数β₁:β₂:β₃＝4:4:2，Node_best,i表示获得节点中的最优解，然后根据这些进行排序，选择排序为第一的节点，在该节点上创建容器。

根据上面的证明可知，本发明采用差分进化算法作为Docker Swarm的调度算法，并不是简单的套用，而是有着更深层次的理论意义，很好的解决了原生调度算法考虑CPU不充分的问和产生严重的资源碎片化的问题。

Spread算法会统计各个节点运行的容器数，然后选择拥有容器数最少的那台节点上创建容器。这样可以保证容器会平均的分布在集群中的各个节点上，即使某个节点出现故障也只会损失少部分的容器。Binpack算法会选择拥有容器最多的那台机器运行新的容器，即Binpack算法把还未使用的节点留给需要更大空间的容器，尽最大努力的让容器在一个节点上运行。所以，通过图2节点容器分配个数可以看到，实验数据验证了Spread和Binpack算法的特性，也可看到本论文提出的差分进化算法分配容器的情况，可以看出该算法分配容器的特点：差分进化算法则尽可能保持每个节点的负载量不过大，不使用到极限，换句话说就是尽最大努力保持容器运行最佳。

在各个节点资源情况相同的情况下去比较各个算法使各个节点产生的资源碎片情况。体现各算法在使节点产生资源碎片化的不同，本发明定义资源碎片为：

S＝[|M-C|/(M+C)]*100％ (9)

其中，M为节点使用的内存，C为节点使用的CPU。

通过图3可以看到，差分进化算法在分配容器时各节点上产生的资源碎片相比于其它两种算法更少，所以差分进化算法在解决资源碎片化问题上有很好的表现。

Claims (2)

1.一种采用差分进化算法作为Docker Swarm调度策略的方法，其特征是：首先获得各节点的资源，通过差分进化算法获得每个节点内存、CPU和网络吞吐率中的最优解；然后根据内存、CPU和网络吞吐率不同的权重进行计算，获得一个代表该节点资源的一个值，根据得到的这些值，对节点进行排序；最终选择排在第一的节点，然后在这个节点上分配容器。

2.根据权利要求1所述的采用差分进化算法作为Docker Swarm调度策略的方法，其特征是：

1)确定控制参数：NP、F、CR；

2)在限定边界内的值进行选择，进行种群初始化，即CPU、内存和网络吞吐率；

3)初始种群评估，即计算初始种群中每个个体的适应度值；

4)确定是否达到终止条件或最大进化代数，如果“是”，作为最佳方案的输出，成为最佳个体，然后根据获取到的最优值，选取最优节点；否则，继续；

5)变异和交叉操作产生中间种群，并在变异时采用动态自适应算子；

6)选择原始种群和中间种群的个体，获得新一代个体；

7)进化次数g＝g+1，转至4)。