CN110245015B - 基于最优二元交换的服务器优化调度方法 - Google Patents

Abstract

本发明的基于最优二元交换的服务器优化调度方法，包括如下步骤：步骤1.使用下线预估算法对最优情况进行估计，得到相应机器数和分数；步骤2.选取按照机器能力进行排序后前N_m个机器，M_c＝M_s[：N_m]；步骤3.使用最优二元交换方法对服务器的调度方案进行优化。本发明的优点是：能够快速有效的获得大规模服务器调度问题的调度方案。

Description

基于最优二元交换的服务器优化调度方法

技术领域

本发明涉及一种云计算服务器优化调度方法。

背景技术

云计算是是分布式计算(Distributed Computing)、网络存储(Network StorageTechnologies)、负载均衡(Load Balance)、等传统计算机和通信技术发展融合的产物，由于云计算技术的通用性和高可靠性，该技术得到了广泛的发展。大规模云服务的平台的建立，使云服务的调度系统变得更加重要。由于云服务器的异构性、多维性，与云计算请求的独特性，云计算服务器的调度问题复杂性较高。云计算调度系统理需要综合考虑上述服务器资源信息、服务器网络信息、和服务请求信息后为每一个Qos请求指派有效的计算资源。群智能算法与遗传算法作为基于随机的优化方法，在解决NP难题领域有着很多应用，也有不少学者将之运用到服务器调度领域。但是这类方法对于服务器调度这种约束相对较为严格的问题的求解存在一定困难。困难来源于基于随机的种群变异(进化)很容易使新解无法满足问题约束。

算法检查解是否满足约束并丢掉不满足约束解的操作，大大降低了算法的性能。分支定界算法作为一个传统的最优化方法，能够给问题的解提供最优的保证。该类方法在解决规模较小的云服务器调度问题往往快速而且准确，但是问题的规模上升到一定程度，该方法往往没有办法在可接受的时间内求出问题的解。

发明内容

为了解决现有技术存在的分支定界算法在大规模问题上时间损耗过于庞大的问题，将本地搜索算法的框架融入分枝定界算法，本发明提供了基于最优二元交换的的服务器优化调度方法。

本发明的最优二元交换算法不是使用分支定界法解决全部的服务器调度问题，而是一次只解决其中一个子问题。然后使用本地搜索的思想不断的选择最有意义的子问题进行解决。本发明结合深度神经网络算法，和权值共享技术，提出了“基于维度最优转换的权值共享深度网络的实时调度方法”，通过大数据系统提供的大量调度历史数据训练深度网络理解调度场景内的隐含知识。并且使用训练好的深度网络完成调度现场的实时快速调度响应。

本发明提出一种基于本地搜索和分支定界法的调度方法，完成云计算中心服务器的大规模调度。

基于最优二元交换的的服务器优化调度方法，包括如下步骤：

步骤1.使用下线预估算法对最优情况进行估计，得到相应机器数和分数。

所述“下线预估算法”具体包括：

1.1将所有的宿主服务器按照CPU的能力进行排序M_s＝Sort(M)。

其中M为所有的服务器的集合，M_s为排序后的矩阵。同样大小的负载被调度到 CPU容量高的宿主服务器上比调度到CPU容量低的宿主服务器上带来的分数上升要低。因此CPU容量大的机器应该被优先使用，步骤1.1将所有的机器按照CPU的能力进行了排序。

1.2按照公式(1)设置使用的机器数量初始值N_m；

步骤1.2通过满足所有资源约束的形式，设置一个最小的机器数量。其设置方法为选取五种资源的实例总消耗数与机器平均拥有数的比值的最大值。

其中U^CPU，U^MEM，,U^DISK，U^DISK-IO，U^MEM-IO分别代表所有的实例需要占用的CPU，MEM，DISK，DISKIO，MEMIO的总数，H^CPU，H^MEM，,H^DISK，H^DISK-IO，H^MEM-IO分别代表所有的实例需要占用的CPU，MEM，DISK，DISKIO，MEMIO的最大值，可用公式(2)计算：

式中a_i ^CPU为第i个实例对应的应用的CPU使用量，m_j ^CPU为第j个宿主机提供的CPU 计算资源。

1.3选取排序后前N_m个机器，M_c＝M_s[：N_m]。

1.4求解式(3)定义的线性规划问题，Score＝SM(M_c，A，S，α，β)

在式(3)中，A为所有的应用的数据集，S为所有的实例的数据集，α，β为惩罚系数。t_j，k代表机器m_j在时间k的CPU占有百分比，

代表使用的机器的集合。该线性规划问题可以使用单纯形法进行快速的求解。不过对于模型参数-使用宿主服务器数量card(M)，需要使用密集搜索的方式加以确定。步骤1.3将使用单纯形法求解线性规划问题，并得到一个最优的分数返回。

1.5记录数据并且更新机器数量N_m＝N_m+1SLL＝Score；

1.6判断分数与上一次迭代相比是否上升，如果没有上升，回到步骤1.3，否则中止；

1.7返回SLL，N_m；

步骤2.选取按照机器能力进行排序后前N_m个机器，M_c＝M_s[：N_m]；

步骤3.使用最优二元交换方法对服务器的调度方案进行优化。

所述“最优二元交换方法”具体包括：

3.1初始化机器状态矩阵E。

3.2遍历所有的实例，使用FISTFIT方法将实例装入可行的宿主服务器。得到调度矩阵V与更新后的状态矩阵E，以及V否满足约束要求的布尔量B描述为(4)：

B，V，E＝FF(M_c，A，S，α，β) (4)

3.3判断B是否为1，如果为1,则设置循环次数计数器L＝1后进入步骤3.4；否则执行N_m＝Int(1.01*N_m),进入步骤3.2；

3.4遍历所有宿主服务器，按照公式

计算每台服务器的特征分,并统计机器中的最高分s_h和机器中的最低分s_l；

3.5按照公式(5)选取高分服务器集合与低分服务器集合:

S^Mh，S^Ml＝ChooMachSet(M_c，L，N_s，s_h，s_l，γ) (5)

步骤3.5中，使用最高分与最低分未输入生成高分集合与低分集合，

生成的标准如公式(6)(7)

式中，γ为集合选择系数，一个较大的值可以使得高分机器集合和低分机器集合随循环次数的选择增长的更快。返回的参数中S^Mh代表高分机器集合,S^Ml代表低分机器集合。

3.6按照公式(8)分别在两个服务器集合中选取一台待交换机器:

M^h，M^l＝ChooMach(S^Mh，S^Ml) (8)

步骤3.4-3.6维护一个高分机器集合与低分机器集合，其中特征分数概念由目标函数中目标分的概念变化而来。

3.7分支定界法求解该小规模MIP问题，得到新的分配方案与机器状态:

V^mip,E＝BBM(M^h,A,M^l,α,β)；

3.8将新得到的部分分配方案合并入原来的分配方案中V＝Merge(V^mip，V)；

3.9判断小规模MIP子问题求解次数是否达到设定值，如果没达到，执行 L＝L+1返回步骤6，否则，执行步骤9；

3.10计算获得分数并且更新更新最佳结果V^BEST与可用主机数：

O＝CacuScore(E)，N_m＝N_m+1；

3.11判断N_m是否达到预设值，如果没有达到返回步骤2，否则退出算法返回 V^BEST。

本发明的优点是：能够快速有效的获得大规模服务器调度问题的调度方案。

附图说明

图1是本发明方法的流程图。

图2是OTECA求解ALISS-2问题宿主服务器数与目标数随循环次数变化图。

图3是OTECA求解ALISS-2问题高低分机器数与目标数随循环次数变化图。

图4是OTECA求解ALISS-2宿主服务器数与目标数随循环次数变化图。

图5是OTECA方法与GA方法LS方法数据集结果对比结果示意图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

实施例概述

为了验证算法的准确性，本文使用阿里云在2018年开源的服务器调度数据集(ALISS)完成实验。ALISS提供了七种不同特点的数据以验证调度系统在不同的数据情况下的算法表现。数据集中每一组数据由四张表格组成，分别是机器信息列表，应用信息列表，实例信息列表和亲和反亲和信息列表。

其中，机器信息列表中含有字段Machine-name，CPU，MEM，DISK。其中Machine-name为机器的ID，CPU，MEM，DISK分别对应机器集合的m_i ^CPU，m_i ^DISK，m_i ^MEM。应用信息列表中含有App-name，CPU-use，MEM-use，DISK-use。其中App-name为应用的ID。

CPU-use，MEM-use，DISK-use对应集合中的a_i ^CPU，a_i ^DISK，a_i ^MEM。时变数据 CPU-use，MEM-use，的采样频率为15min，即C＝96。实例信息列表中含有字段Ins- name，App-name，其中Ins-name代表当前实例的ID，App-name代表当前Ins对应的 APP的IP。亲和反亲和信息列表中只含有应用之间的反亲和约束信息。

表1：实验数据表

	ALISS-1	ALISS-2	ALISS-3	ALISS-4	ALISS-5	ALISS-6	ALISS-7
								N<sub>m</sub>	6000	6000	8000	8000	9000	9000	8000
N<sub>a</sub>	9338	9338	9338	9338	9338	9338	9338
								N<sub>i</sub>	68219	68224	68224	68224	68224	68224	68224
A<sub>cpu</sub>	0.25	0.45	0.23	0.23	0.36	0.36	0.45
								A<sub>MEM</sub>	0.38	0.59	0.27	0.27	0.50	0.50	0.66
A<sub>DISK</sub>	0.93	0.39	0.23	0.23	0.29	0.29	0.34

使用本文提出的OTECA算法求解ALISS-2数据集中的调度问题，求解过程如图1-图4。设置OTECA算法参数：α＝10，β＝0.5，γ＝1.5，N_s＝300。

设置GA算法的参数为：种群数300，选择概率0.2，交叉概率0.2，变异概率 0.2.设置LS算法的参数为：设置搜索范围3。在求解的初始化阶段，需要首先求解问题的可行解。为了最大程度的反应算法的搜索能力，本文在寻找可行解时并未对宿主服务器的数量做进一步限制，而是使用了题目提供的所有宿主服务器作为可行服务器。

OTECA算法在Firstfit算法的基础上开始进行优化。在的优化的开始阶段通过Firstfit算法得到的初始解的负载是极不均衡的。当loop＝1时，得分大约是机器数的两倍，而所有的机器的平均使用率仅在0.45左右。

所以整个的宿主服务器中一定有大量的机器工作在CPU远大于β的状态，另外一部分机器工作在CPU远小于β的状态。

随着算法迭代的循环数的增加，算法将得分很高的机器中的实例与得分较低的机器中的实例使用整数规划的方法进行最优的重新组合并从新分配到原来的机器中。这样的分配的实质就是高低CPU负载的机器进行了有效的负载均衡。可以在图2中显示，随着优化的进行，得分值在优化的前半部分快速的下降。这样的下降是宿主服务器负载像均衡转变造成的。在最理想的情况下，算法将所有的机器的负载都调整致十分接近β却小于β的状态。在这个状态下，目标分数与机器数相等。

但是由于负载并不是连续可分的，所以CPU负载百分比超过β不可避免，因此产生了图2中分数与机器数的差距。图3中显示，随着循环次数的增加，分数较低的机器的数量会减少，这是由于交换的操作将一部分的CPU占比小于β的机器的负载增加造成的。

当loop＞100时，由于机器的负载已经达到了平均水平，机器数与得分的差距基本不再变化。此时分数的下降主要来源于对于机器数的削减。

当某台机器中不执行任何程序时，其得分为0。因此在交换无法使负载更加均衡的情况下，OTECA的同样的交换操作将尽量清除多余的宿主服务器。图4中显示，随着循环次数的上升，CPU的平均使用率渐渐接近β。达到接近最优解的状态。

使用本文提出的OTECA算法求解ALISS-1到ALISS-7数据集中的调度问题，设置参数α＝10，β＝0.5，γ＝1.5，N_s＝300。求解过程如表2。

表2：实验结果表

将OTECA算法与负载均衡常用的遗传算法(GA)，邻域搜索算法(LS)进行比较。设置参数α＝10，β＝0.5，γ＝1.5，N_s＝300。为了公平的测试各个算法的性能，各个算法在相同的数据集中使用同一个初始可行解。

图5中最下方的虚线为该问题的最优解。图中显示，与GA方法与LS方法相对比，本文提出的算法拥有一定的优势。势表现在快速性和精确性两个层面。

在快速性上，在OTECA算法的开始的阶段，目标值被快速的优化下降，当转移次数达到20000次时，算法的目标值已经十分接近宿主服务器数。

当目标值与宿主服务器数十分接近时，说明基本所有的机器的CPU负载都被控制在了β以下。而GA，与LS方法由于其方法的搜索的盲目性，并不能十分快速的发现超出阈值β的机器与机器中的实例，因此下降速度不如OTECA。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于最优二元交换的的服务器优化调度方法，包括如下步骤：

步骤1.使用下线预估算法对最优情况进行估计，得到相应机器数和分数，所述“下线预估算法”具体包括：

1.1将所有的宿主服务器按照CPU的能力进行排序M_s＝Sort(M)；

其中M为所有的服务器的集合，M_s为排序后的矩阵；同样大小的负载被调度到CPU容量高的宿主服务器上比调度到CPU容量低的宿主服务器上带来的分数上升要低；因此CPU容量大的机器应该被优先使用，步骤1.1将所有的机器按照CPU的能力进行了排序；

1.2按照公式(1)设置使用的机器数量初始值N_m；

步骤1.2通过满足所有资源约束的形式，设置一个最小的机器数量；其设置方法为选取五种资源的实例总消耗数与机器平均拥有数的比值的最大值；

其中U^CPU，U^MEM，U^DISK，U^DISK-IO，U^MEM-IO分别代表所有的实例需要占用的CPU，MEM，DISK，DISKIO，MEMIO的总数，H^CPU，H^MEM，H^DISK，H^DISK-IO，H^MEM-IO分别代表所有的实例需要占用的CPU，MEM，DISK，DISKIO，MEMIO的最大值，可用公式(2)计算：

式中

为第i个实例对应的应用的CPU使用量，m_j ^CPU为第j个宿主机提供的CPU计算资源；

1.3选取排序后前N_m个机器，M_c＝M_s[：N_m]；

1.4求解式(3)定义的线性规划问题，Score＝SM(M_c，A，S，α，β)

在式(3)中，A为所有的应用的数据集，S为所有的实例的数据集，α，β为惩罚系数；t_j，k代表机器m_j在时间k的CPU占有百分比，

代表使用的机器的集合；该线性规划问题可以使用单纯形法进行快速的求解；不过对于模型参数-使用宿主服务器数量card(M)，需要使用密集搜索的方式加以确定；步骤1.4将使用单纯形法求解线性规划问题，并得到一个最优的分数返回；

1.5记录数据并且更新机器数量N_m←N_m+1，SLL＝Score；

1.6判断分数与上一次迭代相比是否上升，如果没有上升，回到步骤1.3，否则中止；

1.7返回SLL，N_m；

步骤2.选取按照机器能力进行排序后前N_m个机器，M_c＝M_s[：N_m]；

步骤3.使用最优二元交换方法对服务器的调度方案进行优化；

所述“最优二元交换方法”具体包括：

3.1初始化机器状态矩阵E；

3.2遍历所有的实例，使用FISTFIT方法将实例装入可行的宿主服务器；得到调度矩阵V与更新后的状态矩阵E，以及V是否满足约束要求的布尔量B描述为(4)：

B，V，E＝FF(M_c，A，S，α，β) (4)

3.3判断B是否为1，如果为1，则设置循环次数计数器L＝1后进入步骤3.4；否则执行N_m＝Int(1.01*N_m)，进入步骤3.2；

3.4遍历所有宿主服务器，按照公式

计算每台服务器的特征分，并统计机器中的最高分s_h和机器中的最低分s_l；

3.5按照公式(5)选取高分服务器集合与低分服务器集合：

S^Mh，S^Ml＝ChooMachSet(M_c，L，N_s，s_h，s_l，γ) (5)

步骤3.5中，使用最高分与最低分为输入生成高分集合与低分集合，

生成的标准如公式(6)(7)

式中，γ为集合选择系数，一个较大的值可以使得高分机器集合和低分机器集合随循环次数的选择增长的更快；返回的参数中S^Mh代表高分机器集合，S^Ml代表低分机器集合；

3.6按照公式(8)分别在两个服务器集合中选取一台待交换机器：

M^h，M^l＝ChooMach(S^Mh，S^Ml) (8)

步骤3.4-3.6维护一个高分机器集合与低分机器集合，其中特征分数概念由目标函数中目标分的概念变化而来；

3.7分支定界法求解小规模MIP问题，得到新的分配方案与机器状态：

V^mip，E＝BBM(M^h，A，M^l，α，β)；

3.8将新得到的部分分配方案合并入原来的分配方案中

V＝Merge(V^mip，V)：

3.9判断小规模MIP子问题求解次数是否达到设定值，如果没达到，执行L＝L+1返回步骤6，否则，执行步骤9；

3.10计算获得分数并且更新最佳结果V^BEST与可用主机数：

O＝CacuScore(E)，N_m＝N_m+1；

3.11判断N_m是否达到预设值，如果没有达到返回步骤2，否则退出算法返回V^BEST。

Images