CN107357652B - 一种基于分段排序及标准差调整因子的云计算任务调度方法 - Google Patents

Abstract

本发明实施例提供了一种基于分段排序及标准差调整因子的云计算任务调度方法，包括：基于任务的独立性和异构的硬件计算节点，建立任务调度数学模型，确定预期执行矩阵ETC；利用动态规划的多阶段决策组合优化方法，计算各个任务的平均预期执行时间，并以此为依据将任务进行分段，使长时间执行的任务可以优先执行，缩短执行时间；在各个分段中，计算每个任务在各个计算节点下运行时间的标准差，然后根据其大小，将标准差大的任务优先调度到最短完成时间的计算节点上，从而减少任务等待时间。根据本发明实施例提供的技术方案，可以实现提高任务调度的效率，缩短时间跨度，确保负载均衡。

Description

一种基于分段排序及标准差调整因子的云计算任务调度方法

【技术领域】

本发明涉及数据处理技术领域，尤其涉及一种基于分段排序及标准差调整因子的云计算任务调度方法。

【背景技术】

任务调度算法是云计算技术的核心，它直接决定着整个系统的运行效率。一般意义上调度是任务与任务处理器的一种映射。云计算系统中资源种类众多，提供服务效率不一，规模巨大，怎样更有效利用云计算系统中的资源一直是一个核心关注热点。选择合适的任务调度算法有助于提高云计算的处理效率、减少成本等。

传统调度算法包括轮询、随机、hash算法等，但由于算法简单，操作方便，比较适用于短任务，任务数较少的同构环境，对于异构计算环境来说有许多不足，从而造成时间跨度(makespan)增大。经典启发式算法包括min-min算法、sufferage算法、遗传、蚁群法。遗传、蚁群算法的复杂度较高，min-min算法以最快的速度减少调度中的任务，以尽量缩短所有任务的完成时间，但min-min算法会使系统负载不均衡，并导致makespan较大。Max-min算法首先调度长任务，一定程度上能够使负载平衡趋于均衡，但该算法缺陷是，没有考虑任务的执行频率。与min-min算法先调度短任务不同的是，seg-min-min算法在调度前先对任务按长度排序，执行时间长的任务段较早被调度，且被调度到处理能力强的机器上在执行长任务的同时能执行若干短任务，这样任务的整体执行时间可能只由长任务来决定，而长任务又被分配到了执行该任务的最佳资源上，所以会使总的任务执行时间缩短，但是一味地优先调度长任务，会造成短任务停滞等待，甚至负载均衡度大大降低。

【发明内容】

基于上述，本发明提出一种基于分段排序及标准差调整因子的云计算任务调度方法。基于任务的独立性和异构的硬件计算节点，建立任务调度数学模型，确定预期执行矩阵ETC；利用动态规划的多阶段决策组合优化方法，计算各个任务的平均预期执行时间，并以此为依据将任务进行分段，使长时间执行的任务可以优先执行，缩短执行时间；在各个分段中，计算每个任务在各个计算节点下预期运行时间的标准差，然后根据其大小，将标准差大的任务优先调度到最短完成时间的计算节点上，从而减少任务等待时间。

以往算法对任务执行时间考虑不足，单纯追求当前局部最优，给全局性能带来了负面影响。在一个给定的计算环境上任务执行时间是存在差异的。有的在不同的计算环境上差异大些，有的差异小些。对执行时间差异大的任务，差异越大按以往的算法带来的负面影响越大。针对表1的一个示例，对以往算法进行改进，可以一定程度上提高性能，弥补不足，结果对比如图2所示。本发明的优点在于：从任务之间相互独立、长度长短不一等特点出发，根据ETC矩阵，采取相应的调度策略。基于动态规划思想，利用多阶段决策的组合优化方法，根据分段和标准差来规划每个任务的调度问题，从全局角度出发，不仅考虑当前任务，也考虑下一步的调度，使得总体的时间跨度缩短，同时也兼顾提高了负载均衡性，提高对计算资源的利用率。

表1任务与机器执行时间示例

	T0	T1	T2
				H0	2	4	6
H1	4	8	13
				H2	7	14	18

Ti代表第i个任务，i＝0,1,…,n

Hj代表第j个处理器节点，j＝0,1,…,m

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。

图1为本发明实施例所提供的基于分段排序及标准差调整因子的云计算任务调度方法的流程示意图；

图2为本发明对传统min-min算法的缺点分析；

图3为本发明中改进算法的详细实施步骤图；

图4为本发明中改进算法与原有算法时间跨度对比与差值趋势图；

图5为本发明中改进算法与原有算法负载均衡对比与差值趋势图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

(一)实施步骤

本发明主要分为三大步骤：(1)基于任务的独立性和异构的硬件计算节点，建立任务调度数学模型，确定预期执行矩阵ETC；(2)利用动态规划的多阶段决策组合优化方法，计算各个任务的平均预期执行时间，并以此为依据将任务进行分段，使长时间执行的任务可以优先执行，缩短执行时间；(3)在各个分段中，计算每个任务在各个计算节点下运行时间的标准差，然后根据其大小，将标准差大的任务优先调度到最短完成时间的计算节点上，从而减少任务等待时间。具体的流程示意图如图3。

任务调度目的是合理分配任务，实现最佳调度策略并且有效地完成任务。利用动态规划算法进行任务调度研究，以任务运行时间最少为优化目标，把任务与计算集群中的异构计算机匹配看成多阶段决策的组合优化。

1.基于任务的独立性和异构的硬件计算节点，建立任务调度数学模型，确定预期执行矩阵ETC：

1-1)根据用户提交的任务数生成任务列表T＝{t₁,t₂,t₃,...}，其中t_i代表编号为i的任务，它们都是相互独立的任务。利用当前可利用计算节点生成计算资源列表(m个计算资源的集合)，由于考虑到多个用户、多个任务调度的情况，这里设定任务数量n远远大于计算机节点数量m；

1-2)根据任务数、任务规模和资源计算能力，计算出每一个任务在不同计算节点上的运行时间etc_ij，构建ETC矩阵。ETC矩阵可以用来表达任务和计算节点的异构性，它是一种性能预测模型；n个任务在m个计算节点上的预测执行时间ETC是一个n×m的矩阵，矩阵的第i行表示任务i在每一个计算节点的预测执行时间；第j列则表示在第j项计算机上的各个任务的预测执行时间：

1≤i≤n；1≤j≤m

上述公式中，etc_ij代表任务i在第j计算资源上的预期执行时间，t_ij代表附加通信时间，e_ij代表任务i在计算节点j的运行指令时间，inputsize_i代表任务i额外附加信息，作为扩展使用，length_i代表任务i的任务长度，bandwidth_j代表计算节点j的通信带宽，mips_j代表计算节点j的处理速度；

1-3)确定任务调度的目标和评价性能的标准-时间跨度和负载均衡，时间跨度是指从提交的任务列表中最后一个执行的任务时间与第一个任务开始执行的时间的差值，负载均衡可以使得全局获得较高的性能，避免计算资源出现一部分超重负载而发生崩溃，然而另一部分资源却闲置，不得利用的情况发生；任务调度的目标是使得最慢完成的计算机的处理时间最短，也就是最小的时间跨度，该算法不仅利用历史的调度信息，也使用预测信息，以期达到最终完成时间最短的目的(如下公式中的λ_i代表任务i是否被调度到计算节点j，它的值为0或1，0代表没有，1代表有)：

负载均衡可以体现一个系统的各个服务器上的负载是否均衡，利用各个服务器的负载值的标准方差来衡量：首先需要先根据每个计算节点的负载量求出所有负载的平均值，然后再根据标准差公式求得负载的标准差：

其中，m代表计算节点数，x_i代表第i个计算节点的负载量，

代表所有负载的平均值，σ代表所有负载的标准差。

2.利用动态规划的多阶段决策组合优化方法，计算各个任务的平均预期执行时间，并以此为依据将任务进行分段，使长时间执行的任务可以优先执行，缩短执行时间：

2-1)鉴于任务的异构性，这里将每个任务的平均执行时间e_i作为排序的标准：

2-2)将平均执行时间的长短作为排序标准，利用快速排序方法对任务排序。快速排序方法适用于大数据，且速度比较快，时间复杂度为O(nlogn)，不同于以往排序过程，该排序过程需要任务和执行时间保持一致，在排序过程中需要对任务和执行时间的对应关系进行记录。排序过程大致如下：

2-2-1)先从待排序的数组中取出一个数作为基准数；

2-2-2)以此基准数为基准，将无序数组中比基准数大的数全放到它的右子区间，小于或等于基准数的全放到它的左子区间；

2-2-3)分别对左右两个子区间进行排序；

2-2-4)递归调用快速排序这个过程，直到整个数组变为有序数列；

2-3)根据快速排序后的排序结果，按照平均执行时间值e_i大小对任务进行均匀分段，分为4-5段；分段值的设置会影响算法性能。分段值越大负载越趋于均衡，但分段值过大会降低算法的计算效率。多次实验得出分段值为4-5的算法在时间跨度和负载均衡方面最为合适。

3.计算每个任务在各个计算节点下运行时间的标准差，然后根据其大小，将标准差大的任务优先调度到最短完成时间的计算节点上，从而减少任务等待时间，缩短时间跨度。

标准差用以反映各个任务在各个计算节点上执行时间的离散程度。标准差较小的任务就说明其在各个计算节点上的执行时间基本一致，无论将它调度到哪个计算节点都不会对整个测试执行时间造成大的波动，对时间跨度影响不会很大；而标准差较大说明该任务在各个计算节点上的执行时间具有明显的不同，随机地将它分配到某个计算节点，将会对总体的时间跨度造成很大的影响，当标准差较大的任务率先进行调度时，可以全局性地缩短所有任务的时间跨度。从而减少任务等待时间，缩短时间跨度。

3-1)段内任务进行标准差优先级调整。标准差可以反映任务在每个计算节点上执行时间的离散程度，将此作为调整因子来缩短执行时间是具有意义的。利用之前求得的平均执行时间求得每个任务预期执行时间的标准差σ；

3-2)根据每个任务执行时间的标准差按照大小降序排列，在每段任务序列中将标准差大的任务优先调度到最小完成时间的计算节点上，从而减少任务等待时间，缩短时间跨度；并且当多个计算节点与将要分配的任务相匹配时，优先选择最小资源利用率的计算节点来执行任务；

3-3)计算每次调度中任务的mct_ij，构建MCT矩阵，MCT为n×m的预测最短完成时间矩阵，r_j为已调度的计算资源等待时间，mct_ij为第i行第j列所在任务的预测最短的完成时间：

mct_ij＝etc_ij+r_j

3-4)针对每个任务，选择mct_ij最小的进行任务与计算节点的匹配；

3-5)最后完成所有任务的调度，计算总的调度时间和负载均衡度、任务调度列表等。

本发明实施例所提出的一种基于分段排序及标准差调整因子的云计算任务调度方法的伪代码如下：

(二)性能分析

将本发明所提出的基于分段排序及标准差调整因子的智能电表云测试任务调度算法的性能分析主要从时间跨度、负载均衡两个方面与任务调度算法min-min相比较。

1.时间跨度：从用户第一个任务开始执行到最后一个任务执行完毕的时间跨度；

2.负载均衡：衡量一个系统的负载是否平衡，可以采用各个计算节点负载的标准方差来判断，标准方差就是用来判断一组数据波动性大小的一个指标，其值越小，波动性就越小，也就是各个计算节点之间的负载更均衡，差别更小。

本发明算法与原有min-min算法对比分析如表2所示，在这组实验中，保持计算节点的数量和属性不变，通过改变任务的数量来对比分析：

(1)计算节点：设置3台服务器，设置虚拟节点为每台10个，处理速度也就是为100到500的随机数，单位为mips；

(2)任务：设置任务的数量不断增加：3，6，30，60，100，200，300，400，500，800，1000不等；任务长度即任务大小，用指令数表示，指定任务的长度为1000到10000之间的随机数。

表2不同任务数量对时间跨度和负载平衡的影响

从对比分析来看出本发明提出的算法在时间跨度和负载均衡方面都有所提高。从表2和图4、5中可以看出：

(1)随着任务数的增长，改进算法的时间跨度较之原有算法得到显著提高，提高百分比基本保持在13-16％之间；并且随着任务量的增加，改进算法与原有算法之间的时间跨度的差距越来越大，这说明任务量越大，改进算法的时间跨度方面的性能越好。

(2)改进后的算法的负载均衡，虽然提高百分比相较原有Min-min算法有高有低，但随着任务量的增加可以看出负载均衡度的标准差都非常小，这说明改进后算法的负载均衡程度仍是比较高，计算节点负载量差别较小；且随着任务量的增加差距几乎保持在2以内。

本发明提出的算法主要将长任务优先执行，兼顾将标准差较大的分配给执行最快的机器，一定程度上缩短了总的调度时间；同时利用“分组”和“标准差”来调整任务调度分配情况，可以使得各个任务得到更适合的处理器，从而缩短任务调度跨度时间和提高负载均衡性，验证该算法的可行性和合理性。

Claims (1)

1.一种基于分段排序及标准差调整因子的云计算任务调度方法，其特征在于包括以下步骤：

步骤1：基于任务的独立性和异构的硬件计算节点，建立任务调度数学模型，确定预期执行矩阵ETC，具体为：

(1)根据任务数、任务规模和资源计算能力，得出任务列表和计算资源列表，计算出每一个任务在不同资源上的运行时间，构建ETC矩阵；ETC矩阵可以用来表达任务和机器的异构性，它是一种性能预测模型；n个任务在m个资源上的预测执行时间ETC是一个n×m的矩阵，矩阵的第i行表示任务i在每一个计算节点的预测执行时间；第j列则表示在第j项计算机上的各个任务的预测执行时间：

1≤i≤n；1≤j≤m

上述公式中，etc_ij代表任务i在第j计算资源上的预期执行时间，t_ij代表附加通信时间，e_ij代表任务i在计算节点j的运行指令时间，inputsize_i代表任务i额外附加信息，作为扩展使用，length_i代表任务i的任务长度，bandwidth_j代表计算节点j的通信带宽，mips_j代表计算节点j的处理速度；

(2)确定并计算任务调度的目标和评价性能的标准-时间跨度和负载均衡；任务调度的目标是使得最慢完成的计算机的处理时间最短，也就是最小的时间跨度(如下公式中的λ_i代表任务i是否被调度到计算节点j，它的值为0或1，0代表没有，1代表有):

态规划的多阶段决策组合优化方法，计算各个任务的平均预期执行时间，并以此为依据将负载均衡衡量一个系统的负载是否平衡，这里用各个计算节点负载的标准方差来判断：

其中，m代表计算节点数，x_i代表第i个计算节点的负载量，

代表所有负载的平均值，σ代表所有负载的标准差；

步骤2：利用动态规划的多阶段决策组合优化方法，计算各个任务的平均预期执行时间，并以此为依据将任务进行分段，使长时间执行的任务可以优先执行，缩短执行时间，具体为：

(1)根据任务独立和计算节点异构的特点，计算将每个任务的平均执行时间e_i，将其作为排序的标准：

(2)将平均执行时间的长短作为排序标准，利用快速排序方法对任务排序；快速排序方法采用分治的策略，适用于大数据，且速度比较快，可以达到O(nlogn)，其步骤分为三步：

1)先从待排序的数组中取出一个数作为基准数；

2)分区过程，将比这个数大的数全放到它的右边，小于或等于它的数全放到它的左边；

3)再对左右区间重复第二步，直到各区间只有一个数；

(3)根据快速排序后的排序结果，按照平均执行时间值e_i大小顺序对任务进行均匀分段，分为4-5段；分段主要是为了将长任务优先调度，同时也是提高负载均衡度；

步骤3：在各个分段中，计算每个任务在各个计算节点下运行时间的标准差，然后根据其大小，将标准差大的任务优先调度到最短完成时间的计算节点上，从而减少任务等待时间，具体为：

(1)段内任务进行标准差优先级调整；标准差可以反映任务在每个处理器上执行的离散程度，将此作为调整因子来缩短执行时间；利用之前求得的平均执行时间求得每个任务预期执行时间的标准差σ：

(2)计算每次调度中任务的mct_ij，构建MCT矩阵，MCT为n×m的预测最短完成时间矩阵，r_j为已调度的计算资源等待时间，mct_ij为第i行第j列所在任务的预测最短的完成时间：

mct_ij＝etc_ij+r_j

(3)依次对每个任务进行调度，直到所有的任务都结束，最后得到调度序列以及时间跨度、负载均衡等指标。

Images