CN104516785B - 一种云计算资源调度系统及方法 - Google Patents

Abstract

本发明公开了一种云计算资源调度系统及方法，该方法包括：根据任务数和资源数来建立资源分配模型，定义资源分配矩阵、资源调用时间矩阵以及调度目标；根据编码规则，产生初始种群的编码；根据适应度函数计算种群的适应度值；根据适应度值选取优势种群；利用学习因子进行种群的更新，根据更新的结果产生下一代新的种群；判断是否符合终止条件，若符合，则终止，表明找到最优解；若不符合，则返回计算适应度值；根据解码规则，对找到的最优解进行解码操作，得到资源分配的结果，本发明能够很好地解决云计算的资源分配问题。

Description

一种云计算资源调度系统及方法

技术领域

本发明涉及云计算资源调度方案，特别是涉及一种基于分布估计算法的云计算资源调度系统及方法。

背景技术

云计算是将所有的资源虚拟化存放在一个资源池中，透明地调度这些资源供各个任务使用，所以云计算关键的部分是应用层和虚拟资源层之间的虚拟化映射。资源分配问题就是寻找一个优化方案实现任务与资源的合理映射。如何找到一个合理的分配方案，资源调度是关键。

梁桂才等人于《南宁职业技术学院学报》发表的“应用Min-Min算法思想解决依赖型任务调度”提出了一种经典的调度算法来解决资源分配问题，这类算法简单易实现，但是解决超大规模的数据时性能不佳；Zhen Xiao等人于《IEEE TRANSACTIONS ON PARALLELAND DISTRIBUTED SYSTEMS》发表的“Dynamic Resource Allocation Using VirtualMachines for Cloud Computing Environment”采用经济学的思想有效地解决了资源分配问题，这类算法精确，但是建模过程太过复杂

分布估计算法(Estimation of Distribution Algorithms)是一类新型的智能算法，它结合了遗传算法与统计学的特性，通过概率向量对问题的解空间采样而得到下一代群体，该算法提供了很好的全局搜索框架，具有并行计算的特点，近年来已经成为国际进化计算领域的研究热点。基于种群的增量学习算法(Population Based IncrementalLearning，PBIL算法)是分布估计算法的一种具体形式，已经在很多问题中得到了应用。如何将实现基于分布估计算法的云计算资源调度是目前迫切需解决的问题。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种云计算资源调度系统及方法，其实现了利用分布估计算法设计了针对云计算资源分配问题的资源调度方法，提供了很好的全局搜索框架，具有并行计算的优点，能够很好地解决云计算的资源分配问题。

为达上述及其它目的，本发明提出一种云计算资源调度方法，包括如下步骤：

步骤一，根据任务数和资源数来建立资源分配模型，定义资源分配矩阵、资源调用时间矩阵以及调度目标；

步骤二，根据编码规则，产生初始种群的编码；

步骤三，根据适应度函数计算种群的适应度值；

步骤四，根据适应度值选取优势种群；

步骤五，利用学习因子进行种群的更新，根据更新的结果产生下一代新的种群；

步骤六判断是否符合终止条件，若符合，则终止，表明找到最优解；若不符合，则返回步骤三，继续进化过程；

步骤七，根据解码规则，对找到的最优解进行解码操作，得到资源分配的结果

进一步地，所述资源分配矩阵N为根据云计算资源调度的任务数和资源数初始化一个m×n的矩阵N，如果任务t_i调用了资源r_j，则标记为N[i][j]＝1，否则标记为N[i][j]＝0，它是由0和1为基本元素所构成的m×n矩阵；每个任务t_i独立调用资源r_j所用的时间记为T[i][j]，则m个任务调度n个资源所用的时间构成一个m×n资源调用时间矩阵T。

进一步地，假设在云计算资源调度中，共有m个任务和n个虚拟资源，则该资源分配模型定义为：

其中，TotalTime为m个任务完成所需的总时间，h_j为资源r_j上所有任务完成的时间之和，

进一步地，所述云计算资源调度的目标为使TotalTime尽可能小。

进一步地，所述适应度函数的定义如下：

进一步地，所述学习因子为:

其中，k表示迭代次数，r_k为学习因子，是迭代次数k的函数，随k的变化而变化，r₁表示最开始的时候的学习因子，r表示最终结束时的学习因子，为一确定的限定值，T为最大迭代次数。

进一步地，所述编码规则为将所述资源分配矩阵转换为一维表，转换后的一维表表示一条染色体。

进一步地，所述解码规则为将已知的染色体表示的一维表相应地转化成二维表。

进一步地，于步骤四中，将获得的适应度值排序，选取前面的一半群体为优势群体，将优势群体作为新的群体的一部分进行后续的迭代操作。

为达到上述目的，本发明还提供一种云计算资源调度系统，包括：

云计算资源分配模型建立模组，根据任务数和资源数来建立资源分配模型，定义资源分配矩阵、资源调用时间矩阵以及云计算资源调度的目标；

编码模组，根据编码规则，产生初始种群的编码；

适应度值计算模组，根据适应度函数计算种群的适应度值；

优势种群选取模组，根据适应度值选取优势种群；

更新模组，利用学习因子进行种群的更新，根据更新的结果产生下一代新的种群；

判断模组，判断是否符合终止条件，若符合，则终止进化过程，表明找到最优解；若不符合，则继续启动适应度值计算模组，继续进化过程；

解码模组，根据解码规则，对找到的最优解进行解码操作，得到资源分配的结果。

与现有技术相比，本发明一种云计算资源调度系统及方法结合了遗传算法与统计学的特性，通过概率向量对问题的解空间采样而得到下一代群体，实现了利用分布估计算法设计了针对云计算资源分配问题的资源调度方法，提供了很好的全局搜索框架，具有并行计算的优点，能够很好地解决云计算的资源分配问题。

附图说明

图1为本发明一种云计算资源调度系统的系统架构图；

图2为本发明一种云计算资源调度方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

在介绍本发明之前，先描述一下PBIL算法的基本原理：

PBIL算法是由美国卡耐基梅隆大学的Baluja在1994年提出的，可以很好解决二进制编码的优化问题。该算法的基本思想：用一个概率向量来表示解空间解的分布，其中，p(x_i)表示第i个基因位取值为1的概率。具体实现过程为：在每一代中，根据概率向量对解空间随机采样得到M个个体，并依照一定的规则选出其中的N个个体作为优势群体，然后依据这N个个体来更新概率向量，如此反复，而求得问题的最优解。其更新概率向量规则如式(1)所示：

其中p_l(x)表示第l代个体的概率向量，表示学习速率表示第l代个体的第k个个体。

基于PBIL算法的基本原理，可以给出其执行流程和步骤如下：

Step 1:产生初始种群；

Step 2:从初始种群中选出优势群体；

Step 3:根据优势群体，进行概率模型的更新；

Step 4:根据更新后的概率模型对解空间进行随机采样，从而得到新一代群体；

Step 5:判断是否符合终止条件，若符合，则终止，表明找到最优解；若不符合，则返回Step 2，继续进化过程。

在Step 2中，从初始种群中选出优势群体的方法不同，分布估计算法就不同。在Step 5中，常用的终止条件有：迭代次数、某一个体的基因位概率全1或全0、规定的最小偏差、观察适应度的变化趋势等。

图1为本发明一种云计算资源调度系统的系统架构图。如图1所示，本发明一种云计算资源调度系统，包括：云计算资源分配模型建立模组101、编码模块102、适应度值计算模组103、优势种群选取模组104、更新模组105、判断模组106以及解码模组107。

云计算资源分配模型建立模组101，根据任务数和资源数来建立资源分配模型，定义资源分配矩阵、资源调用时间矩阵以及云计算资源调度的目标。

假设在云计算资源调度中，共有m个任务和n个虚拟资源，任务分别标记为t₁,t₂,…,t_m,资源标记为r₁,r₂,…,r_n，则可以给出如下定义：

定义1资源分配矩阵N：根据云计算资源调度的任务数和资源数初始化一个m×n的矩阵N，如果任务t_i调用了资源r_j，则标记为N[i][j]＝1，否则标记为N[i][j]＝0，它是由0和1为基本元素所构成的m×n矩阵。

定义2资源调用时间矩阵T：每个任务t_i独立调用资源r_j所用的时间记为T[i][j]，则m个任务调度n个资源所用的时间构成一个m×n矩阵T；

定义3资源分配模型：假设在云计算资源调度中，共有m个任务和n个虚拟资源，则资源分配模型可以定义为如式(2)：

其中：TotalTime为m个任务完成所需的总时间，h_j为资源r_j上所有任务完成的时间之和，h_j的值如式(3)所示：

云计算资源调度的目标：在云计算资源分配中，有m个任务调度n个虚拟资源，则调度目标就是使TotalTime尽可能小。

编码模组102，根据编码规则，产生初始种群的编码。编码是本发明开始产生初始种群的基础。本发明采用的编码方案是：将资源分配矩阵转换为一维表，转换后的一维表即表示一条染色体。

在本发明较佳实施例中，考虑4个任务在4个资源的分配情况。

假设有8条染色体，每条染色体由下面形式形成编码，即将每个任务在每个资源上的分布情况所形成的的二维表转化成一维表。按照下面的方式转化：

第一批的4个元素表示任务t₁在4个资源中的分配情况，第二批4个元素表示任务t₂在4个资源中的分配情况，第三批4个元素表示任务t₃在4个资源中的分配情况，第四批4个元素表示任务t₄在4个资源中的分配情况，即这条染色体长度为16，由0和1构成。已知任务在资源上的分配情况如表1所示。资源分配矩阵

表1每个任务在每个资源上分布情况

将表1中每个任务在每个资源上的分配情况所成的二维表转化为一维表，转化后的一维表l₁具体表示如下：

l₁:{1001 1100 1110 0011}

这个一维表l₁即表示一条染色体。这条染色体表示任务t₁分到资源r₁和r₄中，任务t₂分到资源r₁和r₂中，任务t₃分到资源r₁，r₂和r₃，任务t₄分到资源r₃和r₄中。

适应度值计算模组103，根据适应度函数计算种群的适应度值。

由于云计算资源调度的目标就是在云计算资源分配中，针对m个任务调度n个虚拟资源，m个任务完成的总时间TotalTime尽可能小，所以可以确定适应度函数的定义如式(4)：

优势种群选取模组104，根据适应度值选取优势种群。具体地说，在选择优势群体时，先将适应度值排序，然后选取前面的一半群体为优势群体，将优势群体作为新的群体的一部分进行下面的迭代操作。

更新模组105，利用学习因子进行种群的更新，根据更新的结果产生下一代新的种群。

学习因子跟迭代次数之间的关系是由大逐渐变小，而且到后期减小的速度很快，学习因子具体见公式(5)：

其中，k表示迭代次数，r_k是学习因子，是迭代次数k的函数，随k的变化而变化；r₁表示最开始的时候的学习因子；r表示最终结束时的学习因子，是一个确定的限定值；T是最大迭代次数。

这里，学习因子自适应性变化是为了前期能保持全局最优，后期能减少陷入局部最优的次数。

判断模组106，是否符合终止条件，若符合，则终止，表明找到最优解；若不符合，则继续启动适应度值计算模组103，继续进化过程。在本发明较佳实施例中，该终止条件为迭代次数。

解码模组107，根据解码规则，对找到的最优解进行解码操作，得到资源分配的结果。

相应编码规则，解码模组107按照以下规则可以由已知的染色体表示的一维表转化成二维表，从而完成解码的过程。现将每条染色体的长度16按照资源的数目4依次均等分开，在变成4个部分。然后，每个部分里面依次表示着每个任务在每个资源上的分配情况。具体如以上的一维表l₁。将这个一维表按照资源数目分成4部分，则第一部分表示第一个任务对各个资源的使用情况，第二部分表示第二个任务对各个资源的使用情况，第三部分表示第三个任务对各个资源的使用情况，第四部分表示第四个任务对各个资源的使用情况。

图2为本发明一种云计算资源调度方法的步骤流程图。如图2所示，本发明一种云计算资源调度方法，包括如下步骤：

步骤201，根据任务数和资源数来建立资源分配模型，定义资源分配矩阵、资源调用时间矩阵以及调度目标。

假设在云计算资源调度中，共有m个任务和n个虚拟资源，任务分别标记为t₁,t₂,…,t_m,资源标记为r₁,r₂,…,r_n，则可以给出如下定义：

定义1资源分配矩阵N：根据云计算资源调度的任务数和资源数初始化一个m×n的矩阵N，如果任务t_i调用了资源r_j，则标记为N[i][j]＝1，否则标记为N[i][j]＝0，它是由0和1为基本元素所构成的m×n矩阵。

定义2资源调用时间矩阵T：每个任务t_i独立调用资源r_j所用的时间记为T[i][j]，则m个任务调度n个资源所用的时间构成一个m×n矩阵T；

定义3资源分配模型：假设在云计算资源调度中，共有m个任务和n个虚拟资源，则资源分配模型可以定义为如式(2)：

其中：TotalTime为m个任务完成所需的总时间，h_j为资源r_j上所有任务完成的时间之和，h_j的值如式(3)所示：

云计算资源调度的目标：在云计算资源分配中，有m个任务调度n个虚拟资源，则调度目标就是使TotalTime尽可能小。

步骤202，根据编码规则，产生初始种群的编码。

在本发明中，编码规则为：将资源分配矩阵转换为一维表，转换后的一维表即表示一条染色体。

例如：已知有4个任务调度4个资源的一个资源分配矩阵为则可以得到一条染色体为{1 0 0 1 1 1 0 0 1 1 1 0 0 0 1 1}，表示任务t₁分到资源r₁和r₄中，任务t₂分到资源r₁和r₂中，任务t₃分到资源r₁，r₂和r₃，任务t₄分到资源r₃和r₄中。

步骤203，根据适应度函数计算种群的适应度值。

云计算资源调度的目标就是在云计算资源分配中，针对m个任务调度n个虚拟资源，m个任务完成的总时间TotalTime尽可能小，所以可以确定适应度函数的定义如式(4)：

步骤204，根据适应度值选取优势种群。在选择优势群体时，先将适应度值排序，然后选取前面的一半群体为优势群体，将优势群体作为新的群体的一部分进行下面的迭代操作。

步骤205，利用学习因子进行种群的更新，根据更新的结果产生下一代新的种群。

学习因子跟迭代次数之间的关系是由大逐渐变小，而且到后期减小的速度很快，具体见公式(5)：

其中，k表示迭代次数，r_k是学习因子，是迭代次数k的函数，随k的变化而变化；r₁表示最开始的时候的学习因子；r表示最终结束时的学习因子，是一个确定的限定值；T是最大迭代次数。

学习因子自适应性变化是为了前期能保持全局最优，后期能减少陷入局部最优的次数。

步骤206，判断是否符合终止条件，若符合，则终止，表明找到最优解；若不符合，则返回步骤203，继续进化过程。本发明较佳实施例中，该终止条件为迭代次数。

步骤207，根据解码规则，对找到的最优解进行解码操作，得到资源分配的结果。

在本发明较佳实施例中，按照以下规则可以由已知的染色体表示的一维表转化成二维表，从而完成解码的过程。相应编码的例子，现将每条染色体的长度16按照资源的数目4依次均等分开，在变成4个部分。然后，每个部分里面依次表示着每个任务在每个资源上的分配情况。具体如以上的一维表l₁。将这个一维表按照资源数目分成4部分，则第一部分表示第一个任务对各个资源的使用情况，第二部分表示第二个任务对各个资源的使用情况，第三部分表示第三个任务对各个资源的使用情况，第四部分表示第四个任务对各个资源的使用情况。

实验仿真：

为了测试PBIL算法在云计算资源分配中的应用效果，采用ClousSim平台对算法进行仿真。

实验分别选择ClousSim自带的RR(时间片轮)算法、SFLA(混合蛙跳算法)算法和PBIL算法来模拟资源调度。分别仿真比较了少量任务情况下完成进行时间的比较，多任务调度时完成时间的比较。

1.1仿真参数设置

仿真情景1：假设种群中有500条染色体，有5个用户任务,记为t₀，t₁，t₂，t₃，t₄，有3个虚拟资源节点，记为r₀，r₁，r₂，具体参数如表2所示：

表2：仿真情景1的实验参数配置

仿真情景2：假设有50、150、450、4000个任务分别调度20-40个虚拟资源来完成任务，具体的参数如表3所示：

表3：仿真情景2的实验参数配置

Cloudlets	Vms	Simulations
			50	20	300
150	20	300
			450	40	300
4000	40	300

1.2仿真结果分析

1.2.1仿真情景1的实验结果

仿真情景1主要是针对少量任务的云计算资源调度情况，三个算法执行所有任务的总时间TotalTime的比较如表4所示，每个算法执行时单个任务的执行时间表5所示。

表4：仿真情景1的TotalTime的比较

Algorithm	Cloudlets	TotalTime(ms)
			RR	5	40.231
SFLA	5	28.456
			PBIL	5	23.542

表5：单一任完成行时间的比较

从表4可以看出，使用本发明提出的PBIL算法执行所有任务的总时间要比使用RR算法和SFLA算法的总时间要短，但是效果并没有得到非常好的改善。

表5表明，使用PBIL算法之后，就单个任务执行时间而言，t₀和t₃明显地时间要短一些，而t₁,t₂,t₄的执行时间改善不是很明显，这就说明，云计算环境中资源节点的计算能力存在差异，但是使用PBIL算法更容易让资源负载的调度达到平衡。

3.2.2仿真情景2的实验结果

仿真情景2主要是考察在任务数比较繁重的情况下，三种算法在资源调度上的性能差别。表6给出了在资源数一定的情况下，三种算法完成任务的总时间TotalTime的比较(300次实验结果的平均值)：

表6：仿真情景2的TotalTime的比较

从表6可以看出，在资源数一定的情况下，针对多任务的云计算资源调度，本发明提出的PBIL算法完成任务的时间最短。

表7给出了将4000个任务分别调度到20-40个虚拟资源上，三种算法完成任务的总时间TotalTime的比较：

表7:4000个任务调度的TotalTime的比较

从表7可以看出，在云计算资源调度中，当任务数一定时，随着资源数目的增加，完成任务的总时间是逐步减少的，但是PBIL算法完成任务的总时间减少的幅度最快，说明PBIL算法在多任务的资源调度中有明显的优势。

综上所述，本发明一种云计算资源调度系统及方法结合了遗传算法与统计学的特性，通过概率向量对问题的解空间采样而得到下一代群体，实现了利用分布估计算法设计了针对云计算资源分配问题的资源调度方法，提供了很好的全局搜索框架，具有并行计算的优点，能够很好地解决云计算的资源分配问题。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种云计算资源调度方法，包括如下步骤：

步骤一，根据任务数和资源数来建立资源分配模型，定义资源分配矩阵、资源调用时间矩阵以及调度目标；

步骤二，根据编码规则，产生初始种群的编码；

步骤三，根据适应度函数计算种群的适应度值；

步骤四，根据适应度值选取优势种群；

步骤五，利用学习因子进行种群的更新，根据更新的结果产生下一代新的种群；

步骤六判断是否符合终止条件，若符合，则终止，表明找到最优解；若不符合，则返回步骤三，继续进化过程；

步骤七，根据解码规则，对找到的最优解进行解码操作，得到资源分配的结果。

2.如权利要求1所述的一种云计算资源调度方法，其特征在于：所述资源分配矩阵N为根据云计算资源调度的任务数和资源数初始化一个m×n的矩阵N，如果任务t_i调用了资源r_j，则标记为N[i][j]＝1，否则标记为N[i][j]＝0，它是由0和1为基本元素所构成的m×n矩阵；每个任务t_i独立调用资源r_j所用的时间记为T[i][j]，则m个任务调度n个资源所用的时间构成一个m×n资源调用时间矩阵T。

3.如权利要求2所述的一种云计算资源调度方法，其特征在于：假设在云计算资源调度中，共有m个任务和n个虚拟资源，则该资源分配模型定义为：

<mrow> <mi>T</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> <mi>T</mi> <mi>i</mi> <mi>m</mi> <mi>e</mi> <mo>=</mo> <munderover> <mi>max</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>h</mi> <mi>j</mi> </msub> </mrow>

其中，TotalTime为m个任务完成所需的总时间，h_j为资源r_j上所有任务完成的时间之和，

4.如权利要求3所述的一种云计算资源调度方法，其特征在于：所述云计算资源调度的目标为使TotalTime最小。

5.如权利要求4所述的一种云计算资源调度方法，其特征在于：所述适应度函数的定义如下：

<mrow> <mi>f</mi> <mi>i</mi> <mi>t</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>T</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> <mi>t</mi> <mi>i</mi> <mi>m</mi> <mi>e</mi> </mrow> </mfrac> <mo>.</mo> </mrow>

6.如权利要求5所述的一种云计算资源调度方法，其特征在于：所述学习因子为:

<mrow> <msub> <mi>r</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>-</mo> <mi>r</mi> <mo>)</mo> </mrow> <mo>*</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mi>k</mi> <mi>T</mi> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

其中，k表示迭代次数，r_k为学习因子，是迭代次数k的函数，随k的变化而变化，r₁表示最开始的时候的学习因子，r表示最终结束时的学习因子，为一确定的限定值，T为最大迭代次数。

7.如权利要求1所述的一种云计算资源调度方法，其特征在于：所述编码规则为将所述资源分配矩阵转换为一维表，转换后的一维表表示一条染色体。

8.如权利要求7所述的一种云计算资源调度方法，其特征在于：所述解码规则为将已知的染色体表示的一维表相应地转化成二维表。

9.如权利要求1所述的一种云计算资源调度方法，其特征在于：于步骤四中，将获得的适应度值排序，选取前面的一半群体为优势群体，将优势群体作为新的群体的一部分进行后续的迭代操作。

10.一种云计算资源调度系统，包括：

云计算资源分配模型建立模组，根据任务数和资源数来建立资源分配模型，定义资源分配矩阵、资源调用时间矩阵以及云计算资源调度的目标；

编码模组，根据编码规则，产生初始种群的编码；

适应度值计算模组，根据适应度函数计算种群的适应度值；

优势种群选取模组，根据适应度值选取优势种群；

更新模组，利用学习因子进行种群的更新，根据更新的结果产生下一代新的种群；

判断模组，判断是否符合终止条件，若符合，则终止进化过程，表明找到最优解；若不符合，则继续启动适应度值计算模组，继续进化过程；

解码模组，根据解码规则，对找到的最优解进行解码操作，得到资源分配的结果。