CN104065745A

CN104065745A - 云计算动态资源调度系统和方法

Info

Publication number: CN104065745A
Application number: CN201410321360.1A
Authority: CN
Inventors: 罗光春; 田玲; 秦科; 刘贵松; 张蛟
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2014-07-07
Filing date: 2014-07-07
Publication date: 2014-09-24

Abstract

本发明涉及云计算领域中的动态资源调度技术，其针对现有技术中的云计算资源分配和调度技术的不足之处，提出一种基于反馈和预测机制的云计算动态资源调度方法，能够在云计算环境中实现均衡使用各种计算机资源，实现在较小的开销下获得满意的负载均衡，提高系统调度的综合效率。本发明的方案概括为：在虚拟机运行的过程中实时地监测虚拟机的各项性能指标，在任务请求到来时，根据监测到的虚拟机当前的各项性能指标和基于状态反馈的虚拟机状态预测模型预测当前所有虚拟机在接下来的一小段时间内的运行状况，根据预测结果结合请求的任务类型选择出最适合的虚拟机，并分配给请求的任务。此外，本发明还公开了相应的资源调度系统，适用于动态资源调度。

Description

云计算动态资源调度系统和方法

技术领域

本发明涉及云计算领域中的动态资源调度技术，特别涉及一种基于反馈和预测机制的云计算动态资源调度系统和相应的调度方法。

背景技术

近年来，随着信息技术的高速发展和互联网规模的日渐增大，互联网所要处理的业务量和数据量也在迅速增长。为了有效地处理这些海量的数据和服务，优化用户使用互联网服务的体验，云计算技术应运而生。云计算通过分布式计算技术、并行计算技术、虚拟化技术和负载均衡等计算机和网络技术向用户提供方便、快捷、安全的数据存储和网络服务，为计算机技术和IT技术的发展带来了新的机遇和挑战。

资源调度是指在特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者之间进行资源调整的过程。这些资源使用者对应着不同的计算任务(例如一个虚拟解决方案)，每个计算任务在操作系统中对应于一个或者多个进程。通常有两种途径可以实现计算任务的资源调度：在计算任务所在的机器上调整分配给它的资源使用量，或者将计算任务转移到其他机器上。虚拟机的出现使得所有的计算任务都被封装在一个虚拟机内部。由于虚拟机具有隔离特性，因此可以采用虚拟机的动态迁移方案来达到计算任务迁移的目的。

虽然云计算是在分布式计算技术、并行计算技术等传统的计算技术的基础上发展起来的，但是相对于传统的分布式计算、并行计算来说，云计算的资源池一般是由一些专门的服务器事先组成好的，并且云计算面向的用户类型和种类众多，因此，一些传统的资源调度和管理技术在云计算环境中并不适用。另外，云计算资源调度还具有按需分配、按量计费、资源流动大、必须对异构环境提供支持、必须降耗节能等新特性，云计算资源调度的这些新特性给云中的资源调度问题带来了更多新的挑战。如何采用高效的资源调度技术较好地解决云计算环境中资源调度的问题，提高云计算中的资源利用率是目前研究的重点。

从资源调度的模式上看，传统的分布式计算和并行计算的资源调度主要有三种模式：集中式、分散式、分级式。分级式和分散式的管理模式比较适用于对分布式系统和并行系统进行资源调度。现阶段，在云计算环境中主要是通过虚拟资源池的方式来管理云计算资源，并通过数据中心来实现任务的处理和资源的调度。因此，相对来说，集中式资源管理和调度模式更适用于云计算。目前，关于云计算资源调度的方法的研究已取得了一定的研究成果。澳大利亚的Rajkumar Buyya等学者提出的基于经济模型的资源调度方法是当前资源调度的一个主要的方法，该方法通过将云计算环境下的资源供求关系与市场经济模型进行类比，资源的买卖双方通过协商来完成交易，通过价格来调节资源的竞争和分配，从而实现资源的优化分配，并提高效率。徐向华等人在此基础上提出了一种基于市场机制的云计算资源分配策略，并设计了一个基于遗传算法的价格调节算法以平衡市场的需求和供给的矛盾，但是其目前提出的方法仅仅考虑了对CPU资源等底层资源的调度问题，还没办法处理其它类型的资源。此外，在基于经济模型的基础上，还衍生出了基于拍卖机制的调度算法模型。而李建锋等人通过改进现有遗传算法以适应云计算的编程模型框架，提出了一种具有双适应度的遗传算法。Zaharia等人在Max-Min公平调度算法的基础上设计了延迟调度算法，以实现较高的数据本地性，但延迟调度算法在等待开销较大的情况下，会影响任务的完成时间。为此，Isard等设计了基于最小代价流的调度模型，实现了数据本地性和作业公平性之间的平衡，并应用在了微软的云服务平台。闰英辉提出了一种根据当前各个计算节点资源的使用情况和任务当前的运行状态，将当前云计算环境的整体性能与待调度任务的QoS要求相结合，提出了一种为待调度任务选择合适资源的灵活的调度方法。此外，Fujimoto N等人还提出了基于信任机制的资源调度策略，通过在资源调度时综合考虑信任关系指标来提高资源调度的成功率。由于资源调度方法只能在任务到来时根据当时任务的资源需求状态选择最合适的调度策略，而由于任务在执行的过程中其状态在不断地发生着变化，因此任务在执行过程中的对任务进行重新调度也是一个核心的问题。法国的Jean-Marc Menaud和Hien Nguyen Van等人通过将为任务选择恰当的虚拟机和为虚拟机选择恰当的物理机的问题转化为约束满足问题实现了资源调度的动态优化。Fabien Hermenier等人通过研究如何分配和迁移虚拟机到物理主机的问题，提出了一种综合考虑重配置计算时间和虚拟机迁移时间的动态资源调度和管理方法Entropy。而魏贵义等人则提出了一个基于博弈论的资源调度算法，该算法综合考虑了优化和公平两个方面，在实现上先利用动态规划算法来处理单个参与者的独立优化问题，然后再利用进化算法来处理多个参与者的综合优化问题，能够较好地解决资源的动态调度问题，但是这种方法在实现上比较复杂，仅适用于处理一些非常复杂的和动态的问题。

总的来说，虽然近几年研究者在云计算资源调度上已经开展了一些研究工作，但是从结果上看，现有的部分云计算资源调度方法都是面向底层物理资源的调度，主要是通过给虚拟资源优化配置物理资源或是通过虚拟机迁移的方法来实现系统负载均衡和提高资源利用率，而这些方法在实现上都需要停止云应用来实现资源动态调度，有一定应用局限性。此外，另外一些其它方法所涉及到的大多数调度模型中所有的客户的待调度任务的类型都是一致的，而实际情况并非如此。由于云计算中业务众多，任务类型也多种多样，如果将所有用户应用程序的资源调度都置于相同的框架之下，所产生的调度结果对用户来说通常并不是最优的。因此，需要从任务类型的角度出发，根据待调度任务的任务类型选择不同的调度策略，从而实现对不同类型任务的高效调度。并且，在现有的云计算资源调度技术中，已有调度策略的片面性，可能会导致物理资源的盲目流转的出现，需要尽量避免。另外，在任务执行的过程中，由于任务的执行会改变任务的资源消耗类型，因而任务的类型也会因此发生变化，这就使得静态的资源分配和调度往往会造成资源的不足或浪费的情况，而人工的动态资源调整又有着明显的滞后性，因此还需要实时地监控任务的执行状态，并通过任务的资源消耗类型智能地判断任务的资源消耗类型，如果任务的资源消耗类型与初始时的任务类型不一致，且在足够长的时间内也将不会一致，并且这种不一致严重地影响到了虚拟机的健康值，则需要在适当的时机对任务进行动态的重新调度以实现均衡使用各种资源(CPU、内存、磁盘、I/O、网络)，避免出现单一资源瓶颈，提升虚拟机密度，消除热点，提高业务处理能力，而现有的资源调度方案没有考虑到这一点。

发明内容

本发明所要解决的技术问题是：针对现有技术中的云计算资源分配和调度技术的不足之处，提出一种基于反馈和预测机制的云计算动态资源调度系统和相应的调度方法，能够在云计算环境中实现均衡使用各种计算机资源，实现在较小的开销下获得满意的负载均衡，提高系统调度的综合效率。

本发明解决上述技术问题所采用的方案是：

云计算动态资源调度系统，包括：

任务请求模块，用于在用户提交任务请求时，验证用户身份的合法性和请求资源的合法性，若验证未通过，则拒绝该任务请求；若验证通过，则将该任务请求发送给任务类型判断模块；

任务类型判断模块，用于在收到任务请求时，判断请求的任务类型，并将所述请求的任务类型发送给调度决策模块；

资源状态监控模块，用于从云计算环境中收集各虚拟机的各项性能指标，并将收集到的信息发送给虚拟机状态预测模块；

虚拟机状态预测模块，用于根据各虚拟机的各项性能指标，并基于状态反馈的虚拟机状态预测模型计算各个虚拟机在此后一段时间内的状态值，并将计算出来的各个虚拟机的状态预测结果发送给调度决策模块；

调度决策模块，用于比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行资源调度的虚拟机发送给资源调度模块；

资源调度模块，用于将任务调度给调度决策模块选取的虚拟机，实现资源的智能分配。

具体的，所述请求的任务类型包括：计算类、I/O类或复合类；所述计算类任务是指以消耗CPU资源为主的任务；所述I/O类任务是指以消耗磁盘I/O或者网络带宽为主的任务；所述复合类任务是指同时消耗多种资源并无法区分哪种资源为该类型任务消耗的主要资源的任务。

具体的，所述任务类型判断模块判断请求的任务类型的方法为：

若请求的任务需要的CPU时长比需要的I/O时长大20％以上，则判定该请求的任务为计算类任务；若请求的任务需要的I/O时长比需要的CPU时长大20％以上，则判定该请求的任务为I/O类任务；若请求的任务需要的I/O时长与需要的CPU时长之差小于20％，则判定该请求的任务为复合类任务。

具体的，所述虚拟机的各项性能指标包括：CPU利用率、内存利用率、磁盘利用率、磁盘I/O利用率、网络带宽利用率。

具体的，所述调度决策模块比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行资源调度的虚拟机的的方法是：

比较各个虚拟机的状态预测值，如果只有一个虚拟机的预测值最大，则将其选取为要进行资源调度的虚拟机；如果有两个或以上的虚拟机的预测值最大，则根据请求的任务类型计算这些虚拟机的相应负载，在其中选取负载最小的虚拟机作为要进行资源调度的虚拟机。

此外，本发明的另一目的，还在于提出相应的资源调度方法，其包括以下实现步骤：

a.当用户提交任务请求时，任务请求模块验证用户身份的合法性和请求资源的合法性，若验证未通过，则拒绝该任务请求，结束流程；若验证通过，则将该任务请求发送给任务类型判断模块，进入步骤b；

b.任务类型判断模块对该请求的任务类型进行判断，并将判断出来的任务类型发送给调度决策模块；

c.虚拟机状态预测模块根据资源状态监控模块从云计算环境中收集各虚拟机的各项性能指标计算各个虚拟机在此后一段时间内的状态值，并将计算出来的各个虚拟机的状态预测结果发送给调度决策模块；

d.调度决策模块比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行资源调度的虚拟机发送给资源调度模块；

e.资源调度模块将用户请求的任务调度给调度决策模块选取的虚拟机，实现资源的智能分配。

具体的，步骤b中，所述请求的任务类型包括：计算类、I/O类或复合类；所述计算类任务是指以消耗CPU资源为主的任务；所述I/O类任务是指以消耗磁盘I/O或者网络带宽为主的任务；所述复合类任务是指同时消耗多种资源并无法区分哪种资源为该类型任务消耗的主要资源的任务。

具体的，步骤b中，所述任务类型判断模块对该请求的任务类型进行判断的方法为：

具体的，步骤c中，所述各虚拟机的各项性能指标包括：

CPU利用率、内存利用率、磁盘利用率、磁盘I/O利用率、网络带宽利用率。

具体的，步骤d中，所述调度决策模块比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行资源调度的虚拟机的方法为：

本发明的有益效果是：

(1)可以根据待调度任务的任务类型、虚拟机当前的运行状态和基于状态反馈的虚拟机状态预测模型，有倾向性和选择性地进行资源分配和调度，优化云计算资源的动态调度，使得整个系统资源分配更加合理；

(2)在进行状态预测时，将上一次的预测结果作为一个参数反馈到下一次的预测中去，从而实现对云计算系统中虚拟机状态进行动态的预测，并根据预测值对资源实现动态的调度，从而实现了资源的智能和动态分配，能够在云计算环境中实现均衡使用各种计算机资源，实现在较小的开销下获得满意的负载均衡，提高系统调度的综合效率。

附图说明

图1为本发明中的调度系统示意图；

图2为本发明中的调度方法实施例流程图。

具体实施方式

如图1所示，本发明中的云计算动态资源调度系统包括任务请求模块、任务类型判断模块、资源状态监控模块、虚拟机状态预测模块、调度决策模块、资源调度模块；

调度决策模块，用于比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型结合请求的任务类型选取要进行资源调度的虚拟机发送给资源调度模块；

由于云计算环境中资源的类型多种多样，各种任务对不同资源的需求也各不相同，各个虚拟机的运行状态也不一样，为了将任务分配给最合适的虚拟机，同时实现根据任务需求的云计算动态资源调度，所以在进行资源调度前需要对任务进行分类，并根据各虚拟机的性能指标对接下来一段时间内所有虚拟机的运行状态进行预测，将虚拟机接下来的运行状态抽象预测为可以量化的状态值，再结合预测的状态值和任务类型选取最适合的虚拟机进行任务分配，从而实现动态资源调度。

下面以一个实施例对本发明中的云计算动态资源调度方法进行具体阐述。

如图2所示，在本例中，实现动态资源调度的步骤如下：

资源监控模块实时地监测虚拟机的各项性能指标。如通过资源监控软件或模块对虚拟机的各项性能指标，包括CPU利用率、内存利用率、磁盘利用率、磁盘I/O利用率、网络带宽利用率等。

步骤1：在任务请求到来时，任务请求模块验证用户身份的合法性和请求资源的合法性，如果验证没有通过，将会拒绝任务请求，而通过验证的任务请求将会继续执行步骤2；

步骤2：任务类型判断模块智能判断任务请求的类型，常见的任务类型有：

(1)计算类任务，此类型任务以消耗CPU资源为主，如果任务请求所需要的CPU时长明显长于I/O时长(CPU时长比I/O时长大20％以上)则说明该任务是计算类任务；

(2)I/O类任务，此类任务主要消耗磁盘I/O或网络带宽，如果任务请求所需要的I/O时长明显长于CPU时长(I/O时长比CPU时长大20％以上)则说明该任务是I/O类任务；

(3)复合类任务，此类任务同时消耗多种资源，很难区分哪种资源是该类型任务消耗的主要资源，如果任务请求所需要的I/O时长和CPU时长两者差不太多则说明该任务是复合类任务；

在任务类型判断模块判断出任务类型后，执行步骤3；

步骤3：根据从云计算环境中收集到的各虚拟机的运行状态和负载信息(CPU利用率、内存利用率、磁盘利用率、磁盘I/O利用率、网络带宽利用率等)，并通过收集到的虚拟机状态指标确定虚拟机状态值，具体确定方法如下：

VSD = \sqrt{Σ_{0}^{5} (w_{i} {s_{i}}^{2})}

(式1)

其中VSD代表虚拟机状态值，w_i代表权值，s_i为虚拟机状态，它们分别为CPU利用率、内存利用率、磁盘利用率、磁盘I/O利用率、网络带宽利用率。将计算出来的VSD值添加到历史虚拟机状态值序列的末尾(如果序列不存在则创建该序列)，并将其长度增加1。如果历史虚拟机状态值序列大于n(根据情况选择n的值，此处选为7)，则删除掉历史虚拟机状态值序列中的第一个值，跳转到步骤4，否则直接跳转到步骤4；

步骤4：根据任务的类型和监测到的虚拟机当前各项性能指标以及虚拟机状态预测模块预测虚拟主机列表中各虚拟主机在接下来一段时间内的状态值。预测方法如下：

假设d₀是最近的n个历史虚拟机状态值序列(根据情况选择n的值，此处选为7)：

d₀＝(d₀(1),d₀(2),...,d₀(n)) (式2)

其中，d₁为d₀中数据的累加所生成的：

d₁＝(d₁(1),d₁(2),...,d₁(n)) (式3)

d₁与d₀的关系为

d_{1} (k) = Σ_{i = 1}^{k} d_{0} (i)

根据数学理论，由于累加生成的序列d₁的变化趋势为指数趋势，而一阶微分方程的解恰为指数增长形式的解，因此可近似认为d₁满足一阶微分方程模型：

\frac{{dd}_{1}}{dt} + {ad}_{1} = b

(式4)

其中，d₁为生成数列，a和b为待求参数，解此微分方程。由于采用离散形式易于计算，可将微分方程改写为离散形式：

a_{1} [d_{1} (k + 1)] + \frac{1}{2} a [d_{1} (k + 1) + d_{0} (k)] = b

其中，a₁表示了前后顺序增量比关系。

由于可推断d₁与d₀之间的关系：

当K＝1时，d₁(k+1)＝d₁(2)＝d₁(1)+d₀(2)，则

d₀(2)＝d₁(2)-d₁(1)＝d₁(k+1)-d₁(k)＝a₁[d₁(k+1)] (式5)

由此可知，当K＝1时，

d_{0} (2) + \frac{1}{2} a [d_{1} (1) + d_{1} (2)] = b

当K＝2时，

d_{0} (3) + \frac{1}{2} a [d_{1} (2) + d_{1} (3)] = b

当K＝n-1时，

d_{0} (n) + \frac{1}{2} a [d_{1} (n - 1) + d_{1} (n)] = b

写成矩阵形式有

[\begin{matrix} d_{0} (2) \\ d_{0} (3) \\ \cdot \\ · \\ \cdot \\ d_{0} (n) \end{matrix}] = [\begin{matrix} - \frac{1}{2} [d_{1} (1) + d_{1} (0) & 1 \\ - \frac{1}{2} [d_{1} (3) + d_{1} (2) & 1 \\ \cdot & \cdot \\ \cdot & \cdot \\ \cdot & \cdot \\ - \frac{1}{2} [d_{1} (n) + d_{1} (n - 1) & 1 \end{matrix}] [\begin{matrix} a \\ b \end{matrix}],

简记为Y_n＝BA，由于待求变量只有a和b两个，方程却有n-1个，因此方程无解，可用最小二乘法得到近似解，改写为

Y_{n} = B \hat{A} + E,

为使误差E最小，有

\hat{A} = {(B^{T} B)}^{- 1} B^{T} Y_{n} = [\begin{matrix} \hat{a} \\ \hat{b} \end{matrix}]

将和代回原方程，有

\frac{{dd}_{1}}{dt} + \hat{a} d_{1} = \hat{b}

(式6)

解上述方程可得到将上式改为离散形式，又因为有d₁(1)＝d₀(1)，因此可以得到

{\hat{d}}_{1}^{^} (k + 1) = [d_{0} (1) - \frac{{\hat{b}}^{^}}{{\hat{a}}^{^}}] e^{- \hat{a} k} + \frac{b}{a}

其中，k＝0,1,…

根据递推关系，有

{\hat{d}}_{1}^{^} (k) = [d_{0} (1) - \frac{{\hat{b}}^{^}}{{\hat{a}}^{^}}] e^{- \hat{a} (k - 1)} + \frac{b}{a}

其中，k＝2,3,…

上式就是时间与资源负载均衡之间的关系预测式，表示第k次资源负载均衡值。

步骤5：调度决策模块负责比较所有虚拟机的预测状态值，如果只有一个虚拟机的预测状态值最大，则将其选为要进行资源调度的虚拟机，如果有两个或两个以上虚拟机的预测状态值都是最大的，则根据任务类型做进一步的判断：

如果任务类型为计算类任务，则执行步骤5.1；如果任务类型为I/O类任务，则执行步骤5.2；如果任务类型为复合类任务，则执行步骤5.3；

步骤5.1：当任务为计算类任务时，调度决策模块计算这些预测状态值最大的虚拟机的CPU负载率，并将其中CPU负载率较小的虚拟机作为选定的虚拟机,若仍有两个或两个以上相同，则选定最前面的那一台虚拟机。CPU负载率计算公式为(其中，M为CPU负载率，P为CPU利用率，Q为CPU空闲率)：M＝P/Q，然后执行步骤6；

步骤5.2：当任务为I/O类任务时，调度决策模块计算这些预测状态值最大的虚拟机的I/O负载率，并将I/O负载率较小的虚拟机作为选定的虚拟机,若仍有两个或两个以上相同，则选定最前面的那一台虚拟机。I/O负载率计算公式为(其中，N为I/O负载率，V为磁盘I/O利用率，W为磁盘I/O空闲率，X为网络带宽利用率，Y为网络带宽空闲率)：N＝V/W*50％+X/Y*50％，然后执行步骤6；

步骤5.3：当任务为复合类任务时，调度决策模块计算这些预测状态值最大的虚拟机的综合负载率，并将综合负载率较小的虚拟机作为选定的虚拟机，若仍有两个或两个以上相同，则选定最前面的那一台虚拟机。综合负载率计算公式为(其中，O为综合负载率，P为CPU利用率，Q为CPU空闲率，R为内存利用率，S为内存空闲率，T为磁盘利用率，U为磁盘空闲率，V为磁盘I/O利用率，W为磁盘I/O空闲率，X为网络带宽利用率，Y为网络带宽空闲率)：O＝P/Q*20％+R/S*20％+T/U*20％+V/W*20％+X/Y*20％，然后执行步骤6；

步骤6：资源调度模块将任务调度给调度决策模块选取出的虚拟机，实现资源的智能分配，至此就完成了一次资源调度的过程。

Claims

1.云计算动态资源调度系统，其特征在于，包括：

2.如权利要求1所述的云计算动态资源调度系统，其特征在于，所述请求的任务类型包括：计算类、I/O类或复合类；所述计算类任务是指以消耗CPU资源为主的任务；所述I/O类任务是指以消耗磁盘I/O或者网络带宽为主的任务；所述复合类任务是指同时消耗多种资源并无法区分哪种资源为该类型任务消耗的主要资源的任务。

3.如权利要求2所述的云计算动态资源调度系统，其特征在于，所述任务类型判断模块判断请求的任务类型的方法为：

4.如权利要求1所述的云计算动态资源调度系统，其特征在于，所述虚拟机的各项性能指标包括：CPU利用率、内存利用率、磁盘利用率、磁盘I/O利用率、网络带宽利用率。

5.如权利要求1-4任意一项所述的云计算动态资源调度系统，其特征在于，所述调度决策模块比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行资源调度的虚拟机的的方法是：

6.云计算动态资源调度方法，其特征在于，包括以下实现步骤：

c.虚拟机状态预测模块根据任务类型并结合资源状态监控模块从云计算环境中收集各虚拟机的各项性能指标计算各个虚拟机在此后一段时间内的状态值，并将计算出来的各个虚拟机的状态预测结果发送给调度决策模块；

7.如权利要求6所述的云计算动态资源调度方法，其特征在于，步骤b中，所述请求的任务类型包括：计算类、I/O类或复合类；所述计算类任务是指以消耗CPU资源为主的任务；所述I/O类任务是指以消耗磁盘I/O或者网络带宽为主的任务；所述复合类任务是指同时消耗多种资源并无法区分哪种资源为该类型任务消耗的主要资源的任务。

8.如权利要求7所述的云计算动态资源调度方法，其特征在于，步骤b中，所述任务类型判断模块对该请求的任务类型进行判断的方法为：

9.如权利要求6所述的云计算动态资源调度方法，其特征在于，步骤c中，所述各虚拟机的各项性能指标包括：

10.如权利要求6-9任意一项所述的云计算动态资源调度方法，其特征在于，步骤d中，所述调度决策模块比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行资源调度的虚拟机的方法为：