CN102780759A - 基于调度目标空间的云计算资源调度方法 - Google Patents

Abstract

本发明公开了一种基于调度目标空间的云计算资源调度方法，该方法引入调度目标空间的概念，设定了一个灵活的标准框架使得用户能够说明他们对于服务资源调度的需求，即用户可以从中选取所需的调度属性进行优化，在这种可扩展的用户调度目标空间的驱动下，多目标资源分配调度机制能够做出适应性的资源调度决策。本发明能够根据用户对于资源调度的需求动态部署云计算资源，实现用户需求驱动的云计算资源的自适应优化分配。并且该调度策略能够尽量避免云计算服务器的过度开启，从而提高资源的利用率，减少云服务提供商的成本。

Description

基于调度目标空间的云计算资源调度方法

技术领域

本发明涉及云计算资源的调度方法领域，尤其涉及一种基于调度目标空间的云计算资源调度方法。

背景技术

各种分布式的高性能计算系统，如集群、网格以及云计算系统，已经成为目前高效的动态计算服务平台。而云计算作为可用性最高的计算模式之一，利用虚拟化技术将服务器、存储器及网络设备等资源通过整合与分割，实现资源的动态按需分配与部署^[1]。云计算动态、分布、面向服务、虚拟化及商业性的特点，使其调度存在一些新的特性：（1）资源环境：云计算环境下，云提供商对资源的配置差异较大，包括各种高性能集群，服务器，以及基于虚拟化技术的虚拟机环境，而且资源的计算能力、存储能力、带宽等因素具有较大差异。因此，云计算资源具有大规模性和异构性等特征。同时，由于资源可能来自不同的云提供商，因此云计算环境下的调度问题就变得异常复杂。（2）约束条件：云计算环境中，云服务提供商提供资源服务，用户“按需付费”。因此，任务执行的成本是云环境中的调度问题必须考虑的约束。此外，还需要考虑任务完成时间期限（deadline）、用户费用等重要约束条件。（3）优化目标：传统分布式环境中，系统性能如系统吞吐量、CPU 利用率等是调度优化的主要目标，而较少考虑用户需求对于调度的需求。云计算环境中不仅注重资源利用率及系统性能的提高，而且重视保证用户的需求，以实现资源供给与资源消费的双赢局面。

由于云计算调度问题以上的这些特性，云中的调度问题也出现了新挑战。如何采用高效的调度机制提高云计算中的资源利用率是云计算服务提供商需要解决的问题。此外，云计算服务的用户众多，如何在保证资源利用率的前提下，满足用户的多种需求，对任务进行高效的调度也需要解决的重要问题。目前，关于云计算调度问题的研究已有了一些成果。李建锋等人针对云计算的编程模型框架，提出了一种具有双适应度的遗传算法。Zaharia等人在Max-Min 公平调度算法的基础上设计了延迟调度（delay scheduling）算法，以达到较高的数据本地性。但是在等待开销较大的情况下，延迟策略会影响作业完成时间。为了折衷数据本地性和作业公平性，Isard等设计了基于最小代价流的调度模型，并应用于Microsoft 的Azure 平台。闰英辉提出了一种调度机制，根据各个计算节点资源的占用情况及服务的当前运行状态，结合待调度服务的QoS要求及当前云环境的整体性能，构建一个灵活的调度机制及策略为待调度服务选择合适的资源。William K.Cheung等人提出了基于市场的调度算法，将云环境下的资源供求关系与市场经济模型进行类比，资源的买卖双方则是通过基于市场机制的调度策略来完成交易，资源的竞争和分配可利用价格来调节，从而优化系统和提高效率。此外，还有基于拍卖机制的调度算法模型，均是由市场经济模型演化而来。Fujimoto N等人提出了基于信任机制的服务调度策略，它是针对节点所提供服务是否真实可靠而提出的。通过将信任机制引入调度机制，将信任关系作为QoS调度的重要指标来综合考虑，可以同时满足用户的性能QoS要求和信任QoS要求，且有利于提高调度的成功率。目前，云计算环境中调度策略的相关研究不多，而云计算厂商主要关注于资源管理、任务调度和负载均衡等关键性问题。IBM的蓝云架构采用 Tivoli 系列产品来完成云计算的资源监测、分配、作业调度和系统负载均衡控制。很多IT厂商提出的云环境中的编程模式都是基于Map-Reduce的思想，它不仅是编程模型，同时也是一种高效的任务调度模型。为了达到全局优化，Fischer等人为Map-Reduce任务调度建立数学模型，并提出了HTA（Hadoop task assignment）问题。目标是将任务分配到计算节点，并使各计算节点负载均衡。Eucalyptus专门用于支持云计算研究和基础设施的开发，它基于基础设施即服务的思想，为学术研究提供了一个模块化的开发研究和试验平台，可允许研究者对云计算的安全性、可扩展性、资源调度及接口实现进行测试，Eucalyptus的主要构件包括节点控制器、集群控制器和云控制器。

在目前已有的研究工作中，所涉及到的大多数调度模型中所有的客户的调度目标都是一致的，而实际情况并非如此。如果将所有用户应用程序的资源调度都置于相同的框架之下，所产生的调度结果对用户来说通常将并不最优。比如，某些用户需要将其应用程序运行在更加可靠的节点资源上，而其他用户更加关注于预算。因此，需要从用户角度出发，实现用户对调度的个性化需求。

发明内容

鉴于现有云计算调度策略和方法存在的不足，本发明的目的是提供一种基于调度目标空间的云计算资源调度方法，能够根据用户对于云服务资源调度的具体需求部署虚拟机资源，从而为用户按需提供灵活可靠的资源，并且能够达到资源的高利用率，实现用户与资源提供者的双赢局面。

为了实现上述目的，本发明采用以下技术方案：

基于调度目标空间的云计算资源调度方法，其特征在于，具体包括以下步骤：

（1）用户向云服务系统提交服务请求，并从可扩展的调度目标空间中选择其中的一个或多个维度的调度目标{Q₁,Q₂,…,Q_ξ}作为自身服务资源调度的目标，并分配赋予不同的调度目标相应的调度参数；

（2）云系统监视器根据用户提交的调度目标所涉及到的调度参数，收集相应的系统数据，并发送给云调度系统；例如用户的调度目标是执行服务请求的资源可靠性最大，则云系统监视器需要收集不同资源上的关于可靠性的数据；

（3）云调度系统根据用户提交的各项服务请求参数（包括服务请求执行所需的资源量、服务请求执行的时间上限）以及云系统监视器发送过来的系统数据，监控现有虚拟服务器上的资源占用情况，形成待分配资源区；

（4）云调度系统根据现有的资源占用情况和用户的调度目标空间中的具体调度需求，运用效用函数计算出用户总体效用，具体主要进行两阶段的效用集结决策过程，包括以下内容：

①多属性效用的集结：

假定用户i针对其服务请求R_i所选择的调度目标Q_i中一共有π_i个目标，所有的目标权重表示为,

，则R_i的整体效用被计算为：

$U_2\left(i\right)=\underset{l=1}{\overset{{\mathrm{\π}}_i}{\mathrm{\Σ}}}{\mathrm{\ω}}_i^l{U}_2^l\left({\mathrm{VM}}_i\left({\mathrm{PN}}_j^k\right)\right)$ ,i＝1,…,M；j＝1,…,n；k＝1,…,θ；

②多用户效用的集结：

系统中所有用户的效用是U₂(i)的线性组合，这里使用其定义系统中所有用户的效用函数，也就是每一个任务的效用的加权之和，表示为：

，其中w_i是每一个服务请求R_i的权重，将w_i的计算定义为下式：

,  $\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i=1$ ,λ,μ∈(0,1),λ＋μ＝1

其中s(q_i),s(E_i)分别是服务请求R_i所需要的资源量以及期望价值的标准化（过程如下）之后的结果，λ和μ是资源量以及期望价值的系数；

$s\left(q_i\right)=\frac{q_i-q_{\min }}{q_{\max }-q_{\min }},s\left(E_i\right)=\frac{E_i-E_{\min }}{E_{\max }-E_{\min }},i=1,\·\·\·,M;$

其中q_max和q_min分别表示在M个服务请求中最大及最小的资源量需求，E_max,E_min分别表示在M个服务请求中最高以及最低的期望价值；

（5）选取用户总体效用最大的调度方案，并做出实时的调度决策，将用户的服务请求分配到相应的虚拟机资源上，执行用户的服务请求；所述的选取用户总体效用最大的调度方案采用的寻优算法为引力搜索算法，具体的算法流程如下：

①编码：首先对虚拟机和服务进行编号，再根据服务对应的虚拟机确定服务在某个虚拟机上处理；

②解码：由于在GSA算法的迭代中会生成非法解，必须进行修正操作，采用取相近整数值的方法，解码过程中，某个虚拟机上可能安排多个服务，各个服务在同一个虚拟机上的安排规则如下：计算各个服务的最大总效用h_i，然后按照w_i·h_i值对服务进行排序；

③最优个体保存策略：在个体某代的迭代过程中，保留函数值最大个体，若函数值最大个体存在多个，随机选择一个，最优个体同时参与下一次迭代过程

④变异操作：对所有个体进行变异操作，第t次迭代中个体i的变异概率计算公式如下：

${\mathrm{\μ}}_i=\left(t\right)=0.04+0.06\×\exp (\frac{f_t}{f_{\max }}-1)$

其中，f_t表示个体i的函数值，f_max表示所有个体的历史最优函数值，对于个体i的变，随机产生一个随机数rand∈[0,1]，若rand≤μ_i(t)，执行变异操作，即随机取出个体i的某一维数据进行变异；

（6）云系统监控器根据不同用户的服务请求执行情况，收集相应的系统负载数据，为下一时段的用户的服务请求调度提供虚拟机数据参考；

（7）循环执行以上步骤，直至用户不再向云服务系统提交任何服务请求。

本发明与现有的云计算资源调度方法相比，具有以下优点：

（1）提出了基于属性目标空间的云计算资源调度方法，即考虑用户的服务需求和实际的服务调度需求，建立一种灵活的调度目标的标准化框架，通过量化用户的目标之下的调度效用实现了用户的个性化调度。

（2）该方法采用引入变异算子的引力搜索算法求解调度结果，并证明了该算法的效率较其他方法拥有较大的优势。

附图说明

图1为引力搜索算法的算法流程图。

图2为本发明的一个实施例的调度结果的示意图。

具体实施方式

本方法基于对于云计算资源的抽象，因此首先需要对云计算资源进行建模。在云资源调度模型中，假设共有 n个可用的异质物理节点的数量（即有着不同的资源能力，比如CPU、内存、I/O， 以及网络带宽，等），并假定为集合PN＝{PN₁,…,PN_j,…,PN_n}。因为物理资源是异质的，所以由于资源配置的不同，每一个物理节点的资源单位成本都是不同的。设物理节点的单位执行成本为{c₁,…c_n}，相应的每一个物理节点的单位资源价格为{p₁,…p_n}。所有机器都能够被提前预定，资源管理模块作为中心化的调度器对它们进行分配，并保证任务的QoS需求得到满足。对于某个单一的物理机PN_j来说，在其之上部署的所有虚拟机集合可表示为 $\mathrm{VM}\left({\mathrm{PN}}_j\right)=\{\mathrm{VM}\left({\mathrm{PN}}_j^1\right),\·\·\·,\mathrm{VM}\left({\mathrm{PN}}_j^k\right),\·\·\·,\mathrm{VM}\left({\mathrm{PN}}_{j{}_{}}^{{\mathrm{\θ}}_j}\right)\}$ ，其中

是在物理机PN_j上所部署的第k个虚拟机。假定在t时刻，有来自m 个不同用户的独立服务请求(R＝{R₁,…,R_m})到达云服务环境中，这些服务请求需要被分配到合适的资源上运行。云服务资源的调度问题本质是选择在某台物理机上的虚拟机执行服务请求，本发明将每一个特定的分配称之为一个调度。将执行服务请求R_i的物理机PN_j上的虚拟机表示为VM_i(PN_j)。

实施例：

基于调度目标空间的云计算资源调度方法，其特征在于，具体包括以下步骤：

（1）用户向云服务系统提交服务请求，并从可扩展的调度目标空间中选择其中的一个或多个维度的调度目标{Q₁,Q₂,…, Q_ξ}作为自身服务资源调度的目标，并分配赋予不同的调度目标相应的调度参数；

（2）云系统监视器根据用户提交的调度目标所涉及到的调度参数，收集相应的系统数据，并发送给云调度系统；例如用户的调度目标是执行服务请求的资源可靠性最大，则云系统监视器需要收集不同资源上的关于可靠性的数据；

（3）云调度系统根据用户提交的各项服务请求参数（包括服务请求执行所需的资源量、服务请求执行的时间上限）以及云系统监视器发送过来的系统数据，监控现有虚拟服务器上的资源占用情况，形成待分配资源区；

（4）云调度系统根据现有的资源占用情况和用户的调度目标空间中的具体调度需求，运用效用函数计算出用户总体效用，具体主要进行两阶段的效用集结决策过程，包括以下内容：

①多属性效用的集结：

假定用户i针对其服务请求R_i所选择的调度目标Q_i中一共有π_i个目标，所有的目标权重表示为

,

，则R_i的整体效用被计算为：

$U_2\left(i\right)=\underset{l=1}{\overset{{\mathrm{\π}}_i}{\mathrm{\Σ}}}{\mathrm{\ω}}_i^l{U}_2^l\left({\mathrm{VM}}_i\left({\mathrm{PN}}_j^k\right)\right)$ , i＝1,…,M；j＝1,…,n；k＝1,…,θ；

②多用户效用的集结：

系统中所有用户的效用是U₂(i)的线性组合，这里使用其定义系统中所有用户的效用函数，也就是每一个任务的效用的加权之和，表示为：

，其中w_i是每一个服务请求R_i的权重，将w_i的计算定义为下式：

, $\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i=1$ ,λ,μ∈(0,1),λ＋μ＝1

其中s(q_i),s(E_i)分别是服务请求R_i所需要的资源量以及期望价值的标准化（过程如下）之后的结果，λ和μ是资源量以及期望价值的系数；

$s\left(q_i\right)=\frac{q_i-q_{\min }}{q_{\max }-q_{\min }},s\left(E_i\right)=\frac{E_i-E_{\min }}{E_{\max }-E_{\min }},i=1,\·\·\·,M;$

其中q_max和q_min分别表示在M个服务请求中最大及最小的资源量需求，E_max,E_min分别表示在M个服务请求中最高以及最低的期望价值；

（5）选取用户总体效用最大的调度方案，并做出实时的调度决策，将用户的服务请求分配到相应的虚拟机资源上，执行用户的服务请求；所述的选取用户总体效用最大的调度方案采用的寻优算法为引力搜索算法，具体的算法流程如下：

①编码：首先对虚拟机和服务进行编号，再根据服务对应的虚拟机确定服务在某个虚拟机上处理；表1给出一个编码实例：

表1  编码实例

其中，个体维数的最大维数为服务的总数，第i维对应第i个任务；如表1所示，虚拟机1分配服务为{4,6}，虚拟机3分配服务为{5}，虚拟机4分配服务为{2}，虚拟机6分配服务为{1,3}；

②解码：由于在GSA算法的迭代中会生成表2的非法解，必须进行修正操作，采用取相近整数值的方法，如表2所示：

表2  个体编码修正表

解码过程中，某个虚拟机上可能安排多个服务，各个服务在同一个虚拟机上的安排规则如下：计算各个服务的最大总效用h_i，然后按照w_i·h_i值对服务进行排序；

③最优个体保存策略：为了加快算法搜索速度，引入最优个体保存策略，即在个体某代的迭代过程中，保留函数值最大个体，若函数值最大个体存在多个，随机选择一个，最优个体同时参与下一次迭代过程

④变异操作：对所有个体进行变异操作，第t次迭代中个体i的变异概率计算公式如下：

${\mathrm{\μ}}_i\left(t\right)=0.04+0.06\×\exp (\frac{f_t}{f_{\max }}-1)$

其中，f_t表示个体i的函数值，f_max表示所有个体的历史最优函数值，对于个体i的变，随机产生一个随机数rand∈[0,1]，若rand≤μ_i(t)，执行变异操作，即随机取出个体i的某一维数据进行变异；

⑤算法流程图如图1所示；

（6）云系统监控器根据不同用户的服务请求执行情况，收集相应的系统负载数据，为下一时段的用户的服务请求调度提供虚拟机数据参考；

（7）循环执行以上步骤，直至用户不再向云服务系统提交任何服务请求。

本实施例的调度结果的示意图如图2所示。

Claims (1)

1.一种基于调度目标空间的云计算资源调度方法，其特征在于，具体包括以下步骤：

（1）用户向云服务系统提交服务请求，并从可扩展的调度目标空间中选择其中的一个或多个维度的调度目标{Q₁,Q₂,…,Q_ξ}作为自身服务资源调度的目标，并分别赋予不同的调度目标相应的调度参数；

（2）云系统监视器根据用户提交的调度目标所涉及到的调度参数，收集相应的系统数据，并发送给云调度系统；

（3）云调度系统根据用户提交的各项服务请求参数（包括服务请求执行所需的资源量、服务请求执行的时间上限）以及云系统监视器发送过来的系统数据，监控现有虚拟服务器上的资源占用情况，形成待分配资源区；

（4）云调度系统根据现有的资源占用情况和用户的调度目标空间中的具体调度需求，运用效用函数计算出用户总体效用，具体主要进行两阶段的效用集结决策过程，包括以下内容：

①多属性效用的集结：

假定用户i针对其服务请求R_i所选择的调度目标Q_i中一共有π_i个目标，所有的目标权重表示为

,

，则R_i的整体效用被计算为：

$U_2\left(i\right)=\underset{l=1}{\overset{{\mathrm{\π}}_i}{\mathrm{\Σ}}}{\mathrm{\ω}}_i^l{U}_2^l\left({\mathrm{VM}}_i\left({\mathrm{PN}}_j^k\right)\right),i=1,\·\·\·,M;j=1,\·\·\·,n;k=1,\·\·\·,\mathrm{\θ};$

②多用户效用的集结：

系统中所有用户的效用是U₂(i)的线性组合，这里使用其定义系统中所有用户的效用函数，也就是每一个任务的效用的加权之和，表示为：，其中w_i是每一个服务请求R_i的权重，将w_i的计算定义为下式：

其中s(q_i),s(E_i)分别是服务请求R_i所需要的资源量以及期望价值的标准化（过程如下）之后的结果，λ和μ是资源量以及期望价值的系数；

$s\left(q_i\right)=\frac{q_i-q_{\min }}{q_{\max }-q_{\min }},s\left(E_i\right)=\frac{E_i-E_{\min }}{E_{\max }-E_{\min }},i=1,\·\·\·,M;$

其中q_max和q_min分别表示在M个服务请求中最大及最小的资源量需求，E_max,E_min分别表示在M个服务请求中最高以及最低的期望价值；

（5）选取用户总体效用最大的调度方案，并做出实时的调度决策，将用户的服务请求分配到相应的虚拟机资源上，执行用户的服务请求；所述的选取用户总体效用最大的调度方案采用的寻优算法为引力搜索算法，具体的算法流程如下：

①编码：首先对虚拟机和服务进行编号，再根据服务对应的虚拟机确定服务在某个虚拟机上处理；

②解码：由于在GSA算法的迭代中会生成非法解，必须进行修正操作，采用取相近整数值的方法，解码过程中，某个虚拟机上可能安排多个服务，各个服务在同一个虚拟机上的安排规则如下：计算各个服务的最大总效用h_i，然后按照w_i·h_i值对服务进行排序；

③最优个体保存策略：在个体某代的迭代过程中，保留函数值最大个体，若函数值最大个体存在多个，随机选择一个，最优个体同时参与下一次迭代过程

④变异操作：对所有个体进行变异操作，第t次迭代中个体i的变异概率计算公式如下：

${\mathrm{\μ}}_i\left(t\right)=0.04+0.06\×\exp (\frac{f_t}{f_{\max }}-1)$

其中，f_t表示个体i的函数值，f_max表示所有个体的历史最优函数值，对于个体i的变，随机产生一个随机数rand∈[0,1]，若rand≤μ_i(t)，执行变异操作，即随机取出个体i的某一维数据进行变异；

（6）云系统监控器根据不同用户的服务请求执行情况，收集相应的系统负载数据，为下一时段的用户的服务请求调度提供虚拟机数据参考；

（7）循环执行以上步骤，直至用户不再向云服务系统提交任何服务请求。

Images