CN103853618B - 基于截止日期驱动的云系统代价最小化资源分配方法 - Google Patents

Abstract

本发明公开了一种基于截止日期驱动的云系统代价最小化资源分配方法，步骤为：云系统中云服务器收集各物理节点的可用资源；收集用户的任务请求；最后采用和声搜索方法对云系统中虚拟资源进行分配：云服务器初始化和声搜索方法的参数；云服务器产生和声搜索方法的新解；确定新解的目标函数值，更新和声记忆库中的解向量；确定和声记忆库内的花费最小的解、以及该花费最小的解相应的云系统花费值；重复迭代至最大迭代次数，输出最优和声解向量。本发明充分挖掘了云系统中的可用资源，通过虚拟机多样化技术从CPU资源、磁盘读写速度资源和网络带宽资源多个维度动态按需分配资源，为高效利用云系统中资源和保障任务在截止日期内完成提供技术支持。

Description

基于截止日期驱动的云系统代价最小化资源分配方法

技术领域

本发明属于计算机网络技术领域，特别是一种基于截止日期驱动的云系统代价最小化资源分配方法。

背景技术

为了使互联网便于使用虚拟环境调度方法，云计算已经成为一个引人注目技术。云计算的典型特征就是它拥有虚拟资源池，在虚拟资源池中包括硬件资源，平台资源和服务资源等，云服务器可以动态重构这些虚拟资源来适应互联网中用户申请资源的负荷变化，同时云系统提供的所有资源都应该处于支付模型下，这样做的目的是防止用户对自己的真实需要的资源需求过剩，并且合理使用资源。

在云系统中，用户每一项任务的工作负荷是多维的；用户每一项任务需要的计算资源也是多属性的，这里面包括CPU，磁盘读写速度和网络带宽等；因此用户计算资源的多属性就导致了资源分配的多维执行。如果用户每一项任务仅依赖于一种资源类型，比如CPU资源，它也可以被分为多个顺序执行的阶段，每一阶段都需要不同的计算能力并且对需求的各种代价也会导致潜在的多维执行方案。

云计算中的资源分配比其他分布式系统比如电网计算平台系统更加复杂。在电网计算平台系统中，由于相互之间不可避免的性能干扰，因此对同时运行在其中的多个应用共享计算资源是不合理的，然而云系统通常不会将物理主机直接分配给用户，云系统通过虚拟机技术使虚拟资源独立，这样不仅能够适应用户的特定需求，而且在良好的细粒度上也能最大化资源的利用，并且能隔离不正常的环境，支持虚拟机资源独立技术的云管理工具包括Amazon EC2和Open Nebula。另一方面，随着科学研究的快速发展，用户可能会提出一些相当复杂的请求，比如在保证服务水平的情况下，用户希望资源使用代价最小，并且他们的任务就可以在截止日期前完成。

专利1（一种基于动态重配置虚拟资源的云计算资源调度方法，华南理工大学，公开号CN101938416A，申请号CN201010268105.7，申请日2010.09.01）公开了一种基于动态重配置虚拟资源的云计算资源调度方法，该方法以云应用监视器收集的云应用负载信息为依据，然后基于运行云应用的虚拟资源的负载能力和云应用当前的负载进行动态决策,根据决策的结果为云应用动态重配置虚拟资源。专利2（一种基于双边市场的移动云计算环境中多维资源定价方法，湖南大学，公开号CN103218737A，申请号CN201310138247.5，申请日2013.04.19）公开了一种基于双边市场的移动云计算环境中多维资源定价方法，该方法运行在移动云计算环境中，涉及移动云计算环境的两组参与者，一组是拥有资源的Cloudlet，另一组是请求资源的VM，将VM看成是双边市场经济模型中的买方，将Cloudlet看成是卖方，双方通过价格交互机制来完成资源的配置，完成应用请求VM到Cloudlet上的卸载执行。但是上述两种方法均没有考虑用户每一项任务完成的截止日期，这样不能按时满足用户对资源使用的需求。

发明内容

本发明的目的在于提供一种高效、可靠的基于截止日期驱动的云系统代价最小化资源分配方法，以充分挖掘云系统中CPU资源、磁盘读写速度资源和网络带宽资源，从多个维度以代价最小化为目标动态按需分配资源。

实现本发明目的的技术解决方案为：

一种基于截止日期驱动的云系统代价最小化资源分配方法，包括以下步骤：

步骤1，云系统中云服务器收集各物理节点的可用资源；

步骤2，云系统中云服务器收集用户的任务请求；

步骤3，云系统中云服务器采用和声搜索方法对云系统中虚拟资源进行分配，具体步骤如下：

步骤3.1，云服务器初始化和声搜索方法的参数；

步骤3.2，云服务器产生和声搜索方法的新解；

步骤3.3，确定新解的目标函数值，更新和声记忆库中的解向量；

步骤3.4，确定和声记忆库内的花费最小的解、以及该花费最小的解相应的云系统花费值；

步骤3.5，重复步骤3.2～3.4N_g次，输出最优和声解向量，N_g表示和声搜索方法最大迭代次数。

本发明与现有技术相比，其显著优点在于：（1）云系统中基于和声搜索方法进行虚拟资源分配，满足高动态云系统最优资源分配要求；（2）充分挖掘了云系统中可用的虚拟资源，通过虚拟机多样化技术从CPU资源、磁盘读写速度资源和网络带宽资源多个维度动态分配云系统中虚拟资源；（3）为高效利用云系统中的CPU资源，磁盘读写速度资源和网络带宽资源提供技术支持。

附图说明

图1为本发明基于截止日期驱动的云系统代价最小化资源分配方法的流程图。

图2为本发明云系统中资源分配示意图。

图3为本发明基于和声搜索方法的资源分配方法流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

结合图1，本发明基于截止日期驱动的云系统代价最小化资源分配方法，包括以下步骤：

步骤1，云系统中云服务器收集各物理节点的可用资源，其中云系统中有32～64个物理节点，每一个节点有2～3个四核Xeon CPU和16～28G内存，所述各物理节点的可用资源包括CPU资源、磁盘读写速度资源、硬盘资源和网络带宽资源。

步骤2，云系统中云服务器收集用户的任务请求，所述的任务请求包括每个任务需要的多维任务向量、每个任务执行完成的预定截止时间。图2为本发明的云系统中资源分配示意图。

步骤3，云系统中云服务器采用和声搜索方法对云系统中虚拟资源进行分配，结合图3，具体步骤如下：

步骤3.1，云服务器初始化和声搜索方法的参数，具体为：

（1）初始化乐器的个数N_L、和声记忆库可保存的和声个数N_p、和声记忆库保留概率P_HMCR、记忆库扰动概率P_PAR和和声搜索方法的最大迭代次数N_g，并且令迭代次数序号gen=1；其中N_L∈[4,6]、N_p∈[50,60]、P_HMCR∈[0.9,0.95]、P_PAR∈[0.1,0.15]和N_g∈[500,600]；

（2）初始化云系统中节点P_s资源的价格向量云系统中节点P_s资源的最大容量向量云系统中节点P_s剩余资源的容量向量云系统中任务t_i所需要的多维资源向量和云系统中任务t_i分配的多维资源向量其中P_s表示云系统中节点序号，t_i表示云系统中任务序号；

（3）初始化云系统中任务t_i的执行完成的截止时间D(t_i)，采用公式(1)确定云系统中执行任务t_i所需要的时间向量T(t_i)：

其中，l_n(t_i)表示向量l(t_i)的第n个分量，r_n(t_i)表示向量r(t_i)的第n个分量；

（4）初始化和声记忆库，随机产生N_p个优化问题的初始解放入和声记忆库内，r(t_i)初始解需要满足公式(2)和公式(3)：

T(t_i)≤D(t_i)(2)

r(t_i)≤a(P_s)(3)

采用公式(4)确定执行任务t_i所需要的花费P[r(t_i)]：

其中，b_n(P_s)表示向量b(P_s)的第n个分量，T_n(t_i)表示向量T(t_i)的第n个分量。

步骤3.2，云服务器产生和声搜索方法的新解，所述产生的新解其中新解分量通过三种机理产生：

第一种机理，以概率P_HMCR随机对和声记忆库的某些分量进行保留；

第二种机理，新解分量以概率1-P_HMCR在可行解空间随机产生；

第三种机理，对通过第一种机理和第二种机理产生的新解分量采用公式(5)按照概率P_PAR∈[0.1,0.15]进行扰动，得到第三种机理产生的新解分量：

其中，r^new(t_i)表示任务t_i资源分配的新解，表示向量r^new(t_i)的第n个分量，α是[0,1]之间的随机变量，ε是扰动步长。

步骤3.3，确定新解的目标函数值，更新和声记忆库中的解向量，即：采用公式(6)确定新解的目标函数值：

如果新解的目标函数值小于和声记忆库内最差解的目标函数值，则将新的解替换和声记忆库内的最差解，得到新的和声记忆库，否则保持原和声记忆库不变。

步骤3.4，确定和声记忆库内的花费最小的解、以及该花费最小的解相应的云系统花费值，即：寻找和声记忆库内花费最小的解及该最小解相应的云系统花费值P[r_best(t_i)]；r_best(t_i)表示和声记忆库内花费最小的解向量，P[r_best(t_i)]表示解向量r_best(t_i)对应的云系统需要花费的开销。

步骤3.5，令gen←gen+1，重复骤3.2～3.4N_g次，输出最优和声解向量N_g表示和声搜索方法最大迭代次数。

实施例1

本发明基于截止日期驱动的云系统代价最小化资源分配方法，步骤如下：

步骤1，云系统中云服务器收集各物理节点的可用资源。

所述云系统中有32个物理节点，每一个节点有2个四核Xeon CPU和16G内存，云系统中云服务器收集各物理节点的可用资源，包括CPU资源、磁盘读写速度资源、硬盘资源和网络带宽资源。

步骤2，云系统中云服务器收集用户的任务请求。

云系统中云服务器收集用户的任务请求，任务请求包括每个任务需要的多维任务向量和每个任务的执行完成的预定截止时间，云系统中5个任务的执行完成的截止时间分别是[5,1,4,6,8]且单位为“小时”，云系统中5个任务需要的CPU资源分别是[6,8,9,5,2]且单位为“Gflops”，云系统中5个任务需要的硬盘资源分别是[200,100,300,200,100]且单位为“G”，云系统中5个任务需要的磁盘读写速度资源分别是[2,1,3,2,1]且单位为“Gbps”，云系统中5个任务需要的网络带宽资源分别是[2,1,2,3,1]且单位为“Mbps”，云系统中任务需要的CPU资源价格是1～2元/Gflops/hour，云系统中任务需要的硬盘资源价格是0.1～0.3元/G/Hour，云系统中任务需要的磁盘读写速度资源价格是0.2～0.5元/Gb/Hour，云系统中任务需要的网络带宽资源价格是0.3～0.6元/Mbps/Hour。图2为本发明的云系统中资源分配示意图。

步骤3，云系统中云服务器采用和声搜索方法对云系统中虚拟资源进行分配

图3为基于和声搜索方法的资源分配方法流程：

首先，云服务器初始化和声搜索方法的参数，初始化N_L＝4、N_p＝56、P_HMCR＝0.9、P_PAR＝0.1和N_g＝560，令gen＝1；初始化 和初始化D(t_i)＝5Hour，采用公式(1)确定T(t_i)，初始化和声记忆库，随机产生N_p个优化问题的初始解放入和声记忆库内，r(t_i)初始解需要满足公式(2)和公式(3)，采用公式(4)计算执行任务t_i所需要的花费；

然后，云服务器产生和声搜索方法的新解，产生新解其中新解分量通过三种机理产生：第一种机理，以概率P_HMCR随机对和声记忆库的某些分量进行保留；第二种机理，新解分量以概率1-P_HMCR在可行解空间随机产生；第三种机理，对通过第一种机理和第二种机理产生的新解分量采用公式(5)按照概率P_PAR＝0.1进行扰动，得到第三种机理产生的新解分量；扰动步长ε＝0.3；

其次，确定新解的目标函数值，更新和声记忆库中的解向量，采用公式(6)确定新解的目标函数值；

再次，确定和声记忆库内的花费最小的解和相应的云系统花费值，寻找和声记忆库内花费最小的解和花费值P[r_best(t_i)]，r_best(t_i)表示和声记忆库内花费最小的解向量，P[r_best(t_i)]表示解向量r_best(t_i)对应的云系统需要花费的开销；

最后，令gen←gen+1，重复上述步骤，直到达到和声搜索方法最大迭代次数，输出最优和声解向量

综上所述，本发明基于截止日期驱动的云系统代价最小化资源分配方法，最小化用户任务的代价同时尽力保证它执行截止日期的资源分配，能够充分挖掘云系统中CPU资源、磁盘读写速度资源和网络带宽资源，从多个维度动态按需分配资源，为高效利用云系统中虚拟资源和保障用户终端在截止日期内完成任务提供技术支持。

Claims (5)

1.一种基于截止日期驱动的云系统代价最小化资源分配方法，其特征在于，包括以下步骤：

步骤1，云系统中云服务器收集各物理节点的可用资源；

步骤2，云系统中云服务器收集用户的任务请求；

步骤3，云系统中云服务器采用和声搜索方法对云系统中虚拟资源进行分配，具体步骤如下：

步骤3.1，云服务器初始化和声搜索方法的参数，具体为：

(1)初始化乐器的个数N_L、和声记忆库可保存的和声个数N_p、和声记忆库保留概率P_HMCR、记忆库扰动概率P_PAR和和声搜索方法的最大迭代次数N_g，并且令迭代次数序号gen＝1；其中N_L∈[4,6]、N_p∈[50,60]、P_HMCR∈[0.9,0.95]、P_PAR∈[0.1,0.15]和N_g∈[500,600]；

(2)初始化云系统中节点P_s资源的价格向量云系统中节点P_s资源的最大容量向量云系统中节点P_s剩余资源的容量向量云系统中任务t_i所需要的多维资源向量和云系统中任务t_i分配的多维资源向量其中P_s表示云系统中节点序号，t_i表示云系统中任务序号；

(3)初始化云系统中任务t_i的执行完成的截止时间D(t_i)，采用公式(1)确定云系统中执行任务t_i所需要的时间向量T(t_i)：

$T\left(t_i\right)=\underset{n=1}{\overset{N_L}{\Σ}}\frac{l_n\left(t_i\right)}{r_n\left(t_i\right)}---\left(1\right)$

其中，l_n(t_i)表示向量l(t_i)的第n个分量，r_n(t_i)表示向量r(t_i)的第n个分量；

(4)初始化和声记忆库，随机产生N_p个优化问题的初始解放入和声记忆库内，r(t_i)初始解需要满足公式(2)和公式(3)：

T(t_i)≤D(t_i) (2)

r(t_i)≤a(P_s) (3)

采用公式(4)确定执行任务t_i所需要的花费P[r(t_i)]：

$P\[r\left(t_i\right)\]=\frac{1}{N_L}\underset{n=1}{\overset{N_L}{\Σ}}{b}_n\left(P_s\right)r_n\left(t_i\right)T_n\left(t_i\right)---\left(4\right)$

其中，b_n(P_s)表示向量b(P_s)的第n个分量，T_n(t_i)表示向量T(t_i)的第n个分量；

步骤3.2，云服务器产生和声搜索方法的新解；

步骤3.3，确定新解的目标函数值，更新和声记忆库中的解向量；

步骤3.4，确定和声记忆库内的花费最小的解、以及该花费最小的解相应的云系统花费值；

步骤3.5，重复步骤3.2～3.4N_g次，输出最优和声解向量，N_g表示和声搜索方法最大迭代次数。

2.根据权利要求1所述的基于截止日期驱动的云系统代价最小化资源分配方法，其特征在于，步骤1所述的云系统中云服务器收集各物理节点的可用资源，其中云系统中有32～64个物理节点，每一个节点有2～3个四核Xeon CPU和16～28G内存，所述各物理节点的可用资源包括CPU资源、磁盘读写速度资源、硬盘资源和网络带宽资源。

3.根据权利要求1所述的基于截止日期驱动的云系统代价最小化资源分配方法，其特征在于，步骤2所述的云系统中云服务器收集用户的任务请求，所述的任务请求包括每个任务需要的多维任务向量、每个任务执行完成的预定截止时间。

4.根据权利要求1所述的基于截止日期驱动的云系统代价最小化资源分配方法，其特征在于，步骤3.2所述的云服务器产生和声搜索方法的新解，所述产生的新解其中新解分量通过三种机理产生：

第一种机理，以概率P_HMCR随机对和声记忆库的某些分量进行保留；

第二种机理，新解分量以概率1-P_HMCR在可行解空间随机产生；

第三种机理，对通过第一种机理和第二种机理产生的新解分量采用公式(5)按照概率P_PAR∈[0.1,0.15]进行扰动，得到第三种机理产生的新解分量：

$r_n^{new}\left(t_i\right)\←r_n^{new}\left(t_i\right)+(0.5-\mathrm{\α})\mathrm{\ϵ}---\left(5\right)$

其中，r^new(t_i)表示任务t_i资源分配的新解，表示向量r^new(t_i)的第n个分量，α是[0,1]之间的随机变量，ε是扰动步长。

5.根据权利要求1所述的基于截止日期驱动的云系统代价最小化资源分配方法，其特征在于，步骤3.3所述的确定新解的目标函数值，更新和声记忆库中的解向量，即：采用公式(6)确定新解的目标函数值：

$P\[r\left(t_i\right)\]=\frac{1}{N_L}\underset{n=1}{\overset{N_L}{\Σ}}{b}_n\left(P_s\right)r_n\left(t_i\right)T_n\left(t_i\right)---\left(6\right)$

如果新解的目标函数值小于和声记忆库内最差解的目标函数值，则将新的解替换和声记忆库内的最差解，得到新的和声记忆库，否则保持原和声记忆库不变。