CN102981890B - 一种在虚拟化数据中心内的计算任务及虚拟机部署方法 - Google Patents

Abstract

本发明公开了一种在虚拟化数据中心内的计算任务及虚拟机部署方法，在允许物理资源及虚拟资源所提供的服务能力以一定比例适当超出其实际所能提供的服务能力的前提下，优化计算任务的QoS需求以及提高数据中心的资源利用率。本发明的步骤包括三个阶段，将计算任务划分为同构计算任务；对同构计算任务的虚拟资源请求进行建模，按需分配虚拟机；根据上一步骤所需部署的虚拟机的物理资源请求进行建模，按需开启物理主机。本发明可应用于具有不同特征的计算任务，适用于不同类型的数据中心场景，并且在满足QoS需求及提高资源利用率之间存在一个合理的资源服务能力偏转比例临界值。

Description

一种在虚拟化数据中心内的计算任务及虚拟机部署方法

技术领域

本发明涉及云计算领域，特别涉及一种在虚拟化数据中心内的基于策略的计算任务及虚拟机部署方法。

背景技术

数据中心是由一整套复杂的设施组成，包括计算机系统和其它与之配套的设备(例如通信和存储系统)，以及数据通信连接、环境控制设备、监控设备及各种安全装置。异构性是数据中心内部资源的一大特性，对资源利用率有一定的影响，具体表现在资源服务能力、性能，甚至操作系统平台等方面。此外，计算任务对资源服务能力请求的不断变化也是影响资源利用率的重要因素。通常，在计算任务高峰期时会给服务器资源带来沉重的负载压力，当新的计算任务到来时，需要为其开启并分配新的硬件资源，以提供大量的资源来满足高峰期计算任务的需求。而计算任务高峰期尽管不可避免但也不是经常性的，当高峰期过后，会严重影响资源利用率。与低下的资源利用率相关的问题是能耗爆炸式的增长。目前数据中心对资源的利用日益暴露出能耗高、效率低、浪费多等诸多问题。节省数据中心能耗、构建绿色数据中心不仅成为计算机领域一个意义重大、需要迫切解决的课题，也成为影响社会可持续发展和国家发展战略的一个重要因素。

在下一代高性能计算环境中，虚拟化为解决资源利用率低下及能耗问题提供了一种有效的途径。在虚拟化的计算环境中，所有的硬件资源可以作为一个通用的共享基础设施并提供给多种应用使用，而应用也可根据其自身变化的资源服务请求动态地调整资源使用策略。如，可从繁忙的服务器中挑选出一部分计算任务迁移到负载较轻的服务器中执行，从而使得负载均衡；或将计算任务迁移到未达到最大利用率的服务器中执行，而将释放出来的服务器关闭或者调整到低能耗状态，从而可以提高服务器的资源利用率以及减少不必要的能耗。在文章“Managing SLAs of heterogeneous workloads using dynamic applicationplacement”，the17^th International Symposium on High Performance DistributedComputing(HPDC)2008by D Carrera,M Steinder,I Whalley,et al中通过采用平衡控制机制，如：挂起、迁移，来实现计算任务动态调度以及资源的权衡分配。但这些技术大部分都是依据服务器当前的负载状态对计算任务做被动的迁移。

计算任务本身具有一些服务质量（QoS，Quality of Services）限制因素，如截止时间限制、调度费用预算等，因此，这些QoS限制因素也成为在虚拟化计算环境中部署计算任务时需要重点考虑的影响因素。对于资源使用者来说，满足其QoS请求是最大目标，而对于资源提供者来说，在满足计算任务的QoS请求的同时，也需要提高资源利用率和减少能耗开销以获得最大的收益。因此，需要权衡资源请求者和资源提供者之间的目标，实现各参与方的双赢或者全赢。为了实现该目标，目前大部分研究和技术同时关注于虚拟资源的调度以及物理资源的分配，而此类问题又是一个多目标问题，可采用启发式的智能进化算法进行求解。在文章“Efficient resource virtualization and sharing strategies forheterogeneous grid environments”the10^th IFIP/IEEE Symposium on IntegratedNetwork Management(IM)2007by P Garbacki,V Naik中考虑计算任务的资源请求以及可用的物理资源的服务能力将物理资源分配问题转化为优化问题，并采用线性规划方法进行求解。在文章“Energy-Aware Ant Colony Based WorkloadPlacement in Clouds”，the12^th IEEE/ACM International Conference on GridComputing(GRID)2011by E Feller,L Rilling,C Morin中将资源调度问题看作成一个多维度的装箱问题，并采用蚁群优化算法求解。在文章“Offer-basedScheduling of Deadline-Constrained Bag-of-Tasks Applications for UtilityComputing Systems”IEEE International Symposium on Parallel & DistributedProcessing(ISPDP)2009by MAS Netto,R Buyya中考虑了计算任务的截止时间要求，并分别从不能满足计算任务截止时间要求以及在可能满足计算任务截止时间要求时平衡负载压力两方面做了说明。

虽然上述现有技术中，考虑了资源分配以及计算任务QoS请求等因素，但大部分方法主要是针对传统的计算环境，如网格计算环境而提出的。虚拟化是下一代高性能计算环境发展的趋势，在满足计算任务QoS请求的同时，合理地分配虚拟资源和物理资源以提高计算环境内的资源利用率和减少能量开销依然成为业内科技人员关注和研究的重点课题。

发明内容

为了克服现有技术的上述不足，本发明的目的在于提供一种在虚拟化数据中心内的计算任务及虚拟机部署方法，在计算任务可接受的特定QoS请求违背率的范围内，提高资源利用率和能量效率。

本发明的目的通过以下技术方案实现：

一种在虚拟化数据中心内的计算任务及虚拟机部署方法，包括以下步骤：

S1为计算任务分配虚拟机，将待运行的具有QoS请求的计算任务按照规模大小划分为同构计算任务，同构计算任务具有能够共享同一台虚拟机的特性。

S2对同构计算任务的虚拟资源请求进行建模，然后分配虚拟机，并对虚拟机进行性能参数的设置；

步骤S2所述分配虚拟机，为新到来的计算任务分配一个新虚拟机，新虚拟机的资源服务能力是根据待部署到该虚拟机上的计算任务的资源请求而定的，具体按照下式为新到来的计算任务分配新虚拟机：

$\underset{\mathrm{\ω}\∈W_1,\mathrm{vm}\∈V_1}{\mathrm{\Σ}}R(\mathrm{\ω},a_i)\×M(\mathrm{\ω},\mathrm{vm})\≤S(\mathrm{vm},a_i)\×(1+\mathrm{\α})$

其中，ω表示计算任务，vm表示虚拟机，W₁表示已经部署到虚拟机的计算任务，V₁表示已经部署有计算任务的虚拟机集合，R(ω,a_i)表示计算任务ω对资源a_i的请求量，M(ω，vm)表示任务ω与虚拟机vm的映射关系；S(vm,a_i)表示虚拟机vm中资源a_i所能提供的服务能力，α表示资源所能提供的服务能力的偏转比例；

步骤S2所述分配虚拟机，如果新到来的计算任务与当前的已经分配了虚拟机的计算任务是同构的，则按下式将新到来的计算任务部署到该虚拟机：

$\underset{\mathrm{\ω}\∈W_1,\mathrm{vm}\∈V_1}{\mathrm{\Σ}}R(\mathrm{\ω},a_i)\×M(\mathrm{\ω},\mathrm{vm})+\underset{\mathrm{\ω}\∈W_2,\mathrm{vm}\∈V_1}{\mathrm{\Σ}}R(\mathrm{\ω},a_i)\×M(\mathrm{\ω},\mathrm{vm})\≤S(\mathrm{vm},a_i)\×(1+\mathrm{\α})$

其中，W₂表示待部署的计算任务。

S3为步骤S2部署的虚拟机分配物理主机，具体为：根据步骤S2部署的虚拟机的物理资源请求进行建模，为虚拟机分配物理主机并进行虚拟机实例化；

步骤S3所述为虚拟机分配物理主机，根据当前已经开启的物理主机的资源服务能力，选择将待实例化的虚拟机部署到此目标物理主机中，具体按照下式进行：

$\underset{\mathrm{vm}\∈V_1,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}{Q}_{a_i}\×M(\mathrm{vm},h)\≤S(h,a_i)\·(1+\mathrm{\α})$

其中，h表示物理主机，H表示物理主机的集合，V₂表示待实例化的虚拟机集合，S(h,a_i)表示物理主机h中资源a_i所能提供的服务能力；表示对虚拟机vm进行迁移或者实例化时对对资源a_i的请求量。

步骤S3所述为虚拟机分配物理主机，如果当前已经开启的物理主机的资源服务能力不能满足新实例化的虚拟机的资源请求，则为新虚拟机重新开启空闲的物理主机并进行资源分配，具体按以下公式进行：

$\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}{Q}_{a_i}\×M(\mathrm{vm},h)\≤S(h,a_i)\×(1+\mathrm{\α}).$

所述具有QoS请求的计算任务为具有软截止时间限制的计算任务。

与现有技术相比，本发明具有以下优点和有益效果：

1、本发明在虚拟机上部署计算任务以及在物理主机上部署虚拟机时，允许资源请求以一定比例超出目标资源实际所能提供的服务能力，在计算任务可接受的特定QoS请求违背率的范围内，提高资源利用率和能量效率。

2、在虚拟机上部署计算任务时，由于代价和效率的问题，为每个计算任务分配一个私有的虚拟机不太现实。本发明对计算任务采用基于工作集的划分方法，根据计算任务的规模大小划分为同构计算任务。

3、本发明方法中的操作可应用于具有不同特征的计算任务，适用于不同类型的数据中心场景，并且在满足计算任务QoS需求及提高数据中心资源利用率之间存在一个合理的比例临界值。

附图说明

图1为本发明在虚拟化数据中心内的计算任务及虚拟机部署方法的控制框架图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种在虚拟化数据中心内的计算任务及虚拟机部署方法，包括以下步骤：

S1为计算任务分配虚拟机：将待运行的具有QoS请求（本实施例的QoS请求为软截止时间显著，即，计算任务可以在其可接受的截止时间违背率的范围内完成执行）的计算任务按照规模大小划分为同构计算任务，同构计算任务具有能够共享同一台虚拟机的特性。

S2对同构计算任务的虚拟资源请求进行建模，然后分配虚拟机并对虚拟机进行性能参数的设置；

在为计算任务分配虚拟机时，虚拟机性能参数值的设置主要由计算任务的资源请求所决定，引入一个控制器，其主要作用是在根据计算任务的资源请求设置虚拟机的资源服务能力时，允许资源请求以一定比例超出目标资源实际所能提供的服务能力，具体按照下式为新到来的计算任务分配新虚拟机：

$\underset{\mathrm{\ω}\∈W_1,\mathrm{vm}\∈V_1}{\mathrm{\Σ}}R(\mathrm{\ω},a_i)\×M(\mathrm{\ω},\mathrm{vm})\≤S(\mathrm{vm},a_i)\×(1+\mathrm{\α})$

其中，ω表示计算任务，vm表示虚拟机，W₁表示已经部署到虚拟机的计算任务，V₁表示已经部署有计算任务的虚拟机集合，R(ω,a_i)表示计算任务ω对资源a_i的请求量，M(ω，vm)表示任务ω与虚拟机vm的映射关系；S(vm,a_i)表示虚拟机vm中资源a_i所能提供的服务能力，α表示资源所能提供的服务能力的偏转比例；

如果新到来的计算任务与当前的已经分配了目标虚拟机的计算任务是同构的，则按下式将新到来的计算任务部署到该虚拟机中：

$\underset{\mathrm{\ω}\∈W_1,\mathrm{vm}\∈V_1}{\mathrm{\Σ}}R(\mathrm{\ω},a_i)\×M(\mathrm{\ω},\mathrm{vm})+\underset{\mathrm{\ω}\∈W_2,\mathrm{vm}\∈V_1}{\mathrm{\Σ}}R(\mathrm{\ω},a_i)\×M(\mathrm{\ω},\mathrm{vm})\≤S(\mathrm{vm},a_i)\×(1+\mathrm{\α})$

其中，W₂表示待部署的计算任务。

S3为步骤S2部署的虚拟机分配物理主机，具体为：根据步骤S2部署的虚拟机的物理资源请求进行建模，为虚拟机分配物理主机并进行虚拟机实例化；

在将待实例化的虚拟机部署到物理主机时，由于每台物理主机所能提供的资源服务能力是一定的，因此需同时开启的物理主机的数目主要由虚拟机的资源请求所决定。此处也引入一个控制器，其主要作用是在根据虚拟机的资源请求在物理主机上进行实例化时，允许资源请求以一定比例超出目标资源实际所能提供的服务能力。为虚拟机分配物理主机具体按照下式进行：

$\underset{\mathrm{vm}\∈V_1,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}{Q}_{a_i}\×M(\mathrm{vm},h)\≤S(h,a_i)\·(1+\mathrm{\α})$

其中，h表示物理主机，H表示物理主机的集合，V₂表示待实例化的虚拟机集合，S(h,a_i)表示物理主机h中资源a_i所能提供的服务能力；表示表示对虚拟机vm进行迁移或者实例化时对对资源a_i的请求量。

如果当前已经开启的物理主机的资源服务能力不能满足新实例化的虚拟机的资源请求，则为新虚拟机重新开启空闲的物理主机并进行资源分配，具体按以下公式进行：

$\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}{Q}_{a_i}\×M(\mathrm{vm},h)\≤S(h,a_i)\×(1+\mathrm{\α}).$

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种在虚拟化数据中心内的计算任务及虚拟机部署方法，其特征在于，包括以下步骤：

S1将待运行的具有QoS请求的计算任务按照规模大小划分为同构计算任务，同构计算任务具有能够共享同一台虚拟机的特性；所述具有QoS请求的计算任务为具有软截止时间限制的计算任务；

S2对同构计算任务的虚拟资源请求进行建模，然后分配虚拟机并对虚拟机进行性能参数的设置，具体按照下式为新到来的计算任务分配新虚拟机，计算任务对虚拟资源服务能力的请求以一定比例适当超出其实际所能提供的服务能力：

$\underset{\mathrm{\ω}\∈W_1,\mathrm{vm}\∈V_1}{\mathrm{\Σ}}R(\mathrm{\ω},a_i)\×M(\mathrm{\ω},\mathrm{vm})\≤S(\mathrm{vm},a_i)\×(1+\mathrm{\α})$

其中，ω表示计算任务，vm表示虚拟机，W₁表示已经部署到虚拟机的计算任务，V₁表示已经部署有计算任务的虚拟机集合，R(ω,a_i)表示计算任务ω对资源a_i的请求量，M(ω,vm)表示任务ω与虚拟机vm的映射关系；S(vm,a_i)表示虚拟机vm中资源a_i所能提供的服务能力，α表示资源所能提供的服务能力的偏转比例；

如果新到来的计算任务与当前的已经分配了目标虚拟机的计算任务是同构的，则按下式将新到来的计算任务部署到该虚拟机中，计算任务对虚拟资源服务能力的请求以一定比例适当超出其实际所能提供的服务能力：

S3根据步骤S2部署的虚拟机的物理资源请求进行建模，为虚拟机分配物理主机并进行虚拟机实例化：

具体按照下式为新部署的虚拟机分配物理主机，虚拟机对物理资源服务能力的请求以一定比例适当超出其实际所能提供的服务能力：

$\underset{{\mathrm{vm}\∈V}_1,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}{Q}_{a_i}\×M(\mathrm{vm},h)\≤S(h,a_i)\·(1+a)$

其中，h表示物理主机，H表示物理主机的集合，V₂表示待实例化的虚拟机集合，S(h,a_i)表示物理主机h中资源a_i所能提供的服务能力；表示对虚拟机vm进行迁移或者实例化时对资源a_i的请求量；

如果当前已经开启的物理主机的资源服务能力不能满足新实例化的虚拟机的资源请求，则为新虚拟机重新开启空闲的物理主机并进行资源分配，具体按以下公式进行，虚拟机对物理资源服务能力的请求以一定比例适当超出其实际所能提供的服务能力：

$\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}S(\mathrm{vm},a_i)\×M(\mathrm{vm},h)+\underset{\mathrm{vm}\∈V_2,h\∈H}{\mathrm{\Σ}}{Q}_{a_i}\×M(\mathrm{vm},h)\≤S(h,a_i)\×(1+\mathrm{\α}).$