CN106201658A - 一种迁移虚拟机目的主机多目标优化选择方法 - Google Patents

Abstract

本发明公开了一种迁移虚拟机目的主机多目标优化选择方法，属于虚拟机的数据中心技术领域；它包含以下步骤：(1)、实时获取状态数据：实时采集各个服务器的温度、各资源使用率(CPU)、内存、网络IO及磁盘IO)及电能消耗各状态数据，以有效计算虚拟机在各服务器中的运行代价；(2)、目的主机的选择：基于上述状态因素设计了一种基于多目标优化的目的主机选择算法，以选择出数据中心各个迁移虚拟机的最佳目的主机。本方法综合考虑了数据中心的温度、资源使用、应用性能及电能消耗各状态因素，能够找到它们之间的最佳折衷以使得数据中心的整体运营效益达到最优。

Description

一种迁移虚拟机目的主机多目标优化选择方法

技术领域

本发明涉及虚拟机的数据中心技术领域，具体涉及一种迁移虚拟机目的主机多目标优化选择方法。

背景技术：

近年来，虚拟机迁移成为了数据中心管理研究领域的热点话题^[1,2,3]。虚拟机迁移主要包括三个关键问题：(1)虚拟机迁移时机的决策；(2)迁移虚拟机的选择；(3)目的主机的选择。其中目的主机选择是虚拟机迁移中最为重要的一个问题，它直接决定各虚拟机的运行位置，从而左右整个数据中心的运营效益。例如，将虚拟机迁往空闲的服务器虽能最大程度保证虚拟机的性能，但会使得服务器出现资源浪费。若将虚拟机迁往负载较大的服务器，虽能有效保证物理资源的充分使用，但引发的资源竞争会导致服务器的系统性能受损，同时还可能造成热点及宕机等情况。

已有大量工作致力于目的主机选择问题的研究。Fu等人^[4]提出了最佳的虚拟机迁移策略，从迁移对象选择、迁移时间决策以及目的主机选择这三个方面着手来有效解决数据中心应用负载的均衡问题。Bobroff等人^[5]和Do等人^[6]深入研究了虚拟机在线迁移机制，较好解决了迁移虚拟机选择和目的主机选择这两个问题，皆在保证数据中心良好应用性能的同时最大化其硬件资源的使用率。服务器温度过高可能造成热点，从而造成数据中心的冷却成本大幅增加，系统性能显著下降^[7,8,9]。为了有效减少热点，一些工作^[10,11]提出了温度感知型的应用负载放置策略来选择最佳的目的主机运行用户服务。能耗是提高数据中心运营效益的重要优化指标^[12,13]。工作^[14,15]基于在线迁移技术提出了能耗感知的迁移虚拟机选择和目的主机选择策略，将迁移对象迁移到最佳的目的主机中运行以期通过关闭空闲及其的方法来最大程度节省电能。上述关于目的主机选择的研究工作只能使得数据中心实现较低的温度、较高的资源使用率、较好的应用性能以及较少的电能消耗中的一个或两个优化目标，而不能同时优化它们。然而使上述优化指标同时达到最优存在很大难度，因为这些指标之间存在相互冲突与制约的关系。例如，将大量虚拟机迁移到少量的服务器中运行能提高资源使用率和削减能耗，但同时会引发资源竞争。

[1]C.Clark et al.,"Live migration of virtual machines,"Proc.of the2nd Symposium Networked Systems Design and Implementation,CA,pp.273-286,2005.

[2]M.Nelson et al.,"Fast transparent migration for virtual machines,"Proc.of USENIX Annual Technical Conference,CA,pp.391-394,2005.

[3]Nelson,Michael."Virtual machinemigration."U.S.Patent No.7,484,208.27Jan.2009.

[4]Fu,Song,and Cheng-Zhong Xu."Migration decision for hybrid mobilityin reconfigurable distributed virtual machines."Parallel Processing,2004.ICPP2004.International Conference on.IEEE,2004.

[5]N.Bobroff et al.,"Dynamic placement of virtual machines formanaging SLA violations,"Proc.of 10th IFIP/IEEE International Symposium onIntegrated Network Management,NY,pp.119-128,2007.

[6]A.V.Do et al.,"Profiling applications for virtual machineplacement in clouds,"In Proc.ofCloud Computing 2011.

[7]L.Ramos and R.Bianchini,"C-Oracle:Predictive thermal managementfor data centers,"Proc.of the 14th International Symposium on HighPerformance Computer Architecture,SL,pp.111-122,2008.

[8]Shrivastava,Saurabh K.,et al."Experimental-Numerical comparisonfor a high-density data center:Hotspot heat fluxes in excess of 500 W/ft2."Thermal and thermomechanical Phenomena in Electronics Systems,2006.ITHERM'06.The Tenth Intersociety Conference on.IEEE,2006.

[9]Oh,Sangyoon,Mun-Young Kang,and Sanggil Kang."Effective hotspotremoval system using neural network predictor."Intelligent Information andDatabase Systems.Springer Berlin Heidelberg,2013.478-488.

[10]J.Moore et al.,"Making scheduling cool:Temperature-Aware resourceassignment in data centers,"Proc.of USENIX Annual Technical Conference,CA,pp.10-15,2005.

[11]Q.Tang et al.,"Energy-Efficient,Thermal-Aware task scheduling forhomogeneous,high performance computing data centers:A Cyber-PhysicalApproach,"IEEE Transactions On Parallel and Distributed Systems,Vol.19,No.11,pp.1458-1472,2008.

[12]Brown,Richard."Report to congress on server and data centerenergy efficiency:Public law 109-431."2008.

[13]Fortenbery,Brian,Ecos Consulting EPRI,and William Tschudi."DCpower for improved data center efficiency."2007.

[14]M.Cardosa et al.,"Shares and utilities based power consolidationin virtualized server environments,"Proc.of the 11th IFIP/IEEE internationalconference on Symposium on Integrated Network Management,NY,pp.327-334,2009.

[15]L.Hu et al.,"Magnet:A novel scheduling policy for power reductionin cluster with virtual machines,"Proc.of IEEE International Conference onCluster Computing,Tsukuba,pp.13-22,2008.

发明内容

本发明针对现有目的主机选择方法存在的不足，提出一种基于多目标优化的迁移虚拟机的目的主机选择方法，旨在有效折衷数据中心的温度、资源使用、应用性能及电能消耗，使其综合效益达到最优。

本发明的一种迁移虚拟机目的主机多目标优化选择方法，它包含以下步骤：

1、实时获取状态数据：实时采集各个服务器的温度、各资源使用率(CPU、内存、网络IO及磁盘IO)及电能消耗各状态数据，以有效计算虚拟机在各服务器中的运行代价；

2、目的主机的选择：基于上述状态因素设计了一种基于多目标优化的目的主机选择算法，以选择出数据中心各个迁移虚拟机的最佳目的主机。

作为优选，在所述步骤(1)中，利用各个服务器中运行的状态监控器来实时获取其温度、各资源使用率及电能消耗，然后将采集的状态数据发送给决策控制中心。

作为优选，在所述步骤(2)中，根据步骤(1)所获取的各状态数据并采用本发明的方法对迁移虚拟机的目的主机选择问题进行求解，最终得到一个最佳的虚拟机迁移方案；根据该方案高效指导数据中心虚拟机的迁移，使得各迁移虚拟机的运行代价之和最小。

本发明操作时，首先数据中心各服务器中的状态监控器采集服务器的温度、资源使用率及电能消耗。然后将采集的状态数据发送给决策控制中心，经过数据分析、迁移时机决策及迁移虚拟机选择后开始目的主机选择。本发明首先建立虚拟机在各服务器中的运行代价模型。然后根据代价模型给出最终优化目标函数。接着基于上述代价模型和目标函数建立目的主机选择的数学模型。最后基于启发式的贪心爬山思想和建立起的数学模型来求解迁移虚拟机的目的主机选择问题，以找到一个最佳的虚拟机迁移方案使得优化目标函数值即迁移虚拟机运行代价之和最小。

本发明的有益效果：本发明的方法与现有技术相比，其显著优点是：本方法综合考虑了数据中心的温度、资源使用、应用性能及电能消耗各状态因素，能够找到它们之间的最佳折衷以使得数据中心的整体运营效益达到最优。

具体实施方式

本具体实施方式采用以下技术方案：它包含以下步骤：

1、实时获取状态数据：实时采集各个服务器的温度、各资源使用率(CPU、内存、网络IO及磁盘IO)及电能消耗各状态数据，以有效计算虚拟机在各服务器中的运行代价；

2、目的主机的选择：基于上述状态因素设计了一种基于多目标优化的目的主机选择算法，以选择出数据中心各个迁移虚拟机的最佳目的主机。

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

目的主机选择：

本发明的优化目标是使得所有迁移虚拟机的运行代价之和∑_{1≤i≤N,1≤j≤M}Cost(VM_i,PM_j)最小。其中Cost(VM_i,PM_j)表示虚拟机VM_i在服务器PM_j上的运行代价。N表示迁移虚拟机台数，M表示服务器台数。本发明的算法首先假设当前虚拟机VM_i(i＝1,2,3...N)和服务器的映射关系为VM_i→f(VM_i)。然后针对每台VM_i选择出最佳的PM_k使得公式(10)取值最小。接着从得到的所有函数值中选择最小值对应的＜VM_best,PM_best＞。其中VM_best和PM_best分别表示算法每次迭代所选定的迁移虚拟机和目的主机。最后记录该有序偶对并更新当前的迁移方案。之后算法开始循环迭代执行上述步骤直到求得最优的虚拟机迁移方案。

$\underset{1\≤k\≤M}{\min mize}\left(Cost\right({\mathrm{VM}}_i,{\mathrm{PM}}_k)-Cost({\mathrm{VM}}_i,f\left({\mathrm{VM}}_i\right)\left)\right)---\left(10\right)$

本发明从以下四个方面来计算虚拟机的运行代价：

(1)温度:数据中心计算节点的温度开销主要来自半导体元件，如CPU、高速缓存、DRAM以及系统互连设备等。CPU是计算节点的核心，本文仅考虑CPU半导体元件的温度，并定义虚拟机VM运行在物理机PM上的温度代价如下所示：

Cost_temp(VM,PM)＝1/(1+e^(Ts-T)) (1)

该式中变量T为VM迁移到PM后的物理机温度。T_S为常量，可动态调节温度代价的大小，在本实验环境中取值为0℃。温度代价的值域为(0,1)，具有如下性质：由于存在以e为底的指数函数，当PM的温度急剧上升时，其温度代价Cost_temp(VM,PM)急剧增大；反之，温度急剧下降时，温度代价亦急剧减小。因此，仅考虑温度因素时，本文目的主机选择算法应尽可能选择温度代价最小的物理机作为目的主机，使得虚拟机迁移后目的主机的温度最低。

(2)资源使用:CPU、内存、网络IO以及磁盘IO是物理机的重要硬件资源，本文用U_CPU，U_Mem，U_Net及U_io分别表示虚拟机VM运行于物理机PM后各硬件资源的使用率。物理机的任何硬件资源剩余都说明资源存在浪费，本文定义PM的资源剩余量如下所示：

U_res＝(1-U_CPU)+(1-U_Mem)+(1-U_Net)+(1-U_io) (2)

可知PM的资源剩余量U_res的值域为[0,4]。为了减少资源浪费，本文定义VM运行在PM上的资源代价Cost_res(VM,PM)如公式(3)：

Cost_res(VM,PM)＝U_res/(U_{res_max}-U_{res_min}) (3)

其值域为[0,1]，变量U_{res_max}和U_{res_min}为U_res的最大值与最小值。Cost_res(VM,PM)越小，则VM运行于PM后的硬件资源使用率越高。反之，则说明资源浪费越严重。仅考虑资源使用，目的主机选择算法应选择资源使用最为充分的物理机作为目的主机。

(3)应用性能:为了有效保证迁移虚拟机和目的主机的应用性能，需在迁移前确定目的主机是否有足够的系统资源。否则会因资源竞争而引发虚拟机多次迁移，致使物理机的系统开销增大。CPU、内存、网络IO以及磁盘IO中任一硬件资源的不足都能使物理机产生性能瓶颈。为了有效避免上述情况发生，应阻止虚拟机迁移到资源不足的物理机上。因此，本文定义虚拟机VM运行在物理机PM上的性能代价Cost_per(VM,PM)如下(4)式所示：

${\mathrm{Cost}}_{per}(VM,PM)=\left\{\begin{array}{cc}\inf inity& U(VM,PM)>0.9\\ 0.0& U(VM,PM)\≤0.9\end{array}\right.---\left(4\right)$

其中infinity为常量，值为无穷大。U(VM,PM)定义为VM迁移到PM后的最大硬件资源使用率。U(VM,PM)若大于0.9，则性能代价取值为无穷大，以阻止VM迁移到PM上，从而减少虚拟机迁移次数，削减物理机的系统开销。在本作者的工作[35]中，资源使用率的阀值被定义为80％。本文综合考虑虚拟机迁移引发的状态波动与虚拟化的性能开销，定义最大资源使用率的阀值为0.9。

(4)电能消耗:数据中心计算节点的电能消耗主要来自CPU等半导体元件以及大型空调等冷却系统。本文从虚拟机管理的角度出发优化数据中心的能耗，因此不考虑冷却系统。物理机的电能消耗主要包括静态能耗和动态能耗两部分。静态能耗是指物理机处于空闲状态下的能耗，大约占满负载状态下物理机能耗的60％。为了有效削减静态能耗，本文采取通过整合虚拟机以关闭空闲物理机的方法。此时，目的主机选择算法应尽可能选择能耗最多的物理机作为目的主机。因此，本文定义物理机电能的效率值如下所示：

$U_{pow}=\frac{workload}{power}=\frac{U_{CPU}}{p_1+p_2\·U_{CPU}}\·(p_1+p_2)---\left(5\right)$

其中，电能效率值U_pow表示物理机单位电能消耗下所承载的负载运行量。workload表示VM迁移到PM后的物理CPU使用率，power表示能耗值。(p₁+p₂)用来将U_pow调整到[0,1]区间。当U_CPU取最大值100％时，U_pow取到最大值1。p₁和p₂的取值详见工作[35]。

已往研究表明物理机的动态能耗主要来自CPU。同工作[35]中物理机低能耗时CPU使用率的阀值选取，本文认为电能效率值U_pow低于10％时物理机便处于空闲状态。首先定义条件变量TH_pow如下：

${\mathrm{TH}}_{pow}=\left\{\begin{array}{cc}1& if{U}_{pow}\≤10\%\\ 0& otherwise\end{array}\right.---\left(6\right)$

然后，基于变量U_pow和TH_pow，定义VM运行在PM上的电能代价如公式(7)所示：

Cost_pow＝TH_pow·U_pow+(1-U_pow) (7)

电能代价Cost_pow的取值区间为[0,1]。当PM的电能效率值U_pow小于10％时，TH_pow取值为1，Cost_pow取最大值1，此时说明电能浪费最严重。U_pow取值越大，则Cost_pow就越小。Cost_pow最小可取为0，表示PM的电能效率最高。

(5)虚拟机的运行代价:如公式(8)所示，本文定义VM在PM上的运行代价为上述各代价的加权和。其中w_i为各代价的权重系数，可针对不同应用需求设置不同的权重。虚拟机运行代价的大小直接决定目的主机的选择。VM在PM上的运行代价愈大，则PM选为目的主机的可能性就愈小。反之，则PM选为目的主机的可能性就愈大。

$\begin{array}{c}\mathrm{Cost}(\mathrm{VM},\mathrm{PM})=w_1\·{\mathrm{Cost}}_{\mathrm{temp}}(\mathrm{VM},\mathrm{PM})+w_2\·{\mathrm{Cost}}_{\mathrm{res}}(\mathrm{VM},\mathrm{PM})\\ +w_3\·{\mathrm{Cost}}_{\mathrm{per}}(\mathrm{VM},\mathrm{PM})+w_4\·{\mathrm{Cost}}_{\mathrm{pow}}(\mathrm{VM},\mathrm{PM})\end{array}---\left(8\right)$

以上显示和描述了本发明的基本原理和主要特征以及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种迁移虚拟机目的主机多目标优化选择方法，其特征在于它包含以下步骤：

(1)、实时获取状态数据：实时采集各个服务器的温度、各资源使用率及电能消耗各状态数据，以有效计算虚拟机在各服务器中的运行代价；

(2)、目的主机的选择：基于上述状态因素设计了一种基于多目标优化的目的主机选择算法，以选择出数据中心各个迁移虚拟机的最佳目的主机。

2.根据权利要求1所述的一种迁移虚拟机目的主机多目标优化选择方法，其特征在于在所述步骤(1)中，利用各个服务器中运行的状态监控器来实时获取其温度、各资源使用率及电能消耗，然后将采集的状态数据发送给决策控制中心。

3.根据权利要求1所述的一种迁移虚拟机目的主机多目标优化选择方法，其特征在于在所述步骤(2)中，根据步骤(1)所获取的各状态数据并采用本发明的方法对迁移虚拟机的目的主机选择问题进行求解，最终得到一个最佳的虚拟机迁移方案；根据该方案高效指导数据中心虚拟机的迁移，使得各迁移虚拟机的运行代价之和最小。