CN103677960A - 一种能耗约束的虚拟机博弈重放置方法 - Google Patents

Abstract

本发明涉及一种能耗约束的虚拟机博弈重放置方法，包括将所有物理节点按所承载的虚拟机数量升序排列放入三个组合里；计算R₃中物理节点上的CPU、内存、网络的未来负载值；将不在进行虚拟机迁移的物理节点按CPU、内存、网络的未来负载状况分成三组；根据源物理节点所属的节点集合，对目的物理节点的选择进行预处理；通过能耗算法计算每个待迁虚拟机重放置到对应候选集中各节点的能耗变化量，设使得虚拟机对应的最大的物理节点为，若有多个虚拟机对应的能耗变化量最大的物理节点相同，通过以整体能耗最优为目标的博弈算法选出待迁虚拟机所对应的目的物理节点，并将虚拟机重放置到该物理节点上，本发明通过剔除误差数据，从而提高未来负载预测的准确性。

Description

一种能耗约束的虚拟机博弈重放置方法

技术领域

本发明涉及一种在云数据中心中能耗约束的虚拟机博弈重放置方法，属于计算机网络技术领域。

背景技术

随着云计算技术的快速发展，企业或单位信息化的应用在不断增多，服务要求在不断提高，利用虚拟化技术构建可自由伸缩、按需分配的虚拟资源池，已成为众多企业的迫切需求。在用户需求的不断驱使下，云环境数据中心中的虚拟机规模在不断扩大，对虚拟机的资源调度技术提出了新的挑战。在大规模虚拟机集群中，虚拟机数目和虚拟机的负载会随用户需求而经常发生变化。当物理节点上运行的多个或所有虚拟机都在执行计算任务时，极有可能产生资源争用的情况，增加了任务的执行时间、降低了服务质量。与此同时，有些物理节点处于负载比较低或空闲的状态或单一资源使用密集型，其上的各类资源或某类资源并没有得到充分利用。另外，当物理节点上运行的虚拟机没有执行计算任务时，计算资源仍被运行着的虚拟机占用，使其他执行计算任务的虚拟机无法使用紧缺的计算资源。若采用静态的资源管理常常会使虚拟机产生资源浪费或不足的情况，而人工的动态资源调度又会有明显的滞后性。因此，如何有效解决用户需求的不断变化所产生的资源浪费或不足问题，如高负载物理节点的资源不够用、低负载物理节点的资源得不到充分利用，是当前资源调度技术亟待解决的重要问题之一。

发明内容

针对以上现有技术的问题，本发明提出一种在云环境数据中心中能耗约束的虚拟机博弈重放置方法，基于博弈和灰色预测理论，以缓解物理节点资源不够用或资源利用不充分的状况，并尽可能地节约能耗。

本发明的技术方案：一种能耗约束的虚拟机博弈重放置方法，该方法包括以下步骤：步骤一，将所有物理节点按所承载的虚拟机数量升序排列，把已承载虚拟机的数量小于临界值λ的物理节点放到集合R₁中，把已承载虚拟机的数量小于安全阈值Θ且大于临界值λ的物理节点放到集合R₂中，大于安全阈值Θ的物理节点放到集合R₃中；步骤二，计算R₃中物理节点上的CPU、内存、网络的未来负载值u_cpu,u_mem,u_net；步骤三，将R₃中不在进行虚拟机迁移的物理节点p_i按CPU、内存、网络的未来负载状况分成三组：高负载组Group_high、负载不均衡组Group_imbalance和负载正常组Group_normal，若

则p_i∈Group_high，若

则p_i∈Group_imbalance，否则，p_i∈Group_normal，其中，Ω_cpu,Ω_mem,Ω_net分别表示单个物理节点中CPU、内存、网络资源的负载上界；步骤四，根据源物理节点所属的节点集合，对目的物理节点的选择进行预处理，选择符合条件

且

的物理节点，从而获得适合每个待迁虚拟机重放置的目的物理节点候选集s₁,s₂,...,s_i,...,s_z，其中，z为待迁虚拟机数量，z个待迁虚拟机分别为v₁,v₂,...,v_i,...,v_z；步骤五，通过能耗算法计算每个待迁虚拟机重放置到对应候选集中各节点的能耗变化量△E_v，设使得虚拟机v_i对应的

最大的物理节点为p_i，若p_j与p_i均不相同，其中j=1,2,...,i-1,i+1,...,z，则将v_i直接放置到目的物理节点p_i上，若有多个虚拟机对应的能耗变化量最大的物理节点相同，通过以整体能耗最优为目标的博弈算法选出待迁虚拟机所对应的目的物理节点，并将虚拟机重放置到该物理节点上。

上述方法中所述步骤二利用灰色预测理论中的无偏GM（1，1）模型进行计算，对原始序列的获取做了进一步细化，其中

表示第i个较短时间内的负载测量值，具体做法为：对每个时间段内的负载进行k次测量若k次测量的数据近似服从正态分布，利用t检验法对k次测量数据进行误差数据的剔除，把留下的测量数据的算术平均值作为该时间段内的负载测量值。

上述方法中所述步骤五中能耗算法包括以下步骤：步骤一、计算单个物理节点在单位时间内的能耗P=P_cpu+P_other，其中，P_other是单个物理节点的其他物理设备在单位时间内的总能耗，P_cpu是单个物理节点的CPU在单位时间内的能耗；步骤二、计算在时间T内单个物理节点的能耗E=P×T；步骤三、计算重新放置虚拟机v后的能耗变化量

其中E_src(v)是源物理节点在虚拟机v迁出前的能耗；

是目的物理节点在虚拟机v迁入前的能耗；

是源物理节点在虚拟机v迁出后的能耗；E_dest(v)是目的物理节点在虚拟机v迁入后的能耗；

是虚拟机v迁移产生的能耗。

上述方法中所述步骤五中博弈算法步骤为：步骤一、各个待迁虚拟机是博弈的参与方v₁,v₂,...,v_j,...v_k（k≤z），参与方v_j的策略集合ST_j={合作，竞争}，其中“合作”表示参与方v_j愿意以整体能耗最优为目标，“竞争”表示参与方v_j以自身能耗最优为目标，虚拟机v重放置到目的物理节点上的收益U_v(·)=△E_v步骤二、在T时间段内，各虚拟机重放置的总收益为U_all(·)=∑△E_v，博弈以最大化U_all(·)为目标，进行待迁虚拟机与目的物理节点的最佳匹配；步骤三、若虚拟机没有竞争到能耗变化量最大的物理节点，则从候选集中选出能耗变化量次大的物理节点，当出现竞争时，执行步骤一和步骤二；若仍没有竞争到，则再从候选集中选出能耗变化量第三大的物理节点，依次类推，直到找到合适的目的物理节点；若候选集搜索结束，仍没有找到合适的目的物理节点，则此重放置失败，需重新选择候选集,若候选集为空，则开启新的物理节点。

本发明的有益效果为：一是通过t检验法资源负载的测量数据进行筛选，剔除误差数据，从而提高未来负载预测的准确性；二是将物理节点按所承载的虚拟机数量分为不同的集合，再将虚拟机数量超过安全阈值的节点依据其资源的负载状况进行分组，有利于均衡各物理节点的负载；三是将单个物理节点的能耗分为CPU的能耗和其他物理设备的能耗，并在计算能耗变化量时考虑了虚拟机迁移消耗的能耗，进而较为合理地估算能耗和能耗变化量；四是利用博弈算法，可更有效地使整体能耗最优。

下面通过相关附图和实施例对本发明的技术方案进行详细描述。

附图说明

图1虚拟机重放置流程图

图2目的物理节点选择的预处理过程

具体实施方式

本发明所采用的虚拟机博弈重放置方法的具体实施方法如下：

本发明能耗约束的虚拟机重放置方法的流程如图1所示，包括：

(1)设云环境数据中心拥有N个物理节点：p₁,p₂,...,p_i,...p_N，有K台虚拟机：v₁,v₂,...,v_j,...v_K。若虚拟机v_j在物理节点p_i上，则令d_ij=1，否则为0，从而可得到虚拟机的分布矩阵D=(di_j)_N×K。分布矩阵D的每列中仅有一个1，第i行上1的个数即为物理节点p_i上的虚拟机数目。根据分布矩阵D获得各个物理节点上虚拟机的数量。

(2)将当前所有物理节点按所承载的虚拟机数量升序排列，把已承载虚拟机的数量小于λ的物理节点放到集合R₁中，把已承载虚拟机的数量小于安全阈值Θ且大于临界值λ的物理节点放到集合R₂中，剩余的物理节点放到集合R₃中。

(3)利用灰色预测理论中的无偏GM(1,1)模型计算R₃中的物理节点各类资源（CPU、内存、网络）的未来负载u_cpu,u_mem,u_net。具体步骤为：

(3.1)获取原始序列

其中表示第i个较短时间内的负载测量值。为了提高测量值的精确性，本文对每个时间段内的负载进行k次测量假设k次测量的数据近似服从正态分布，利用t检验法对k次测量数据进行误差数据的剔除。若

是可疑数据，则当统计量

时（t(α)是显著性水平为α的t检验临界值，一般取α=0.05），认为

是异常值，可考虑将其剔除。通过上述处理后，把留下的测量数据的算术平均值作为该时间段内的负载测量值。

(3.2)对原始序列进行一次累加后，得到序列

其中， $u_m^{\left(1\right)}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{u}_i^{\left(0\right)},m=\mathrm{1,2},...n;$

(3.3)建立无偏GM(1,1)模型： $u_m^{\left(1\right)}={\mathrm{\α}}_1^{m-1}{u}_1^{\left(1\right)}+\frac{1-{\mathrm{\α}}_1^{m-1}}{1-{\mathrm{\α}}_1}\×{\mathrm{\α}}_2,m=\mathrm{1,2},...,n;$

(3.4)获得α₁和α₂的估计值和

其中，

$B=\left(\begin{array}{cc}{u}_1^{\left(1\right)}& 1\\ u_2^{\left(1\right)}& 1\\ ...& ...\\ u_{n-1}^{\left(1\right)}& 1\end{array}\right),\mathrm{and}{Y}_n=\left(\begin{array}{c}{u}_2^{\left(1\right)}\\ u_3^{\left(1\right)}\\ ...\\ u_n^{\left(1\right)}\end{array}\right.)]$

(3.5)根据(3.4)，可获得

的近似值

(3.6)根据(3.5)，可获得

（令

）。由此，可计算出第n+1个时间段内的负载值即可获得各类资源的未来负载u_cpu,u_mem,u_net。

(4)将R₃中各个物理节点p_i（不包含正进行虚拟机迁移的物理节点）按其各类资源的未来负载与单个物理节点中各类资源的负载上界Ω_cpu,Ω_mem,Ω_net之间的大小关系进行分组：高负载组Group_high、负载不均衡组Group_imbalance和负载正常组Group_normal，

(4.1)若则p_i∈Group_high；

(4.2)否则，若

则p_i∈Group_imbalance；

(4.3)否则，p_i∈Group_normal。

根据源物理节点所属的节点集合，对目的物理节点的选择进行预处理，初步选择符合条件

且

的节点，从而获得适合每个待迁虚拟机放置的目的物理节点候选集s₁,s₂,...,s_i,...,s_z，具体过程如图2所示,若虚拟机v_i的源节点p_src属于R₃中的Group_imbalance且|Group_imbalance|>1，则对Group_imbalance（不包括p_src）进行筛选，将符合条件的节点放到对应的候选集s_i中，若没有符合条件的节点（|s_i|=0），则对R₂进行筛选，将符合条件的节点放到对应的候选集s_i中，若仍没有符合条件的节点，则再对R₁进行筛选；若源节点p_src属于Group_high或属于R₁，则先对R₂进行筛选，若R₂没有符合条件的节点，则再对R₁进行筛选。

(5)计算每个待迁虚拟机重放置到对应候选集中各物理节点的能耗变化量△E_v。除了制冷、照明外，云环境数据中心的能源消耗主要来自物理节点的CPU、内存、硬盘、I/O卡等物理设备，每个设备在总能耗中所占比例各不相同，其中CPU是主要的能量消耗源。CPU的能耗与其负载有着密切的联系，CPU负载越高，能耗越高。而其他物理设备的能耗相对稳定，只与物理节点是否开启有关。

单个物理节点在单位时间内的能耗P如式(1)所示。

P=P_cpu+P_other   (1)

其中P_other是单个物理节点中的其他物理设备在单位时间内的总能耗，机器开启后，此能耗基本趋于稳定。设各开启的物理节点，其P_other值相同。P_cpu是单个物理节点的CPU在单位时间内的能耗，可由式(2)计算得，P_no-virtual是该物理节点上无虚拟机时的单位能耗，P_{cpu-intensive}、P_{cpu-nointensive}分别表示开启单个CPU密集型虚拟机和单个非CPU密集型虚拟机所增加的单位能耗，a、b分别表示该物理节点上CPU密集型虚拟机的数量和非CPU密集型虚拟机的数量。

P_cpu=P_no-virtual+a×P_{cpu-intensive}+b×P_{cpu-nointensive}   (2)

在时间T内单个物理节点的能耗为：

E=P×T   (3)

重新放置虚拟机v后的能耗变化量△E_v如式(4)所示。其中E_src(v)是源物理节点在虚拟机v迁出前的能耗；

是目的物理节点在虚拟机v迁入前的能耗；是源物理节点在虚拟机v迁出后的能耗；E_dest(v)是目的物理节点在虚拟机v迁入后的能耗；

是虚拟机v迁移产生的能耗。若虚拟机v迁出后，源物理节点上无虚拟机，并且预关闭该物理节点，则其能耗为0。

$\mathrm{\Δ}{E}_v=E_{\mathrm{src}\left(v\right)}+E_{\mathrm{dest}\left(\stackrel{\‾}{v}\right)}-E_{\mathrm{src}\left(\stackrel{\‾}{v}\right)}-E_{\mathrm{dest}\left(v\right)}-E_{\sec \stackrel{v}{\→}\mathrm{dest}}---\left(4\right)$

虚拟机迁移产生的能耗主要由虚拟机创建时的能耗E_v-on、虚拟机关闭时的能耗E_v-off、虚拟机迁出引起的源物理节点关闭时的能耗E_src-off以及虚拟机迁入引起的目的物理节点开启时的能耗E_dest-on组成，如式(5)所示。当虚拟机v迁出后，源物理节点上仍有虚拟机时，E_src-off=0；当虚拟机v迁移无需开启新的物理节点时，E_dest-on=0。

$E_{\mathrm{src}\stackrel{v}{\→}\mathrm{dest}}=E_{v-\mathrm{off}}+E_{v-\mathrm{on}}+E_{\mathrm{src}-\mathrm{off}}+E_{\mathrm{dest}-\mathrm{on}}---\left(5\right)$

(6)对每个待迁虚拟机v_i（在某个时间段T内，有z个虚拟机需要迁移，分别为v₁,v₂,...,v_i,...,v_z），从其对应的候选集中分别选出使△E_v最大的物理节点为p_i，若p_j（j=1,2,...,i-1,i+1,...,z）与p_i均不相同，则将v_i直接放置到目的物理节点p_i上；若有多个虚拟机对应的能耗变化量最大的物理节点相同，则以整体能耗最优为目标进行博弈，选出各自对应的目的物理节点，并将虚拟机重放置到该物理节点上，具体过程如下：

各个待迁虚拟机是博弈的参与方，即v₁,v₂,...,v_j,...v_k（k≤z），参与方v_j的策略集合ST_j={合作，竞争}，其中“合作”表示参与方v_j愿意以整体能耗最优为目标，“竞争”表示参与方v_j只愿意以自身能耗最优为目标。从另一个角度看，实质是目的物理节点的选择。虚拟机v重放置到目的物理节点上的收益U_v(·)=△E_v，在某时间段内，各虚拟机重放置的总收益为U_all(·)=∑△E_v，博弈以最大化U_all(·)为目标，进行待迁虚拟机与目的物理节点的最佳匹配。

若以两个虚拟机v_i,v_j竞争同一个物理节点p为例，则博弈的收益矩阵如表1所示。其中，

和

分别表示v_i和v_j各自单独放置到物理节点p上所获的收益，△E′_vi和△′E_vj分别表示v_i和v_j选择其他能耗次优的物理节点上所获的收益，

分别表示v_i在三种不同情况下（即：v_i合作、v_j竞争；v_i竞争、v_j合作；v_i、v_j均竞争）以p为目的物理节点的概率。

表1收益矩阵

v_j--合作   v_j--竞争

若

则当两个虚拟机互相合作时，他们的整体收益应为此时，可得式(6)，当

时，等号成立。从而得出：只有当两个虚拟机相互合作时才能确保所获得的整体收益最大，因此，在博弈中，参与方通过选择合作使整体收益最大。若

同理可得。

$\left\{\begin{array}{c}\mathrm{\Δ}{E}_{v_i}+\mathrm{\Δ}{E}_{v_j}^{\′}\≥q_{i_1}\mathrm{\Δ}{E}_{v_i}+(1-q_{i_1})\mathrm{\Δ}{E}_{v_i}^{\′}+q_{i_1}\mathrm{\Δ}{E}_{v_j}^{\′}+(1-q_{i_i})\mathrm{\Δ}{E}_{v_j}\\ \mathrm{\Δ}{E}_{v_i}+\mathrm{\Δ}{E}_{v_j}^{\′}\≥q_{i_2}\mathrm{\Δ}{E}_{v_i}+(1-q_{i_2})\mathrm{\Δ}{E}_{v_i}^{\′}+q_{i_2}\mathrm{\Δ}{E}_{v_j}^{\′}+(1-q_{i_2})\mathrm{\Δ}{E}_{v_j}\\ \mathrm{\Δ}{E}_{v_i}+\mathrm{\Δ}{E}_{v_j}^{\′}\≥q_{i_3}\mathrm{\Δ}{E}_{v_i}+(1-q_{i_3})\mathrm{\Δ}{E}_{v_i}^{\′}+q_{i_3}\mathrm{\Δ}{E}_{v_j}^{\′}+(1-q_{i_3})\mathrm{\Δ}{E}_{v_j}\end{array}\right.---\left(6\right)$

若虚拟机没有竞争到能耗变化量最大的物理节点，则从候选集中选出能耗变化量次大的物理节点，当出现竞争时，用上述方法处理；若仍没有竞争到，则再从候选集中选出能耗变化量第三大的物理节点，依次类推，直到找到合适的目的物理节点或没有找到；若没有找到，则此重放置失败，需重新选择候选集。若候选集为空，则可考虑开启新的物理节点。

Claims (4)

1.一种能耗约束的虚拟机博弈重放置方法，其特征在于，该方法包括以下步骤：

步骤一，将所有物理节点按所承载的虚拟机数量升序排列，把已承载虚拟机的数量小于临界值λ的物理节点放到集合R₁中，把已承载虚拟机的数量小于安全阈值Θ且大于临界值λ的物理节点放到集合R₂中，大于安全阈值Θ的物理节点放到集合R₃中；

步骤二，计算R₃中物理节点上的CPU、内存、网络的未来负载值u_cpu,u_mem,u_net；

步骤三，将R₃中不在进行虚拟机迁移的物理节点p_i按CPU、内存、网络的未来负载状况分成三组：高负载组Group_high、负载不均衡组Group_imbalance和负载正常组Group_normal，若则p_i∈Group_high，若

则p_i∈Group_imbalance，否则，p_i∈Group_normal，其中，Ω_cpu,Ω_mem,Ω_net分别表示单个物理节点中CPU、内存、网络资源的负载上界；

步骤四，根据源物理节点所属的节点集合，对目的物理节点的选择进行预处理，选择符合条件

且

的物理节点，从而获得适合每个待迁虚拟机重放置的目的物理节点候选集s₁,s₂,...,s_i,...,s_z，其中，z为待迁虚拟机数量，z个待迁虚拟机分别为v₁,v₂,...,v_i,...,v_z；

步骤五，通过能耗算法计算每个待迁虚拟机重放置到对应候选集中各节点的能耗变化量△E_v，设使得虚拟机v_i对应的

最大的物理节点为p_i，若p_j与p_i均不相同，其中j=1,2,...,i-1,i+1,...,z，则将v_i直接放置到目的物理节点p_i上，若有多个虚拟机对应的能耗变化量最大的物理节点相同，通过以整体能耗最优为目标的博弈算法选出待迁虚拟机所对应的目的物理节点，并将虚拟机重放置到该物理节点上。

2.根据权利要求1中所述的能耗约束的虚拟机博弈重放置方法，其特征在于：所述步骤二利用灰色预测理论中的无偏GM（1，1）模型进行计算，对原始序列

的获取做了进一步细化，其中

表示第i个较短时间内的负载测量值，具体做法为：对每个时间段内的负载进行k次测量

若k次测量的数据近似服从正态分布，利用t检验法对k次测量数据进行误差数据的剔除，把留下的测量数据的算术平均值作为该时间段内的负载测量值。

3.根据权利要求1中所述的能耗约束的虚拟机博弈重放置方法，其特征在于：所述步骤五中能耗算法包括以下步骤：

步骤一、计算单个物理节点在单位时间内的能耗P=P_cpu+P_other，其中，P_other是单个物理节点的其他物理设备在单位时间内的总能耗，P_cpu是单个物理节点的CPU在单位时间内的能耗；

步骤二、计算在时间T内单个物理节点的能耗E=P×T；

步骤三、计算重新放置虚拟机v后的能耗变化量

其中E_src(v)是源物理节点在虚拟机v迁出前的能耗；

是目的物理节点在虚拟机v迁入前的能耗；

是源物理节点在虚拟机v迁出后的能耗；E_dest(v)是目的物理节点在虚拟机v迁入后的能耗；

是虚拟机v迁移产生的能耗。

4.根据权利要求1中所述的能耗约束的虚拟机博弈重放置方法，其特征在于，所述步骤五中博弈算法步骤为：

步骤一、各个待迁虚拟机是博弈的参与方v₁,v₂,...,v_j,...v_k（k≤z），参与方v_j的策略集合ST_j={合作，竞争}，其中“合作”表示参与方v_j愿意以整体能耗最优为目标，“竞争”表示参与方v_j以自身能耗最优为目标，虚拟机v重放置到目的物理节点上的收益U_v(·)=△E_v

步骤二、在T时间段内，各虚拟机重放置的总收益为U_all(·)=∑△E_v，博弈以最大化U_all(·)为目标，进行待迁虚拟机与目的物理节点的最佳匹配；

步骤三、若虚拟机没有竞争到能耗变化量最大的物理节点，则从候选集中选出能耗变化量次大的物理节点，当出现竞争时，执行步骤一和步骤二；若仍没有竞争到，则再从候选集中选出能耗变化量第三大的物理节点，依次类推，直到找到合适的目的物理节点；若候选集搜索结束，仍没有找到合适的目的物理节点，则此重放置失败，需重新选择候选集，若候选集为空，开启新的物理节点。

Images