CN108089914A

CN108089914A - 一种基于能耗的云计算虚拟机部署算法

Info

Publication number: CN108089914A
Application number: CN201810047483.9A
Authority: CN
Inventors: 杨波; 许建振
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2018-01-18
Filing date: 2018-01-18
Publication date: 2018-05-29

Abstract

本发明公开了一种基于能耗的云计算虚拟机部署算法。该算法包含虚拟机初始部署算法与虚拟机重部署算法两个部分。虚拟机初始部署算法为本发明提供的DRWMG算法，该算法首先对新到达的虚拟机请求进行分类，分为CPU密集型请求、内存密集型请求、正常请求三种类型，然后对不同类型的虚拟机请求采取本发明提供的不同的部署策略。虚拟机重部署算法为本发明提供的MCA算法，该算法周期性地根据虚拟机迁移开销(迁移时间、迁移能耗、宕机时间)重部署现有虚拟机。与现有的虚拟机部署算法相比，本发明提供的DRWMG算法具有降低云计算系统的能耗的同时，使物理机不同资源的使用更加均衡的优点；本发明提供的MCA算法具有降低云计算系统能耗的同时，也降低了云计算系统中虚拟机的迁移开销的优点。

Description

一种基于能耗的云计算虚拟机部署算法

技术领域

本发明是关于云计算中的虚拟机部署领域，具体涉及云计算中的虚拟机初始部署和虚拟机重部署问题。

背景技术

虚拟机部署是指在当前云计算系统中找到一种较优的映射关系，即将N个虚拟机请求V＝{vm₁,vm₂,vm₃,……vm_N}部署到可用的M个物理机P＝{pm₁,pm₂,pm₃……,pm_M}之上。虚拟机部署分为初始部署和重部署两种，初始部署是指将新到达的一个或一批虚拟机请求部署到物理机上；重部署是指对云计算系统当前的虚拟机部署进行重新调整，以到达某种优化目的。

对虚拟机的初始部署，目前的方法是将物理机上的多种资源(如CPU资源、内存资源等)进行组合，合成一个指标，根据该指标进行部署。但是，现有方法都没有考虑虚拟机请求的类型以及每个物理机各种资源的使用情况是否均衡这两方面的因素。这是现有的虚拟机初始部署算法的一个重要不足。对于虚拟机重部署，目前的方法是考虑处于活跃状态的物理机数量、迁移时间、迁移能耗等多个因素中的某些因素。显然，更合理的方法是在重部署时将以上多种因素都进行考虑，这是现有的虚拟机重部署算法的一个重要不足。此外，迁移时间和迁移能耗仅仅是虚拟机迁移开销的一部分，其他的迁移开销如宕机时间等在现有方法中没有得到考虑，这是现有的虚拟机重部署算法的另一个不足。

发明内容

针对现有虚拟机部署算法存在的不足，本发明提供了一种基于能耗的云计算虚拟机部署算法。本算法包含虚拟机初始部署算法和虚拟机重部署算法两个部分，其中初始部署算法为本发明提供的DRWMG(Different Resource with Minimum Gap)算法。DRWMG算法根据虚拟机请求对不同资源的需求量将虚拟机请求进行分类，对于不同类型的虚拟机请求采用不同的部署策略，使得物理机不同资源(如CPU资源以及内存资源)的使用率更加均衡，并在降低了云计算系统产生的能耗。重部署算法为本发明提供的MCA(Migration CostAlgorithm)算法，该算法考虑了处于活跃状态的物理机数量和迁移开销(迁移时间、宕机时间、迁移能耗)的因素，通过本发明建立的优化模型，得到新的部署结果，与现有的方法相比，除了迁移时间和迁移能耗，还考虑了迁移开销中的宕机时间，因而能够得到更加符合实际的重部署。

本发明包含以下内容：

1、一种基于能耗的云计算虚拟机部署算法

该算法包含虚拟机初始部署算法(详见发明内容2)和虚拟机重部署算法(详见发明内容3)两个部分，见图1。

2、一种虚拟机初始部署算法—DRWMG算法

在本发明提供的虚拟机初始部署部分，采用了本发明提供DRWMG算法(即图1的S2，详见图3)。当新的虚拟机请求到达时，该算法根据虚拟机请求对不同资源的需求量，对虚拟机请求进行分类，分为CPU密集型请求、内存密集型请求和正常请求，然后对不同类型的虚拟机请求采取本发明提出的不同的部署策略。与部署策略相关的具体计算表达式见公式(1)，公式(2)，公式(3)，公式(4)。

3、一种虚拟机重部署算法—MCA算法

在本发明提供的虚拟机重部署部分，采用了本发明提供了MCA算法(即图1的S3，详见图4)，该算法考虑虚拟机迁移开销以及处于活跃状态的物理机数量的影响，通过最小化目标函数获取新的部署结果。其中虚拟机i的迁移开销包括迁移时间、宕机时间以及迁移能耗三部分。迁移时间的计算表达式见公式(4)，宕机时间的计算表达式见公式(5)，迁移能耗的计算表达式见公式(6)，迁移开销的计算表达式见公式(7)，优化目标函数表达式见公式(9)。

附图说明

图1是本发明提供的一种基于能耗的云计算虚拟机部署算法的流程图。

图2是图1中S1的流程图。

图3是图1中S2的流程图。

图4是图1中S3的流程图。

具体实施方式

本发明公开的一种基于能耗的云计算虚拟机部署算法包含初始部署算法和重部署算法两个部分。

基于能耗的云计算虚拟机部署算法整体流程图如图1所示。下面结合附图和实施例，对本发明的具体实施方式做详细说明。

一、初始化

本部分对应图1中的S1，详细流程图见图2。

S1：初始化

S1.1：初始化虚拟机请求判别参数k

根据云计算系统实际情况对虚拟机请求类型判别参数k进行赋值，是一个正常数。

S1.2：初始化优先级队列：queue_cpu、queue_mem、queue_slack、queue_initial

基于能耗的云计算虚拟机部署算法开始时，根据云计算系统中物理机的资源情况，实例化四个优先级队列。其中，queue_cpu代表部署CPU密集型请求时采用的优先级队列，queue_mem代表部署内存密集型请求时采用的优先级队列，queue_slack代表部署正常请求时采用的优先级队列，queue_initial代表云计算系统中处于非活跃状态的的物理机优先级队列。

1)队列queue_cpu初始化。首先对云计算系统中所有处于活跃状态的的物理机根据公式(1)的值由小到大排序。

其中，vm_i代表第i个虚拟机，pm_j代表第j个物理机，代表物理机j的资源使用量，S^C代表云计算系统所有处于活跃状态的物理机CPU资源使用率之和，S^M代表云计算系统所有处于活跃状态的物理机内存资源使用率之和，cpu_i为虚拟机i对CPU资源的使用量，vm_i∈pm_j表示虚拟机i部署在物理机j上。

2)队列queue_mem初始化。首先对云计算系统中所有处于活跃状态的物理机根据公式(2)的值由小到大排序。

vm_i∈pm_j。p代表部署在物理机j上的虚拟机数量，S^M代表云计算系统所有处于活跃状态的物理机内存资源使用率之和，代表物理机j的内存资源使用量，mem_i为虚拟机i对内存资源的使用量。

3)队列queue_slack初始化。首先对云计算系统中所有处于活跃状态的物理机根据公式(3)的值由小到大排序。：

其中j∈P_on，P_on代表云计算系统中处于活跃状态的物理机集合。C_j代表物理j的CPU能力，M_j代表物理机j的内存资源能力。

4)队列queue_initial初始化。首先对云计算系统中所有处于非活跃状态的物理机根据公式(4)的值由大到小排序。

C_j×M_j (4)

其中j∈P_off，P_off代表云计算系统中处于非活跃状态的物理机集合。

S1.3：初始化物理机CPU资源利用率的上限tsd_c和内存资源利用率的上限tsd_m根据实际情况初始化tsd_c和tsd_m。

二、初始部署算法

本部分对应图1中的S2，具体流程图见图3。

S2：初始部署算法—DRWMG算法

S2.1：判断虚拟机请求类型

虚拟机请求到达时，根据虚拟机请求对CPU资源以及内存的资源需求量，将虚拟机请求划分为CPU密集型请求、内存密集型请求以及正常请求三种情况，不同类型的虚拟机请求采用不同的部署策略。

1)当虚拟机请求i对CPU资源和内存资源的需求量的关系为cpu_i>k·mem_i时，该请求定义为CPU密集型请求。

2)当请求i对内存资源的需求量和CPU资源的需求量的关系为mem_i>k·cpu_i时，该请求定义为内存密集型请求。

3)其他情况为正常虚拟机请求。

其中，cpu_i代表虚拟机请求i对CPU资源的需求量，mem_i代表虚拟机请求i对内存资源的需求量，k为虚拟机请求类型判别参数，是一个正常数。

S2.2：根据虚拟机请求的类型进行部署

1)对于CPU密集型请求的部署策略为：在queue_cpu优先级队列中从队首开始遍历，直到找到第一个可以满足虚拟机请求的资源需求的物理机时停止；如果遍历整个queue_cpu队列后仍未找到满足需求的物理机，则转到步骤4)。

2)对于内存密集型请求的部署策略为：在queue_mem优先级队列中从队首开始遍历，直到找到第一个可以满足虚拟机请求的资源需求的物理机时停止；如果遍历整个queue_mem队列后仍未找到满足需求的物理机，则转到步骤4)。

3)对于正常请求的部署策略为：在queue_slack优先级队列中从队首开始遍历，直到找到第一个可以满足虚拟机请求的资源需求的物理机时停止；如果遍历整个queue_slack队列后仍未找到满足需求的物理机，则转到步骤4)。

4)在queue_initial队列中从队首开始遍历，直到找到第一个可以满足虚拟机请求的资源需求的物理机时停止，即激活一台新的物理机。

S2.3：根据S2.2中的算法进行初始部署后更新云计算系统的信息。

按照公式(1)、(2)、(3)、(4)的值更新相应队列queue_cpu、queue_mem、queue_slack、queue_initial中物理机顺序。

三、重部署

本部分对应图1中的S3,具体流程图见图4。

S3：重部署算法—MCA算法

S3.1：计算虚拟机迁移开销

虚拟机i的迁移开销包括迁移时间宕机时间以及迁移能耗三部分。

1)计算虚拟机i的迁移时间

其中，代表虚拟机i的内存资源使用量，bw_j代表物理机j所在的网络带宽，为虚拟机i的脏页率，n为虚拟机i迁移的迭代次数。

2)计算虚拟机i的宕机时间

其中代表虚拟机i迁移到目的物理机后的重启时间，t_n代表虚拟机i迁移时第n次迭代的时间。

3)计算虚拟机i的迁移能耗

4)根据1)，2)，3)得到虚拟机i的迁移开销，计算公式为：

其中max{T_mig}，max{T_down}以及max{E_mig}表示在执行某次重部署时，运行在物理机上的所有虚拟机的迁移时间、宕机时间和迁移能耗的最大值，便于在建立重部署优化模型时正则化。

S3.2：生成虚拟机与物理机的映射矩阵A和物理机的状态向量S

1)以N行M列的矩阵A＝{a_ij}表示虚拟机i是否部署在物理机j上，其中i∈{1,2,3,4……,N}，j∈{1,2,3,4……,M}。a_ij＝1表示虚拟机i部署在物理机j上，a_ij＝0表示虚拟机i未部署在物理机j上。N为云计算系统中虚拟机的数量，M为云计算系统中处于活跃状态的物理机数量。

2)以M维向量S＝{s₁,s₂……s_M}表示云计算系统中目前处于活跃状态的物理机的状态。对于任意的j∈{1,2,3,4……,M}，s_j取值为0或1，s_j＝0表示物理机j处于非活跃状态；s_j＝1表示物理机j处于活跃状态，即该物理机至少有一个虚拟机在运行。如下公式所示，即：

S3.3：执行重部署优化模型获取重部署结果

根据S3.1得到每个虚拟机的迁移开销，求解以下的重部署优化模型，得到重部署结果a′_ij。可以用优化算法如整数规划、遗传算法等来对该优化模型进行求解。

重部署优化模型：

并且满足以下的约束条件：

1)对于任意的i(1≤i≤N)和j(1≤j≤M)，a′_ij∈{0,1}，s_j∈{0,1}。

2)对于任意的i(1≤i≤N)，

3)对于任意的j(1≤j≤M)，其中C_j为物理机j的

CPU能力，c_j代表虚拟机i的CPU的资源使用量,tsd_c为物理机的CPU资源

利用率的上限阈值。

4)对于任意的j(1≤j≤M)，其中M_j为物理机

j的内存资源能力，代表虚拟机i的内存资源使用量，tsd_m代表物理机

的内存资源利用率的上限阈值。

5)对于任意j(1≤j≤M)，其中V是目前所有部署在物理

机上的虚拟机的集合，|V|是这些虚拟机的总数量

6)对于任意j(1≤j≤M)，

约束条件二保证一个虚拟机只能部署在一台物理机；约束条件三保证部署在一台物理机之上的所有虚拟机对于CPU资源的使用之和小于物理机本身的阈值计算能力，约束条件四保证内存资源；约束条件五和约束条件六一起保证了每一台物理机j的状态s_j：若有虚拟机部署在物理机j，则s_j＝1，否则s_j＝0。

S3.4：调整部署

按照S3.2的优化模型得到的重部署结果，重新调整现有部署。

S3.5：更新队列、映射矩阵A以及物理机状态向量S

按照公式(1)、(2)、(3)、(4)更新队列queue_cpu、queue_mem、queue_slack、queue_initial中的信息。

Claims

1.一种基于能耗的云计算虚拟机部署算法，其特征在于：包含虚拟机初始部署算法与虚拟机重部署算法，其中，虚拟机初始部署算法为本发明提供的DRWMG算法，虚拟机重部署算法为本发明提供的MCA算法。

2.根据权利要求1所述的一种基于能耗的云计算虚拟机部署算法，其特征在于，其中的虚拟机初始部署算法—DRWMG算法，具体步骤如下：

步骤一：判断虚拟机请求类型

虚拟机请求到达时，根据虚拟机请求对CPU资源以及内存资源的需求量，将虚拟机请求分为CPU密集型请求、内存密集型请求以及正常请求三种类型。

2)当虚拟机请求i对CPU资源和内存资源的需求量的关系为mem_i>k·cpu_i时，该请求定义为内存密集型请求。

3)其他情况的虚拟机请求定义为正常请求。

步骤二：根据虚拟机请求的类型进行部署

其中，queue_cpu代表部署CPU密集型请求时采用的优先级队列，queue_mem代表部署内存密集型请求时采用的优先级队列，queue_slack代表部署正常请求时采用的优先级队列，queue_initial代表云计算系统中处于非活跃状态的物理机优先级队列。

步骤三：更新云计算系统的信息

当一个虚拟机请求被部署后，按照相应的计算表达式更新相应队列：queue_cpu、queue_mem、queue_slack、queue_initial中的物理机顺序。

1)更新队列queue_cpu：云计算系统中所有处于活跃状态的物理机根据公式的值由小到大更新排序。

2)更新队列queue_mem：云计算系统中所有处于活跃状态的物理机根据公式的值由小到大更新排序。

3)更新队列queue_slack：云计算系统中所有处于活跃状态的物理机根据公式的值由小到大更新排序。

4)更新队列queue_initial：云计算系统中所有处于非活跃状态的物理机根据公式C_j×M_j的值由大到小更新排序。

其中，S^C代表云计算系统所有处于活跃状态的物理机CPU资源使用率之和，S^M为云计算系统所有处于活跃状态的物理机内存资源使用率之和，为物理机j的CPU资源使用量，代表物理机j的内存资源使用量，C_j为物理机j的CPU资源能力，M_j为物理机j的内存资源能力。

3.根据权利要求1所述的一种基于能耗的云计算虚拟机部署算法，其特征在于，其中的虚拟机重部署算法—MCA算法，具体步骤如下：

步骤一：计算虚拟机的迁移开销

1)计算虚拟机i的迁移时间

<mrow> <msubsup> <mi>T</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>g</mi> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mfrac> <msubsup> <mi>V</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>m</mi> </mrow> <mi>i</mi> </msubsup> <mrow> <msub> <mi>bw</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <msup> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> </mrow> <mrow> <mn>1</mn> <mo>-</mo> <mi>&lambda;</mi> </mrow> </mfrac> </mrow>

其中，为虚拟机i的内存资源使用量，bw_j为物理机j所在的网络带宽，其中为虚拟机i的脏页率，n为虚拟机i迁移的迭代次数。

2)计算虚拟机i的宕机时间

<mrow> <msubsup> <mi>T</mi> <mrow> <mi>d</mi> <mi>o</mi> <mi>w</mi> <mi>n</mi> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <msub> <mi>t</mi> <mi>n</mi> </msub> <mo>+</mo> <msub> <mi>T</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>u</mi> <mi>m</mi> <mi>e</mi> </mrow> </msub> <mo>=</mo> <msup> <mi>&lambda;</mi> <mi>n</mi> </msup> <mo>&CenterDot;</mo> <mfrac> <msubsup> <mi>V</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>m</mi> </mrow> <mi>i</mi> </msubsup> <mrow> <msub> <mi>bw</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>+</mo> <msubsup> <mi>T</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>u</mi> <mi>m</mi> <mi>e</mi> </mrow> <mi>i</mi> </msubsup> </mrow>

其中为虚拟机i迁移到目的物理机后的重启时间，t_n为虚拟机i迁移时第n次迭代的时间。

3)计算虚拟机i的迁移能耗

4)根据1)、2)、3)得到虚拟机i的迁移开销，计算表达式为：

<mrow> <msub> <mi>&theta;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msubsup> <mi>T</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>g</mi> </mrow> <mi>i</mi> </msubsup> <mrow> <mi>max</mi> <mo>{</mo> <msub> <mi>T</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>g</mi> </mrow> </msub> <mo>}</mo> </mrow> </mfrac> <mo>+</mo> <mfrac> <msubsup> <mi>T</mi> <mrow> <mi>d</mi> <mi>o</mi> <mi>w</mi> <mi>n</mi> </mrow> <mi>i</mi> </msubsup> <mrow> <mi>max</mi> <mo>{</mo> <msub> <mi>T</mi> <mrow> <mi>d</mi> <mi>o</mi> <mi>w</mi> <mi>n</mi> </mrow> </msub> <mo>}</mo> </mrow> </mfrac> <mo>+</mo> <mfrac> <msubsup> <mi>E</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>g</mi> </mrow> <mi>i</mi> </msubsup> <mrow> <mi>max</mi> <mo>{</mo> <msub> <mi>E</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>g</mi> </mrow> </msub> <mo>}</mo> </mrow> </mfrac> </mrow>

其中，max{T_mig}、max{T_down}、max{E_mig}分别为在执行某次重部署时，运行在物理机上的所有虚拟机的迁移时间、宕机时间和迁移能耗的最大值。

步骤二：生成虚拟机与物理机的映射矩阵A和物理机的状态向量S

1)以N行M列的矩阵A＝{a_ij}表示虚拟机i是否部署在物理机j上，其中i∈{1，2，3，4......，N}，j∈{1，2，3，4......，M}。a_ij＝1表示虚拟机i部署在物理机j上，a_ij＝0表示虚拟机i未部署在物理机j上。N为云计算系统中虚拟机的数量，M为云计算系统中处于活跃状态的物理机数量。

2)以M维向量S＝{s₁，s₂……s_M}表示云计算系统中目前处于活跃状态的物理机的状态。对于任意的j∈{1，2，3，4......，M}，s_j取值为0或1，s_j＝0表示物理机j处于非活跃状态；s_j＝1表示物理机j处于活跃状态，即该物理机至少有一个虚拟机在运行。如下公式所示，即：

步骤三：求解以下的重部署优化模型，得到重部署结果a’_ij。可以用优化算法如整数规划、遗传算法等来对该优化模型进行求解。

重部署优化模型：

最小化并且满足以下的约束条件：

1)对于任意的i(1≤i≤N)和j(1≤j≤M)，a’_ij∈{0，1}，s_j∈{0，1}。

2)对于任意的i(1≤i≤N)，

3)对于任意的j(1≤j≤M)，其中C_j为物理机j的

CPU能力，c_i代表虚拟机i的CPU的资源使用量,tsd_c为物理机的CPU资源利用率的上限阈值。

4)对于任意的j(1≤j≤M)，其中M_j为物理机j的内存资源能力，代表虚拟机i的内存资源使用量,tsd_m代表物理机的内存资源利用率的上限阈值。

5)对于任意j(1≤j≤M)，其中V是目前所有部署在物理机上的虚拟机的集合，|V|是这些虚拟机的总数量。

6)对于任意j(1≤j≤M),

步骤四：按照步骤三得到的重部署结果对虚拟机进行部署。

步骤五：更新队列queue_cpu、queue_mem、queue_slack、queue_initial中的信息，更新方法与虚拟机初始部署算法：DRWMG算法的步骤三相同。