CN103576829A - 基于混合遗传算法的云计算虚拟机动态调度方法 - Google Patents

Abstract

本发明属于基础设施即服务型（Iaas）云计算领域，涉及一种基于混合遗传算法的云计算虚拟机动态调度方法；该方法的步骤为：监控云计算环境中的物理机和虚拟机负载信息，分析每一台主机的负载周期及变化情况，确定负载变化的周期；通过具有多适应度的混合遗传算法，算出云环境中出现的虚拟机放置组合。本发明根据三个优化目标，计算得出最优化的虚拟机放置策略，作为最终的结果；周期性地执行本发明所述算法，通过虚拟机的动态迁移，实现虚拟机合理放置，提高资源利用率，节省资源。本发明能解决当前云计算中心中资源利用率不高的问题，适应当前云计算中心的自动化管理要求。

Description

基于混合遗传算法的云计算虚拟机动态调度方法

技术领域

本发明属基础设施即服务型（Iaas）云计算领域，涉及一种云计算环境中的虚拟机动态调度技术，具体涉及一种基于混合遗传算法的云计算虚拟机动态调度方法；该方法为一种通过分析、计算云计算数据中心的监控数据以指导其中的虚拟机动态合理放置的方法。

技术背景

云计算作为近年来新兴的产业，获得了科研界和产业界的广泛关注。所述云计算主要划分为三种类型：基础设施即服务、平台即服务、软件即服务。在基础设施即服务型的云计算环境中，虚拟机的合理放置问题一直未得到有效的解决。

目前，在“基础设施即服务（IaaS）”型的云计算环境下，用户购买的虚拟机需求是各不相同的，所表现出的负载特征也是各不相同的；最普遍的归类方法有三种，即CPU密集型、磁盘I/O密集型、网络密集型。若同一台物理机上承载的虚拟机为同一种类型，例如同为CPU密集型，则各个虚拟机之间会竞争CPU资源的使用，而其它的资源（磁盘、网络等）利用率就会偏低，上述状况造成因为竞争而使得服务质量不高，同时因为整体利用率的偏低而造成资源的浪费，且能源会产生不必要的损耗。一般情况下，一个普通的300W服务器一年能耗约为2628千瓦时，同时需要748千瓦时的额外电量用于冷却。在云计算环境下，降低能耗节约成本对互联网数据中心有着重要的意义。

虽然目前已有一些关于云计算环境下虚拟机调度的技术，但是上述技术普遍存在一些问题，主要有：

（1）基于服务器整体的负载情况，没有考虑到负载的差异性；通常该类调度技术使用的参数为服务器整体的负载，所述整体的负载由各项负载分别计算得出，如此的计算方法就不能分辨出负载的差异性，一个CPU密集型的应用和一个网络密集型的应用可能表现出同样高的相对负载，但其的特征显然是不同的，也不应该同样地对待，而应该差别对待；

（2）采用单一的评判机制；当前的一些技术在对虚拟机调度方法的评判上，普遍只采用一个评判指标，这样会造成调度时顾此失彼，不能综合考虑，往往造成调度时优化了一项参数，但恶化其它参数的情况；云计算环境下虚拟机动态调度技术需要配合虚拟机的迁移使用，若只考虑性能优化值，可能会造成巨大的虚拟机迁移成本；

（3）性能优化幅度；当前的云计算环境下虚拟机动态调度技术的优化效果不佳，性能提升幅度不大，没有对具有周期性负载特征的应用进行相应的优化。

发明内容

本发明的目的是克服现有技术的缺陷和不足提供一种基于混合遗传算法的云计算虚拟机动态调度方法；其通过获取云计算数据中心的监控数据，分析其中的CPU利用率、网络利用率、磁盘利用率这三个维度的负载参数，使其中某维度负载利用率高的虚拟机与利用率低的虚拟机迁移至同一台物理机，达到合理配置资源、提高资源利用率。该方法能克服现有技术的云计算环境下资源利用率不高，且现有虚拟机动态调度技术不能很好地优化资源利用率的缺陷，

本发明中所述的云计算属于云计算中的基础设施即服务领域；本发明针对的云计算环境为具有明显周期性的应用，若虚拟机负载率周期性较低，则可能造成本发明所获结果不稳定。

本发明的方法包括：监控云计算环境中的物理机和虚拟机负载信息及特征提取，分析每一台主机的负载周期及变化情况，确定负载变化的周期；通过具有多适应度的混合遗传算法，算出云环境中可能出现的虚拟机放置组合；其流程图如图1所示，

（1）获取虚拟机各项负载、获取虚拟原始放置信息；

（2）分步运行本发明中所述算法；

（3）将结果与原始放置信息作比较；

（4）检测结果是否达到优化目标，若“是”则进行下一步，若“否”则返回步骤（2）；

（5）计算迁移成本是否过高，若“是”则直接“结束”，若“否”则进行下一步；

（6）根据结果对虚拟机进行迁移。

具体而言，本发明的基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于，其具体步骤为：

（1）向历史监控数据库发起请求，获得所有虚拟机的各项负载参数，对周期性的应用以一个周期为单位；对实际环境中常见应用以24小时为单位；

（2）进行多适应度混合遗传算法的准备工作：计算出“多适应度”中的子适应度函数1、子适应度函数2、子适应度函数3，通过其线性组合得出总的适应度函数；

（3）初始化遗传算法的种群，生成200-500个个体；

（4）通过总适应度函数，进行遗传算法中的迭代过程；根据对精度和时间权衡，可迭代500-2000代；

（5）根据遗传算法的迭代结果，得出最终的动态调度方案；

（6）根据结果得出的动态调度方案，进行虚拟机的迁移；此时本发明所述过程结束，得出的最终虚拟机配置方案为当前最优方案；

（7）根据虚拟机负载的变化情况，每24小时运行一次本发明所述算法，以保证资源利用率长期保持在最优化状态。

本发明方法的核心为获取多维度的负载，且采用多适应度的遗传算法以达到兼顾不同优化指标的目的；为了合理分配云计算环境中的资源、达到优化资源使用率的目的，本发明采用以下算法步骤，分步获得三个维度的负载指标作为输入，通过混合遗传算法的选择、变异、进化等过程，综合考虑物理机使用数量、负载平衡率、迁移成本这三个指标，最后获得一次合理的虚拟机动态迁移策略；

本发明中，所述算法具有如下3个可优化的目标：（1）所占用的物理机数量最少；（2）负载互补；（3）需迁移的虚拟机数量最少；

其中，所述（1）和（2）占主要权重，（3）为次要权重；

上述三个优化目标对应了三个子适应度函数，将该三个子适应度函数的结果进行混合后，得到遗传算法中个体选择函数所需的适应度值；

本发明中，对于物理机和虚拟机的特征提取，为：设pm代表云中物理机总数，vm代表云中虚拟机总数，count_i代表遗传算法中第i个染色体里所占用的物理机数量，p为遗传算法群体中个体数，则第1个子适应度函数的计算方法为：

$E_{i1}=\frac{\frac{\mathrm{pm}-{\mathrm{count}}_i}{\mathrm{pm}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{pm}-{\mathrm{count}}_k}{\mathrm{pm}}}=\frac{1-\frac{{\mathrm{count}}_i}{\mathrm{pm}}}{\mathrm{pm}-{\mathrm{\Σ}}_{k=1}^p\frac{{\mathrm{count}}_k}{\mathrm{pm}}}---\left(1\right)$

CPU负载、网络负载和磁盘I/O三项负载参数是进行负载互补的主体与核心；对于遗传算法中的第i个染色体，其每项基因值代表每台虚拟机的放置方案；对于第k台物理机，设其上可承载n台虚拟机；对于上述3项负载参数，分别以a,b,c表示，则对此第k台物理机上承载的虚拟机，其三项负载可分别以三个数组[a_k1,a_k2,…,a_kn],[b_k1,b_k2,…,b_kn],[c_k1,c_k2,…,c_kn]表示，且为了数据的统计，每项负载参数均归一化到[0,1]区间；对每一项负载参数分别求平均值：

$\stackrel{\‾}{a_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{a}_{\mathrm{kj}}}{n}---\left(2\right)$

$\stackrel{\‾}{b_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{b}_{\mathrm{kj}}}{n}---\left(3\right)$

$\stackrel{\‾}{c_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{c}_{\mathrm{kj}}}{n}---\left(4\right)$

根据所述式（2）（3）（4）的结果，计算此物理机之上三项负载平均值之间的方差值：

$V_k={(\stackrel{\‾}{a_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2+{(\stackrel{\‾}{b_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2+{(\stackrel{\‾}{c_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2---\left(5\right)$

式（5）表示某一台特定物理机的负载方差值，将所有物理机的方差值相加，得到所有物理机的方差值，即第i个染色体所表现出的方差值：

S_i＝∑V_k    （6）

其中，式（6）的方差值代表的是第i个染色体所代表的放置方案上三项负载之间的偏离度大小，若方差越小，则负载的平均利用率情况越好，若方差越大，表明负载越不平衡。

若以∑S代表所有染色体方差的总和，S_i含义同上，则第2个适应度子函数的计算方法为：

$E_{i2}=\frac{\frac{\mathrm{\ΣS}-S_i}{\mathrm{\ΣS}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{\ΣS}-S_k}{\mathrm{\ΣS}}}=\frac{1-\frac{S_i}{\mathrm{\ΣS}}}{p-{\mathrm{\Σ}}_{k=1}^p\frac{S_k}{\mathrm{\ΣS}}}---\left(7\right)$

如前所述，在算法运行初始，需获取原始的虚拟机放置信息，因此，可将初始放置信息与算法中染色体所代表的放置信息作对比，得出需要迁移的虚拟机数量；该处子适应度函数3的算法与子适应度函数2中完全相同，只是将其中方差值替换为此处的迁移数量即可；

设M_i代表第i个染色体所代表的放置方案上需要迁移的虚拟机数量，以∑M代表所有染色体迁移数量的总和，则第3个子适应度函数的计算方法为：

$E_{i3}=\frac{\frac{\mathrm{\ΣM}-M_i}{\mathrm{\ΣM}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{\ΣM}-M_k}{\mathrm{\ΣM}}}=\frac{1-\frac{M_i}{\mathrm{\ΣM}}}{p-{\mathrm{\Σ}}_{k=1}^p\frac{M_k}{\mathrm{\ΣM}}}---\left(8\right)$

通过所述的（1）（7）（8）三式得出3个子适应度值之后，可算出一个染色体所代表的个体的总适应度值，通过线性组合，可较好地调整各子适应度值的权重，因此，采用线性组合的方式计算总适应度值；对某个体，设其三个子适应度值分别为E_i1,E_i2,E_i3，权重分别为x,y，z，则第i个个体的适应度为

E_i＝xE_i1+yE_i2+zE_i3(其中x+y+z=1)    （9）

在式（9）中，通过改变x,y，z的值可调整各子适应度的值，使算法具有比较好的弹性，在不同条件下可有不同的侧重点；所述适应度值可在遗传算法的选择函数中使用；

本发明所述的方法中，通过总适应度函数的计算，得出每一种放置策略的适度度，适应度最高的放置策略可在遗传算法中不断得到进化并保留到下一代，最终得出的适应度最高的放置策略为最优化的虚拟机放置策略。

本发明的方法与现有技术相比，具有的优点有：

（1）本发明通过对云计算环境中的虚拟机多维度负载分析，得出合理的虚拟机动态调度方案，在运行对虚拟机的放置进行重新组合，达到提高资源利用率的目的；

（2）通过对虚拟机放置的重新组合，能使得最少数量的物理机承载所有的虚拟机，其余的空闲的物理机可进行休眠，达到节省能源消耗量的目的。

本发明的基于混合遗传算法的云计算虚拟机动态调度方法，解决了当前云计算中心中资源利用率不高的问题，为云计算环境下的虚拟机放置问题提供了一种有效方法，适应当前云计算中心的自动化管理要求。

为了便于理解，以下将通过具体的附图和实施例对本发明进行详细地描述。需要特别指出的是，具体实例和附图仅是为了说明，显然本领域的普通技术人员可以根据本文说明，在本发明的范围内对本发明做出各种各样的修正和改变，这些修正和改变也纳入本发明的范围内。

附图说明

图1为总体流程图。

具体实施方式

实施例1

1、向历史监控数据库发起请求，获得所有虚拟机的各项负载参数，对周期性的应用，以一个周期为单位；对实际环境中常见应用，以24小时为单位；

2、进行多适应度混合遗传算法的准备工作：

通过 $E_{i1}=\frac{\frac{\mathrm{pm}-{\mathrm{count}}_i}{\mathrm{pm}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{pm}-{\mathrm{count}}_k}{\mathrm{pm}}}=\frac{1-\frac{{\mathrm{count}}_i}{\mathrm{pm}}}{\mathrm{pm}-{\mathrm{\Σ}}_{k=1}^p\frac{{\mathrm{count}}_k}{\mathrm{pm}}}---\left(1\right)$ 式计算出“多适应度”中的子适应度函数1；

通过 $\stackrel{\‾}{a_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{a}_{\mathrm{kj}}}{n}---\left(2\right),$

$\stackrel{\‾}{b_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{b}_{\mathrm{kj}}}{n}---\left(3\right),$

$\stackrel{\‾}{c_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{c}_{\mathrm{kj}}}{n}---\left(4\right),$

$V_k={(\stackrel{\‾}{a_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2+{(\stackrel{\‾}{b_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2+{(\stackrel{\‾}{c_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2---\left(5\right),$

和S_i＝∑V_k    （6），

计算得出 $E_{i2}=\frac{\frac{\mathrm{\ΣS}-S_i}{\mathrm{\ΣS}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{\ΣS}-S_k}{\mathrm{\ΣS}}}=\frac{1-\frac{S_i}{\mathrm{\ΣS}}}{p-{\mathrm{\Σ}}_{k=1}^p\frac{S_k}{\mathrm{\ΣS}}}---\left(7\right),$

即为“多适应度”中的子适应度函数2；

通过 $E_{i3}=\frac{\frac{\mathrm{\ΣM}-M_i}{\mathrm{\ΣM}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{\ΣM}-M_k}{\mathrm{\ΣM}}}=\frac{1-\frac{M_i}{\mathrm{\ΣM}}}{p-{\mathrm{\Σ}}_{k=1}^p\frac{M_k}{\mathrm{\ΣM}}}---\left(8\right)$

计算出“多适应度”中的子适应度函数3；

通过上述（1）（7）（8）三式的线性组合得出总的适应度函数：

E_i＝xE_i1+yE_i2+zE_i3  (其中x+y+z=1)        （9）；

3、初始化遗传算法的种群，生成200-500个个体；

4、通过上述（9）式的适应度函数，进行遗传算法中的迭代过程；根据对精度和时间权衡，可迭代500-2000代；

5、根据遗传算法的迭代结果，得出最终的动态调度方案；

6、根据上述步骤5中得出的动态调度方案，进行虚拟机的迁移；所述过程结束，得出的最终虚拟机配置方案为当前最优方案；

7、根据虚拟机负载的变化情况，可每24小时运行一次本发明所述算法，以保证资源利用率长期保持在最优化状态。

Claims (7)

1.一种基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于，所述的方法包括：监控云计算环境中的物理机和虚拟机负载信息及特征提取，分析每一台主机的负载周期及变化情况，确定负载变化的周期；通过具有多适应度的混合遗传算法，算出云环境中可能出现的虚拟机放置组合，其包括步骤：

（1）向历史监控数据库发起请求，获得所有虚拟机的各项负载参数，对周期性的应用以一个周期为单位；对实际环境中常见应用以24小时为单位；

（2）进行多适应度混合遗传算法的准备工作：计算出“多适应度”中的子适应度函数1、子适应度函数2、子适应度函数3，通过其线性组合得出总的适应度函数；

（3）初始化遗传算法的种群，生成200-500个个体；

（4）通过总适应度函数，进行遗传算法中的迭代过程；根据对精度和时间权衡，可迭代500-2000代；

（5）根据遗传算法的迭代结果，得出最终的动态调度方案；

（6）根据结果得出的动态调度方案，进行虚拟机的迁移，所述过程结束，得出最终虚拟机配置方案；

（7）根据虚拟机负载的变化情况，每24小时运行一次所述算法，保证资源利用率保持最优化状态。

2.如权利要求1所述的基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于，对于物理机和虚拟机的特征提取中，设pm为云中物理机总数，vm为云中虚拟机总数，counti为遗传算法中第i个染色体里所占用的物理机数量，p为遗传算法群体中个体数。

3.如权利要求1所述的基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于，所述的子适应度函数1通过下述公式计算得：

$E_{i1}=\frac{\frac{\mathrm{pm}-{\mathrm{count}}_i}{\mathrm{pm}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{pm}-{\mathrm{count}}_k}{\mathrm{pm}}}=\frac{1-\frac{{\mathrm{count}}_i}{\mathrm{pm}}}{\mathrm{pm}-{\mathrm{\Σ}}_{k=1}^p\frac{{\mathrm{count}}_k}{\mathrm{pm}}}---\left(1\right).$

4.如权利要求1中所述的基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于：所述的子适应度函数2通过下述公式计算得：：

$\stackrel{\‾}{a_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{a}_{\mathrm{kj}}}{n}---\left(2\right)$

$\stackrel{\‾}{b_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{b}_{\mathrm{kj}}}{n}---\left(3\right)$

$\stackrel{\‾}{c_k}=\frac{{\mathrm{\Σ}}_{j=0}^n{c}_{\mathrm{kj}}}{n}---\left(4\right)$

$V_k={(\stackrel{\‾}{a_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2+{(\stackrel{\‾}{b_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2+{(\stackrel{\‾}{c_k}-\frac{\stackrel{\‾}{a_k}+\stackrel{\‾}{b_k}+\stackrel{\‾}{c_k}}{3})}^2---\left(5\right)$

S_i＝∑V_k    （6）；

若以∑S代表所有染色体方差的总和，S_i含义同上，则子适应度函数2的计算方法为：

$E_{i2}=\frac{\frac{\mathrm{\ΣS}-S_i}{\mathrm{\ΣS}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{\ΣS}-S_k}{\mathrm{\ΣS}}}=\frac{1-\frac{S_i}{\mathrm{\ΣS}}}{p-{\mathrm{\Σ}}_{k=1}^p\frac{S_k}{\mathrm{\ΣS}}}---\left(7\right).$

5.如权利要求1中所述的基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于，所述的子适应度函数3通过下述公式计算得：

$E_{i3}=\frac{\frac{\mathrm{\ΣM}-M_i}{\mathrm{\ΣM}}}{{\mathrm{\Σ}}_{k=1}^p\frac{\mathrm{\ΣM}-M_k}{\mathrm{\ΣM}}}=\frac{1-\frac{M_i}{\mathrm{\ΣM}}}{p-{\mathrm{\Σ}}_{k=1}^p\frac{M_k}{\mathrm{\ΣM}}}---\left(8\right).$

6.如权利要求1中所述的基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于，所述的总适应度函数通过下述公式计算得：

E_i＝xE_i1+yE_i2+zE_i3

其中x+y+z=1    （9）。

7.如权利要求1或6所述的基于混合遗传算法的云计算虚拟机动态调度方法，其特征在于，通过总适应度函数的计算，得出每一种放置策略的适度度，其中最高的适应度放置策略在遗传算法中进化并保留至下一代，最终得的适应度最高的放置策略为最优化的虚拟机放置策略。

Images