CN108182115A - 一种云环境下的虚拟机负载均衡方法 - Google Patents

Abstract

本发明涉及云计算技术领域，特别是一种云环境下的虚拟机负载均衡方法，包括如下步骤：根据云平台的历史任务数据集，构建随机森林回归模型；获取云平台当前的任务集合和虚拟机集合；使用构建的随机森林回归模型，预测云平台当前的任务集合中每个任务的执行时间；根据云平台当前的任务集合中每个任务向云平台请求的CPU使用量、内存使用量、任务数据处理规模以及预测得到的任务执行时间，使用粒子群优化算法，以云平台中虚拟机的负载均衡度为优化目标，获得全局最优的粒子编码；将全局最优粒子编码解码成任务到虚拟机的分配方案并输出。该方法能够在均衡虚拟机资源使用率的同时减少任务总执行时间。

Description

一种云环境下的虚拟机负载均衡方法

技术领域

本发明涉及云计算(IaaS)技术领域，特别是一种云环境下的虚拟机负载均衡方法。

背景技术

云计算作为一种新型的商业服务模式，正在逐渐成为计算机产业的重要发展方向，越来越受到研究人员和大众的关注。云计算以一种按需处理的方式，用于随时随地访问应用程序、服务和基础设施。与此同时，云代理商们在商业应用领域也提出了很多面临的困难，负载均衡问题就是其中的一个方面。负载均衡是指在多个计算资源之间共享工作，为用户提供更高的服务，高效地利用资源，使应用程序达到良好的性能。因此，在云环境下，实现负载均衡是提高虚拟机资源利用率和服务质量(QoS)的一个重要方面。

作为云环境下任务分配和资源分配的一个重要属性，负载均衡的相关研究吸引了越多越多专家和学者的密切关注，并提出了一些优化算法和模型。负载均衡问题可以转换为求解最优的任务分配问题，精确求解是一个NP难问题。有学者提出了一种基于轮转调度的算法，将任务以类似轮转的方式分配给每个节点；有学者提出了一种基于OLB(Opportunistic Load Balancing)的算法，根据任务的平均完成时间将任务分配给可用的节点，保持节点处于繁忙状态；有学者提出了一种结合OLB(Opportunistic LoadBalancing)和LBMM(Load Balance Min-Min)的两阶段调度算法，以达到提高执行效率，同时维持系统的负载均衡的目标。有学者提出一种结合SA(Simulated annealing)和FOA(Fruitfly optimization)的多目标优化算法，将过载虚拟机上的任务分配到合适的虚拟机上，在负载均衡的同时，最小化数据中心的能量开销；有学者提出了一种混合元启发式算法ACOPS(ant colony optimization with particle swarm)，将主机的内存利用率、CPU利用率以及磁盘利用率作为优化目标，结合了蚁群算法正反馈机制和粒子群算法收敛性快的优势。

目前多数的负载均衡优化算法都是以虚拟机的CPU利用率、内存利用率为主要的优化目标，并不考虑均衡虚拟机上任务的总工作时长，容易导致在部分虚拟机还有任务未完成的同时，另一部分虚拟机已完成分配的任务并处于空闲状态，进而使任务总等待时间增加。

发明内容

本发明的目的在于克服现有技术的不足，提供一种云环境下的虚拟机负载均衡方法，该方法有利于在提高云平台各虚拟机的负载均衡度的同时，减少总的任务执行时间。

为实现上述目的，本发明的技术方案是：1.一种云环境下的虚拟机负载均衡方法，包括如下步骤：

步骤A：根据云平台的历史任务数据集，构建随机森林回归模型；

步骤B：获取云平台当前的任务集合和虚拟机集合；

步骤C：使用步骤A构建的随机森林回归模型，预测云平台当前的任务集合中每个任务的执行时间；

步骤D：根据云平台当前的任务集合中每个任务向云平台请求的CPU使用量、内存使用量、任务数据处理规模以及步骤C预测得到的任务执行时间，使用粒子群优化算法，每个粒子表示任务集合到虚拟机集合的一种分配方案，以云平台中虚拟机的负载均衡度为优化目标，获得全局最优的粒子编码；

步骤E：将全局最优粒子编码解码成任务到虚拟机的分配方案并输出。

进一步地，所述步骤A中，历史任务数据集中，每个任务task由四个属性值描述，表示为task＝{reqCpu,reqMem,reqData,runtime}，分别表示任务请求的CPU使用量、请求的内存大小、任务数据规模以及任务执行时间；根据上述属性，以任务请求的CPU使用量、请求的内存大小、任务数据规模为输入，任务执行时间为输出，构建基于CART决策树的随机森林回归模型。

进一步地，所述步骤D，使用粒子群优化算法，以云平台中虚拟机的负载均衡度为优化目标，获得全局最优的粒子编码，包括以下步骤：

步骤D1：初始化粒子群，设置粒子群算法参数，包括粒子数量、惯性因子、认知能力因子、社会学习因子、迭代次数、种群规模、粒子维数、粒子速度控制范围；

步骤D2：计算粒子群中每个粒子的适应度值，根据粒子的适应度值，记录个体历史最优粒子和种群最优粒子；

步骤D3：根据更新策略，更新每个粒子的速度和位置，并计算更新后的粒子适应度值；

步骤D4：判断是否满足最大迭代次数，是则输出全局最优粒子编码，结束迭代，否则返回步骤D2，继续迭代。

进一步地，所述步骤D1中，初始化粒子群，粒子的编码方式如下：

是粒子群X中的第i个粒子，表示第i种任务到虚拟机的分配方案，X_i的维度为N_task，N_task为任务集合Tasks中的任务数量，x_i,j＝k表示将第j个任务分配到第k个虚拟机。

进一步地，所述步骤D2中，粒子群中粒子的适应度值的计算方法如下：

其中，r₁、r₂和r₃表示权重系数，V_cpu、V_mem、V_runtime是用于衡量云环境中虚拟机的负载均衡度的三个属性，分别表示虚拟机集合VMs中所有虚拟机的平均CPU利用率、平均内存利用率和工作时长的离散程度，定义为：

其中N_VM为虚拟机集合VMs＝{VM_i|i＝1,2,...,N_VM}的大小，即虚拟机的数量； 分别表示经过Max-Min方法归一化处理的第i个虚拟机VM_i的平均CPU利用率、平均内存利用率和分配到第i个虚拟机VM_i的所有任务的预测执行时间之和，分别表示虚拟机集合VMs中所有虚拟机的平均CPU利用率、平均内存利用率、平均总任务时长，其计算方法如下：

其中x_i,cpu、x_i,mem、x_i,runtime分别表示第i个虚拟机VM_i的平均CPU利用率，平均内存利用率和分配到第i个虚拟机VM_i的所有任务的预测执行时间之和，CPU_min、CPU_max分别表示所有虚拟机的平均CPU利用率的最小值和最大值，Mem_min、Mem_max分别表示所有虚拟机的平均内存利用率的最小值和最大值，RT_min、RT_max分别表示所有虚拟机的总任务预测执行时间的最小值和最大值，其计算方法如下：

CPU_min＝min{x_i,cpu|i＝1,2,...,N_VM}

CPU_max＝max{x_i,cpu|i＝1,2,...,N_VM}

Mem_min＝min{x_i,mem|i＝1,2,...,N_VM}

Mem_max＝max{x_i,mem|i＝1,2,...,N_VM}

RT_min＝min{x_i,runtime|i＝1,2,...,N_VM}

RT_max＝max{x_i,runtime|i＝1,2,...,N_VM}

其中Tasks_i表示分配到虚拟机VM_i的任务子集合，t_j,cpu、t_j,mem、t_j,runtime分别表示第j个任务task_j的cpu使用量、内存使用量和预测执行时间；Cpu_i、Mem_i分别表示第i个虚拟机VM_i的CPU资源数量、内存资源数量。

进一步地，所述步骤D3，更新每个粒子的速度和位置，并计算更新后的粒子适应度值，包括以下步骤：

步骤D31：更新粒子的速度，其计算公式为：

v_ij(t+1)＝c₁.pbest_ij(t)+c₂.gbest_j(t)

其中，v_ij(t+1)表示第t+1次迭代时粒子的速度，pbest_ij(t)、gbest_j(t)分别表示第t次迭代时粒子的速度、位置、个体最优粒子位置、种群最优粒子位置，c₁、c₂是学习因子，取c₁、c₂<1，c1<c2，更新粒子的速度矢量的具体步骤如下：

步骤D311：生成维度为N_task的随机向量r_i,j为处于区间[0,1]范围中的随机数，j＝1,2,...,N_task；

步骤D312：重新定义粒子速度更新公式的加法操作，若r_i,j≤c₁，则用pbest_ij(t)的值更新v_ij(t+1)，若r_i,j≥c₂，则用gbest_j(t)的值更新v_ij(t+1)，若c₁<r_i,j<c₂，则保持v_ij(t+1)不变；

步骤D32：更新粒子的位置，其计算公式为：

x_ij(t+1)＝x_ij(t)+v_ij(t+1)

其中，x_ij(t+1)、v_ij(t+1)分别表示第t+1次迭代时粒子的位置和速度，x_ij(t)表示第t次迭代时粒子的位置。

相较于现有技术，本发明的有益效果是：综合考虑了虚拟机的CPU利用率，内存利用率以及总的任务执行时间，首先使用随机森林回归模型预测每个任务的执行时间，再使用粒子群优化算法寻找最优的任务集合到虚拟机集合的分配方案，在提高云平台虚拟机的负载均衡度的同时降低了任务集合的总执行时间。

附图说明

图1是本发明实施例的实现流程图。

图2是本发明实施例中步骤D的实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

图1是本发明一种云环境下的虚拟机负载均衡方法的实现流程图。如图1所示，本发明方法包括如下步骤：

步骤A：根据云平台的历史任务数据集，构建随机森林回归模型。

历史任务数据集中，每个任务task由四个属性值描述，表示为task＝{reqCpu,reqMem,reqData,runtime}，分别表示任务请求的CPU使用量、请求的内存大小、任务数据规模以及任务执行时间；根据上述属性，以任务请求的CPU使用量、请求的内存大小、任务数据规模为输入，任务执行时间为输出，构建基于CART决策树的随机森林回归模型。

步骤B：获取云平台当前的任务集合和虚拟机集合。

步骤C：使用步骤A构建的随机森林回归模型，预测云平台当前的任务集合中每个任务的执行时间。

步骤D：根据云平台当前的任务集合中每个任务向云平台请求的CPU使用量、内存使用量、任务数据处理规模以及步骤C预测得到的任务执行时间，使用粒子群优化算法，每个粒子表示任务集合到虚拟机集合的一种分配方案，以云平台中虚拟机的负载均衡度为优化目标，获得全局最优的粒子编码。图2是本发明实施例中步骤D的实现流程图，如图2所示，步骤D具体包括以下步骤：

步骤D1：初始化粒子群，设置粒子群算法参数，包括粒子数量、惯性因子、认知能力因子、社会学习因子、迭代次数、种群规模、粒子维数、粒子速度控制范围。

初始化粒子群时，粒子的编码方式如下：

是粒子群X中的第i个粒子，表示第i种任务到虚拟机的分配方案，X_i的维度为N_task，N_task为任务集合Tasks中的任务数量，x_i,j＝k表示将第j个任务分配到第k个虚拟机。

步骤D2：计算粒子群中每个粒子的适应度值，根据粒子的适应度值，记录个体历史最优粒子和种群最优粒子。

粒子群中粒子的适应度值的计算方法如下：

其中，r₁、r₂和r₃表示权重系数，V_cpu、V_mem、V_runtime是用于衡量云环境中虚拟机的负载均衡度的三个属性，分别表示虚拟机集合VMs中所有虚拟机的平均CPU利用率、平均内存利用率和工作时长的离散程度，定义为：

其中N_VM为虚拟机集合VMs＝{VM_i|i＝1,2,...,N_VM}的大小，即虚拟机的数量； 分别表示经过Max-Min方法归一化处理的第i个虚拟机VM_i的平均CPU利用率、平均内存利用率和分配到第i个虚拟机VM_i的所有任务的预测执行时间之和，分别表示虚拟机集合VMs中所有虚拟机的平均CPU利用率、平均内存利用率、平均总任务时长，其计算方法如下：

其中x_i,cpu、x_i,mem、x_i,runtime分别表示第i个虚拟机VM_i的平均CPU利用率，平均内存利用率和分配到第i个虚拟机VM_i的所有任务的预测执行时间之和，CPU_min、CPU_max分别表示所有虚拟机的平均CPU利用率的最小值和最大值，Mem_min、Mem_max分别表示所有虚拟机的平均内存利用率的最小值和最大值，RT_min、RT_max分别表示所有虚拟机的总任务预测执行时间的最小值和最大值，其计算方法如下：

CPU_min＝min{x_i,cpu|i＝1,2,...,N_VM}

CPU_max＝max{x_i,cpu|i＝1,2,...,N_VM}

Mem_min＝min{x_i,mem|i＝1,2,...,N_VM}

Mem_max＝max{x_i,mem|i＝1,2,...,N_VM}

RT_min＝min{x_i,runtime|i＝1,2,...,N_VM}

RT_max＝max{x_i,runtime|i＝1,2,...,N_VM}

其中Tasks_i表示分配到虚拟机VM_i的任务子集合，t_j,cpu、t_j,mem、t_j,runtime分别表示第j个任务task_j的cpu使用量、内存使用量和预测执行时间；Cpu_i、Mem_i分别表示第i个虚拟机VM_i的CPU资源数量、内存资源数量。

步骤D3：根据更新策略，更新每个粒子的速度和位置，并计算更新后的粒子适应度值。具体步骤如下：

步骤D31：更新粒子的速度，其计算公式为：

v_ij(t+1)＝c₁.pbest_ij(t)+c₂.gbest_j(t)

其中，v_ij(t+1)表示第t+1次迭代时粒子的速度，pbest_ij(t)、gbest_j(t)分别表示第t次迭代时粒子的速度、位置、个体最优粒子位置、种群最优粒子位置，c₁、c₂是学习因子，取c₁、c₂<1，c1<c2，更新粒子的速度矢量的具体步骤如下：

步骤D311：生成维度为N_task的随机向量r_i,j为处于区间[0,1]范围中的随机数，j＝1,2,...,N_task；

步骤D312：重新定义粒子速度更新公式的加法操作，若r_i,j≤c₁，则用pbest_ij(t)的值更新v_ij(t+1)，若r_i,j≥c₂，则用gbest_j(t)的值更新v_ij(t+1)，若c₁<r_i,j<c₂，则保持v_ij(t+1)不变；

步骤D32：更新粒子的位置，其计算公式为：

x_ij(t+1)＝x_ij(t)+v_ij(t+1)

其中，x_ij(t+1)、v_ij(t+1)分别表示第t+1次迭代时粒子的位置和速度，x_ij(t)表示第t次迭代时粒子的位置。

步骤D4：判断是否满足最大迭代次数，是则输出全局最优粒子编码，结束迭代，否则返回步骤D2，继续迭代。

步骤E：将全局最优粒子编码解码成任务到虚拟机的分配方案并输出。

本发明综合考虑了虚拟机的CPU利用率，内存利用率以及总的任务执行时间，首先使用随机森林回归模型预测每个任务的执行时间，再使用粒子群优化算法寻找最优的任务集合到虚拟机集合的分配方案，给出了一种云环境下的虚拟机负载均衡方法。综上，本发明方法在提高云平台虚拟机的负载均衡度的同时降低了任务集合的总执行时间。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种云环境下的虚拟机负载均衡方法，其特征在于，包括如下步骤：

步骤A：根据云平台的历史任务数据集，构建随机森林回归模型；

步骤B：获取云平台当前的任务集合和虚拟机集合；

步骤C：使用步骤A构建的随机森林回归模型，预测云平台当前的任务集合中每个任务的执行时间；

步骤D：根据云平台当前的任务集合中每个任务向云平台请求的CPU使用量、内存使用量、任务数据处理规模以及步骤C预测得到的任务执行时间，使用粒子群优化算法，每个粒子表示任务集合到虚拟机集合的一种分配方案，以云平台中虚拟机的负载均衡度为优化目标，获得全局最优的粒子编码；

步骤E：将全局最优粒子编码解码成任务到虚拟机的分配方案并输出。

2.根据权利要求1所述的一种云环境下的虚拟机负载均衡方法，其特征在于，所述步骤A中，历史任务数据集中，每个任务task由四个属性值描述，表示为task＝{reqCpu,reqMem,reqData,runtime}，分别表示任务请求的CPU使用量、请求的内存大小、任务数据规模以及任务执行时间；根据上述属性，以任务请求的CPU使用量、请求的内存大小、任务数据规模为输入，任务执行时间为输出，构建基于CART决策树的随机森林回归模型。

3.根据权利要求1所述的一种云环境下的虚拟机负载均衡方法，其特征在于，所述步骤D，使用粒子群优化算法，以云平台中虚拟机的负载均衡度为优化目标，获得全局最优的粒子编码，包括以下步骤：

步骤D1：初始化粒子群，设置粒子群算法参数，包括粒子数量、惯性因子、认知能力因子、社会学习因子、迭代次数、种群规模、粒子维数、粒子速度控制范围；

步骤D2：计算粒子群中每个粒子的适应度值，根据粒子的适应度值，记录个体历史最优粒子和种群最优粒子；

步骤D3：根据更新策略，更新每个粒子的速度和位置，并计算更新后的粒子适应度值；

步骤D4：判断是否满足最大迭代次数，是则输出全局最优粒子编码，结束迭代，否则返回步骤D2，继续迭代。

4.根据权利要求3所述的一种云环境下的虚拟机负载均衡方法，其特征在于，所述步骤D1中，初始化粒子群，粒子的编码方式如下：

是粒子群X中的第i个粒子，表示第i种任务到虚拟机的分配方案，X_i的维度为N_task，N_task为任务集合Tasks中的任务数量，x_i,j＝k表示将第j个任务分配到第k个虚拟机。

5.根据权利要求4所述的一种云环境下的虚拟机负载均衡方法，其特征在于，所述步骤D2中，粒子群中粒子的适应度值的计算方法如下：

其中，r₁、r₂和r₃表示权重系数，V_cpu、V_mem、V_runtime是用于衡量云环境中虚拟机的负载均衡度的三个属性，分别表示虚拟机集合VMs中所有虚拟机的平均CPU利用率、平均内存利用率和工作时长的离散程度，定义为：

其中N_VM为虚拟机集合VMs＝{VM_i|i＝1,2,...,N_VM}的大小，即虚拟机的数量； 分别表示经过Max-Min方法归一化处理的第i个虚拟机VM_i的平均CPU利用率、平均内存利用率和分配到第i个虚拟机VM_i的所有任务的预测执行时间之和，分别表示虚拟机集合VMs中所有虚拟机的平均CPU利用率、平均内存利用率、平均总任务时长，其计算方法如下：

其中x_i,cpu、x_i,mem、x_i,runtime分别表示第i个虚拟机VM_i的平均CPU利用率，平均内存利用率和分配到第i个虚拟机VM_i的所有任务的预测执行时间之和，CPU_min、CPU_max分别表示所有虚拟机的平均CPU利用率的最小值和最大值，Mem_min、Mem_max分别表示所有虚拟机的平均内存利用率的最小值和最大值，RT_min、RT_max分别表示所有虚拟机的总任务预测执行时间的最小值和最大值，其计算方法如下：

CPU_min＝min{x_i,cpu|i＝1,2,...,N_VM}

CPU_max＝max{x_i,cpu|i＝1,2,...,N_VM}

Mem_min＝min{x_i,mem|i＝1,2,...,N_VM}

Mem_max＝max{x_i,mem|i＝1,2,...,N_VM}

RT_min＝min{x_i,runtime|i＝1,2,...,N_VM}

RT_max＝max{x_i,runtime|i＝1,2,...,N_VM}

其中Tasks_i表示分配到虚拟机VM_i的任务子集合，t_j,cpu、t_j,mem、t_j,runtime分别表示第j个任务task_j的cpu使用量、内存使用量和预测执行时间；Cpu_i、Mem_i分别表示第i个虚拟机VM_i的CPU资源数量、内存资源数量。

6.根据权利要求5所述的一种云环境下的虚拟机负载均衡方法，其特征在于，所述步骤D3，更新每个粒子的速度和位置，并计算更新后的粒子适应度值，包括以下步骤：

步骤D31：更新粒子的速度，其计算公式为：

v_ij(t+1)＝c₁.pbest_ij(t)+c₂.gbest_j(t)

其中，v_ij(t+1)表示第t+1次迭代时粒子的速度，best_ij(t)、gbest_j(t)分别表示第t次迭代时粒子的速度、位置、个体最优粒子位置、种群最优粒子位置，c₁、c₂是学习因子，取c₁、c₂<1，c1<c2，更新粒子的速度矢量的具体步骤如下：

步骤D311：生成维度为N_task的随机向量R_i＝(r_i,1,r_i,2,...,r_i,Ntask)，r_i,j为处于区间[0,1]范围中的随机数，j＝1,2,...,N_task；

步骤D312：重新定义粒子速度更新公式的加法操作，若r_i,j≤c₁，则用pbest_ij(t)的值更新v_ij(t+1)，若r_i,j≥c₂，则用gbest_j(t)的值更新v_ij(t+1)，若c₁<r_i,j<c₂，则保持v_ij(t+1)不变；

步骤D32：更新粒子的位置，其计算公式为：

x_ij(t+1)＝x_ij(t)+v_ij(t+1)

其中，x_ij(t+1)、v_ij(t+1)分别表示第t+1次迭代时粒子的位置和速度，x_ij(t)表示第t次迭代时粒子的位置。