CN104618480B - 基于网络链路利用率驱动的云系统资源分配方法 - Google Patents

Abstract

本发明公开了一种基于网络链路利用率驱动的云系统资源分配方法，步骤为：云系统中云服务器收集各物理节点的可用资源；收集用户的任务请求，进行归类处理；最后采用基于讨论机制的头脑风暴算法对云系统中资源进行分配。本发明是基于虚拟网络映射模型提供一种高效、可靠的云系统链接映射代价最小化资源分配方法，充分挖掘云系统中CPU资源、内存资源和网络带宽资源，从多个维度以链接映射代价最小化为目标按需分配资源。

Description

基于网络链路利用率驱动的云系统资源分配方法

技术领域

本发明属于计算机网络技术领域，特别是一种基于网络链路利用率驱动的云系统资源分配方法。

背景技术

云计算近来因为能够动态提供大量的计算资源而成为研究领域关注的热点，这种新方案能够为人们带来的方便，同时带来了技术上的挑战，云计算系统中最核心的模块就是资源分配，如何为用户合理分配资源同时减少运营商的开销是许多研究者需要解决的问题。

云计算提供的服务通常包括基础设施服务、平台服务以及软件服务，基础设施服务为用户提供虚拟计算、存储和网络等资源，这里面包括CPU，磁盘读写速度和网络带宽等；平台服务层是应用程序运行的环境，云平台层提供软件工具盒开发语言，用户只需上传代码和数据即可使用服务；应用层服务是基于云计算基础平台所开发的应用程序，例如企业可以租赁Gmail程序建立企业的邮件系统。

云计算通常伴随着虚拟技术，云计算系统通常不会将用户的请求直接分配到物理主机上，而是通过虚拟技术将物理主机虚拟化多个子系统，这样不仅能够适应用户的特定需求，而且能够提高资源的利用率，支持虚拟机资源独立技术的云管理工具包括AmazonEC2和Open Nebula。另一方面，随着科学研究的快速发展，用户可能会提出一些相当复杂的请求，比如在保证服务水平的情况下，用户希望资源使用代价最小，并且他们的任务可以在截止日期前完成。

现有技术中的专利1(一种云计算平台的资源负载均衡方法，曲阜师范大学，公开号CN102882984，申请号CN201210406932，申请日2012.10.24)公开了一种云计算平台的资源负载均衡方法，包括以下步骤：用户通过客户端向云计算平台发送资源请求；云计算平台接收来自客户端的资源请求，并将该资源请求消息广播给云计算平台上的各候选资源；各候选资源对用户的资源请求进行竞争，闲置度最高的候选资源中标竞得该资源请求；云计算平台对用户的资源请求上下文进行封装和移植，并根据上下文配置中标的候选资源；中标的候选资源更新其闲置度，并开始执行用户的资源请求；中标的候选资源更新其闲置度，等候新一轮的资源请求。本发明采用广播竞争机制，确保云计算平台上负载均衡的安全性和高性能，并最大程度上发挥各资源在负载均衡时的自主性和灵活性，实现云计算平台上资源负载的动态平衡。又如现有技术中的专利2(一种基于动态重配置虚拟资源的云计算资源调度方法，华南理工大学，公开号CN101938416，申请号CN201010268105，申请日2011.01.05)公开了一种基于动态重配置虚拟资源的云计算资源调度方法。该方法以云应用监视器收集的云应用负载信息为依据，然后基于运行云应用的虚拟资源的负载能力和云应用当前的负载进行动态决策，根据决策的结果为云应用动态重配置虚拟资源。通过为云应用重配置虚拟资源的方法实现资源的动态调整，不需要动态重新分配物理资源和停止云应用执行。该方法能根据云应用负载变化动态重配置虚拟资源，优化云计算资源分配，实现云计算资源的高效使用和满足云应用动态可伸缩性的需要；而且该方法可以避免云计算资源的浪费，节省云应用用户的资源使用成本。

发明内容

本发明提出一种基于网络链路利用率驱动的云系统资源分配方法，基于虚拟网络映射模型提供一种高效、可靠的云系统链接映射代价最小化资源分配方法，以充分挖掘云系统中CPU资源、内存资源和网络带宽资源，从多个维度以链接映射代价最小化为目标按需分配资源。

实现本发明目的的技术解决方案为：

一种基于虚拟网络映射的云系统代价最小化资源分配方法，包括以下步骤：

步骤1、云系统中云服务器收集各物理节点的可用资源；

步骤2、云系统中云服务器收集用户的任务请求，并将相关联的的请求作为一个整体；以及

步骤3、云系统中云服务器采用基于讨论机制的头脑风暴算法对资源进行分配。

进一步的实施例中，前述步骤3的资源分配包括以下过程：

步骤3.1、云服务器初始化头脑风暴算法的参数，随机产生n个个体；

步骤3.2、将产生的个体聚类为m类，并对每个个体进行评估，评价每组中最优个体作为类中心；

步骤3.3、实施组内讨论和组间讨论；

步骤3.4、比较新个体和对应个体，好的予以保留；

步骤3.5、调整组内和组间讨论次数上限值；

步骤3.6、重复步骤3.2～3.5N_{m_i}次，输出最优个体解，N_{m_i}表示头脑风暴算法最大迭代次数。

本发明与现有技术相比，其显著优点在于：(1)云系统中基于讨论机制的头脑风暴算法进行资源分配，满足基于虚拟网络映射的资源分配要求；(2)充分挖掘了云系统中可用的资源，从CPU资源、内存资源、硬盘资源和网络带宽资源多个维度动态分配云系统中资源；(3)为高效利用云系统中的带宽资源提供技术支持。

附图说明

图1为本发明网络链路利用率驱动的云系统资源分配的流程图。

图2为本发明云系统中资源分配示意图。

图3为本发明基于讨论机制的头脑风暴算法流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

结合图1，本发明基于网络链路利用率驱动的云系统资源分配方法，包括以下步骤：

步骤1、云系统中云服务器收集各物理节点的可用资源；

步骤2、云系统中云服务器收集用户的任务请求，并将相关联的的请求作为一个整体；以及

步骤3、云系统中云服务器采用基于讨论机制的头脑风暴算法对资源进行分配。

本例中，前述的步骤1中，云系统中云服务器收集各物理节点的可用资源，所述各物理节点的可用资源包括CPU资源、内存资源、硬盘资源以及各个结点间的带宽资源。

前述步骤2中，云系统中云服务器收集用户的任务请求，并对相关联的的请求作为一个整体，所述的任务请求包括CPU资源、内存资源、硬盘资源以及各个请求结点间所需要的带宽资源。

如图2所示为本发明的云系统中资源分配示意图。

本例中，结合图3所示的基于讨论机制的头脑风暴算法流程，前述步骤3的资源分配包括以下过程：

步骤3.1、云服务器初始化头脑风暴算法的参数，随机产生n个个体；

步骤3.2、将产生的个体聚类为m类，并对每个个体进行评估，评价每组中最优个体作为类中心；

步骤3.3、实施组内讨论和组间讨论；

步骤3.4、比较新个体和对应个体，好的予以保留；

步骤3.5、调整组内和组间讨论次数上限值；

步骤3.6、重复步骤3.2～3.5N_{m_i}次，输出最优个体解，N_{m_i}表示头脑风暴算法最大迭代次数。

下面结合图3，具体说明前述步骤3的示例性实现过程，具体如下：

步骤3.1、云服务器初始化基于讨论机制的头脑风暴算法的参数，具体为：

(1)初始化个体数量n、聚类个数m，最多产生的个体代数N_{m_i}，组内和组间讨论的次数上限N_{m_t}，类中心个体被随机产生的个体替换的概率P_Dis，个体更新方式的控制概率P_cen、P_ind、P_rdm、P_cens，步长公式中的参数k，随机扰动中期望u和方差σ。

(2)初始化云系统中资源的无向带权图其中N_s表示物理结点，L_s表示物理链接，表示物理结点的可用资源包括CPU，内存和硬盘资源，表示链接的可用容量。

(3)初始化云系统中请求的无向带权图其中N_v表示请求结点，L_v表示请求结点间的链接，表示请求结点需要的资源包括CPU，内存和硬盘资源，表示请求结点需要的虚拟链接大小。

(4)初始化个体库，随机产生n个优化问题的初始解X＝[X₁...X_i...X_n]放入头脑风暴库内，其中需要满足公式(1)和公式(2)：

r(n_v)<＝C(M_N(n_v)) (1)

其中，n_v是虚拟网络中结点，l_v是虚拟网络中的映射，M_N是虚拟网络到基础网络的结点映射，M_L是虚拟网络到基础网络的链接映射，l_s是基础网络的映射，l_v是虚拟网络的映射。r()是所需容量，C()是剩余容量，b()是所需带宽。

步骤3.2、对个体库进行聚类，并对每个个体进行评估，根据评价结果选出每组中最优个体作为类中心，对个体的评价按公式(3)进行：

其中，是二进制判定变量，1表示虚拟结点a分配到物理结点i上，0则相反；也是二进制判定变量，1表示虚拟链接(a，b)映射到物理链接(i，j)上，0则相反。

步骤3.3、通过组内讨论和组间讨论产生新的个体，组内讨论中，新的个体通过三种机理产生：

第一种机理、类的中心个体加上随机扰动产生新个体；

第二种机理、类中随机选择一个个体加上随机扰动产生新个体；

第三种机理、类中随机选择两个个体进行融合，并加上随机扰动产生新个体；

组间讨论中，新个体通过下面三种机理产生：

第一种机理、两个类的中心融合并加上随机扰动产生新个体；

第二种机理，两个类中随机各选择一个个体融合加上随机扰动产生新个体；

第三种机理、随机产生新个体；

融合按公式(4)进行，随机扰动按公式(5)进行：

I_new＝vI₁+(1-v)I₂ (4)

其中，I_new为融合产生的新个体，I₁和I₂表示接受融合的两个个体，v是0到1的随机数，其中：

其中，为选中个体在d维上的值，n(u,σ)表示随机高斯分布，I_new ^d是新个体在d维上的值，ξ表示步长由公式(6)得到：

ξ＝logsig((0.5N_{m_i}-N_{c_i})/k)*rand() (6)

其中，rand()产生一个(0-1)间的随机数，k是给定的参数。

步骤3.4、将产生的新个体与对应的个体进行比较，保留优秀的个体，个体的比较按公式(3)进行，值较小的为较优个体。

步骤3.5、调整组内讨论和组间讨论次数的上限值，分别按公式(7)和公式(8)进行调整：

N_{t_in}＝N_{m_t}(N_{c_i}/N_{m_i}) (7)

N_{t_ex}＝N_{m_t}(1-N_{c_i}/N_{m_i}) (8)

其中，N_{t_in}表示当前组内讨论次数上限，N_{t_ex}表示当前组间讨论次数上限，N_{m_t}表示组内和组间讨论次数上限的最大值，N_{c_i}表示当前产生的第几代个体，N_{m_i}表示最多产生的个体代数。

步骤3.6、令N_{c_i}＝N_{c_i}+1，重复步骤3.2～3.5N_{m_i}次，输出最优解。

实施例1

本发明采用基于讨论机制的头脑风暴算法进行资源分配，步骤如下：

步骤1，云系统中云服务器收集各物理节点的可用资源。

所述云系统中有400个物理节点，云系统中云服务器收集各物理节点的可用资源， 包括CPU资源、内存资源、硬盘资源和各个物理结点间的网络带宽资源，每对节点按0.5的概 率随机连接，各资源参数为：CPU的范围为[20,40]；网络带宽的范围为[20G,40G]；内存的范 围为[16G,32G]；硬盘的范围为[500G,5T]；根据资源信息更新无向带权图

步骤2，云系统中云服务器收集用户的任务请求。

结合图2，云系统中云服务器收集用户的任务请求，系统每20个时间间隙产生一个任务，每个任务的节点个数为[2,10]，每个任务的周期为1000个时间单元，任务节点的CPU的范围为[0,20]；网络带宽的范围为[0G,40G]；内存的范围为[1G,8G]；硬盘的范围为[50G,500G]。系统根据任务信息更新无向带权图图2为本发明的云系统中资源分配示意图。

步骤3，云系统中云服务器采用基于讨论机制的头脑风暴算法对云系统资源进行分配。

结合图3所示的基于讨论机制的头脑风暴算法的流程：

首先，云服务器初始化头脑风暴算法的参数，初始化个体数量n＝20、聚类个数m＝5，最多产生的个体代数N_{m_i}＝30，组内和组间讨论的次数上限N_{m_t}＝10，类中心个体被随机产生的个体替换的概率P_Dis＝0.2，个体更新方式的控制概率P_cen＝0.6、P_ind＝0.5、P_rdm＝0.5、P_cens＝0.7，步长公式中k＝20，随机扰动中u＝1、σ＝0，并且令迭代次数序号N_{c_i}＝1，随机产生n个个体，产生的个体必须符合公式(1)和(2)，聚类为m类，并用公式(3)对每个个体进行评估选出类中心，并通过概率P_Dis确定是否保留类中心。

然后，云服务器通过组内讨论和组间讨论产生新解，组内讨论根据概率P_cen和P_ind从组内讨论的三种机理中选择一种产生新个体，组间讨论根据概率P_rdm和P_cens在组间讨论的三种机理中选择一种产生新个体，随机扰动的步长ξ根据公式(6)随机产生。

其次，将新产生的个体通过公式(3)与对应的个体进行比较，保留较优的个体。

再次，根据公式(7)和公式(8)调整组内和组间讨论次数上限值。

最后，令N_{c_i}＝N_{c_i}+1，重复步骤3.2～3.5N_{m_i}次，输出最优解。

综上所述，本发明是基于虚拟网络映射模型提供一种高效、可靠的云系统链接映射代价最小化资源分配方法，以充分挖掘云系统中CPU资源、内存资源和网络带宽资源，从多个维度以链接映射代价最小化为目标按需分配资源。

Claims (6)

1.一种基于网络链路利用率驱动的云系统资源分配方法，其特征在于，包括以下步骤：

步骤1、云系统中云服务器收集各物理节点的可用资源；

步骤2、云系统中云服务器收集用户的任务请求，进行归类处理；以及

步骤3、云系统中云服务器采用基于讨论机制的头脑风暴方法对云系统中资源进行分配，其中：

步骤3所述的云系统中云服务器采用基于讨论机制的头脑风暴方法对云系统中资源进行分配，具体步骤如下：

步骤3.1、云服务器初始化头脑风暴算法的参数，随机产生n个个体；

步骤3.2、将产生的个体聚类为m类，并对每个个体进行评估，评价每组中最优个体作为类中心；

步骤3.3、实施组内讨论和组间讨论；

步骤3.4、比较新个体和对应个体，好的予以保留；

步骤3.5、调整组内和组间讨论次数上限值；

步骤3.6、重复步骤3.2～3.5N_{m_i}次，输出最优个体解，N_{m_i}表示头脑风暴算法最大迭代次数；

所述步骤3.1中，云服务器初始化头脑风暴算法的参数，具体为：

(1)初始化个体数量n、聚类个数m，头脑风暴算法最大迭代次数N_{m_i}，组内和组间讨论的次数上限N_{m_t}，类中心个体被随机产生的个体替换的概率P_Dis，个体更新方式的控制概率P_cen、P_ind、P_rdm、P_cens，步长k，随机扰动中期望u和方差σ；

(2)初始化云系统中资源的无向带权图其中N_s表示物理结点，L_s表示物理链接，表示物理结点的可用资源包括CPU，内存和硬盘资源，表示链接的可用容量；

(3)初始化云系统中请求的无向带权图其中N_v表示请求结点，L_v表示请求结点间的链接，表示请求结点需要的资源包括CPU，内存和硬盘资源，表示请求结点需要的虚拟链接大小；

(4)初始化个体库，随机产生n个优化问题的初始解X＝[X₁...X_i...X_n]放入头脑风暴库内，其中需要满足公式(1)和公式(2)：

r(n_v)<＝C(M_N(n_v)) (1)

其中，其中，n_v表示虚拟网络中的节点，C(M_N(n_V))表示虚拟网络的可用容量，M_N(n_v)表示虚拟网络到基础网络间的节点映射，l_v表示虚拟网络中的映射，l_s是基础网络的映射，M_L表示虚拟网络到基础网络间的链接映射，M_L(l_v)表示虚拟网络中映射到基础网络的链接映射，r(n_v)表示网络中总共所需的容量，C(l_s)代表网络中剩余容量，b(l_v)表示映射所需要的带宽；

在步骤3.2中，对个体库进行聚类，并对每个个体进行评估，根据评价结果选出每组中最优个体作为类中心，对个体的评价按公式(3)进行：

其中，C(G_S)表示初始化云系统中资源的无向带权图的剩余容量，c(n_s)表示虚拟网络中节点的剩余容量，b(l_s)表示基础网络映射所需的带宽；是二进制判定变量，当值为1时，表示虚拟节点a分配到物理节点i上，当值为0时则相反；是二进制变量，当值为1时，表示虚拟链接(a,b)映射到物理链接(i,j)上，值为0时则相反。

2.根据权利要求1所述的基于网络链路利用率驱动的云系统资源分配方法，其特征在于，步骤1所述的云系统中云服务器收集各物理节点的可用资源，其中云系统中有N个物理节点，每一个节点可用资源包括CPU资源、内存资源、硬盘资源和各个结点间的网络带宽资源。

3.根据权利要求1所述的基于网络链路利用率驱动的云系统资源分配方法，其特征在于，步骤2所述的云系统中云服务器收集用户的任务请求，并将相互关联的请求作为一个整体，所述的任务请求包括每个任务需要的CPU资源、内存资源、硬盘资源和各个任务结点间的网络带宽资源。

4.根据权利要求1所述的基于网络链路利用率驱动的云系统资源分配方法，其特征在于，步骤3.3，通过组内讨论和组间讨论产生新的个体，组内讨论中，新的个体通过三种机理中的其中一种来产生：

第一种机理、类的中心个体加上随机扰动产生新个体；

第二种机理、类中随机选择一个个体加上随机扰动产生新个体；

第三种机理、类中随机选择两个个体进行融合，并加上随机扰动产生新个体；

组间讨论中，新个体通过下面三种机理中的其中一种产生：

第一种机理、两个类的中心融合并加上随机扰动产生新个体；

第二种机理、两个类中随机各选择一个个体融合加上随机扰动产生新个体；

第三种机理、随机产生新个体；

融合按公式(4)进行，随机扰动按公式(5)进行：

I_new＝vI₁+(1-v)I₂ (4)

其中，I_new为融合产生的新个体，I₁和I₂表示接受融合的两个个体，v是0到1的随机数，

其中，为选中个体在d维上的值，n(u,σ)表示随机高斯分布，k表示步长，I_new ^d是新个体在d维上的值。

5.根据权利要求4所述的基于网络链路利用率驱动的云系统资源分配方法，其特征在于，步骤3.4，个体的比较按公式(3)进行。

6.根据权利要求5所述的基于网络链路利用率驱动的云系统资源分配方法，其特征在于，步骤3.5，调整组内讨论和组间讨论次数的上限值，分别按公式(7)和公式(8)进行调整：

N_{t_in}＝N_{m_t}(N_{c_i}/N_{m_i}) (7)

N_{t_ex}＝N_{m_t}(1-N_{c_i}/N_{m_i}) (8)

其中，N_{t_in}表示当前组内讨论次数上限，N_{t_ex}表示当前组间讨论次数上限，N_{m_t}表示组内和组间讨论次数上限的最大值，N_{c_i}表示当前产生的第几代个体，N_{m_i}表示最多产生的个体代数。