CN102904835B - 系统带宽分配方法和装置 - Google Patents

Abstract

本发明公开了一种系统带宽分配方法和装置，该方法包括：对预定时间内虚拟机网络流量速度进行分析，统计出流量配额消耗速度的数字特征；根据配额消耗速度均值与标准差确定本次带宽获取的请求目标，并由系统根据实际情况将该配额分配给虚拟机。本发明通过对预定时间内网络流量速度进行分析，统计出流量配额消耗速度的数字特征，根据配额消耗速度均值与标准差确定本次带宽获取的请求目标，并由系统根据实际情况将该配额分配给虚拟机。XEN网络资源调度管理执行的分配策略，能够对预定时间内流量配额消耗速度进行统计，以确定本次带宽分配虚拟机的应得配额。

Description

系统带宽分配方法和装置

技术领域

本发明涉及计算机领域，具体地，涉及一种系统带宽分配方法和装置。

背景技术

Xen虚拟机(其中，Xen是一个开放源代码虚拟机监视器，它允许在单个计算机上运行多达100个满特征的操作系统。操作系统必须进行显式地修改(“移植”)以在Xen上运行(但是提供对用户应用的兼容性)，这使得Xen无需特殊硬件支持，就能达到高性能的虚拟化)主要通过后端驱动实现虚拟机网络带宽限制。Xen系统依照配置为每台虚拟机分配一定的配额(credit)，虚拟机发送数据时会消耗对应数量的credit。Xen系统规定了时间T内，每台虚拟机最大可使用credit数量的限定值。每当虚拟机credit消耗完毕，系统根据其所用时间判定是否超速。若虚拟机消耗credit的时间超过规定时间T，表明该虚拟机数据发送速度小于限定值，系统自动提供下一批credit；而若虚拟机消耗credit所用时间小于规定时间，则表明该虚拟机数据发送速度已经超过预设限定，则该虚拟机需要“休眠”一段时间，直到规定时间T结束，才能再次申请credit。该策略可以降低虚拟机对系统credit的申请次数，用完才申请，从而降低系统计算资源消耗。

Xen默认的带宽分配采用静态配置-策略执行方式，无法对虚拟机网络带宽进行动态分配，更无法根据虚拟机实时带宽使用情况进行动态调节。这无疑会造成物理机实际带宽的极大浪费，因而严重制约XEN系统的适用性。

举例说明，当我们在一台外部带宽100MB/S的物理机上创建了10台预设带宽为10MB/S的虚拟机，即时这10台虚拟机实际网络使用量仅有1MB/S，该物理机也不能再为其他任何虚拟机分配带宽。这就造成了严重的带宽浪费，带宽闲置率高达90％。

针对相关技术中虚拟机带宽分配不均、网络带宽利用率低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中虚拟机带宽分配不均、网络带宽利用率低的问题，本发明提出一种系统带宽分配方法和装置，能够合理分配资源，提高带宽利用率。

本发明的技术方案通过如下方式实现：

根据本发明的一个方面，提供了一种系统带宽分配方法，该方法包括：

对预定时间内虚拟机网络流量速度进行分析，统计出流量配额消耗速度的数字特征；根据统计出的数字特征确定出本次带宽获取请求应分配的配额，并将该配额分配给虚拟机。

其中，数字特征包括配额消耗速度均值与标准差；并且，根据统计出的数字特征确定出本次带宽获取请求应分配的配额包括：

将平均速度与预留误差容限之和确定为对于本次带宽获取请求应分配的配额，其中，预留误差容限根据标准差确定。

其中，在平均速度与预留误差容限之和大于预定配额上限的情况下，禁止将超过预定配额上限的配额分配给虚拟机。

可选地，可以根据以下公式确定对于本次带宽获取请求应分配的配额：

其中，为对于本次带宽获取请求应分配的配额，μ为之前多次进行带宽分配时配额消耗的平均速度，σ为之前多次进行带宽分配时配额速度的标准差，1.96σ为用于对平均速度μ进行修正的预留误差容限。

此外，该方法可以进一步包括：

对于需要保障带宽的虚拟机，预先进行静态的配额分配。

此外，该方法还可以进一步包括：

在可供分配的配额不足以满足多个虚拟机的带宽需求的情况下，以随机的方式对多个虚拟机进行配额分配，其中，对虚拟机分到配额的几率与虚拟机需求的预设带宽大小相关。

根据本发明的另一方面，提供了一种系统带宽分配装置。

根据本发明实施例的系统带宽分配装置包括：

统计分析模块，用于对预定时间内网络流量速度进行统计分析，统计出流量配额消耗速度的数字特征；

分配模块，用于根据统计出的数字特征确定出本次带宽获取请求应分配的配额，并将该配额分配给虚拟机。

其中，数字特征包括配额消耗速度均值与标准差，并且，分配模块用于将平均速度与预留误差容限之和确定为对于本次带宽获取请求应分配的配额，其中，预留误差容限根据标准差确定。

此外，可选地，分配模块用于根据以下公式确定对于本次带宽获取请求应分配的配额：

其中，为对于本次带宽获取请求应分配的配额，μ为之前多次进行带宽分配时配额消耗的平均速度，σ为之前多次进行带宽分配时配额速度的标准差，1.96σ为用于对平均速度μ进行修正的预留误差容限。

另外，分配模块进一步用于在可供分配的配额不足以满足多个虚拟机的带宽需求的情况下，以随机的方式对多个虚拟机进行配额分配，其中，对虚拟机分到配额的几率与虚拟机的预设带宽大小相关。

本发明通过对预定时间内网络流量速度进行分析，统计出配额消耗的数字特征，进而确定本次带宽分配给虚拟机的分配配额，能够合理地为虚拟机分配带宽，并且能够有效提高资源的利用率，避免带宽资源大量浪费的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的系统带宽分配方法的流程图；

图2是根据本发明实施例的系统带宽分配装置的原理框图；

图3是根据本发明实施例中超优先网络系统服务调度策略的流程图；

图4是根据本发明实施例中普通优先网络系统服务调度策略的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种系统带宽分配方法。

如图1所示，根据本发明实施例的系统带宽分配方法包括：

步骤S101，对预定时间内虚拟机网络流量速度进行分析，统计出流量配额消耗速度的数字特征(在统计学中，数字特征包括平均值、标准差、协方差、高阶矩等)；

步骤S103，根据统计出的数字特征确定出本次带宽获取请求应分配的配额，并将该配额分配给虚拟机。

其中，数字特征包括配额消耗速度均值与标准差；例如，在根据统计出的数字特征确定出本次带宽获取请求应分配的配额时，可以将单位时间内虚拟机平均流量速度与流量预留误差容限之和作为为对于本次带宽获取请求的申请配额，流量预留误差容限可以根据标准差得出。

并且，在平均速度与预留误差容限之和大于预定配额上限的情况下，禁止将超过预定配额上限的配额分配给虚拟机。

而且，申请配额大于预定配额上限的情况下，禁止将超过所述预定配额上限的配额分配给虚拟机

另外，可选地，可以根据以下公式确定对于本次带宽获取请求应申请的配额：

其中，为对于本次带宽获取请求应申请的配额，μ为之前多次进行带宽分配时配额消耗的平均速度，σ为之前多次进行带宽分配时配额速度的统计标准差，1.96σ为用于对平均速度μ进行修正的预留误差容限。。

而且，该方法进一步包括：

对于需要保障带宽的虚拟机，预先进行静态的配额分配。

并且，该方法进一步包括：

在可供分配的配额不足以满足多个虚拟机的带宽需求的情况下，以随机的方式对多个虚拟机进行配额分配，其中，对虚拟机分到配额的几率与虚拟机需求的带宽的预设带宽大小相关。

根据本发明的实施例，提供了一种系统带宽分配装置。

如图2所示，根据本发明实施例的系统带宽分配装置包括：

统计分析模块21，用于对预定时间内网络流量速度进行统计分析，统计出流量配额消耗速度的数字特征；

分配模块22，用于根据统计出的数字特征确定出本次带宽获取请求应分配的配额，并将该配额分配给虚拟机。

其中，分配模块22用于根据统计出的数字特征确定出本次带宽获取请求应分配的配额，并将该配额分配给虚拟机。

其中，数字特征包括配额消耗速度均值与标准差，并且，分配模块22用于将平均速度与预留误差容限之和确定为对于本次带宽获取请求应分配的配额，其中，预留误差容限根据标准差确定。

而且，分配模块22进一步用于在可供分配的配额不足以满足多个虚拟机的带宽需求的情况下，以随机的方式对多个虚拟机进行配额分配，其中，对虚拟机分到配额的几率与虚拟机的预设带宽大小相关。

由于配额分配几率是根据同一时刻下单台虚拟机预设带宽与其他虚拟机预设带宽比值来确定的。因此，假设在某一时刻，有三台虚拟机同时争抢配额，其预设带宽分别为10MB/S、5MB/S、15MB/S，则预设带宽为10MB/S的虚拟机争抢配额成功的概率为10/(10+5+15)＝33.3％，预设带宽为5MB/S的虚拟机争抢配额成功的概率为5/(10+5+15)＝16.7％，预设带宽为15MB/S的虚拟机争抢配额成功的概率为50％。此外，一旦争抢成功后，则剩余的配额将尽量满足虚拟机的需要。

下面将详细描述本发明的具体实现过程。

在一个实施例中，本发明的技术方案可以基于Xen虚拟机credit网络分配算法并在其基础上进行了一定改进，使虚拟机可以在保证服务质量(Quality of Service，简称QOS)前提下进行网络带宽统计复用，提升网络带宽利用率。

为了借助credit网络分配算法实现本发明的技术方案，在Xen默认credit算法基础上引入几个变量：

系统可用credit总量：表示每个时间片中该物理机可提供的发送数据总量，如实际带宽1Mbps的物理机为研究对象。假定credit＝1Byte，默认时间片长度T＝50ms，则平均每时间片可使用credit 6250个。

系统空余credit：系统credit总量减去已分配的credit数，剩余的credit。

虚拟机申请credit上限：根据该虚拟机预设最大网络带宽计算得到的单时间片最大credit分配数量。

Credit消耗速度记录：每个虚拟机根据自己网络带宽的使用情况向物理机申请预计所需credit，系统从空闲credit中取出申请的credit进行分配。每次分配的credit数量不得大于该虚拟机申请credit上限。

本申请的技术方案中，提供两种优先级的虚拟机的网络服务等级，

超优先网络系统服务(Super-Prior System network)，该服务用于需要严格保障网络带宽的虚拟机，如金牌虚拟机。对于该虚拟机可采用Xen默认算法，划分出静态网络带宽供其使用，以严格保证其网络传输能力。

普通优先网络系统服务(Normal-Prior System network)，该服务用于并不需要严格保证网络带宽的虚拟机。对于这种服务等级，可采用基于统计请求-动态分配的网络分配算法，根据虚拟机的实际需求提供基本满足的网络带宽，并在其需求改变时进行动态调节。基于此算法，可以极大提高物理机的网络带宽使用率，在固定外部接入网络带宽基础上提升虚拟机可用数量，通过该网络带宽动态分配算法，可以提高物理机节点的网络带宽利用率，并允许实现物理机网络带宽的“超卖”(Overcommit)功能。

如图3所示，为本发明实施例中超优先网络系统服务调度策略的流程图。

为了保障超优先网络系统服务等级虚拟机对网络带宽的需求，可以采用Xen默认静态网络带宽分配方式，从系统中固定划分一定量的credit供其使用，禁止其他虚拟机抢占。而系统剩余可用credit数目则为每时间片可用credit减去为超优先网络系统服务等级虚拟机预留的credit，供普通优先网络系统服务的等级的虚拟机共享使用。

如图4所示，为本发明实施例中普通优先网络系统服务调度策略的流程图。

首先，需要进行实际所需带宽评估计算，下面为实际所需带宽评估算法。

虚拟机所需带宽可采用自回归(AutoRegressive，简称AR)模型进行估算，该模型考虑前n时刻占用网络带宽情况对下一时刻带宽使用情况的影响，并可依据前n时间内虚拟机的带宽使用情况给出后续时间内虚拟机带宽预测。

n阶自回归模型为：

y(t)＝c+φ₁y(t-1)+φ₂y(t-2)+…+φ_ny(t-n)+ε

为此，可以为每台虚拟机的带宽需求构造一个长度为n的循环队列，用于记录每次申请credit时平均消耗速度。以此为依据对下一个时间片内所需credit做出评估。

AR模型可以反应前后时刻虚拟机所需带宽的关联关系，但具体估算过程涉及矩阵求逆运算，计算复杂度较高。

为了避免这种情况，也可采用样本估计方法预测虚拟机带宽需求。在不考虑前n时间片内网络带宽需求对之后时刻影响的条件下，认为每次申请时带宽需求彼此独立，则可采用基于正态总体的样本估计。

我们将最近n次申请时记录的credit消耗速度存入循环队列，计算其平均值μ和标准差σ，并以μ+1.96σ作为每次发放credit的预期速度假设每时间片内网络带宽需求独立且服从正态分布，则采用该方案分配credit能够在不浪费带宽的情况下，使本次分配满足绝大多数情况下虚拟机对带宽的需求，特别是选择μ+1.96σ作为本次请求所应分配的带宽，可以满足95％情况下虚拟机的带宽需求。

μ的算法：μ为n次申请中credit消耗速度的平均值，因而只需要在上次平均值的基础上加上位于队列尾部最新一次消耗速度vx，并减去位于队列首部的消耗速度V(x-n)并除以n即可，并不需要遍历n个元素。

同理，根据统计学

$S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(X_i-\stackrel{\‾}{X})}^2}=\sqrt{\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{X}_i^2-n{\stackrel{\‾}{X}}^2}$

可知，统计标准差S一样可以仅经过一次运算获得，因而对时间复杂度影响并不严重。

该credit分配算法希望能够在尽可能少地分配网络带宽的前提下满足虚拟机的网络需求。

当某台虚拟机网络请求突然增高，按照其平均实际使用情况分配的credit数目将严重不足，所以它将在短时间内频繁申请credit。此时会很快刷新credit消耗速度记录μ和σ，令分配带宽满足其实际需求。同时可以设定上限，当所需带宽超过限定值时不再增加credit的供给量。

其次，需要进行冗余credit超时归还计算，下面为冗余credit超时归还算法。

当一个虚拟机所需带宽突然减小时，可能导致其申请得到的credit在一个时间片内无法用尽。而倘若该虚拟机在后续时间片内不再需要进行网络通信，则该虚拟机所占用时间片无法归还系统，导致资源严重浪费。因而可以设定一个长度为t个时间片的冗余credit超时归还期限，令到期未用的credit强制归还系统，并重新申请，避免无谓的资源占用。

再次，需要进行带宽资源不足竞争计算，下面为带宽资源不足竞争算法。

采用超优先网络系统服务调度策略的虚拟机独享指定带宽，其占有的网络带宽资源不会因为共享而发生短缺；而基于普通优先网络系统服务调度策略的虚拟机则采用统计复用策略，当虚拟机所需总带宽超过物理机可用物理带宽时，不可避免地发生数据拥塞的情况。

本发明就针对上述问题，提出了系统带宽分配方法和装置作为解决方案，能够尽可能公平地分配剩余带宽，以满足各个虚拟机的带宽需求。对于Xen系统来说，可采用彩票调度算法(lottery scheduling)对带宽资源进行分配。

当系统回收的空余credit数不足以满足全部虚拟机带宽请求时，每台虚拟机可根据自身credit上限获得彩票，系统在所有申请带宽的虚拟机手中随机抽取一张彩票，并优先满足其credit需求；当满足完中奖虚拟机需求后，若还有剩余credit则进行下一次抽奖。

这种方式可以依照每台虚拟机中分配的带宽来计算中奖几率，带宽越高的虚拟机拥有越高的中奖几率，同时也意味着有更大的可能性占用网络带宽。同时预设网络带宽较小的虚拟机也不会因为优先级低而“饿死”，同样有几率能够获得credit发送数据。

举例说明，假设某一时刻，系统持有可分配credit 100个，有预设带宽为10MB/S、5MB/S、15MB/S三台虚拟机同时争抢配额，各申请200个配额。则预设带宽为10MB/S  的虚拟机争抢成功的概率为10/(10+5+15)＝33.3％，预设带宽为5MB/S的虚拟机争抢配额成功的概率为5/(10+5+15)＝16.7％，预设带宽为15MB/S的虚拟机争抢成功的概率为50％。系统依概率随机抽取一张彩票，并将持有credit尽可能满足中奖者需要。中奖者获得credit后开始进行网络数据传输，其他虚拟机则进入等待，直到再有credit被归还。

本发明技术方案中的调度算法以Xen中默认的credit分配算法为基础，并添加了统计复用功能。可以在不过度增加计算量的条件下极大提升物理机网络带宽使用率，从而为Xen网络带宽“超卖”(overcommit)能力提供支持。

该调度策略会在一定程度上提高网络带宽分配的复杂度，为每次分配增加一定的计算量。带宽自适应的速度取决于统计队列的长度n。n较大时，每次申请credit，虚拟机带宽有较高的稳定性，但难以适应快速变化的业务需求，当网络带宽需求突然增加时，会在较短时间内向服务器多次发起credit申请，造成负载过重；而当网络带宽需求突然减小时，又会造成credit资源冗余，需要等到credit超时后由系统回收。n较小时，每次申请时虚拟机的分配变化相对剧烈，不利于网络系统维护。因此，选择一个合适的统计队列长度，是优化算法需要考虑的重点问题。

本发明的技术方案可以是一种基于统计的Xen虚拟网络带宽动态分配算法。该算法可以提供两种QOS等级的网络带宽分配策略，分别应用于不同需求等级的虚拟机。还可以根据统计虚拟机实际网络带宽需求，并进行动态分配。从而实现物理机网络带宽的统计复用。在统计复用下，当多个虚拟机同时申请网络带宽，物理机出口带宽发生拥塞时，采用彩票算法实现有权重的公平分配策略。

本发明的技术方案可以通过在虚拟机与物理机之间添加虚拟网关实现类似效果，即假设Xen系统可以为每台虚拟机提供无限大网络带宽，但在Xen虚拟机中虚拟机网卡与物理机实际网卡间添加一层虚拟网关，从而实现类似的流量控制功能。

但是，通过虚拟网关进行对虚拟机进行流量控制虽然功能更为丰富，但因为在系统中增加了一层“过滤器”，则必然会严重增加系统的资源消耗，从而制约Xen虚拟机系统性能的发挥。

综上所述，借助于本发明的上述技术方案，通过之前多次进行带宽分配时的配额消耗速度进行统计，从而确定对于本次带宽获取请求应分配的配额，能够合理地为虚拟机分配带宽，并且能够有效提高资源的利用率，避免带宽资源大量浪费的问题。本发明支持根据虚拟机预设带宽进行预留式资源调度以及根据虚拟机预设带宽进行统计复用调度。其中预留式资源调度可以通过静态分配的方式保证虚拟机带宽使用；统计复用式调度将记录一定时间内虚拟机网络流量，根据统计结果动态为其分配下一时刻的带宽配额。统计复用式调度一方面可以避免申请过多资源带来的资源浪费，另一方面也能够根据需求的变化进行动态调整，充分满足配额的实际需要。当带宽资源不足时，系统可采用“彩票算法”依不同概率相对公平地为每个申请进行带宽配额。采用本发明，可以有效实现网络带宽的统计复用，极大提升系统带宽利用率，实现资源的充分利用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种系统带宽分配方法，其特征在于，包括：

对预定时间内虚拟机网络流量速度进行分析，统计出流量配额消耗速度的数字特征；

根据统计出的所述数字特征确定出本次带宽获取请求应分配的配额，并将该配额分配给虚拟机；

在可供分配的配额不足以满足多个所述虚拟机的带宽需求的情况下，以随机的方式对所述多个虚拟机进行配额分配，其中，对所述虚拟机分到配额的几率与所述虚拟机需求的预设带宽大小相关 。

2.根据权利要求1所述的系统带宽分配方法，其特征在于，所述数字特征包括配额消耗速度均值与标准差；

并且，根据统计出的所述数字特征确定出本次带宽获取请求应分配的配额包括：

将所述配额消耗的平均速度与预留误差容限之和确定为对于本次带宽获取请求应分配的配额，其中，所述预留误差容限根据所述标准差确定。

3.根据权利要求2所述的系统带宽分配方法，其特征在于，在所述配额消耗的平均速度与预留误差容限之和大于预定配额上限的情况下，禁止将超过所述预定配额上限的配额分配给虚拟机。

4.根据权利要求1所述的系统带宽分配方法，其特征在于，根据以下公式确定对于本次带宽获取请求应分配的配额：

其中，为对于本次带宽获取请求应分配的配额，μ为之前多次进行带宽分配时配额消耗的平均速度，σ为之前多次进行带宽分配时配额消耗速度的标准差，1.96σ为用于对配额消耗的平均速度μ进行修正的预留误差容限。

5.根据权利要求1所述的系统带宽分配方法，其特征在于，进一步包括：

对于需要保障带宽的虚拟机，预先进行静态的配额分配。

6.一种系统带宽分配装置，其特征在于，包括：

统计分析模块，用于对预定时间内网络流量速度进行统计分析，统计出流量配额消耗速度的数字特征；

分配模块，用于根据统计出的所述数字特征确定出本次带宽获取请求应分配的配额，并将该配额分配给虚拟机，在可供分配的配额不足以满足多个所述虚拟机的带宽需求的情况下，以随机的方式所述多个虚拟机进行配额分配，其中，对所述虚拟机分到配额的几率与所述虚拟机的预设带宽大小相关。

7.根据权利要求6所述的系统带宽分配装置，其特征在于，所述数字特征包括配额消耗速度均值与标准差，并且，所述分配模块用于将所述配额消耗的平均速度与预留误差容限之和确定为对于本次带宽获取请求应分配的配额，其中，所述预留误差容限根据所述标准差确定。

8.根据权利要求6所述的系统带宽分配装置，其特征在于，所述分配模块用于根据以下公式确定对于本次带宽获取请求应分配的配额：

其中，为对于本次带宽获取请求应分配的配额，μ为之前多次进行带宽分配时配额消耗的平均速度，σ为之前多次进行带宽分配时配额消耗速度的标准差，1.96σ为用于对配额消耗的平均速度μ进行修正的预留误差容限。