CN105677447A - 分布式云中基于聚类的时延带宽极小化虚拟机部署方法 - Google Patents

Abstract

本发明提出了一种分布式云计算中基于聚类的时延带宽极小化虚拟机部署方法，先选择出目标DC，保证DC之间的最长通信距离尽可能的小；然后再根据VM的通信量，对VM进行分组，保证DC间的通信带宽消耗尽可能的少。其中，DC选择采用密度聚类算法，进行非优解的剪枝，从而加快了算法速度；VM分组采用了半通信模型，实现了成批VM的分组，使得算法的速度提升近3倍。本发明的方法考虑到了分布式云计算中DC的容量相对于集中式云计算较小的特点，同时可以兼顾特定的可靠性要求，比如要求每个DC只能部署一定数量的VM，在分布式云计算中部署一组VM，进行服务质量和成本优化，实现分布式云计算中低成本，低时延，高可靠的虚拟机部署。

Description

分布式云中基于聚类的时延带宽极小化虚拟机部署方法

技术领域

本发明涉及云计算技术领域，尤其涉及一种分布式云计算中基于聚类的时延带宽极小化虚拟机部署方法。

背景技术

当前分布式云计算已经成为了云计算的主流。分布式云计算的显著特点是云计算基础设施网络由多个DC组成，各DC相互独立，各自对外提供服务，同时各DC又通过长途高速专用网络或者Internet互联，形成统一整体。分布式云计算中除了传统的物理资源，比如CPU，内存等，最重要的就是连接各DC的长途链路。据研究，带宽资源贡献了整个数据中心的近15％的成本。更重要的是，长途链路相对较少，过多的占用长途链路，将会导致链路拥塞，影响DC间通信和服务质量。

特别的，如果需要部署一组需要相互通信的虚拟机VM(这组VM是为了完成同一个任务而启用的)，则需要VM之间的最大的通信时延尽可能的短，以便减少整体的任务执行时间，防止个别过长的长途通信对任务完成造成拖延。针对分布式云计算的特点，结合VM的资源配合和通信流量，寻找合适的VM部署方法，对于保证服务质量，减少成本具有重要意义。

1.DC现有选择方法

(1)DC选择和VM分组同时进行，采用单个VM逐渐尝试的方法。本方法将VM随机的放到多个DC上，然后从中任意选择一个VM，逐个尝试移动到其它DC，如果能保证DC之间的最长通信距离不增加，DC之间的通信量不增加，则认为可行，尝试下一个。否则本VM不移动。由于本方法的实质是穷举各种情况，因此缺点是非常缓慢，而且是一种尽力而为的方法，不知道最后的结果是否是较好的结果。尤其当DC数目较大，VM较多时不具有可行性。

(2)Bell实验室的研究员在2012年首次系统的对此问题进行了研究，给出了一个DC选择的星型方法。该方法先随机以某个DC为中心，尝试用最少的DC来部署这组VM，然后计算最长的通信时延。接着针对所有的候选DC应用这种方法，计算所有的最长的通信时延。最后进行直接比较，通信时延最小的那个就是最后的解决方法。该方法是采用直接比较的方式进行的，需要计算所有的情况。本质上它只考虑了两两DC之间的距离，而没有考虑DC容量和组网拓扑信息，因此效率很低。同时，本方法采用图论方法，权重是DC支持的VM的个数，只适合于VM同构的情况。

2、VM分组方法

(1)一般采用k-均衡划分方法。即将本组VM分组为K份，每份的VM数量是相同的。但由于实际应用中，VM的异构和DC容量的不同，不能直接应用。

(2)著名的以色列魏兹曼科学院(WeizmannInstituteofScience)的Krauthgamer,R研究员和以色列理工大学以及微软研究院的合作者提出的随机性算法，但由于解的过分松弛，导致在某些情况下解不再可行。对于带宽的随机性和数据中心容纳虚拟机数量不同的实际情况，目前还没有研究工作考虑。而且算法是基于线性规划的随机规约，没有具体的求解方法，只在理论上获得较好的结果。

发明内容

为了解决现有技术中的问题，本发明提出了一种分布式云计算中基于聚类的时延带宽极小化虚拟机部署方法，实现分布式云计算中低成本，低时延，高可靠的虚拟机部署。

本发明通过以下技术方案实现：

一种分布式云计算中基于聚类的时延带宽极小化虚拟机部署方法，所述方法包括：

目标数据中心选择步骤，选择出目标数据中心DC，保证DC之间的最长通信距离尽可能的小；

虚拟机分组步骤，根据虚拟机VM的通信量，对VM进行分组，保证DC间的通信带宽消耗尽可能的少；

其中，所述目标数据中心选择步骤基于密度聚类的DC直径最小选择CBMinDia算法，所述CBMinDia算法包括(1)选择任意一个顶点，并将以它为中心的最小可行子图的半径作为初始半径∈；(2)判断每个顶点是否是关于(∈,m)的核心对象并进行标注；(3)所有的非更优的顶点被剪枝，具有最小直径的顶点被找到；

所述VM分组采用半通信模型，所述半通信模型用于从分组的角度来研究一个VM的流量，所述VM的流量包括一个VM在一个分组内部的流量和分组外部的流量。

另一方面，本发明还提供了一种具有多个数据中心(DC)的分布式云计算系统，包括网关、调度模块、资源管理模块；其中，网关负责接收并反馈用户的需求；调度模块运行本发明提出的VM部署方法；资源管理模块存储分布式云计算组网和拓扑信息、DC资源容量情况。

本发明的有益效果是：本发明提出的方法考虑到了分布式云计算中DC的容量相对于集中式云计算较小的特点，同时可以兼顾特定的可靠性要求，比如要求每个DC只能部署一定数量的VM，在分布式云计算中部署一组VM，进行服务质量和成本优化，其应用前景体现在：VM可以同构(VM配置的vCPU相同)也可以异构(VM配置的vCPU不同)；考虑了DC之间的距离，组网拓扑特性，以及DC的容量属性；在保证长途链路尽量少的占用的前提下，达到减少VM之间的通信时延，最终减少整体任务完成的时间的目的；算法相对于已有技术，解的质量更好，运行速度更快；对于大规模，高可靠性的分布式云计算中虚拟机部署提供了技术支持。

附图说明

图1是本发明的系统架构图；

图2是密度聚类对象示意图；

图3是半通信模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在具有多个数据中心(DC)的分布式云计算中，需要部署为某个任务服务的，需要相互通信的一组虚拟机(VM)。首先要进行DC的选择，然后将这组VM进行分组，并映射到各个DC上去。目的是使得VM之间的最大的通信时延最小，同时使得昂贵的DC件的通信带宽占用最小。这对于保证服务质量(时延)、增强可靠性(尽量减少长途链路占用)和减少成本(节约带宽)具有重要意义。

本发明对分布式云计算，利用DC的组网拓扑信息，以及本组VM的资源配置需求进行VM的部署。系统架构如附图1所示，整个系统包括网关、调度模块、资源管理模块。其中，网关负责接收并反馈用户的需求；调度模块运行本发明提出的VM部署方法，该方法分为DC选择阶段和VM分组阶段；资源管理模块存储分布式云计算组网和拓扑，DC资源容量情况。

系统工作流程：

1)用户提交需求到网关服务器，包含VM个数以及各个VM的资源配置需求；

2)网关服务器将需求转发到调度模块；

3)调度模块需要根据资源管理模块目前存储的动态分布式基础架构的信息，运行本发明提出的方法：先选择出目标DC，保证DC之间的最长通信距离尽可能的小；然后再根据VM的通信量，对VM进行分组，保证DC间的通信带宽消耗尽可能的少。资源管理模块在功能上是独立的，实现中可以和调度模块耦合在一起。

4)VM部署在各个DC上后，各个DC的资源占用情况将会上报给资源管理模块。

在现实中，因为经济因素和环境限制，人口分布本身具有聚类的特点，也就是在某些地方经济发达人口稠密，而另外些地方相对稀疏，有些地方甚至是人迹罕至。云计算目的是为人类服务，所以DC也本着就近服务的特点，其分布和人口分布具有类似的聚类性质。

除了DC的聚类属性，每个DC能容纳不同数量的vCPU。毕竟每个DC的设计容量有可能不同，而且运营后的资源消耗也有极大不同，因此导致剩余容量不同。结合剩余容量，如果能在较密集的DC中找到满足VM请求的集群，则更稀疏的DC就不需要再被检查，可以直接剪枝。进一步的，就不需要计算非常耗时的直径，避免了逐一直接比较。这样，在不损害结果质量的情况下，算法速度得到极大提升。

1、数据中心选择问题目的是找到一个DC集群来部署被请求的VM，其中每一个VM都需要一定数量的vCPU。最大的DC间的距离需要被极小化以减少应用延迟。

首先本发明将给出几个定义：

a)核心对象：给定一个距离值∈，如果一个DC的∈邻域内的DC能够容纳至少m个vCPU，则认为此DC是关于(∈,m)的核心对象。

b)对象i的核心距离：给定DC中一个对象i，一个距离值∈，一个自然数m，假设被请求的VM所需要的vCPU的个数是m，用N_∈(i)表示i的∈临域，让m-distance(i)是从i到其某个邻居DC的距离。对于核心对象i，核心距离是从i到它的邻居DC的最小的半径ξ，此半径使得i是关于(ξ,m)的核心对象。对于非核心对象，没有定义。请参照附图2，其中，m为5，ξ为核心距离。

c)可行子图：给定一个顶点i，如果i和它最近的邻居组成一个子图，而且此子图的顶点(DC)能容纳至少m个vCPU及其对应的VM，则这个子图被称之为以i为中心的可行子图。

d)最小可行子图：给定一个可行子图，如果其任何一个子图不再可行，这个子图被称之为最小可行子图。

e)寻找最小星型算法ModFindMinStar，本算法被基于聚类的最小直径算法CBMinDia调用。

算法1.寻找最小星型算法

输入(N,E,w)：表示DC拓扑的一个完全图，参数分别为顶点、边长矩阵和顶点权重；m：请求的子图权重；i：初始顶点。

输出G'＝(N',E')：由i和它最近的邻居组成的顶点权重和至少为m的子图。

将矩阵E的第i列删除E_{i,i}后按照非递减次序排序为：e₁≤e₂≤...e_n-1，记做e＝(e₁,e₂,...,e_n-1)。并记其对应的顶点为顶点权重为N'＝i；m'＝w_i。

对于一个给定的DC，ModFindMinStar将其余DC按照到此DC的非降序距离进行排序，然后将最近的DC加入到集群。如果集群能够容纳所有被请求的vCPU和相应的VM，程序终止。否则第二近的DC被加入，以此类推，直至满足VM需求或者所有的DC都已经被加入。因为VM的异构性，容纳具体的VM组合的可行性检查是必要的。但对于实际能提供成千上万的vCPU的DC来说，这一点可以被忽略。

f)基于聚类的DC直径最小选择算法。本算法调用ModFindMinStar算法

算法2.基于聚类的DC直径最小选择算法CBMinDia。

输入(N,E,w)：表示DC拓扑的一个完全图，参数分别为顶点、边长矩阵和顶点权重；m：请求的子图权重

输出G'＝(N',E')：由i和它最近的邻居组成的顶点权重和至少为m的子图

从N中选择任一个顶点k，初始半径∈＝F_k的半径

k表示具有最小核心距离的顶点，d＝D(F_k)，可行子图中心center＝k

N'＝F_k的顶点，E'＝F_k的边矩阵

CBMinDia算法包括三个阶段：

阶段一(第1行)选择任意一个顶点，并将以它为中心的最小可行子图的半径作为初始半径∈(本算法中所有最小可行子图均由ModFindMinStar算法完成)。

阶段二(第一个For循环)判断每个顶点是否是关于(∈,m)的核心对象并进行标注。

阶段三，所有的非更优的顶点被按照某一标准剪枝，具有最小直径的顶点被找到。这个标准是d，即以具有最小核心距离的顶点为中心的最小可行子图的直径。这个可行子图是一个可行解并被用作初始值。我们希望d相当的小，以便更多的顶点可以被排除。可以证明，对关于(∈,m)的核心对象，只有那些核心距离小于d的对象才需要被检查。当更小的直径被找到后，就会更新检查结果。对关于(∈,m)的非核心对象，只有当初始半径∈小于d且其邻域包含了至少m个对象时，才需要被检查。这是因为一个关于比d大的∈的非核心对象不可能产生更优解。进一步的，其邻域必须包含足够的对象，否则它不是可行解。可以证明，对于同构VM，本算法可以找到一个2-近似解。

2、虚拟机分组问题旨在将VM指配到相应的DC中去，以使得DC之间的带宽占用尽可能的小。这是因为DC间链路一般是长途链路，因此非常昂贵。节省长途带宽以为这成本开支的节省。另外，可靠性是另一个考量因素，因为可靠性会随着距离的增长而降低。

n个VM的流量可以由一个n*n的对称流量矩阵T表示，其中T_ij是虚拟机i和j的流量，T_ii＝0。对于一个选定的DC集群(D₁,D₂,...D_r)，每一个D_k(k＝1,2,…,r)能够容纳s_k个vCPU。所有VM被分组到不相交的集合P₁,P₂,...P_r。

要求每一个分组成份中的被指配的VM和相应的D_k的容量相称。所以VM分组问题的目标函数是极小化约束条件是|P_k|≤s_k,k＝1,2,...,r。其中|P_k|是成份P_k中的vCPU的个数。

为此，本发明采用半通信模型：对于一个给定的分组的成分P_k，它的所有成员都已经确定，即所有属于该成份的VM都已经被找到，而且和一个DC相称。

本发明有以下定义：

[内部流量(InnT)和外部流量(OutT)]：给定请求的VM集合为V，分组成份为且流量矩阵为T。i关于P_k的内部流量定义为i和成份P_k中其余VM的流量之和。正式的：类似的，i关于P_k的外部流量定义为i和不在成份P_k中的VM的流量之和。正式的： ${\mathrm{OutT}}_{P_k}\left(i\right)=\underset{j\∉P_k}{\Σ}{T}_{ij}.$

给定一个分组，任何的VM的InnT和OutT都是确定的值。理想情况下，希望每一个分组中的每一个VM的InnT最大而OutT最小。然而，在构建成份的过程中，其成员是一个个的加入的。我们不能事先知道所有的成员，从而也无法事先知道InnT和OutT。对一个候选VM来说，我们所能知道的是下面的各种近似的流量：[AIT和AOT].

对于目标分组成份P_k，对任意候选近似内部流量：近似外部流量： ${\mathrm{AOT}}_{P_k}\left(i\right)=\underset{j\∉P_k,i\≠j}{\Σ}{T}_{ij}.$

AIT和AOT是构建分组的过程中所能知道的流量，它们可以被看作是InnT和OutT的一个逼近，所以可以用来表征哪一个VM应该被优先选择并加入到分组中。一旦一个VM成为一个分组的成员，InnT与OutT的和就等于AIT与AOT的和。这刚好是这个VM和其余所有VM的总流量。

以上四个定义揭示了一个VM在一个分组内部的流量和分组外部的流量。从而使得有可能从分组的角度来研究一个VM的流量。它们被总称为半通信模型(halfcommunicationmodel(HCM))，附图3对此进行了说明。

本发明观察到如下事实：

对于任意候选VM_i和分组成份P_k，考虑构建过程中的P_k以及P_k确定后的情况，则有：

1. ${\mathrm{InnT}}_{P_k}\left(i\right)\≥{\mathrm{AIT}}_{P_k}\left(i\right),{\mathrm{OutT}}_{P_k}\left(i\right)\≤{\mathrm{AOT}}_{P_k}\left(i\right).$

2.一个先前加入的成员的AOT不小于这个成员和以后加入的成员的总流量，而且所有先前加入的成员的总的AOT不小于后加入的成员的AIT。正式地，对于任意的i,j，j在i后被加入P_k，而且 $\underset{i\∈P_k}{\Σ}{\mathrm{AOT}}_{P_k}\left(i\right)\≥{\mathrm{AIT}}_{P_k}\left(j\right).$

3.一个后加入的成员的AIT和AOT比先前加入的成员的AIT和AOT更接近于其InnT和OutT。正式地，对于任意的i,j，j在i之后被加入P_k， ${\mathrm{InnT}}_{P_k}\left(i\right)-{\mathrm{AIT}}_{P_k}\left(i\right)\≥{\mathrm{InnT}}_{P_k}\left(j\right)-{\mathrm{AIT}}_{P_k}\left(j\right),{\mathrm{AOT}}_{P_k}\left(i\right)-{\mathrm{OutT}}_{P_k}\left(i\right)\≥{\mathrm{AOT}}_{P_k}\left(j\right)-{\mathrm{OutT}}_{P_k}\left(j\right).$

4.如果i是最后一个加入P_k的成员，则 ${\mathrm{OutT}}_{P_k}\left(i\right)={\mathrm{AOT}}_{P_k}\left(i\right).$

虽然我们想尽可能的将更多的VM间的流量转化成DC内的流量，以便DC间的流量尽可能的小。但不能保证每次加入分组成份的VM是最好的，或者说有最大的InnT和最小的OutT。直观上，在构建分组的过程中，候选VM应该具有更大的AIT和更小的AOT。然而，根据事实的第2项，先前加入的成员的AOT限制了后续候选者的流量，因而也限制了对后续候选者的选择。如果事先加入的成员的AOT过小，那么这个VM和后续加入的VM的流量就不可能太大。进一步地，所有以前加入的成员的总的AOT不会小于后续加入的成员的AIT。这意味着过小的AOT会降低总的DC内流量。在构建过程中，需要事先加入的VM有一个“合适的”较小的AOT以便后续能够选在具有更大的AIT的VM。第3项表明在构建过程快结束时，AOT和OutT的偏差会越来越小。所以要求随着构建临近尾声，AOT变得更小。根据第4项，对于最后一个候选者，将选择具有最小的AOT的VM。

半通信模型分组算法：

该算法的思想是通过AIT和AOT的加权组合来实现：对于候选VM_i,权重 $WCT\left(i\right)={\mathrm{AOT}}_{P_k}\left(i\right),$ 如果λ＝0； $WCT\left(i\right)=(1/\mathrm{\λ})*{\mathrm{AIT}}_{P_k}\left(i\right)+(1-2\mathrm{\λ})*{\mathrm{AOT}}_{P_k}\left(i\right),$ 如果λ∈(0,1]。其中， $\mathrm{\λ}=\underset{i,j\∈P_k}{\Σ}{T}_{i,j}/(s_k/average|C_k|*({\max }_{i,j\∈C_k}{T}_{i,j}+{\min }_{i,j\∈C_k}{T}_{i,j}\left)\right),$ s_k是P_k需要的大小，C_k是P_k候选VM集合。所以分子是当前已经分组到P_k的VM之间的流量。分母是假定P_k已经确定时，估算的P_k内的VM之间的总流量。

算法3.VM分组算法(HCM)，本算法调用了HCMFindCluster算法，HCMFindCluster算法利用半通信模型对VM进行分组。

输入V:将被分组的VM集合；T:n个VM的n*n流量矩阵；s₁,s₂,...,s_r:需要的分组的各个成份的vCPU个数

输出分组P₁,P₂,...P_r，其中P_k≤s_k(k＝1,…,r)

将s₁,s₂,...,s_r按照非递减顺序排列，记号不变,VM总流量向量：

VT＝(VT(1),VT(2),...,VT(n))，其中候选虚拟机总流量向量：CVT＝VT

算法4.HCMFindCluster算法。

输入VT：VM总流量向量；CVT:候选VM总流量向量；V:候选VM集合；V'：已经被划分的VM；s:需要的划分的这个成份的vCPU个数

输出划分成份P

AOT＝CVT，currentTraff＝0,x＝0(如果VM需要的所有vCPU都可以被此DC容纳，为1，否则，为0)

本发明对DC的容量采用了新的度量方法，用vCPU来进行衡量，这也是VM的需求的最小单位，从而可以使得算法适用于异构VM。利用DC在拓扑结构上具有聚类的特点，结合DC本身的容量，利用聚类思想进行数据中心的选择，有效的实现了对于非优解的剪枝，加快了算法的速度。实验表明，在具有聚类属性的情况下，算法的速度提升最多，达到15％-72％；在均匀分布的情况也，算法速度也有很大提升15-27％；即便在所有DC都等距分布的情况下，因为各DC的容量不同个，而算法可以综合考虑DC容量，速度也有一定的提升。

VM分组采用了半通信模型，实现了成批VM的分组，使得算法的速度提升近3倍，带宽的节省量更大。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种分布式云计算中基于聚类的时延带宽极小化虚拟机部署方法，所述方法包括：

目标数据中心选择步骤，选择出目标数据中心DC，保证DC之间的最长通信距离尽可能的小；

虚拟机分组步骤，根据虚拟机VM的通信量，对VM进行分组，保证DC间的通信带宽消耗尽可能的少；

其中，所述目标数据中心选择步骤基于密度聚类的DC直径最小选择CBMinDia算法，所述CBMinDia算法包括(1)选择任意一个顶点，并将以它为中心的最小可行子图的半径作为初始半径∈；(2)判断每个顶点是否是关于(∈,m)的核心对象并进行标注，其中，m为一个DC的∈邻域内能够容纳的vCPU的个数；(3)所有的非更优的顶点被剪枝，具有最小直径的顶点被找到；

所述VM分组步骤具体为：n个VM的流量可以由一个n*n的对称流量矩阵T表示，其中T_ij是虚拟机i和j的流量，T_ii＝0，对于一个选定的DC集群(D₁,D₂,...D_r)，每一个D_k(k＝1,2,…,r)能够容纳s_k个vCPU，所有VM被分组到不相交的集合P₁,P₂,...P_r，要求每一个分组成份中的被指配的VM和相应的D_k的容量相称；所以VM分组问题的目标函数是极小化

$\underset{k=1}{\overset{r}{\Σ}}\underset{i,j=1,i\∈P_k,j\∉P_k}{\overset{n}{\Σ}}{T}_{ij},$

约束条件是|P_k|≤s_k,k＝1,2,...,r，其中|P_k|是成份P_k中的vCPU的个数。

2.根据权利要求1所述的方法，其特征在于：所述最小可行子图由ModFindMinStar算法完成，所述ModFindMinStar算法具体为：对于一个给定的DC，将其余DC按照到此DC的非降序距离进行排序，然后将最近的DC加入到集群；如果集群能够容纳所有被请求的vCPU和相应的VM，算法终止；否则第二近的DC被加入，以此类推，直至满足VM需求或者所有的DC都已经被加入。

3.根据权利要求1所述的方法，其特征在于：所述VM分组采用半通信模型，实现成批VM的分组，所述半通信模型用于从分组的角度来研究一个VM的流量，所述VM的流量包括一个VM在一个分组内部的流量和分组外部的流量，其中内部流量和外部流量的和就是本VM的所有流量。在构建分组的过程中，候选VM应该具有更大的近似内部流量AIT和更小的近似外部流量AOT。

4.根据权利要求3所述的方法，其特征在于：所述半通信模型能够方便的利用矩阵的行列的加减运算找到最优解。

5.根据权利要求1所述的方法，其特征在于：所述DC的容量采用vCPU来进行衡量，vCPU是VM的需求的最小单位。

6.根据权利要求1所述的方法，其特征在于：所述VM是同构VM或者是异构VM。

7.一种具有多个数据中心DC的分布式云计算系统，所述系统包括网关、调度模块、资源管理模块；其中，网关负责接收并反馈用户的需求；调度模块运行如权利要求1-6任一项所述的VM部署方法；资源管理模块存储分布式云计算组网和拓扑信息、DC资源容量情况。

8.根据权利要求7所述的系统，其特征在于：所述资源管理模块还存储DC拓扑信息和VM需求配置信息。

9.根据权利要求8所述的系统，其特征在于：所述系统工作流程为：

1)用户提交需求到所述网关，所述需求包含VM个数以及各个VM的资源配置需求；

2)所述网关将需求转发到所述调度模块；

3)所述调度模块需要根据所述资源管理模块目前存储的分布式云计算组网和拓扑信息，运行所述VM部署方法，先选择出目标DC，保证DC之间的最长通信距离尽可能的小；然后再根据VM的通信量，对VM进行分组，保证DC间的通信带宽消耗尽可能的少；

4)VM部署在各个DC上后，各个DC的资源占用情况将会上报给资源管理模块。