CN105897882A - 一种数据中心网络更新中数据流的迁移方法 - Google Patents
一种数据中心网络更新中数据流的迁移方法 Download PDFInfo
- Publication number
- CN105897882A CN105897882A CN201610211676.4A CN201610211676A CN105897882A CN 105897882 A CN105897882 A CN 105897882A CN 201610211676 A CN201610211676 A CN 201610211676A CN 105897882 A CN105897882 A CN 105897882A
- Authority
- CN
- China
- Prior art keywords
- data stream
- network
- path
- new data
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据中心网络更新中数据流的迁移方法,包括为每一条新数据流在网络中搜索出所有的可行最短路径作为候选路径,或者为每一条新数据流在网络中搜索出迁移一条数据流的情况下能够容纳该条数据流的候选路径。由于不需要考虑如何寻找可行的网络状态,也不需要仔细地设计执行一个更新序列。通过本地调度每一个新数据流,为他们分配可行的最短路径。并且仅仅以一条额外的数据流的迁移为代价。同时选择一条经过了所有瓶颈链路的数据流来迁移,提高更新效率,保证这条额外的数据流的数据流量尽可能的少,减小迁移的数据流量。不需要进行全网搜索目的数据流量矩阵,也不需要在网络初始和目的状态之间寻找一系列的转换状态。
Description
技术领域
本发明涉及数据中心的网络更新,特别是指一种数据中心网络更新中数据流的迁移方法。
背景技术
基础设施即服务(IaaS)是一个云计算的模型,它允许租户在数据中心当中多路复用计算,存储和网络资源。随着IaaS的快速增长,服务提供商不得不租用或者建立一个大规模的数据中心。在每个数据中心内部,一个特殊的数据中心网络(DCN)将成千的交换机和成百上千的服务器连接起来。云计算数据中心频繁的发生网络更新事件,例如,网络拓扑更新,由网络操作人员引起的数据流更新,应用程序甚至交换机失效引起的网络更新。举例来说,数据中心操作者周期性的升级网络中的交换机,并且添加更多的交换机来支持更多的服务器;因此,产生了拓扑的改变。对于应用程序,正常的虚拟机迁移和负载均衡的重新配置导致了数据流的更新。
对于目前复杂的情况,DCN更新是一个很有挑战性的问题。首先,一个更新过程包含多个阶段,每个阶段都需要认证对待来保证每个数据包和每条数据流在网络配置下的一致性。因此,我们需要提前为每一个阶段指定一个更新计划,来安排所涉及到的数据流究竟需要以何种顺序来更新。其次,更新过程必须要保证任何一个数据包,数据流仅通过旧的网络配置或新的网络配置,而不是而这的结合。最后,在大规模的数据中心网络中执行一次更新需要消耗大量的时间。快速的网络更新有利于实现更高的网络利用率,并且可以加强网络的灵活性。
给定一个DCN更新,之前的工作致力于寻找一个从初始网络状态到目的网络状态的一个无损的转换序列。然而,这将需要频繁的进行全网搜索可行的目的网络状态,还需要大量的时间来优化结果。这将会在大规模网络中产生巨大的计算开销和决策延迟。更甚,在每一阶段的更新当中,一些涉及到的数据流需要被重新路由,迁移到其他路径上去。这些需要被迁移的数据 流会产生额外的开销,也可能会影响正在运行的应用程序。也就是说,这些需要被迁移的数据流,会导致另外一些额外的数据流需要被迁移,从而产生不必要的规则需要被安装到交换机上。同时,也会产生链路拥塞和丢包。
发明内容
有鉴于此,本发明的目的在于提出一种最小化无拥塞网络更新过程中需要迁移的数据流的方法。
基于上述目的本发明提供的一种数据中心网络更新中数据流的迁移方法,包括:
为每一条新数据流在网络中搜索出所有的可行最短路径作为候选路径,根据所述候选路径的长度对所述候选路径进行升序排序,从第一条所述候选路径开始,依次检测所述候选路径是否可以在不迁移现有数据流的前提下容纳所述新数据流,直到检测到能够在不迁移现有数据流的前提下容纳所述新数据流的候选路径,将所述新数据流加入到该条路径上传输;
若所有的所述候选路径都不能在不迁移现有数据流的前提下容纳所述新数据流,则从第一条所述候选路径开始,依次检测所述候选路径是否可以在仅迁移一条现有数据流的情况下,将所述新数据流加入到该条候选路径上,直到检测到能够在仅迁移一条现有数据流的前提下容纳所述新数据流的候选路径,迁移该条现有数据流,并将所述新数据流加入到该条路径上传输。
进一步的,还包括:若在迁移一条现有数据流的情况下,迁移出数据流的路径仍然不能传输所述新数据流,则所述新数据流在入口交换机出等待一段时间,直到有一些所述候选路径完成数据流的传输或者在迁移一条现有数据流的情况下能够容纳所述新数据流时,将所述新数据流加入到该候选路径进行传输。
进一步的,所述可行最短路径为包含最少数量的为完成所述新数据流的传输所经过的瓶颈链路的可行路径。
进一步的,所述迁移该条现有数据流为将该条现有数据流迁移到其所对应的并且能够将之容纳的最短路径上去。
进一步的,所述依次检测所述候选路径是否可以在仅迁移一条现有数据流的过程包括:
找出分配所述新数据流的路径上的所有瓶颈链路;
记录下瓶颈链路上所经过的数据流,并且找出经过所有瓶颈链路的数据流;
对找出来的数据流按照数据流量大小进行排序,迁移数据流量最小的数据流来满足所述新数据流对于链路带宽的需求。
进一步的,所述数据中心网络更新中数据流迁移的方法对应的数学模型为:
将网络定义为一个图G=(V,E),V和E分别代表交换机和连接这些交换机的链路,D被定义为网络直径,数据流f被定义为f=(sf,df,v(f)),sf是入口交换机,df是出口交换机,v(f)是数据流f的大小,fnew和fmove分别代表由于更新事件产生的需要新加入的数据流和由于新加入的某条数据流而需要被迁移的现有数据流,v(fi , j)代表数据流f在链路ei , j上的负载,lf代表了数据流f经过的跳数,Gf代表包含f经过的所有交换机和链路的子图,F记录了网络中每条数据流的大小,T代表数据流量分布矩阵,记录着每条链路上的负载大小。
进一步的,所述数学模型的优化目标为:
数据中心网络更新的过程中迁移最小的数据流量和最小数目的数据流。
从上面所述可以看出,本发明提供的一种数据中心网络更新中数据流的迁移方法,由于不需要考虑如何寻找可行的网络状态,也不需要仔细地设计执行一个更新序列。通过本地调度每一个新数据流,为他们分配可行的最短路径。并且仅仅以一条额外的数据流的迁移为代价。同时选择一条经过了所有瓶颈链路的数据流来迁移,提高更新效率,保证这条额外的数据流的数据流量尽可能的少,减小迁移的数据流量。不需要进行全网搜索目的数据流量矩阵,也不需要在网络初始和目的状态之间寻找一系列的转换状态,实现了数据流量迁移最少的无拥塞的网络更新。
附图说明
图1为本发明流量迁移方法的一种实施例的流程图;
图2a、图2b和图2c为入口交换机上的数据流规则被异步的安装导致的网络拥塞示意图;
图3为本发明更新方法Lupdate的一个实施例的示意图;
图4a为在k为8~28的Fat-Tree数据中心网络评价迁移的数据流的大小的示意图;
图4b为链路利用率超过90%的链路的概率示意图;
图5a为更新方法Lupdate和最短路径法在任何网络规模下迁移的数据流量示意图;
图5b为链路利用率超过90%的链路中传输数据时流量变化示意图;
图6a为在k=20的Fat-Tree网络中流量迁移示意图;
图6b为在包含720个交换机的ER随机网络中流量迁移示意图;
图7a为在Fat-Tree网络中迁移的数据流量大小随新数据流的变化规律示意图;
图7b为在ER随机网络中迁移的数据流量大小随新数据流的变化规律示意图;
图8a为在Fat-Tree网络中额外迁移的数据流的数目变化示意图;
图8b为在ER随机网络中额外迁移的数据流的数目变化示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明提供一种最小化无拥塞网络更新过程中需要迁移的数据流的方法,基本的思想是在本地给每一个新数据流分配可行的最短路径,并且要求这些路径有足够的链路带宽来容纳那条数据流。如果所有的最短路径都不可行,需要在最短路径上迁移最小的和最少数目的已知数据流,以便路径上的链路有足够的带宽。
本发明提供的方法包括:为每一条新数据流在网络中搜索出所有的可行最短路径作为候选路径,根据所述候选路径的长度对所述候选路径进行升序排序,从第一条所述候选路径开始,依次检测所述候选路径是否可以在不迁移现有数据流的前提下容纳所述新数据流,直到检测到能够在不迁移现有数据流的前提下容纳所述新数据流的候选路径,将所述新数据流加入到该条路径上传输。
若所有的所述候选路径都不能在不迁移现有数据流的前提下容纳所述新数据流,则从第一条所述候选路径开始,依次检测所述候选路径是否可以在仅迁移一条现有数据流的情况下,将所述新数据流加入到该条候选路径上,直到检测到能够在仅迁移一条现有数据流的前提下容纳所述新数据流的候选 路径,迁移该条现有数据流,并将所述新数据流加入到该条路径上传输。
若在迁移一条现有数据流的情况下,迁移出数据流的路径仍然不能传输所述新数据流,则所述新数据流在入口交换机出等待一段时间,直到有一些所述候选路径完成数据流的传输或者在迁移一条现有数据流的情况下能够容纳所述新数据流时,将所述新数据流加入到该候选路径进行传输。
其中,所述可行最短路径为包含最少数量的为完成所述新数据流的传输所经过的瓶颈链路的可行路径。
所述迁移该条现有数据流为将该条现有数据流迁移到其所对应的并且能够将之容纳的最短路径上去。
依次检测所述候选路径是否可以在仅迁移一条现有数据流的过程包括:
找出分配所述新数据流的路径上的所有瓶颈链路;
记录下瓶颈链路上所经过的数据流,并且找出经过所有瓶颈链路的数据流;
对找出来的数据流按照数据流量大小进行排序,迁移数据流量最小的数据流来满足所述新数据流对于链路带宽的需求。
所述数据中心网络更新中数据流迁移的方法对应的数学模型为:
将网络定义为一个图G=(V,E),V和E分别代表交换机和连接这些交换机的链路,D被定义为网络直径,数据流f被定义为f=(sf,df,v(f)),sf是入口交换机,df是出口交换机,v(f)是数据流f的大小,fnew和fmove分别代表由于更新事件产生的需要新加入的数据流和由于新加入的某条数据流而需要被迁移的现有数据流,v(fi , j)代表数据流f在链路ei , j上的负载,lf代表了数据流f经过的跳数,Gf代表包含f经过的所有交换机和链路的子图,F记录了网络中每条数据流的大小,T代表数据流量分布矩阵,记录着每条链路上的负载大小。
上述数学模型的优化目标为:在更新的过程中迁移最小的数据流量和最小数目的数据流来限制负面的影响。
在本发明中,将一个网络更新事件导致的需要被迁移的数据流建模为一组数据流,然后执行最小代价的流量迁移来容纳这些新数据流。通过本发明的方法网络操作者不需要考虑如何寻找可行的网络状态,也不需要仔细地设计执行一个更新序列。因为本发明的目的就在于本地地调度每一个新数据流,为他们分配可行的最短路径。并且仅仅以一条额外的数据流的迁移为代价。为了提高更新效率,需要选择一条经过了所有瓶颈链路的数据流来迁移。为 了减小迁移的数据流量,还应该保证这条额外的数据流的数据流量尽可能的少。
本发明提出IaaS数据中心网络更新的最小数据流量迁移问题,并且把它定义为一个优化问题,该问题描述为:
将网络定义为一个图G=(V,E),V和E分别代表交换机和连接这些交换机的链路。D被定义为网络直径。另外,数据流f被定义为f=(sf,df,v(f)),sf是入口交换机,df是出口交换机,v(f)是数据流f的大小。fnew和fmove分别代表由于更新事件产生的需要新加入的数据流和由于新加入的某条数据流而需要被迁移的现有数据流。v(fi , j)代表数据流f在链路ei , j上的负载。lf代表了数据流f经过的跳数。Gf代表包含f经过的所有交换机和链路的子图。F记录了网络中每条数据流的大小,T代表数据流量分布矩阵,记录着每条链路上的负载大小。
给定一个网络更新事件,我们初始化集合fnew作为更新事件所产生的数据流集合。很明显,迁移的数据流的大小将会影响现行网络的功能。因此,更新的过程中应该迁移最小的数据流量来限制负面的影响。因此,第一个目标是:
另外,迁移的数据流的数目也会影响网络的功能。当数据流需要被迁移时,SDN控制器将会在不同的交换机上安装不同的数据流规则。也就是说,控制器和交换机之间的通道将会产生一个很长的队列,这将会阻碍控制器和交换机的正常通信。因此,第二个目标是:
min|fmove| (2)
集合fmove包含分配给新数据流的路径上的拥塞链路上的所有数据流,表示为:
如果需要在存在瓶颈链路的路径上传输新数据流,那么将会产生拥塞。然后,需要把这条链路加入Lf,将Lf被定义为:
给定一个T,如果满足以下条件,就说网络是正确的:
方程(3)计算需要被迁移的数据流的集合,这些数据流经过了分配给新数据流的路径上的所有瓶颈链路。方程(4)记录了分配给新数据流的路径上的所有拥塞链路。方程(5)保证了网络中的每一条数据流都可以在确定的路径上进行传输。方程(6)意味着数据流f不会出现在不属于子图Gf中的链路和交换机上。方程(7)表明那些被新数据流或者已存在的数据流占用的链路都不会超过链路容量。也就是说,所有的链路都是无拥塞的。方程(8)和(9)表明分配给新数据流和已存在数据流的路径的长度都不会超过网络直径。方程(10)保证需要被迁移的数据流最初都是数据流经拥塞链路的。基于这个模型,给出一个T和fnew,新数据流可以以最小的迁移代价被分配路径。
不论何种网络更新事件,都将DCN更新问题抽象为一组新数据流的重新调度问题。在将DCN更新抽象为一组数据流的重新调度问题之后,我们致力于迁移最小的数据流量来实现最小代价的数据流迁移并且完成无拥塞的网络更新。
在调度每一个新数据流时,分配给新数据流的路径上的链路的带宽不足 以支持新数据流时我们的目的是减少因为加入此条新数据流所要迁移的已有数据流的大小和条数。然后将网络更新中最小数据流量迁移的问题描述为上述优化模型。
将由网络更新事件引起的要迁移的数据流抽象为一组需要被重新调度的新数据流,提出了一种简单的更新方法Lupdate来解决定义的这个优化问题。这种方法具有很高的成功率,且代价为迁移一条额外的已存在的数据流。Lupdate更新方法如下:
对于每一条新数据流,首先为它在网络中搜索出所有的候选路径,并且根据路径的长度对他们进行升序排序。然后,检测第一条可行路径是否可以在不迁移现有数据流量的前提下容纳这条新数据流。如果可以,那么这条新数据流将会在这条路径上进行传输。否则,将会去检测其他的可行路径,直到有一条路径可以容纳新数据流,或者检测完所有的候选路径都不能成功的加入新数据流。然后,检测是否可以在最短路径上迁移一条已存在的数据流,从而将新数据流加入。这条已知数据流按照下面的步骤选取:
找出分配给新数据流f的路径上的所有瓶颈链路;
记录下瓶颈链路上所经过的数据流,并且找出经过所有瓶颈链路的数据 流;
对找出来的数据流按照数据流量大小进行排序,尽力去迁移最小的数据流来满足新数据流对于链路带宽的需求。
那些因为新数据流的加入而不得不被迁走的数据流同样需要被迁移到他们所对应的最短路径上去。理论一证明了Ludpate方法的时间复杂度。
理论一:给定一个网络和一条新数据流,网络中对应此新数据流的可行路径是α。分配给每一条数据流的路径长度是|pf|,这条路径上存在的数据流的大小也是固定的。很明显,Lupdate的时间复杂度是O(V+E+lgα+α×(|pf|+lgk+k))。
证明:算法一包含更新准备和迁移两个阶段。对于更新准备阶段,时间复杂度是O(V+E+lgα)。首先,搜索出对于新数据流的所有可行路径,利用修订的深度优先搜索策略产生可行路径,时间复杂度是O(V+E)。然后,需要对这些路径进行排序,事件复杂度是O(lgα)。所以,更新准备阶段的时间复杂度是O(V+E+lgα)。在迁移阶段,尽量在较短的候选路径上迁移最小的数据流来满足新数据流对链路带宽的要求。这一过程最多被执行α次。另外,可以很容易从控制器上得到和每一条拥塞链路上的数据流。然后,我们用O(lgk)的时间对这些数据流进行排序并且用O(k)的时间找出经过所有拥塞链路的公共数据流,作为迁移的候选数据流。最后,用O(|pf|)的时间将选定的数据流迁移到其他路径上去。因此,这一阶段的时间复杂度是O(α×(|pf|+lgk+k))。总结得出,整个算法的时间复杂度是O(V+E+lgα+α×(|pf|+lgk+k))。
如图1所示,为本发明流量迁移方法的一种实施例的流程图。包括如下步骤:
步骤101:为新数据流搜索候选路径。给出一组已存在的数据流,数据流量负载矩阵,还有一组新数据流,Lupdate致力于本地为每一个新数据流从最短路径中挑选出可行路径。
步骤102:对候选路径根据候选路径长度进行升序排序。对经过一条候选链路的所有瓶颈链路的数据流根据数据流量的大小进行排序。
步骤103:一次检查候选路径是否能够容纳新数据流。如果被选中的路 径的链路带宽剩余容量应该足以去容纳一条新数据流。则进入步骤104,否则,进入步骤105。
步骤104:将新数据流加入到该条候选路径中传输。
步骤105:依次检测候选路径是否能够在迁移一条数据流的情况下容纳新数据流。当所有的路径的链路剩余容量都不足以支持这条新数据流的加入。在这种情况下,Lupdate收集到所有候选路径上的瓶颈链路上的数据流,然后找出那些经过一条候选链路的所有瓶颈链路的数据流。如果能在仅迁移一条数据流的情况下容纳新数据流,则进入步骤106,否则,进入步骤107。
步骤106:将新数据流加入到该候选路径中传输。为了保证最小的代价,选择迁移一条数据流量最小的数据流,此时,链路的剩余带宽可以容纳这条新数据流。同时还要保证这条需要被移走的数据流可以被迁移到另外一条可行最短路径上去。如果这条数据流不能被移走,那么需要在候选集中为新数据流选择其他的可行路径,然后继续按照之前的方法进行迁移。
步骤107:将新数据流在入口交换机处等待,直到新数据流能够传输。最糟糕的情况就是所有的候选路径都不能成功地为新数据流提供服务,那么,这条新数据流应该在入口交换机处等待一段时间,直到有一些现有的数据流完成了传输,从而存在一条可行的路径可以为新数据流提供服务。在Lupdate方法的更新过程中,为了限制更新在全网范围的影响,仅允许在可行路径上迁移一条已存在的数据流。为了解决这个重要的问题。基本的思想就是当第一个数据流无法被立刻传输时,如果目前的链路状态可以满足后面的数据流对链路带宽的要求,首先调度队列后面的数据流,以期望缩短整个网络的更新时间。在一段时间之后,按顺序检测队列里剩余的数据流,并且用同样的方法处理他们。这将会极大地缩短一个网络更新事件的平均完成时间。
网络更新问题会发生在多个情景当中。一个共同的问题就是全网规模的数据流量迁移将会导致严重的影响。例如,交换机固件升级或者失效重启,网络操作者需要把经过这些交换机的数据流迁移到其他路径上去,以便于这些数据流对于的应用程序可以正确的执行。这些数据流的迁移需要在网络更新或者关闭交换机之前被执行,从而防止错误在网络中的传播。虚拟机的迁移是另外一个例子,它重新设定虚拟机所属的组,同时把所有与之相关的数据流迁移到它所在的位置上去。
这种大规模的迁移,如果没有被正确的处理,将会在网络中导致严重的 拥塞。原因是入口交换机上的数据流规则被异步的安装。
如图2a、图2b和图2c所示,为入口交换机上的数据流规则被异步的安装导致的网络拥塞示意图。数据流f1和f2分别由源节点s1和s2产生。为了将网络中已存在的数据流从如图2a的网络状态迁移到如图2b所示的网络状态,交换机s1和s2上的规则需要被同时安装。否则,如图2c所示,如果s1上的数据流规则的安装早于s2,链路l2将会负担来自f1和f2的数据流量。相同的事情也会发生如果s2上的规则首先被安装。
为了更准确的表达本发明提出的Lupdate更新方法,图3列举了一个例子。如图3所示,为本发明更新方法Lupdate的一个实施例的示意图。在图3中,网络中有6个交换机,链路容量是10Mbps。目前网络中有四条流正在传输,他们的需要的带宽分别是f1为3Mbps,f2为5Mbps,f3为2Mbps,f4为5Mbps。初始路径由浅色线标注在图中。如果存在一条从A到F,经过B,D两个交换机,需求带宽为3Mbps的新流。很明显,如果我们在路径A-B-D-F上传输新流,拥塞将会发生。因此,我们需要找出此路径的瓶颈链路,也就是链路B-D。然后在这条链路上传输的流f1,f3,f4就是候选的需要被迁移的流。根据迁移流量最少的准则,可以知道流f1将被迁移,将流f1的传输路径由D-E-B改为D-A-B,以保证新流的正确传输。
本发明的更新方法是按序更新由一个更新事件引起的多条数据流。对于并行更新多条数据流,所有的数据流应该被一起分配路径同时需要保证需要被迁移的数据流之间不会发生冲突。否则,网络中就会发生拥塞现象,这甚至会导致网络应用程序发生不不可想象的中断。基于这个原因,需要提高更新方法便于并行的更新由于更新事件所引起的数据流的迁移。
给定一个更新事件和由此引起的一组新数据流,为每一个新数据流寻找一个合适的路径,并且记录下来因为这条新数据流的加入而被迫迁走的已存在与网络中的数据流。同时,还应该确保这些被迁走的数据流之间不会有潜在的冲突发生。之后,应该对一个更新事件所导致的需要迁移的数据流进行分组,确保在一组当中,所有的数据流不会产生冲突。因此,以组数据流可以被并行的更新。很明显,这样一种设计可以加速更新事件的完成时间。
本发明还根据迁移的数据流量大小,迁移的数据流的数目和成功更新的概率这三个性能指标,将提出的更新方法与已存在的最短路径的方法进行比较。对每一个性能指标来说,试验结果都取100次实验的平均值。
在实验中,首先构建数据中网络架构,比如Fat-Tree和ER随机数据中心网络。两个网络的链路带宽都被设置为1Gpbs。Fat-Tree数据中心网络中交换机的数目由参数k来决定。一个Fat-Tree拓扑由k端口的交换机组成,包含k个pod,每个pod包含两层,每层k/2个交换机,一个pod一共有5k3/4个交换机并且可以支持k3/4个主机。ER随机数据中心中的交换机数目设置与Fat-Tree数目相同。
给出由更新事件引起的一组数据流作为输入,在创建的两个数据中心中实现更新方法Lupdate。同样,也实现了已知的最短路径方法,它仅仅分配最短路径给新数据流,如果最短路径不能容纳这条新数据流,那么它任意的迁移这条路径上的多条数据流来满足新数据流对带宽的需求。在选择那条数据流需要被迁移时,最短路径的方法不会去考虑是那条链路及哪些数据流导致了新数据流的传输失败。一旦链路没有足够的带宽来传输这条新数据流,它仅仅是任意的迁走一些数据流直到链路有足够的容量来容纳这些新数据流。
为了测试对比这两种种更新方法,向网络中注入k3条通过收集得到的数据流当作背景数据流。将不同的网络更新事件产生的数据流抽象为将要加入网络的新数据流。这些新数据流的类型如下面所描述。第一种类型是平均数据流,即,它们的源和目的地址任意取定,而大小则要根据网络已有的背景数据流的平均值来设定。第二种类型是测试数据流,他们的源和目的地址是相对固定的,数据流的大小的平均值在5MB和95MB之间变化。
在实验的最后,根据迁移的数据流的平均大小、数据流的数目和成功率三个性能指标,评价这两种方法在不同的更新事件下的性能。
如图4a所示,为更新方法Ludpate和最短路径法迁移流量大小示意图。在k为8~28的Fat-Tree数据中心网络评价迁移的数据流的大小。从中可以看出,无论在任何网络规模下,Ludpate更新方法可以迁移最小的数据流量来容纳由更新事件造成数据流量的迁移。相反,为了容纳新数据流,最短路径方法迁移的数据流量最多,大概是Lupdate方法的40~100倍。
在注入了k3条真实的追踪数据流作为背景数据流量之后,图4b为链路利用率超过90%的链路的概率示意图。当网络规模从k等于8到28变化时,链路利用率超过90%的链路的概率在38%~55%之间变化示。图4a和图4b说明在大多数的链路在链路利用率很高的情况下,Lupdate依然可以迁移最小数据流量完成这个新数据流的传输。
在Fat-Tree网络中评价了这些更新方法之后,研究其他数据中心网络拓扑的影响,比如说ER随机网络。对于任意一个k,ER网络中交换机的数目和Fat-Tree中保持一致,都取5k2/4。ER网络中的交换机以概率p和其他的交换机相连,也就是说,一个交换机和服务器连接的概率是1-p。这个概率是由k确定的Fat-Tree数据中心网络中交换机与交换机相连的数目,与所有链路数目之比来决定的。向ER随机网络中注入k3条数据流作为背景数据流量,同时注入上述提到的第一种类型的数据流来模仿一种网络更新事件。
图5a为更新方法Lupdate和最短路径法在任何网络规模下迁移的数据流量示意图。从中可以看出,Lupdate方法可以在任何网络规模下迁移最小的数据流量。最短路径方法迁移的数据流量远大于Lupadte方法。另外,随着网络规模的增加,Lupdate和最短路路径迁移的数据流量的差值在增加。
从图5a还可以看出,一般情况下,迁移的数据流量大小都会随着网络规模的增加呈现上升趋势,但是当k=20的时候,却发生了异常。可以根据图5b来解释这一现象。当k从8变化到16时,迁移的数据流量大小逐渐的增大,这时大部分链路的利用率都稳定在一定范围内。然而,当k到达20的时候,链路利用率超过90%的链路降到了链路总数的6.7%,此时,两种方法迁移的数据流量大小也是极具的下降。当k到达24和28时,链路利用率超过90%的链路迅速增加,随之两种方法迁移的数据流量也恢复到了之前的增长趋势当中。这个现象表明当着链路利用率恢复到正常情况时,两种方法迁移的数据流量大小也按照之前的规律逐渐增加。所以,可以推断出链路的利用率情况和网络的规模会影响迁移的数据流量大小,而拓扑不会影响整个数据流量迁移大小的趋势。
图6a为在k=20的Fat-Tree网络中流量迁移示意图。图6b为在包含720个交换机的ER随机网络中流量迁移示意图。在这两种网络情境之下,向网络中注入上述提到的测试类型的数据流作为有更新事件产生的需要被重新调度的新数据流,它的平均大小从10MB变化到90MB。
图7a为在Fat-Tree网络中迁移的数据流量大小随新数据流的变化规律示意图。在Fat-Tree网络中,当新数据流的平均值为70MB和90MB时,最短路径的方法产生的数据流量急速下降。之后,随着新数据流均值大小的增加,迁移的数据流量基本保持在一定范围内。在整个新数据流均值大小的变化当中,Lupdate方法和最短路径方法所产生的迁移数据流量均在一定范围内稳定 变化。
产生这种现象有很多种原因。首先,对于每一条新数据流来说,网络中会对应多条最短路径,由于ER随机网络的特殊性,我们在选择最短路径时,也会随机选择一条最短路径;第二,由于两种方法均是对注入的一系列新数据流逐一调度,所以,队列前面的数据流的路径选择方案必然会影响到之后加入网络的新数据流的调度方案。同样,新数据流注入网络的顺序,也会影响到最终的调度结果。第三,首先被调度的新数据流有可能需要移动路径上现有的数据流量以便加入网络,而这些需要被移走的数据流量同样可能会占据本应分配给队列后面的新数据流的路径,从而产生了二次迁移。所以就不难理解在Fat-Tree网络中,随着新数据流均值增大,迁移的数据流量反而会减小的现象。
图7b为在ER随机网络当中迁移的数据流量大小随新数据流的变化规律示意图。在ER随机网络中,新数据流均值大小为30MB的时候,迁移的数据流量会产生巨大的变化。
无论在何种网络中,新数据流的平均大小越大,的确会在一定程度上使Lupdate方法产生更多的数据流量迁移。但是,实验结果表明为了容纳一系列的新数据流,Lupdate方法始终迁移最小的数据流量,最短路径的方法始终迁移最多的数据流量。
除了迁移的数据流量大小,迁移的数据流的数目也会影响IaaS数据中心服务的质量。如果存在大量的数据流需要迁移,必须分配有充足带宽的链路给这些数据流。同时,我们呢必须合理的安排这些数据流的迁移顺序,以免发生拥塞。之后,对应每条要迁移的数据流的转发规则会在所涉及到的交换机上进行安装。另外,每一个涉及到的交换机都要消耗一定时间来安装这些转发规则。很明显,需要迁移的数据流的数目越多,交换机上的负载也就会越重。在这种情况下,很难去仅仅调整一些已存在的数据流来容纳一组新数据流。
图8a为在Fat-Tree网络中额外迁移的数据流的数目变化示意图。随着网络规模的扩大,大多数链路的链路利用率不断提高,利用最短路径方法迁移的数据流的数目也会随之增加,而Lupdate由于方法的特殊性,仅仅迁移一条额外的数据流。正像预料的那样,在Fat-Tree网络中,为了容纳一组新数据流,与最短路径方法相比,最短路径方法迁移的流量是Lupdate方法的 20~40倍。
图8b为在ER随机网络中额外迁移的数据流的数目变化示意图。在ER随机网络中评价这两种方法所导致的需要额外迁移的数据流的数目。在图8b所示的ER随机网络中,除了k=20,随着网络规模的增大,迁移的数据流的数目也在增加。这是因为在k=20时,大多数链路的链路利用率很低,所以相比于链路利用率较高的情况,迁移较少的数据流,就能轻松地容纳一组新数据流。一情况下,随着网络规模增加,链路利用率的增加,迁移的数据流的数目也会增加。
然而,这个现象在同样配置Fat-Tree网络中并没有出现,这是由于Fat-Tree网络的链路带宽利用率并没有出现大幅度的改变。
在同样配置的Fat-Tree网络和ER随机网络中,两种方法迁移的数据流的数目随着新数据流的平均值变化而变化的趋势。不论在哪种网络拓扑,新数据流的平均大小是多少,Ludpate方法平均迁移一条额外的数据流来容纳新数据流。可以从图7a看出,除了新数据流大小为70MB和90MB的时候,随着新数据流的大小的平均值的增加,需要被迁移的数据流的数目也在增加。这是因为分配给队列前面的数据流的路径和分配给被迁移的已存在的数据流的路径,都会影响到队列后面的数据流的调度方案,这样迁移的数据流的数目也会产生不同幅度的变化。相反地,Lupdate方法为了容纳一条数据流,仅允许迁移一条额外的数据流,所以,新数据流的平均大小并不会对它造成任何影响。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种数据中心网络更新中数据流的迁移方法,其特征在于,包括:
为每一条新数据流在网络中搜索出所有的可行最短路径作为候选路径,根据所述候选路径的长度对所述候选路径进行升序排序,从第一条所述候选路径开始,依次检测所述候选路径是否可以在不迁移现有数据流的前提下容纳所述新数据流,直到检测到能够在不迁移现有数据流的前提下容纳所述新数据流的候选路径,将所述新数据流加入到该条路径上传输;
若所有的所述候选路径都不能在不迁移现有数据流的前提下容纳所述新数据流,则从第一条所述候选路径开始,依次检测所述候选路径是否可以在仅迁移一条现有数据流的情况下,将所述新数据流加入到该条候选路径上,直到检测到能够在仅迁移一条现有数据流的前提下容纳所述新数据流的候选路径,迁移该条现有数据流,并将所述新数据流加入到该条路径上传输。
2.根据权利要求1所述的方法,其特征在于,还包括:若在迁移一条现有数据流的情况下,迁移出数据流的路径仍然不能传输所述新数据流,则所述新数据流在入口交换机处等待一段时间,直到有一些所述候选路径完成数据流的传输或者在迁移一条现有数据流的情况下能够容纳所述新数据流时,将所述新数据流加入到该候选路径进行传输。
3.根据权利要求1所述的方法,其特征在于,所述可行最短路径为包含最少数量的为完成所述新数据流的传输所经过的瓶颈链路的可行路径。
4.根据权利要求1所述的方法,其特征在于,所述迁移该条现有数据流为将该条现有数据流迁移到其所对应的并且能够将之容纳的最短路径上去。
5.根据权利要求1所述的方法,其特征在于,所述依次检测所述候选路径是否可以在仅迁移一条现有数据流的过程包括:
找出分配所述新数据流的路径上的所有瓶颈链路;
记录下瓶颈链路上所经过的数据流,并且找出经过所有瓶颈链路的数据流;
对找出来的数据流按照数据流量大小进行排序,迁移数据流量最小的数据流来满足所述新数据流对于链路带宽的需求。
6.根据权利要求1所述的方法,其特征在于,所述数据中心网络更新中数据流迁移的方法对应的数学模型为:
将网络定义为一个图G=(V,E),V和E分别代表交换机和连接这些交换机的链路,D被定义为网络直径,数据流f被定义为f=(sf,df,v(f)),sf是入口交换机,df是出口交换机,v(f)是数据流f的大小,fnew和fmove分别代表由于更新事件产生的需要新加入的数据流和由于新加入的某条数据流而需要被迁移的现有数据流,v(fi,j)代表数据流f在链路ei,j上的负载,lf代表了数据流f经过的跳数,Gf代表包含f经过的所有交换机和链路的子图,F记录了网络中每条数据流的大小,T代表数据流量分布矩阵,记录着每条链路上的负载大小。
7.根据权利要求1-6所述的方法,其特征在于,所述数学模型的优化目标为:
数据中心网络更新的过程中迁移最小的数据流量和最小数目的数据流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610211676.4A CN105897882B (zh) | 2016-04-06 | 2016-04-06 | 一种数据中心网络更新中数据流的迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610211676.4A CN105897882B (zh) | 2016-04-06 | 2016-04-06 | 一种数据中心网络更新中数据流的迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105897882A true CN105897882A (zh) | 2016-08-24 |
CN105897882B CN105897882B (zh) | 2020-02-18 |
Family
ID=57012035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610211676.4A Active CN105897882B (zh) | 2016-04-06 | 2016-04-06 | 一种数据中心网络更新中数据流的迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105897882B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106533979A (zh) * | 2016-11-30 | 2017-03-22 | 梁海燕 | 一种网络更新方法及装置 |
CN107517273A (zh) * | 2017-09-21 | 2017-12-26 | 郑州云海信息技术有限公司 | 数据迁移的方法、系统、计算机可读存储介质及服务器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789949A (zh) * | 2010-02-04 | 2010-07-28 | 中兴通讯股份有限公司 | 一种实现负荷分担的方法和路由设备 |
CN104618130A (zh) * | 2014-12-09 | 2015-05-13 | 中国人民解放军国防科学技术大学 | 一种软件定义数据中心网络控制器的最小代价同步方法 |
-
2016
- 2016-04-06 CN CN201610211676.4A patent/CN105897882B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789949A (zh) * | 2010-02-04 | 2010-07-28 | 中兴通讯股份有限公司 | 一种实现负荷分担的方法和路由设备 |
CN104618130A (zh) * | 2014-12-09 | 2015-05-13 | 中国人民解放军国防科学技术大学 | 一种软件定义数据中心网络控制器的最小代价同步方法 |
Non-Patent Citations (2)
Title |
---|
TING QU等: "cUpdate: Updating Software-Defined Networks with the Least Traffic Migration", 《2015 IEEE FIFTH INTERNATIONAL CONFERENCE ON BIG DATA AND CLOUD COMPUTING》 * |
郭得科等: "数据中心内Incast流量的网内聚合研究", 《计算机研究与发展》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106533979A (zh) * | 2016-11-30 | 2017-03-22 | 梁海燕 | 一种网络更新方法及装置 |
CN106533979B (zh) * | 2016-11-30 | 2017-08-25 | 梁海燕 | 一种网络更新方法及装置 |
CN107517273A (zh) * | 2017-09-21 | 2017-12-26 | 郑州云海信息技术有限公司 | 数据迁移的方法、系统、计算机可读存储介质及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN105897882B (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105207859B (zh) | 一种电力通信网络中otn网络规划设置方法 | |
CN112738820A (zh) | 一种服务功能链的动态部署方法、装置及计算机设备 | |
CN102075429B (zh) | 一种基于就近原则的虚拟网络映射方法 | |
US20050069314A1 (en) | Method for planning or provisioning data transport networks | |
CN104836736A (zh) | 弹性光网络中基于频谱感知的能效资源分配与路径重配置方法 | |
JP4837765B2 (ja) | 多階層資源転送網経路計算に必要な資源管理及び再帰的経路計算方法及び装置 | |
CN101361306A (zh) | 光网络中最优化动态选路 | |
CN101611592A (zh) | 光网络中的光信号的动态路由 | |
US20160105376A1 (en) | Network Virtualization and Resource Allocation For the Internet of Things | |
CN1996921A (zh) | 建立业务连接的方法、路由设备、业务网络 | |
CN105897882A (zh) | 一种数据中心网络更新中数据流的迁移方法 | |
CN112383477A (zh) | 一种面向数据中心光网络的路由和频谱分配方法及装置 | |
US12010013B2 (en) | Devices and method for controlling network routing configurations | |
CN106104503A (zh) | 使用统一api对用于转发的服务器和架构编程以用于细粒度网络优化 | |
CN102025615B (zh) | 一种光通讯网络中小粒度业务路径规划的方法及装置 | |
Santos | On the impact of deploying federated SDN controllers in optical transport networks | |
CN105897604B (zh) | 一种提高数据中心网络更新成功率的方法 | |
CN103795641A (zh) | 基于多维帧映射的光网络资源管理方法 | |
JP2013005045A (ja) | 最適経路選択方法、最適経路選択プログラムおよび最適経路選択装置 | |
Junior et al. | A new algorithm for dimensioning resilient optical networks for shared-mesh protection against multiple link failures | |
CN105763283A (zh) | 一种波分复用光网络中的光分插复用器优化配置方法 | |
Chen et al. | Cognitive routing and wavelength assignment algorithm for dynamic optical networks | |
Yu et al. | Migration-aware dynamic connection provisioning in optical networks evolving from fixed grid to flexible grid | |
Hashiguchi et al. | Techniques for agile network re-optimization following traffic fluctuations | |
Silva et al. | Systematic Review on Methods for OTN Network Planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |