CN103036792A - 一种最大化最小公平多数据流传输调度方法 - Google Patents

一种最大化最小公平多数据流传输调度方法 Download PDF

Info

Publication number
CN103036792A
CN103036792A CN2013100053201A CN201310005320A CN103036792A CN 103036792 A CN103036792 A CN 103036792A CN 2013100053201 A CN2013100053201 A CN 2013100053201A CN 201310005320 A CN201310005320 A CN 201310005320A CN 103036792 A CN103036792 A CN 103036792A
Authority
CN
China
Prior art keywords
request
data stream
path
network
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100053201A
Other languages
English (en)
Other versions
CN103036792B (zh
Inventor
苏森
双锴
王艺文
徐鹏
王玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201310005320.1A priority Critical patent/CN103036792B/zh
Publication of CN103036792A publication Critical patent/CN103036792A/zh
Application granted granted Critical
Publication of CN103036792B publication Critical patent/CN103036792B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种最大化最小公平多数据流传输调度方法,属于计算机网络中的网络数据流量优化领域。所述方法包括:输入数据中心网络拓扑信息和数据流传输请求信息,计算网络拓扑中每条边的中介性特征值;所述数据中心网络拓扑信息包括各个数据中心之间的链路连接关系和每条链路的带宽容量;所述数据流传输请求信息包括每个数据流传输请求的发送端、目的端和请求传输的数据量;基于所述中介性特征值,对两点间的不同路径进行评估,为每个数据流传输请求选出特定的K条不重叠传输路径的集合Pi;以及基于每个数据流传输请求的所述K条不重叠传输路径的集合Pi,迭代求出其对应最优的满足最大化最小公平规则的网络带宽资源分配方案。

Description

一种最大化最小公平多数据流传输调度方法
技术领域
本发明属于计算机网络中的网络数据流量优化领域,具体涉及一种最大化最小公平多数据流传输调度方法,用于解决网络中多个数据流之间传输路径选择和带宽分配问题。
背景技术
数据流的路由及其带宽资源分配问题是网络流量优化领域的基础研究问题之一。尤其是考虑面向多个不同请求竞争共享网络带宽资源时,该问题变得更加复杂。一方面,需要为各个请求分配尽可能多的带宽资源以提高网络资源利用率;另一方面,需要保证各个请求间的公平性,以防止部分请求抢占过多公共网络资源导致另一部分请求“饿死”的情况发生。
为了在网络整体的资源利用率和请求带宽资源分配的公平性间取得折中,流网络领域广泛采用“最大化最小公平规则(Max-Min Fairness,MMF)”对网络资源进行分配(请参考D.Bertsekas and R.Gallager,Data Networks,2nded.,Englewood Cliffs,NJ:Prentice-Hall,1992)。所谓“最大化最小公平规则”是指:在对多个数据流请求进行网络带宽资源分配时,任意请求禁止通过抢占已有资源量更少的请求的资源来增加自己所获取的资源。
已有对“最大化最小公平规则”的相关研究主要集中在数据流传输路径已经固定的情况(请参考(1)Y.Afek,Y.Mansour,and Z.Ostfeld,“Convergencecomplexity of optimistic rate based flow control algorithms,”inProceedings of the twenty-eighth annual ACM symposium on Theory ofcomputing.ACM,1996,pp.89-98;(2)Y.Afek,Y.Mansour,and Z.Ostfeld,“Phantom:A simple and effective flow control scheme,”ACM SIGCOMMComputer Communication Review,vol.26,no.4,pp.169-182,1996;(3)Y.Bartal,M.Farach-Colton,S.Yooseph,and L.Zhang,“Fast,fair,andfrugal bandwidth allocation in atm networks,”in Proceedings of the tenthannual ACM-SIAM symposium on Discrete algorithms.Society for Industrialand Applied Mathematics,1999,pp.92-101),而对传输路径可变的场景,如MPLS网络环境,这些研究成果往往无法被直接应用。另一方面,现有针对传输路径可变场景下的最大化最小公平多商品流路由和带宽分配最优调度算法(请参考(1)M.Allalouf and Y.Shavitt,“Centralized and distributedalgorithms for routing and weighted max-min fair bandwidth allocation,”Networking,IEEE/ACM Transactions on,vol.16,no.5,pp.1015-1024,2008和(2)D.Nace,L.Nhat Doan,O.Klopfenstein,and A.Bashllari,“Max-minfairness in multi-commodity flows,”Computers & Operations Research,vol.35,no.2,pp.557-573,2008),采用简单穷举式路由策略求解出全部的候选路径,并在此基础上求出全局最优的带宽分配解,但是这会导致算法的计算开销大,扩展性差。尤其是当网络拓扑规模和请求规模增长时,由于算法的求解时间过长,使其难以应用到实际的网络流量优化场景中。
发明内容
本发明的目的在于解决上述现有技术中存在的难题,提供一种最大化最小公平多数据流传输调度方法,通过为每个请求选取特定的路径集合,进而减小问题求解规模的方式,降低算法求解的时间开销,也就是说在面对多个数据流请求时,在保证最大化最小公平规则前提下,最大化网络带宽资源利用率,从而降低算法的求解时间开销,使其可被应用于网络规模和请求规模较大的网络流量优化传输调度场景。
本发明是通过以下技术方案实现的:一种最大化最小公平多数据流传输调度方法,包括:
输入数据中心网络拓扑信息和数据流传输请求信息,计算网络拓扑中每条边的中介性特征值;所述数据中心网络拓扑信息包括各个数据中心之间的链路连接关系和每条链路的带宽容量;所述数据流传输请求信息包括每个数据流传输请求的发送端、目的端和请求传输的数据量;
基于所述中介性特征值,对两点间的不同路径进行评估,为每个数据流传输请求选出特定的K条不重叠传输路径的集合Pi;以及
基于每个数据流传输请求的所述K条不重叠传输路径的集合Pi,迭代求出其对应最优的满足最大化最小公平规则的网络带宽资源分配方案。
所述基于所述中介性特征值,对两点间的不同路径进行评估,为每个数据流传输请求选出特定的K条不重叠传输路径的集合Pi包括:
(A1):给定网络G(V,E),源点和目的点分别为vs和vt,以及需要求出的路径数目K;
(A2):在网络G上求解其最短路径p1,将p1加入集合Ps,并将p1所占据的带宽资源从G中减去,得到残余网络Gr;所述Ps为分配给每个数据流传输请求的路径集合;
(A3):在残余网络Gr上重复步骤(A2)直至路径数达到K或无法求出新的最短路径;若其中出现多条长度相等的路径的情况,选择中介性特征值和最小的路径;所述中介性特征值和是指每个路径中各条边的中介性特征值的和;
(A4):若求出K条路径,则转入步骤(A10),否则设置变量k=1,并转入步骤(A5);
(A5):将Ps中的路径按照长度从小到大进行排序,然后从Ps中选出第k条路径,pk=(v1,v2,...,vi,vj,...,vn),其中,n为该路径上的节点数量,i,j均为初始值为0的整数;
(A6):对任意0<j<n,先将pk的链路(vi,vj)长度设为无穷,之后在网络G上求出从vl至vn的最短路径pd,并将其加入集合B,重复步骤(A6)直至j=n-1;
(A7):将i加1,恢复G中各链路长度为初始值,重复步骤(A6)直至i=n-2;
(A8):从集合B中选出中介特征值和最小的一条路径p’,并将其加入集合Ps;
(A9):若求出K条路径,则转入步骤(A10),否则将k加1,并重复步骤(A5)至步骤(A9),直至B中不存在任何路径,然后转入步骤(A10);
(A10)结束。
所述基于每个数据流传输请求的所述K条不重叠传输路径的集合Pi,迭代求出其对应最优的满足最大化最小公平规则的网络带宽资源分配方案包括:
(B1):基于对数据中心网间带宽资源开销的预测信息,利用时间延展网络转换方法将具有动态空闲带宽资源的网络转换为静态流网络;
(B2):基于所述静态流网络,对所有数据流传输请求建立最大化最小公平多商品流线性规划模型;
(B3):迭代地求解所述最大化最小公平多商品流线性规划模型,得出各个数据流传输请求的最大传输流量以及对应的数据传输路径。
所述步骤(B1)的所述时间延展网络转换方法是这样实现的:将网络资源从时间维度进行延展,使具有动态空闲带宽资源的网络的动态带宽资源和节点的存储资源能力统一转化到一张静态流网络上。
所述步骤(B2)中的所述最大化最小公平多商品流线性规划模型为:
maximize   λ
s . t . Σ r i ∈ R Σ p ∈ P i f p r i ≤ C e , ∀ e ∈ E , e ∈ P i - - - ( 1 )
Σ p ∈ P i f p r i ≥ λ · dem i , ∀ r i ∈ R unsat - - - ( 2 )
Σ p ∈ P i f p r i ≥ λ q i sat · dem i , ∀ r i ∈ R sat - - - ( 3 )
f p r i ≥ 0 , λ ≥ 0 , ∀ p ∈ P i = 1 . . . K - - - ( 4 )
其中,ri是一个数据流传输请求,R是所有数据流传输请求的集合,
Figure BDA00002711713400045
表示在路径p上分配给ri的带宽值,Ce代表链路e的带宽资源,E={e1,e2,...,em},是网络中所有链路e的集合,λ为饱和的带宽分配比例值,demi是ri传输的数据量,Runsat为非饱和请求集合,
Figure BDA00002711713400051
为已经求得最大传输流量的那些请求所对应的λ值,Rsat为饱和请求集合;
(1)、(2)、(3)和(4)这四个式子为约束条件。
所述步骤(B3)包括:
S1:设定饱和请求集合Rsat为空、非饱和请求集合Runsat包含所有数据流传输请求ri
S2:对最大化最小公平多商品流线性规划模型进行求解,即在同时满足(1)、(2)、(3)和(4)这四个式子的前提下,求出最大的λ值;
S3:筛选出没有多余连接能力的请求集合Rtmp:根据数据流传输请求现有的传输路径带宽资源的利用情况,若某数据流传输请求的带宽资源已被全部占满,则将其被选入请求集合Rtmp
S4:针对Rtmp中的每个请求ri,将Runsat设定为只包含一个请求ri,Rsat则设定为包含请求集合R中除去请求ri以外的剩余的全部请求,其中原有的已饱和请求的
Figure BDA00002711713400052
值维持不变,未饱和请求的饱和值则设定为λ,利用这些值更新(2)式和(3)式后得到更新后的最大化最小公平多商品流线性规划模型;
S5:求解所述更新后的最大化最小公平多商品流线性规划模型,得到新的λtmp;若λtmp与λ相等,则请求ri被判定为真正饱和,将ri加入到Rsat,并记录对应的λ,若λtmp与λ不相等,则转入步骤S4;
S6:多次重复步骤S2到步骤S5,直至Runsat为空,得到最优的λ;
S7:输出最大传输流量以及对应的数据传输路径,所述最大传输流量是指所述最优的λ和链路带宽的乘积;所述数据传输路径包含在与最优的λ对应的
Figure BDA00002711713400061
中。
与现有技术相比,本发明的有益效果是:与文献”M.Allalouf and Y.Shavitt,“Centralized and distributed algorithms for routing andweighted max-min fair bandwidth allocation,”Networking,IEEE/ACMTransactions on,vol.16,no.5,pp.1015-1024,2008”和文献“D.Nace,L.Nhat Doan,O.Klopfenstein,and A.Bashllari,“Max-min fairness inmulti-commodity flows,”Computers & Operations Research,vol.35,no.2,pp.557-573,2008”提出的最优的MMF调度算法(OPT-MMF)相比较,本发明方法在保证求解出了较优的带宽分配值的前提下,大大降低了其对应的时间开销,具有极强的实用性。
附图说明
图1是规则一的路径选择示例。
图2是规则二的路径选择示例。
图3是Softlayer数据中心网络拓扑示意图。
图4-1是在请求规模为100时的三种算法的Max-Min Fair带宽资源分配总量的比较图。
图4-2是在请求规模为500时的三种算法的Max-Min Fair带宽资源分配总量的比较图。
图4-3是在请求规模为700时的三种算法的Max-Min Fair带宽资源分配总量的比较图。
图4-4是在请求规模为1000时的三种算法的Max-Min Fair带宽资源分配总量的比较图。
图5-1是在请求规模为100时的三种算法的时间开销的比较图。
图5-2是在请求规模为500时的三种算法的时间开销的比较图。
图5-3是在请求规模为700时的三种算法的时间开销的比较图。
图5-4是在请求规模为1000时的三种算法的时间开销的比较图。
图6是本发明实施例中的最大化最小公平多商品流分配方案的高效求解场景。
图7是本发明方法最大化最小公平多数据流传输调度方法的步骤框图。
具体实施方式
下面结合附图对本发明作进一步详细描述:
如图7所示,本发明方法基于以下步骤:
输入数据中心网络拓扑信息和数据流请求信息,计算网络拓扑中每条边的中介性特征值;
步骤1,基于网络拓扑中边的中介性(Edge Betweenness)特征值,对两点间的不同路径进行评估,为每个数据流传输请求选出特定的K条不重叠传输路径的集合Pi
步骤2,基于每个请求的K条不重叠传输路径的集合Pi,迭代求出其对应最优的满足最大化最小公平规则的网络带宽资源分配方案;
下面具体对每个步骤进行解释:
步骤1,基于网络拓扑中边的中介性(Edge Betweenness)特征值,对两点间的不同路径进行评估,为每个数据流请求选出特定的K条不重叠传输路径集合:
为了提高网络资源的利用率,本发明为每个请求分配多条传输路径。每个数据流传输请求所能获得的带宽资源多少与其对应传输路径集合的链路资源能力密切相关,因此数据流的传输路径选择过程至关重要。经过大量实验总结分析得出,在进行路径选择时,为了使每个传输请求获取尽可能多的链路带宽资源,需要遵循两条规则:规则一,降低同一请求内各个传输路径的重叠程度;规则二,降低不同请求间各个传输路径的重叠程度。下面通过实例来对这两条规则进行解释。
规则一:如图1所示,给定网络G(V,E),其中,V代表网络中所有节点集合,E代表网络中所有链路的集合,链路的带宽容量如图1中各条直线边上的数字标识所示。有源点和目的点分别为v0和v2的数据流传输请求r1,其第一条传输路径和对应的带宽分配值分别为p11=(v0,v1,v2)和fr1(p11)=1(因为每个请求都争取获得尽可能多的带宽分配资源,所以当将传输路径p11分配给请求r1时,该路径链路上的全部带宽资源,即1,就都分给了请求r1,因此fr1(p11)=1)。当为r1选择第二条传输路径时,有两条备选路径p12=(v0,v1,v4,v2)和p12’=(v0,v3,v4,v2)。虽然这两条路径的跳数相同,但p12’优于p12,因为其与p11的重叠程度更低,这样可以保证r1获取更多的带宽资源。
规则二:如图2所示,有数据流传输请求r1和r2,其源点分别为v0和v3,目的点分别为v2和v8,其各自的前三条传输路径p和对应的带宽分配值f(p)如表1所示。
Figure BDA00002711713400081
表1
当为r1选择第四条传输路径时,有两条备选路径,p14=(v0,v3,v5,v4,v2)和p14’=(v0,v3,v1,v4,v2)。虽然这两条路径的跳数相同,但p14’优于p14,因为其与r2的路径p21的重叠程度更低,这样可以保证其与更少的数据传输请求竞争,并获取更多的带宽资源。
基于上述两条规则,本发明设计了基于边的中介性特征值的路径选择算法。其基本思想是通过计算每条路径上各段链路的中介性值,来评估该条路径与其他路径的重叠可能性,进而指导路径的选取过程。网络拓扑边的中介性特征值,是图论中用于评价边的重要程度的一个常用属性之一(请参考(1)L.Freeman,“A set of measures of centrality based on betweenness,”Sociometry,pp.35-41,1977和(2)M.Girvan and M.Newman,“Community structure in socialand biological networks,”Proceedings of the National Academy of Sciences,vol.99,no.12,p.7821,2002)。其定义为:给定图G(V,E),其中某边e的中介性特征值等于任意两点的最短路径经过e的次数的和。根据上述定义,一条链路的中介性特征值越大,那么意味着会有越多的最短路径包括该条链路。因此,在选择路径时,除了衡量路径的跳数或者带宽情况外,还要考虑其各段路径的中介性特征值,优先选择该值小的路径。
基于以上基本思想,所述为每个数据流请求选出特定的K条不重叠传输路径的集合的具体步骤如下:
步骤1:给定网络G(V,E),源点和目的点分别为vs和vt,以及需要求出的路径数目K;
步骤2:在网络G上求解其最短路径p1,将p1加入集合Ps(每个数据流传输请求有多条传输路径实现数据流的传输,Ps即为分配给每个传输请求的路径集合),并将p1所占据的带宽资源从G中减去,得到残余网络Gr;
步骤3:在残余网络Gr上重复步骤2直至路径数达到K(K的具体值是人工设定的,K越大,求的分配结果越接近最优,但计算开销最大,反之,K越小,分配结果变为次优,但计算开销较小)或无法求出新的最短路径(即在残余网络上,发送端和目的端之间不存在任何连通的路径。),若其中出现多条长度相等的路径的情况(即在网络中发送端和目的端之间有多条不同的传输路径,且路径的长度相等),选择中介性特征值和(即每个路径中各条边的中介性特征值相加得到的和)最小的路径;
步骤4:若求出K条路径,则转入步骤10,否则设置变量k=1,并执行步骤5;
步骤5:将Ps中的路径按照长度(每条路径由多段链路组成,此处路径的长度指其包含的链路数量,包含的链路数量越少,路径越短)从小到大进行排序(排序的目的是为了选出第k短的路径,这样后续步骤中基于修改第k短路径方式生成的新路径长度不会很长),然后从Ps中选出第k条路径pk=(vl,v2,...,vi,vj,..., vn),其中i,j均为初始值为0的整数;假设一段路径包含n个节点,各节点用v1,v2,...vn表示,n为该路径上的节点数量,也是路径中最后一个节点的标号;
步骤6:对任意0<j<n,先将pk的链路(vi,vj)长度设为无穷,之后在G上求出从vl至vn的最短路径pd,并将其加入集合B(该集合为一个临时存储候选路径的集合,后面新加入的路径从集合B中挑选,直至选出K条路径),重复步骤6直至j=n-1;
步骤7:将i加1,恢复G中各链路长度为初始值,重复步骤6直至i=n-2;
步骤8:从集合B中选出中介特征值和最小的一条路径p’,并将其加入集合Ps;
步骤9:若求出K条路径,则转入步骤10,否则将k加1,并重复步骤5至步骤9,直至B中不存在任何路径,然后转入步骤10;
步骤10:结束。
最大化最小公平多商品流线性规划模型(在为每个传输请求计算出候选的传输路径后,才能开始求解最大化最小公平原则下的带宽分配值):
利用上述算法为每个数据流传输请求求解对应的数据传输路径集合Pi,使用线性规划模型对最大化最小公平多商品流宽资源分配问题进行建模。在给定的网络G上,假定有N个数据传输请求,每个请求r=(src,dest,dem)是一个三元组,其中src表示数据发送源点,dest表示数据接受目的点,dem表示请求传输的数据量。每个请求可用的数据传输路径集合为Pi,每个请求可能有多条不同的传输路径,这些路径组成的集合就是该请求的候选路径集合Pi
Figure BDA00002711713400101
表示在路径p上分配给请求ri的带宽值,对应的最大化最小公平多商品流线性规划模型(MMF线性规划模型)如下:
maximize    λ
s . t . Σ r i ∈ R Σ p ∈ P i f p r i ≤ C e , ∀ e ∈ E , e ∈ P i - - - ( 1 )
Σ p ∈ P i f p r i ≥ λ · dem i , ∀ r i ∈ R unsat - - - ( 2 )
Σ p ∈ P i f p r i ≥ λ q i sat · dem i , ∀ r i ∈ R sat - - - ( 3 )
f p r i ≥ 0 , λ ≥ 0 , ∀ p ∈ P i = 1 . . . K - - - ( 4 )
模型中,s.t.意思是需要满足(1)、(2)、(3)和(4)式的约束条件;整体模型的含义为,(1)、(2)、(3)和(4)这四个式子都是约束条件,需要在同时满足这四个式子的前提下,求解出最大的λ值。
Figure BDA00002711713400115
为已经求得最大传输流量的那些请求所对应的λ值;
在该模型中,将请求分为饱和请求集合Rsat和非饱和请求集合Runsat(饱和请求即已经求出最大λ值的那些请求,反之,还未求出最大λ值的请求为非饱和请求。)。饱和请求是指在MMF规则限制下,无法继续获取更多带宽资源的请求;而非饱和请求是指在MMF规则限制下,可以进一步获取带宽资源的请求。模型的求解目标为最大化非饱和请求的带宽分配比例值λ(分配带宽资源与请求带宽资源的比例值,如(2)式所示);而对饱和请求,则只需保证其维持获取已有的带宽分配比例值
Figure BDA00002711713400116
即可(如(3)式所示);同时,带宽资源的分配值需要保证不超过对应链路的容量限制(如(1)式所示);
Figure BDA00002711713400117
和λ均为实数,任意路径p为各个请求路径集合中的一条(如(4)式所示)。
步骤2,基于每个请求已有的传输路径集合,迭代求出其对应最优的满足最大化最小公平规则的网络带宽资源分配方案(即最大化最小公平多商品流带宽分配求解算法):
基于MMF线性规划模型和各个请求的传输路径集合,设计了高效的K条不重叠路径的最大化最小公平多数据流调度算法(K-Disjoint Shortest Multi-PathMax-Min Fair,K-DSMP-MMF)(下面将本发明的方法简称为K-DSMP-MMF)。其对应的基本思想为:首先同步增加所有未饱和请求的带宽分配资源,直至当某个请求无法继续获取更多带宽资源时,将该请求归入饱和请求的集合当中,并记录此时该请求的所获取的带宽资值。如此重复上述步骤,直至所有的请求均饱和,便获得了最优的带宽分配方案。算法具体步骤描述如下:
步骤1:设定饱和请求集合为空,非饱和请求集合包含全部传输请求,根据给定的网络信息求解出每个请求的全部传输路径(即所述K条不重叠传输路径的集合);
步骤2:对MMF线性规划模型进行求解,得出带宽分配比例值λ;
步骤3:对请求是否已经饱和进行验证:首先筛选出没有多余连接能力的请求集合Rtmp;针对Rtmp中的每个请求ri,将Runsat设定为只包含请求ri,Rsat则设定为包含剩余全部请求,其中原有的已饱和请求的饱和值维持不变,未饱和请求的已有带宽资源分配比例值
Figure BDA00002711713400121
则设定为λ;继续求解更新后的MMF线性规划模型,得到新的带宽分配比例值λtmp;若λtmp与λ相等,则请求ri可被判定为真正饱和,将ri加入到Rsat,并记录对应的λ;
步骤4:重复步骤2到步骤3,直至Runsat为空。
步骤5:输出多传输请求的带宽分配值以及对应的数据传输路径。
为了更好地说明本发明算法的优点,将本发明K-DSMP-MMF与OPT-MMF以及不考虑链路重叠性的K-SMP-MMF调度算法从“MMF带宽资源分配总量”和“算法运行时间开销”两个方面进行了比较。
实验的设置如下:选取Softlayer公司的真实数据中心骨干网络拓扑(请参考Softlayer datacenter map,http://www.softlayer.com/advantages/network-overview/),包括11个数据中心节点和17条双向的骨干网链路,每个数据中心节点之下连接了200个主机节点。数据中心骨干网带宽设定为10GB,每个主机节点据有1Gb的上行和下行带宽,数据中心网络拓扑如图3所示。
下面通过分析实验数据来说明本发明K-DSMP-MMF算法的性能。
在考察“带宽资源分配总量”时,先后进行请求数量从100-1000,间隔为100的10组实验,每组实验重复5次求取其平均值。其中每个请求的发送和接收点均为随机生成,其传输数据量均匀分布在0.1TB-5TB的范围内。与OPT-MMF和K-SMP-MMF算法比较,三者在请求规模为100,500,700和1000时的Max-Min Fair带宽资源分配总量如图4-1至图4-4所示,可以发现:1.通过为每个请求分配不超过18条路径便可保证其达到最优值,证明可以通过考虑为每个请求选择合适的路径集合,实现减少带宽资源分配复杂度的目的;2.K-DSMP-MMF可以使用比K-SMP-MMF更少的路径完成带宽资源分配的最大化,这是因为其在选择路径时考虑了路径的重叠性因素的影响。通过本组实验,可以得出选择本发明K-DSMP-MMF算法,设置K=10时可以求出较优的Max-Min-Fair分配值。
在考察“算法运行时间开销”指标时,先后进行请求数量从100-1000,间隔为100的10组实验,每组实验重复5次求取其平均值。其中每个请求的发送和接收点均为随机生成,其传输数据量均匀分布在0.1TB-5TB的范围内。与OPT-MMF和K-SMP-MMF算法比较,三者在请求规模为100,500,700和1000时的Max-Min Fair求解Max-Min Fair带宽资源分配结果的时间开销如图5-1至图5-4所示,可以发现:1.通过降低每个请求的候选路径集合规模,可以大幅度减少算法运行的时间规模开销,当K=10时,K-SMP-MMF和K-DSMP-MMF二者比OPT-MMF算法的运行时间少63.7%;2.K-SMP-MMF和K-DSMP-MMF算法的时间开销随K的增加呈线性增长,并且二者相差不多。通过这两组实验,可以总结得出K-DSMP-MMF可使用很少的时间,求出较优的Max-Min Fair网络资源带宽分配结果。
本发明可以应用于最大化最小公平多商品流分配方案的高效求解场景中。图6描述了一个对应的实施例,该网络有9个节点,各链路的带宽资源情况如图6中标识所示。有两个单位传输请求,分别为r1=(v0,v2,1)和r2=(v3,v8,1)。该实施例中,经过本发明方法求解得出K=4时的分配方案如表2所示,各自的带宽分配值分别为3,2。该实施例中,如图5-1至图5-4所示,利用本发明方法所用的求解时间为12秒,而利用OPT-MMF算法的运行时间22秒,运行平台为IntelCore 2 Duo CPU 2GHz,2GB内存。表2说明可以通过有效选择每个传输请求的候选传输路径(即为每个请求选择4条不重叠路径),来求得次优的MMF分配值(即3,2)。而传统的方法求解MMF分配值时,需要为每个请求计算出全部候选传输路径,导致计算开销很大,这可以从图5-1至图5-4所给出的实验数据看出。
Figure BDA00002711713400141
表2
上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。

Claims (6)

1.一种最大化最小公平多数据流传输调度方法,其特征在于:所述方法包括:
输入数据中心网络拓扑信息和数据流传输请求信息,计算网络拓扑中每条边的中介性特征值;所述数据中心网络拓扑信息包括各个数据中心之间的链路连接关系和每条链路的带宽容量;所述数据流传输请求信息包括每个数据流传输请求的发送端、目的端和请求传输的数据量;
基于所述中介性特征值,对两点间的不同路径进行评估,为每个数据流传输请求选出特定的K条不重叠传输路径的集合Pi;以及
基于每个数据流传输请求的所述K条不重叠传输路径的集合Pi,迭代求出其对应最优的满足最大化最小公平规则的网络带宽资源分配方案。
2.根据权利要求1所述的最大化最小公平多数据流传输调度方法,其特征在于:所述基于所述中介性特征值,对两点间的不同路径进行评估,为每个数据流传输请求选出特定的K条不重叠传输路径的集合Pi包括:
(A1):给定网络G(V,E),源点和目的点分别为vs和vt,以及需要求出的路径数目K;
(A2):在网络G上求解其最短路径p1,将p1加入集合Ps,并将p1所占据的带宽资源从G中减去,得到残余网络Gr;所述Ps为分配给每个数据流传输请求的路径集合;
(A3):在残余网络Gr上重复步骤(A2)直至路径数达到K或无法求出新的最短路径;若其中出现多条长度相等的路径的情况,选择中介性特征值和最小的路径;所述中介性特征值和是指每个路径中各条边的中介性特征值的和;
(A4):若求出K条路径,则转入步骤(A10),否则设置变量k=1,并转入步骤(A5);
(A5):将Ps中的路径按照长度从小到大进行排序,然后从Ps中选出第k条路径,pk=(v1,v2,...,vi,vj,...,vn),其中,n为该路径上的节点数量,i,j均为初始值为0的整数;
(A6):对任意0<j<n,先将pk的链路(vi,vj)长度设为无穷,之后在网络G上求出从vl至vn的最短路径pd,并将其加入集合B,重复步骤(A6)直至j=n-1;
(A7):将i加1,恢复G中各链路长度为初始值,重复步骤(A6)直至i=n-2;
(A8):从集合B中选出中介特征值和最小的一条路径p’,并将其加入集合Ps;
(A9):若求出K条路径,则转入步骤(A10),否则将k加1,并重复步骤(A5)至步骤(A9),直至B中不存在任何路径,然后转入步骤(A10);
(A10)结束。
3.根据权利要求2所述的最大化最小公平多数据流传输调度方法,其特征在于:所述基于每个数据流传输请求的所述K条不重叠传输路径的集合Pi,迭代求出其对应最优的满足最大化最小公平规则的网络带宽资源分配方案包括:
(B1):基于对数据中心网间带宽资源开销的预测信息,利用时间延展网络转换方法将具有动态空闲带宽资源的网络转换为静态流网络;
(B2):基于所述静态流网络,对所有数据流传输请求建立最大化最小公平多商品流线性规划模型;
(B3):迭代地求解所述最大化最小公平多商品流线性规划模型,得出各个数据流传输请求的最大传输流量以及对应的数据传输路径。
4.根据权利要求3所述的最大化最小公平多数据流传输调度方法,其特征在于:所述步骤(B1)的所述时间延展网络转换方法是这样实现的:将网络资源从时间维度进行延展,使具有动态空闲带宽资源的网络的动态带宽资源和节点的存储资源能力统一转化到一张静态流网络上。
5.根据权利要求4所述的最大化最小公平多数据流传输调度方法,其特征在于:所述步骤(B2)中的所述最大化最小公平多商品流线性规划模型为:
maximize    λ
s . t . Σ r i ∈ R Σ p ∈ P i f p r i ≤ C e , ∀ e ∈ E , e ∈ P i - - - ( 1 )
Σ p ∈ P i f p r i ≥ λ · dem i , ∀ r i ∈ R unsat - - - ( 2 )
Σ p ∈ P i f p r i ≥ λ q i sat · dem i , ∀ r i ∈ R sat - - - ( 3 )
f p r i ≥ 0 , λ ≥ 0 , ∀ p ∈ P i = 1 . . . K - - - ( 4 )
其中,ri是一个数据流传输请求,R是所有数据流传输请求的集合,
Figure FDA00002711713300035
表示在路径p上分配给ri的带宽值,Ce代表链路e的带宽资源,E={e1,e2,...,em},是网络中所有链路e的集合,λ为饱和的带宽分配比例值,demi是ri传输的数据量,Runsat为非饱和请求集合,为已经求得最大传输流量的那些请求所对应的λ值,Rsat为饱和请求集合;
(1)、(2)、(3)和(4)这四个式子为约束条件。
6.根据权利要求5所述的最大化最小公平多数据流传输调度方法,其特征在于:所述步骤(B3)包括:
S1:设定饱和请求集合Rsat为空、非饱和请求集合Runsat包含所有数据流传输请求ri
S2:对最大化最小公平多商品流线性规划模型进行求解,即在同时满足(1)、(2)、(3)和(4)这四个式子的前提下,求出最大的λ值;
S3:筛选出没有多余连接能力的请求集合Rtmp:根据数据流传输请求现有的传输路径带宽资源的利用情况,若某数据流传输请求的带宽资源已被全部占满,则将其被选入请求集合Rtmp
S4:针对Rtmp中的每个请求ri,将Runsat设定为只包含一个请求ri,Rsat则设定为包含请求集合R中除去请求ri以外的剩余的全部请求,其中原有的已饱和请求的
Figure FDA00002711713300041
值维持不变,未饱和请求的饱和值则设定为λ,利用这些值更新(2)式和(3)式后得到更新后的最大化最小公平多商品流线性规划模型;
S5:求解所述更新后的最大化最小公平多商品流线性规划模型,得到新的λtmp;若λtmp与λ相等,则请求ri被判定为真正饱和,将ri加入到Rsat,并记录对应的λ,若λtmp与λ不相等,则转入步骤S4;
S6:多次重复步骤S2到步骤S5,直至Runsat为空,得到最优的λ;
S7:输出最大传输流量以及对应的数据传输路径,所述最大传输流量是指所述最优的λ和链路带宽的乘积;所述数据传输路径包含在与最优的λ对应的中。
CN201310005320.1A 2013-01-07 2013-01-07 一种最大化最小公平多数据流传输调度方法 Expired - Fee Related CN103036792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310005320.1A CN103036792B (zh) 2013-01-07 2013-01-07 一种最大化最小公平多数据流传输调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310005320.1A CN103036792B (zh) 2013-01-07 2013-01-07 一种最大化最小公平多数据流传输调度方法

Publications (2)

Publication Number Publication Date
CN103036792A true CN103036792A (zh) 2013-04-10
CN103036792B CN103036792B (zh) 2015-05-20

Family

ID=48023296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310005320.1A Expired - Fee Related CN103036792B (zh) 2013-01-07 2013-01-07 一种最大化最小公平多数据流传输调度方法

Country Status (1)

Country Link
CN (1) CN103036792B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740249A (zh) * 2014-12-08 2016-07-06 Tcl集团股份有限公司 一种大数据作业并行调度过程中的处理方法及其系统
CN106209683A (zh) * 2016-06-20 2016-12-07 中国科学院上海高等研究院 基于数据中心广域网的数据传输方法及系统
CN106416158A (zh) * 2013-12-23 2017-02-15 谷歌公司 用于大规模数据中心网络的业务工程
WO2017088638A1 (zh) * 2015-11-24 2017-06-01 清华大学 中间处理约束下的异构网络资源配置方法
CN107645411A (zh) * 2017-09-08 2018-01-30 北京百悟科技有限公司 一种基于线性规划的通道流量调拨方法及装置
WO2018166249A1 (zh) * 2017-03-14 2018-09-20 华为技术有限公司 一种网络业务传输的方法及系统
CN108712337A (zh) * 2018-04-26 2018-10-26 西北大学 高性能网络中多路径带宽调度方法
CN108809834A (zh) * 2018-07-20 2018-11-13 台州学院 一种基于路径扩展与淘汰机制的网络拓扑分散短路径集合计算方法
CN108833294A (zh) * 2018-08-08 2018-11-16 清华大学 面向数据中心广域网的低带宽开销的流量调度方法
CN108880894A (zh) * 2018-06-28 2018-11-23 南方科技大学 一种网络带宽的规划方法、装置、设备和存储介质
CN111343093A (zh) * 2020-02-28 2020-06-26 腾讯科技(深圳)有限公司 业务数据的传输方法及装置
CN114830609A (zh) * 2019-10-30 2022-07-29 西门子股份公司 调度通过电信网络的传输

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136379A1 (en) * 2001-03-13 2004-07-15 Liao Raymond R Method and apparatus for allocation of resources
CN1798068A (zh) * 2004-12-30 2006-07-05 朗迅科技公司 在网络中提供有限中继保护通道的方法和设备
US20060291392A1 (en) * 2005-06-28 2006-12-28 Alicherry Mansoor A K Multi-path routing using intra-flow splitting
CN101409681A (zh) * 2008-11-24 2009-04-15 北京交通大学 基于节点梯次移动的新型无线传感器网络节能路由算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136379A1 (en) * 2001-03-13 2004-07-15 Liao Raymond R Method and apparatus for allocation of resources
CN1798068A (zh) * 2004-12-30 2006-07-05 朗迅科技公司 在网络中提供有限中继保护通道的方法和设备
US20060291392A1 (en) * 2005-06-28 2006-12-28 Alicherry Mansoor A K Multi-path routing using intra-flow splitting
CN101409681A (zh) * 2008-11-24 2009-04-15 北京交通大学 基于节点梯次移动的新型无线传感器网络节能路由算法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416158A (zh) * 2013-12-23 2017-02-15 谷歌公司 用于大规模数据中心网络的业务工程
CN106416158B (zh) * 2013-12-23 2019-08-16 谷歌有限责任公司 用于大规模数据中心网络的业务工程
CN105740249A (zh) * 2014-12-08 2016-07-06 Tcl集团股份有限公司 一种大数据作业并行调度过程中的处理方法及其系统
CN105740249B (zh) * 2014-12-08 2020-05-22 Tcl科技集团股份有限公司 一种大数据作业并行调度过程中的处理方法及其系统
WO2017088638A1 (zh) * 2015-11-24 2017-06-01 清华大学 中间处理约束下的异构网络资源配置方法
CN106209683B (zh) * 2016-06-20 2019-05-07 中国科学院上海高等研究院 基于数据中心广域网的数据传输方法及系统
CN106209683A (zh) * 2016-06-20 2016-12-07 中国科学院上海高等研究院 基于数据中心广域网的数据传输方法及系统
WO2018166249A1 (zh) * 2017-03-14 2018-09-20 华为技术有限公司 一种网络业务传输的方法及系统
CN108574594A (zh) * 2017-03-14 2018-09-25 华为技术有限公司 一种网络业务传输的方法及系统
US11252077B2 (en) 2017-03-14 2022-02-15 Huawei Technologies Co., Ltd. Network service transmission method and system
CN107645411A (zh) * 2017-09-08 2018-01-30 北京百悟科技有限公司 一种基于线性规划的通道流量调拨方法及装置
CN108712337B (zh) * 2018-04-26 2020-07-07 西北大学 高性能网络中多路径带宽调度方法
CN108712337A (zh) * 2018-04-26 2018-10-26 西北大学 高性能网络中多路径带宽调度方法
CN108880894A (zh) * 2018-06-28 2018-11-23 南方科技大学 一种网络带宽的规划方法、装置、设备和存储介质
CN108880894B (zh) * 2018-06-28 2022-03-18 南方科技大学 一种网络带宽的规划方法、装置、设备和存储介质
CN108809834A (zh) * 2018-07-20 2018-11-13 台州学院 一种基于路径扩展与淘汰机制的网络拓扑分散短路径集合计算方法
CN108809834B (zh) * 2018-07-20 2020-08-28 台州学院 一种基于路径扩展与淘汰机制的网络拓扑分散短路径集合计算方法
CN108833294A (zh) * 2018-08-08 2018-11-16 清华大学 面向数据中心广域网的低带宽开销的流量调度方法
CN108833294B (zh) * 2018-08-08 2020-10-30 清华大学 面向数据中心广域网的低带宽开销的流量调度方法
CN114830609A (zh) * 2019-10-30 2022-07-29 西门子股份公司 调度通过电信网络的传输
CN114830609B (zh) * 2019-10-30 2024-03-26 西门子股份公司 调度通过电信网络的传输
CN111343093A (zh) * 2020-02-28 2020-06-26 腾讯科技(深圳)有限公司 业务数据的传输方法及装置
CN111343093B (zh) * 2020-02-28 2021-07-09 腾讯科技(深圳)有限公司 业务数据的传输方法及装置

Also Published As

Publication number Publication date
CN103036792B (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
CN103036792B (zh) 一种最大化最小公平多数据流传输调度方法
CN106936645B (zh) 基于排队论的树形网络拓扑结构的优化方法
JP6366291B2 (ja) 並列コンピューティング・システムにおける全対全メッセージ交換のための方法、システム、計算ノード、およびコンピュータ・プログラム(並列コンピューティング・システムにおける全対全メッセージ交換)
CN104937901B (zh) 用于面向内容的网络中提供路由和存储的流量工程的方法
CN102055675B (zh) 一种基于负载均衡的多径路由分配方法
CN105634974B (zh) 软件定义网络中的路由确定方法和装置
CN108566659A (zh) 一种基于可靠性的5g网络切片在线映射方法
CN105827545A (zh) 数据中心网络中tcp共流的调度方法和装置
CN106911567A (zh) 面向大数据的高性能网络中多条固定路径带宽调度方法
CN104601473A (zh) 一种带约束的多目标路径的路由生成方法及系统
CN107204933A (zh) 分布式流量调节方法及装置
CN105591895A (zh) 管理网络流量的网络装置及其方法
CN107483355B (zh) 面向数据中心的在线场景低带宽开销流量调度方案
CN105610707A (zh) AntNet路由算法在二维网格拓扑片上网络中的实现方法
CN102946443B (zh) 一种实现大规模数据传输的多任务调度方法
CN108737268A (zh) 软件定义工业物联网资源调度方法
CN117135059B (zh) 一种网络拓扑结构、构造方法、路由算法、设备及介质
WO2023109445A1 (zh) 一种基于时间触发以太网的业务调度方法
Feng et al. Load shedding and distributed resource control of stream processing networks
CN106209683B (zh) 基于数据中心广域网的数据传输方法及系统
Thirumurugan et al. Ex-PAC: An improved clustering technique for ad hoc network
CN107707471A (zh) 基于大规模sdn的最小化转发链路数的节能方案
Rétvári et al. Fairness in capacitated networks: A polyhedral approach
Kruskal et al. Cost-performance tradeoffs for interconnection networks
CN115086185B (zh) 一种数据中心网络系统及数据中心传输方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150520

Termination date: 20170107