CN102946443B - 一种实现大规模数据传输的多任务调度方法 - Google Patents

一种实现大规模数据传输的多任务调度方法 Download PDF

Info

Publication number
CN102946443B
CN102946443B CN201210521584.8A CN201210521584A CN102946443B CN 102946443 B CN102946443 B CN 102946443B CN 201210521584 A CN201210521584 A CN 201210521584A CN 102946443 B CN102946443 B CN 102946443B
Authority
CN
China
Prior art keywords
request
network
data transmission
bandwidth
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210521584.8A
Other languages
English (en)
Other versions
CN102946443A (zh
Inventor
苏森
双锴
王艺文
徐鹏
王玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201210521584.8A priority Critical patent/CN102946443B/zh
Publication of CN102946443A publication Critical patent/CN102946443A/zh
Application granted granted Critical
Publication of CN102946443B publication Critical patent/CN102946443B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种实现大规模数据传输的多任务调度方法,属于计算机网络中的网络数据流量优化领域。所述方法包括:输入数据中心网络拓扑信息和数据中心网间带宽资源开销的预测信息;步骤1,基于对数据中心网间带宽资源开销的预测信息,利用时间延展网络转换方法将具有动态空闲带宽资源的网络转换为静态流网络;步骤2,基于所述静态流网络,对多个大规模数据传输请求建立最大化最小公平多商品流线性规划模型;步骤3,迭代地求解所述最大化最小公平多商品流线性规划模型,得出各大规模数据传输请求的最大传输流量以及对应的数据传输路径。本发明方法大大提高了数据中心网间带宽资源的平均利用率,并缩短了多个数据传输任务的平均传输时间。

Description

一种实现大规模数据传输的多任务调度方法
技术领域
本发明属于计算机网络中的网络数据流量优化领域,具体涉及一种实现大规模数据传输的多任务调度方法,用于解决数据中心网间大规模数据传输造成的网间带宽资源开销过大的问题。
背景技术
伴随着云计算服务的兴起,现有数据中心中存储的业务数据规模也与日剧增。据最新统计显示,美国国家海洋和大气管理局(NOAA)存储着超过20PB的全球海洋信息数据(请参考National Oceanic and AtmosphericAdministration,http://www.noaa.gov/);Facebook每天在30万台服务器上整理25TB的日志数据(请参考Facebook Statistics,http://www.facebook.com/press/info.php?statistics);YouTube全球用户每天上传168TB的视频数据(请参考Youtube Statistics,http://www.youtube.com/)。海量数据不仅可以用于气象预测和科学计算,同时也蕴含了巨大的商业价值。
因此,为保证数据中心数据的高可靠性和高可用性,海量数据及其副本信息会被周期性地分散存储到分布在全球各地的数据中心内。但由于海量数据规模巨大(TB-PB级),对应的数据备份或迁移操作往往会对现有的稀缺数据中心骨干网带宽资源造成严重负担(请参考A.Mahimkar,A.Chiu,R.Doverspike,M.Feuer,P.Magill,E.Mavrogiorgis,J.Pastor,S.Woodward,J.Yates,Bandwidth on Demand for Inter-Data Center Communication,in Proceedingof ACM HotNets,2011和Y.CHen,S.Jain,V.K.Adhikari,Z.-L.Zhang,and K.Xu,A First Look at Inter-Data Center Traffic Characteristics viaYahoo!Datasets,in Proceeding of IEEE INFOCOM 2011),进而影响到其他数据中心其他业务数据的传输,并且增加了数据中心之间的带宽开销成本(请参考A.Greenberg,J.Hamiltion,D.A.Maltz,and P.Patel.The Cost of aCloud:Research Problems in Data Center Networks.in ACM SIGCOMM computercommunication review,39(1),2009)。
与此同时,数据中心骨干网带宽资源往往按照其峰值开销进行配置,导致其消耗呈现强烈的“潮汐效应”,即伴随用户访问量的周期性波动,白天数据中心带宽资源紧缺,夜间由于用户访问规模下降,带宽资源反而又比较富裕,从而导致了数据中心骨干网带宽资源平均利用率较低(请参考N.Laoutaris,M.Sirivianos,X.Yang,and P.Rodriguez,Inter-Datacenter Bulk Transferswith NetStitcher,in Proceeding of ACM SIGCOMM,2011)。
骨干网带宽资源的平均利用率低的现状不能满足大规模数据传输对带宽资源的强烈需求。
发明内容
本发明的目的在于解决上述现有技术中存在的难题,提供一种实现大规模数据传输的多任务调度方法,利用动态的空闲网间带宽资源完成大规模数据传输,其目的是提高数据中心骨干网带宽资源的平均利用率、减少大规模数据传输对日常业务数据传输所造成的负面影响以及降低数据中心运营商数据备份、迁移等操作的传输开销。
本发明是通过以下技术方案实现的:
一种实现大规模数据传输的多任务调度方法,所述方法包括以下步骤:
输入数据中心网络拓扑信息和数据中心网间带宽资源开销(即链路带宽资源开销)的预测信息;
步骤1,基于对数据中心网间带宽资源开销的预测信息,利用时间延展网络转换方法将具有动态空闲带宽资源的网络转换为静态流网络;
步骤2,基于所述静态流网络,对多个大规模数据传输请求建立最大化最小公平多商品流线性规划模型;
步骤3,迭代地求解所述最大化最小公平多商品流线性规划模型,得出各大规模数据传输请求的最大传输流量以及对应的数据传输路径。
所述步骤1中所述时间延展网络转换方法是这样实现的:将网络资源从时间维度进行延展,使具有动态空闲带宽资源的网络的动态带宽资源和节点的存储资源能力统一转化到一张静态流网络上。
所述步骤2是这样实现的:
将多个大规模数据传输请求建模为下面的最大化最小公平多商品流线性规划模型:
s . t . max imize λ Σ r i ∈ R Σ p ∈ P i f p r i ≤ C e , ∀ e ∈ E , e ∈ P i - - - ( 1 )
Σ p ∈ P i f p r i ≥ λ · dem i , ∀ r i ∈ R unsat - - - ( 2 )
Σ p ∈ P i f p r i ≥ λ q i sat · dem i , ∀ r i ∈ R sat - - - ( 3 )
f p r i ≥ 0 , λ ≥ 0 , ∀ p ∈ P i = 1 . . . K - - - ( 4 )
其中,ri是一个大规模数据传输请求,R是所有大规模数据传输请求的集合,Pi为每个ri可用的数据传输路径集合,表示在路径p上分配给ri的带宽值,Ce代表链路e的带宽资源,E={e1,e2,...,em},是网络中所有链路e的集合,λ为饱和的带宽分配比例值(又称为流量值),demi是ri传输的数据量,Runsat为非饱和请求集合,为已经求得最大传输流量的那些请求所对应的λ值,Rsat为饱和请求集合;
(1)、(2)、(3)和(4)这四个式子为约束条件。
所述步骤3包括以下步骤:
S1:设定饱和请求集合Rsat为空、非饱和请求集合Runsat包含所有大规模数据传输请求ri,根据输入的数据中心网络拓扑信息求解出每个ri的全部传输路径;
S2:对最大化最小公平多商品流线性规划模型进行求解,即在同时满足(1)、(2)、(3)和(4)这四个式子的前提下,求出最大的λ值;
S3:筛选出没有多余连接能力的请求集合Rtmp
根据传输请求现有的传输路径带宽资源的利用情况,若某传输请求的带宽资源已被全部占满,则将其选入请求集合Rtmp
S4:针对Rtmp中的每个请求ri,将Runsat设定为只包含一个请求ri,Rsat则设定为包含请求集合R中除去请求ri以外的剩余的全部请求,其中原有的已饱和请求的饱和值维持不变,未饱和请求的饱和值则设定为λ,利用这些值更新(2)式和(3)式后得到更新后的最大化最小公平多商品流线性规划模型;
S5:求解所述更新后的最大化最小公平多商品流线性规划模型,得到新的带宽分配比例值λtmp;若λtmp与λ相等,则请求ri被判定为真正饱和,将ri加入到Rsat,并记录对应的λ,若λtmp与λ不相等,则转入步骤S4;
S6:多次重复步骤S2到步骤S5,直至Runsat为空,得到最优的λ;
S7:输出最大传输流量以及对应的数据传输路径,所述最大传输流量是指所述最优的λ和链路带宽的乘积;所述数据传输路径包含在与最优的λ对应的中。
与现有技术相比,本发明的有益效果是:本发明方法大大提高了数据中心网间带宽资源的平均利用率,并且缩短了多个数据传输任务的平均传输时间。
附图说明
图1-1是时间延展网络方法实例图中的一个一个拥有3个节点和2条链路的物理网络G(V,E)。
图1-2是图1-1所示物理网络对应的5倍时间延展网络G5(V5,E5)。
图2-1是Softlayer数据中心网络拓扑。
图2-2是对应图2-1中的各地数据中心可用带宽资源。
图3是单天最大传输数据量比较结果。
图4是平均传输完成时间比较结果。
图5-1是本发明实施例中的各链路的带宽资源情况图。
图5-2是本发明实施例中的节点带宽资源可用情况图。
图5-3是本发明实施例中的传输的时序图。
图6是本发明实现大规模数据传输的多任务调度方法的步骤框图。
具体实施方式
下面结合附图对本发明作进一步详细描述:
如图6所示,本发明方法包括以下步骤:
步骤1,基于对数据中心网间带宽资源开销的预测情况,利用时间延展网络方法将动态空闲带宽资源的网络转换为静态流网络;
步骤2,基于静态流网络,对多个大规模数据传输请求建立最大化最小公平多商品流(Max-Min Fair Multi-Commodity Flow,MMF-MCF)线性规划模型(请参考M.Allalouf and Y.Shavitt.Centralized and distributed algorithmsfor routing and weighted max-min fair bandwidth allocation,in IEEE/ACMTransaction on Networking,vol.16,no.5,pp.1015-1024,2008);
步骤3,设计最优的大规模数据传输多任务求解算法,对该模型进行求解得出各请求的最大传输流量及对应的数据传输路径。
下面具体对每个步骤进行解释。
步骤1,基于对数据中心网间带宽资源开销的预测情况,利用时间延展网络方法将动态空闲带宽资源的网络转换为静态流网络。
基于时间延展网络方法的动态静态网络转换方法如下:
虽然数据中心网间空闲带宽资源具有一定的周期性,但仍旧是动态的,这种动态性一方面造成数据的发送和接收方可用带宽资源在时间上的异步性,另一方面也为后续数据传输调度算法的设计提出了很大挑战。因此首先引入节点的存储能力用于实现数据的存储-转发;同时利用时间延展网络转换方法(请参考L.Fleischer and M.Skutella,Quickest Flows Over Time,SIAM J.Computing,vol.36,no.6,pp.1600-1630,2007),将网络资源从时间维度进行延展,使存储能力和动态带宽资源统一转化到一张静态网络上,以方便后续调度算法的决策。
时间延展网络转换方法的具体步骤如下:给定网络G(V,E),其中V={v1,v2,...,vn}代表网络中所有节点v集合,E={e1,e2,...,em}代表网络中所有链路e的集合,Ce代表链路e的带宽资源,S(v)代表节点v的存储资源。当生成T倍时间延展网络GT(VT,ET)时,首先对原始网络的节点在时间维度上复制T倍;若原始网络上的链路(vi,vj)资源在t=1,2,...T时刻仍然可以使用,则在GT(VT,ET)上对应时刻的节点拷贝上,对该边同样进行复制,并赋予其t时刻的可用带宽资源值;最后,对任意的(vt,vt+1)两点添加T-1条链路,链路上赋予其在t时刻的可用存储资源值。这样便完成了从原始物理网络向时间延展网络的转换,通过这步转换,动态的带宽资源以及节点的存储资源能力都被统一的表示在一张静态流网络拓扑上,从而便于后续请求调度算法的设计。
图1-1和图1-2给出一个时间延展网络方法实例。图1-1表示一个拥有3个节点和2条链路的物理网络G(V,E),节点v1,v2和v3的存储资源分别为无穷,200和无穷,链路e1和e2的带宽资源分别为10和5,上述资源在从1至5的任意时刻均可用。图1-2表示对应的5倍时间延展网络G5(V5,E5)。
步骤2,基于静态流网络,对多个大规模数据传输请求建立最大化最小公平多商品流(Max-Min Fair Multi-Commodity Flow,简称为MMF-MCF)线性规划模型。
建立多个大规模数据传输任务线性规划模型(就是指上面的“最大化最小公平多商品流线性规划模型”)如下:
转换完成时间延展网络后,利用Max-Min Fair思想(请参考D.Bertsekasand R.Gallager,Data Networks,2nd ed.,Englewood Cliffs,NJ:Prentice-Hall,1992),将多个数据传输请求建模为Max-Min FairMulti-Commodity Flow模型,在使各个请求尽可能多的获取网络带宽资源的同时,又保证了请求之间资源获取的公平性。
在给定的时间延展网络GT(就是指GT(VT,ET)),假定有K个数据传输请求,每个请求r=(src,dest,dem)是一个三元组的表达形式,其中src表示数据发送源点,dest表示数据接受目的点,dem表示请求传输的数据量。每个请求可用的数据传输路径集合为Pi(每个请求可能有多条不同的传输路径,这些路径组成的集合就是该请求的候选路径集合),表示在路径p上分配给请求ri的带宽值,对应的MMF-MCF模型如下:
s . t . max imize λ Σ r i ∈ R Σ p ∈ P i f p r i ≤ C e , ∀ e ∈ E , e ∈ P i - - - ( 1 )
Σ p ∈ P i f p r i ≥ λ · dem i , ∀ r i ∈ R unsat - - - ( 2 )
Σ p ∈ P i f p r i ≥ λ q i sat · dem i , ∀ r i ∈ R sat - - - ( 3 )
f p r i ≥ 0 , λ ≥ 0 , ∀ p ∈ P i = 1 . . . K - - - ( 4 )
其中,s.t.意思是需要满足(1)、(2)、(3)和(4)式的约束条件;每个请求可能有多条不同的传输路径,这些路径组成的集合就是该请求的候选路径集合Pi为已经求得最大传输流量的那些请求所对应的λ值。
整体模型含义为,(1)、(2)、(3)和(4)这四个式子都是约束条件,需要在同时满足的前提下,求出对应最大的λ值。
在该模型中,将请求分为饱和请求集合Rsat和非饱和请求集合Runsat(饱和请求即已经求出最大λ值的那些请求,反之,还未求出最大λ值的请求为非饱和请求。),模型的求解目标在于最大化非饱和请求的带宽分配比例值λ;而对饱和请求,则只需保证其维持获取已有的带宽分配比例值即可(在该模型中,只是尝试求解对非饱和请求的最大λ值(包含在(2)式中),而对饱和请求,因为已经求出其对应最大的λ值(表示为),因此将其转化为约束条件(包含在(3)式中),而非求解目标)。
步骤3,设计最优的大规模数据传输多任务求解算法,对该模型进行求解得出各请求的最大传输流量及对应的数据传输路径。
最优的大规模数据传输多任务求解算法具体如下:
基于MMF-MCF线性规划模型,设计了实现大规模数据传输的多任务调度方法(为描述方便,下面将本发明方法简称为OPT-MBDTA算法),其对应的基本思想为:首先同步增加所有未饱和请求的带宽分配资源比例,直至当某个请求无法继续获取更多带宽资源时,将该请求归入饱和请求的集合当中,并记录此时该请求的带宽资源分配比例值。如此重复上述步骤,直至所有的请求均饱和,便获得了最优的带宽分配值。
算法具体步骤描述:
S1:设定饱和请求集合为空,非饱和请求集合包含全部传输请求,根据给定的网络信息求解出每个请求的全部传输路径(采用通用的求解算法即可,请参考该文献:梁磊,两点间所有路径的遍历算法,《科技信息》,2010年33期)。
S2:对MMF-MCF线性规划模型进行求解,得出带宽分配比例值λ(线性规划模型求解可采用通用算法,请参考文献Robert J.Vanderbei,LinearProgramming:Foundations and Extensions,3rd ed.,International Series inOperations Research & Management Science,Vol.114,Springer Verlag,2008.ISBN978-0-387-74387-5.)。
S3:对请求是否已经饱和进行验证:首先筛选出没有多余连接能力的请求集合Rtmp;“没有多余连接能力”是指该传输请求在现有的传输路径条件下,已经没有多余的物理带宽资源用于数据的进一步传输。但是,传输请求可以通过更新其传输路径,在新的路径条件下,完成更多的数据传输。因此说,没有多余连接能力只是饱和的一个必要条件,传输请求只有在其全部可能的传输路径条件情况下,均无法传输更多的数据时,才被称作饱和。而这个后续的检测步骤,便在下面的S4中实现;
S4:针对Rtmp中的每个请求ri,将Runsat设定为只包含一个请求ri(即Runsat={ri},Runsat仅包含Rtmp中待检测的那个请求ri。Rtmp是一个待检测请求的集合,其包含多个待检测的请求,如r1,r2,...,ri,需要对这些请求一个一个的进行检测,每检测一次即让Runsat中仅包含该待检测请求这一个元素),Rsat则设定为请求集合R中除去请求ri以外的剩余的全部请求,其中原有的已饱和请求的饱和值(是在之前的迭代求解过程中,求解得出的饱和请求的λ值。为了避免和后续求解过程中λ的混淆,标记为)维持不变,未饱和请求的饱和值则设定为λ。
S5:继续求解更新后的MMF-MCF线性规划模型,得到新的带宽分配比例值λtmp(是一个对MMF-MCF的迭代式求解过程,每次都会求出新的一个或多个饱和请求,及其对应的饱和值λ,然后便需要更新未饱和请求集合中所包含的请求元素,及其饱和值,接下来再次求解更新后的MMF-MCF模型);若λtmp与λ相等,则请求ri可被判定为真正饱和,将ri加入到Rsat,并记录对应的λ;若不相等,则转入步骤S4(Rtmp在S4中是不变的,更新的只是Runsat中包含的元素)。
S6:多次重复步骤S2到步骤S5,直至Runsat为空。
S7:输出最优多传输请求的带宽分配值(λ和链路带宽的乘积)以及对应的数据传输路径(在MMF-MCF线性规划的求解过程中,最后不单会输出最大的λ值,还会输出在什么样的变量取值下,可以得到该λ值,传输路径就包含在这些变量取值信息中,即)。
本发明相对现有的、最好的技术而言,所具有的优点和效果如下:
与文献“N.Laoutaris,M.Sirivianos,X.Yang,and P.Rodriguez,Inter-Datacenter Bulk Transfers with NetStitcher,in Proceeding of ACMSIGCOMM,2011”提出的基于Maximum Concurrent Multi-CommodityFlow(MC-MCF)(请参考F.Shahrokhi and D.Matula.The Maximum ConcurrentFlow Problem.in Journal of the ACM,1990)模型的NetStitcher调度算法相比较,本发明的OPT-MBDTA算法大大提高了数据中心网间带宽资源的平均利用率,并且缩短了多个数据传输任务的平均传输时间。
为了更好地说明本发明算法的优点,下面从“单天最大传输数据总量”和“数据传输任务完成平均时间”这两个方面对本发明的OPT-MBDTA与NetStitcher调度算法进行了比较。
实验的设置如下:选取Softlayer公司的真实数据中心骨干网络拓扑(请参考Softlayer datacenter map,http://www.softlayer.com/advantages/network-overview/)0,包括分布在横跨4个时区的11个数据中心节点和17条双向的骨干网链路,每个数据中心节点之下连接了200个主机节点。数据中心骨干网带宽设定为10GB,每个主机节点拥有1Gb的上行和下行带宽。数据中心网络拓扑和各地数据中心可用带宽资源分别如图2-1和图2-2所示。
下面通过分析实验数据来说明本发明OPT-MBDTA算法的性能。
在考察“单天最大传输数据量”时,先后进行了以100为间隔,请求规模从100-1500的15组实验,每组实验重复5次求取其平均值。其中每个请求的发送和接收点均为随机生成,并且均尝试传输1GB的数据文件。与NetStitcher算法比较,二者的单天最大传输数据量如图3所示。从图3可以发现当请求规模小于800时,OPT-MBDTA的性能优于NetStitcher达47.6%,原因在于NetStitcher过分强调了请求获取资源量的绝对公平性,导致网络资源未得到充分利用;而当请求规模大于800时,OPT-MBDTA相较于NetStitcher的优势降至24.7%,这是因为网络的链路容量随着请求数量的增加而逐渐饱和,没有足够的空闲资源用于实现数据传输,但OPT-MBDTA仍然优于NetStitcher。
在考察“平均传输完成时间”指标时,先后进行了以100为间隔,请求规模从100-1500的15组实验,每组实验重复5次求取其平均值。其中每个请求的发送和接收点均为随机生成,其传输数据量均匀分布在0.1TB-5TB的范围内。与NetStitcher算法比较,二者的平均传输完成时间如图4所示。从图4可以发现当请求规模小于800时,OPT-MBDTA的平均传输完成时间比NetStitcher少12.7%;而当请求规模大于800时,OPT-MBDTA相较于NetStitcher的优势降至5.7%,这同样是因为骨干网络链路带宽容量已经饱和所致。
本发明可以应用于数据中心网间大规模数据传输多任务调度的场景中,通过利用空闲的网络带宽资源,实现大规模数据的传输。图5-1、图5-2和图5-3描述了一个对应实例,该网络有8个节点,即s1、s2、s3、v1、v2、t1、t2和t3,各链路的带宽资源情况如图5-1所示,节点带宽资源的可用情况如图5-2所示(图中的圆圈表示可用,图中的0、1、2、3、4表示时间)。有三个单位传输请求,分别为r1=(s1,t1,1),r2=(s2,t2,1),r3=(s3,t3,1)。
经过OPT-MBDTA求解得出:r1使用p11=(s1,s2,v1,t2,t1)路径进行传输,对应流量值为1(就是上面所述的带宽分配比例值λ);r2使用p21=(s2,v1,t2),p22=(s2,v2,t2)路径进行传输,对应流量值分别为1/2和1;r3使用p32=(s3,t3)p32=(s3,s2,v1,t2,t3)路径进行传输,对应流量值分别为1和1/2。其传输的时序图如5-3所示,在5个时间单位内,各自传输完成的数据总量分别为2,3,3。
上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。

Claims (1)

1.一种实现大规模数据传输的多任务调度方法,其特征在于:所述方法包括以下步骤:
输入数据中心网络拓扑信息和数据中心网间带宽资源开销的预测信息;
步骤1,基于对数据中心网间带宽资源开销的预测信息,利用时间延展网络转换方法将具有动态空闲带宽资源的网络转换为静态流网络;
步骤2,基于所述静态流网络,对多个大规模数据传输请求建立最大化最小公平多商品流线性规划模型;
步骤3,迭代地求解所述最大化最小公平多商品流线性规划模型,得出各大规模数据传输请求的最大传输流量以及对应的数据传输路径;
所述步骤1中所述时间延展网络转换方法是这样实现的:将网络资源从时间维度进行延展,使具有动态空闲带宽资源的网络的动态带宽资源和节点的存储资源能力统一转化到一张静态流网络上;
所述步骤2是这样实现的:
将多个大规模数据传输请求建模为下面的最大化最小公平多商品流线性规划模型:
maximize  λ
s . t . Σ r i ∈ R Σ p ∈ P i f p r i ≤ C e , ∀ e ∈ E , e ∈ P i - - - ( 1 )
Σ p ∈ P i f p f i ≥ λ · dem i , ∀ r i ∈ R unsat - - - ( 2 )
Σ p ∈ P i f p r i ≥ λ q i sat · dem i , ∀ r i ∈ R sat - - - ( 3 )
f p r i ≥ 0 , λ ≥ 0 , ∀ p ∈ P i = 1 . . . K - - - ( 4 )
其中,ri是一个大规模数据传输请求,R是所有大规模数据传输请求的集合,Pi为每个ri可用的数据传输路径集合,表示在路径p上分配给ri的带宽值,Ce代表链路e的带宽资源,E={e1,e2,...,em},是网络中所有链路e的集合,λ为饱和的带宽分配比例值,demi是ri传输的数据量,Runsat为非饱和请求集合,为已经求得最大传输流量的那些请求所对应的λ值,Rsat为饱和请求集合;
(1)、(2)、(3)和(4)这四个式子为约束条件;
所述步骤3包括以下步骤:
S1:设定饱和请求集合Rsat为空、非饱和请求集合Runsat包含所有大规模数据传输请求ri,根据输入的数据中心网络拓扑信息求解出每个ri的全部传输路径;
S2:对最大化最小公平多商品流线性规划模型进行求解,即在同时满足(1)、(2)、(3)和(4)这四个式子的前提下,求出最大的λ值;
S3:筛选出没有多余连接能力的请求集合Rtmp:根据传输请求现有的传输路径带宽资源的利用情况,若某传输请求的带宽资源已被全部占满,则将其被选入请求集合Rtmp
S4:针对Rtmp中的每个请求ri,将Runsat设定为只包含一个请求ri,Rsat则设定为包含请求集合R中除去请求ri以外的剩余的全部请求,其中原有的已饱和请求的值维持不变,未饱和请求的饱和值则设定为λ,利用这些值更新(2)式和(3)式后得到更新后的最大化最小公平多商品流线性规划模型;
S5:求解所述更新后的最大化最小公平多商品流线性规划模型,得到新的λtmp;若λtmp与λ相等,则请求ri被判定为真正饱和,将ri加入到Rsat,并记录对应的λ,若λtmp与λ不相等,则转入步骤S4;
S6:多次重复步骤S2到步骤S5,直至Runsat为空,得到最优的λ;
S7:输出最大传输流量以及对应的数据传输路径,所述最大传输流量是指所述最优的λ和链路带宽的乘积;所述数据传输路径包含在与最优的λ对应的中。
CN201210521584.8A 2012-12-06 2012-12-06 一种实现大规模数据传输的多任务调度方法 Expired - Fee Related CN102946443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210521584.8A CN102946443B (zh) 2012-12-06 2012-12-06 一种实现大规模数据传输的多任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210521584.8A CN102946443B (zh) 2012-12-06 2012-12-06 一种实现大规模数据传输的多任务调度方法

Publications (2)

Publication Number Publication Date
CN102946443A CN102946443A (zh) 2013-02-27
CN102946443B true CN102946443B (zh) 2015-02-18

Family

ID=47729349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210521584.8A Expired - Fee Related CN102946443B (zh) 2012-12-06 2012-12-06 一种实现大规模数据传输的多任务调度方法

Country Status (1)

Country Link
CN (1) CN102946443B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095513A1 (en) 2016-11-22 2018-05-31 Huawei Technologies Co., Ltd. Bandwidth calendaring in sdn

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9397957B2 (en) * 2013-12-23 2016-07-19 Google Inc. Traffic engineering for large scale data center networks
CN105740249B (zh) * 2014-12-08 2020-05-22 Tcl科技集团股份有限公司 一种大数据作业并行调度过程中的处理方法及其系统
CN106209683B (zh) * 2016-06-20 2019-05-07 中国科学院上海高等研究院 基于数据中心广域网的数据传输方法及系统
CN107819741A (zh) * 2017-10-16 2018-03-20 山东师范大学 基于优先级的云视频内容分发方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719842A (zh) * 2009-11-20 2010-06-02 中国科学院软件研究所 一种基于云计算环境的分布式网络安全预警方法
CN102004670A (zh) * 2009-12-17 2011-04-06 华中科技大学 一种基于MapReduce的自适应作业调度方法
CN102075358A (zh) * 2010-12-31 2011-05-25 网宿科技股份有限公司 针对大规模服务器集群的内容分发和部署的系统和方法
CN102200906A (zh) * 2011-05-25 2011-09-28 上海理工大学 大规模并发数据流处理系统及其处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719842A (zh) * 2009-11-20 2010-06-02 中国科学院软件研究所 一种基于云计算环境的分布式网络安全预警方法
CN102004670A (zh) * 2009-12-17 2011-04-06 华中科技大学 一种基于MapReduce的自适应作业调度方法
CN102075358A (zh) * 2010-12-31 2011-05-25 网宿科技股份有限公司 针对大规模服务器集群的内容分发和部署的系统和方法
CN102200906A (zh) * 2011-05-25 2011-09-28 上海理工大学 大规模并发数据流处理系统及其处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Centralized and Distributed Algorithms for Routing and Weighted Max-Min Fair Bandwidth Allocation;Mairiam Allalouf,Member,IEEE,and Yuval Shavitt,Senior Member,IEE;《IEEE/IEE Electronic Library (IEL) 数据库》;20081031;正文第1015-1024页 *
针对大规模无线多跳网络的鱼眼机会路由协议;徐鹏,谭小彬,程文斐;《计算机工程》;20120731;第38卷(第14期);正文第70-72页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095513A1 (en) 2016-11-22 2018-05-31 Huawei Technologies Co., Ltd. Bandwidth calendaring in sdn

Also Published As

Publication number Publication date
CN102946443A (zh) 2013-02-27

Similar Documents

Publication Publication Date Title
CN103036792B (zh) 一种最大化最小公平多数据流传输调度方法
CN102946443B (zh) 一种实现大规模数据传输的多任务调度方法
CN101568026B (zh) 可伸缩视频流多速率组播通信的最优速率分配方法
CN102355670B (zh) 一种多信道无线mesh网络信道分配方法
CN104869151A (zh) 一种业务卸载方法及系统
CN113038538B (zh) 智能配电网WSNs通信数据传输带宽的优化分配方法及装置
CN104901989A (zh) 一种现场服务提供系统及方法
CN111865668B (zh) 一种基于sdn和nfv的网络切片方法
CN103428805B (zh) 一种基于链路抗干扰性的无线网络虚拟化映射方法
CN105208622A (zh) 一种高效动态自动维护的路由表结构及路由表管理方法
CN107454009B (zh) 面向数据中心的离线场景低带宽开销流量调度方案
CN108848482B (zh) 基于mMTC分层接入框架的资源分配方法
Ke et al. Aggregation on the fly: Reducing traffic for big data in the cloud
CN107483355B (zh) 面向数据中心的在线场景低带宽开销流量调度方案
Din et al. Sdiot: Software defined internet of thing to analyze big data in smart cities
CN113747450B (zh) 一种移动网络中业务部署方法、装置及电子设备
CN106209683B (zh) 基于数据中心广域网的数据传输方法及系统
CN109889447A (zh) 一种基于混合环组网和喷泉码的网络传输方法及系统
CN103200468B (zh) 电力光纤通信网的路由波长分配方法和装置
CN111092779B (zh) 网络资源配置方法、装置、计算机设备及可读存储介质
CN102427420A (zh) 基于图模式匹配的虚拟网络映射方法及装置
CN113505326B (zh) 一种基于http协议族的动态编码数据传输控制方法
CN101505155B (zh) 实现前缀码构造的装置和方法
CN115099476A (zh) 一种基于循环差集理论的电力物联网异步调度方法
CN104331322B (zh) 一种进程迁移方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150218

Termination date: 20201206