CN107454009B - 面向数据中心的离线场景低带宽开销流量调度方案 - Google Patents
面向数据中心的离线场景低带宽开销流量调度方案 Download PDFInfo
- Publication number
- CN107454009B CN107454009B CN201710820516.4A CN201710820516A CN107454009B CN 107454009 B CN107454009 B CN 107454009B CN 201710820516 A CN201710820516 A CN 201710820516A CN 107454009 B CN107454009 B CN 107454009B
- Authority
- CN
- China
- Prior art keywords
- constraint
- bandwidth
- objective function
- new
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
面向数据中心的离线场景低带宽开销流量调度方案,是一种互联网传输控制技术,其目的为在保障所有大块传输流按时完成的前提下,合理调度各个大块传输流,使得数据中心拥有者的带宽租用开销最小,其执行流程为1)获得一个租用周期内所有大块传输流的源目的节点,数据量,到达和截止时间;2)将租用周期分为多个传输时隙,合理调度各个大块传输流在每个传输时隙内的发送路径和发送速率,在保障所有大块传输流都能完成的前提下,达到带宽开销的最小化;本发明可以在保障服务质量的前提下,有效降低数据中心拥有者向互联网服务供应商租用带宽的开销,降低数据中心运营成本。
Description
技术领域
本发明属于互联网技术领域,涉及流量调度技术,特别涉及一种面向数据中心的离线场景低带宽开销流量调度方案。
背景技术
当今,谷歌,微软等许多网络服务供应商和云服务商在不同的地理区域拥有数据中心,这些数据中心上运行着各种全局分布式的应用程序,因此它们有着相互通信的需求,广域网是保证这些分布在不同地理位置的数据中心能够相互通信的关键设施。这些数据中心之间的通信需求导致了高昂的带宽开销,通常,数据中心拥有者每年要向互联网服务供应商支付数亿的费用来租用广域网带宽。然而,数据中心间的带宽利用率并不高,即使是繁忙链路的带宽利用率也不超过60%,这导致了带宽开销的极大浪费。如何在保证数据流按时完成的情况下,合理有效地进行流量调度,减少带宽开销,成为了数据中心间流量调度领域的一个重要问题。
大块传输流占据了数据中心间广域网流量的很大比重,通常在85%到95%之间。大块传输流的特征是数据量大(几TB到几PB之间),持续时间长。它的典型例子有:搜索引擎在数据中心间周期性地同步索引项,金融机构在交易日远端备份交易记录等。相比于持续时间较短的交互式传输流,大块传输流没有那么强的时延敏感性,因此,可以使用集中控制器对它们进行更加灵活的,经济的调度。在某些场景下,一段时间内所有大块数据传输流的到达时间,截止时间,数据量都是可以预知的,这些场景统称为离线场景。在离线场景下对大块数据流的合理调度,不仅是网络服务质量的重大保障,更可以节省大量的带宽租用开销。
近年来,许多研究工作围绕着合理调度大块传输流展开。一种主要思路是,采取存储转发策略,在数据中心上增加存储设备,在链路繁忙的时候暂存到达的数据,在链路空闲的时候传输数据,充分利用带宽。另一种思路也是采取了存储转发的策略,平衡优化了各个链路的利用率。这两种思路都需要在每个数据中心增加额外的存储设备,以暂存通过各个数据中心的流量,这样不仅增加了额外的存储开销,也增大了流量调度的复杂性。因此,我们希望寻求一种更合理的调度方案,在保证各个大块传输流按时完成并且不增加额外开销的前提下,进行带宽开销的优化,并保证方案的可行性。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种面向数据中心的离线场景低带宽开销流量调度方案,在保证所有大块传输流都可以按时完成的前提下,通过合理的调度,最小化数据中心拥有者向互联网服务供应商租用广域网带宽的开销;本发明在每个传输时隙内为每个大块传输流合理地分配带宽,设置发送路径,在保证所有大块传输流按时完成的基础上,最小化带宽租用开销。
为了实现上述目的,本发明采用的技术方案是:
一种面向数据中心的离线场景低带宽开销流量调度方案,在数据中心间广域网络下按照以下步骤实现:
步骤(1),将一个租用周期分为若干个传输时隙,即1,...,T,用一个有向图G=(V,E)来表示数据中心和数据中心之间的链路,其中V是有向图的节点集合,表示所有的数据中心的集合,E是有向图的边集,表示所有的链路的集合,用五元组ri=(si,ti,di,ai,τi)来代表一个大块传输流,其中si,ti,di,ai,τi分别代表第i个大块传输流的源节点、目的节点、数据量、到达时间和截止时间;获得一个租用周期内所有大块传输流的源节点、目的节点、数据量、到达时间和截止时间;
步骤(3),分多轮进行迭代优化,每轮的具体步骤如下:
步骤(4),根据算法结果生成流量调度方案,进行流量调度。
所述流量约束有两个,分别是:
一个流量约束为:
其中,xi,e(t)表示第i个请求在连接e上的第t个时刻的传输数据量,δ+(v)表示以节点v为起点的所有有向边的集合,δ-(v)表示以节点v为终点的所有有向边的集合,N+表示正整数集合;
另一个流量约束为:
其中,δ+(si)表示以节点si为起点的所有有向边的集合,δ-(si)表示以节点si为终点的所有有向边的集合;
所述容量约束为:
其中ce表示数据中心拥有者在链路e上租用的带宽的单位数,δc表示单位带宽的大小,δt代表了每个时间片的大小;
所述整数约束为:
其中N表示自然数集合。
与现有技术相比,本发明的有益效果是:
1)在保证所有大块传输流可以在规定时间内传输完成的前提下,最小化了带宽租用的开销。
2)本发明提出的方案考虑了ISP按一定粒度收费,实用性更强。
3)本发明中提出的方案不需要引入额外的存储设备,节省了总的调度开销。
附图说明
图1为面向数据中心的离线场景示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1所示,本发明考虑一个租用周期内的大块传输流的调度问题,将周期分为若干个传输时隙,即1,...,T。用一个有向图G=(V,E)来表示数据中心和数据中心之间的链路,其中V是有向图的节点集合,表示所有的数据中心的集合,E是有向图的边集,表示所有的链路的集合。用五元组ri=(si,ti,di,ai,τi)来代表一个大块传输流,其中si,ti,di,ai,τi分别代表第i个大块传输流的源节点,目的节点,数据量,到达时间,以及截止时间。
对于一个大块传输流ri,它传输数据的时间被限制在时间区间[ai,τi]之内的时间片上。此外,一个请求的源目节点si和ti之间可能存在多条可行的路径,每条路径由E中的一个或多个链路e串联而成,根据以上描述,使用xi,e(t)来表示第i个请求在连接e上的第t个时刻的传输数据量,可以得到流量约束:
该约束的含义是,任意一个大块传输流在所有它的源目的节点之外的节点上的所有时刻上必须满足流量守恒,即从该节点流出的属于该大块传输流的流量之和必须等于流入该节点的属于该大块传输流的流量之和。其中,δ+(v)表示以节点v为起点的所有有向边的集合,δ-(v)表示以节点v为终点的所有有向边的集合。
另一个流量约束是:
该约束保证任意一个大块传输流的源节点流出的属于该大块传输流的流量之和减去流入源节点的属于该大块传输流的流量之和在所有时刻上求和等于该大块传输流的总数据传输量,其作用是保证所有大块传输流可以在规定时间内完成。
为了保证任意一条链路在任意传输时隙内传输流量的总速率不超过租用的链路带宽大小,xi,e(t)必须满足容量约束:
其中,其中ce表示数据中心拥有者在链路e上租用的带宽的单位数,δc表示单位带宽的大小,δt代表了每个时间片的大小。
由于数据中心拥有者租用带宽时必须租用整数单位的带宽,ce为整数变量,因此ce需要满足整数约束:
为了实现本发明最小化带宽租用开销的目标,本方案用P0表示在流量约束,容量约束和整数约束共三个约束下,使目标函数:
最小化的最优化问题。其中ue表示e这条链路的单位带宽价格。
P0是NP-hard问题,本方案包括了求解该问题的渐进式下降算法(PDA),为了说明该算法的流程,定义P0去掉整数约束之后的问题为P1,算法的流程为:
2、在每一轮中,生成一个约束的集合S,每轮开始时,令然后,在的解中找出带宽值ce不为整数的所有连接。之后,对于每个这样的连接,将它的带宽值ce分别固定为根据解出的带宽值的向下取整和向上取整,得到两个新约束,都加入当前一轮的约束集合S中。最后,如果则此时算法中止;否则,对于约束集合S中的每个约束,将它加入问题重新求解得到新的一组带宽值ce并计算由新一组ce决定的目标函数值最后在约束集合S中选择一个能在加入问题后使新问题有解且新的目标函数值最小的约束,如果该约束加入得到的新的目标函数值小于则将该约束加入问题以形成新的问题同时将更新为该约束产生的新的目标函数值;否则,算法中止。在算法终止后,即对应了原问题P0的一组可行解的决定的目标函数值。
因此,参照图2,本发明面向数据中心的离线场景低带宽开销流量调度方案的具体的实施方式包含以下几个主要步骤:
步骤(1)获得一个租用周期内所有大块传输流的源节点,目的节点,数据量,到达时间和截止时间。
步骤(3)分多轮进行迭代优化每轮的具体步骤如下:
步骤(3d)在S中选择一个能在加入问题后使新的目标函数值最小的约束。若该约束对应的新目标函数值大于等于或所有约束加入问题后都无解,算法中止;否则,将该约束加入问题以形成新的问题同时将更新为新的问题产生的新的目标函数值。
步骤(4)根据算法结果生成流量调度方案,进行流量调度。
综上所述,本发明提出了一种面向数据中心的离线场景低带宽开销流量调度方案。该方案能够保障所有的大块传输流按时完成,同时不引入额外的存储开销。在此前提下,该方案大幅提升了链路利用率,最小化了带宽租用的开销,从而节省了数据中心的运营成本。
Claims (1)
1.一种面向数据中心的离线场景低带宽开销流量调度方案,其特征在于,在数据中心间广域网络下按照以下步骤实现:
步骤(1),将一个租用周期分为若干个传输时隙,即1,...,T,用一个有向图G=(V,E)来表示数据中心和数据中心之间的链路,其中V是有向图的节点集合,表示所有的数据中心的集合,E是有向图的边集,表示所有的链路的集合,用五元组ri=(si,ti,di,ai,τi)来代表一个大块传输流,其中si,ti,di,ai,τi分别代表第i个大块传输流的源节点、目的节点、数据量、到达时间和截止时间;获得一个租用周期内所有大块传输流的源节点、目的节点、数据量、到达时间和截止时间;
步骤(3),分多轮进行迭代优化,每轮的具体步骤如下:
其中,所述流量约束有两个,分别是:
一个流量约束为:
其中,xi,e(t)表示第i个请求在边e上的第t个时刻的传输数据量,δ+(v)表示以节点v为起点的所有有向边的集合,δ-(v)表示以节点v为终点的所有有向边的集合,N+表示正整数集合;
另一个流量约束为:
其中,δ+(si)表示以节点si为起点的所有有向边的集合,δ-(si)表示以节点si为终点的所有有向边的集合;
所述容量约束为:
其中ce为带宽值,表示数据中心拥有者在边e上租用的带宽的单位数,δc表示单位带宽的大小,δt表示每个时间片的大小;
所述整数约束为:
其中N表示自然数集合;
定义P0去掉整数约束之后的问题为P1,渐进式下降算法的流程为:
2)、在每一轮中,生成一个约束的集合S,每轮开始时,令然后,在的解中找出带宽值ce不为整数的所有连接;之后,对于每个这样的连接,将它的带宽值ce分别固定为根据解出的带宽值的向下取整和向上取整,得到两个新约束,都加入当前一轮的约束集合S中;最后,如果则此时算法中止;否则,对于约束集合S中的每个约束,将它加入问题重新求解得到新的一组带宽值ce并计算由新一组ce决定的目标函数值最后在约束集合S中选择一个能在加入问题后使新问题有解且新的目标函数值最小的约束,如果该约束加入得到的新的目标函数值小于则将该约束加入问题以形成新的问题同时将更新为该约束产生的新的目标函数值;否则,算法中止;在算法终止后,即对应了原问题P0的一组可行解的决定的目标函数值;
步骤(4),根据算法结果生成流量调度方案,进行流量调度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710820516.4A CN107454009B (zh) | 2017-09-08 | 2017-09-08 | 面向数据中心的离线场景低带宽开销流量调度方案 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710820516.4A CN107454009B (zh) | 2017-09-08 | 2017-09-08 | 面向数据中心的离线场景低带宽开销流量调度方案 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107454009A CN107454009A (zh) | 2017-12-08 |
CN107454009B true CN107454009B (zh) | 2020-06-09 |
Family
ID=60496201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710820516.4A Active CN107454009B (zh) | 2017-09-08 | 2017-09-08 | 面向数据中心的离线场景低带宽开销流量调度方案 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107454009B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108900315B (zh) * | 2018-08-08 | 2020-06-09 | 清华大学 | 面向云服务提供商的服务利润优化方法 |
CN109150597A (zh) * | 2018-08-08 | 2019-01-04 | 清华大学 | 面向云服务提供商的带宽成本降低方法 |
CN109146164B (zh) * | 2018-08-08 | 2021-09-07 | 清华大学 | 面向云服务提供商的服务收益提升方法 |
CN108833294B (zh) * | 2018-08-08 | 2020-10-30 | 清华大学 | 面向数据中心广域网的低带宽开销的流量调度方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002069580A1 (en) * | 2001-02-28 | 2002-09-06 | Measure Technology Ireland Limited | Method and system for bandwidth estimation |
CN106506396A (zh) * | 2016-11-29 | 2017-03-15 | 迈普通信技术股份有限公司 | 流量负载分担方法及汇聚设备 |
CN106713173A (zh) * | 2016-11-17 | 2017-05-24 | 大连理工大学 | 一种基于新贪心策略的按需服务数据包调度贪心算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8489654B2 (en) * | 2009-08-28 | 2013-07-16 | Beijing Innovation Works Technology Company Limited | Method and system for forming a virtual file system at a computing device |
-
2017
- 2017-09-08 CN CN201710820516.4A patent/CN107454009B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002069580A1 (en) * | 2001-02-28 | 2002-09-06 | Measure Technology Ireland Limited | Method and system for bandwidth estimation |
CN106713173A (zh) * | 2016-11-17 | 2017-05-24 | 大连理工大学 | 一种基于新贪心策略的按需服务数据包调度贪心算法 |
CN106506396A (zh) * | 2016-11-29 | 2017-03-15 | 迈普通信技术股份有限公司 | 流量负载分担方法及汇聚设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107454009A (zh) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107454009B (zh) | 面向数据中心的离线场景低带宽开销流量调度方案 | |
CN110502328B (zh) | 一种海上边缘计算可信协同任务迁移方法 | |
US7099879B2 (en) | Real-time monitoring of service performance through the use of relational database calculation clusters | |
CN103761309A (zh) | 一种运营数据处理方法及系统 | |
CN111030835B (zh) | 一种ttfc网络的任务调度模型及消息调度表生成方法 | |
CN112148484B (zh) | 一种基于耦合度的微服务在线分配方法与系统 | |
CN108965014A (zh) | QoS感知的服务链备份方法及系统 | |
CN104660477A (zh) | 一种基于时间触发总线的星型拓扑网络搭建方法 | |
CN108616394B (zh) | 一种虚拟网络功能备份和部署方法 | |
CN111580970A (zh) | 一种联邦学习的模型分发与聚合的传输调度方法 | |
CN107483355B (zh) | 面向数据中心的在线场景低带宽开销流量调度方案 | |
CN103812949A (zh) | 一种面向实时云平台的任务调度与资源分配方法及系统 | |
CN106027288A (zh) | 一种配电线路信息监测业务通信流量预测方法 | |
CN110059829A (zh) | 一种异步参数服务器高效并行架构与方法 | |
CN108833294B (zh) | 面向数据中心广域网的低带宽开销的流量调度方法 | |
Lyu et al. | Cooperative computing anytime, anywhere: Ubiquitous fog services | |
CN101013955A (zh) | 用于业务量矩阵估计的快速模拟退火 | |
CN102946443B (zh) | 一种实现大规模数据传输的多任务调度方法 | |
CN111030942A (zh) | 基于响应约束的tte网络离线调度方法 | |
CN103326916A (zh) | 智能变电站自动划分并优化vlan的系统及方法 | |
CN109299196A (zh) | 数据管理方法、网络及数据采集存储使用方法及其系统 | |
CN113032146A (zh) | 一种面向多接入边缘计算环境的健壮性服务供应方法 | |
CN104901892A (zh) | 一种基于蚁群算法的QoS组播路由优化器及其实现方法 | |
Pan et al. | Satellite network load balancing strategy for SDN/NFV collaborative deployment | |
CN113505326B (zh) | 一种基于http协议族的动态编码数据传输控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |