CN115987891A - 一种数据中心网络混合流量的在线路由和调度方法 - Google Patents
一种数据中心网络混合流量的在线路由和调度方法 Download PDFInfo
- Publication number
- CN115987891A CN115987891A CN202111200320.8A CN202111200320A CN115987891A CN 115987891 A CN115987891 A CN 115987891A CN 202111200320 A CN202111200320 A CN 202111200320A CN 115987891 A CN115987891 A CN 115987891A
- Authority
- CN
- China
- Prior art keywords
- deadline
- flow
- end host
- link
- bandwidth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 10
- 230000005540 biological transmission Effects 0.000 claims abstract description 49
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000012790 confirmation Methods 0.000 claims abstract description 6
- 230000009471 action Effects 0.000 claims description 3
- 230000008713 feedback mechanism Effects 0.000 claims description 3
- 230000007723 transport mechanism Effects 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提出一种数据中心网络混合流量在线路由和调度机制。本发明将混流调度问题形式化为一个在线优化问题,通过求解该优化问题来实现对混流的路径选择和速率分配。具体传输机制为:1)发送端主机根据流信息和网络信息对混流进行传输路径选择和速率分配。2)传输路径上的交换机对到达的流进行带宽分配,并将链路拥塞信息保存在数据包头中。3)接收端主机将路径链路拥塞情况保存在确认数据包头中并发回发送端主机。4)已经确定路径的流在传输过程中不改变其路由,对更接近截止期限的截止期限流和剩余未发送数据量更少的非截止期限流分配更多带宽。本发明将路由和调度相结合,有效地降低了截止期限流的传输时间和非截止期限流的期限错失率。
Description
技术领域
本发明属于数据中心网络领域,具体地说是一种数据中心网络混合流量在线路由和调度机制。
背景技术
流量调度是提高数据中心网络数据传输性能的有效方法。在面对具有不同优先级和性能需求的流时,流量调度旨在优化流的性能指标。传统的调度机制通常采用最早截止期限优先规则来降低截止期限流的截止时间错失率,对于可以在任何时间提交请求的在线系统,最小剩余时间优先规则通常被用来最小化非截止期限流的流完成时间。但数据中心网络环境通常由各种应用程序共享,这些应用程序会同时产生这两种流量,因而在数据中心网络中传输的数据往往是具有不同性能需求的混合流量。因此面向混合流量场景的流量调度机制具备广阔的应用前景。
当前已有的调度机制在优化两种流量性能指标方面提供了很多思路,但并没有考虑到路由对数据传输性能提升的可能性。数据中心网络内部并非是无阻塞的,不均匀的路由往往会造成网络内部链路利用率不充分等情况,因此在数据中心网络内部的路径选择往往能让调度机制发挥更大的作用。
发明内容
本发明的目的在于提供一种数据中心网络混合流量在线路由和调度机制。
实现本发明目的的技术解决方案为:
一种数据中心网络混合流量在线路由和调度机制,其特征在于该机制主要包括以下步骤:
步骤1、将混合流量调度问题形式化定义为一个带约束的在线优化问题:对于截止期限流,其性能指标为截止时间错失率;对于非截止期限流,其性能指标为流的完成时间。混流调度一方面要降低截止期限流的截止时间错失率,另一方面也要降低非截止期限流的流完成时间。综合上述两个性能指标,结合路由选择对调度机制的有效作用,构建在线优化问题。
步骤2、发送端主机根据流信息和网络拥塞信息按优先程度对混流进行传输路径选择和速率分配:端主机在本地求解步骤1中的优化问题,按截止期限流优先于非截止期限流原则为到达端主机的混流确定各自的传输路径和发送速率,已经确定路由的流在传输过程中不改变其路由。
步骤3、传输路径上的交换机对到达该交换机的流按截止期限流优先于非截止期限流原则进行链路带宽分配,并将路径链路拥塞信息保存在数据包头中:对更接近截止期限的截止期限流和剩余未发送数据量更少的非截止期限流交换机对其分配更多带宽。
步骤4、接收端主机将传输路径上的链路拥塞情况保存在确认数据包头中并发送回发送端主机:通过正向数据传输和反馈机制在端主机和交换机间传递流具体信息、速率信息和链路拥塞信息。
本发明与现有技术相比,其显著优点是:
(1)本发明提出的数据中心网络混合流量在线路由和调度机制,能同时较好地优化混合流量环境下两种流量的性能指标,机制对更接近截止期限的截止期限流和剩余未发送数据量更少的非截止期限流分配更多带宽,有效地降低了截止期限流的截止时间错失率和非截止期限流的流完成时间;
(2)本发明在构建数据中心网络混合流量场景下的调度机制时,能够将路由选择和流量调度结合起来,根据网络整体拥塞情况为流量选择其较好的传输路径,让调度更好地发挥作用;
(3)本发明提出的混合流量在线路由和调度机制,能够较好地适应数据中心网络中流量的动态变化,具备很高的实用性。
附图说明
图1为数据中心网络拓扑图模型。
图2为本发明的在线路由和调度机制的整体架构图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的介绍。
图1是包含主机、交换机、通信链路的数据中心网络拓扑图模型。将数据中心网络抽象成无向图,其中主机或者交换机为节点,每条边表示一条全双工通信链路,每条链路都有各自的链路带宽,即链路最大的传输速率。结合图2,本发明的一种数据中心网络混合流量在线路由和调度机制,包括以下步骤:
步骤S 1,将混合流量调度问题形式化定义为一个带约束的在线优化问题:
数据中心网络环境通常由各种服务共享,这些服务会产生具有不同性能指标的流量。大多数用户交互式服务会产生具有严格截止时间的截止期限流,而数据并行服务则会产生非截止期限流,这类流量倾向于减少其传输时间。对于截止期限流,其性能指标为截止时间错失率;对于非截止期限流,其性能指标为流的完成时间。数据中心网络混合流量调度机制一方面要降低截止期限流的截止时间错失率,另一方面也要最小化非截止期限流的流完成时间。综合混合流量两个性能需求,结合路由选择对调度机制的有效作用,本步骤将混流调度问题形式化为在线约束问题进行求解。
步骤S101,给出目标函数及约束条件:
Subject to:
其中FD为截止期限流集合,FN为非截止期限流集合,bf(t)为在t时刻分配给各个流f的带宽,Df(t)为在t时刻截止期限流的剩余期限时间,Tf(t)为在t时刻非截止期限流剩余未发送数据量的大小,是路由决策变量表示为流f选择的第k条传输路径,Cl为链路l的带宽。约束1a表示在任意t时刻在链路l传输的流的速率之和不应大于该链路的带宽,约束1b和约束1c要求一条流只能选择一条路由进行传输,约束1d表示在任意t时刻流分配到的带宽应是非负的。
对于截止期限流,由于其数据量较小,因此在线请求传输时其截止时间通常已知。实际上,无论是用户交互服务还是数据并行服务都不会生成很长的流。它们是一次性到达的,因此我们假设所有流的截止日期和大小在到达时就可以知道。最早截止期限优先规则能最大限度地减少截止时间流的截止时间错失率,因此目标函数中的第一项表示当截止期限流在特定的路由上传输时,调度机制会为越接近截止期限的截止期限流分配更多的带宽。对于非截止期限流,最短剩余处理时间规则优先调度剩余未发送数据量较少的流量,短流比长流具有较高的优先级,能较好地最小化流完成时间。因此目标函数中的第二项针对非截止期限流调度时,当流在特定的传输路径上传输时,调度机制会优先为剩余未发送数据量少的非截止期限流分配更多的带宽。
步骤S102,将目标函数和约束转化为可解的线性规划问题:
Subject to:
步骤S2,发送端主机根据流信息和网络拥塞信息按优先程度对混流进行传输路径选择和速率分配:
发送端主机在本地对步骤S102中的线性规划问题进行求解确定路由,新变量的值决定了混流各自的传输路径。上述目标函数和约束满足分解的基本形式,而分解的基本思想是将原始问题分解成多个可分布解决的子问题,这些子问题又被主问题通过代价算子或者直接资源分配进行协调。现有的分解方法大多可分为原始分解法和对偶分解法,前者是基于原始问题的分解,而后者是基于拉格朗日对偶问题的分解。当原始问题含有耦合约束时,对偶分解法是合适的,在原始问题使用拉格朗日算子进行放松后,生成的主对偶问题可解耦成多个子问题。步骤S102中的目标函数可看成关于变量的效用函数即每个流效用的简单和,约束2a是耦合约束,因此该优化问题满足对偶分解的特点。首先通过拉格朗日算子构造广义拉格朗日函数:
表示混流在确定的λs下各自子问题的最优解。使用对偶分解方法的优点是,约束放松后,无论哪种流都可以独立优化而不影响其他流。每个流的最优解的组合就是全局最优解。在这种情况下,每个发送主机都可以在本地优化其发送的流。发送端主机根据本地的混流集合对子问题进行求解后得出各流的传输路径k,由于子问题的解可以是小数,因此k值的确定采用如下规则:
在确定每条流的路由之后,发送端主机返回到问题(1)来确定每条流的发送速率。代入已求解后的变量后,问题(1)就变成了一个关于唯一变量bf(t)的易解的凸优化问题,该问题也可通过拉格朗日对偶分解方法进行求解。问题重新表述如下:
其中Fl(t)表示在t时刻通过链路l的所有流的集合。在分配路由和流速率时,发送端设定截止期限流优于非截止期限流分配。对于截止期限流,发送端按照截止期限从近到远分配速率,若某条截止期限流已无法在该截止时间内完成传输,则终止该流的传输;而对于非截止期限流则按照其剩余未发送的数据量大小从小到大分配速率,以此来减少非截止期限流的传输时间。每当有新流到达发送端主机时,发送端主机会对本地所有的混流重新进行路由选择和速率分配,但已经确定好路由并发送的流在传输过程中不会改变其传输路径。
步骤S3,传输路径上的交换机对到达该交换机的流进行链路带宽分配,并将路径链路拥塞信息保存在数据包头中:
交换机根据流的具体信息和发送端主机分配的速率信息对到达该交换机的流分配出口链路带宽。设定截止期限流优于非截止期限流进行带宽分配,对更接近截止期限的截止期限流和剩余未发送数据量更少的非截止期限流交换机对其分配更多带宽。每分配完一条流的带宽,就会更新链路带宽剩余情况和链路拥塞信息,并将更新后的拥塞信息存入数据包头,发送给路径上的下一跳交换机或者接收端主机。
步骤S4,接收端主机将传输路径链路拥塞情况保存在确认数据包头中并发送回发送端主机:
接收端主机对每条到达该主机的流分别将其传输路径中的拥塞信息写入其对应的确认数据包头,发送回其发送端主机,以便进行下一轮迭代计算。通过正向数据传输和反馈机制在端主机和交换机间传递流具体信息、速率信息和链路拥塞信息,促使网络整体性能达到最优。
Claims (5)
1.一种数据中心网络混合流量在线路由和调度机制,其特征在于该机制主要包括以下步骤:
步骤1、将混合流量调度问题形式化定义为一个带约束的在线优化问题:对于截止期限流,其性能指标为截止时间错失率;对于非截止期限流,其性能指标为流的完成时间。混流调度一方面要降低截止期限流的截止时间错失率,另一方面也要降低非截止期限流的流完成时间。综合上述两个性能指标,结合路由选择对调度机制的有效作用,构建在线优化问题。
步骤2、发送端主机根据流信息和网络拥塞信息按优先程度对混流进行传输路径选择和速率分配:端主机在本地求解步骤1中的优化问题,按截止期限流优先于非截止期限流原则为到达端主机的混流确定各自的传输路径和发送速率,已经确定传输路径的流在传输过程中不改变其路由。
步骤3、传输路径上的交换机对到达该交换机的流按截止期限流优先于非截止期限流原则进行链路带宽分配,并将路径链路拥塞信息保存在数据包头中:对更接近截止期限的截止期限流和剩余未发送数据量更少的非截止期限流交换机对其分配更多带宽。
步骤4、接收端主机将传输路径上的链路拥塞情况保存在确认数据包头中并发送回发送端主机:通过正向数据传输和反馈机制在端主机和交换机间传递流具体信息、速率信息和链路拥塞信息。
2.根据权利要求1所述的一种数据中心网络混合流量在线路由和调度机制,其特征在于,步骤1中形式化混合流量调度问题,具体步骤如下:
步骤S101,给出目标函数及约束条件:
Subject to:
其中FD为截止期限流集合,FN为非截止期限流集合,bf(t)为在t时刻分配给各个流f的带宽,Df(t)为在t时刻截止期限流的剩余期限时间,Tf(t)为在t时刻非截止期限流剩余未发送数据量的大小,是路由决策变量表示为流f选择的第k条传输路径,Cl为链路l的带宽。约束1a表示在任意t时刻在链路l传输的流的速率之和不应大于该链路的带宽,约束1b和约束1c要求一条流只能选择一条路由进行传输,约束1d表示在任意t时刻流分配到的带宽应是非负的。
步骤S102,将目标函数和约束转化为如下可解的线性规划问题:
Subject to:
3.根据权利要求1所述的一种数据中心网络混合流量在线路由和调度机制,其特征在于,步骤2发送端主机根据网络拥塞信息进行流传输路径选择和流速率分配,其主要步骤为:每个发送端主机在本地求解步骤S102的优化问题,求解完得到流传输路径后再对原问题求解获得流速率的最优分配。在发送端设定截止期限流优于非截止期限流分配路径和速率。对于截止期限流按照截止期限从近到远分配速率,若某条截止期限流已无法在该截止时间内完成传输,则终止该流的传输;而对于非截止期限流则按照其剩余未发送的数据量大小从小到大分配速率,即采用最小剩余时间优先规则来减少非截止期限流的传输时间。每当有新流到达发送端主机时,端主机会对本地所有的混流重新进行路由选择和速率分配,但已经确定好传输路径并发送的流在传输过程中不会改变其传输路径。
4.根据权利要求1所述的一种数据中心网络混合流量在线路由和调度机制,其特征在于,步骤3传输路径上的交换机对到达该交换机的流进行链路带宽分配,并将路径链路拥塞信息保存在数据包头中,其主要步骤为:交换机根据流的具体信息和发送端主机分配的速率信息对到达该交换机的流分配出口链路带宽。设定截止期限流优于非截止期限流进行带宽分配,对更接近截止期限的截止期限流和剩余未发送数据量更少的非截止期限流交换机对其分配更多带宽。每分配完一条流的带宽,就会更新链路带宽剩余情况和链路拥塞信息,并将更新后的拥塞信息存入数据包头,发送给路径上的下一跳交换机或者接收端主机。
5.根据权利要求1所述的一种数据中心网络混合流量在线路由和调度机制,其特征在于,步骤4接收端主机将传输路径链路拥塞情况保存在确认数据包头中并发送回发送端主机,其主要步骤为:接收端主机对每条到达该主机的流分别将其传输路径中的拥塞信息写入其对应的确认数据包头,发送回其发送端主机,以便进行下一轮迭代计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111200320.8A CN115987891A (zh) | 2021-10-14 | 2021-10-14 | 一种数据中心网络混合流量的在线路由和调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111200320.8A CN115987891A (zh) | 2021-10-14 | 2021-10-14 | 一种数据中心网络混合流量的在线路由和调度方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115987891A true CN115987891A (zh) | 2023-04-18 |
Family
ID=85962802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111200320.8A Pending CN115987891A (zh) | 2021-10-14 | 2021-10-14 | 一种数据中心网络混合流量的在线路由和调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115987891A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117221126A (zh) * | 2023-11-09 | 2023-12-12 | 之江实验室 | 一种面向网络协同流量的路由调度方法与系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107409099A (zh) * | 2015-01-29 | 2017-11-28 | 华为技术有限公司 | 具有服务质量流和尽力而为流的通信网络中的流量工程的方法、装置和机器可读介质 |
CN108768876A (zh) * | 2018-06-05 | 2018-11-06 | 清华大学深圳研究生院 | 一种面向机器学习框架的流量调度方法 |
US20200120036A1 (en) * | 2017-06-20 | 2020-04-16 | Huawei Technologies Co., Ltd. | Method and apparatus for handling network congestion, and system |
CN111245735A (zh) * | 2020-01-20 | 2020-06-05 | 中国电子科技集团公司第五十四研究所 | 一种sdn环境下保证服务质量的流量调度方法 |
WO2020236281A1 (en) * | 2019-05-23 | 2020-11-26 | Cray Inc. | System and method for facilitating efficient host memory access from a network interface controller (nic) |
CN112291161A (zh) * | 2020-10-10 | 2021-01-29 | 燕山大学 | 一种时间敏感网络混合流量调度方法 |
CN113438163A (zh) * | 2021-05-29 | 2021-09-24 | 中国人民解放军空军工程大学 | 一种基于路径隔离的数据中心网络混合流路由方法及系统 |
-
2021
- 2021-10-14 CN CN202111200320.8A patent/CN115987891A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107409099A (zh) * | 2015-01-29 | 2017-11-28 | 华为技术有限公司 | 具有服务质量流和尽力而为流的通信网络中的流量工程的方法、装置和机器可读介质 |
US20200120036A1 (en) * | 2017-06-20 | 2020-04-16 | Huawei Technologies Co., Ltd. | Method and apparatus for handling network congestion, and system |
CN108768876A (zh) * | 2018-06-05 | 2018-11-06 | 清华大学深圳研究生院 | 一种面向机器学习框架的流量调度方法 |
WO2020236281A1 (en) * | 2019-05-23 | 2020-11-26 | Cray Inc. | System and method for facilitating efficient host memory access from a network interface controller (nic) |
CN111245735A (zh) * | 2020-01-20 | 2020-06-05 | 中国电子科技集团公司第五十四研究所 | 一种sdn环境下保证服务质量的流量调度方法 |
CN112291161A (zh) * | 2020-10-10 | 2021-01-29 | 燕山大学 | 一种时间敏感网络混合流量调度方法 |
CN113438163A (zh) * | 2021-05-29 | 2021-09-24 | 中国人民解放军空军工程大学 | 一种基于路径隔离的数据中心网络混合流路由方法及系统 |
Non-Patent Citations (1)
Title |
---|
张彤;任丰原;舒然: "基于分布式优化的数据中心网络混流调度机制", 清华大学学报(自然科学版), no. 006, 13 October 2020 (2020-10-13) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117221126A (zh) * | 2023-11-09 | 2023-12-12 | 之江实验室 | 一种面向网络协同流量的路由调度方法与系统 |
CN117221126B (zh) * | 2023-11-09 | 2024-02-13 | 之江实验室 | 一种面向网络协同流量的路由调度方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10009287B2 (en) | Hierarchical software-defined network traffic engineering controller | |
CN1612610B (zh) | 分布式发送媒体数据的体系结构 | |
US8189612B2 (en) | System on chip with interface and processing unit configurations provided by a configuration server | |
CN107733689A (zh) | 基于优先级的动态加权轮询调度策略方法 | |
CN111030835A (zh) | 一种ttfc网络的任务调度模型及消息调度表生成方法 | |
CN102710489A (zh) | 动态分流调度系统和方法 | |
CN103117957A (zh) | 机会网络中基于消息副本数与综合效能的缓存管理方法 | |
Ji et al. | Deadline-aware scheduling and routing for inter-datacenter multicast transfers | |
Luo et al. | Inter-datacenter bulk transfers: Trends and challenges | |
CN100505688C (zh) | 一种用于网络处理器的差额权重排队调度装置及调度方法 | |
CN115987891A (zh) | 一种数据中心网络混合流量的在线路由和调度方法 | |
CN102404409B (zh) | 一种基于光分组交换的对等式云网络系统 | |
Gu et al. | ESDI: Entanglement Scheduling and Distribution in the Quantum Internet | |
Liu et al. | PPO-based reliable concurrent transmission control for telemedicine real-time services | |
Zhang et al. | Towards stable flow scheduling in data centers | |
Hou et al. | Co-scheduling of advance and immediate bandwidth reservations for inter-data center transfer | |
CN114285790A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN109450809B (zh) | 一种数据中心调度系统及方法 | |
Zhao et al. | Distributed resource allocation for synchronous fork and join processing networks | |
Fatemipour et al. | A Cost-Effective and Multi-Source-Aware Replica Migration Approach for Geo-Distributed Data Centers | |
CN100442760C (zh) | 一种分组公平调度方法及设备 | |
Wang et al. | Dual-Network Task Scheduling inCyber–Physical Systems: A Cooptimization Approach | |
Li et al. | AEETC—adaptive energy-efficient timing control in wireless networks with network coding | |
Wang et al. | On Periodic Point-to-Point Bandwidth Scheduling in High-Performance Networks | |
CN114448873B (zh) | 基于链路定价策略的流量分配方法、系统、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
DD01 | Delivery of document by public notice |
Addressee: Zhang Tong Document name: Notice of Qualified Procedures |