CN104767695A - 一种数据中心中的任务级别的流调度方法 - Google Patents
一种数据中心中的任务级别的流调度方法 Download PDFInfo
- Publication number
- CN104767695A CN104767695A CN201510188559.6A CN201510188559A CN104767695A CN 104767695 A CN104767695 A CN 104767695A CN 201510188559 A CN201510188559 A CN 201510188559A CN 104767695 A CN104767695 A CN 104767695A
- Authority
- CN
- China
- Prior art keywords
- network
- network flow
- sdn controller
- task
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于数据中心网络领域，尤其涉及一种数据中心中的任务级别的流调度方法，包括：在数据中心网络中增加了SDN控制器，服务器接收到新任务后将该任务的网络流信息封装到报文中，并将封装后的信息报文发送给SDN控制器；SDN控制器运行中央调度算法，判断该任务应当被接收或者丢弃；对于被接收的任务，SDN控制器根据中央调度算法的计算结果，将该任务的路由表项发送给中间交换机，同时将该任务的传输时间片发送给相应的服务器。本发明使得紧急网络流可以优先调度从而可以在截止时间前完成，提高了网络吞吐率，减少了平均网络流传输时间，实现了在截止时间前完成的任务数量最大化。
Description
技术领域
本发明属于数据中心网络领域，尤其涉及一种数据中心中的任务级别的流调度方法。
背景技术
数据中心网络是当今网络研究的一个重要方向，随着数据中心网络领域延迟敏感的应用越来越多，数据中心网络对于传输时延的要求日益增加。为了更加有效地传输网络流量，使得网络流可以在截止时间前传输完成，结合网络流截止时间信息合理调度网络流的研究正在得到学术界和工业界越来越多的关注。在传统数据中心网络中，一般采用传统的传输控制协议TCP，然而TCP的平均分配带宽机制并不适用于对时延敏感的数据中心网络，部分紧急网络流因为要和非紧急网络流竞争而获得相同带宽，最后因为带宽不足而错过截止时间，从而导致网络流失效，故该方案最终降低了网络吞吐率，并且造成了网络资源浪费。
如今大多数基于截止时间的流调度方案，主要做法都是提高紧急网络流的优先级，使得紧急网络流获得较高带宽，而非紧急网络流获得较低带宽，甚至暂停不传。但是目前数据中心网络中多数应用服从Partition-Aggregate结构，网络中一个任务包含多条网络流，一条流可以在截止时间前完成并不能保证该任务中所有流都可以在截止时间前完成。如果一个任务中大部分网络流都在截止时间前完成，然而仅剩几条流未能在截止时间前完成，则该任务也视为失效。
发明内容
为了改进传统的网络传输控制方法，结合网络流的截止时间信息，以任务为单位调度流量，使得紧急网络流可以优先调度从而可以在截止时间前完成，提高网络吞吐率，减少平均网络流传输时间，本发明提出了一种数据中心网络中的任务级别的流调度方法，包括：
步骤1、在现有数据中心网络包含：服务器、中间交换机和核心交换机的基础上，加装SDN控制器，SDN控制器分别与服务器、中间交换机和核心交换机相连；
步骤2、当服务器接收到一个新任务时，将网络流信息封装到报文中并发送给SDN控制器；
步骤3、SDN控制器收集到服务器发送的新任务的所有网络流信息后执行中央调度算法，来判断新任务的加入是否会导致已经被SDN控制器接受的旧任务的所有网络流信息以及将要加入的新任务的所有网络流信息无法在截止时间前传输完成，若是，则该新任务不被接受，SDN控制器通知发送端服务器丢弃该任务；若否，则该新任务被接受；
步骤4、如果该新任务被接受，则SDN控制器根据中央调度算法的计算结果，将新任务的相应网络流的传输时间片发送给相应的发送端服务器，同时SDN控制器将被接受的新任务的网络流的路由表项安装到相应交换机上，包括核心交换机和中间交换机；
步骤5、发送端服务器持续监控时间，并和SDN控制器保持通信以确保时间一致性；当到了某条网络流的预定发送时间时，发送端服务器将该网络流以预定的速率发送；若一条网络流传输结束，则发送端服务器将发送一个报文给SDN控制器并从其维护的状态信息表中移除。
所述中央调度算法具体包括：
步骤301、SDN控制器接收到一个服务器传输过来的新任务tnew后将该新任务以及由所有已经被服务器接受的旧任务所组成的任务集合T加入到一个临时集合Ttmp中；
步骤302、SDN控制器将临时集合Ttmp中所有任务的网络流根据截止时间的顺序进行优先级的排序，截止时间越早的网络流优先级越高；
步骤303、SDN控制器对于排序后的临时集合Ttmp中的网络流按照优先级从高到底的顺序逐条进行调度；
步骤304、对于一条被调度的网络流，SDN控制器计算该网络流能经过的所有的路径，并给它分配该路径上可分配的最大带宽及时间段，并找到可以最早完成该网络流的路径，把该路径分配为该网络流的传输路径，同时记录该网络流的传输时间段，同时调整该路径在该网络流的传输时间段的剩余带宽；
步骤305、若临时集合Ttmp中有任意一条网络流的传输时间段超过了截止时间，则中央调度算法输出不接受该新任务tnew的指令，否则接受该新任务tnew，并把该新任务tnew加入到任务集合T中，记录临时集合Ttmp中所有网络流的路由路径以及传输时间片。
所述网络流信息包括网络流的源地址，目的地址，所属任务信息，截止时间，内容大小。
所述服务器维护所有被接收的网络流的相关信息，包括网络流的截止时间，期望传输时间以及分配的传输时间片。
本发明的有益效益是：节约网络资源，避免了因为部分网络流未能在截止时间前传输完成而导致整个任务传输失败，并且提高了整理网络流量的吞吐量；最大化在截止时间前完成的任务数量，减少了平均网络任务完成时间。
附图说明
图1.本发明的网络框架图；
图2.本发明的整体流程图。
具体实施方式
下面结合附图，对优选实施例作详细说明。
本发明提出了一种数据中心网络中的任务级别的流调度方法，主要目标为最大化截止时间前完成的任务数。网络流的优先级由网络流的截止时间和网络流的大小决定，同时，优先级较高的网络流应该先被处理以及传输，这就意味着较高优先级的流可以抢占较低优先级的流的带宽。为了降低平均网络流完成时间，每个时刻一条链路上最多可以有一条网络流在传输。这就意味着当一条网络流开始传输时，这条网络流将独占整条链路带宽。
本发明的步骤具体包括：
(1)当有新任务到达发送端服务器时，其中新任务包含有流发送端服务器将网络流相关信息封装到相应的调度报头中，再将调度报头添加到探测包发送给SDN控制器。
(2)发送端服务器发送给SDN控制器的报文包括流的源地址信息，目的地址信息，流大小，截止时间，然后等待SDN控制器的计算结果。
(3)当SDN控制器接收到发送端服务器发来的探测包时，SDN控制器首先执行集中式调度算法，同时收集任务信息和网络流信息。详细过程是SDN控制器运行集中式算法来计算决定是否需要接收或拒绝该任务的流。考虑到一个任务的不同流不一定是同时到达，所以拒绝政策只针对于每条网络流。如果SDN控制器接收一条新网络流会导致其他在传的任务不能在截止时间前完成，那么该网络流将会被拒绝并丢弃，否则该网络流会被SDN控制器接收并为其分配路由和传输时间片。然后控制器通知相应的中间交换机安装路由表项。当SDN控制器接收到某条网络流已经完成或者已经错过截止时间的ACK，那么控制器会通知相应的交换机撤销路由表项。最终，控制器为每条网络流计算传输时间片。计算完毕后，控制器将传输时间片信息封装到报文中发送给发送端服务器。当发送端服务器接收到计算结果后，会为每条网络流维护状态信息表，记录其预分配信息。
(4)然后，发送端服务器持续监控时间，并和SDB控制器保持通信以确保时间一致性。当到了某条网络流的预定发送时间时，发送端服务器将该网络流以预定的速率发送。若一条网络流传输结束，则发送端服务器将发送一个TERM报文给SDN控制器并从其维护的状态信息表中移除。
本发明中的交换机并不需要任何修改或者模块的增加。区别于传统的显式速率控制协议(rate control protocol，简称RCP)以及近期提出的截止时间感知的传输控制协议，例如PDQ和D3，本发明主要在SDN控制器完成每条网络流分配速率的功能，并不需要交换机的参与。当分组到达交换机时，交换机仅需根据路由表项转发该报文即可。
为比较本发明和其他现有技术方案的区别，进行了一个流级别的仿真。实验选择了胖树(fat-tree)作为的测试拓扑结构，详细的仿真设置如下：每组仿真数据包含30个任务。每个任务的到达时间服从泊松到达模型，到达率为lamda，或者说平均每秒有lamda个任务到达。到达速率设为40/s。每个任务平均含有100条网络流。每个任务的第一条网络流的到达时间为任务到达时间。每条网络流的发送端和接收端随机分配。每条网络流的大小服从平均分配，平均大小为200KB。每条网络流的截止时间服从指数分配，而平均截止时间为40ms。
通过大量仿真实验，发现本发明与其他几种延时敏感的方案相比，网络任务吞吐率提高了20％～50％，比传统平均分配带宽的传输控制协议提高了超过60％，说明本发明达到了预期的目的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种数据中心网络中的任务级别的流调度方法，其特征在于，包括：
步骤1、在现有数据中心网络包含：服务器、中间交换机和核心交换机的基础上，加装SDN控制器，SDN控制器分别与服务器、中间交换机和核心交换机相连；
步骤2、当服务器接收到一个新任务时，将网络流信息封装到报文中并发送给SDN控制器；
步骤3、SDN控制器收集到服务器发送的新任务的所有网络流信息后执行中央调度算法，来判断新任务的加入是否会导致已经被SDN控制器接受的旧任务的所有网络流信息以及将要加入的新任务的所有网络流信息无法在截止时间前传输完成，若是，则该新任务不被接受，SDN控制器通知发送端服务器丢弃该任务；若否，则该新任务被接受；
步骤4、如果该新任务被接受，则SDN控制器根据中央调度算法的计算结果，将新任务的相应网络流的传输时间片发送给相应的发送端服务器，同时SDN控制器将被接受的新任务的网络流的路由表项安装到相应交换机上，包括核心交换机和中间交换机；
步骤5、发送端服务器持续监控时间，并和SDN控制器保持通信以确保时间一致性；当到了某条网络流的预定发送时间时，发送端服务器将该网络流以预定的速率发送；若一条网络流传输结束，则发送端服务器将发送一个报文给SDN控制器并从其维护的状态信息表中移除。
2.根据权利要求1所述方法，其特征在于，所述中央调度算法具体包括：
步骤301、SDN控制器接收到一个服务器传输过来的新任务tnew后将该新任务以及由所有已经被服务器接受的旧任务所组成的任务集合T加入到一个临时集合Ttmp中；
步骤302、SDN控制器将临时集合Ttmp中所有任务的网络流根据截止时间的顺序进行优先级的排序，截止时间越早的网络流优先级越高；
步骤303、SDN控制器对于排序后的临时集合Ttmp中的网络流按照优先级从高到底的顺序逐条进行调度；
步骤304、对于一条被调度的网络流，SDN控制器计算该网络流能经过的所有的路径，并给它分配该路径上可分配的最大带宽及时间段，并找到可以最早完成该网络流的路径，把该路径分配为该网络流的传输路径，同时记录该网络流的传输时间段，同时调整该路径在该网络流的传输时间段的剩余带宽；
步骤305、若临时集合Ttmp中有任意一条网络流的传输时间段超过了截止时间，则中央调度算法输出不接受该新任务tnew的指令，否则接受该新任务tnew，并把该新任务tnew加入到任务集合T中，记录临时集合Ttmp中所有网络流的路由路径以及传输时间片。
3.根据权利要求1或2所述方法，其特征在于，所述网络流信息包括网络流的源地址，目的地址，所属任务信息，截止时间，内容大小。
4.根据权利要求1或2所述方法，其特征在于，所述服务器维护所有被接收的网络流的相关信息，包括网络流的截止时间，期望传输时间以及分配的传输时间片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510188559.6A CN104767695B (zh) | 2015-04-20 | 2015-04-20 | 一种数据中心中的任务级别的流调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510188559.6A CN104767695B (zh) | 2015-04-20 | 2015-04-20 | 一种数据中心中的任务级别的流调度方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104767695A true CN104767695A (zh) | 2015-07-08 |
| CN104767695B CN104767695B (zh) | 2017-11-14 |
Family
ID=53649317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510188559.6A Active CN104767695B (zh) | 2015-04-20 | 2015-04-20 | 一种数据中心中的任务级别的流调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104767695B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105827547A (zh) * | 2016-03-10 | 2016-08-03 | 中国人民解放军理工大学 | 一种降低数据中心网络中流传输完成时间的流调度方法 |
| CN106911593A (zh) * | 2015-12-23 | 2017-06-30 | 中国科学院沈阳自动化研究所 | 一种基于sdn架构的工业控制网络队列调度方法 |
| CN107332786A (zh) * | 2017-06-16 | 2017-11-07 | 大连理工大学 | 一种在服务链环境下保障数据流截止时间的调度方法 |
| CN107454017A (zh) * | 2017-06-05 | 2017-12-08 | 上海交通大学 | 一种云数据中心网络中混合数据流协同调度方法 |
| TWI643478B (zh) * | 2016-12-15 | 2018-12-01 | 新加坡商雲網科技新加坡有限公司 | Sdn控制器及網路服務動態部署系統及方法 |
| CN109768931A (zh) * | 2017-11-09 | 2019-05-17 | 中国移动通信集团公司 | 处理数据包的方法、交换机、装置及计算机可读存储介质 |
| CN107346262B (zh) * | 2017-06-06 | 2020-12-15 | 华为技术有限公司 | 一种任务迁移的方法及控制器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103179046A (zh) * | 2013-04-15 | 2013-06-26 | 昆山天元昌电子有限公司 | 基于openflow的数据中心流量控制方法及系统 |
| CN103259723A (zh) * | 2013-06-05 | 2013-08-21 | 清华大学 | 基于数据中心网络路由与流抢占调度相结合的节能方法 |
| CN103825823A (zh) * | 2014-02-21 | 2014-05-28 | 中国科学技术大学苏州研究院 | 基于不同优先级的软件定义网络中数据转发方法 |
| CN104468353A (zh) * | 2014-12-26 | 2015-03-25 | 深圳市新格林耐特通信技术有限公司 | 基于sdn的数据中心网络流量管理方法 |
| WO2015046859A1 (ko) * | 2013-09-26 | 2015-04-02 | 주식회사 케이티 | 플로우 테이블을 업데이트하는 방법 |
-
2015
- 2015-04-20 CN CN201510188559.6A patent/CN104767695B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103179046A (zh) * | 2013-04-15 | 2013-06-26 | 昆山天元昌电子有限公司 | 基于openflow的数据中心流量控制方法及系统 |
| CN103259723A (zh) * | 2013-06-05 | 2013-08-21 | 清华大学 | 基于数据中心网络路由与流抢占调度相结合的节能方法 |
| WO2015046859A1 (ko) * | 2013-09-26 | 2015-04-02 | 주식회사 케이티 | 플로우 테이블을 업데이트하는 방법 |
| CN103825823A (zh) * | 2014-02-21 | 2014-05-28 | 中国科学技术大学苏州研究院 | 基于不同优先级的软件定义网络中数据转发方法 |
| CN104468353A (zh) * | 2014-12-26 | 2015-03-25 | 深圳市新格林耐特通信技术有限公司 | 基于sdn的数据中心网络流量管理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王溪波，佟欣: "一种改进的最大紧急度优先调度算法及实现", 《微计算机信息》 * |
| 程禹，赵宏伟，龙曼丽，李玉翠: "最早截止期优先调度算法的改进", 《吉林大学学报（工学版）》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106911593B (zh) * | 2015-12-23 | 2019-09-13 | 中国科学院沈阳自动化研究所 | 一种基于sdn架构的工业控制网络队列调度方法 |
| CN106911593A (zh) * | 2015-12-23 | 2017-06-30 | 中国科学院沈阳自动化研究所 | 一种基于sdn架构的工业控制网络队列调度方法 |
| CN105827547A (zh) * | 2016-03-10 | 2016-08-03 | 中国人民解放军理工大学 | 一种降低数据中心网络中流传输完成时间的流调度方法 |
| CN105827547B (zh) * | 2016-03-10 | 2019-02-05 | 中国人民解放军理工大学 | 一种降低数据中心网络中流传输完成时间的流调度方法 |
| US10666742B2 (en) | 2016-12-15 | 2020-05-26 | Nanning Fugui Precision Industrial Co., Ltd. | Software defined network controller and network service allocating system and method |
| TWI643478B (zh) * | 2016-12-15 | 2018-12-01 | 新加坡商雲網科技新加坡有限公司 | Sdn控制器及網路服務動態部署系統及方法 |
| CN107454017A (zh) * | 2017-06-05 | 2017-12-08 | 上海交通大学 | 一种云数据中心网络中混合数据流协同调度方法 |
| CN107454017B (zh) * | 2017-06-05 | 2021-05-11 | 上海交通大学 | 一种云数据中心网络中混合数据流协同调度方法 |
| CN107346262B (zh) * | 2017-06-06 | 2020-12-15 | 华为技术有限公司 | 一种任务迁移的方法及控制器 |
| CN107332786B (zh) * | 2017-06-16 | 2019-08-13 | 大连理工大学 | 一种在服务链环境下保障数据流截止时间的调度方法 |
| CN107332786A (zh) * | 2017-06-16 | 2017-11-07 | 大连理工大学 | 一种在服务链环境下保障数据流截止时间的调度方法 |
| CN109768931A (zh) * | 2017-11-09 | 2019-05-17 | 中国移动通信集团公司 | 处理数据包的方法、交换机、装置及计算机可读存储介质 |
| CN109768931B (zh) * | 2017-11-09 | 2020-10-13 | 中国移动通信集团公司 | 处理数据包的方法、交换机、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104767695B (zh) | 2017-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104767695A (zh) | 一种数据中心中的任务级别的流调度方法 | |
| US8451742B2 (en) | Apparatus and method for controlling data communication | |
| CN102971996B (zh) | 带有分组突发的负载平衡的交换节点 | |
| CN103118134B (zh) | 一种面向任务级的大数据分发质量保障方法及装置 | |
| CN104836750B (zh) | 一种基于时间片轮转的数据中心网络流调度方法 | |
| CN102523108A (zh) | 基于航空全双工交换以太网的航空电子管理系统 | |
| CN103493448A (zh) | 分层成形调度和定形 | |
| CN102868645A (zh) | Openflow交换机系统及其报文处理方法 | |
| CN104579962A (zh) | 一种区分不同报文的QoS策略的方法及装置 | |
| CN112217733B (zh) | 一种报文处理方法及相关装置 | |
| Zhang et al. | Packet-size aware scheduling algorithms in guard band for time sensitive networking | |
| CN114666280B (zh) | 基于时间敏感软件定义网络的工业互联网时延优化方法 | |
| CN106330377A (zh) | 轨道列车宽带网络实时性数据传输系统及方法 | |
| CN103607343B (zh) | 一种适用于星载处理转发器的混合交换结构 | |
| CN103685065B (zh) | 一种基于时间的通信调度方法 | |
| CN102104537A (zh) | 一种用于光纤通道终端系统的时间触发方法 | |
| Li et al. | Survey on traffic management in data center network: from link layer to application layer | |
| CN102857440A (zh) | 数据处理方法与交换机 | |
| CN112087356B (zh) | 一种兼容通用TTE的uTTE网络系统 | |
| CN102215167A (zh) | 传输数据的方法、装置及其系统 | |
| CN112073230B (zh) | 兼容标准afdx网络的精简网络系统 | |
| CN101931585A (zh) | 一种信元保序的方法及装置 | |
| CN103259723A (zh) | 基于数据中心网络路由与流抢占调度相结合的节能方法 | |
| CN103987135B (zh) | 一种自动化生产线监控两层无线传感器网络系统 | |
| CN117014384A (zh) | 一种报文传输方法以及报文转发设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Lili Inventor after: Li Dan Inventor after: Wu Jianping Inventor before: Liu Lili Inventor before: Li Dan |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |