CN105827547B - 一种降低数据中心网络中流传输完成时间的流调度方法 - Google Patents

一种降低数据中心网络中流传输完成时间的流调度方法 Download PDF

Info

Publication number
CN105827547B
CN105827547B CN201610137805.XA CN201610137805A CN105827547B CN 105827547 B CN105827547 B CN 105827547B CN 201610137805 A CN201610137805 A CN 201610137805A CN 105827547 B CN105827547 B CN 105827547B
Authority
CN
China
Prior art keywords
stream
data center
center network
time
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610137805.XA
Other languages
English (en)
Other versions
CN105827547A (zh
Inventor
胡超
刘波
邢长友
陈鸣
李兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA University of Science and Technology
Original Assignee
PLA University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA University of Science and Technology filed Critical PLA University of Science and Technology
Priority to CN201610137805.XA priority Critical patent/CN105827547B/zh
Publication of CN105827547A publication Critical patent/CN105827547A/zh
Application granted granted Critical
Publication of CN105827547B publication Critical patent/CN105827547B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种降低数据中心网络中流传输完成时间的流调度方法，实现在流长未知的条件下，降低平均流传输完成时间。该方法的基本思想是：通过收集网络中历史数据流的长度信息，不断更新流长的概率密度分布；基于这些历史信息，计算各条数据流在特定时间内完成传输的概率；然后根据计算所得的各个概率，优先调度完成传输概率最高的流，从而改善数据中心网络的资源利用效率。本发明具有不依赖先验知识、平均流传输完成时间短的优点。

Description

一种降低数据中心网络中流传输完成时间的流调度方法
技术领域
本发明属于网络数据通信技术领域，是一种对数据中心网络中数据流进行动态调度的方法，具体地说是一种面向资源高效利用的数据流调度方法。
背景技术
各种在线服务，如搜索引擎、社交网络、网商(retail)等，已经成为当前人类社会不可或缺的一部分，他们为广大用户提供了非常便捷的服务，有力改善了人们的工作和生活。而作为在线服务的基础设施，数据中心网络承担着为各类在线服务提供及时、高效数据传输的任务，其重要性不言而喻。由于固有的实时交互性特点，许多在线服务对请求的响应时延有着非常严格的要求，时间期限往往在几百毫秒以内，例如在线网站就要求99.9％的响应在200-300毫秒以内完成[1]。而从数据中心网络流量模式的角度来考虑，绝大部分的流都属于短流，但是非常高比例的字节数却是由数据备份、虚拟机迁移等产生的长流所占据[2]。相对于长流来说，短流往往是由交互式服务产生，它们对时延更为敏感，应当在尽可能短的时间内完成传输，而长流则没有时间期限方面的要求。因此，数据中心网络首要目标是尽量缩短短流完成时间，再提高长流的吞吐量。
基于流模型(fluid traffic model)，可以很容易得到如下结论：最优的流调度策略是剩余传输时间最短的流应当首先被传输，也即SRPT(Shortest Remaining ProcessingTime)策略[3]。因此，为了达到最优的调度，路由器在转发各条流的过程中，每有一条新的流到达时，应当对比所有流剩余的字节数，并选择最短的那条流进行传输，文献[4]所提出的抢占式调度算法(preemptive scheduling)也是基于这个思想来实现。然而，最优调度需要特定的先验知识，即每条流的长度都是已知的，否则路由器无法判断出哪条流应当优先得到调度。尽管数据中心网络中的部分流可以根据端口号推断出其应用的类型，从而估计流的长度，但是大部分流的长度仍然难以精确判断，这就影响了短流的传输完成时间，特别是当一条长流被误判为短流时，其他许多流的时延性能将会严重降低
为了防止这种情况的发生，在不确定流长度的前提下，应当尽量避免将所有带宽都分配给某条流，而为了优化流的传输完成时间，路由器在调度各个分组时，优先为那些在短时间内结束传输概率更高的流提供服务，而这里的难点是如何判断哪条流剩余长度最短的概率。虽然各条流的流长度是未知的，但是可以根据数据中心网络中以往传输的流信息评估出流的长度分布，然后再基于该密度分布函数推断出当前各条流在特定时间期限内完成传输的概率，并优先转发结束概率最大的流的分组。
参考文献
[1]C.Wilson,H.Ballani,T.Karagiannis,and A.Rowstron.Better Never thanLate:Meeting Deadlines in Datacenter Networks.In Proc.ACM SIGCOMM,2011.
[2]D.Abts,B.Felderman.A guided tour of data-centernetworking.Commun.ACM,vol.55,no.6,pp.44–51,June 2012.
[3]N.Bansal and M.Harchol-Balter.Analysis of srpt scheduling:investigating unfairness.ACM SIGMETRICS,2001.
[4]C.-Y.Hong,M.Caesar,and P.B.Godfrey.Finishing Flows Quickly withPreemptive Scheduling.ACM SIGCOMM,2012.
发明内容
发明目的：针对目前数据中心网络流调度严重依赖流长、传输完成期限等先验知识问题，提出一种以降低流传输完成时间为目标的数据中心网络流调度的设计方法。
技术方案：一种降低数据中心网络中流传输完成时间的流调度方法，即面向高效资源利用的数据中心网络流调度方法(Efficient Utilization oriented FlowScheduling Mechanism,EUFSM)，该方法着重描述了历史流长信息收集以及对数据中心网络中的流进行调度的方法，包括以下步骤：
A.历史流长信息的收集步骤：数据中心网络中的机架交换机以五元组(源IP地址，目的IP地址，源端口号，目的端口号，运输层协议)对所有流经的分组进行聚合，形成流信息，如果一条流超过64秒没有下一个分组到达，则认为该流传输结束，然后计算整条流的字节长度；持续收集流长信息并进行累加，然后以1个字节为单位，统计流长分布的概率密度函数；在一条新的流完成传输时，对流长分布函数进行更新。
B.计算分组优先级的步骤：已知数据中心网络流长的概率密度分布函数为p(x)(其中x为字节数)，数据中心网络交换机链路带宽为C，针对已传输字节数为B的流，计算其在t时间内完成传输的概率，计算方法为根据所有流计算得到的传输结束概率，采用K均值方法对其进行聚类，类别数目为8，然后得到7个划分不同流类别的阈值，传输结束概率最高的类别具有最高的优先级，次高的类别具有第二等级的优先级，并以此类推。
C.在端系统接入端对流进行标记的步骤：根据步骤B计算得到的阈值，利用控制器对端系统接入处的流量控制设备的配置进行更新；然后对各个分组的DSCP字段进行标记，优先级最高的分组DSCP字段设置为1，次高的设置为2，并以此类推。
D.对分组进行调度的步骤：利用OF-CONFIG配置管理协议对交换机进行配置，将每个交换机入端口划分出8个优先级不同的队列；当分组到达时，根据分组DSCP字段的内容将其送入对应的队列；当队列不为空，交换机按照各个队列的优先级顺序进行调度，只有当所有更高优先级队列都为空时，该队列中的分组才能得到服务。
有益效果：本发明相对现有技术具有以下优点：
1、不依赖先验知识：较之现有的设计方法，本发明不需要掌握每条流的长度和传输完成期限等信息，因此能够更有效地在实际数据中心网络环境中加以部署。
2、平均流传输完成时间短：本发明以流的传输结束概率作为设定优先级的标准，因此在理论上能够更快结束流的传输，从而缩短流的平均传输完成时间。
附图说明
图1为本发明实施例运行的网络环境；
图2为本发明实施例对应EUFSM方法流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
首先给出本发明所需要的运行环境和应用场景，如图1所示：在网络中提前部署交换机和流量控制设备，所有PC机分为发送方和接收方两类，发送方产生数据流并向某个接收方发送分组。
运行本发明提供的面向高效资源利用的数据中心网络流调度方法的系统配置如下：在Intel-Linux架构的PC机和流量控制设备上安装并运行本发明的EUFSM软件，PC机以至少100Mbps的接入带宽连接到因特网中。这些PC机硬件的主频为4.66GHz的Core双核CPU，内存2GB，硬盘250GB，运行Red Hat 6.1Enterprise操作系统。
一种降低数据中心网络中流传输完成时间的流调度方法，包括以下步骤：
A.历史流长信息的收集步骤：数据中心网络中的机架交换机以五元组(源IP地址，目的IP地址，源端口号，目的端口号，运输层协议)对所有流经的分组进行聚合，形成流信息，如果一条流超过64秒没有下一个分组到达，则认为该流传输结束，然后计算整条流的字节长度；持续收集流长信息并进行累加，然后以1个字节为单位，统计流长分布的概率密度函数；在一条新的流完成传输时，对流长分布函数进行更新。
B.计算分组优先级的步骤：已知数据中心网络流长的概率密度分布函数为p(x)(其中x为字节数)，数据中心网络交换机链路带宽为C，针对已传输字节数为B的流，计算其在t时间内完成传输的概率，计算方法为根据所有流计算得到的传输结束概率，采用K均值方法对其进行聚类，类别数目为8，然后得到7个划分不同流类别的阈值，传输结束概率最高的类别具有最高的优先级，次高的类别具有第二等级的优先级，并以此类推。
C.在端系统接入端对流进行标记的步骤：根据步骤B计算得到的阈值，利用控制器对端系统接入处的流量控制设备的配置进行更新；然后对各个分组的DSCP字段进行标记，优先级最高的分组DSCP字段设置为1，次高的设置为2，并以此类推。
D.对分组进行调度的步骤：利用OF-CONFIG配置管理协议对交换机进行配置，将每个交换机入端口划分出8个优先级不同的队列；当分组到达时，根据分组DSCP字段的内容将其送入对应的队列；当队列不为空，交换机按照各个队列的优先级顺序进行调度，只有当所有更高优先级队列都为空时，该队列中的分组才能得到服务。
图2给出了本发明EUFSM方法的工作流程图，该流程开始于步骤S101，这时发送方开始产生流量，然后转S102。
在步骤S102中，流开始发送分组，并同时转入S103和S107。
在步骤S103中，判断流是否传输完毕，否返回S102，是转S104。
在步骤S104中，对流长的分布进行更新，然后转S105。
在步骤S105中，根据更新后的流长分布，重新计算划分分组优先级的阈值，然后转S106。
在步骤S106中，流量控制设备根据修改后的阈值更新对分组标记时的DSCP值，然后转S108。
在步骤S107中，流量控制设备收到流产生的分组，然后转步骤S108。
在步骤S108中，流量控制设备根据计算得到的结果对分组标记相应的DSCP值，然后转S109。
在步骤S109中，接收端交换机按照DSCP值将分组插入到相应的队列中，然后转S110。
在步骤S110中，接收端交换机按照队列的优先级对分组进行调度，然后转S111并结束整个流程。
实施例
本实施例给出了某试验床中的多台交换机和PC机上运行基于本发明的面向高效资源利用的数据中心网络流调度方法的软件对所有测试PC机和交换机进行组织，以为调度网络中的流分组提供科学依据。
假定该测试床中的一半PC机以至少100Mbps的带宽接入到交换机中，并通过一个流量控制设备连接到另一个交换机，另一半PC机与这个交换机相连，所有设备都运行基于本发明的面向高效资源利用的数据中心网络流调度方法的软件。当PC机上的软件启动后，自动记录各条流的传输完成时间。
通过EUFSM方法对数据中心网络中的流进行调度之后，内容提供商就能够在数据中心网络中实现不依赖先验知识的流调度和较低的流传输完成时间，从而改善用户使用数据中心网络所提供服务的体验质量。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (1)

1.一种降低数据中心网络中流传输完成时间的流调度方法，该方法着重描述了历史流长信息收集以及对数据中心网络中的流进行调度的方法，其特征在于：包括以下步骤：
A.历史流长信息的收集步骤：数据中心网络中的机架交换机以五元组对所有流经的分组进行聚合，形成流信息，如果一条流超过预设时间没有下一个分组到达，则认为该流传输结束，然后计算整条流的字节长度；持续收集流长信息并进行累加，然后以1个字节为单位，统计流长分布的概率密度函数；在一条新的流完成传输时，对流长分布的概率密度函数进行更新；所述五元组的形式为(源IP地址，目的IP地址，源端口号，目的端口号，运输层协议)；
B.计算分组优先级的步骤：已知数据中心网络中流长分布的概率密度函数为p(x)，其中x为字节数，数据中心网络的交换机链路带宽为C，针对已传输字节数为B的流，计算其在t时间内完成传输的概率，计算方法为根据所有流计算得到的传输结束概率，采用K均值方法对其进行聚类，类别数目为8，然后得到7个划分不同流类别的阈值，传输结束概率最高的类别具有最高的优先级，次高的类别具有第二等级的优先级，并以此类推；
C.在端系统接入端对流进行标记的步骤：根据步骤B计算得到的阈值，利用控制器对端系统接入处的流量控制设备的配置进行更新；然后对各个分组的DSCP字段进行标记；
D.对分组进行调度的步骤：利用OF-CONFIG配置管理协议对交换机进行配置，将每个交换机入端口划分出8个优先级不同的队列；当分组到达时，根据分组DSCP字段的内容将其送入对应的队列；当队列不为空，交换机按照各个队列的优先级顺序进行调度，只有当所有更高优先级队列都为空时，到达分组所在队列中的分组才能得到服务。
CN201610137805.XA 2016-03-10 2016-03-10 一种降低数据中心网络中流传输完成时间的流调度方法 Expired - Fee Related CN105827547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610137805.XA CN105827547B (zh) 2016-03-10 2016-03-10 一种降低数据中心网络中流传输完成时间的流调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610137805.XA CN105827547B (zh) 2016-03-10 2016-03-10 一种降低数据中心网络中流传输完成时间的流调度方法

Publications (2)

Publication Number Publication Date
CN105827547A CN105827547A (zh) 2016-08-03
CN105827547B true CN105827547B (zh) 2019-02-05

Family

ID=56987725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610137805.XA Expired - Fee Related CN105827547B (zh) 2016-03-10 2016-03-10 一种降低数据中心网络中流传输完成时间的流调度方法

Country Status (1)

Country Link
CN (1) CN105827547B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254273A (zh) * 2016-08-09 2016-12-21 清华大学深圳研究生院 一种数据中心网络流的调度方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795643A (zh) * 2014-01-28 2014-05-14 广西大学 数据中心网络中处理同步优先级突发流的方法
CN104301254A (zh) * 2014-09-30 2015-01-21 广东石油化工学院 一种用于数据中心网络的数据包调度方法
CN104767695A (zh) * 2015-04-20 2015-07-08 清华大学 一种数据中心中的任务级别的流调度方法
CN104836750A (zh) * 2015-05-04 2015-08-12 大连理工大学 一种基于时间片轮转的数据中心网络流调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795643A (zh) * 2014-01-28 2014-05-14 广西大学 数据中心网络中处理同步优先级突发流的方法
CN104301254A (zh) * 2014-09-30 2015-01-21 广东石油化工学院 一种用于数据中心网络的数据包调度方法
CN104767695A (zh) * 2015-04-20 2015-07-08 清华大学 一种数据中心中的任务级别的流调度方法
CN104836750A (zh) * 2015-05-04 2015-08-12 大连理工大学 一种基于时间片轮转的数据中心网络流调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向公平性的数据中心流调度技术研究;吴昊;《全国优秀硕士学位论文》;20151215;全文

Also Published As

Publication number Publication date
CN105827547A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN104158753B (zh) 基于软件定义网络的动态流调度方法及系统
CN103346922B (zh) 基于sdn的确定网络状态的控制器及其确定方法
CN104539440B (zh) 具有入口控制的业务量管理
CN107659419A (zh) 网络切片方法和系统
CN105227481B (zh) 基于路径开销和流调度代价最小化的sdn拥塞控制路由方法
CN103746911B (zh) 一种sdn网络结构及其通信方法
CN103354528B (zh) 多流同步方法及装置
CN104378309A (zh) OpenFlow网络中实现QoS的方法、系统和相关设备
WO2008095397A1 (fr) Procédé de planification de trafic et appareil apparenté
CN101964758A (zh) 一种基于区分服务的队列调度方法
CN104038966B (zh) 长期演进网络下数据流调度方法及其装置
CN102148764B (zh) 一种基于QoS业务的数据处理方法和设备
CN106550049B (zh) 一种中间件部署方法、装置及系统
CN104184679B (zh) 一种智能变电站中报文的调度方法和装置
CN101692648A (zh) 一种队列调度方法及系统
CN105915468B (zh) 一种业务的调度方法及装置
CN115277574B (zh) 一种sdn架构下数据中心网络负载均衡方法
CN110324260A (zh) 一种基于流量识别的网络功能虚拟化智能调度方法
CN103685057B (zh) 流量统计方法和装置
Fan et al. Dynamic virtual network embedding of mobile cloud system based on global resources in internet of vehicles
CN109413718A (zh) 一种船端异构网络环境下最优数字通信模式选择方法
CN106789716A (zh) Tdma自组网的mac层队列调度方法
CN115037694A (zh) 一种数据传输方法、装置、电子设备和存储介质
CN105827547B (zh) 一种降低数据中心网络中流传输完成时间的流调度方法
CN109150756A (zh) 一种基于sdn电力通信网的队列调度权值量化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190205

Termination date: 20200310

CF01 Termination of patent right due to non-payment of annual fee