CN106549782A - 一种数据中心内关联流的带宽调度方法及装置 - Google Patents
一种数据中心内关联流的带宽调度方法及装置 Download PDFInfo
- Publication number
- CN106549782A CN106549782A CN201510601222.3A CN201510601222A CN106549782A CN 106549782 A CN106549782 A CN 106549782A CN 201510601222 A CN201510601222 A CN 201510601222A CN 106549782 A CN106549782 A CN 106549782A
- Authority
- CN
- China
- Prior art keywords
- stream
- bandwidth
- data flow
- association
- bottleneck
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/82—Miscellaneous aspects
- H04L47/826—Involving periods of time
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据中心内关联流的带宽调度方法及装置,包括:主控制器根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流;主控制器为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间;主控制器根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。本发明公开的数据中心内关联流的带宽调度方法及装置,能够结合数据中心内应用的关联流实现光突发交换的数据中心全光网络的带宽动态调度。
Description
技术领域
本发明涉及网络通信技术领域,尤其涉及一种数据中心内关联流的带宽调度方法及装置。
背景技术
移动互联网、云计算为代表的信息服务越来越依赖高性能、可扩展的数据中心。通常数据中心承载着众多面向用户的应用如网页服务器、文件服务、在线游戏、企业应用等,同时也存在大数据挖掘等计算密集型任务。这些应用任务造成了服务器之间(虚拟机之间)的大量并发通信流,这些通信数据流包括一对多、多对一、多对多等通信模式,且其带宽需求动态范围大,更具备特殊的时延要求以保障上层应用性能。因此,如何设计相应的数据交换承载网络,支持数据中心内多样应用和复杂的通信模式,同时提供更绿色低能耗的优势以及灵活升级扩展的能力,是目前产业界和学术界共同关注的热点课题。特别是近年来随着光电子器件技术的发展进步,以光传输和交换为基础的数据中心网络设计,得到了越来越多的关注和重视。
在数据中心内,大多数集群计算应用程序框架(如MapReduce)完成用户定义的工作,并沿着符合编程模型的特定工作流传输。其他有些是面向用户的通道,用户通过多级结构请求并最终返回相应的回答(例如Google和Bing的搜索结果,以及Facebook的主页反馈)。
以MapReduce的Shuffle和分布式文件系统(DFS,Distributed FileSystem)复制过程为例。MapReduce是一个众所周知和广泛使用的分布式计算框架。在这个模型中,每个mapper从DFS读取输入,执行用户定义的计算,并将中间数据写入磁盘;各reducer将中间数据从不同mapper读出,将它们合并,并将其输出写入到DFS,然后复制到多个目的地。MapReduce模型的主要特征就是直到最后一个reducer完成,整个任务才完成。因此,在任务的最后有一个明确的障碍(barrier),研究人员已经在模型中利用它来优化Shuffle过程。又如整体同步并行(BSP,Bulk Synchronous Parallel)模型是集群计算中另一个熟知的模型。使用这个模型的计算框架有专注于图表处理、矩阵计算、网络算法的Pregel、Giragh和Hama。一个BSP并行计算机由一组通过通信网络互连的处理器——内存单元组成。它主要有三个部分:一组具有局部内存的分布式处理器、全局数据通信网络、支持所有处理单元间全局路障同步的机制。通过对每次超步(superstep)最后的障碍优化,superstep通信阶段可以得到优化。再如Partition-aggregate通信中的聚合过程,面向用户的在线服务收到用户的请求并通过聚合树向下面的工作节点(worker)传递,在树的每个阶段,不同的分割过程中独立的请求产生活动,最后,worker响应聚合并且在最后期限返回到用户界面,不能在最后期限返回的响应被丢弃或过一会儿进行异步发送(如Facebook主页反馈)。
由上述描述可以看出,虽然在传输层中,流之间相互独立难以区分,但是同一集群计算中,不同组计算机之间的流通常具有应用级的语义相关性。例如,MapReduce Shuffle过程中最后一个流决定了整体流的完成时间。类似地,如果一个流延迟或被丢弃就会导致整体流错过最晚完成时间,也许会对小部分响应产生影响。因此,将不同组的计算机之间具有语义相关性的流称为一个关联流。换言之,一个关联流就是具有相同绩效目标的流的集合,绩效目标可以是保证这组流都能够在最晚完成时间(deadline)之前传输完成,或者使这组流具有最短传输时间。
实现基于光突发交换的数据中心全光网络的关键技术之一在于提供具有可靠的、符合应用特征的动态资源调度机制,能通过高效的带宽分配算法实现网络带宽资源的灵活调度,以满足基于应用请求的网络节点的动态带宽需求。然而,针对数据中心光突发交换网络,现有技术的网络带宽资源调度机制未考虑上层应用的关联流需求特征。
发明内容
为了解决上述技术问题,本发明提供一种数据中心内关联流的带宽调度方法及装置,能够结合数据中心内应用的关联流实现光突发交换的数据中心全光网络的带宽动态调度。
为了达到上述技术目的,本发明提供一种数据中心内关联流的带宽调度方法及装置,包括:主控制器根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流;主控制器为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间;主控制器根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。
此外,本发明还提供一种数据中心内关联流的带宽调度装置,设置于主控制器,包括:流分类模块,用于根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流;预计完成时间计算模块,用于为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间;关联分配模块,用于根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。
在本发明中,主控制器根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流;主控制器为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间;主控制器根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。如此,本发明结合数据中心内应用的关联流实现了光突发交换的数据中心全光网络的带宽动态调度。
而且,通过本发明实施例,实现了数据中心内光突发传送环网高效且无冲突的动态资源调度,实现了基于应用的快速数据传输,不仅能公平合理地分配带宽资源并快速响应突发业务的带宽需求,而且实现了数据无冲突交换、关联流任务整体传输完成时间短并获得了较高的带宽利用率。
附图说明
图1为本发明实施例的应用场景示意图;
图2为本发明实施例提供的数据中心内关联流的带宽调度方法的流程图;
图3为本发明实施例中步骤11的具体流程图;
图4为本发明实施例中步骤12的具体流程图;
图5为本发明实施例中步骤13的具体流程图;
图6为本发明一实施例提供的数据中心内关联流的带宽调度装置的示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,应当理解,以下所说明的实施例仅用于说明和解释本发明,并不用于限定本发明。
图1为本发明实施例的应用场景示意图。如图1所示,数据中心内的光突发传送环网包含n个网络节点及1个主控制器。其中,n为大于1的整数,而且,网络节点的数目可按需设定。其中,主控制器负责带宽分配等集中式控制管理,每个网络节点为数据中心内配置m个服务器的机架(实际上,服务器数量可按需设定),每个网络节点配置k个发射机和k个接收机,其中,m、k均为大于1的整数。
于此,数据中心内的光突发传送网采用的是网络节点之间等时间连接,一个周期内所有连接建立时间相等,网络节点之间可以等效为全连接,关联流由服务器发出的最大线速率为a Gbps,设每个网络节点包括k个波长,每个波长传输速率为b Gbps,则每个网络节点的最大输出带宽为k*b Gbps,最大接收带宽为k*b Gbps,同一周期内任意两网络节点之间支持的最大传输带宽为k*b/(n-1)Gbps。关联流数据以流的形式在链路上传输。
图2为本发明实施例提供的数据中心内关联流的带宽调度方法的流程图。如图2所示,本实施例提供的数据中心内关联流的带宽调度方法包括以下步骤:
步骤11:主控制器根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流。
于此,在步骤11之前,该方法还包括:主控制器收集一个周期内的所有关联流带宽请求。
其中,关联流带宽请求包括关联流中每一条数据流的源地址信息、目的地址信息以及待传输的数据量。可选地,关联流带宽请求还包括关联流的完成时间上限值。
具体而言,每个带宽分配周期内,服务器通过关联流应用程序编程接口(API,Application Programming Interface)向主控制器提出关联流带宽请求,由于带宽调度以一个周期为单位进行,则主控器统计一个周期内所有关联流带宽请求。
于此,步骤11包括:主控制器根据每个关联流带宽请求携带的各数据流信息,从该关联流的所有数据流中选出待传输数据量最大的数据流或者节点可用带宽最大的数据流作为该关联流的瓶颈数据流。
举例而言,如图3所示,针对每个关联流带宽请求,将其携带的关联流中所有数据流按照待传输数据量由大到小的顺序排序,选出待传输数据量最大的数据流或者节点可用带宽最大的数据流,作为瓶颈数据流矩阵的元素,非瓶颈数据流则作为非瓶颈数据流矩阵的元素,其中,非瓶颈数据流为关联流中除瓶颈数据流外的数据流;若仍有关联流未进行瓶颈数据流的选择,则继续为关联流选择瓶颈数据流;当所有关联流均选出了瓶颈数据流,则输出最后得到的瓶颈数据流矩阵和非瓶颈数据流矩阵。于此,瓶颈数据流矩阵由收集上来的所有关联流中的待传输数据量最大的数据流组成,进而可以通过计算每个关联流的瓶颈数据流的传输时间来初步判定关联流的完成时间,而非瓶颈数据流矩阵则作为关联流的完成时间的最终判定以及所有数据流的带宽分配依据。
步骤12:主控制器为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间。
其中,第一条件包括:每条瓶颈数据流的传输带宽不超过发送端与接收端服务器的最大线速率(如10Gbps);所有具有相同源节点的瓶颈数据流的传输带宽之和不超过源节点的最大可用带宽,所有具有相同目的节点的瓶颈数据流的传输带宽之和不超过目的节点的最大可用带宽。可选地,瓶颈数据流所属关联流的预计完成时间不超过关联流带宽请求携带的该关联流的完成时间上限值。
具体而言,如图4所示,对于瓶颈数据流矩阵,分别按照具有相同源节点、具有相同目的节点对所有瓶颈数据流进行分类,并按照每个瓶颈数据流占用10Gbps带宽进行分配,再加入上个周期未传完的关联流数据所占用带宽量,计算下个周期具有相同源节点的瓶颈数据流占用源节点带宽总量、具有相同目的节点的瓶颈数据流占用目的节点带宽总量,如此,按照最大带宽分配方式,判定当前带宽是否足够。之后,分别判定计算得到的占用源节点带宽总量和占用目的节点带宽总量是否超出最大值(如k*b Gbps),若其中任一值超出最大值,则均匀缩减分配给每个瓶颈数据流的传输带宽(例如,在10Gbps基础上进行缩减),直至计算得到的占用源节点带宽总量和占用目的节点带宽总量均不超过最大值。若本步骤计算得到的占用源节点带宽总量和占用目的节点带宽总量均未超过最大值,则按照最新为各瓶颈数据流分配的传输带宽及各瓶颈数据流的待传输数据量,分别计算出各关联流的瓶颈数据流的传输完成时间,此传输完成时间即为该关联流的预计完成时间。
步骤13:主控制器根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。
于此,主控制器根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽之后,该方法还包括:当分配给所有关联流中非瓶颈数据流的传输带宽不满足第二条件时,主控制器均匀缩减分配给各瓶颈数据流的满足第一条件的传输带宽,根据重新分配的各瓶颈数据流的传输带宽重新确定各瓶颈数据流所属关联流的预计完成时间,再根据各关联流的预计完成时间重新为各关联流中非瓶颈数据流分配传输带宽,直至分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件。
其中,第二条件包括:每条非瓶颈数据流的传输带宽不超过发送端与接收端服务器的最大线速率(如10Gbps);所有具有相同源节点的非瓶颈数据流的传输带宽之和不超过源节点的最大可用带宽,所有具有相同目的节点的非瓶颈数据流的传输带宽之和不超过目的节点的最大可用带宽;分配给一个关联流中非瓶颈数据流的传输带宽不小于根据该关联流的预计完成时间确定的非瓶颈数据流的传输带宽。
具体而言,如图5所示,对于非瓶颈数据流矩阵,分别按照具有相同源节点、具有相同目的节点对所有非瓶颈数据流进行分类,其中,为每个非瓶颈数据流分配的传输带宽可以根据步骤12中计算出的所属关联流的预计完成时间和对应的待传输数据量确定,再加入上个周期未传完的关联流数据所占用带宽量,计算下个周期具有相同源节点的非瓶颈数据流占用源节点带宽总量、具有相同目的节点的非瓶颈数据流占用目的节点带宽总量。之后,分别判定计算得到的占用源节点带宽总量、占用目的节点带宽总量是否超出最大值(如k*b Gbps),若其中任一值超出最大值,则均匀缩减分配给每个瓶颈数据流的传输带宽(如在步骤12确定的瓶颈数据流的传输带宽基础上进行缩减),并返回步骤12根据缩减后的瓶颈数据流的传输带宽重新确定各关联流的预计完成时间,再按照步骤13进行判断直至步骤13中占用源节点带宽总量和占用目的节点带宽总量均未超过最大值。经过步骤12和步骤13的调整后,当所有关联流均能够按照确定的预计完成时间传输成功时,则得出最终为每个关联流中各个数据流分配的传输带宽以及每个关联流的预计完成时间。
可选地,瓶颈数据流所属关联流的预计完成时间不超过关联流带宽请求携带的该关联流的完成时间上限值。
其中,若出现因为冲突而导致某一或某些数据流不可能在完成时间上限值内传输完成时,则将此数据流所属的关联流整体后延,即令此关联流的开始传输时间推迟一个或若干个带宽调度周期,直至找到一个依据上述步骤计算使得所有数据流都能在完成时间上限值内传输完成的时间点。
于此,步骤13之后,该方法还包括:主控制器将各关联流的传输周期以及每个关联流中各数据流的传输带宽发送给各网络节点。
综上所述,通过步骤11实现关联流中瓶颈数据流的选择;通过步骤12初步确定关联流的预计完成时间;通过步骤13修订关联流的预计完成时间,从而使得一个周期内收集的关联流应用都能够以预计完成时间传输成功。
此外,本发明实施例还提供一种数据中心内关联流的带宽调度装置,设置于主控制器,包括:流分类模块,用于根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流;预计完成时间计算模块,用于为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间;关联分配模块,用于根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。
进一步地,上述装置还包括:输入模块,用于收集一个周期内的所有关联流带宽请求。
进一步地,流分类模块,具体用于:根据每个关联流带宽请求携带的各数据流信息,从该关联流的所有数据流中选出待传输数据量最大的数据流或者节点可用带宽最大的数据流作为该关联流的瓶颈数据流。
进一步地,关联分配模块,还用于当分配给所有关联流中非瓶颈数据流的传输带宽不满足所述第二条件时,均匀缩减分配给各瓶颈数据流的满足第一条件的传输带宽,并将缩减后的各瓶颈数据流的传输带宽反馈给所述预计完成时间计算模块,供所述预计完成时间计算模块重新确定各瓶颈数据流所属关联流的预计完成时间。
其中,第一条件包括:每条瓶颈数据流的传输带宽不超过发送端与接收端服务器的最大线速率;所有具有相同源节点的瓶颈数据流的传输带宽之和不超过源节点的最大可用带宽,所有具有相同目的节点的瓶颈数据流的传输带宽之和不超过目的节点的最大可用带宽。
其中,第二条件包括:每条非瓶颈数据流的传输带宽不超过发送端与接收端服务器的最大线速率;所有具有相同源节点的非瓶颈数据流的传输带宽之和不超过源节点的最大可用带宽,所有具有相同目的节点的非瓶颈数据流的传输带宽之和不超过目的节点的最大可用带宽;分配给一个关联流中非瓶颈数据流的传输带宽不小于根据该关联流的预计完成时间确定的非瓶颈数据流的传输带宽。
进一步地,上述装置还包括:输出模块,用于将各关联流的传输周期以及每个关联流中各数据流的传输带宽发送给各网络节点。
图6为本发明一实施例提供的数据中心内关联流的带宽调度装置的示意图。如图6所示,本实施例提供的数据中心内关联流的带宽调度装置包括:系统状态监测模块301、带宽调整模块302、输入模块303、流分类模块304、预计完成时间计算模块305、关联分配模块306以及输出模块307。
其中,系统状态监测模块301用于监测系统状态,例如包括传输关联流时任意两节点带宽的占用情况,并将监测结果发送给带宽调整模块302;
带宽调整模块302用于调整网络任意两节点之间的带宽,具体而言,带宽调整模块302包括光层带宽计算模块以及网络状态数据库,光层带宽计算模块根据系统状态监测模块301所监测到的网络状态,可以计算出光层带宽利用情况,并将结果发送给网络状态数据库,供预计完成时间计算模块305查询当前光层带宽配置;
输入模块303用于实现关联流带宽请求矩阵的生成,具体而言,输入模块303收集来自服务器的带宽请求,并整理为关联流带宽请求矩阵,其内容包括数据流编号、请求的源节点、目的节点及待传输数据量;
流分类模块304用于实现由关联流带宽请求矩阵到瓶颈数据流矩阵的计算过程,具体而言,流分类模块304将每个关联流带宽请求矩阵按照待传输数据量大小进行排序,选择每个关联流中待传输数据量最大的数据流,生成瓶颈数据流矩阵;
预计完成时间计算模块305用于实现由瓶颈数据流矩阵到预计完成时间的计算过程,具体而言,预计完成时间计算模块305根据现有带宽资源和实际关联流带宽请求确定任一关联流请求的传输完成时间,于此,预计完成时间计算模块305例如包括:第一带宽量计算单元、第一流裁减单元以及预计完成时间计算单元,其中,第一带宽量计算单元用于按照分配给各瓶颈数据流的带宽以及上个周期未传完的关联流数据所占用带宽量计算下个周期具有相同源节点的瓶颈数据流占用源节点带宽总量、具有相同目的节点的瓶颈数据流占用目的节点带宽总量,第一流裁减单元用于判定第一带宽量计算单元计算的结果是否超出对应的最大值,若超出,则均匀缩减分配给各瓶颈数据流的传输带宽,若未超出,则由预计完成时间计算单元根据分配给各瓶颈数据流的传输带宽以及待传输数据量计算各瓶颈数据流的传输时间,即各瓶颈数据流所属关联流的预计完成时间;
关联分配模块306用于实现由关联流的预计完成时间到关联流的非瓶颈数据流带宽分配的映射过程,具体而言,根据预计完成时间计算模块305得出的关联流的预计完成时间为关联流中非瓶颈数据流分配传输带宽,于此,关联分配模块306例如包括:第二带宽量计算单元、第二流裁减单元以及反馈单元,其中,第二带宽量计算单元用于根据各关联流的预计完成时间给非瓶颈数据流分配带宽,并按照分配给非瓶颈数据流的带宽以及上个周期未传完的关联流数据所占用带宽量计算下个周期具有相同源节点的非瓶颈数据流占用源节点带宽总量、具有相同目的节点的非瓶颈数据流占用目的节点带宽总量,第二流裁减单元用于判定第二带宽量计算单元计算的结果是否超出对应的最大值,若超出,则均匀缩减分配给各瓶颈数据流的传输带宽,并由反馈单元将缩减后的结果反馈给预计完成时间计算模块35,供预计完成时间计算模块35重新确定各关联流的预计完成时间,若未超出,则将确定的各关联流的预计完成时间及分配给各数据流的传输带宽发送至输出模块307;
输出模块307用于实现关联流带宽地图的生成,具体而言,用于收集来自关联分配模块306及预计完成时间计算模块305得到的带宽分配信息,并整理为关联流带宽地图,其内容包括关联流传输周期、所占用带宽量。
于实际应用中,关联分配模块306与预计完成时间计算模块305为两个进行迭代的模块,当输入端负载量过大时,需不断调整各关联流内数据流所占带宽大小从而使收集上来的关联流均能匹配带宽传输。
需要说明的是,图6所示的装置可以在无需系统状态监测模块301和带宽调整模块302时单独使用。
于实际应用中,上述模块可以是通过处理器执行存储在存储器中的程序/指令实现,然而,本发明对此并不限定,上述这些模块/单元的功能还可以通过固件/逻辑电路/集成电路实现。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。
Claims (10)
1.一种数据中心内关联流的带宽调度方法,其特征在于,包括:
主控制器根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流;
所述主控制器为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间;
所述主控制器根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。
2.如权利要求1所述的方法,其特征在于,所述主控制器根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流之前,还包括:所述主控制器收集一个周期内的所有关联流带宽请求。
3.如权利要求1或2所述的方法,其特征在于,所述关联流带宽请求包括关联流中每一条数据流的源地址信息、目的地址信息以及待传输的数据量。
4.如权利要求3所述的方法,其特征在于,所述关联流带宽请求还包括所述关联流的完成时间上限值,其中,所述确定的瓶颈数据流所属关联流的预计完成时间不超过所述关联流的完成时间上限值。
5.如权利要求1所述的方法,其特征在于,所述主控制器根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流包括:所述主控制器根据每个关联流带宽请求携带的各数据流信息,从该关联流的所有数据流中选出待传输数据量最大的数据流或者节点可用带宽最大的数据流作为该关联流的瓶颈数据流。
6.如权利要求1所述的方法,其特征在于,所述主控制器根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽之后,还包括:当分配给所有关联流中非瓶颈数据流的传输带宽不满足所述第二条件时,所述主控制器均匀缩减分配给各瓶颈数据流的满足第一条件的传输带宽,根据所述重新分配的各瓶颈数据流的传输带宽重新确定各瓶颈数据流所属关联流的预计完成时间,再根据各关联流的预计完成时间重新为各关联流中非瓶颈数据流分配传输带宽,直至分配给所有关联流中非瓶颈数据流的传输带宽满足所述第二条件。
7.如权利要求1或6所述的方法,其特征在于,所述第一条件包括:每条瓶颈数据流的传输带宽不超过发送端与接收端服务器的最大线速率;所有具有相同源节点的瓶颈数据流的传输带宽之和不超过源节点的最大可用带宽,所有具有相同目的节点的瓶颈数据流的传输带宽之和不超过目的节点的最大可用带宽。
8.如权利要求1或6所述的方法,其特征在于,所述第二条件包括:每条非瓶颈数据流的传输带宽不超过发送端与接收端服务器的最大线速率;所有具有相同源节点的非瓶颈数据流的传输带宽之和不超过源节点的最大可用带宽,所有具有相同目的节点的非瓶颈数据流的传输带宽之和不超过目的节点的最大可用带宽;分配给一个关联流中非瓶颈数据流的传输带宽不小于根据该关联流的预计完成时间确定的非瓶颈数据流的传输带宽。
9.如权利要求1所述的方法,其特征在于,所述主控器确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽之后,还包括:所述主控制器将各关联流的传输周期以及每个关联流中各数据流的传输带宽发送给各网络节点。
10.一种数据中心内关联流的带宽调度装置,设置于主控制器,其特征在于,包括:
流分类模块,用于根据收集到的关联流带宽请求,选出每个关联流的瓶颈数据流;
预计完成时间计算模块,用于为各瓶颈数据流分配满足第一条件的传输带宽,并根据分配给各瓶颈数据流的传输带宽确定各瓶颈数据流所属关联流的预计完成时间;
关联分配模块,用于根据各关联流的预计完成时间为各关联流中非瓶颈数据流分配传输带宽,当分配给所有关联流中非瓶颈数据流的传输带宽满足第二条件时,确定各关联流的预计完成时间及分配给每个关联流中各数据流的传输带宽。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510601222.3A CN106549782A (zh) | 2015-09-18 | 2015-09-18 | 一种数据中心内关联流的带宽调度方法及装置 |
PCT/CN2016/099209 WO2017045640A1 (zh) | 2015-09-18 | 2016-09-18 | 一种数据中心内关联流的带宽调度方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510601222.3A CN106549782A (zh) | 2015-09-18 | 2015-09-18 | 一种数据中心内关联流的带宽调度方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106549782A true CN106549782A (zh) | 2017-03-29 |
Family
ID=58288353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510601222.3A Pending CN106549782A (zh) | 2015-09-18 | 2015-09-18 | 一种数据中心内关联流的带宽调度方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106549782A (zh) |
WO (1) | WO2017045640A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107172142A (zh) * | 2017-05-12 | 2017-09-15 | 南京邮电大学 | 一种加速云计算数据中心查询的数据调度方法 |
CN113055308A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 带宽调度方法、流量传输方法及相关产品 |
CN114513423A (zh) * | 2020-10-23 | 2022-05-17 | 中移(苏州)软件技术有限公司 | 一种带宽调节方法、装置、设备及存储介质 |
CN117041107A (zh) * | 2023-09-28 | 2023-11-10 | 北京博大网信股份有限公司 | 带宽质量监控方法、带宽质量监控系统和数据中心 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9077670B2 (en) * | 2010-12-15 | 2015-07-07 | Microsoft Corporation | Deadline-aware network protocol |
CN105379204B (zh) * | 2014-01-14 | 2019-04-05 | 华为技术有限公司 | 用于选择数据路由的资源的方法和系统 |
CN105827545A (zh) * | 2016-04-21 | 2016-08-03 | 中国科学院信息工程研究所 | 数据中心网络中tcp共流的调度方法和装置 |
-
2015
- 2015-09-18 CN CN201510601222.3A patent/CN106549782A/zh active Pending
-
2016
- 2016-09-18 WO PCT/CN2016/099209 patent/WO2017045640A1/zh active Application Filing
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107172142A (zh) * | 2017-05-12 | 2017-09-15 | 南京邮电大学 | 一种加速云计算数据中心查询的数据调度方法 |
CN113055308A (zh) * | 2019-12-26 | 2021-06-29 | 华为技术有限公司 | 带宽调度方法、流量传输方法及相关产品 |
CN113055308B (zh) * | 2019-12-26 | 2024-03-05 | 华为云计算技术有限公司 | 带宽调度方法、流量传输方法及相关产品 |
US11929942B2 (en) | 2019-12-26 | 2024-03-12 | Huawei Cloud Computing Technologies Co., Ltd. | Method and device for network traffic scheduling |
CN114513423A (zh) * | 2020-10-23 | 2022-05-17 | 中移(苏州)软件技术有限公司 | 一种带宽调节方法、装置、设备及存储介质 |
CN114513423B (zh) * | 2020-10-23 | 2023-11-03 | 中移(苏州)软件技术有限公司 | 一种带宽调节方法、装置、设备及存储介质 |
CN117041107A (zh) * | 2023-09-28 | 2023-11-10 | 北京博大网信股份有限公司 | 带宽质量监控方法、带宽质量监控系统和数据中心 |
CN117041107B (zh) * | 2023-09-28 | 2024-01-26 | 北京博大网信股份有限公司 | 带宽质量监控方法、带宽质量监控系统和数据中心 |
Also Published As
Publication number | Publication date |
---|---|
WO2017045640A1 (zh) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103348640B (zh) | 中继装置 | |
CN103365726B (zh) | 一种面向gpu集群的资源管理方法和系统 | |
CN105812276B (zh) | 采用多核处理器的报文转发自适应系统和方法 | |
CN107018175A (zh) | 移动云计算平台的调度方法和装置 | |
CN101547150B (zh) | 数据通信输入端口调度的方法及装置 | |
CN106549782A (zh) | 一种数据中心内关联流的带宽调度方法及装置 | |
CN107533538A (zh) | 在使用加速部件的系统中处理租户要求 | |
WO2019072162A1 (zh) | 虚拟网络映射方法、设备和存储介质 | |
CN103931148A (zh) | 流量调度设备 | |
CN103685053B (zh) | 一种基于剩余任务处理时间补偿的网络处理器负载均衡调度方法 | |
CN104021040A (zh) | 基于时间约束条件下的云计算关联任务调度方法和装置 | |
CN103812949A (zh) | 一种面向实时云平台的任务调度与资源分配方法及系统 | |
CN102594891A (zh) | 用于处理远程过程调用请求的方法及系统 | |
CN104375882A (zh) | 匹配于高性能计算机结构的多级嵌套数据驱动计算方法 | |
CN102521057A (zh) | 资源调度方法和装置 | |
CN101252502B (zh) | 带有可变令牌激活的环形网络 | |
CN101808254A (zh) | 一种基于分层图的静态选路与波长分配方法 | |
CN109150756A (zh) | 一种基于sdn电力通信网的队列调度权值量化方法 | |
CN109194586A (zh) | 基于分布式令牌桶的削峰处理方法 | |
CN100558071C (zh) | 一种链路资源管理方法及传送网络和网络设备 | |
CN104285415A (zh) | 混合数据流处理器 | |
CN100539538C (zh) | 具有链表处理器的存储器管理系统 | |
CN102098217A (zh) | 一种基于概率的多优先级队列调度方法 | |
CN105577834B (zh) | 具有可预测性能的云数据中心两层带宽分配方法及系统 | |
CN103617083A (zh) | 存储调度方法和系统、作业调度方法和系统及管理节点 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170329 |
|
WD01 | Invention patent application deemed withdrawn after publication |