CN109314670B - 在数据中心中的数据流传输的调度 - Google Patents

Abstract

一种在包括多个网络节点和链路的数据中心网络中调度数据流的传输的方法。该方法包括在网络控制器处：接收（14）对于数据流的传输请求；获得（15）用于数据流的容许时间间隔；以及在容许时间间隔内且与其它传输无竞争的情况下，调度（16）数据流的传输。

Description

在数据中心中的数据流传输的调度

技术领域

本公开的领域涉及数据流传输的调度。

背景技术

大学、企业和消费者设置中越来越多地采用数据中心或大型服务器集群来运行各种应用，诸如web服务、即时消息传递、游戏、数据分析、科学计算和许多其它应用。数据中心通常包括通过数据中心网络（DCN）链接的成千上万个服务器，它们按层级布置，通常带有各自包含10-40个服务器的机架。图1是传统数据中心网络的示意图。数据中心1包括到外部网络2、服务器6和交换层级7的链路，交换层级7包括核心路由器3、访问路由器4、交换机5、交叉点交换机8。

此类网络中的主要问题在于称为高带宽或“大象流”的大数据流，它们通常源自服务器备份或虚拟机迁移。大象流相对稀少，但是当它们存在时，它们能够以更小的所谓“老鼠流”为代价支配数据中心网络。这对通常对延迟敏感的老鼠流的服务质量可能会具有十分有害的影响。

图2是“大象”流和“老鼠”流的图形表示。该图示出链路利用9对时间10，其中老鼠流11低于负载阈值12，并且大象流13大于负载阈值。“大象”属性可以指在绝对值上或如相对于在共享路径或共享网络或共享机器上传送的其它流胜过速率阈值、体积阈值、持续时间阈值的流。阈值可被固定和预先确定或根据总体业务趋势或统计而动态地调整。尽管具有短持续时间且相对稀少，但是大象流会造成主要问题，因为它们支配网络，并且对更小流中的延迟和延迟变化十分有害。

在数据中心中构建非阻塞“仅分组”网络极具挑战性，其中大象流往往会填充在沿服务器到服务器路径的节点中的缓冲器。这对共享相同缓冲器的任何事物、尤其是时延敏感的小型分组流引入不可忽略的排队延迟。

这个问题的一种解决方案是使用“分组卸载”，其中为大象流提供独立网络。卸载使得转接业务能够在光学上完全绕过中间分组处理，从而导致减少的所需容量和优化的功耗。此外，光学信道的容量允许容纳带宽饥渴的数据传递。

除了为大象流中的数据的大小作准备外，越来越重要的是考虑此类流的时序方面。数据中心中的时间同步性越来越重要。这通常通过分布式系统的部署来驱动。需要同步化以便满足时延关键应用和优化功率/成本。一些5G应用有利于分布式功能性，并且需要支持低至几毫秒（ms）的严格的时延要求。此外，它们可能需要支持大量本地业务和控制功能性的分布以便使得能够进行独立操作。

另一个示例是在金融行业中，其中特别地，对于报道和监督管理的目的、争议等，高频交易（HFT）在回放回归期间针对准确的事务记录要求准确的交易时间戳，以便改善交易算法。这里，要求一般在亚微秒范围中。

就解决方案而言，GPS主要用于这种类型的应用，但是它现在面临的问题是：覆盖、信号损失和安全性（例如，因为干扰攻击）是显著且昂贵的问题。因此，IEEE 1588的使用收到很多兴趣，因为能够经由以太网网络递送时序信息。因特网工程任务组（IETF）中为企业应用定义了特定IEEE 1588简档。

能够在数据中心中递送微秒范围中的精度的解决方案预期会广泛地可用并且具有可负担的成本。

在此类系统中，为少量大象流设计的简单的调度布置将不足以确保有效传送数据流。在通常具有时间关键数据的大量大象流需要传输的情况下，常规调度方法不足够，并且不能在它们的延迟容差内为数据流提供传输。

发明内容

在第一方面中，提供有一种在包括多个网络节点和链路的数据中心网络中调度数据流的传输的方法。该方法包括在网络控制器处：接收对于数据流的传输请求；获得用于数据流的容许时间间隔；以及在容许时间间隔内且在与数据中心网络上的一个或多个其它传输无竞争的情况下，调度数据流的传输。

在一实施例中，该方法还包括：标识始发节点和终止节点；标识数据流要通过其被路由的节点的集合和链路的集合；确定与节点和节点之间的链路相关联的延迟；为链路集合中的每个链路和节点确定用于数据流的容许时间间隔，该确定基于与节点和链路相关联的延迟以及在客户端服务器处用于数据流的初始容许时间间隔；以及基于用于链路的容许时间间隔在每个链路和节点处调度数据流的传输。

在一实施例中，传输请求包括所需传输的大小的指示、初始容许时间间隔、始发节点的指示以及至少一个终止节点的指示。

在一实施例中，调度包括确定将数据流划分成多个区段以便在容许时间间隔内且在没有竞争的情况下传送数据流。

在一实施例中，该方法还包括调度数据流的传输，以使得数据流或数据流的区段与通信网络上的另一个数据流隔开一个或多个防护期。

在一实施例中，数据流是高带宽流，其中高带宽数据流是具有大于阈值的带宽要求的数据流，其中防护期的尺寸设计成允许传送低带宽流，其中低带宽流是具有低于阈值的带宽的数据流。

在一实施例中，该方法还包括确定穿过网络的路径以避免与其它数据流的竞争。

在一实施例中，数据中心网络包括光学卸载子网络，并且根据任一前述权利要求来实现在光学卸载子网络上调度数据流。

在一实施例中，数据中心网络包括含有至少一个交换机或路由器的第二子网络，其中该方法还包括：如果在光学卸载子网络上不可能有没有竞争的调度，那么在第二子网络上调度数据流。

在一实施例中，该方法还包括：在网络节点处，从网络控制器接收与数据流有关的指令。如果指令包括将数据流作为单个块进行传送的指令，那么该方法还包括：从指令提取传送数据流的起始时间；以及在起始时间启动数据流的传输。如果指令包括将数据流划分成区段的指令，那么该方法还包括：启动将数据流划分成区段；以及接收包括区段起始时间的指令；从指令提取每个区段的相应起始时间；以及在相应起始时间启动每个区段的传输。

在一实施例中，该方法还包括：为数据流确定或接收所需传输的大小、初始容许时间间隔和至少一个终止节点；以及向网络控制器发送对于数据流的传输请求，请求包括所需传输的大小、初始容许时间间隔指示、始发节点的指示和所述至少一个终止节点的指示。

根据第二方面，提供有一种数据中心网络的网络控制器，它包括：用于接收对于传送数据流的请求的第一接口；用于传送数据流的传输的指令的第二接口；处理器；以及存储器。网络控制器配置成：接收对于数据流的传输请求；获得用于数据流的容许时间间隔；以及在容许时间间隔内且与其它传输无竞争的情况下调度数据流的传输。

在一实施例中，网络控制器进一步配置成：标识始发节点和终止节点；标识数据流必须穿过的节点的集合和链路的集合；确定与节点和节点之间的链路相关联的延迟；为链路集合中的每个链路和节点确定用于数据流的容许时间间隔，该确定基于与节点和链路相关联的延迟以及用于数据流的初始容许时间间隔；以及基于用于链路的容许时间间隔和传输的大小在每个链路和节点处调度数据流的传输。

在一实施例中，网络控制器进一步配置成基于将数据流划分成多个区段来调度传输。

在一实施例中，网络控制器进一步配置成在数据流或数据流的区段和通信网络上的其它数据流之间调度防护期。

在一实施例中，网络控制器进一步配置成确定数据流穿过网络的路径以避免与其它数据流的竞争。

根据第三方面，提供有一种数据中心网络，它包括根据第二方面的网络控制器。

根据第四方面，提供有一种用于在数据中心网络的网络节点中使用的设备，它包括：用于将数据传送给通信网络的传送器；用于从通信网络接收数据的接收器；用于与至少一个数据源交换数据的第一接口；以及用于与网络控制器交换控制数据的第二接口。该设备配置成从网络控制器接收与数据流有关的指令。该设备进一步配置成：如果指令包括将数据流作为单个块进行传送的指令，那么从指令提取传送数据流的起始时间，并在起始时间启动数据流的传输。该设备进一步配置成：如果指令包括将数据流划分成区段的指令，那么启动将数据流划分成区段，接收包括区段起始时间的指令，从指令提取每个区段的相应起始时间，并在相应起始时间启动每个区段的传输。

在一实施例中，该设备进一步配置成：确定或接收所需传输的大小、初始容许时间间隔和数据流的至少一个终止节点；以及向网络控制器发送对于数据流的传输请求，请求包括所需传输的大小、初始容许时间间隔、始发节点的指示和所述至少一个终止节点的指示。

在一实施例中，该设备还包括用于到第二通信网络的连接的收发器。该设备进一步配置成：接收在第二通信网络上传送数据流的指令；以及响应于接收到该指令，在第二网络上启动传输。

在一实施例中，该设备进一步配置成在传送数据流或数据流的区段之前插入防护带。

在第五方面中，提供有一种数据中心网络，它包括根据第四方面的设备。

在第六方面中，提供有一种包括指令的计算机程序，指令在至少一个处理器上执行时使得所述至少一个处理器执行根据第一方面的方法。

在第七方面中，提供有一种计算机程序产品，它包括根据第六方面的计算机程序。

在第八方面中，提供有一种包含根据第七方面的计算机程序产品的载体，其中该载体可选地包括电信号、光信号、无线电信号、磁带或磁盘、光盘或记忆棒。

附图说明

现在将参考以下的附图仅仅作为举例来描述本发明的以上和其它方面：

图1是根据现有技术的数据中心网络的示意图；

图2是示出“老鼠”流和“大象”流的网络负载对时间的图形表示；

图3是根据实施例的调度数据流的方法的流程图；

图4是根据实施例的调度数据流的方法的流程图；

图5是根据实施例示出操作网络节点的方法的流程图；

图6是根据实施例示出操作网络节点的方法的流程图；

图7是根据实施例示出调度数据流的第一阶段的流程图；

图8是根据实施例示出调度数据流的第二阶段的流程图；

图9是在实施例中使用的数据中心网络的示意图；

图10是示出光学卸载子网络的三个示例数据流的流的图9的数据中心网络的示意图；

图11是示出对于三个数据流的容许时间间隔的时序图；

图12是示出用于图11的容许时序间隔的调度选项的时序图；

图13是示出用于图11的容许时序间隔的调度选项的时序图；

图14是示出用于图11的容许时序间隔的调度选项的时序图；

图15是根据实施例的数据流调度的另一个示例的时序图；

图16是示出用于图15的容许时序间隔的调度选项的时序图；

图17是示出用于图15的容许时序间隔的调度选项的时序图；

图18是示出用于图15的容许时序间隔的调度选项的时序图；

图19是示出要在常规子网络上传送的流的示意图；

图20是根据实施例示出具有防护期的流的调度的时序图；

图21是根据实施例示出其中在具有防护期的情况下调度两个高带宽流的示例的时序图；

图22是根据实施例示出用于在网络节点中使用的设备的示意图；

图23是根据实施例的网络控制器的示意图；

图24是根据实施例示出用于在网络节点82中使用的设备的逻辑单元的示意图；以及

图25是根据实施例示出网络控制器的逻辑单元的示意图。

具体实施方式

现在，下文将参考附图更全面地描述实施例，在附图中示出某些实施例。但是，许多不同形式的其它实施例也可能在本公开的范围内。确切地讲，通过举例提供以下实施例，以使得本公开将充分且完整，并将向本领域技术人员全面传达本公开的范围。

本公开提供一种通过其能够将高带宽流有效调度在包括光学卸载子网络的数据中心网络上的方法。特别地，该方法使得能够调度延迟敏感的数据流。

利用为网络集中调度数据流的网络控制器功能。网络控制器可以是网络中的单个节点，或者可分布在不同节点上。它可与一个或多个网络节点共置，或者可作为独特的专用节点提供。本发明不限于网络控制器的任何一种布置。

网络控制器知道所有当前且被调度的传递，并且能够确定是否能够通过在从源服务器到目的地服务器的至少一个路径上预留同步化“零队列”传输资源的序列来激活数据流的传输。在一实施例中，通过将时隙周期性地预先指派给客户端服务器并预测每个链路上的瞬时资源使用来使这成为可能。为了准确地调度，通过提供准确时间参考来使每个服务器与网络同步。链路和节点中的时延也已知以便允许确定对于数据流的容许时间间隔。基于所述已知的时延，控制器确定如何在各种中间网络资源处转化在每个流的起点处的容许时间间隔。通过分析该信息，控制器能够定义对于每个流的实际离开时间。

时隙精度与网络的类型有关。在光学网络中，切换时间大约为毫秒。例如，对于其中使用光-电-光（OEO）装置的如图4中的光学网络，切换时间在50 ms的区域中。可以用50ms的粒度来定义时隙，其中分配一个时隙以便允许切换过程，并且原则上大约几ms的服务器中的时序精度是充足的。

分组网络中的时延没有光学网络中的时延那么可预测。在一实施例中，不在光学卸载网络上传送低带宽流，这意味着，不存在由于小型分组流的存在而引起的延迟。通常，在常规分组网络中需要大约微秒的精度以使得能够更好地分配资源。在一实施例中，在常规的基于分组的网络中的一些实例中，假设对于节点的恒定时延以及在延迟演算中使用固定值可能是必需的。本发明不限于任何一种确定节点时延的方法，也不限于任何一种时隙粒度。

在一实施例中，在假设在两个传输方向上链路对称的情况下，能够利用在邻居节点之间操作的基于往返的演算方法来评估链路延迟。可利用诸如根据IEEE 1588的对等延迟测量机制的标准协议。能够通过在进-出接口处对数据加时间戳的简单计数器来演算节点时延。相对简单的振荡器足以用于该任务。

在确定需要调度高带宽数据流之后，对网络控制器做出请求。在接收到请求之后，网络控制器将获得用于数据流的容许时间间隔，并且因此确定是否可能在容许时间间隔内以及与在网络上被传送的或已被调度要在网络上被传送的其它数据流无竞争地调度该数据流。在一实施例中，将在请求中提供容许时间间隔。通常，请求包含数据流的大小、始发节点和终止节点。但是，本领域技术人员将明白，可通过其它方法来获得这些项中的每个项。

图3是根据实施例示出方法的步骤的流程图。接收14对于数据流的传输请求，以及获得15容许时间间隔。可通过从服务器6（例如，与传输请求一起）、从控制器的存储器或存储设备或从另一个网络实体接收时间间隔的指示来获得容许时间间隔。在容许时间间隔内且在无竞争的情况下的数据流的传输被调度16。

在一实施例中，通过在网络控制器处确定传送数据流的路线来做出关于此类调度是否有可能的确定。该确定包括标识提供数据流的始发节点和终止节点之间的路线的节点和链路。在一实施例中，如果网络包括简单的单向环形拓扑，那么可通过标识始发节点和终止节点来确定数据流必须穿过的节点。但是，本领域技术人员将明白，对于网络可使用其它拓扑，其中必须结合调度决定做出路由决定。在一实施例中，使用网状网络，并且结合临时调度来要求路由算法。

图4是根据实施例示出确定与流相关联的延迟的步骤的流程图。从传输请求直接或间接地标识17始发节点和终止节点。标识18数据流必须穿过的节点，并确定19与节点以及节点之间的链路相关联的延迟。该方法还包括：为链路集合中的每个链路和节点确定20用于数据流的容许时间间隔，该确定基于与节点和链路相关联的延迟以及对于数据流的初始容许时间间隔；以及基于对于链路的容许时间间隔在每个链路和节点处调度21数据流的传输。

对传输进行调度包括选择数据流的传输的起始时间。目的是确保可在容许时间间隔内传送数据流。在一些方面中，数据流在容许时间间隔内以其整体的形式被传送。一旦选择了数据的传输将通过其被路由的节点和链路，便为每个节点和链路确定对于每个数据流要被调度的容许时间间隔。确定是否存在用于要被传送的数据流的时间窗口，并且如果存在，那么将起始时间指派给数据流，并将该时间传递给始发节点。执行调度，以使得在数据流之间没有竞争。当传输路径的一部分（例如，交换机、链路）具有用于处置超出的数据流的容量时，可能会出现竞争。因此，避免竞争是选择传输时间（以及可选地，数据流的分段和/或数据流的路由）以避免超出网络容量的传输。

在一实施例中，做出关于是否有可能将要被传送的数据流作为单个块进行调度的确定。在一实施例中，传输采用恒定的位速率。在一些示例中，做出关于是否可将数据流作为单个块进行传送以便满足传输准则（例如，在容许时间间隔内并避免竞争）的确定。如果不可能将数据流作为单个块进行传送，那么做出关于是否有可能将数据流划分成区段以便分开调度这些区段的确定。在一实施例中，选择区段大小，并且通常为每个区段确定容许延迟。做出关于是否可在容许时间间隔内调度每个区段以进行传输的确定。如果此类调度有可能，那么向节点发送指令以在规定的起始时间开始区段的传输。在一实施例中，如果无法调度区段以满足所需的延迟容许，那么选择第二区段大小，并且重复确定调度是否有可能的过程。如果有必要的话，那么可执行通过多个起始时间的迭代。在一实施例中，可利用相同数据流内的不同区段大小。

图5和图6根据实施例示出调度的阶段。在一些示例中，在网络控制器中进行这些阶段。

图5示出该过程的开始。该过程从检测到或确定将把高带宽或“大象”流（EF）从第一服务器（在该示例中为“服务器A”）传送到第二服务器（在该示例中为“服务器B”）而开始。根据用于数据流的路由准则为数据流确定23从A到B的端到端路径。演算24对于端到端路径中的链路和节点预期的传输延迟。然后，做出25关于如何在各种中间网络资源处转化服务器A处的容许时间间隔的确定。

图6示出该过程的继续。做出关于（在服务器A处的容许间隔中）是否存在这样的至少一个起始时间的确定，对于所述至少一个起始时间，作为未划分的数据块的数据流（EF）将在它的路径上与其它流无冲突地遍历所有资源。如果存在，那么在第一可接受的起始时间传送27数据流（EF）。如果不存在，那么迫使28客户端服务器将数据流（EF）分成“宏”时隙以便利于实现“无竞争”情况。然后，做出29关于对于数据流（EF）的每个区段（在服务器A处的容许间隔中）是否存在这样至少一个起始时间的确定，对于所述至少一个起始时间，数据流（EF）的每个区段将在路径上与其它流无冲突地遍历所有资源。在一实施例中，可尝试数据流（EF）的不同碎片化以便确定令人满意的分段。可执行30通过不同区段大小的迭代以便实现该目的。如果存在合适的区段大小，那么在它们的第一可接受起始时间传送31区段。如果没有此类分段是可能的，那么考虑对数据流（EF）进行重新路由32，例如光学卸载网络上的不同路线和/或在常规子网络上传送流。控制器确定不同路线或网络是否可携带数据流并满足传输准则，即，容许时间间隔。如果能够发现此类备选路线，那么将它用于数据流。

图7是根据实施例示出操作网络节点的方法的流程图。节点从网络控制器接收33与数据流有关的指令。该方法还包括确定34指令是否包括将数据流作为单个块进行传送的指令，并且如果其包括的话，则从指令提取35用于传送数据流的起始时间，并在起始时间启动30数据流的传输。在一实施例中，该方法还包括确定36指令是否包括将数据流划分成区段的指令，并且如果其包括的话，则启动37数据流的分段，接收38包括区段起始时间的指令，从指令提取39用于每个区段的相应起始时间，并在相应起始时间启动40每个区段的传输。

图8是根据实施例示出操作网络节点的方法的流程图。该方法包括：确定或接收41对于数据流的所需的传输的大小和至少一个终止节点；以及向网络控制器发送42对于数据流的传输请求，请求包括所需传输的大小、始发节点的指示和所述至少一个终止节点的指示。在一实施例中，该方法还包括确定初始容许时间间隔，以及可选地，请求还包括初始容许时间间隔的指示。

节点何时确定初始容许时间间隔的实例示例是缓冲器是否在节点处处于特定填充等级，并且需要在给定时间内传递数据以避免溢出。控制器何时确定间隔的示例是在将存在调度的备份之时。本领域技术人员将明白，对于在节点处以及在控制器处的间隔确定，均存在许多其它可能性，并且对于在何处进行该确定，本发明不限于任何特定布置。

图9是在实施例中使用的数据中心网络的示意图。通过由控制器45控制的两个子网络43、44链接多个服务器S1、S2、S3、S4和S5。子网络是：第一子网络43是光学卸载网络，其被提供以允许卸载高带宽流；以及第二子网络44，它包括具有交换机和/或路由器（例如，在层2/3）的常规数据中心网络。在图9中，第一子网络包括节点G、H、I、J、K和L以及作为实线示出的这些节点之间的链路。第二子网络包括节点A、B、C、D、E和F并且以虚线示出这些节点之间的链路。

现在将给出根据实施例调度数据流的多个示例。为简单起见，只示出少量流，但是实际上，可能需要调度更大量的流。示例针对单个链路，但是本领域技术人员将明白，对于每个数据流，可在多个链路和节点上使用所述方法。示例只是为了便于理解，而不是要以任何方式限制本发明的范围。

图10是示出光学卸载子网络的三个示例数据流的流的图9的数据中心网络的示意图。示例集中于在节点G和节点H之间的链路上的调度。第一流F1是需要从服务器S1发送到服务器S4的数据流。需要“转化”初始时间间隔以便考虑从源节点到网络的考虑点（即，在该示例中为节点G）的行程时间。将间隔的两个边界转化相同时间偏移。数据流F1具有初始容许时间间隔

。必须添加到间隔中的延迟是一直到该流到达节点G的累积延迟

和用于经过节点G的延迟

。

将这些延迟添加到容许时间间隔中以便产生用于在链路GH上传送流F1的容许时间间隔，即

。需要在容许时间间隔

中将第二流F2从服务器S2发送到S4。关于F1，通过增加一直到进入节点G的延迟

和穿过节点G的延迟

来演算链路GH上的容许时间间隔，从而得到容许时间间隔为

。需要将流3从服务器S3传送到服务器S5。因此，一直到链路GH的起点的延迟是一直到进入节点L的延迟

、穿过节点L的延迟

、用于链路LG的延迟

和穿过节点G的延迟

。因此，用于流F3的容许时间间隔为

。一般来说，容许间隔具有不同持续时间，并且能够在一个或多个共享资源中部分重叠。

图11是示出用于F1、F2和F3的容许时间间隔的时序图。用于F1的容许时间间隔介于

46和

47之间， 用于F2的间隔介于

48和

49之间，并且用于F3的间隔介于

50和

51之间。通过在时隙52中的划分来优化流传输。在一实施例中，通过网络控制器半静态地预先指派时隙。网络控制器配置成在它们的相应容许时间间隔内各自调度所述多个数据流。在一些方面中，网络控制器为每个数据流演算在该数据流的容许时间间隔内的起始时间，由此避免与另一个数据流竞争。

图12-14是示出对于图11的示例为调度数据流而要考虑的选项的时序图。图12示出其中F3被调度首先进行传送的调度。F3能够最早在

50处被调度。在F3容许时间间隔的起点处调度传送F3所需的5个时隙，其中用于F3的第一时隙在所示的第9个时隙53处。F3的传输将在第13个时隙54结束时完成。第14个时隙55（其是可将链路GH指派给F1所在的最早时刻）位于用于F1的最后容许传输时间47之后。因此，先传送F3的选项并不令人满意。图13示出先传送F1、紧接着传送F2、然后是F3的选项。从第4个时隙56到第10个时隙57调度传送F1所需的7个时隙。接着，在第15个时隙58和第23个时隙59之间调度F2。但是，在该实例中，无法在它的所需容许时间间隔60内传送F3。图14示出按照顺序F1 61、F362、然后是F2 63来进行传送的选项。这允许在它们的容许时间间隔内传送所有数据流。网络控制器确定在容许时间间隔内针对每个流的起始时间，以避免冲突并为将在容许时间间隔内传送所有流提供保证。

图15是根据实施例的数据流调度的另一个示例的时序图。在该示例中，用于F1和F2的容许时间间隔与之前示例相同，但是F3现在具有更早的容许时间间隔64、65。在该示例中，不能在F3之后传送F1，但是也不能在F1之后传送F3。图16和17是示出带有它们的相关联问题的这两个选项的时序图。在图16中，首先传送66 F1，并且结果是，无法在它的容许时间间隔67内传送62 F3。在图17中，首先传送68 F3，并且结果是，无法在它的容许时间间隔内传送F1 69。在一实施例中，能够将数据流划分成区段以使得能够在容许时间间隔内调度传输。对于图15-17中示出的问题的解决方案是将流F3分段。图18是示出该解决方案的时序图，它由网络控制器确定。将F3划分成多个区段，例如两个区段F3_1 69和F3_2 70。首先调度71 F3_1，紧接着调度72 F1，然后调度73 F3_2。分段后的数据流的区段在时间上隔开，从而允许在该隔开时间中传送另一个数据流。这使得F1和F3均能够在它们的容许时间间隔内传送。

在一实施例中，取决于网络资源的可用性，可在第一子网络上（如同在以上示例中一样）或者否则在第一或第二子网络上传送高带宽流。如果在常规子网络上传送高带宽流，那么可能会出现与同样利用该子网络的低带宽流的潜在竞争。

图19是示出要在常规子网络上传送的流F4的示意图。流F4需要从服务器S1传送到服务器S4。在该示例中，流F4经调度以便在第二子网络（即，常规子网络）上传输。这可能是由于已经为光学卸载子网络加载了调度的高带宽流造成。常规子网络中的调度以与光学卸载网络的调度类似的方式工作，类似之处在于，演算在节点处的以及用于链路的延迟，并且为数据流演算用于每个链路的容许时间间隔。然后，做出关于是否能够在无竞争的情况下作为单个块或按区段调度数据流的确定。但是，与之前示例中不同的是，必须做出允许低带宽流在传送流F4期间到达。可以不调度低带宽流，但是它们仍然具有必须被满足的延迟容差。

为了实现上述情形，将高带宽流划分成区段，并在区段之间插入防护期。防护期是其中没有数据流被调度进行传输的时间期。它具有防止在同步错误的事件中在数据流中的重叠或允许传送未调度的数据（诸如“老鼠”流）的目的。能够基于可能在聚合链路上冲突的老鼠流的估计数量演算防护期，例如大约几十微秒，其中假设老鼠流平均尺寸为10 KB并且链路速率为10 Gbps。作为示例给出这些值，并且本发明不限于数据流或链路速率的任何给定大小。

图20是示出在具有防护期74的情况下调度F4以便例如允许低带宽流78的时序图。如之前那样演算流跨越链路的容许时间间隔。在该示例中，为链路AB演算时间间隔。将初始容许时间期

添加到服务器S1和节点A之间的延迟

以及穿过节点A的延迟

，以便达到对于链路AB的容许时间间隔

。在该示例中，将流F4划分成三个区段75、76、77。但是，在该实施例中，按区段划分流F4，并且在区段之间调度防护期。然后，可在防护期中传送低带宽流，使得它们能够满足所需的延迟要求。在一实施例中，也可在光学卸载子网络中使用防护期。

图21是示出其中在常规子网络上调度两个高带宽流F5 79和F6 80的示例的时序图。将F5划分成三个区段81、82、83，同样将F6划分成三个区段84、85、86。在区段之间插入防护期74。在一实施例中，还在常规子网络和光学卸载网络中的任一个或两者中在数据流或数据流的区段的任一侧插入防护期，以便补偿服务器之间的时序误差。为了这个目的，需要大约微秒的精度。

在一实施例中，基于对低带宽流的统计分析估计防护期的长度。特别地，可比较预期冲突数和实际冲突数。如果超过预测的冲突数并且防护期不够，那么向控制器发送通知。控制器能够迫使源服务器采用更大的防护期来组织数据流的剩余部分。

图22是根据实施例示出用于在网络节点中使用的设备87的组件的示意图。该设备包括处理器88或处理电路、存储器89或存储器电路、用于将数据传送给数据中心网络的子网络的传送器90、用于从通信网络接收数据的接收器91、用于与至少一个数据源交换数据的第一接口92、用于与网络控制器交换控制数据的第二接口93以及用于在组件之间通信的数据总线94。该设备配置成从网络控制器接收与数据流有关的指令。该设备进一步配置成使得：如果指令包括将数据流作为单个块进行传送的指令，那么该设备从指令提取传送数据流的起始时间，并在起始时间启动数据流的传输。在一实施例中，该设备还进一步配置成使得：如果指令包括将数据流划分成区段的指令，那么该设备启动将数据流划分成区段，接收包括区段起始时间的指令，从指令提取每个区段的相应起始时间，并在相应起始时间启动每个区段的传输。在一实施例中，该设备进一步配置成：确定或接收所需传输的大小、初始容许时间间隔和数据流的至少一个终止节点；以及向网络控制器发送对于数据流的传输请求，该请求包括所需传输的大小、初始容许时间间隔、始发节点的指示和所述至少一个终止节点的指示。

在一实施例中，还提供有用于到第二子网络的连接的收发器95。在一实施例中，该设备进一步配置成：接收在第二通信网络上传送数据流的指令；以及响应于接收到该指令，在第二网络上启动传输。

在一实施例中，该设备进一步配置成在传送数据流或数据流的区段前插入防护带。

图23是根据实施例的网络控制器96的示意图。网络控制器包括处理器97、存储器98、用于接收传送数据流的请求的第一接口99、用于传送数据流的传输的指令的第二接口100以及用于组件之间通信的数据总线101。在一实施例中，网络控制器配置成接收对于数据流的传输请求；获得用于数据流的容许时间间隔；以及在容许时间间隔内且在没有与一个或多个其它传输的竞争的情况下调度数据流的传输。

在一实施例中，网络控制器进一步配置成：标识数据流的始发节点和终止节点；标识数据流必须穿过的节点的集合和链路的集合；确定与节点以及节点之间的链路相关联的延迟；为链路集合中的每个链路和节点确定用于数据流的容许时间间隔，该确定基于与节点和链路相关联的延迟以及用于数据流的初始容许时间间隔；以及基于用于链路的容许时间间隔和传输的大小在每个链路和节点处调度数据流的传输。

在一实施例中，网络控制器进一步配置成基于将数据流划分成多个区段来调度传输。在一实施例中，网络控制器进一步配置成在数据流或数据流的区段和通信网络上的其它数据流之间调度防护期。在一实施例中，网络控制器进一步配置成确定数据流穿过网络的路径以避免与一个多个其它数据流竞争。

图24是根据实施例示出用于在网络节点87中使用的设备的逻辑单元的示意图。该设备包括用于从网络控制器接收与数据流有关的指令的接收单元102；确定单元103，它用于确定指令是否包括将数据流作为单个块进行传送的指令，并用于确定指令是否包括将数据流划分成区段的指令；用于从指令提取传送数据流或数据流的区段的起始时间的提取单元104；用于启动数据流的分段的分段单元105；以及用于在起始时间启动数据流的传输或在相应起始时间启动数据流的每个区段的传输的传输启动单元106。

在一实施例中，该设备还包括：接收/确定单元107，其用于为数据流确定或接收所需传输的大小、初始容许时间间隔和至少一个终止节点；以及请求发送单元108，其用于向网络控制器发送对于数据流的传输请求，该请求包括所需传输的大小、初始容许时间间隔指示、始发节点的指示和所述至少一个终止节点的指示。

图25是根据实施例示出网络控制器96的逻辑单元的示意图。网络控制器包括：用于接收对于数据流的传输请求的接收单元109；用于获得用于数据流的容许时间间隔的获得单元110；以及用于在容许时间间隔内并在没有与一个或多个其它传输的竞争的情况下调度数据流的传输的调度单元111。在一实施例中，还提供有用于标识数据流的始发节点和终止节点第一标识单元112；用于标识数据流必须穿过的节点的集合和链路的集合的第二标识单元113；用于确定与节点以及节点之间的链路相关联的延迟的延迟确定单元114；以及用于为链路集合中的每个链路和节点确定用于数据流的容许时间间隔的时间间隔确定单元115，该确定基于与节点和链路相关联的延迟以及用于数据流的初始容许时间间隔。

为了实现本文中所公开的方法，可提供采用可下载到网络节点或控制器的计算机程序的形式的指令。这可以是采用计算机程序产品的形式，其通常被包含在诸如电信号、光信号、无线电信号、磁带或磁盘、光盘或记忆棒的载体上。

上文主要参考几个实施例描述了本公开。但是，如本领域技术人员将容易地明白的是，在如随附权利要求所定义的本公开的范围内，不同于上文公开的实施例的其它实施例同样是可能的。对所需传输的参考可备选地被视为被请求的传输。

Claims (19)

1.一种用于在包括多个网络节点和链路的数据中心网络中调度数据流的传输的方法，所述方法包括在网络控制器处执行以下操作：

接收对于数据流的传输请求，其中所述数据流是高带宽流，其中所述高带宽流是具有大于阈值的带宽要求的数据流，其中防护期的尺寸设计成允许传送低带宽流，其中低带宽流是具有低于所述阈值的带宽的数据流，

获得用于所述数据流的容许时间间隔，以及

在所述容许时间间隔内且与所述数据中心网络上的一个或多个其它传输无竞争的情况下，调度所述数据流的传输，其中调度所述数据流的传输包括：

确定在所述容许时间间隔内是否存在至少一个起始时间，对于所述容许时间间隔，所述数据流作为单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争；

当确定至少一个起始时间存在于所述容许时间间隔内时，在第一可接受开始时间传送所述数据流，对于所述容许时间间隔，所述数据流作为所述单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争；以及

当确定至少一个起始时间不存在于所述容许时间间隔内时，使客户端服务器能够将所述数据流分成宏时隙，对于所述容许时间间隔，所述数据流作为所述单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争。

2.根据权利要求1所述的方法，还包括：

标识始发节点和终止节点；

标识所述数据流要通过其被路由的所述节点的集合和链路的集合；

确定与所述节点和所述节点之间的链路相关联的延迟；

为所述链路集合中的每个链路和节点确定用于所述数据流的容许时间间隔，所述确定基于与所述节点和链路相关联的所述延迟以及用于所述数据流的在客户端服务器处的初始容许时间间隔；以及

基于用于所述链路的所述容许时间间隔在每个链路和节点处调度所述数据流的所述传输。

3.根据权利要求1所述的方法，其中所述传输请求包括所需传输的大小的指示、初始容许时间间隔、始发节点的指示以及至少一个终止节点的指示。

4.根据权利要求1所述的方法，其中调度所述数据流的传输包括确定将所述数据流划分成多个区段以便在所述容许时间间隔内且在无竞争的情况下传送所述数据流。

5.根据权利要求1所述的方法，还包括调度数据流的所述传输，使得所述数据流或所述数据流的区段与所述数据中心网络上的另一个数据流隔开一个或多个防护期。

6.根据权利要求1所述的方法，还包括确定穿过所述数据中心网络的路径来避免与其它数据流竞争。

7.根据权利要求1所述的方法，其中所述数据中心网络包括光学卸载子网络，并且实现在所述光学卸载子网络上调度数据流。

8.根据权利要求7所述的方法，其中所述数据中心网络包括含有至少一个交换机或路由器的第二子网络，其中所述方法还包括：如果在所述光学卸载子网络上不可能具有没有竞争的调度，那么在所述第二子网络上调度所述数据流。

9.根据权利要求1所述的方法，还包括在网络节点处：

从所述网络控制器接收与数据流有关的指令；以及

确定所述指令是否包括将所述数据流作为单个块进行传送的指令，并且如果其包括，那么：

从所述指令提取传送所述数据流的起始时间；以及

在所述起始时间启动所述数据流的传输；以及

确定所述指令是否包括将所述数据流划分成区段的指令，并且如果其包括，那么：

启动所述数据流的分段；以及

接收包括区段起始时间的指令；

从所述指令提取每个区段的相应起始时间；以及

在相应起始时间启动每个区段的传输。

10.根据权利要求9所述的方法，还包括在所述网络节点处：

为数据流确定或接收所需传输的大小、初始容许时间间隔和至少一个终止节点；以及

向所述网络控制器发送对于所述数据流的传输请求，所述请求包括所述所需传输的所述大小、所述初始容许时间间隔的指示、始发节点的指示和所述至少一个终止节点的指示。

11.一种用于通信网络的网络控制器，所述网络控制器包括：

用于接收对于数据流的传输的请求的第一接口；

用于传送数据流的传输的指令的第二接口；

处理器；并且

所述处理器配置成：

接收对于数据流的传输请求，其中所述数据流是高带宽流，其中所述高带宽流是具有大于阈值的带宽要求的数据流，其中防护期的尺寸设计成允许传送低带宽流，其中低带宽流是具有低于所述阈值的带宽的数据流，

获得用于所述数据流的容许时间间隔，以及

在所述容许时间间隔内且在与其它传输无竞争的情况下，调度所述数据流的传输，其中调度所述数据流的传输包括：

确定在所述容许时间间隔内是否存在至少一个起始时间，对于所述容许时间间隔，所述数据流作为单个块进行传送而与数据中心网络上的一个或多个其它传输无竞争；

当确定至少一个起始时间存在于所述容许时间间隔内时，在第一可接受开始时间传送所述数据流，对于所述容许时间间隔，所述数据流作为所述单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争；以及

当确定至少一个起始时间不存在于所述容许时间间隔内时，使客户端服务器能够将所述数据流分成宏时隙，对于所述容许时间间隔，所述数据流作为所述单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争。

12.根据权利要求11所述的网络控制器，进一步配置成：

标识始发节点和终止节点；

标识所述数据流要通过其被路由的所述节点的集合和链路的集合；

确定与所述节点和所述节点之间的链路相关联的延迟；

为所述链路集合中的每个链路和节点确定用于所述数据流的容许时间间隔，所述确定基于与所述节点和链路相关联的所述延迟以及用于所述数据流的初始容许时间间隔；以及

基于用于所述链路的在客户端服务器处的所述容许时间间隔和所述传输的大小在每个链路和节点处调度所述数据流的所述传输。

13.根据权利要求11所述的网络控制器，进一步配置成基于将所述数据流划分成多个区段来调度传输。

14.根据权利要求11所述的网络控制器，进一步配置成在所述数据流或所述数据流的区段和所述通信网络上的其它数据流之间调度防护期。

15.根据权利要求11所述的网络控制器，进一步配置成确定所述数据流穿过所述网络的路径以避免与其它数据流竞争。

16.一种通信网络，包括根据权利要求11至15中任一权利要求的网络控制器。

17.一种包括指令的计算机可读存储介质，所述指令在至少一个处理器上执行时使得所述至少一个处理器执行根据权利要求1至10中任一权利要求的方法。

18.一种用于在数据中心网络中调度数据流的网络控制器，所述网络控制器包括：

用于接收对于数据流的传输请求的接收单元，其中所述数据流是高带宽流，其中所述高带宽流是具有大于阈值的带宽要求的数据流，其中防护期的尺寸设计成允许传送低带宽流，其中低带宽流是具有低于所述阈值的带宽的数据流；

用于获得用于所述数据流的容许时间间隔的获得单元；以及

用于在所述容许时间间隔内且在与其它传输无竞争的情况下，调度所述数据流的传输的调度单元，其中调度所述数据流的传输包括：

确定在所述容许时间间隔内是否存在至少一个起始时间，对于所述容许时间间隔，所述数据流作为单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争；

当确定至少一个起始时间存在于所述容许时间间隔内时，在第一可接受开始时间传送所述数据流，对于所述容许时间间隔，所述数据流作为所述单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争；以及

当确定至少一个起始时间不存在于所述容许时间间隔内时，使客户端服务器能够将所述数据流分成宏时隙，对于所述容许时间间隔，所述数据流作为所述单个块进行传送而与所述数据中心网络上的一个或多个其它传输无竞争。

19.如权利要求18中所要求保护的网络控制器，还包括：

用于标识数据流的始发节点和终止节点的第一标识单元；

用于标识所述数据流必须穿过的所述节点的集合和链路的集合的第二标识单元；

用于确定与所述节点以及所述节点之间的链路相关联的延迟的延迟确定单元；以及

为所述链路集合中的每个链路和节点确定用于所述数据流的容许时间间隔的时间间隔确定单元，所述确定基于与所述节点和链路相关联的所述延迟以及用于所述数据流的初始容许时间间隔。

Images