CN108234340A - 基于流控制信用的自适应路由 - Google Patents

Abstract

一种用于网络通信的方法包括在网元中接收用于转发到目的地节点的分组。所述目的地节点能够经由所述网元的连接到相应的下一跳网元的两个或更多个候选端口到达。在所述网元中经由相应的候选端口接收来自所述下一跳网元的链路级流控制信用通知。至少基于所接收到的链路级流控制信用通知，从所述候选端口中选择所述分组的出站端口。通过选定的出站端口向所述目的地节点转发所述分组。

Description

基于流控制信用的自适应路由

技术领域

本发明总体上涉及网络通信技术领域，并且更具体地涉及用于分组的自适应路由的方法和系统。

背景技术

本领域中已知各种用于通过通信网络进行分组多路径路由的技术。一些已知技术基于网络状态，例如通信流量负荷和/或拥塞来动态地选择分组的路由路径。此类技术有时被称为“自适应路由(adaptive routing，AR)”。例如，在通过引用并入本文的以下文献中描述了AR技术：Zahavi等人,“Distributed Adaptive Routing for Big-Data ApplicationsRunning on Data Center Networks,”Proceedings of the Eighth ACM/IEEE Symposiumon Architectures for Networking and Communication Systems,New-York,New-York,2012,pages99-110。

在通过引用并入本文的以下文献中描述了其他自适应路由技术：Kim等人,“Adaptive Routing in High-Radix Clos Network,”Proceedings of the 2006ACM/IEEEConference on Supercomputing(SC2006),Tampa,Florida,November,2006；Jiang等人,“Indirect Adaptive Routing on Large Scale Interconnection Networks,”Proceedings of the 36^th Annual International Symposium on ComputerArchitecture,Austin,Texas,June,2009,pages 220-231；以及Kim等人,“Technology-Driven,Highly-Scalable Dragonfly Topology,”Proceedings of the 35th AnnualInternational Symposium on Computer Architecture,June,2008,pages77-88。

公开内容通过引用并入本文的美国专利8,576,715描述了一种通信方法，该方法包括通过通信网络在第一路由路径上路由属于给定分组流的第一分组。使用时间限制自适应路由(AR)模式，通过评估第一分组与所述给定分组流中跟随该第一分组的第二分组之间的时间间隔，在所述时间间隔不超过预定阈值的情况下在第一路由路径上路由第二分组，以及在所述时间间隔超过所述预定阈值的情况下选择潜在地不同于第一路由路径的通过所述通信网络的第二路由路径并在该第二路由路径上路由第二分组，来路由第二分组。

公开内容通过应用并入本文的美国专利9,014,006号和美国专利申请公开2015/0195204描述了一种方法，该方法包括在通信网络的网络交换机中接收发源于源节点并通过所述通信网络在穿越一个或多个先前网络交换机的路线上达到的网络通信流量，以便转发到目的地节点。响应于检测到所述网络交换机中向所述目的地节点转发所述通信流量的能力受损，向所述先前网络交换机发送通知。该通知应由所述先前网络交换机消费并且请求所述先前网络交换机修改所述路线以便不穿越所述网络交换机。

在通过引用并入本文的以下文献中描述了用于缓解拥塞的另外的自适应路由技术：Minkenberg等人,“Adaptive Routing in Data Center Bridges,”Proceedings ofthe 17^th IEEE Symposium on High Performance Interconnects,August,2009。在通过引用并入本文的以下文献中描述了用于融合增强型以太网(converged enhanced Ethernet，CEE)的自适应路由方案：Gusat等人,“R³C²:Reactive Route&Rate Control for CEE,”Proceedings of the 18^th IEEE Symposium on High Performance Interconnects,August,2010。

发明内容

本文所述的本发明实施方式提供了一种用于网络通信的方法，包括在网元中接收用于转发到目的地节点的分组。所述目的地节点能够经由所述网元的连接到相应的下一跳网元的两个或更多个候选端口到达。在所述网元中经由相应的候选端口接收来自所述下一跳网元的链路级流控制信用通知。至少基于所接收到的链路级流控制信用通知，从所述候选端口中选择所述分组的出站端口。通过选定的出站端口向所述目的地节点转发所述分组。

在一些实施方式中，选择所述出站端口包括从所接收到的链路级流控制信用通知推断所述候选端口上当前可用的信用数目，以及至少基于所述信用数目来选择所述出站端口。在一个示例实施方式中，选择所述出站端口包括按将所述下一跳网元连接到所述候选端口的网络链路的相应长度来归一化所述信用数目，以及至少基于经归一化的信用数目来选择所述出站端口。

在一个公开的实施方式中，选择所述出站端口包括至少基于所述链路级流控制信用通知来计算所述候选端口的端口拥塞等级，以及基于所述端口拥塞等级来选择所述出站端口。在另一实施方式中，所述分组关联于给定的虚拟通道(virtual lane，VL)，并且选择所述出站端口包括仅基于与所述给定VL有关的链路级流控制信用通知来选取所述出站端口。在又一实施方式中，所述分组关联于给定的虚拟通道(VL)，并且选择所述出站端口包括基于(i)与所述给定VL有关的链路级流控制信用通知和(ii)与作为整体的所述候选端口有关的链路级流控制信用通知，来选取所述出站端口。在一些实施方式中，所述方法包括，除了选择所述出站端口以外，基于所接收到的链路级流控制信用通知来节制经由所述候选端口发送的数据量。

根据本发明实施方式还提供了一种包括多个端口和电路的网元。所述电路被配置用于：接收用于转发到目的地节点的分组，其中所述目的地节点能够经由所述网元的连接到相应的下一跳网元的两个或更多个候选端口到达；经由相应的候选端口接收来自所述下一跳网元的链路级流控制信用通知；至少基于所接收到的链路级流控制信用通知，从所述候选端口中选择所述分组的出站端口；以及通过选定的出站端口向所述目的地节点转发所述分组。

根据本发明实施方式还提供了一种计算机软件产品，该产品包括有形非暂时性计算机可读介质，该有形非暂时性计算机可读介质中储存有程序指令，该指令在由网元中的处理器读取时致使该处理器：接收用于转发到目的地节点的分组，其中所述目的地节点能够经由所述网元的连接到相应的下一跳网元的两个或更多个候选端口到达；经由相应的候选端口接收来自所述下一跳网元的链路级流控制信用通知；至少基于所接收到的链路级流控制信用通知，从所述候选端口中选择所述分组的出站端口；以及通过选定的出站端口向所述目的地节点转发所述分组。

通过以下结合附图对本发明实施方式的详细描述，将会更充分地理解本发明；在附图中：

附图说明

图1是示意性地图示根据本发明一个实施方式、使用自适应路由的通信网络的框图；

图2是示意性地图示根据本发明一个实施方式、图1的通信网络的一部分的框图；以及

图3是示意性地图示根据本发明一个实施方式、用于基于流控制信用的自适应路由的方法的流程图。

具体实施方式

概述

本文所述的本发明实施方式提供了用于分组自适应路由(AR)的改进的方法和系统。本文所述的实施方式主要涉及网络中的网络交换机，但所公开的技术还可以与各种其他类型的网元一起使用，以及在其他合适的网络类型中使用。

在一些实施方式中，交换机接收寻址到某一目的地节点的分组。网络拓扑是这样的：从交换机到目的地节点存在多个可能的路线。换言之，交换机具有可经由其到达目的地节点的两个或更多个候选端口。交换机利用该拓扑，并从候选端口中自适应地选择分组的出站端口，通常旨在避免通过拥塞的路线对分组进行路由。

在各个实施方式中，交换机可以基于各个参数来选择出站端口(“作出AR决策”)。在所公开的技术中，交换机通过将连接到候选端口的下一跳交换机所通知的各个候选端口的可用链路级流控制信用纳入考虑，来作出AR决策。

在Infiniband中以及各种其他网络类型中，交换机采用基于信用的链路级流控制(也称为链路层流控制)。因此，每个下一跳交换机定期向交换机通知其当前可用于缓冲到达的数据的缓冲空间。该通知以可用“信用”为单位发送。在本上下文中，术语“信用”是指任何对可用于缓冲到达的数据的缓冲空间作出指示的定量度量。交换机被允许向下一跳交换机发送的数据量受到当前可用信用的数目的限制。

在所公开的实施方式中，交换机将候选端口的当前可用信用数目当作对下一跳交换机中的可能的拥塞的指示。数目较少的可用信用可以指示出下一跳交换机是拥塞的，或者即将变得拥塞。数目较大的可用信用通常指示出下一跳交换机无拥塞。因此，当作出AR决策时，交换机可以向具有较大数目的可用信用的候选端口赋予更高的权重。

本文描述了与其他参数相结合考虑可用信用数目的AR选择准则的若干示例。在一些实施方式中，下一跳交换机报告每虚拟通道(virtual lane，VL)的可用信用。交换机可以通过考虑针对分组所属VL报告的可用信用数目，以及/或者所有VL上的可用信用总数，来选择分组的出站端口。还描述了用于根据链路长度来归一化信用数目的技术。

所公开的技术对网络中所采用的基于信用的链路级流控制机制作出高度新颖的使用。常规而言，经由给定端口通知的可用信用数目根据定义仅在该端口的范围内使用，以便节制在该特定端口上发送的数据量。在所公开的技术中，统一使用经由多个端口通知的可用信用数目作为路由决策的一部分，以便选择通过哪个端口来路由分组。

当使用所公开的技术时，交换机能够作出更好的AR决策，该AR决策考虑到下一跳交换机中可能的拥塞，而不仅考虑关于该交换机本身的本地信息。所公开的技术由于利用现有流控制通知而在不增添任何信令开销的情况下实现了这一目标。

系统描述

图1是示意性地图示根据本发明一个实施方式、使用自适应路由的通信网络20的框图。在本例中，网络20根据规范运行。在备选实施方式中，网络20可以根据其他合适的通信标准或协议来运行。通常，所公开的技术与无损网络协议一起使用，但并不一定如此。

网络20提供用于多个节点24的分组通信。节点例如可以包括计算机的主机通道适配器(host channel adapter，HCA)或其他网络接口控制器(network interfacecontroller，NIC)。每个分组流发源于某个源节点，并且寻址到某个目的地节点。在通过网络的穿越各个网元(例如，网络交换机)和网络链路(也称为跳跃)的路线上转发所述流的分组。

为了清楚起见，下面的描述主要涉及交换机。然而，所公开的技术亦可用于其他合适类型的网元，例如路由器。

为了展示所公开的技术，图1示出了源节点、目的地节点、交换机28A…28E以及链路32A…32G的简化示例。在真实网络中，交换机可以按各种拓扑互连。例如，网络拓扑可以包括胖树(fat-tree，FT)拓扑或蜻蜓拓扑。

每个交换机28包括多个端口36、交换机结构电路40以及控制电路44，所述多个端口36被配置用于接收和传输分组，所述交换机结构电路40被配置用于在端口之间转发分组，而所述控制电路44控制和配置各个交换机元件。除了其他任务之外，网络20中的交换机的控制电路44实现下文详细描述的自适应路由(AR)技术。

下面的描述涉及交换机结构电路与控制电路之间的某些功能划分。然而，在备选实施方式中，可以使用任何其他合适的功能划分。在本专利申请的上下文中以及在权利要求书中，交换机结构电路40和控制电路44统称为执行本文所述方法的“电路”。

图1中所示的网络和交换机配置为示例配置，其仅仅是为了阐明概念而选择的。在备选实施方式中，可以使用任何其他合适的网络和/或交换机配置。某些交换机元件可以使用硬件/固件来实现，诸如使用一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)。或者，一些交换机元件能够以软件或者使用硬件/固件与软件元素的组合来实现。

在一些实施方式中，某些交换机功能，诸如控制电路44的某些功能，可以使用通用处理器来实现，该通用处理器以软件编程，以便执行本文所述的功能。软件例如可以通过网络而以电子形式下载至处理器，或者其可以替代地或附加地提供和/或储存于诸如磁、光或电子存储器等非暂时性有形介质上。

基于来自下一跳网元的流控制信用的自适应路由

在一些实施方式中，网络20中的交换机28在将其相连的网络链路32上采用基于信用的链路级流控制。例如，在通过引用并入本文的以下文献中规定了InfiniBand网络中的基于信用的链路级流控制：sections 3.7.2and 7.9 of“Infiniband^TM ArchitectureSpecification Volume 1,”Release 1.3,March,2015。

例如，在通过引用并入本文的以下文献中还描述了使用信用的流控制方案：Kungand Morris,“Credit-Based Flow Control for ATM Networks,”IEEE NetworkMagazine,volume 9,issue 2,March,1995,pages 40-48。

在本专利申请的上下文中以及权利要求书中，术语“链路级流控制信用通知”是指在给定的交换机中从通过网络链路连接至所述给定交换机的下一跳交换机接收到的通知。该通知指示出在相应的网络链路上可用的信用(例如，区别于还可以在相同网络上使用的端到端信用通知)。

术语“链路级流控制信用通知”和“链路层流控制信用通知”在本文中可互换使用。为了简洁起见，下面的描述还可将这样的通知简称为“信用通知”。在本发明的一些实施方式中，网络20中的交换机使用AR选择准则，该准则将来自下一跳交换机的信用通知纳入考虑。

不同于诸如以太网XON/XOFF命令等二元流控制指示，可用信用数目是软值(softvalue)，其使用多个比特来表示，并且具有相对精细的分辨率。因此，所公开的使用基于信用的通知的技术在表示下一跳交换机的拥塞状态方面高度准确。作为结果，基于这些通知的自适应路由决策同样准确。

再次参考图1，考虑发源于图中左侧的源节点中并以图中右侧的目的地节点为目的地的分组流。在图中可以看出，可从源节点经由两个可能的路线到达目的地节点。一个路线穿越交换机28A、链路32F、交换机28E、链路32G、交换机28D以及链路32E。另一路线穿越交换机28A、链路32B、交换机28B、链路32C、交换机28C、链路32D、交换机28D，并且最终穿越链路32E。因此，交换机28A对于路由该流的分组拥有两个选项——通过通往交换机28E的链路32F，或者通过通往交换机28B的链路32B。

图2是示意性地图示根据本发明一个实施方式、图1的网络20的一部分的框图。该图着重于交换机28A。交换机28A经由端口36A连接到与下一跳交换机28E相连的链路32F，并经由端口36B连接到与下一跳交换机28B相连的链路32B。

根据网络20中所采用的基于信用的链路级流控制机制，交换机28A经由端口36A接收来自下一跳交换机28E的信用通知，并且经由端口36B接收来自下一跳交换机28B的信用通知。

如上文所述，两个下一跳交换机以及对应的端口和链路位于从交换机28A通向目的地节点的两个相应的可能路线上。因此，在交换机28A中，端口36A和端口36B是用于以目的地节点为目的地的分组的自适应路由的候选端口。在本例中，交换机具有从中选择出站端口的两个候选端口。然而，所公开的技术可适用于任何数目的候选端口。该组候选端口也称为“AR组”。

在一些实施方式中，为了路由属于以目的地节点为目的地的流的分组，交换机28A的控制电路44评估从候选端口36A和36B中选择该分组的出站端口的AR准则。如果选定的出站端口不同于当前为该流限定的出站端口，则控制电路44对结构电路40进行重新配置，以通过新选定的出站端口来路由该流。

在一些实施方式中，控制电路针对每个候选端口计算“端口拥塞等级”。候选端口的端口拥塞等级对通过该候选端口发送的分组预计经历的拥塞程度加以量化。

候选端口的端口拥塞等级被定义为候选端口的一个或多个参数的函数。所述参数中之一是当前可用于通过该候选端口发送数据的信用数目。该数据基于经由候选端口从对应的下一跳交换机接收到的信用通知。在一个实施方式中，端口拥塞等级仅取决于可用信用数目。在其他实施方式中，候选端口的端口拥塞等级还取决于一个或多个附加参数，所述附加参数例如可以包括：

■候选端口的队列长度，即，在交换机28A中为了经由候选端口传输而排队的数据的总大小。

■候选端口的通信流量类别队列长度，即，属于特定通信流量类别(并且因此关联于特定VL)，并且在交换机28A中为了经由候选端口传输而排队的数据的总大小。

■候选端口的带宽利用率。

附加地或备选地，端口拥塞等级可能取决于任何其他合适的参数。例如，控制电路44可以评估这些参数的任何合适的函数以产生端口拥塞等级，以便在作出AR决策时为不同参数赋予不同的权重。附加或替代于赋予不同的权重，控制电路44可以在作出AR决策时为不同参数赋予不同的优先级。例如，控制电路可以首先检查队列长度，并且仅当两个或更多个端口的队列长度相同时，才继续检查可用信用的数目。还可以使用任何其他合适的优先次序。

在一个实施方式中，控制电路44选择具有最小端口拥塞等级的候选端口作为分组的出站端口。

在一些实施方式中，除了可用信用数目以外，控制电路44可以在选择出站端口时考虑其他因素。例如，控制电路44可以设定流的出站端口的改变之间的最小时间间隔。换言之，如果出站端口的最后一次更改是在小于预定时间前作出的，则控制电路44可以保留流的当前选定的出站端口(即使不同的候选端口具有更大的可用信用数目和/或更低的端口拥塞等级)。

作为另一示例，如果流的前一分组是在小于预定时间前路由的，则控制电路44可以保留流的当前选定的出站端口。作为又一示例，控制电路44可以将任何给定候选端口上的流的数目限制在预定最大数目。

附加地或备选地，控制电路44可以结合候选端口上的可用信用数目，基于任何其他合适的准则来选择出站端口。

在一些实施方式中，下一跳交换机28E和下一跳交换机28B的每个端口包括用于不同虚拟通道(VL)的单独的输入缓冲器。下一跳交换机的每个端口单独地对每个VL的传入分组进行排队，并且还单独地向交换机28A发送每VL的信用通知。在一些实施方式中，为了路由属于给定VL的分组，交换机28A的控制电路44基于该给定VL的可用信用数目，或者基于作为整体的端口的可用信用总数，或者同时基于分组的VL的可用信用数目和端口的可用信用总数，来选择出站端口。

在一些实际场景中，网络链路的物理长度可能会歪曲交换机的关于可用信用数目的信息。例如，参考图2，考虑在其中链路32B显著长于链路32F并且因此具有显著更大的传播延迟的场景。在给定的时间点，沿着链路32B“飞行”(由下一跳交换机28B报告，但尚未被交换机28A接收到)的信用通知的数目很可能大于沿着链路32F“飞行”(由下一跳交换机28E报告，但尚未被交换机28A接收到)的信用通知的数目。

从本例可以看出，交换机28A所知晓的可用信用数目可能不同于下一跳交换机所报告的实际可用信用数目，并且差异随着链路的物理长度而增大。除非将该效应纳入考虑，否则其可能导致AR选择准则相比于长链路不公平地偏向于短链路。

在一些实施方式中，交换机28A的控制电路44通过按给定链路的物理长度对该链路的可用信用数目进行归一化来补偿上述效应。控制电路继而根据归一化的信用数目作出AR决策。

图3是示意性地图示根据本发明一个实施方式、用于基于流控制信用的自适应路由的方法的流程图。该方法开始于在通知接收步骤50中，交换机的控制电路44针对AR组中的每个候选端口从对应的下一跳交换机接收信用通知。

通常，下一跳交换机在其从对应的输入缓冲器移除一定量的数据时发送信用通知。交换机接收信用通知，并且针对每个候选端口(有可能按每VL)持续推断和跟踪当前可用的信用数目。

在拥塞等级计算步骤54中，交换机的控制电路44计算AR组中的每个候选端口的端口拥塞等级。如上文所解释，候选端口的端口拥塞等级取决于该端口(有可能按每VL)上当前可用的信用数目，并且有可能与附加参数相结合。

在AR决策步骤58中，控制电路44基于各个候选端口的端口拥塞等级选择分组流的出站端口。相应地，控制电路44对结构电路40进行配置。在路由步骤62中，结构电路继而将属于所述流的分组路由到选定的出站端口。控制电路44通常持续重复图3的过程。

通常，交换机使用从下一跳交换机接收的相同信用通知用于两个目的——(i)链路级流控制，即，基于每个链路上接收到的信用通知来节制通过该链路发送的数据量，以及(ii)使用所公开的技术来进行自适应路由。

虽然本文所述的实施方式主要讨论Infiniband，但本文所述的方法和系统还可以用于其他应用，诸如使用基于信用的流控制的任何网络类型或协议，例如，以太网或以太网光纤通道(Fibre-Channel over Ethernet，FCoE)。例如，在公开内容通过引用并入本文的美国专利8,867,356中讨论了用于以太网的基于信用的流控制。例如，在通过引用并入本文的以下文献中讨论了用于FCoE的基于信用的流控制：Lemasa and Gai,“Fibre Channelover Ethernet in the Data Center:An Introduction,”The Fibre Channel IndustryAssociation,2007。

因此，应当理解，上述实施方式是以举例方式引用的，并且本发明并不限于上文具体示出和描述的内容。相反，本发明的范围包括上述各个特征的组合和子组合，以及本领域技术人员在阅读前文描述后所设想到的、未由现有技术公开的变化和修改。通过引用而并入本专利申请中的文件应被视为本申请的组成部分，除非这些并入的文件中任何术语的定义达到与本说明书中的明示或暗示定义相冲突的程度，在此情况下应以本说明书中定义为准。

Claims (15)

1.一种用于网络通信的方法，包括：

在网元中接收用于转发到目的地节点的分组，其中所述目的地节点能够经由所述网元的连接到相应的下一跳网元的两个或更多个候选端口到达；

在所述网元中经由相应的候选端口接收来自所述下一跳网元的链路级流控制信用通知；

至少基于所接收到的链路级流控制信用通知，从所述候选端口中选择所述分组的出站端口；以及

通过选定的出站端口向所述目的地节点转发所述分组。

2.根据权利要求1所述的方法，其中选择所述出站端口包括从所接收到的链路级流控制信用通知推断所述候选端口上当前可用的信用数目，以及至少基于所述信用数目来选择所述出站端口。

3.根据权利要求2所述的方法，其中选择所述出站端口包括按将所述下一跳网元连接到所述候选端口的网络链路的相应长度来归一化所述信用数目，以及至少基于经归一化的信用数目来选择所述出站端口。

4.根据权利要求1所述的方法，其中选择所述出站端口包括至少基于所述链路级流控制信用通知来计算所述候选端口的端口拥塞等级，以及基于所述端口拥塞等级来选择所述出站端口。

5.根据权利要求1所述的方法，其中所述分组关联于给定的虚拟通道(virtual lane，VL)，并且其中选择所述出站端口包括仅基于与所述给定VL有关的链路级流控制信用通知来选取所述出站端口。

6.根据权利要求1所述的方法，其中所述分组关联于给定的虚拟通道(VL)，并且其中选择所述出站端口包括基于(i)与所述给定VL有关的链路级流控制信用通知和(ii)与作为整体的所述候选端口有关的链路级流控制信用通知，来选取所述出站端口。

7.根据权利要求1所述的方法，包括，除了选择所述出站端口以外，基于所接收到的链路级流控制信用通知来节制经由所述候选端口发送的数据量。

8.一种网元，包括：

多个端口；以及

电路，其被配置用于：

接收用于转发到目的地节点的分组，其中所述目的地节点能够经由所述网元的连接到相应的下一跳网元的两个或更多个候选端口到达；

经由相应的候选端口接收来自所述下一跳网元的链路级流控制信用通知；

至少基于所接收到的链路级流控制信用通知，从所述候选端口中选择所述分组的出站端口；以及

通过选定的出站端口向所述目的地节点转发所述分组。

9.根据权利要求8所述的网元，其中所述电路被配置用于从所接收到的链路级流控制信用通知推断所述候选端口上当前可用的信用数目，以及至少基于所述信用数目来选择所述出站端口。

10.根据权利要求9所述的网元，其中所述电路被配置用于按将所述下一跳网元连接到所述候选端口的网络链路的相应长度来归一化所述信用数目，以及至少基于经归一化的信用数目来选择所述出站端口。

11.根据权利要求8所述的网元，其中所述电路被配置用于至少基于所述链路级流控制信用通知来计算所述候选端口的端口拥塞等级，以及基于所述端口拥塞等级来选择所述出站端口。

12.根据权利要求8所述的网元，其中所述分组关联于给定的虚拟通道(VL)，并且其中所述电路被配置用于仅基于与所述给定VL有关的链路级流控制信用通知来选择所述出站端口。

13.根据权利要求8所述的网元，其中所述分组关联于给定的虚拟通道(VL)，并且其中所述电路被配置用于基于(i)与所述给定VL有关的链路级流控制信用通知和(ii)与作为整体的所述候选端口有关的链路级流控制信用通知，来选择所述出站端口。

14.根据权利要求8所述的网元，其中除了选择所述出站端口以外，所述电路还被配置用于基于所接收到的链路级流控制信用通知来节制经由所述候选端口发送的数据量。

15.一种计算机软件产品，该产品包括有形非暂时性计算机可读介质，该有形非暂时性计算机可读介质中储存有程序指令，该指令在由网元中的处理器读取时致使该处理器：

接收用于转发到目的地节点的分组，其中所述目的地节点能够经由所述网元的连接到相应的下一跳网元的两个或更多个候选端口到达；

经由相应的候选端口接收来自所述下一跳网元的链路级流控制信用通知；

至少基于所接收到的链路级流控制信用通知，从所述候选端口中选择所述分组的出站端口；以及

通过选定的出站端口向所述目的地节点转发所述分组。