CN106911584A - 一种基于叶-脊拓扑结构的流量负载分担方法、装置及系统 - Google Patents

Abstract

本申请涉及移动通信领域，尤其涉及一种基于叶-脊拓扑结构的流量负载分担方法、装置及系统。在基于叶-脊拓扑结构的流量负载分担方法中，第一叶设备通过多条路径向第二叶设备发送多个拥塞探测消息，且每个拥塞探测消息携带拥塞值，所述拥塞值用于指示所述拥塞探测消息经过的路径的拥塞程度。该第一叶设备依据每条路径的拥塞值，选择至少一条路径向所述第二叶设备发送数据。通过本申请提供的方案，实现了整个网络的负载分担。

Description

一种基于叶-脊拓扑结构的流量负载分担方法、装置及系统

技术领域

本发明涉及移动通信领域，尤其涉及以太网络的流量负载分担。

背景技术

在当今以太网络里，为了降低链路故障对业务的影响，通常将多个链路互作备份，当主用链路出现故障时，将流量切换到备用链路上，以保证业务的质量和可靠性。但这种方式不能使业务流量同时在主备链路上转发，无法有效利用链路的带宽。

为了支持流量负载分担，通常会将设备的多个物理链路捆在一起，组成一个逻辑链路，如图1所示。图1是现有技术中由多个物理链路组成一个逻辑链路的示意图。在图1中，服务器通过两个物理链路连接到设备1，这两个物理链路组成逻辑链路LAG1。设备1又通过两个物理链路，连接到设备2和设备3，这两个物理链路组成逻辑链路LAG2。当通过一个逻辑链路发送报文时，根据相应的负载均衡(英文：load balancing)算法，来选择其中一个物理链路发送所述报文。而当有物理链路故障时，则将该故障的物理链路退出逻辑链路，使得报文不会负载分担到有故障的物理链路上。

当今已演化到采用两层叶-脊(leaf-spine)拓扑架构来组建数据中心网络。图2是现有技术中的两层leaf-spine拓扑架构示意图。图2中，叶(leaf)设备通过多个物理链路连接到不同的脊(spine)设备。所述多个物理链路组成一个逻辑链路。这样，leaf设备和leaf设备之间的东西向流量，就通过多个物理链路，在各个spine设备间负载分担。如何有效地将各业务流量负载分担到逻辑链路里的各个物理链路上，影响着上述数据中心网络里业务流量转发的质量和性能。

为了实现各业务流量能最大程度地均匀分担到逻辑链路里的各个物理链路，同时又保证报文不乱序，业界提出了静态哈希算法。该算法主要根据报文的特征字段，得到逻辑链路下的物理链路索引。因此，同样的报文特征字段值会产生同样的哈希结果。这种静态哈希方式，由于具有同样特征字段的多条流都会被哈希到同一条链路上，因此会出现哈希不均衡，造成某个物理链路负载过大，甚至出现拥塞而导致报文丢弃，而某些物理链路负载较轻，带宽利用率低，如图3所示。图3是现有技术中采用静态哈希算法导致哈希不均衡的leaf-spine网络拓扑示意图。

图3中，leaf设备通过组成逻辑链路的各个物理链路连接到不同的spine设备。leaf设备到spine设备的流量在逻辑链路上进行哈希负载分担。如果哈希不均，则会导致到部分spine设备的流量出现拥塞甚至丢弃，降低了数据中心业务质量和用户体验。

为解决静态哈希算法哈希不均带来的链路负载不均衡的弊端，新型商业转发芯片支持了一种动态负载分担(英文：dynamic load balancing，简称：DLB)算法。也即：在保持各业务报文不乱序的情况下，根据逻辑链路下各物理链路的负载情况，选择负载最轻的一条物理链路将报文发送出去，如图4所示。

图4是现有技术中采用DLB算法进行本地负载分担的leaf-spine拓扑示意图。图4中，在服务器1请求向服务器3发送数据时，leaf设备1到spine设备1的链路1已经负载过重，而leaf设备1到spine设备2的链路2负载较轻。此时leaf设备1在采用DLB算法对新业务流量负载分担时，会将该新业务流量分担到负载轻的链路2上。而若按照静态哈希算法，则新业务流量仍会继续分担到负载已过大的链路1上。DLB算法最终的效果，可以使得逻辑链路的本地各物理链路负载更均衡。

DLB算法在执行设备的本地负载分担时，可以很好达到本地各物理链路的负载分担效果，而不会出现静态哈希算法那样各个流都哈希到同一个物理链路上，而导致该物理链路拥塞和报文丢弃。但DLB算法即使做到设备本地的负载分担，也无法满足数据中心网络leaf-spine拓扑里的流量分担要求。

在leaf-spine拓扑结构里，比如对于leaf设备到leaf设备的东西向流量，会通过多个物理链路并经多个spine设备进行流量负载分担。如图5所示，图5是现有技术中采用DLB算法导致网络负载不均衡的leaf-spine拓扑示意图。

图5中，在服务器1请求向服务器3发送数据时，流量从leaf设备1到达leaf设备3有两条路径，各由物理链路{1,3}、{2,4}组成。到达leaf设备3的链路3负载较轻，但链路4已出现拥塞丢弃状态。leaf设备1在执行DLB算法时，只能保证本地物理链路1和2之间的负载分担。如果流量哈希到物理链路2上，就会通过链路4到达leaf设备3，从而出现报文由于拥塞而被丢弃。可见，在网络拓扑里会有多个路径能够到达报文的目的设备，各条路径上设备的链路带宽和负载轻重不一。即使DLB算法达到了本地设备各物理链路的负载分担，也无法保证网络拓扑下的整个路径都能负载分担，而不会出现拥塞丢弃。

因此，在无论采用静态哈希算法还是DLB算法，都不能实现leaf-spine网络拓扑下整个路径的流量负载分担。

发明内容

本文提供了一种基于叶-脊拓扑结构的流量负载分担方法、装置及系统，以实现整个网络的流量负载平衡。

一方面，本申请的实施例提供一种基于叶-脊拓扑结构的流量负载分担方法。其中，该第一叶设备通过脊设备向第二叶设备相互通信。该方法包括该第一叶设备通过多条路径向该第二叶设备发送多个拥塞探测消息，每个拥塞探测消息包括拥塞值字段。该拥塞值字段用于写入该拥塞探测信息当前经过的设备去顶的拥塞值，该拥塞值用于指示路径的拥塞程度。该第一叶设备接收该第二叶设备发送的多个响应消息，其中每个响应消息包括该响应消息对应的拥塞探测消息经过的路径的拥塞值。该第一叶设备依据该多个响应消息确定每条路径的拥塞值，从该多条路径中选择至少一条路径作为向该第二叶设备发送数据的路径。

本发明实现了leaf-spine整个网络的流量负载分担，保证了数据中心网络里业务流的传输性能和吞吐量，增加了网络带宽利用率，提升了用户体验。

在一个可能的设计中，每条路径的拥塞值是根据该路径所包含的物理链路的拥塞值确定的。进一步地，该物理链路的拥塞值是根据该物理链路对应出端口的队列长度的量化值和/或对应出端口的带宽利用率的量化值确定的。队列长度的量化值带宽利用率的量化值在一个可能的设计中，该拥塞探测消息为协议报文或数据报文，该拥塞探测消息还包括路径的标识。该拥塞值和该路径的标识包括在该拥塞探测消息的帧头、保留位或新增字段中。

在一个可能的设计中，该流量负载分担方法还包括第一叶设备接收第二叶设备发送的反向拥塞探测消息。从该反向拥塞探测消息的拥塞值字段中获取该反向拥塞控制消息经过的路径的反向拥塞值。

另一方面，本发明实施例提供了一种基于叶-脊拓扑结构流量负载分担的叶设备。该叶设备与另一叶设备相互通信。该叶设备包括发送器、接收器和处理器。

该发送器通过多条路径向该另一叶设备发送多个拥塞探测消息，每个拥塞探测消息包括拥塞值字段，该拥塞值字段用于写入该拥塞探测消息当前经过的设备确定的拥塞值，该拥塞值用于指示路径的拥塞程度。该接收器用于接收该另一叶设备发送的多个响应消息，其中每个响应消息包括该响应消息对应的拥塞探测消息经过的路径的拥塞值。该处理器用于依据该多个响应消息确定每条路径的拥塞值，从该多条路径中选择至少一条路径作为向该第二叶设备发送数据的路径。

又一方面，本发明实施例提供了一种基于叶-脊拓扑结构流量负载分担的脊设备。其中，第一叶设备通过脊设备通过脊设备与第二叶设备相互通信。该脊设备包括接收器和处理器。该接收器用于接收该第一叶设备发送的拥塞探测消息，该拥塞探测消息的拥塞值字段包括第一叶设备至脊设备的第一物理链路的拥塞值。该处理器用于通过比较该第一物理链路的拥塞值与脊设备至第二叶设备的拥塞值确定第一叶设备经由脊设备至第二叶设备的路径的拥塞值，根据该确定的拥塞值处理所述拥塞探测消息。

在一个可能的设计中，当根据该确定的拥塞值处理拥塞探测消息时，该处理器具体用于：当第一物理链路的拥塞值为路径的拥塞值时，直接向第二叶设备发送拥塞探测消息；当第二物理链路的拥塞值为路径的拥塞值时，将拥塞探测消息的拥塞值字段中的第一物理链路的拥塞值更新为第二物理链路的拥塞值，并向第二叶设备发送所述更新后的拥塞探测消息。

又一方面，本发明实施例提供了一种基于叶-脊拓扑结构流量负载分担的系统。第一叶设备经由脊设备与第二叶设备相互通信。该系统包括第一叶设备、脊设备、第二叶设备。

该第一叶设备用于向该脊设备发送拥塞探测消息，且该拥塞探测消息包括拥塞值字段。该拥塞值字段用于写入该第一叶设备确定的拥塞值，该拥塞值用于指示该第一叶设备至该脊设备的第一物理链路拥塞程度。

该脊设备将用于比较该第一物理链路拥塞值与该脊设备至该第二叶设备的第二物理链路拥塞值确定该第一叶设备经由该脊设备至该第二叶设备的路径的拥塞值。

该第二叶设备用于接收来自该脊设备的该路径的拥塞值，并将该路径拥塞值反馈给第一叶设备，以便该第一叶设备选取相应路径发送数据。

相较于现有技术，本发明优化了leaf-spine网络拓扑下多路径的负载分担效果，避免业务流量被分担到阻塞的转发路径上，提升了转发质量和性能，提高了网络带宽利用率。并且在物理链路故障时，本发明能够自动感知并自动调整对业务流的分担，提升了数据中心网络对物理链路故障的健壮性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为现有技术中由多个物理链路组成一个逻辑链路的示意图；

图2为现有技术中的两层leaf-spine拓扑架构示意图；

图3为现有技术中采用静态哈希算法导致哈希不均衡的leaf-spine网络拓扑示意图；

图4为现有技术中采用DLB算法进行本地负载分担的leaf-spine拓扑示意图；

图5为现有技术中采用DLB算法导致网络负载不均衡的leaf-spine拓扑示意图；

图6为本发明实施例提供的流量负载分担方法所涉及的leaf-spine系统架构示意图；

图7为本发明实施例提供的基于leaf-spine拓扑结构的流量负载分担方法流程图；

图8是本发明实施例提供的基于leaf-spine拓扑结构流量负载分担的叶设备示意图；

图9是本发明实施例提供的基于leaf-spine拓扑结构流量负载分担的脊设备示意图；

图10本发明实施例提供的基于leaf-spine拓扑结构流量负载分担系统示意图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图6是本发明实施例提供的基于leaf-spine网络拓扑结构的流量负载分担方法所涉及的leaf-spine系统架构示意图。该系统包括多个leaf设备、多个spine设备、多个服务器。leaf设备与spine设备之间全连接，保证网络的可靠性。spine设备与spine设备之间不连接，leaf设备与leaf设备之间不连接。

spine设备1、spine设备2是承载网络的骨干节点，位于汇聚层。leaf设备1～leaf设备4是承载网络的叶子节点，位于接入层。

在一个示例中，spine设备是一种以太网交换机，leaf设备也是一种以太网交换机。进一步地，spine设备的交换机性能比leaf设备的交互机性能更强。例如，spine设备的交换机支持100Gb/s端口，leaf设备的交换机支持1Gb/s或10Gb/s端口。

本领域技术人员可以理解，图6中的leaf-spine网络结构并不构成对leaf-spine网络结构的限定，leaf设备、spine设备数量可以比图示更多或更少。

图6中，服务器1向服务器3发送数据时，有两条路径可供选择，第一条路径为路径{1,3}，即先经物理链路1再经物理链路3。第二条路径为{2,4}，即先经物理链路2再经物理链路4。物理链路1是从leaf设备1至spine设备1的链路，物理链路3是从spine设备1至leaf设备3的链路。物理链路2是从leaf设备1至spine设备2的链路，物理链路4是从spine设备2至leaf设备3的链路。为了选取一个拥塞程度轻的路径，本发明实施例提供了一种根据leaf-spine整个网络的路径负载拥塞程度，来实现leaf设备本地的负载分担，从而实现了全局负载分担(英文：global load balancing，GLB)。下面阐述本发明实施例如何实现GLB。

图6中，服务器1向服务器3发送数据之前，服务器1所接入的leaf设备1为了探测路径{1,3}、路径{2,4}的拥塞程度，向路径{1,3}、路径{2,4}分别发送拥塞探测消息，该拥塞探测消息包括拥塞值字段，该拥塞值字段用于写入该拥塞探测消息当前经过的设备确定的拥塞程度量化值。在此简称该拥塞程度量化值为拥塞值，该拥塞值用于指示路径的拥塞程度。该路径的拥塞值根据该路径所包含的各物理链路拥塞程度量化值即各物理链路的拥塞值确定，而每条物理链路的拥塞值则由该物理链路的端设备计算得到，即由leaf设备和/或spine设备计算得到其所对应物理链路的拥塞值。leaf设备1根据确定的路径{1,3}、路径{2,4}的拥塞值，选取拥塞程度轻的路径，即选取拥塞值小的路径发送来自服务器1的数据，从而实现整个leaf-spine网络的全局负载分担。

图7是本发明实施例提供的基于leaf-spine网络拓扑结构的全局负载分担方法流程图。

在步骤710，leaf-spine网络中的每个设备确定以所述设备为端设备的每条物理链路的拥塞值。

leaf-spine网络拓扑结构中的每个设备(包括leaf设备和spine设备)对以所述设备为端设备的每条物理链路的拥塞程度进行量化，从而得到各leaf设备、spine设备的每条物理链路的拥塞值。

例如，图6中，leaf设备1对物理链路1、物理链路2的拥塞程度分别进行量化。leaf设备3对物理链路3、物理链路4的拥塞程度分别进行量化。spine设备1对物理链路1′、物理链路3′的拥塞程度分别进行量化。spine设备2对物理链路2′、物理链路4′的拥塞程度分别进行量化。其中，物理链路1′是spine设备1至leaf设备1的链路，物理链路3′是spine设备1至leaf设备3的链路；物理链路2′是spine设备2至leaf设备1的链路，物理链路4′是spine设备2至leaf设备3的链路。

下面详细阐述leaf设备、spine设备如何对以该leaf设备或spine设备为端设备的物理链路的拥塞程度进行量化，以得到每条物理链路的拥塞值。

在一个示例中，leaf设备、spine设备对每条物理链路的拥塞程度进行量化，从而得到相应物理链路的拥塞值，是根据对物理链路对应出端口的队列长度进行量化和/或对本地物理链路对应出端口的带宽利用率进行量化确定的。

该出端口队列长度是指leaf设备、spine设备周期性读取出的出端口缓存队列长度，其中，该缓存队列长度指缓存队列里报文字节数。

该物理链路带宽利用率是指leaf设备、spine设备周期性读取出的物理链路相应出端口所发送报文字节数，即业务流量，与该物理链路相应出端口带宽，例如带宽为10G的端口，所占百分比。

在一个示例中，leaf设备或spine设备对物理链路队列长度和/或物理链路带宽利用率的范围进行分段量化，每段范围对应一个量化值，并通过图表方式将各范围所对应量化值存储在相应设备缓冲区中，参见下表1、2。例如，leaf设备1在其缓冲区中存储了表示其物理链路队列长度各段范围量化值的表格(参见表1)，以及存储了表示其物理链路带宽利用率各段范围量化值的表格(参见表2)。

该出端口拥塞值可根据该出端口队列长度的量化值和/或该出端口带宽的利用率确定。下面通过下表1阐述如何对出端口队列长度进行量化，通过下表2阐述如何对出端口带宽利用率进行量化。

下表1是以将该出端口队列长度量化成3bit(比特)为例，对该出端口队列长度进行量化。

表1

在上表1中，例如某leaf设备或spine设备出端口队列长度为20000字节，则该leaf设备或spine设备通过查询上表1可知，该leaf设备或spine设备的出端口队列长度被量化成6，即被量化成3bit的110。

需要说明的是，上述表1中的出端口队列长度量化分段点、量化范围、量化结果中的具体数值，用户可配置，也即具体数值不限于表1所示。

下表2是以将该出端口带宽利用率量化成3bit为例，对该出端口带宽利用率进行量化。

表2

在上表2中，例如某leaf设备或spine设备出端口带宽利用率是86％，则该leaf设备或spine设备通过查询上表2可知，该leaf设备或spine设备的出端口带宽利用率被量化成5，即被量化成3bit的101。

需要说明的是，上述表2中的出端口带宽利用率量化分段点、量化范围、量化结果中的具体数值，用户可配置，也即具体数值不限于表2所示。

此外，为提高量化精度，也可以将上述表1和/或表2量化结果的位宽增加，此种情况下量化分段点也相应增加。更多的量化位宽，意味着产生更好的量化精确度，以及更好地反映物理链路的拥塞程度。

在一个示例中，在leaf-spine网络中，leaf设备或spine设备通过查找该出端口队列长度量化表(即表1)和/或该出端口带宽利用率量化表(即表2)的方式，得到每条物理链路的拥塞值。拥塞值越大，代表该物理链路的拥塞程度越高。

例如，leaf设备或spine设备可以通过对出端口队列长度的量化值以及对出端口带宽利用率的量化值分别赋予权重的方式，得到该leaf设备或spine设备物理链路的拥塞值。又如，leaf设备或spine设备可以通过将该出端口队列长度的量化值与该出端口带宽利用率的量化值相加或者相乘的方式，得到该leaf设备或spine设备物理链路拥塞值。再如，leaf设备或spine设备可以仅通过该出端口队列长度的量化值得到该leaf设备或spine设备物理链路拥塞值；或者可以仅通过该出端口带宽利用率的量化值得到该leaf设备或spine设备物理链路拥塞值。

下面继续阐述图7中其他步骤。

步骤720至步骤730阐述的是：服务器1预向服务器3发送数据。首先服务器1所对应的leaf设备1(即第一叶设备)通过路径{1,3}向leaf设备3发送拥塞探测消息1，同时leaf设备1通过路径{2,4}向leaf设备3发送拥塞探测消息2。该拥塞探测消息1包括拥塞值字段1，该拥塞值字段1用于写入spine设备1确定的拥塞值，该拥塞值用于指示路径{1,3}的拥塞程度。该拥塞探测消息2包括拥塞值字段2，该拥塞值字段2用于写入spine设备2确定的拥塞值，该拥塞值用于指示路径{2,4}的拥塞程度。

在步骤720，第一叶设备通过物理链路发送多个拥塞探测消息，每个拥塞探测消息包括拥塞值字段。例如，leaf设备1通过物理链路1向spine设备1发送拥塞探测消息1，该拥塞探测消息1包括拥塞值字段1，该拥塞值字段1包括leaf设备1确定的物理链路1的拥塞值，该物理链路1的拥塞值用于指示该物理链路1的拥塞程度；同时leaf设备1通过物理链路2向spine设备2发送拥塞探测消息2，该拥塞探测消息2包括拥塞值字段2，该拥塞值字段2包括该leaf设备1确定的物理链路2的拥塞值，该物理链路2的拥塞值用于指示该物理链路2的拥塞程度。

在一个示例中，leaf设备1通过查找其出端口队列长度量化表(即表1)和/或其出端口带宽利用率量化表(即表2)的方式得到物理链路1及物理链路2的拥塞值。具体实现方法参见上述步骤710及相应内容描述。在一个示例中，该拥塞探测消息为协议报文或数据报文，该拥塞探测消息还包括路径的标识，该拥塞值和该路径的标识包括在该拥塞探测消息的帧头、保留位或新增字段中。下面以拥塞探测消息的帧头包括拥塞值、路径标识为例，进行阐述。

各路径的拥塞程度根据其所包含的物理链路的拥塞程度度量信息确定。该物理链路拥塞程度的度量信息包括该物理链路拥塞值、物理链路标识。参见下表3。

4bit	6bit
		Path-Id	Path-Congestion-Quantized-Value

表3

表3中，该拥塞探测消息帧头包括的物理链路拥塞程度度量信息包含：物理链路标识Path-Id、物理链路的拥塞值Path-Congestion-Quantized-Value。其中，该Path-Id可通过4bit表示，物理链路的拥塞值Path-Congestion-Quantized-Value可通过6bit(比特)表示。

本领域技术人员可以理解，Path-Id位宽并未被限定于具体数值4bit，以及Path-Congestion-Quantized-Value位宽也并未被限定于具体数值6bit。在Path-Id位宽是4bit时，表示leaf设备最多可有16个物理链路达到spine设备。如果在leaf-spine拓扑结构里，有更多spine设备，即spine设备数量大于16时，则需要Path-Id位宽大于4bit。Path-Id位宽实际值根据leaf设备到达spine设备物理链路的数量决定。

在步骤730，脊设备确定收到的拥塞探测消息的路径包括的各物理链路的最大拥塞值，并根据所述最大拥塞值处理所述拥塞探测消息。例如，spine设备1接收来自leaf设备1的拥塞探测消息1，识别出该拥塞探测消息1是发往leaf设备3的拥塞探测消息，则该spine设备1确定所述拥塞探测消息的路径还包括物理链路3。然后该spine设备1比较该拥塞探测消息1帧头包括的拥塞值与物理链路3的拥塞值。如果该物理链路3的拥塞值大于该拥塞探测消息1包括的拥塞值，则用该物理链路3的拥塞值更新该拥塞探测消息1帧头包括的拥塞值，否则不更新，直接向leaf设备3(第二叶设备)发送该拥塞探测消息1。也就是说，spine设备1选取物理链路1、物理链路3的拥塞值的最大值作为路径{1,3}的拥塞值，并通过该拥塞探测消息1的帧头携带该路径{1,3}的拥塞值。然后spine设备1将该包括路径{1,3}的拥塞值的拥塞探测消息1发送至leaf设备3。

以spine设备1相同的方式，spine设备2将包括路径{2,4}的拥塞值的拥塞探测消息2也发送至leaf设备3。

需要说明的是，上述步骤730是通过选取路径中各物理链路的最大拥塞值作为该路径的拥塞值，以衡量该路径的拥塞程度。实际上，不限于此，也可以通过将路径中各物理链路量化值相加或相乘等方式，得到该路径的拥塞值，以衡量该路径的拥塞程度。

在步骤740，第二叶设备从每个拥塞探测消息中获取拥塞值并存储。例如，leaf设备3接收来自leaf设备1的拥塞探测消息1、拥塞探测消息2。leaf设备3从该拥塞探测消息1、拥塞探测消息2的帧头中分别提取Path-Id及Path-Congestion-Quantized-Value字段的值，即获取路径的标识以及所述路径的拥塞值，并所述路径的标识以及所述路径的拥塞值存储至该leaf设备3中的“From Leaf”拥塞表里。该“From Leaf”拥塞表用于存储leaf设备3作为目的设备接收的其他leaf设备发送的拥塞探测消息的路径的标识，及所述路径的拥塞值。

需要说明的是，通过物理链路标识Path-Id，就能够得到相应的路径标识。例如，leaf设备3通过拥塞探测消息帧头中的字段Path-Id得到物理链路标识为1，通过物理链路1得知由leaf设备1至leaf设备3的spine设备只有spine设备1，根据spine设备1及源设备leaf设备1、目的设备leaf设备3即可获知相应路径标识为{1,3}。

在步骤750，第二叶设备将每个拥塞探测消息的路径的拥塞值通过响应消息反馈给第一叶设备。其中所述响应消息可以是反向拥塞探测消息。例如，leaf设备3收到拥塞探测消息1和拥塞探测消息2后，即可知道路径{1，3}、路径{2,4}的拥塞值。然而，此时，仅目的设备leaf设备3知道每条路径的拥塞值，而源设备leaf设备1并不知道。因此，leaf设备3将路径{1,3}的拥塞值通过反向拥塞探测消息3，并经由路径{3′，1′}反馈给leaf设备1；同时也将路径{2,4}的拥塞值通过反向拥塞探测报文4，并经由路径{4′，2′}反馈给leaf设备1。其中，路径{3′，1′}是指先经物理链路3′再到物理链路1′的路径，且物理链路3′表示由leaf设备3到spine设备1的物理链路，物理链路1′表示由spine设备1到leaf设备1的物理链路；路径{4′，2′}是指先经物理链路4′再到物理链路2′的路径，且物理链路4′表示由leaf设备3到spine设备2的物理链路，物理链路2′表示由spine设备2到leaf设备1的物理链路。

在一个示例中，为了节约资源，减少拥塞探测报文的数量，在leaf设备3通过路径{3′，1′}向leaf设备1反馈路径{1，3}的拥塞值的过程中，测量路径{3′，1′}的拥塞值；同样，在leaf设备3通过路径{4′，2′}向leaf设备1反馈路径{2,4}的拥塞值的过程中，测量路径{4′，2′}的拥塞值。换句话说，leaf设备3在测量leaf设备3至leaf设备1的路径{3′，1′}、{4′，2′}拥塞值时，通过拥塞探测消息的帧头(或保留位或新增字段)分别携带路径{1,3}、{2,4}的拥塞值。

为此，该拥塞探测消息的帧头除了包括用于存储测量过程中确定的拥塞量化结果：Path-Id(物理链路标识)、Path-Congestion-Quantized-Value(拥塞值)字段之外，还增加了Path-Id-Metric(返回的物理链路标识)、Path-Congestion-Quantized-Value-Metric(返回的拥塞值)字段，用于携带返回给源leaf设备的路径的拥塞值。具体参见下表4

表4

本领域技术人员可以理解，表4中的Path-Id、Path-Id-Metric位宽并未被限定于具体数值4bit，以及Path-Congestion-Quantized-Value、Path-Congestion-Quantized-Value-Metric位宽也并未被限定于具体数值6bit。

在步骤760，所述第一叶设备接收多个响应消息，获取每个响应消息中包括的路径的拥塞值，从所述多条路径中选择至少一条路径作为向所述第二叶设备发送数据的路径。所述响应消息可以是反向拥塞探测消息。例如，leaf设备1接收leaf设备3发送的多个响应消息，其中每个响应消息包括该响应消息对应的拥塞探测消息经过的路径的拥塞值。leaf设备1根据该多个响应消息确定每条路径的拥塞值，并从该多条路径中选择至少一条路径作为向leaf设备3发送数据的路径。

具体地，leaf设备1接收来自leaf设备3的反向拥塞探测消息3和反向拥塞探测消息4，从该反向拥塞探测消息3帧头中获取路径{1,3}的拥塞值，从该反向拥塞探测消息4帧头中获取路径{2,4}的拥塞值。leaf设备1比较路径{1,3}拥塞值与路径{2,4}拥塞值，选取拥塞值小的路径，将来自服务器1的数据通过该路径发送至服务器3。

在一个示例中，当leaf设备1收到leaf设备3发送的反向拥塞探测消息时，即收到反向拥塞探测消息3、反向拥塞探测消息4时，除了从该消息的帧头中提取并保存反向拥塞程度度量信息，包括Path-Id-Metric(返回的物理链路标识)、Path-Congestion-Quantized-Value-Metric(返回的拥塞值)之外，还从该反向拥塞探测消息的帧头中提取并保存由leaf设备3至leaf设备1的拥塞程度度量信息，包括Path-Id(物理链路标识)、Path-Congestion-Quantized-Value(拥塞值)。

leaf设备1提取出的反向拥塞程度度量信息包括两组，一组是路径{1,3}的标识及其拥塞值，另一组是路径{2,4}的标识及其拥塞值。leaf设备1提取出该两组反向拥塞程度度量信息后将其存储至“To Leaf”拥塞表里，该“ToLeaf”拥塞表存储的是leaf设备1作为源设备向其他leaf设备发送拥塞探测消息的路径，及所述路径的拥塞值。leaf设备1提取出的由leaf设备3至leaf设备1的拥塞程度度量信息也包括两组，一组是路径{3′，1′}的标识及其拥塞值，另一组是路径{4′，2′}的标识及其拥塞值。leaf设备1提取出该两组拥塞程度度量信息后将其存储至“From Leaf”量化拥塞表里，该“FromLeaf”拥塞表存储的是leaf设备1作为目的设备接收的来自其他leaf设备发送的拥塞探测消息的路径的标识，及所述路径的拥塞值。

以同样方式，在leaf-spine网络结构中的所有leaf设备、spine设备对每条路径的拥塞程度进行度量，最终各leaf设备、spine设备形成各自的拥塞表。在对业务流执行负载分担时，leaf设备根据其存储的“To Leaf”拥塞表里对于某特定目的leaf设备所对应的各路径的拥塞值，选取拥塞值最小的路径发送数据。

需要说明的是，以上阐述的是一个反向拥塞探测消息帧头，除包括其所经过的路径的拥塞值之外，仅包括一个反向拥塞值。例如，反向拥塞探测消息3帧头除包括路径{3′，1′}的的拥塞值之外，仅包括路径{1,3}的的拥塞值。实际上，一个反向拥塞探测消息帧头可以包括多个反向拥塞值。例如，反向拥塞探测消息3可以包括多个反向拥塞值，如路径{1,3}的拥塞值和路径{2,4}的拥塞值。

此外，以上阐述的是通过在拥塞探测消息(或反向拥塞探测消息)帧头中包括拥塞值。实际上，也可以通过其他方式携带拥塞值。例如，通过业务报文携带拥塞值。此种情况下，需要leaf设备和spine设备支持业务报文可额外增加字段，leaf设备将该拥塞值通过该额外增加的字段携带，leaf设备在获取到拥塞值后，将该额外增加的字段从该业务报文中剥除。又如，通过业务报文字段的保留位(Res)来传递该拥塞值。

综上，通过本发明实施例的GLB负载分担，leaf设备1发送目的到Leaf设备3的业务报文能够绕开远端物理链路出现拥塞的路径，保证了业务流的传输性能和吞吐量，提升了用户体验，增加了网络带宽的利用率。

图8是本发明实施例提供的基于leaf-spine拓扑结构流量负载分担的叶设备示意图。该叶设备包括发送器810、接收器820和处理器820。

发送器810用于通过多条路径向另一叶设备发送多个拥塞探测消息，每个拥塞探测消息包括拥塞值字段，该拥塞值字段用于指示路径的拥塞程度。

在一个示例中，该路径拥塞值是根据该路径所包含的物理链路的拥塞值确定的。进一步地，该路径拥塞值是该路径所包含各物理链路拥塞值的最大值。例如，图6中，路径{1,3}的拥塞值为物理链路1、物理链路3的拥塞值的最大值。

在一个示例中，该物理链路拥塞值是根据该物理链路对应出端口的队列长度的量化值和/或该物理链路对应出端口的带宽利用率的量化值确定的。具体方法详见上述步骤710及其相应内容描述。

接收器820用于接收另一叶设备发送的多个响应消息，其中每个响应消息包括该响应消息对应的拥塞探测消息经过的路径的拥塞值。

在一个示例中，接收器820接收的响应消息为上述反向拥塞探测消息，即来自目的leaf设备的拥塞探测消息，该消息包括该叶设备至另一叶设备的路径的拥塞值。例如，图6中，反向拥塞探测消息3包括路径{1,3}的拥塞值。

进一步地，该叶设备接收的反向拥塞探测消息还包括该另一叶设备至该该叶设备的拥塞值。例如，图6中，反向拥塞探测消息3还包括路径{3′，1′}的拥塞值。处理器830用于依据来自接收器820的多个响应消息确定每条路径的拥塞值，从该多条路径中选择至少一条路径作为向该另一叶设备发送数据的路径。

在一个示例中，该拥塞探测消息为协议报文或数据报文，该拥塞探测消息还包括路径的标识。该拥塞值和该路径的标识包括在该拥塞探测消息的帧头或保留位或新增字段中。

在一个示例中，该叶设备选取该多个路径中拥塞值最小的路径，向上述另一叶设备发送数据。

图9是本发明实施例提供的基于leaf-spine拓扑结构流量负载分担的脊设备示意图。图9中，第一叶设备通过所述脊设备与第二叶设备相互通信。

该脊设备包括接收器910和处理器920。

接收器910用于接收该第一叶设备发送的拥塞探测消息，且该拥塞探测消息的拥塞值字段包括该第一叶设备至该脊设备的第一物理链路拥塞值。

在一个示例中，该拥塞探测消息为协议报文或数据报文，该拥塞探测消息还包括路径的标识。该拥塞值和该路径的标识包括在该拥塞探测消息的帧头或保留位或新增字段中。

在一个示例中，该物理链路拥塞值根据该物理链路对应出端口的队列长度的量化值和/或该物理链路对应出端口的带宽利用率的量化值确定的。具体方法详见上述步骤710及其相应内容描述。

处理器920用于通过比较该第一物理链路拥塞值与该脊设备至第二叶设备的第二物理链路拥塞值，确定该第一叶设备经由该脊设备至该第二叶设备的路径的拥塞值，根据该确定的拥塞值处理该拥塞探测消息。

在一个示例中，处理器920将该第一物理链路拥塞值与该第二物理链路拥塞值的最大值作为该第一叶设备经由该脊设备至该第二叶设备的路径拥塞值。

在一个示例中，当根据该确定的拥塞值处理该拥塞探测消息时，处理器920具体用于：当第一物理链路的拥塞值为该路径的拥塞值时，直接向该第二叶设备发送该拥塞探测消息；当该第二物理链路的拥塞值为该路径的拥塞值时，将该拥塞探测消息的拥塞值字段中的该第一物理链路的拥塞值更新为该第二物理链路的拥塞值，并向该第二叶设备发送该更新后的拥塞探测消息。

图10是本发明实施例提供的一种基于叶-脊拓扑结构流量负载分担的系统。该系统包括第一叶设备101、脊设备102、第二叶设备103。第一叶设备101经由脊设备102与第二叶设备103相互通信。

第一叶设备101用于向脊设备102发送拥塞探测消息，且该拥塞探测消息包括拥塞值字段。该拥塞值字段用于写入该第一叶设备确定的拥塞值，该拥塞值用于指示第一叶设备101至脊设备102的第一物理链路拥塞程度。

脊设备102用于比较该第一物理链路拥塞值与脊设备102至第二叶设备103的第二物理链路拥塞值，确定第一叶设备101经由脊设备102至第二叶设备103的路径的拥塞值。

第二叶设备103用于接收来自脊设备102的该路径的拥塞值，并将该路径拥塞值反馈给第一叶设备101，以便第一叶设备101选取相应路径发送数据。

在一个示例中，该物理链路拥塞值是根据该物理链路对应出端口的队列长度的量化值和/或对应出端口的带宽利用率的量化值确定的。

在一个示例中，该拥塞探测消息为协议报文或数据报文，该拥塞探测消息还包括路径的标识。该拥塞值和该路径的标识包括在该拥塞探测消息的帧头或保留位或新增字段中。。

在一个示例中，该路径拥塞值是该第一物理链路拥塞值与第二物理链路拥塞值的最大值。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (15)

1.一种基于叶-脊拓扑结构的流量负载分担方法，其中，第一叶设备通过脊设备与第二叶设备相互通信，所述方法包括：

所述第一叶设备通过多条路径向所述第二叶设备发送多个拥塞探测消息，每个拥塞探测消息包括拥塞值字段，所述拥塞值字段用于写入所述拥塞探测消息当前经过的设备确定的拥塞值，所述拥塞值用于指示路径的拥塞程度；所述第一叶设备接收所述第二叶设备发送的多个响应消息，其中每个响应消息包括所述响应消息对应的拥塞探测消息经过的路径的拥塞值；

所述第一叶设备依据所述多个响应消息确定每条路径的拥塞值，从所述多条路径中选择至少一条路径作为向所述第二叶设备发送数据的路径。

2.如权利要求1所述的方法，其特征在于，每条路径的拥塞值是根据所述路径所包含的物理链路的拥塞值确定的。

3.如权利要求2所述的方法，其特征在于，所述物理链路的拥塞值是根据所述物理链路对应出端口的队列长度的量化值和/或对应出端口的带宽利用率的量化值确定的。

4.如权利要求1至3任意一项所述的方法，其特征在于，所述拥塞探测消息为协议报文或数据报文，所述拥塞探测消息还包括路径的标识；所述拥塞值和所述路径的标识包括在所述拥塞探测消息的帧头、保留位或新增字段中。

5.如权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：

所述第一叶设备接收所述第二叶设备发送的反向拥塞探测消息；从所述反向拥塞探测消息的拥塞值字段中获取所述反向拥塞探测消息经过的路径的反向拥塞值。

6.如权利要求1-4中任意一项所述的方法，其特征在于，所述第一叶设备接收的每个响应消息还携带自所述第二叶设备到所述第一叶设备的路径的拥塞值。

7.一种基于叶-脊拓扑结构流量负载分担的叶设备，其中，所述叶设备与另一叶设备相互通信，所述叶设备包括：

发送器，用于通过多条路径向所述另一叶设备发送多个拥塞探测消息，每个拥塞探测消息包括拥塞值字段，所述拥塞值字段用于写入所述拥塞探测消息当前经过的设备确定的拥塞值，所述拥塞值用于指示路径的拥塞程度；

接收器，用于接收所述另一叶设备发送的多个响应消息，其中每个响应消息包括所述响应消息对应的拥塞探测消息经过的路径的拥塞值；

处理器，用于依据所述多个响应消息确定每条路径的拥塞值，从所述多条路径中选择至少一条路径作为向所述另一叶设备发送数据的路径。

8.如权利要求7所述的叶设备，其特征在于，每条路径的拥塞值是根据所述路径所包含的物理链路的拥塞值确定的。

9.如权利要求8所述的叶设备，其特征在于，所述物理链路的拥塞值是根据所述物理链路对应出端口的队列长度的量化值和/或对应出端口的带宽利用率的量化值确定的。

10.如权利要求7至9任意一项所述的叶设备，其特征在于，所述拥塞探测消息为协议报文或数据报文，所述拥塞探测消息还包括路径的标识；所述拥塞值和所述路径的标识包括在所述拥塞探测消息的帧头、保留位或新增字段中。

11.如权利要求7至10任意一项所述叶设备，其特征在于，所述叶设备选取所述多个路径中拥塞值最小的路径，向所述另一叶设备发送所述数据。

12.一种基于叶-脊拓扑结构流量负载分担的脊设备，其中，第一叶设备通过所述脊设备与第二叶设备相互通信，所述脊设备包括：

接收器，用于接收所述第一叶设备发送的拥塞探测消息，所述拥塞探测消息的拥塞值字段包括所述第一叶设备至所述脊设备的第一物理链路的拥塞值；

处理器，用于通过比较所述第一物理链路的拥塞值与所述脊设备至所述第二叶设备的第二物理链路的拥塞值，确定所述第一叶设备经由所述脊设备至所述第二叶设备的路径的拥塞值，根据所述确定的拥塞值处理所述拥塞探测消息。

13.如权利要求12所述的脊设备，其特征在于，所述处理器具体用于将所述第一物理链路的拥塞值与所述第二物理链路的拥塞值的最大值确定为所述路径的拥塞值。

14.根据权利要求13所述的脊设备，其特征在于，当根据所述确定的拥塞值处理所述拥塞探测消息时，所述处理器具体用于：当所述第一物理链路的拥塞值为所述路径的拥塞值时，直接向所述第二叶设备发送所述拥塞探测消息；当所述第二物理链路的拥塞值为所述路径的拥塞值时，将所述拥塞探测消息的拥塞值字段中的所述第一物理链路的拥塞值更新为所述第二物理链路的拥塞值，并向所述第二叶设备发送所述更新后的拥塞探测消息。

15.如权利要求14所述的脊设备，其特征在于，每条物理链路的拥塞值是根据所述物理链路对应出端口的队列长度的量化值和/或对应出端口的带宽利用率的量化值确定的。