CN113872869A - 基于优先级的流量控制防死锁方法及装置 - Google Patents

Abstract

本发明实施例提供了一种基于优先级的流量控制防死锁方法及装置，该方法包括：交换设备监测CLOS网络的虚拟通道中是否存在微环路；当所述虚拟通道中存在微环路，所述交换设备监测所述微环路是否发生拥塞；当所述微环路发生拥塞时，对所述微环路中的流量进行降速。通过本发明，当网络中的微环路发生拥塞时，可以通过对所述微环路中的流量进行降速来避免发生PFC死锁，解决了相关技术中生成微环路的网络中发生PFC死锁的问题，进而达到了避免发生PFC死锁、避免因死锁导致报文丢失的效果。

Description

基于优先级的流量控制防死锁方法及装置

技术领域

本发明实施例涉及通信技术领域，具体而言，涉及一种基于优先级的流量控制(Priority-based Flow Control，PFC)防死锁方法及装置。

背景技术

当前，大型数据中心的典型拓扑架构为Leaf-spine结构。图1是根据相关技术的单pod(point of delivery)场景组网的拓扑结构图，图2是根据相关技术的的跨pod场景组网的拓扑结构图，如图1和图2所示，在稳定的状态下，CLOS架构的数据中心网络中没有路由环路，即在没有任何链路故障或流量工程的情况下，数据中心中流量的传送路径通常是：在单pod场景中通常不会经过两个Spine交换机，在多pod场景中通常不会经过两个core交换机。

在有无损需求的应用场景中，为了避免拥塞丢包，需要在Leaf与Spine之间、Spine与Core之间分别部署PFC流控技术。

PFC是一种无损的流控机制，可以防止由于拥塞而导致的报文丢失，PFC允许在一条以太网链路上创建8个虚拟通道，并为每条虚拟通道指定一个优先等级，允许单独暂停(PAUSE中携带XOFF)和重启(PAUSE中携带XON)其中任意一条虚拟通道，同时允许其它虚拟通道的流量无中断通过。这一方法使网络能够为单个虚拟链路创建无损(无丢包)服务，使其能够与同一接口上的其它流量类型共存。虽然PFC能够通过给不同队列映射不同优先级来实现基于队列的流控，但同时也引入了新的问题：PFC死锁(Deadlock)。

PFC死锁，是指在特殊情况下，例如发生链路故障或设备故障时，BGP路由重新收敛期间可能会出现短暂环路，会导致出现一个循环的缓冲区依赖。出现拥塞时，交换机的端口缓存消耗超过阈值，而又相互等待对方释放资源，从而导致相关的交换机上的数据流永久阻塞(停流)的一种网络状态。此时，由于PFC的反压效应，整个网络或部分网络的吞吐量将变为零。死锁一旦发生，即使引起PFC死锁的流量停流、环路消失，死锁也不能自动恢复。

当前，PFC死锁的解决方法：网络中PFC死锁已经形成，设备监测到已经发生的PFC死锁，由设备进行PFC死锁解除处理：交换机忽略PFCPAUSE帧(调度程序在一段时间内忽略死锁队列的PFC-PAUSE的XOFF状态并继续调度)，死锁解除后再恢复PFC机制。此方法可能会严重影响网络性能,虽然解除了死锁，但不能保证无损，即在死锁恢复的过程中会丢失报文。另外，这种方法并没有消除网络中的微环路(即单个虚拟通道上的路由环路)，当微环路拥塞后会再次引发CBD(Cyclic Buffer Dependency，循环缓冲区依赖)，进而再次引起死锁，严重影响吞吐量。

发明内容

本发明实施例提供了一种PFC防死锁方法及装置，以至少解决相关技术中生成微环路的网络中发生PFC死锁的问题。

下面对本发明实施例中涉及到的一些相关术语进行如下简要说明：

谷底路由(Valley routing)：例如：spine-leaf-spine，或core-spine-core。如图3和图4所示，在本发明实施例中，由于设备端口被分为8个虚拟通道(与8个优先级队列一一对应)，所以谷底路由指同一虚拟通道中的谷底路由，而不是端口级别的谷底路由。谷底路由不跨越不同的虚拟通道。

微环路：PFC允许在一条以太网链路上创建8个虚拟通道，能够为单个虚拟链路创建无损(无丢包)服务，使其能够与同一接口上的其它流量类型共存。本文把单个虚拟通道上的路由环路称为微环路。

QoS:(Quality of Service)：支持QoS功能的设备，能够提供传输品质服务；针对某种类别的数据流，可以为它赋予某个级别的传输优先级，来标识它的相对重要性，并使用设备所提供的各种优先级转发策略、拥塞避免等机制为这些数据流提供特殊的传输服务。

ECN(Explicit Congestion Notification)：一种流量控制机制。ECN是指报文在设备出端口出现拥塞时，通过对报文进行ECN标记，由设备发送CNP报文，使源端进行流量降速的流控机制。快速CNP由交换机发送CNP报文，传统的CNP是由目的节点发送CNP报文。PFC和ECN两种流控机制通常结合使用，由于PFC流控机制是停流，而ECN的流控机制是降速，PFC对流量的连续性以及触发后带宽的压制会更大，对吞吐不友好。所以流控策略通常是ECN流控比PFC流控优先触发。本专利中的如果发现微环路拥塞加剧，策略是限制触发PFC流控机制，因为在微环路中触发PFC流控将导致PFC死锁，而无法提前预防PFC死锁。

Clos架构，诞生于1952年，是由贝尔实验室一位叫Charles Clos的人提出的。CLOS交换架构可以做到严格的无阻塞(Non-blocking)、可重构(Re-arrangeable)、可扩展(Scalable)，通过Clos架构可以提供无阻塞的网络。

Pod(point of delivery)：数据中心基本物理设计单元，包括服务器、接入网络、汇聚网络机柜还有它们的配套设施，算是整个组网的一个区域，整个组网包括多个pod，用pod划分可以提高整个组网的利用率，便于计算虚拟化，pod中有leaf、spine、core三层结构。

根据本发明的一个实施例，提供了一种基于优先级的流量控制防死锁方法，包括：交换设备监测CLOS网络的虚拟通道中是否存在微环路；当所述虚拟通道中存在微环路，所述交换设备监测所述微环路是否发生拥塞；当所述微环路发生拥塞时，对所述微环路中的流量进行降速。

在一个示例性实施例中，交换设备监测CLOS网络的虚拟通道中是否存在微环路包括：所述交换设备监测所述虚拟通道中是否出现谷底路由；如果所述虚拟通道中出现谷底路由，则所述交换设备进一步监测所述虚拟通道中是否存在微环路。

在一个示例性实施例中，所述交换设备监测所述虚拟通道中是否出现谷底路由包括：通过监测所述交换设备的入端口和出端口的优先级队列的业务流量走向，判断与所述优先级队列对应的所述虚拟通道中是否出现谷底路由。

在一个示例性实施例中，当所述虚拟通道中存在微环路，所述交换设备监测所述微环路是否发生拥塞，包括：当所述虚拟通道中存在微环路，监测所述交换设备的所述出端口的所述优先级队列的缓存利用率；当所述缓存利用率达到预设值时，判定所述微环路发生拥塞，其中，所述预设值小于ECN门限。

在一个示例性实施例中，当所述微环路发生拥塞时，对所述微环路中的流量进行降速，包括：当所述微环路发生拥塞时，所述交换设备通过对所述微环路中的流量进行ECN标记，应用ECN流量控制技术对所述微环路中的流量进行降速。

在一个示例性实施例中，对所述微环路中的流量进行降速之后，还包括：所述交换设备继续监测所述出端口的所述优先级队列的缓存利用率；如果所述缓存利用率再次达到所述预设值时，则再次对所述微环路中的流量进行降速。

在一个示例性实施例中，对所述微环路中的流量进行降速之后，还包括：当监测到所述微环路的拥塞加剧达到预设的门限值时，所述交换设备通过修改所述虚拟通道的谷底流量的QoS值以消除所述谷底路由。

在一个示例性实施例中，当监测到所述微环路的拥塞加剧达到预设的门限值时，所述交换设备通过修改所述虚拟通道的谷底流量的QoS值以消除所述谷底路由，包括：当所述缓存利用率达到所述优先级队列的ECN门限时，在所述交换设备内部修改所述虚拟通道的谷底流量的QoS值，使所述谷底路由的入端口方向和出端口方向的流量分别在不同的虚拟通道中传送，通过消除所述谷底路由以消除所述微环路。

在一个示例性实施例中，在所述设备内部修改所述虚拟通道的谷底流量的QoS值，使所述谷底路由的入端口方向和所述出端口方向的流量分别在不同的虚拟通道中传送之后，还包括：当所述交换设备监测到所述谷底路由消除后，停止修改所述虚拟通道的谷底流量的QoS值。

在一个示例性实施例中，当所述谷底路由为Spine-Leaf-Spine谷底路由时，所述交换设备为Leaf节点，当所述谷底路由为Core-Spine-Core谷底路由时，所述交换设备为Spine节点。

根据本发明的另一个实施例，提供了一种基于优先级的流量控制防死锁装置，包括：第一监测模块，用于监测CLOS网络的虚拟通道中是否存在微环路；第二监测模块，用于在所述虚拟通道中存在微环路的情况下，进一步监测所述微环路是否发生拥塞；降速模块，用于在所述微环路发生拥塞的情况下，对所述微环路中的流量进行降速。

在一个示例性实施例中，第一监测模块包括：第一监测单元，用于监测所述虚拟通道中是否出现谷底路由；第二监测单元，用于在所述设备监测到虚拟通道中出现谷底路由的情况下，进一步监测虚拟通道中是否有微环路。

在一个示例性实施例中，所述装置还包括：修改模块，用于在所述微环路的拥塞加剧的情况下，通过修改所述虚拟通道的谷底流量的QoS值，使得所述谷底路由的入端口方向和出端口方向的流量分别在不同的虚拟通道中传送，以消除所述谷底路由。

在一个示例性实施例中，当所述谷底路由为Spine-Leaf-Spine谷底路由时，所述装置可为Leaf节点，当所述谷底路由为Core-Spine-Core谷底路由时，所述装置可为Spi ne节点。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明的上述实施例，当网络中的微环路发生拥塞时，通过对所述微环路中的流量进行降速来避免网络中发生PFC死锁，因此，可以解决相关技术中生成微环路的网络中发生PFC死锁的问题，达到避免发生PFC死锁、避免因死锁导致报文丢失效果。

附图说明

图1是根据相关技术的单pod场景组网的拓扑结构图；

图2是根据相关技术的跨pod场景组网的拓扑结构图；

图3是根据本发明实施例的基于优先级的流量控制防死锁方法的流程图；

图4是根据本发明实施例的基于优先级的流量控制防死锁装置的结构框图；

图5是根据本发明可选实施例的基于优先级的流量控制防死锁装置的结构框图；

图6是根据本发明实施例的spine-leaf-spine谷底路由示意图；

图7是根据本发明实施例的core-spine-core谷底路由示意图；

图8是根据本发明实施例的谷底流量的裁剪示意图；

图9是根据本发明实施例的PFC死锁预防方法的流程图；

图10是根据本发明实施例的单pod网络架构中链路故障前的流量示意图；

图11是根据本发明实施例的单pod网络架构中链路故障后生成微环路的流量示意图；

图12是根据本发明实施例的Spine和leaf之间的微环路示意图；

图13是根据本发明实施例的虚拟通道中的微环路示意图；

图14是根据本发明实施例的消除谷底路由后的虚拟通道示意图；

图15是根据本发明实施例的单pod场景谷底路由消除后的虚拟通道示意图；

图16是根据本发明可选实施例的跨pod网络架构中链路故障前的流量示意图；

图17是根据本发明可选实施例的跨pod网络架构中链路故障后生成微环路的流量示意图；

图18是根据本发明可选实施例的Spine和core之间的微环路示意图；

图19是根据本发明可选实施例的虚拟通道中的微环路示意图；

图20是根据本发明可选实施例的消除谷底路由后的虚拟通道示意图；

图21是根据本发明可选实施例的跨pod场景谷底路由消除后的虚拟通道示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种基于优先级的流量控制防死锁方法，图3是根据本发明实施例的基于优先级的流量控制防死锁方法的流程图，如图3所示，该流程包括如下步骤：

步骤S301，交换设备监测CLOS网络的虚拟通道中是否存在微环路；

步骤S302，当所述虚拟通道中存在微环路，所述交换设备监测所述微环路是否发生拥塞；

步骤S303，当所述微环路发生拥塞时，对所述微环路中的流量进行降速。

在本实施例的步骤S301中，所述交换设备监测所述虚拟通道中是否出现谷底路由；如果所述虚拟通道中出现谷底路由，则所述交换设备进一步监测所述虚拟通道中是否存在微环路。

进一步地，所述交换设备监测所述虚拟通道中是否出现谷底路由包括：通过监测所述交换设备的入端口和出端口的优先级队列的业务流量走向，判断与所述优先级队列对应的所述虚拟通道中是否出现谷底路由。

在本实施例的步骤S302中，当所述虚拟通道中存在微环路，监测所述交换设备的所述出端口的所述优先级队列的缓存利用率；当所述缓存利用率达到预设值时，判定所述微环路发生拥塞，其中，所述预设值小于ECN门限。

在本实施例的步骤S303中，当所述微环路发生拥塞时，所述交换设备通过对所述微环路中的流量进行ECN标记，应用ECN流程控制技术对所述微环路中的流量进行降速。

在本实施例的步骤S303之后，还包括：所述交换设备继续监测所述出端口的所述优先级队列的缓存利用率；如果所述缓存利用率再次达到所述预设值时，则再次对所述微环路中的流量进行降速。

在本实施例的步骤S303之后，还包括：当监测到所述微环路的拥塞加剧时，所述交换设备通过修改所述虚拟通道的谷底流量的QoS值以消除所述谷底路由。

具体地，当所述缓存利用率达到所述优先级队列的ECN门限时，在所述交换设备内部修改所述虚拟通道的谷底流量的QoS值，使所述谷底路由的入端口方向和出端口方向的流量分别在不同的虚拟通道中传送，通过消除所述谷底路由以消除所述微环路。

在本实施例中，还可以包括：当所述交换设备监测到所述谷底路由消除后，停止修改所述虚拟通道的谷底流量的QoS值。

在本实施例中，当所述谷底路由为Spine-Leaf-Spine谷底路由时，所述交换设备为Leaf节点，当所述谷底路由为Core-Spine-Core谷底路由时，所述交换设备为Spine节点。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种基于优先级的流量控制防死锁装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”和“单元”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的基于优先级的流量控制防死锁装置的结构框图的结构框图，如图4所示，该装置包括第一监测模块10、第二监测模块20和降速模块30。

所述第一监测模块10，用于监测CLOS网络的虚拟通道中是否存在微环路。

所述第二监测模块20，用于在所述虚拟通道中存在微环路的情况下，进一步监测所述微环路是否发生拥塞。

所述降速模块30，用于在所述微环路发生拥塞的情况下，对所述微环路中的流量进行降速。

图5是根据本发明可选实施例的基于优先级的流量控制防死锁装置的结构框图，如图5所示，该装置除包括图4所示的所有模块外，所述第一监测模块10还包括第一监测单元11和第二监测单元12，所述装置还包括修改模块40。

第一监测单元11，用于监测所述虚拟通道中是否出现谷底路由。

第二监测单元12，用于在所述设备监测到虚拟通道中出现谷底路由的情况下，进一步监测虚拟通道中是否有微环路。

修改模块40，用于在所述微环路的拥塞加剧的情况下，通过修改所述虚拟通道的谷底流量的QoS值，使得所述谷底路由的入端口方向和出端口方向的流量分别在不同的虚拟通道中传送，以消除所述谷底路由。

在本实施例中，当所述谷底路由为Spine-Leaf-Spine谷底路由时，所述装置可以为Leaf节点，当所述谷底路由为Core-Spine-Core谷底路由时，所述装置可以为Spine节点。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

为了便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细阐述。

本发明实施例提出了一种应用在数据中心CLOS架构中的预测PFC Deadlock的方法。该方法的特点是：在PFC死锁发生之前预测到死锁将要发生，使设备可以提前做一系列处理，进而提前消除了PFC Deadlock产生条件，避免了PFC死锁的发生。

众所周知，PFC死锁形成的必要条件是网络中形成了CBD，CBD形成的必要条件是网络中形成了微环路，微环路的特征是因为有谷路由。在CLOS结构的数据中心网络中，无谷路由的网络中不会形成微环路，而谷路由的形成是由于链路故障导致的。

通常，在IDC(Internet Data Center，互联网数据中心)内部业务报文的QoS值通常是不变的。具体地，在IDC边界处设备，根据报文特征进入设备交换芯片相应的队列(PFC的虚拟通道)，并重写QoS(例如：DSCP，Differentiated Services Code Point)；IDC内部，仅根据QoS(例如：DSCP)进入设备交换芯片相应的队列(PFC的虚拟通道)。在IDC内部减少策略使用，满足高速转发即可。

本发明实施例定义谷底路由。谷底路由，即Valley routing，例如：spine-leaf-spine，core-spine-core。图6是根据本发明实施例的spine-leaf-spine谷底路由示意图，图7是根据本发明实施例的core-spine-core谷底路由示意图，如图6和图7所示。本文中，由于设备端口被分为8个虚拟通道(与8个优先级队列一一对应)，所以谷底路由指同一虚拟通道中的谷底路由，而不是端口级别的谷底路由。谷底路由不跨越不同的虚拟通道。

图9是根据本发明实施例的PFC死锁预防方法的流程图，如图9所示本发明实施例预测PFC Deadlock的实现方法如下：

步骤S901，CLOS网络中设备检测是否有微环路。

在本实施例中，步骤S901可以包括：设备监测谷底路由。设备通过监测入端口和出端口的某一优先级的业务流量走向，判断相应的虚拟通道中是否出现了谷底路由(如图11和图12中leaf2设备的port1和port2的谷底路由)。

在本实施例中，步骤S901还可以包括：若设备监测到谷底路由，设备监测微环路。微环路的特征是虚拟通道中出现了谷底路由(如图11和图12中leaf2设备的port1和port2的谷底路由)。若发现谷底路由，设备监测该虚拟通道中是否出现微环路。

在本实施例中，步骤S901还可以包括：监测谷底路由和微环路的网络设备特指：在CLOS网络中，Leaf与Spine之间由Leaf节点监测、Spine与Core之间由Spine节点监测。

步骤S902，若虚拟通道中已经形成微环路，由设备监测微环路是否发生拥塞，如果发生拥塞，首先对微环路中的流量进行降速。

在本实施例中，步骤S902可以包括：微环路拥塞的监测方法是：监测设备的出端口相应的优先级队列的缓存利用率，当缓存利用率达到一个设定值K时(K值应小于ECN门限，例如ECN门限的90％。此值应保证在触发ECN门限前实现对流量的降速。应用无损技术的网络中，通常的做法是：设定设备端口门限值时，ECN门限要先于PFC门限触发)，提前触发ECN机制，即对出端口报文进行ECN标记，以实现提前对微环路的出端口流量进行降速。

在本实施例中，步骤S902还可以包括：流量降速后，如果缓存利用率降到设定值K以下时，说明降速缓解了微环路的拥塞，此时不会触发微环路形成PFC死锁。只需继续监测该微环路拥塞状况即可，不再进行后续步骤。若后续因拥塞，缓存利用率再次达到K值，将再次触发ECN降速。

在本实施例中，步骤S902还可以包括：流量降速后，如果又触发了设备出端口队列的ECN门限(尚未触发PFC门限)，说明该虚拟通道形成微环路的流量拥塞在加剧，降速并不能解决拥塞问题。

步骤S903，触发流量降速后，如果微环路拥塞仍在加剧，应避免在拥塞的微环路中触发PFC门限，因为一旦触发设备发送PFC PAUSE帧，将可能导致PFC Deadlock。此时，将由设备消除谷底流量，进而消除微环路。

在本实施例中，步骤S903可以包括：在监测设备内部修改谷底流量的QoS值(例如DSCP值)，使Ingress方向和Egress方向的流量的QoS值不同(主流交换机芯片支持修改报文的QoS值)，使一个谷底流量被裁剪成两段不同的流量，进而消除了谷底流量。图8是根据本发明实施例的谷底流量的裁剪示意图。如图8所示：Leaf3修改QoS，使一个虚拟通道中传送的谷底流量变成两个虚拟通道中传送的非谷底流量。具体而言，Flow4在leaf3节点被截成两段，leaf3节点的入端口的流量和出端口的流量由于QoS值不同，分别在不同的虚拟通道中传送，并且入端口的流量和出端口的流量都不是谷底流量。由于leaf3节点的入端口的流量和出端口的流量都不是谷底流量，所以不会导致其它的虚拟通道增加新的谷底流量，进而不会造成新的微环路。

步骤S904，当链路故障消除，相应地谷底路由随之消除，，设备不再对该虚拟通道的流量修改QoS等级。

另外，在最极端的情况下，该监测设备的8个虚拟通道都拥塞。仍然可以通过上述步骤消除微环路(即谷底路由)，使该设备不在任何微环路中，即在该设备不会发生PFC死锁。设备端口发生拥塞后保证无损的策略，可以通过合理地配置PFC和ECN门限来实现。

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

下面通过附图和实施例，对本发明技术方案做进一步的详细描述。

实施例一

该实施例是单Pod组网拓扑的PFC死锁预防。由于链路故障导致重路由，即在spine-leaf-spine之间出现谷底路由，当条件具备时先形成微环路，进一步形成CBD，最终可能导致PFC死锁。在该实施例中应用本发明的实现方法可以提前避免PFC死锁的的发生。

图10是根据本发明实施例的单pod网络架构中链路故障前的流量示意图，如图10所示，链路故障前，有四个流量flow1，flow2，flow3，flow4，四个流量分别映射到相应端口的优先级队列3(虚拟通道3)，Flow1：C2③(即交换设备C，端口2的优先级队列3)-->B4③-->B3③-->F2③；Flow2：D2③-->B1③-->B2③-->E2③；Flow3：E1③-->A3③-->A2③-->D1③；Flow4：F1③-->A4③-->A1③-->C1③。这里的C2③表示交换设备C端口2的优先级队列3(对应虚拟通道3)，其它依此类推。由于没有谷底路由(图11的leaf节点没有从上行端口进入又从上行端口发送的流量)，四个流量未形成微环路。所以此时不具备形成PFC死锁的条件。

图11是根据本发明实施例的单pod网络架构中链路故障后生成微环路的流量示意图，如图11所示，因两条链路故障(Spine1--Leaf4，Spine2--Leaf2)，flow1和flow4无法通过图10中的路径传送报文，系统为flow1和flow4分别分配了新的传送路径。四个流量分别映射到相应端口的优先级队列3，Flow1：A1③-->A2③-->D1③-->D2③-->B1③-->B3③；Flow2：D3③-->D2③-->B1③-->B2③-->E2③-->E3③；Flow3：E3③-->E1③-->A3③-->A2③-->D1③-->D3③；Flow4：B3③-->B2③-->E2③-->E1③-->A3③-->A1③。可以看出Flow1在leaf2节点处有谷底路由，Flow4在leaf3节点处有谷底路由。综合四个流量的走向，可以发现四个流量已形成微环路，图12是根据本发明实施例的Spine和leaf之间的微环路示意图，图13是根据本发明实施例的虚拟通道中的微环路示意图(图13只画了两个优先级的虚拟通道)，如图12和图13所示，微环路为：A2③-->D1③-->D2③-->B1③-->B2③-->E2③-->E1③-->A3③-->A2③-->D1③。该虚拟通道微环路经过的四个节点分别为：A(端口2和端口3)、B(端口2和端口3)、D(端口1和端口2)、F(端口1和端口2)，微环路如图12所示。如果A、B、D、F四个节点中任何一个节点的相关出端口的队列3出现拥塞并且拥塞持续，当触发四个节点相应端口的队列3均达到PFC门限值时，将导致CBD，最终导致PFC死锁。

为了避免死PFC死锁的发生，应用本发明实施例的方法，具体如下：

1.leaf3节点监测经过该节点的虚拟通道是否有谷底路由。具体地：leaf3节点将从上行端口收到的报文做标识，如果该报文QoS优先级未发生改变，并且从另外一个上行端口发送出去。说明该虚拟通道中有谷底路由。例如图11所示的Flow4符合谷底路由的条件：从上行端口Port2进入，从上行端口Port1发送。报文从出端口发送前取消标记。

2.Leaf3节点监测该谷底路由在虚拟通道中是否形成了微环路。具体地，在发现谷底路由的虚拟通道中，

(1)表1为环路监测报文中携带的字段说明，如表1所示，Leaf3节点(第一监测节点)的端口1(出端口)发送环路监测报文，环路监测报文至少携带表1中的三个字段。监测优先级级为3，跳数初始值为0。

表1

(2)Spine1节点(第二监测节点)的端口3收到环路监测报文，从报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。对从该设备各个下行端口收到的优先级为3的报文打上标记，在各个出端口检查报文是否打了标记。筛选出一组下行出端口(报文打了标记)，从筛选出的下行端口中再除去收到环路监测报文的端口，得到下行端口集合S。Spine1节点将环路监测报文从筛选出的下行端口集合转发出去。环路监测报文发送前，将跳数计数值加1。此时跳数值为1。

(3)Leaf2节点(第三监测节点)的端口1收到环路监测报文，从报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。首先判断源节点ID是否与自己相同，若相同，则进行发现微环路的后续处理。若不相同，对从该设备各个上行端口收到的优先级为3的报文打上标记，在各个出端口检查报文是否打了标记。筛选出一组上行出端口(报文打了标记)。从筛选出的上行端口中再除去收到环路监测报文的端口，得到上行端口集合SS。Leaf2节点将环路监测报文从筛选出的上行端口集合SS转发出去。环路监测报文发送前，将跳数计数值加1。此时跳数值为2。

(4)Spine2节点(第四监测节点)的端口1收到环路监测报文，从报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。Spine2对从该设备各个下行端口收到的优先级为3的报文打上标记，在各个出端口检查报文是否打了标记。筛选出一组下行出端口(报文打了标记)，从筛选出的下行端口中再除去收到环路监测报文的端口，得到下行端口集合S。Spine2节点将环路监测报文从筛选出的下行端口集合S转发出去。环路监测报文发送前，将跳数计数值加1。此时跳数值为3。

(5)Leaf3节点(第一监测节点)的端口2收到环路监测报文，从环路监测报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。从环路监测报文提取源节点ID值，经判断与自己相同，分析源节点ID值知道leaf3节点的端口1的队列3对应的虚拟通道出现了微环路。

3.由于leaf3节点的端口1的队列3对应的虚拟通道出现了微环路(简写为E1③出现了微环路)，leaf3节点监测E1③队列是否达到监测的拥塞门限，若达到，则对相关谷底流量进行降速处理。若流量降速后拥塞仍然加剧，则继续下一步处理。具体地：

监测E1③队列的缓存利用率达到ECN门限的80％时(此值由用户根据实际情况定义，此处只是举例)，提前对该队列中的报文进行ECN标记(相当于提前触发了ECN门限)，使经过本点节处于该微环路中的谷底流量(flow4)提前被降速。流量被降速后，若E1③队列的缓存利用率降至80％以下，则继续对队列的流量进行拥塞监测；流量被降速后，若E1③队列的缓存利用率再次达到80％，则再次触发降速机制；若降速后E1③队列缓存利用率仍高于80％，当达到ECN门限时，证明降速无法解决该微环路的拥塞，不再降速，继续进行后续处理。

4.由于对谷底流量降速无法解决该微环路的拥塞，此时通过Leaf3修改该谷底流量(flow4)的QoS等级，使该流量在该节点的出端口开始不在当前微环路传送。此方法相当于把一个谷底流量拆分成两个在不同虚拟通道传送的非谷底流量，消除谷底流量相当于消除了当前的微环路，消除了微环路相当于防止了PFC死锁。具体地：

通过Leaf3节点的交换芯片把flow4的QoS等级从3修改为2(主流交换芯片均具备此功能)：flow4在Leaf3节点的端口2(入端口)时QoS等级为3；flow4在Leaf3节点的端口1(出端口)时QoS等级为2。图15是根据本发明实施例的单pod场景谷底路由消除后的虚拟通道示意图，如图15所示，原来的谷底流量Flow4被拆分成两段非谷底流量：新的Flow4和Flow14，且这两个非谷底路由在不同的虚拟通道。

图14是根据本发明实施例的消除谷底路由后的虚拟通道示意图(图14只画了两个优先级的虚拟通道)，如图14所示，flow4的QoS等级从3修改为2以后，四个流量走向为：Flow1：A1③-->A2③-->D1③-->D2③-->B1③-->B3③；Flow2：D3③-->D2③-->B1③-->B2③-->E2③-->E3③；Flow3：E3③-->E1③-->A3③-->A2③-->D1③-->D3③；Flow4：B3③-->B2③-->E2③-->E1②-->A3②-->A1②。综合四个流量的走向，可以发现微环路已消除，E1③-->A3③-->A2③-->D1③-->D2③-->B1③-->B2③-->E2③-->E1②-->A3②。

需要说明的是，在本实施例中：

第一，QoS等级的调整策略由用户自己确定。例如：优先选择拥塞程度小的虚拟通道(与优先级一一对应)，或者根据经济效益角度考虑选择哪个虚拟通道。

第二，不论调整后的虚拟通道是否有微环路，是否发生拥塞，由于被修改优先级的谷底流量已经变成非谷底流量，所以在新的虚拟通道中不会造成新的微环路。

第三，消除谷底流量后，不再限制触发PFC门限。通过合理地使用PFC和ECN技术，以实现无损。

第四，链路故障消除后重路由也消除，该微环路也消除，该流量仍使用原来的QoS。

应用本实施例的方法，避免了生成微环路的网络中发生PFC死锁。

实施例二

该实施例是跨Pod组网拓扑的PFC死锁预防。由于链路故障导致重路由，即在core-spine-core之间出现谷底路由，当条件具备时先形成微环路，进一步形成CBD，最终可能导致PFC死锁。在该实施例中应用本发明的实现方法可以提前避免PFC死锁的的发生。

图16是根据本发明可选实施例的跨pod网络架构中链路故障前的流量示意图，如图16所示，链路故障前，有四个流量flow1，flow2，flow3，flow4，四个流量分别映射到相应端口的优先级队列3(虚拟通道3)，Flow1：C2③-->B4③-->B3③-->F2③；Flow2：D2③-->B1③-->B2③-->E2③；Flow3：E1③-->A3③-->A2③-->D1③；Flow4：F1③-->A4③-->A1③-->C1③。这里的C2③表示交换设备C端口2的优先级队列3(对应虚拟通道3)，其它依此类推。由于没有谷底路由(图16中的spine节点没有从上行端口进入又从上行端口发送的流量)，四个流量未形成微环路。所以此时不具备形成PFC死锁的条件。

图17是根据本发明可选实施例的跨pod网络架构中链路故障后生成微环路的流量示意图，如图17所示，因四条链路故障(Spine1-core2，Spine4-core1、leaf1—spine2、leaf4—Spine3)，flow1和flow4无法通过图16中的路径传送报文，系统为flow1和flow4分别分配了新的传送路径。四个流量分别映射到相应端口的优先级队列3，Flow1：A1③-->A2③-->D1③-->D2③-->B1③-->B3③；Flow2：D4③-->D2③-->B1③-->B2③-->E2③-->E3③；Flow3：E3③-->E1③-->A3③-->A2③-->D1③-->D4③；Flow4：B3③-->B2③-->E2③-->E1③-->A3③-->A1③。可以看出Flow1在spine2节点处有谷底路由，Flow4在spine3节点处有谷底路由。综合四个流量的走向，四个流量已形成了微环路，图18是根据本发明可选实施例的Spine和core之间的微环路示意图，图19是根据本发明可选实施例的虚拟通道中的微环路示意图(图19只画了两个优先级的虚拟通道)，如图18和图19所示微环路为：A2③-->D1③-->D2③-->B1③-->B2③-->E2③-->E1③-->A3③-->A2③-->D1③。该虚拟通道微环路经过的四个节点分别为：A(端口2和端口3)、B(端口2和端口3)、D(端口1和端口2)、F(端口1和端口2)。如果A、B、D、F四个节点中任何一个节点的相应出端口的队列3出现拥塞并且拥塞持续，当触发四个节点相应端口的队列3均达到PFC门限值时，将导致CBD，最终导致PFC死锁。

为了避免死PFC死锁的发生，应用本发明实施例的方法，具体如下：

1.spine3节点监测经过该节点的虚拟通道是否有谷底路由。具体地：spine3节点将从上行端口收到的报文进行标识，如果该报文QoS优先级在设备内部未发生改变，并且从另外一个上行端口发送出去。说明该虚拟通道中有谷底路由。例如，如图17所示Flow4：从上行端口Port2进入，从上行端口Port1发送。报文从所有出端口发送前取消标记。

2.spine3节点监测该谷底路由在虚拟通道中是否形成了微环路。具体地，在发现谷底路由的虚拟通道中，

(1)表2为环路监测报文中携带的字段说明，如表2所示，在spine3节点(第一监测节点)的端口1(出端口)发送环路监测报文，环路监测报文至少携带表3中的三个字段。监测优先级级为3，跳数初始值为0。

表3

(2)Core1节点(第二监测节点)的端口3收到环路监测报文，从报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。对从该设备各个下行端口收到的优先级为3的报文打上标记，在各个出端口检查报文是否打了标记。筛选出一组下行出端口(报文打了标记)，从筛选出的下行端口中再除去收到环路监测报文的端口，得到下行端口集合S。Core1节点将环路监测报文从筛选出的下行端口集合转发出去。环路监测报文发送前，将跳数计数值加1。此时跳数值为1

(3)Spine2节点(第三监测节点)的端口1收到环路监测报文，从报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。首先判断源节点ID是否与自己相同，若相同，则进行发现微环路的后续处理。若不相同，对从该设备各个上行端口收到的优先级为3的报文打上标记，在各个出端口检查报文是否打了标记。筛选出一组上行出端口(报文打了标记)。从筛选出的上行端口中再除去收到环路监测报文的端口，得到上行端口集合SS。Spine2节点将环路监测报文从筛选出的上行端口集合SS转发出去。环路监测报文发送前，将跳数计数值加1。此时跳数值为2

(4)Core2节点(第四监测节点)的端口1收到环路监测报文，从报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。Core2对从该设备各个下行端口收到的优先级为3的报文打上标记，在各个出端口检查报文是否打了标记。筛选出一组下行出端口(报文打了标记)，从筛选出的下行端口中再除去收到环路监测报文的端口，得到下行端口集合S。Core2节点将环路监测报文从筛选出的下行端口集合S转发出去。环路监测报文发送前，将跳数计数值加1。此时跳数值为3

(5)Spine3节点(第一监测节点)的端口2收到环路监测报文，从环路监测报文提取监测优先级值为3，即需要监测优先级为3的虚拟通道的微环路。从环路监测报文提取源节点ID值，经判断与自己相同，分析源节点ID值知道Spine3节点的端口1的队列3对应的虚拟通道出现了微环路。

3.由于Spine3节点的端口1的队列3对应的虚拟通道出现了微环路(简写为E1③出现了微环路)，Spine3节点监测E1③队列是否达到监测的拥塞门限，若达到，则对相关谷底流量进行降速处理。若流量降速后拥塞仍然加剧，则继续下一步处理。具体地：

监测E1③队列的缓存利用率达到ECN门限的80％时(此值由用户根据实际情况定义，此处只是举例)，提前对该队列中的报文进行ECN标记(相当于提前触发了ECN门限)，使经过本点节处于该微环路中的谷底流量(flow4)提前被降速。流量flow4被降速后，若E1③队列的缓存利用率降至80％以下，则继续对队列的流量进行拥塞监测；流量flow4被降速后，若E1③队列的缓存利用率再次达到80％，则再次触发降速机制；若flow4降速后E1③队列缓存利用率仍高于80％，当达到ECN门限时，证明降速无法解决该微环路的拥塞，不再降速，继续进行后续处理。

6.由于对谷底流量flow4降速无法解决该微环路的拥塞，此时通过Spine3修改该谷底流量(flow4)的QoS等级，使该流量在该节点的出端口port1开始不在当前微环路传送。此方法相当于把谷底流量flow4拆分成在不同虚拟通道传送的两个非谷底流量(新的flow4和flow14)，消除谷底流量相当于消除了当前的微环路，消除了微环路相当于防止了PFC死锁。具体地：

通过Spine3节点的交换芯片把flow4的QoS等级从3修改为2(主流交换芯片均具备此功能)：flow4在Spine3节点的端口2(入端口)时QoS等级为3；flow4在Spine3节点的端口1(出端口)时QoS等级为2。图21是根据本发明可选实施例的跨pod场景谷底路由消除后的虚拟通道示意图，如图21所示，原来的谷底流量Flow4被拆分成两段非谷底流量：新的Flow4和Flow14，且这两个非谷底路由在不同的虚拟通道。

图20是根据本发明可选实施例的消除谷底路由后的虚拟通道示意图(图20只画了两个优先级的虚拟通道)，如图20所示，flow4的QoS等级从3修改为2以后，四个流量走向为：Flow1：A1③-->A2③-->D1③-->D2③-->B1③-->B3③；Flow2：D3③-->D2③-->B1③-->B2③-->E2③-->E3③；Flow3：E3③-->E1③-->A3③-->A2③-->D1③-->D3③；Flow4：B3③-->B2③-->E2③-->E1②-->A3②-->A1②。综合四个流量的走向，可以发现微环路已消除，E1③-->A3③-->A2③-->D1③-->D2③-->B1③-->B2③-->E2③-->E1②-->A3②。

需要说明的是，在本实施例中：

第一，QoS等级的调整策略由用户自己确定。例如：优先选择拥塞程度小的虚拟通道(与优先级一一对应)，或者根据经济效益角度考虑选择哪个虚拟通道。

第二，不论调整后的虚拟通道是否有微环路，是否发生拥塞，由于被修改优先级的谷底流量已经变成非谷底流量，所以在新的虚拟通道中不会造成新的微环路。

第三，消除谷底流量后，不再限制触发PFC门限。通过合理地使用PFC和ECN技术，以实现无损。

第四，链路故障消除后重路由也消除，该微环路也消除，该流量仍使用原来的QoS。

应用本实施例的方法，避免了生成微环路的网络中发生PFC死锁。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于优先级的流量控制防死锁方法，其特征在于，包括：

交换设备监测CLOS网络的虚拟通道中是否存在微环路；

当所述虚拟通道中存在微环路，所述交换设备监测所述微环路是否发生拥塞；

当所述微环路发生拥塞时，对所述微环路中的流量进行降速。

2.根据权利要求1所述的方法，其特征在于，交换设备监测CLOS网络的虚拟通道中是否存在微环路包括：

所述交换设备监测所述虚拟通道中是否出现谷底路由；

如果所述虚拟通道中出现谷底路由，则所述交换设备进一步监测所述虚拟通道中是否存在微环路。

3.根据权利要求2所述的方法，其特征在于，所述交换设备监测所述虚拟通道中是否出现谷底路由包括：

通过监测所述交换设备的入端口和出端口的优先级队列的业务流量走向，判断与所述优先级队列对应的所述虚拟通道中是否出现谷底路由。

4.根据权利要求1所述的方法，其特征在于，当所述虚拟通道中存在微环路，所述交换设备监测所述微环路是否发生拥塞，包括：

当所述虚拟通道中存在微环路，监测所述交换设备的所述出端口的所述优先级队列的缓存利用率；

当所述缓存利用率达到预设值时，判定所述微环路发生拥塞，其中，所述预设值小于ECN门限。

5.根据权利要求4所述的方法，其特征在于，当所述微环路发生拥塞时，对所述微环路中的流量进行降速，包括：

当所述微环路发生拥塞时，所述交换设备通过对所述微环路中的流量进行ECN标记，应用ECN流量控制技术对所述微环路中的流量进行降速。

6.根据权利要求5所述的方法，其特征在于，对所述微环路中的流量进行降速之后，还包括：

所述交换设备继续监测所述出端口的所述优先级队列的缓存利用率；

如果所述缓存利用率再次达到所述预设值时，则再次对所述微环路中的流量进行降速。

7.根据权利要求5所述的方法，其特征在于，对所述微环路中的流量进行降速之后，还包括：

当监测到所述微环路的拥塞加剧时，所述交换设备通过修改所述虚拟通道的谷底流量的QoS值以消除所述谷底路由。

8.根据权利要求5所述的方法，其特征在于，当监测到所述微环路的拥塞加剧时，所述交换设备通过修改所述虚拟通道的谷底流量的QoS值以消除所述谷底路由，包括：

当所述缓存利用率达到所述优先级队列的ECN门限时，在所述交换设备内部修改所述虚拟通道的谷底流量的QoS值，使所述谷底路由的入端口方向和出端口方向的流量分别在不同的虚拟通道中传送，通过消除所述谷底路由以消除所述微环路。

9.根据权利要求8所述的方法，其特征在于，在所述设备内部修改所述虚拟通道的谷底流量的QoS值，使所述谷底路由的入端口方向和所述出端口方向的流量分别在不同的虚拟通道中传送之后，还包括：

当所述交换设备监测到所述谷底路由消除后，停止修改所述虚拟通道的谷底流量的QoS值。

10.根据权利要求2所述的方法，其特征在于，当所述谷底路由为Spine-Leaf-Spine谷底路由时，所述交换设备为Leaf节点，当所述谷底路由为Core-Spine-Core谷底路由时，所述交换设备为Spine节点。

11.一种基于优先级的流量控制防死锁装置，其特征在于，包括：

第一监测模块，用于监测CLOS网络的虚拟通道中是否存在微环路；

第二监测模块，用于在所述虚拟通道中存在微环路的情况下，进一步监测所述微环路是否发生拥塞；

降速模块，用于在所述微环路发生拥塞的情况下，对所述微环路中的流量进行降速。

12.根据权利要求11所述的装置，其特征在于，第一监测模块包括：

第一监测单元，用于监测所述虚拟通道中是否出现谷底路由；

第二监测单元，用于在所述设备监测到虚拟通道中出现谷底路由的情况下，进一步监测虚拟通道中是否有微环路。

13.根据权利要求12所述的装置，其特征在于，还包括：

修改模块，用于在所述微环路的拥塞加剧达到预设的门限值的情况下，通过修改所述虚拟通道的谷底流量的QoS值，使得所述谷底路由的入端口方向和出端口方向的流量分别在不同的虚拟通道中传送，以消除所述谷底路由。

14.根据权利要求12所述的装置，其特征在于，当所述谷底路由为Spine-Leaf-Spine谷底路由时，所述装置为Leaf节点，当所述谷底路由为Core-Spine-Core谷底路由时，所述装置为Spine节点。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至10任一项中所述的方法。

16.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至10任一项中所述的方法。

Images