CN106464456B - 128千兆比特光纤通道速度协商 - Google Patents

Abstract

通过如利用链路训练字段中的预留比特所指示的，判定各个通路是否通过作为并行通路进行操作被配置成按128Gbps模式操作，增强FC端口状态机。如果是并且如果所有的端口都是32Gbps端口且通过训练，那么4个通路可被组合以形成128Gbps链路。如果端口被配置用于仅128Gbps操作，并且至少一个通路未对32Gbps进行协商或者训练失败，那么不启动链路，并且任何通路都不被启动。如果端口被配置成进行128Gbps操作或独立操作，并且至少一个通路不能按128Gbps操作，那么通路按协商和训练的速度独立操作。如果通路被配置用于仅独立操作，那么收发器形成如协商的独立链路。

Description

128千兆比特光纤通道速度协商

相关申请的交叉引用

本申请要求2013年10月4日递交的题为“128GFCP Architecture”的美国临时专利申请序列号61/886750和2013年11月26日递交的题为“128GFC Speed NegotiationTopics”的美国临时专利申请序列号61/909042的按照35U.S.C.§119(e)的优先权，上述申请均通过引用合并于此。

本申请与2014年6月18日递交的题为“128 Gigabit Fibre Channel PhysicalArchitecture”的美国专利申请序列号14/308143相关，该申请通过引用合并于此。

技术领域

本发明涉及高速联网的物理层。

背景技术

网络链路的速度日益增加。现在可获得40和100千兆比特/秒(Gbps)的以太网速度，然而要以非常高的代价。可获得16Gbps的光纤通道(FC)速度，并且32Gbps设备在开发中。为了继续广泛使用光纤通道，必须开发下一代速度128Gbps。因此，期望的是使光纤通道发展到下一代速度，但是仍然提供操作的灵活性。

发明内容

按照本发明的实施例，增强FC端口状态机，以判定4路或4通路收发器的各个通路是否被配置成通过作为并行通路进行操作来按128Gbps模式操作。如果是，并且如果所有的端口都是32Gbps端口并且通过训练，如果这样配置，那么4个通路可被组合以形成128Gbps链路。如果端口被配置用于仅128Gbps操作，并且至少一个通路未对32Gbps进行协商或者训练失败，如果这样配置，那么不启动端口或链路，并且任何通路都不被启动。如果端口或通路被配置成进行128Gbps或独立操作，并且至少一个通路不能按128Gbps操作，那么端口或通路按协商的速度独立操作。如果通路被配置用于仅独立操作而非并行通路操作，那么收发器形成如由端口协商的独立链路。优选地通过利用在速度协商期间使用的字段中的原先预留的比特来指示并行通路操作。

在其它实施例中，并行地配置并适当地连接到交换机设备内的交换芯片的4个单独的32Gbps收发器而不是单独的链路收发器可用来形成128Gbps链路，所述交换机设备是这样的，使得交换芯片可以为了适当的条带化(striping)等组合所述4个收发器。

附图说明

本发明具有当结合附图时根据本发明的以下详细说明和附加的权利要求将更容易明白的其它优点和特征，在附图中：

图1是按照本发明的光纤通道交换机的方框图。

图2是按照本发明的光纤通道交换机的正视图。

图3是按照本发明的两个互连的收发器的方框图。

图4是图3的方框图的更详细版本。

图5是图4的替代实施例的方框图。

图6是图4的替代实施例的方框图。

图7是图3的替代实施例的方框图。

图8是按照现有技术的端口状态机。

图9是按照本发明的端口状态机。

图10是按照本发明的用于确定128Gbps操作的状态机。

图11是图示按照本发明的发送器训练信号控制字段的表格。

图12是按照本发明的利用4路收发器和4个单独的收发器的替代实施例的方框图。

图13是按照本发明的在每个交换机中利用4个单独的收发器的替代实施例的方框图。

具体实施方式

图1是按照本发明的示例性128Gbps光纤通道(FC)交换机198的方框图。控制处理器190连接到交换机ASIC 195。交换机ASIC 195连接到端口182。通常，控制处理器190配置交换机ASIC 195，并处理更高级别的交换机操作，比如名称服务器、路由表设置等。交换机ASIC 195处理一般的高速内联(inline)操作或带内操作，比如交换、路由和帧变换。控制处理器190连接到保持用于更高级别的交换机操作的软件和程序的闪速存储器165等；控制处理器190连接到用于工作存储器(比如名称服务器和路由表)的随机存取存储器(RAM)170；并且控制处理器190连接到用于带外管理的以太网PHY 185和串行接口175。

交换机ASIC 195具有4个基本模块：端口模块135、帧数据储存系统130、控制子系统125和系统接口140。端口模块135进行最低级别的分组发送和接收。通常，从端口182接收帧，并且将帧提供给帧数据储存系统130。此外，从帧数据储存系统130接收帧，并且将帧提供给端口182。帧数据储存系统130包括与端口模块135接口连接的一组发送/接收FIFO132，以及储存接收的帧和待发送的帧的帧存储器134。帧数据储存系统130把每个帧的初始部分(一般是FCP帧的帧头和有效负载报头)提供给控制子系统125。控制子系统125具有变换块126、路由器块127、过滤器块128和排队块129。变换块126检查帧头，并进行任何必需的地址变换。可以存在变换块126的各种实施例，在美国专利No.7752361和美国专利No.7120728中提供了变换操作的例子，这两个专利都通过引用整体合并于此。这些例子还提供操作的控制/数据路径分割的例子。路由器块127检查帧头，并为帧选择期望的输出端口。过滤器块128检查帧头，并且在一些情况下检查有效负载报头，以判定该帧是否应被发送。排队块129基于各种因素(包括服务的质量、优先级等)调度帧以用于发送。

每个端口模块135包括一系列子模块。FIFO接口子模块150向FIFO132提供接口。MAC子模块152连接到FIFO接口150。按照本发明的组合的PCS/FEC子模块154连接到MAC子模块152。PMA/PMD子模块156连接到PCS/FEC子模块154和相应的端口182。

这是示例性的体系结构，并且存在对于本领域技术人员公知的众多其它体系结构。

图2是48端口光纤通道交换机200的正视图。该视图指示存在两组4路(4-通道)小型可插拔(QSFP)28Gbps收发器202A-D和202E-H。在中央是16个小型可插拔(SFP+)16Gbps收发器204A-P。每个QSFP 28收发器能够按照如在通过引用合并于此的FC-PI-6,Rev.1.00(2013年4月26日)中定义的32Gbps光纤通道标准操作，使得在QSFP 28收发器中提供4个32Gbps端口。

按照本发明，这4个32Gbps端口可被组合以形成128Gbps端口或链路，如在题为“128Gigabit Fibre Channel Physical Architecture”的相关的美国专利申请序列号14/308143中所述的。然而，这4个通路不能被简单地并行放置并具有可靠的、能共同操作的128Gbps FC操作。

如以下更详细地描述的，按照本发明的实施例协商128Gbps操作。

在按照本发明的优选实施例中，可按3个状态之一来配置每个端口或通路，即仅128Gbps操作、无并行通路或仅独立操作、以及这两种变型中的任意一个。

图3图示最简单的变型，其中2个128Gbps QSFP 28收发器302和304与4个并行通路直接连接。图4提供关于图3的收发器302和304的实际连接的进一步的细节。按照QSFP 28收发器的约定，通路1-4被定义成从外部边缘开始并且向内前进。如此，QSFP 28收发器302的发送通路1连接到QSFP 28收发器304的接收通路1，QSFP 28收发器302的发送通路2连接到QSFP 28收发器304的接收通路2，等等。如果端口被正确配置，那么图3和图4的实施例可以按128Gbps操作。

图5图示包括插线面板500的图4的实施例。插线面板500的使用增加连接FC端口时的增大的灵活性，但是也允许引入不适当的线缆的情况。图5图示其中QSFP 28收发器304的发送通路1连接到QSFP 28收发器302的接收通路2，并且QSFP 28收发器304的发送通路2连接到QSFP 28收发器302的接收通路1的情况。由于128Gbps FC的通路性质，如果相同收发器中的通路交叉，那么接收器可重排通路，并且解决插线错误，假定通路在其他方面都满足按照本发明的约定。

图6图示4个QSFP 28收发器602-608和插线面板600。在图示的情形下，对于128Gbps操作，通路被极不适当地配置，并且实际上不会按128Gbps操作。QSFP 28收发器602的两个通路被连接到QSFP 28收发器604，并且两个通路被连接到QSFP 28收发器608。QSFP28收发器604的另两个通路被连接到QSFP 28收发器606。QSFP 28收发器606和608的剩余两个通路被连接在一起。由于如在题为“128 Gigabit Fibre Channel PhysicalArchitecture”的相关美国专利申请序列号14/308143申请中所述的128Gbps中的通路的条带化，CRC错误将产生，并且不能形成128Gbps。不过，如果通路被配置成单独操作，而不仅仅形成128Gbps链路，那么该配置是可操作的，尽管总的吞吐量降低，因为那样在各个QSFP 28收发器之间存在2个32Gbps链路。

图7图示替代配置。QSFP 28收发器704的一个通路连接到32GFC SFP+收发器702。QSFP 28收发器704的其他3个通路被类似地分线到单独的32 GFC SFP+收发器。这种配置不会导致128Gbps操作，但是确实允许通过QSFP 28收发器704的4个端口的32Gbps操作，如果通路可以单独操作的话。

通过引用合并于此的FC-FS-3 Rev.1.11规范(2010年10月22日)定义用于启动或重启链路的端口状态机。图8中提供了所述状态机。在步骤802中，所有登录参数被设定为初始化值。在步骤804中，判定对于该端口是否支持速度协商。如果是，那么在步骤806中确定用于链路的最佳速度。在几种情况(比如特定16Gbps或32Gbps配置)下，利用如下所述的发送器训练信号来进行速度协商。步骤808判定速度协商是否成功。如果否，那么操作返回步骤802。如果成功或者如果不支持速度协商，那么下一步骤810判定是否配置或支持发送器训练信号。如果是，那么进行步骤812中的发送器训练，以确定最佳的发送器均衡。步骤814随后判定发送器训练是否成功。如果否，那么步骤802是下一步骤。如果成功或者如果未配置或协商发送器训练信号，那么在步骤816中继续进行常规操作。

图9是按照本发明的端口状态机。在步骤810之后的步骤以前，操作与图8的状态机中的操作一样，如果发送器训练信号未被配置或协商，或者如果在步骤814中发送器训练成功的话。随后代替直接转到步骤816中的常规操作，进行步骤918。步骤918判定该端口是否有并行通路能力。如图11中所示，在训练帧控制字段中获得该信息。

如在FC-FS-3规范的5.4节中所示，发送器的训练可以利用一起被称为发送器训练信号的训练帧和训练模式的组合来进行。训练帧本身具有两个部分，控制字段和状态字段。按照优选实施例，对控制字段进行改变以提供并行通路能力指示。具体地，把以前为预留比特的比特10用作并行通路支持比特，值1指示并行通路支持，而值0指示仅单通路操作。这不会与仅128Gbps、仅独立或者两者任意之一的端口配置混淆，而是端口是否可以进行并行通路操作的指示(128Gbps操作的先导)。通过把该指示放置在训练帧控制字段中，当需要时，在步骤920之前知晓该能力。

如果没有并行能力，那么进行步骤816中的常规操作，每个端口按协商的速度操作。如果端口有并行通路能力，那么在步骤920中进行判定并行通路速度协商和训练是否成功。该操作在下面说明的图10中详述。如果成功，那么操作前进到步骤816用于常规操作。如图10中所示，提供用于该端口的速度。如果在步骤920中不成功，那么操作返回步骤802。

图10设置128Gbps操作，并且是步骤920的操作部分。它通过在所有4个端口上等待速度协商和训练的完成，以步骤1002开始。当完成时，在步骤1004中进行判定所有4个端口是否都已经指示128Gbps能力。这意味着该端口已经指示它是32Gbps端口，具有并行通路能力，该端口被设定为128Gbps操作或128Gbps或者单独通路操作，并且单独的链路速度协商和训练已经成功完成。如果所有都为真，那么在步骤1006中端口速度被设定为128Gbps，并且会出现如在题为“128 Gigabit Fibre Channel Physical Architecture”的相关美国专利申请序列号14/308143中所述的条带化。

如果未在所有4个端口上都指示128Gbps能力，即端口中的至少一个未向上述点中的每个报告真，那么在步骤1008中进行判定是否将端口设定用于仅128Gbps操作。如果否，那么在步骤1010中，用于各个链路的端口速度被设定成为该链路协商的值。如此，如上所述，4个端口都可操作，但是不是按32Gbps操作或者未被正确连接。如果在步骤1008中，128Gbps是端口期望的唯一速度，那么在步骤1012中，当操作前进到步骤920时速度协商被指示为失败。

上述讨论聚焦于连接两个QSFP 28收发器以形成128Gbps链路。这部分地基于这最容易帮助它本身形成该链路，因为将使用四路链路线缆以使链路偏移被最小化，并且4个收发器端口很可能被连接到交换机ASIC上的4个相邻端口。然而，这不是允许128Gbps链路的形成的唯一配置。参见图12，QSFP 28收发器1204被连接到交换机ASIC 1290(比如交换机ASIC 195)上的4个相邻端口。这与上述配置中一样。4个32Gbps SFP+收发器1202A-1202D连接到QSFP 28收发器1204，每个SFP+收发器连接到QSFP 28收发器1204的一个通路。4个32Gbps SFP+收发器1202A-1202D随后被连接到交换机ASIC 1290上的相邻端口，再次类似于交换机ASIC 195。注意，所述相邻不一定需要是物理相邻，相反可以是逻辑相邻，如果交换机ASIC能够针对待进行的通路操作把物理分离的端口集合成4个一组的逻辑组的话，如在题为“128 Gigabit Fibre Channel Physical Architecture”的相关美国专利申请序列号14/308143中所述的。如此，可存在从物理或PMA/PMD端口到PCS/RS FEC模块的内部路由。

除了QSFP 28 1204已经被4个32Gbps SFP+收发器1204A-1204D代替之外，图13类似于图12。

有帮助的是确保4个端口实际上被并行连接，以最小化如图6中所示的问题的发生，在不使用如现在正连接各个线缆的插线面板，而是使用与QSFP模块一起使用的四路线缆的情况下，会发生所述问题。这可按几种方式进行。第一种方式是使用与如在美国专利No.7447198中公开的用来计时各个通路偏移的电路类似的电路，使得同时从4个候选端口发送4个信号，并且随后接收端可监视在4个端口上的信号的接收。如果在允许的时间偏移内接收到所述4个信号，那么这4个通路确实并行并且可被组合以成为128Gbps，如果所有其它条件都被满足的话。可根据其中4个端口被指定为将对于给定的128Gbps链路组合的端口的交换机配置参数，进行用于发送或检测的所述4个端口的选择。作为第二种选项，当初始化各个端口时，可以使用与在美国专利No.8700799中描述的方法类似的方法。当检测交换机之间的并行链路时，比如通过在链路被初始化时检查远程交换机全球名称(WWN)值，当所有的并行链路都被确定时，那么可以选择各组的4条链路，并可进行如上所述的像128Gbps链路一样的配置。如果特定的一组链路不成功，那么可以尝试不同的组合，直到取得成功或者已经尝试了所有组合为止。对本领域的技术人员来说，其它方法将是明显的。

因此，仅借助对于标准文档的较小改变和少许额外步骤，能够判定128Gbps操作可用，从而随后使用128Gbps操作。

上述说明是图示性而非限制性的。在阅读了本公开的情况下，本发明的许多变型对本领域的技术人员来说将变得明显。因此，本发明的范围不应参考上述说明，而是应参考附加的权利要求及其全部范围的等同物来确定。

Claims (18)

1.一种通信方法，包括：

对在4条并行连接的光纤通道链路的一端的端口的每一者独立地进行速度协商和发送器训练，每一端口包括独立的PHY；

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路中的每条的一端的端口是否能够作为并行通路进行操作；

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的各个端口是否已经指示128Gbps操作的能力；

在速度协商和发送器训练之后，判定4条并行连接的光纤通道链路中的每条是否都已独立地对32Gbps操作进行了协商；以及

当判定在4条并行连接的光纤通道链路中的每条的一端的端口能够作为并行通路进行操作、在4条并行连接的光纤通道链路中的每条的一端的各个端口已经指示128Gbps操作的能力、并且4条并行连接的光纤通道链路中的每条都已独立地对32Gbps操作进行了协商时，配置在4条并行连接的光纤通道链路的一端的各个端口用于128Gbps操作。

2.按照权利要求1所述的通信方法，还包括：

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的端口中的至少一个是否指示仅128Gbps操作；以及

当判定在4条并行连接的光纤通道链路中的每条的一端的端口中的任何一个都不能作为并行通路进行操作、或者4条并行连接的光纤通道链路中的每条都未对32Gbps操作进行协商时，并且当判定在4条并行连接的光纤通道链路的一端的端口中的至少一个指示仅128Gbps操作时，指示速度协商失败。

3.按照权利要求1所述的通信方法，还包括：

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的各个端口是否指示128Gbps操作或独立操作；以及

当判定在4条并行连接的光纤通道链路的一端的端口中的任何一个都不能作为并行通路进行操作、或者4条并行连接的光纤通道链路中的每条都未对32Gbps操作进行协商时，配置在4条并行连接的光纤通道链路的一端的各个端口用于按照其相应的协商速度的操作。

4.按照权利要求1所述的通信方法，还包括：

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的各个端口是否指示仅独立操作；以及

即使当判定在4条并行连接的光纤通道链路的一端的各个端口都能作为并行通路进行操作、并且4条并行连接的光纤通道链路中的每条都已对32Gbps操作进行了协商时，仍然配置在4条并行连接的光纤通道链路的一端的各个端口用于按照其相应的协商速度的操作。

5.按照权利要求1所述的通信方法，其中在4条并行连接的光纤通道链路的一端的各个端口都被设置在单个四路小型可插拔收发器中。

6.按照权利要求1所述的通信方法，其中在4条并行连接的光纤通道链路的一端的各个端口都被设置在单独的小型可插拔收发器中。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时致使所述处理器执行以下步骤：

对在4条并行连接的光纤通道链路的一端的端口的每一者独立地进行速度协商和发送器训练，每一端口包括独立的PHY；

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路中的每条的一端的端口是否能够作为并行通路进行操作；

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的各个端口是否已经指示128Gbps操作的能力；

在速度协商和发送器训练之后，判定4条并行连接的光纤通道链路中的每条是否都已独立地对32Gbps操作进行了协商；以及

当判定在4条并行连接的光纤通道链路中的每条的一端的端口能够作为并行通路进行操作、在4条并行连接的光纤通道链路中的每条的一端的各个端口已经指示128Gbps操作的能力、并且4条并行连接的光纤通道链路中的每条都已独立地对32Gbps操作进行了协商时，配置在4条并行连接的光纤通道链路的一端的各个端口用于128Gbps操作。

8.按照权利要求7所述的计算机可读存储介质，其中所述计算机程序在被所述处理器执行时致使所述处理器进一步执行以下步骤：

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的端口中的至少一个是否指示仅128Gbps操作；以及

当判定在4条并行连接的光纤通道链路中的每条的一端的端口中的任何一个都不能作为并行通路进行操作、或者4条并行连接的光纤通道链路中的每条都未对32Gbps操作进行协商时，并且当判定在4条并行连接的光纤通道链路的一端的端口中的至少一个指示仅128Gbps操作时，指示速度协商失败。

9.按照权利要求7所述的计算机可读存储介质，其中所述计算机程序在被所述处理器执行时致使所述处理器进一步执行以下步骤：

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的各个端口是否指示128Gbps操作或独立操作；以及

当判定在4条并行连接的光纤通道链路的一端的端口中的任何一个都不能作为并行通路进行操作、或者4条并行连接的光纤通道链路中的每条都未对32Gbps操作进行协商时，配置在4条并行连接的光纤通道链路的一端的各个端口用于按照其相应的协商速度的操作。

10.按照权利要求7所述的计算机可读存储介质，其中所述计算机程序在被所述处理器执行时致使所述处理器进一步执行以下步骤：

在速度协商和发送器训练之后，判定在4条并行连接的光纤通道链路的一端的各个端口是否指示仅独立操作；以及

即使当判定在4条并行连接的光纤通道链路的一端的各个端口都能作为并行通路进行操作、并且4条并行连接的光纤通道链路中的每条都已对32Gbps操作进行了协商时，仍然配置在4条并行连接的光纤通道链路的一端的各个端口用于按照其相应的协商速度的操作。

11.按照权利要求7所述的计算机可读存储介质，其中在4条并行连接的光纤通道链路的一端的各个端口都被设置在单个四路小型可插拔收发器中。

12.按照权利要求7所述的计算机可读存储介质，其中在4条并行连接的光纤通道链路的一端的各个端口都被设置在单独的小型可插拔收发器中。

13.一种通信装置，包括：

用于与4条光纤通道链路连接的4个光纤通道端口，每一端口包括独立的PHY；

耦接到所述4个光纤通道端口中的每个的处理器；

耦接到所述处理器并且储存用于执行方法的处理器可执行指令的存储器，所述方法包括：

对所述4个光纤通道端口中的每个独立地进行速度协商和发送器训练；

在速度协商和发送器训练之后，判定所述4个光纤通道端口中的每个是否都能够作为并行通路进行操作；

在速度协商和发送器训练之后，判定所述4个光纤通道端口中的每个是否已经指示128Gbps操作的能力；

在速度协商和发送器训练之后，判定所述4个光纤通道端口中的每个是否都已独立地对32Gbps操作进行了协商；以及

当判定所述4个光纤通道端口中的每个都能够作为并行通路进行操作、所述4个光纤通道端口中的每个已经指示128Gbps操作的能力、并且所述4个光纤通道端口中的每个都已独立地对32Gbps操作进行了协商时，配置所述4个光纤通道端口中的每个端口用于128Gbps操作。

14.按照权利要求13所述的通信装置，所述方法还包括：

在速度协商和发送器训练之后，判定所述4个光纤通道端口中的至少一个是否指示仅128Gbps操作；以及

当判定所述4个光纤通道端口中的任何一个都不能作为并行通路进行操作、或者所述4个光纤通道端口中的每个都未对32Gbps操作进行协商时，并且当判定所述4个光纤通道端口中的至少一个指示仅128Gbps操作时，指示速度协商失败。

15.按照权利要求13所述的通信装置，所述方法还包括：

在速度协商和发送器训练之后，判定所述4个光纤通道端口中的每个是否指示128Gbps操作或独立操作；以及

当判定所述4个光纤通道端口中的任何一个都不能作为并行通路进行操作、或者所述4个光纤通道端口中的每个都未对32Gbps操作进行协商时，配置所述4个光纤通道端口中的每个端口用于按照其相应的协商速度的操作。

16.按照权利要求13所述的通信装置，所述方法还包括：

在速度协商和发送器训练之后，判定所述4个光纤通道端口是否指示仅独立操作；以及

即使当判定所述4个光纤通道端口中的每个都能作为并行通路进行操作、并且所述4个光纤通道端口中的每个都已对32Gbps操作进行了协商时，仍然配置所述4个光纤通道端口中的每个端口用于按照其相应的协商速度的操作。

17.按照权利要求13所述的通信装置，其中所述4个光纤通道端口中的每个都被设置在单个四路小型可插拔收发器中。

18.按照权利要求13所述的通信装置，其中所述4个光纤通道端口中的每个都被设置在单独的小型可插拔收发器中。