CN104995884A

CN104995884A - 分布式无交换机互连

Info

Publication number: CN104995884A
Application number: CN201380069138.0A
Authority: CN
Inventors: 弗拉基米尔·米利亚斯基; 大卫·查尔曼; 尼夫·马加利特; 伊夫塔·梅罗恩; 大卫·齐利格; 亚历山大·泽尔瑟
Original assignee: COMPASS ELECTRO-OPTICAL SYSTEMS Ltd
Current assignee: COMPASS ELECTRO-OPTICAL SYSTEMS Ltd; Compass Electro Optical Systems Ltd
Priority date: 2012-11-15
Filing date: 2013-11-13
Publication date: 2015-10-21
Also published as: US20140133493A1; WO2014076573A8; KR20150111907A; US9319310B2; WO2014076573A2; EP2920925A2; EP2920925A4; JP2016501474A; WO2014076573A3

Abstract

公开了以全网状连通为特征的分布式无交换机系统。全网状分布式无交换机系统允许源节点和目的节点之间的直接通信和间接通信。在直接通信中，数据经由连接源节点和目的节点的链路传播。在间接通信中，首先经由连接源节点和中间节点的链路来向中间节点按发送数据。中间节点经由连接中间节点和目的节点的链路向目的节点发送数据。业务可以分成在节点上的所有可用链路，而不是仅连接源节点和目的节点的链路。因为与直接通信相比，间接通信使用更多链路，所以每个链路中的业务较小。因此，无交换机分布式互连系统可以与任何两个节点之间的较小链路和具有较小带宽的链路一起操作。

Description

分布式无交换机互连

技术领域

本公开涉及用于在全网状网络中传输数据的方法。具体地，本公开涉及经由多个链路和多个中间节点对数据进行分布和传输。

背景技术

高速系统需要在处理引擎之间的全连通。处理引擎(“节点”)具有特定处理能力。处理引擎通常与硬件资源的物理位置例如特定线卡、架子或者机架中限定的该硬件资源的特定集合相关联。

传统上，节点间连通使用两种方法即(i)交换机连通和(ii)全网状(full-mesh)连通中的一种来用在通信和计算行业中。交换机连通的示例为在节点之间使用切换级的Clos切换。想要向另一个节点发送数据的每个节点向交换机发送数据。该交换机向单个目的节点或者多个目的节点(广播或者组播)发送数据。交换机连通的一个缺陷在于：交换机尺寸和复杂性随着节点数量的增加而增加。具有较大数量节点的交换机需要更强的处理能力，以例如调节交换机开销以及调节在从多个节点到相同目的节点的调度业务的低效。

在全网状连通中，每个节点与所有其它节点连接(点对点连通)。当源节点向目的节点发送数据时，源节点通过直接连接到目的节点的链路发送该数据。在组播业务的情况下，源节点在本地繁殖数据，并且经由直接连接到目的节点的链路向每个目的节点发送副本。全网状连通具有一定缺陷。例如，当额外的节点被添加到系统时，来自每个现有节点的至少一个链路彼此拔下且插入到新节点。要重新插入的链路的数量大于等于现有节点的数量或者必须增加新链路。

在典型的全网状连通中，N个数量的节点的其中每个节点具有容量C_N和M个数量的链路的系统需要每个节点能够容纳至少(N-1)*C_N的总容量。在这种情况下，链路的数量可以为至少(N-1)*C_N/C_L，其中，C_L对应于单个链路容量。此外，一旦N个节点在全网中连接，除非每个节点的链路总数量M增加，否则增加额外的节点到系统降级了性能。

发明内容

本公开涉及全网状网络，其中，源节点向多个中间节点传输数据且多个中间节点向目的节点发送数据。本公开也涉及用于在全网状网络中使用多个中间节点来发送数据的方法。

在本公开的一个方面中，方法包括：由在全网状分布式无交换机互连(distribued switchless interconnect)系统中的第一节点接收指示了目的节点的数据。该方法也包括：由所述第一节点确定所述第一节点是否为所述目的节点。该方法进一步包括：如果所述第一节点是所述目的节点，则在所述全网状分布式无交换机互连系统中由所述第一节点处理数据。该方法还包括：如果所述第一节点不是所述目的节点，则在所述全网状分布式无交换机互连系统中由所述第一节点确定是向所述目的节点发送所述数据还是向中间节点发送所述数据，并且如果所述目的节点不是所述第一节点，由所述第一节点基于所述确定来向所述目的节点传输所述数据或是向所述中间节点传输所述数据。

在本公开的另一个方面中，所述数据可以包括至少一个主信元(master cell)，所述主信元包括至少一个包。所述至少一个主信元可以包含具有队列序号的报头。处理所述数据可以包括：基于队列序号来排序至少一个主信元；提取至少一个包；并且向耦接到所述第一处理引擎的处理单元发送所述至少一个包。

在本公开的这些方面中可以出现额外特征。例如，方法还可以包括：由所述第一处理引擎形成包括至少一个包的至少一个主信元。该方法可以进一步包括：基于链路容量、处理引擎容量、链路数量和中间处理引擎数量中的至少一个来确定所述主信元的尺寸。形成可以包括：添加所述至少一个包到所述至少一个主信元直到超时参数到期为止。形成还可以包括：基于可用包的数量和递送的紧急性来添加所述至少一个包到所述至少一个主信元。

在本公开的一个方面中，该方法还可以包括：由所述第一处理引擎从所述数据中形成多个主信元。该第一处理引擎也可以从耦接到所述第一处理引擎的处理单元接收所述数据。传输可以包括：向多个中间处理引擎传输包含不同包的多个主信元。

在本公开的另一个方面中，该方法可以包括：如果所述第一处理引擎未能从所述第二处理引擎接收存活消息(keepalive message)，则由所述第一处理引擎广播：将所述第一处理引擎耦接到第二处理引擎的第一链路不起作用。该方法还可以包括：由所述第一处理引擎向第二处理引擎发送第一存活消息。该方法可以进一步包括：如果所述第一处理引擎未能从所述第二处理引擎接收到响应于第一存活消息的消息，则由所述第一处理引擎广播：将所述第一处理引擎耦接到第二处理引擎的第一链路不起作用。可替换地，该方法可以包括：由所述第一处理引擎向第二处理引擎发送第一存活消息。该方法可以进一步包括：如果所述第一处理引擎从所述第二处理引擎接收到指示出接收所述第一存活消息失败的消息，由所述第一处理引擎广播：将所述第一处理引擎耦接到第二处理引擎的第一链路不起作用。

在本公开的一个方面中，在全网状分布式无交换机互连系统中，一种设备包括：处理单元和第一处理引擎，所述第一处理引擎耦接到所述处理单元并且被配置为经由所述全网状分布式无交换机互连系统来接收指示了目的处理引擎的数据。所述第一处理引擎被配置为在所述全网状分布式无交换机互连系统中如果所述第一处理引擎是所述目的处理引擎，则处理所述数据且将所处理的数据递送到所述处理单元。另一方面，所述第一处理引擎被配置为如果所述第一处理引擎不是所述目的处理引擎，则在所述全网状分布式无交换机互连系统中是向所述目的处理引擎传输所述数据或是向中间处理引擎传输所述数据。

在本公开的另一个方面中，第一处理引擎可以包括汇编单元，所述汇编单元被配置为，如果接收到的数据从所述处理单元被接收到，则基于所述接收到的数据来形成包括至少一个包的至少一个主信元。

附图说明

图1示出根据本公开的方面的用于将处理单元连接到网络的节点。

图2示出根据本公开的方面的汇编主信元的流程图。

图3示出根据本公开的方面的处理接收到的主信元的流程图。

图4示出根据本公开的方面的重排序逻辑的流程图。

图5示出根据本公开的方面的具有与主信元对应的位的序号和包结束的数据库。

图6示出根据本公开的方面的在分布式无交换机互连系统中经由直接链路和间接链路从源节点传播到目的节点的数据。

图7示出根据本公开的方面的在分布式无交换机互连系统中接收数据且将该数据传输给另一个节点的节点。

图8示出根据本公开的方面的具有不同容量的链路的分布式无交换机互连系统。

图9示出根据本公开的方面的节点之间具有不同数量的链路的分布式无交换机互连系统。

图10示出根据本公开的方面的被断链路的分布式无交换机互连系统。

图11示出以全网状而连接的系统。

图12示出根据本公开的方面的连接多个节点的PassCOM。

图13示出根据本公开的方面的连接多个节点的PassCOM的内部链路布置。

图14A示出根据本公开的方面的具有被设计为连接四个节点的插头的、连接两个节点的PassCOM的内部链路布置。图14B示出根据本公开的方面的具有被设计为连接两个节点的插头的、连接两个节点的PassCOM的内部链路布置。

图15示出根据本公开的方面的具有两个插头的连接四个节点的PassCOM的内部链路布置。

图16示出根据本公开的方面的具有两个前端连接器和四个后端连接器的、连接四个节点的PassCOM的内部链路布置。

图17示出根据本公开的方面的连接多个节点的两个PassCOM。

图18示出根据本公开的方面的连接多个节点的两个PassCOM的内部链路布置。

具体实施方式

根据本公开的方面，提供了具有无源互连和分布式无交换机切换的多机集群路由器(multi-chassis router)。该系统以全网状连接多个节点，并且允许数据的直接和间接转移。集群路由器也可以用于连接集群计算环境中的计算处理器。此外，集群路由器可以连接计算处理器和存储处理器。路由器使用无源连通光学模块(“PassCOM”)，以简化设置或者更新全网状网络的过程。PassCOM为不包含电子元件的无源装置。

物理节点结构和节点功能

图1示出将处理单元105连接到网络的节点100。节点100连接到处理单元105且使用链路110连接到其它节点。使用链路110，节点100提供处理单元105和在线卡、架子、机架或者其它物理位置上分布的其它处理单元之间的连通。

处理单元105为节点100的客户端。在通信系统中，处理单元105可以为例如连接到外部接口106的网络处理器。处理单元105检查从接口106接收到的包并且基于路由和/或切换操作来确定接收到的包的目的地。其它包信息例如服务质量(QoS)、队列和修改也可以用于确定目的地。目的地可以为用于单播通信的单个处理单元或者用于组播通信的多个处理单元。

当来自处理单元105的数据包到达时，可以将包发送给切换单元103，该切换单元然后将包发送给其它节点。在这种情况下，将包直接发送给其它节点。汇编单元101可以在发送给其它节点的包的报头上写下包序号。可替换地，当包到达时，汇编单元101可以将包汇编成主信元且通过切换单元103将该信元发送给其它节点。汇编单元101可以将主信元序号写入到主信元的报头。

图2示出了用于汇编主信元的流程图。汇编单元101接收包(步骤210)并且基于包的目的地来拆分包(步骤220)。汇编单元101将每个包添加到包括相同目的地的包的主信元(步骤230)。如果存在未完全填充的现有主信元，则汇编单元101将包添加到现有主信元。否则，汇编单元101形成新的主信元且将填充的主信元释放到虚拟输出队列(VOQ)(步骤240)。如果包超过主信元的长度，则汇编单元填充且发送填充的主信元，并且包的剩余部分放置在下一个主信元中。下一个主信元等待下一个包。

将释放的主信元写入到外部存储器中的VOQ(步骤250)。VOQ逻辑保持每个目的节点至少一个队列。所以在到特定目的地的反压(在特定链路处的数据的合成)的情况下，将仅停止在与特定目的地有关的一个或者多个队列中的主信元的传输。可以继续发送用于其它目的地的队列中的其它主信元。当准备好发送主信元时，主信元从存储器中被读取(步骤260)且发送给其它节点(步骤270)。VOQ可以由主信元生成过程单独管理，在该主信元生成过程中，汇编单元仅保持用于每个目的地的当前主信元，并且在外部管理VOQ外部缓冲。汇编单元然后基于主信元的释放速度从VOQ包向切换单元103拉。

主信元可以包含包的部分净负荷。在这种情况下，汇编单元101将包的剩余添加到下一个主信元。汇编单元101可以保持每个目的节点多个队列，每个队列表示不同服务类(COS)。

主信元的使能有效的交换机间存储器管理和队列管理，这是因为主信元可以被制成一个尺寸。使用固定尺寸的信元提供了一些性能优势。例如，固定尺寸的信元使能有效的处理和外部存储器管理，这是因为更有效地写入到相对大块尺寸的动态随机存取存储器(DRAM)且从该DRAM读取同时避免DRAM体拥塞。通常，平均包尺寸小于最佳块尺寸，该最佳块尺寸由主信元的尺寸来匹配。而且，当链路具有较小带宽时，较大包可以分成多个主信元。与单车道的使用相比，使用多个链路来发送多个主信元允许目的节点接收整个包同时减少了延迟和振动。此外，由于与较大数量的较小包相比，可以较小地制成描述符的数量，所以当本地处理单元受限于尺寸时，队列和缓存管理是更简单的。由于可以基于固定尺寸信元而不是可变包尺寸来完成计数，所以主信元的使用也简化了用于平衡链路负载所需要的计数。

当主信元是充满时，将主信元递送给切换单元103。切换单元103确定哪个链路用于将主信元发送给其目的地。如果不存在针对特定目的地/COS组合的来自切换单元103的反压，则可以立即向其目的地发送主信元。

主信元尺寸可以变化。例如，对于高优先级COS而言，主信元尺寸可以较小，以避免由于使用额外的包填满主信元而导致的过度延迟。主信元尺寸也可以取决于网络中的可用带宽而变化。可用带宽可以由节点的数量和链路的数量来确定。汇编单元101也可以使用超时并且发送部分填满的主信元以避免过度延迟。此外，汇编单元101可以释放部分填满的主信元，以避免互连链路上的不必要带宽的消耗。

切换单元103也可以从其它节点接收数据。切换单元103确定数据的目的地是本地处理单元105还是另一个节点的处理单元。如果最后的目的地为另一个节点的处理单元，则切换单元103向目的节点或者另一个中间节点发送数据。

当切换单元103接收用于本地处理单元的数据时，切换单元103将数据传到重排序(recordering)和去汇编(de-assembly)单元102。重排序和去汇编单元102存储数据到存储器的重排序队列107中。如果数据可以为主信元的形式，则重排序和去汇编单元102重排序且去汇编主信元。重排序和去汇编过程可以在两个单独的装置上或者在一个装置上单独操作。

图3示出了用于在重排序和去汇编单元102中处理接收到的主信元的流程图。当重排序和去汇编单元102接收主信元(步骤310)时，重排序和去汇编单元102可以在存储器的重排序队列107中存储主信元(步骤320)。重排序和去汇编单元102基于在主信元源自的节点处限定的主信元序号由它们的源来拆分主信元(步骤330)。重排序和去汇编单元102比较接收到的主信元的主信元序号，使用重排序逻辑来将它们正确地放置在队列中，并且释放被重排序的主信元(步骤340)。

图4示出了步骤340的重排序逻辑的流程图。每个主信元具有其对应位，该位基于主信元序号来确定。重排序和去汇编单元102设置与接收到的主信元对应的位(步骤410)。对位进行设置可以通过将位从0改变到1来实行，以指示出接收到主信元。如果主信元包含包结束(EOP)，则重排序和去汇编单元102设置额外位来指出EOP(步骤410)。

图5示出了具有与主信元对应的位的序号和EOP数据库。在序号数据库500中，存在两种类型的位：接收位和EOP位。在一个实施例中，第一列中的位为接收位，指示出对应的主信元是否达到。第二列中的位为EOP位，指示出对应的主信元是否包含EOP。在一个实施例中，具有数值0的接收位指示出其对应的主信元未到达，并且具有数值1的接收位指示出其对应的主信元到达了。具有数值1的EOP指示出其对应的主信元包含包结束，并且具有数值0的EOP位指示出不同的情况。

接收位501为队列的报头中的位，并且接收位504为没有丢失的在前的位的情况下的队列中的最后位。如果EOP存在在接收位501和接收位504之间，则重排序和去汇编单元102知道了以EOP结束的整个包被接收到。例如，EOP位513示出了在接收位501和504之间的EOP。相反，在EOP的前面具有0的接收位指示出并非所有包含包的主信元都到达了。在EOP位517的前面，例如，存在具有0的接收位505和506。因此，在EOP位517的对应主信元上结束的整个包未到达。

重排序和去汇编单元102通过检查接收位来检查包含包的所有主信元是否到达了(步骤420)。如果并非所有包含包的主信元到达了，则重排序和去汇编单元102等待下一个主信元(步骤430)。如果包含包的所有主信元到达了，则重排序和去汇编单元102释放主信元(步骤440)。当超时过期时，重排序和去汇编单元102也可以释放主信元。

使用仲裁逻辑来将释放的主信元来离开队列(步骤360)。离开队列仲裁逻辑在准备好发送给处理单元105的所有主信元中选择具有最高优先级的主信元。重排序和去汇编单元102从存储器中读取主信元并且将主信元去汇编到原包(步骤370)，该原包然后发送给处理单元105(步骤380)。重排序过程可以保持针对每个源/COS组合的内部排序107。内部排序可以为例如在节点中放置的缓冲。

系统可以使用简化的实施例，其中，包未被汇编成具有其它包的主信元。包可以不被分成多个主信元。此外，主信元可以包括一个包。在这种情况下，重排序和去汇编单元102使用如上所述的相同逻辑，但是没有标记EOP位的需要。相同逻辑仅用于重排序目的。

每个主信元到达时间由重排序和去汇编单元102来记录。在主信元发送给处理单元105之后，重排序和去汇编单元102将队列报头序号设置为发送给处理单元105的最后主信元的主信元序号。如果接收了具有小于队列报头的主信元的序号的主信元，则在其去汇编之后立即将该主信元发送给处理单元105。

处理单元105还可以部署QoS功能，例如业务管理和排队。对于组播业务而言，若需要，处理单元105可以创建本地副本。处理单元105也可以修改接收到的包的格式，并且将它们发送给接口106。在典型网络系统中，由于被增加的信息，例如路由报头和MPLS标签，输入接口上的包格式可以与输出接口上的包格式不同。在这种情况下，一些包格式修改在入口线卡上由处理单元来处理，并且一些报头操控在出口线卡上在处理单元处实行。

当由于分布式无交换机互连系统中的暂时拥塞而节点100向处理单元105指示反压状态时，节点100可以实现多个QoS策略。对于特定目的地或者每个优先级而言，反压可以出现在所有业务或者业务的一部分上。

一个示例性策略在于：不管反压是否是每目的地的，都在反压的情况下停止将包从处理单元105传输到节点100。因为传输节点未向在反压期间拥塞的节点发送数据，所以队头阻塞(head-of-line blocking)可能出现。队头阻塞为以下情形，其中由于对一部分节点的业务的拥塞而停止对所有节点的业务。这出现源于在队列的头部的包经历了反压并且阻止下一个包到能够接收包的其它节点。队头阻塞不是有效的且经常很不受欢迎。

如果反压按照优先级进行，则节点可以仅允许高优先级业务且停止较低优先级业务。该方法可以是有益的，因为该方法在处理单元105和/或汇编单元上仅需要较少数量的队列。

另一种策略在于使用每目的节点的多个队列。当接收到指示了到特定节点的路由的拥塞的反压时，处理单元105和汇编单元101可以停止向特定节点传输数据。处理单元105和汇编单元101可以允许向节点传输特定优先级。例如，可以仅允许高优先级业务。该策略避免队头阻塞但是需要更复杂的业务管理。

关于QoS管理的节点100和处理单元105之间的逻辑分离仅为了说明。根据可替换实施例，汇编单元101和处理单元105可以为组合主信元汇编和排队的单个物理装置。单个物理装置可以减少与处理单元105有关的负荷。

此外，汇编单元101、重排序和去汇编单元102和切换单元103可以由具有各种类型接口的多个物理装置组成。每个功能可以例如在FPGA,ASIC或者组合中实现，以利用该公开中描述的逻辑功能。

连接多个节点

分布式无交换机互连系统通过物理全网状连通而使能无交换机的、可扩展的节点连通。在一些实施例中，系统使用内部节点间切换。具体地，系统使用1)直接连接源节点和目的节点的链路和2)从源节点接收数据且将该数据重新路由到目的节点的中间节点，来允许数据从源节点到目的节点的传输。

为了以全网状连接N个节点，具有M个链路的每个节点可以将它自己的M个链路划分到其它N-1个节点。因此，在系统中可以连接的节点的数量小于等于链路的数量加一，N≤M+1。链路可以或者不可以在节点之间均匀划分。如果所有节点具有相同容量，则每个节点可以使用相同数量的链路而连接到任何其它节点。分布式无交换机互连系统可以在节点之间使用光学链路、电子链路或者二者的组合。

节点具有节点容量，例如C_N。连接到节点的M个链路中的每一个具有链路容量，例如C_L。C_N由节点到控制通信或者其它处理的其对应处理单元的连接来确定。例如，具有10个10Gbps的接口和能够处理所有接口的处理单元的节点具有等于100Gbps的容量C_N。

在任何两个节点之间具有一个链路的典型全网状系统中，针对每个链路，链路容量与节点容量的比需要大于1，以使该网络能够处理全部处理容量。否则，节点的处理速度将超过使用链路的转移速度，因此阻塞业务。根据本公开的方面，业务可以分成多个链路。因此，当节点具有M个链路时，通信系统可以被设计为使得比率称为本地超速。当本地超速大于1时，网络能够处理处理单元的全部处理容量。

根据本公开的方面，分布式无交换机互连系统具有N×M×C_L的有效切换容量，其具有N×C_N的可能并发系统输出。

每个节点可以从所有其它源接收达到M×C_L的带宽的峰值业务。表示到节点的物理接口容量的尖峰连通之间的暂时可用超速。在每个外向链路上，该节点将本地起源数据与从其它节点接收到的数据聚集。然后，该节点向该链路之后的另一个节点发送数据。

图6示出了根据本公开的方面的分布式无交换机互连系统的示例。附图中的每个线612表示连接两个节点的一个或者多个物理链路。在该实施例中，源节点620将数据发送给目的节点624。源节点620可以在所有有效链路612之间均匀地分布业务，使得完整系统负载被均匀分布。如果所有节点均匀分布业务，则可以实现全局系统负载平衡。分布式无交换机互连系统可以使用亏空轮循(DRR)或者加权DRR，以在系统内在部分反压的情况下分布业务。

至少一个链路——链路611——直接连接源节点620和目的节点624。其它链路将源节点620或者目的节点连接到中间节点：节点621-623和625-627。中间节点从源节点620接收数据，将节点624识别为目的节点，并且向节点624发送数据。中间节点可以使用直接链路向节点624发送数据。在这种情况下，经由两次跳跃发送数据。跳跃指的是从节点到另一个节点的直接转移，所以两次跳跃指的是具有一个中间节点。源节点向中间节点发送包，该中间节点向目的节点发送包。可替换地，中间节点可以向其它中间节点发送数据，使得使用超过两次跳跃来发送数据。

图7示出分布式无交换机互连系统的节点726。链路712将节点726与其它节点连接。通过链路712，节点726能够从其它节点接收数据并且向其它节点发送数据。当节点726从其它节点接收数据时，节点206确定数据的目的地，如由源节点的处理单元插入的包报头上所指示的那样。包报头包含目的节点号。

如果目的地为另一个节点，则节点726用作向目的节点发送数据的中间节点。节点726从源节点720接收数据且向目的节点724发送数据。节点726可以确定包目的地为通过识别目的节点号而明确的本地节点或者通过识别包为一次跳跃而隐含的本地节点，这也可以在包报头中显示。

根据本公开的实施例，分布式无交换机互连系统实现选择性负载平衡。例如，可以仅通过中间节点将数据发送给目的地来实现负载平衡。选择性负载平衡可以是有益的，因为它减少了来自流过不同数量链路的业务的到达时间差。在选择性负载平衡的示例性方法中，可以将一些链路专用于特定业务优先级。

根据本公开的另一个实施例，分布式无交换机互连系统可以首先选择直接传输到目的节点并且只有直接链路是超负荷才可以使用中间节点。这种选择性负载平衡可以是有益的，因为它最小化了穿过直接链路的业务延迟。它可以仅针对属于特定业务优先级的业务来使用。

多个等级的优先级可以用于避免在每个负载平衡实体处的跨节点拥塞和反压。反压可以在多个等级处出现，例如全局反压，每目的节点反压和每目的接口反压。反压也可以按照优先级进行。全局反压控制从转发节点到切换节点的所有业务。在目的节点处的反压控制注定给特定节点的业务。每目的接口反压控制注定给特定节点的特定接口的业务。它也可以按照优先级或者较高粒度进行。较高粒度的QoS的示例在于使用目的端口和COS的组合的队列或者较高粒度例如每服务队列。

随着链路数量和链路容量而变化的分布式无交换机互连系统

根据本公开的一些实施例，系统可以支持具有不同链路数量和不同链路容量的节点。图8示出具有不同容量的链路的分布式无交换机互连系统。在图8中，节点820,825,826以及827中的虚线813表示具有较高容量的链路。具有较高容量链路的节点可以创建具有较高容量链路的高速连通和具有较低容量链路的低速连通。

图9示出了分布式无交换机互连系统。在图9中，节点920,925,926以及927中的双虚线914表示较高数量的链路。具有较高数量的链路的节点可以创建具有较高总容量的任意点对点的连通，同时维持到具有较小数量的链路的其它节点的连通。

重新路由业务以避免不起作用的链路

因为源节点和目的节点之间的业务不限于特定链路，所以即使当特定链路不起作用或者拥塞时系统仍可以执行。可以重新路由该业务，以使用剩余功能链路。根据本公开的实施例，系统中的所有节点以每一固定间隔而向所有其它节点发送存活消息。可替换地，链路失败也可以由其它手段例如光学链路上的光损失来检测。

当链路失败时或者当链路拥塞时，节点将未能接收存活消息。当接收节点未能接收存活消息时，该接收节点可以向传输存活消息的节点发送消息。来自该接收节点的消息报告链路不起作用。可替换地，接收节点可以发送确认存活消息的接收的返回消息。当传输节点未接收到响应于第一存活消息的返回消息时，传输节点也检测到链路不起作用。

当检测到不起作用的链路时，可以广播两个消息。不起作用链路的接收节点可以向所有其它节点广播消息以指示不使用不起作用的链路发送数据。如下面解释的，不起作用链路的传输节点也可以向所有其它节点广播相同消息以向其它节点指示不使用不起作用的链路递送数据。

当不起作用的链路变为起作用时，链路的接收节点和传输节点可以广播两个单独消息，以指示链路起作用。通过具有从两个不同源发出的、指示了链路状态变化的消息，系统增加了消息的递送的可靠性。

图10示出具有不起作用的链路的分布式无交换机互连系统的示例。在该示例中，从节点1021到节点1022的链路不起作用。首先，节点1022识别出没有存活消息从节点1021被接收。然后，节点1022向节点301发送消息，以指示它们之间的链路不起作用。节点1022向所有节点发送广播消息，以指示不通过节点1021向节点1022发送数据。节点1021也向所有其它节点发送相同广播消息。所有其它节点更新它们的动态业务分布逻辑，以停止通过节点1021向节点1022发送数据。

动态业务分布逻辑使用被制得由反压机制可用的系统上的链路状态和缓冲状态，以在系统上尽可能均匀地分布业务。通常，当每个源节点基于可用链路向每个目的节点尽可能相等地分布业务时，实现了全局负载平衡。可用链路可以包括直接链路和通过中间节点的间接链路。然而，如果较小间接链路可用，则动态业务分布逻辑通过间接链路发送较小部分的业务。动态业务分布逻辑使用加权轮循来控制通过多个路由递送给目的地的部分业务。当网络中的节点向另一个节点发送数据时，源节点避免使用从节点1021至1022的链路并且使用其它功能链路来重新分布数据。

业务分布逻辑可以保持列出每个链路的可用性的表。这种表的示例包括每个目的节点一行。每行包含针对目的地而可用作中间节点的节点的列表，该中间节点具有用于每个这种中间节点的链路的列表。该表也可以包括针对每个目的地的直接连接的链路的列表。表中的每个链路可以使用其源节点和目的节点来标记。该表可以包括直接链路和到目的地的间接链路。

表中的每个链路的状态可以自动更新，如上所述，或者由控制面手动更新。控制面为在节点的CPU上运行的处理并且控制系统的操作。用于控制面的输入可以为操作员配置指令和与系统状态有关的硬件指示。自动更新可用于检测和修复系统中的错误，并且手动更新可用于维护。

当在特定链路上希望维护时，控制面可以禁用或者使能链路。当执行维护或者更新时，操作员可以通过手动更新所述表来手动禁用特定链路。在完成维护之后，操作员可以更新所述表且使能链路。当需要更新多个链路时，可以按照上面序列来逐一地替换链路。该功能可以简化引入额外节点的过程。

PassCOM

根据本公开的方面，提供了无源连通光学模块。PassCOM容易以全网状连接多个节点且添加节点到现有全网状网络。PassCOM的物理形状或者连接中间相可以类似于传统交换机。然而，与传统交换机不同，PassCOM为无源装置、不包含电子组件。

在图11中，以全网状连接了六个节点1121-1126。全网状连通需要至少N(N-1)/2个数量的链路1150，其中，N为节点的数量。具有用于以全网状连接节点的N(N-1)/2个链路可能难以物理建立系统且添加节点到现有系统。

图12示出使用PassCOM连接多个节点的系统的示例。PassCOM 1201连接节点1221-1126。每个链路组1260连接单个节点到PassCOM 1201。包括回路环路或者到自身的环路，该配置需要在节点和PassCOM 1201之间每个链路组1260有N个链路。例如，在图12中，每个链路组1260包括5个链路。总之，在系统中存在至少N²个链路。可以使用每链路组的超过N个链路，以提高全部带宽和弹性。然而，链路的物理配置是更简单的，因为所有链路以PassCOM 1201的形式连接到中心集线器。

PassCOM可以包括N个前端连接器、K个插头、K个后端连接器和用于将前端连接器和后端连接器连接的内部光纤。图13示出连接四个节点1321-1324的PassCOM 1301。PassCOM 1301包含四个前端连接器1331-1334，并且外部链路组1360连接节点到它们对应的前端连接器。内部链路1370连接四个前端连接器1331-1334中的每一个到后端连接器1381-1384中的每一个。后端连接器1381-1384接收可替换插头1341-1344。由可替换插头1341-1344组成的插头集合提供到识别的前端连接器的连接。

插头1341提供回路连接。在一些情况下，在所有可能路径上保持相同延迟是重要的。回路连通可以使所有路径完全一样。节点可以在内部向自身发送数据或者通过PassCOM发送数据。当节点在内部向自身发送数据时，节点必须实现用于向自身发送数据的单独逻辑。而且，用于在内部接收数据的潜在因素与用于通过PassCOM接收数据的潜在因素不同。此外，内部环路可能需要额外的线、多路复用器、多路分用器以及存储器，以处理潜在拥塞。因此，可以更容易向PassCOM发送所有数据并且通过回路连接让PassCOM路由回来。插头1342连接两个前端连接器1331和1332且也连接两个前端连接器1333和1334。插头1343连接两个前端连接器1331和1333且也连接两个前端连接器1332和1334。同理，插头1344连接两个前端连接器1331和1334且也连接两个前端连接器1332和1333。

根据本公开的方面，每个前端连接器连接到每个后端连接器。这样，所有节点可以以最平衡方式以全网状连接。例如，当一个插头断开时，每个节点损失相同数量的链路连接。针对PassCOM 1301而言，当移除任何给定插头时，每个节点损失一个连接。因此，每个节点存在被平衡的带宽退化。

虽然由于插头断开而部分损失物理连通，但是逻辑连通(即在节点之间发送包的能力)由于两次跳跃切换方法而仍然存在。

根据本公开的方面，K个插头1341-1344的插头集合以全网状拓扑而物理连接节点。所有节点至节点连接可以具有相等带宽或者不同带宽。此外，每个连接可以使用相同数量的链路1370或者不同数量的链路，以连接一对节点。

PassCOM 1301具有相同数量的前端连接器、后端连接器和插头。然而，PassCOM不限于这种配置。PassCOM可以具有任何数量的前端连接器、后端连接器和插头。

在实施例中，来自系统中的所有节点的接收链路和传输链路的束(bundle)连接到前端PassCOM连接器。插头集合将来自一个节点的一个或者多个传输链路连接到另一个节点中的相同数量的接收链路。接收链路和传输链路可以为光纤。内部链路也可以为光纤。接收链路和传输链路分成K个组，并且内部链路将每组接收链路和传输链路连接到其对应的K个插头。

PassCOM可以与内部节点间切换系统一起使用，在该系统中，每个节点能够向另一个节点发送数据。源节点可以通过特定传输链路发送数据，该特定传输链路连接到另一个节点的接收链路。

PassCOM的一个优势是其简单更新处理。当增加节点的数量时，操作员可以通过将来自新节点的链路连接到PassCOM的前端连接器来连接新节点到现有PassCOM。因为所有链路连接到PassCOM而不是连接到单独节点，所以走线过程是简单的。因为改变插头集合改变了PassCOM的连通，所以静态连接内部链路。换言之，内部链路保持相同。

更新过程可以需要替换插头，因为PassCOM可以使用用于连接不同数量节点的不同插头集合。具有连接任何两个节点的更多链路可以增加系统的带宽。在全网状连通中，比为本地超速，其中，M为系统中的可用链路的数量，C_L为链路的容量，并且C_N为节点的容量(即处理容量加上平均通过容量)。当本地超速高于1时，系统能够其节点的全部处理容量。期望的是，保持本地超速高于阈值即大于1。

当链路容量较大或者节点容量较小使得本地超速大于1时，可以使用仅局部业务损失或者无损失来实行更新或者降级系统规模(即节点的数量)。该业务损失将取决于M的数值。

图14A示出了具有插头集合(插头1441-1444)的PassCOM，该插头集合即与如图13中所用的具有插头1341-1344的插头集合相同但是连接两个节点。两个节点1421和1422分别连接到两个前端连接器1431和1432。在插头1441-1444中，仅插头1442提供节点1421和节点1422之间的连接。此外，插头1441是用于提供回路连接的唯一插头。

相反，图14B示出具有不同插头集合(插头1446-1449)的PassCOM。在该示例中，插头集合以下面的方式来限定：两个节点1421和1422由两个链路彼此连接且每个节点具有两个回路链路。两个节点1421和1422分别连接到两个前端连接器1431和1432。在插头1446-1449中，两个插头1448和1449连接节点1421和节点1422，使带宽加倍。在这种设置中，两个插头1446和1447允许回路连接。

使用PassCOM来示出该示例，该PassCOM具有两个前端连接器和四个后端连接器，N＝2和K＝4。然而，针对N小于K，N和K的任何组合是可能的。即使当N小于K时，或者当节点的数量小于后端连接器的数量时，可以通过超过一个链路连接成对节点来实现相同总互连带宽，如图14B所示。

取决于节点之间最小需要的带宽，可以使用较小数量的连接来连接节点。例如，如果一个链路的带宽足够连接1421和1421，则使用1441-1444提供足够带宽。所以PassCOM不需要使用具有插头1446-1449的插头集合。

除了现有节点1421和1422之外，当添加节点到具有插头1446-1449的PassCOM 1401时，操作员将改变插头。前端连接器1433和1434未连接到前端连接器1431和1432，因为具有插头1446-1449的插头集合被设计为连接两个节点。因此，最新引入的节点将未连接到现有节点1421和1422。反而，当添加节点时，可以使用具有插头1441-1444的插头集合。

具有PassCOM的路由器和分布式无交换机切换

在分布式无交换机互连系统上使用PassCOM的益处在于：当允许数据间接转移时可以在没有业务中的主要中断的情况下更新系统。首先，操作员可以向所有节点发送命令，以停止使用连接到将被替换的插头的链路。在操作员替换插头之后，操作员可以向所有节点发送命令，以开始使用链路。

在传统全网状网络上，在更新过程期间将停止使用了更新连接的业务。然而，在允许多个跳跃转移的被提议的分布式无交换机系统中，业务可以继续流动。首先，新节点连接到PassCOM的前端连接器。当替换PassCOM中的插头时，通过作为中间节点的新节点来重新路由使用了被替换的插头的业务。

PassCOM可以以较小数量的较大插头(即具有较大数量的连接的插头)、更多数量的较小插头(即具有较小数量的连接的插头)或者较小插头和较大插头的组合来操作。无关乎插头的尺寸，可以实现相同连通。然而，在系统更新(即增加或者移除节点)期间，存在针对使用不同尺寸的插头的协定。当移除插头时，系统损失带宽的1/K^th部分。当插头是不可用时，系统使用全带宽的(K-1)/K^th部分。如果使用较大插头或者如果插头的数量K较小，则较宽减少较大。然而，使用较大插头来连接更多链路需要较小数量的步骤来完成更新。当使用较小插头，相反是真的。当替代较小插头时，带宽减少较小，但是用于更新系统的步骤的数量由于较大数量的所需操作而较大。

图15示出具有较大插头1541和1542的PassCOM 1501。连接与图13中的具有插头1341-1344的PassCOM 1301一致，但是插头1541和1542单独连接的链路是单独插头1341-1344的链路的两倍。如图15所示，使用较大数量的连接可以插入较大插头。插头1541插入到后端连接器1581和1582中，并且插头1542插入到后端连接器1583和1584中。在该示例中，两个后端连接器接收一个插头。然而，超过两个后端连接器可以接收一个插头。

图16示出具有连接四个节点1621,1622,1623和1624的两个前端连接器1631和1632的PassCOM 1601。在这种情况下，每个连接器连接两个节点。然而，本公开不限于该图中示出的配置。前端连接器和节点的任何组合是可能的。如所呈现的，节点的数量可以小于前端连接器的数量。可替换地，节点的数量可以大于前端连接器的数量。

PassCOM的失败概率较低，因为它具有无源组件。然而，为了进一步保护系统免于PassCOM失败，连通可以拆分成多个PassCOM，多达插头的数量。在实施例中，所有插头连接到两个或者多个PassCOM。图17示出连接到PassCOM1701和1702的节点1721-1726。

图18示出在前端连接器和PassCOM 1801a和1801b中的插头之间如何连接链路的逻辑示意图。每个前端连接器连接到来自两个PassCOM的两个前端连接器。例如，节点1821,1822,1823,1824分别连接到两个前端连接器1831a和1831b，1832a和1832b，1833a和1833b以及1834a和1834b。PassCOM 1801a中的内部链路将前端连接器1831a-1834a连接到后端连接器1881a-1884a。同理，PassCOM1801b中的内部链路将前端连接器1831b-1834b连接到后端连接器1881b-1884b。

本公开从本公开的阅读中对于本领域的技术人员将是显而易见的，但是本公开可以除了上面具体公开的那些之外的形式来实现。因此，上述特定实施例被认为为示例性的而非限制性的。本领域的技术人员使用仅仅日常实验将承认或者能够确定相当于本文所述具体实施例的大量等同物。本发明的范围如所附带的权利要求以及等同物给出，而不限于前述描述中包含的示例。

Claims

1.一种方法，包括：

在全网状分布式无交换机互连系统中由第一处理引擎接收指示了目的处理引擎的数据；

在所述全网状分布式无交换机互连系统中由所述第一处理引擎确定所述第一处理引擎是否为所述目的处理引擎；

如果所述第一处理引擎是所述目的处理引擎，则由所述第一处理引擎处理数据；

如果所述第一处理引擎不是所述目的处理引擎，则在所述全网状分布式无交换机互连系统中由所述第一处理引擎确定是向所述目的处理引擎发送所述数据还是向中间处理引擎发送所述数据；并且

如果所述第一处理引擎不是所述目的处理引擎，则由所述第一处理引擎基于所述确定来向所述目的处理引擎传输所述数据或是向所述中间处理引擎传输所述数据。

2.根据权利要求1所述的方法，其中，所述数据包括至少一个主信元，所述主信元包括至少一个包。

3.根据权利要求2所述的方法，其中，所述至少一个主信元包含具有队列序号的报头。

4.根据权利要求3所述的方法，其中，处理所述数据包括：

基于所述队列序号来排序所述至少一个主信元；

提取所述至少一个包；并且

向耦接到所述第一处理引擎的处理单元发送所述至少一个包。

5.根据权利要求4所述的方法，还包括：由所述第一处理引擎形成包括至少一个包的至少一个主信元。

6.根据权利要求5所述的方法，还包括：基于链路容量、处理引擎容量、链路的数量和中间处理引擎的数量中的至少一个来确定所述主信元的尺寸。

7.根据权利要求5所述的方法，其中，形成包括：添加所述至少一个包到所述至少一个主信元直到超时参数到期为止。

8.根据权利要求5所述的方法，其中，形成包括：基于可用包的数量和递送的紧急性来添加所述至少一个包到所述至少一个主信元。

9.根据权利要求1所述的方法，其中，还包括：由所述第一处理引擎从所述数据中形成多个主信元；并且

其中，所述第一处理引擎从耦接到所述第一处理引擎的处理单元接收所述数据；

其中，传输包括：向多个中间处理引擎传输多个主信元；并且

其中，所述多个主信元包含不同包。

10.根据权利要求1所述的方法，还包括：

如果所述第一处理引擎未能从所述第二处理引擎接收存活消息，则由所述第一处理引擎广播：将所述第一处理引擎耦接到第二处理引擎的第一链路不起作用。

11.根据权利要求1所述的方法，还包括：

由所述第一处理引擎向第二处理引擎发送第一存活消息；

如果所述第一处理引擎未能从所述第二处理引擎接收到响应于第一存活消息的消息，则由所述第一处理引擎广播：将所述第一处理引擎耦接到第二处理引擎的第一链路不起作用。

12.根据权利要求1所述的方法，还包括：

由所述第一处理引擎向第二处理引擎发送第一存活消息；

如果所述第一处理引擎从所述第二处理引擎接收到指示出接收所述第一存活消息失败的消息，则由所述第一处理引擎广播：将所述第一处理引擎耦接到所述第二处理引擎的第一链路不起作用。

13.一种在全网状分布式无交换机互连系统中的设备，包括：

处理单元；和

第一处理引擎，其耦接到所述处理单元并且被配置为经由所述全网状分布式无交换机互连系统来接收指示了目的处理引擎的数据；

其中，所述第一处理引擎被配置为，在所述全网状分布式无交换机互连系统中如果所述第一处理引擎是所述目的处理引擎则处理所述数据且将所处理的数据递送到所述处理单元；

其中，所述第一处理引擎被配置为，如果所述第一处理引擎不是所述目的处理引擎，则在所述全网状分布式无交换机互连系统中向所述目的处理引擎传输所述数据或是向中间处理引擎传输所述数据。

14.根据权利要求13所述的设备，其中，所述第一处理引擎包括汇编单元，所述汇编单元被配置为，如果接收到的数据从所述处理单元被接收到，则基于所述接收到的数据来形成包括至少一个包的至少一个主信元。

15.根据权利要求14所述的设备，其中，所述第一处理引擎被配置为向多个中间处理引擎传输所述至少一个主信元。

16.根据权利要求13所述的设备，其中，所述第一处理引擎包括重排序单元，所述重排序单元被配置为重排序从第二处理引擎接收到的至少一个主信元并且将所述接收到的主信元去汇编成至少一个包。

17.根据权利要求13所述的设备，其中：

所述第一处理引擎被配置为，如果所述第一处理引擎未能从所述第二处理引擎接收存活消息，则广播：将第二处理引擎耦接到所述第一处理引擎的第一链路不起作用。

18.根据权利要求13所述的设备，其中：

所述第一处理引擎被配置为向第二处理引擎传输第一存活消息；

所述第一处理引擎被配置为，如果所述第一处理引擎未能从所述第二处理引擎接收到响应于第一存活消息的消息，则广播：将所述第一处理引擎耦接到第二处理引擎的第一链路不起作用。

19.根据权利要求13所述的设备，其中，

第一处理引擎被配置为向第二处理引擎传输第一存活消息；

第一处理引擎被配置为，如果所述第一处理引擎从所述第二处理引擎接收到指示出接收所述第一存活消息失败的消息，则广播：将所述第一处理引擎耦接到所述第二处理引擎的第一链路不起作用。