CN103765833B

CN103765833B - 用于无限带宽织状结构中的启用gid的交换的方法及装置

Info

Publication number: CN103765833B
Application number: CN201180073002.8A
Authority: CN
Inventors: M·S·赫弗蒂
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2011-08-23
Filing date: 2011-08-23
Publication date: 2017-07-04
Anticipated expiration: 2031-08-23
Also published as: CN103765833A; US9288160B2; WO2013028175A1; US20130259033A1

Abstract

描述了用于在无限带宽织状结构中使用GID交换来扩展无限带宽子网的大小的方法、系统和装置。无限带宽子网被界定为包括多个局部标识符（LID）域，每一局部标识符域都包括经由一个或多个LID交换机互连的多个节点。各LID域又经由一个或多个GID交换机互连。使用给定的LID域的LID交换机，可以在该域中的各节点之间传输消息。通过经由一个或多个GID交换机路由消息，可以在分离的LID域中的各节点之间传输消息。在各种实施例中，GID交换机可以被实现为也作为LID交换机操作，并基于所选择分组首部字段执行路由。

Description

用于无限带宽织状结构中的启用GID的交换的方法及装置

技术领域

本发明的领域通常涉及计算机系统接口，且具体地但不排他地涉及用于增强无限带宽织状结构(fabric)的可扩展性的技术。

背景技术

计算机系统开发中的进展已经引起两个必然的结果：越来越快的处理能力和越来越大的数据存储需求。为了支持这些特征，已经开发了各种数据传输接口和关联的协议。这些协议包括在给定计算机系统内部或通常在其本地实现的互连和接口，例如包括串行ATA、USB(通用串行总线)、火线和RapidIO的串行互连以及PCI Express(PCI高速)。同样已经开发外部数据传输互连和接口(用于与本地和远程计算资源两者通信)，包括以太网、光纤通道和同步光网络。

用于在异构计算环境中支持大型和/或分布式的数据存储高速接口的示例是无限带宽。无限带宽体系结构(IBA)规范描述了用于互连处理器节点和I/O节点以便形成系统区域网络的一阶互连技术(first order interconnect technology)。该体系结构独立于主机操作系统(OS)和处理器平台。无限带宽是被用于高性能计算和企业数据中心的交换织状结构通信链路。其特征包括高的吞吐量、低的延迟时间、服务品质和故障转移，且它被设计成是可扩展的。IBA规范定义在处理器节点和诸如存储设备等的高性能I/O节点之间的连接。

围绕点对点的交换I/O织状结构而设计IBA，由此由级联交换设备互连端节点设备(其范围可以是从类似单片SCSI或以太网适配器的非常廉价的I/O设备到非常复杂的主机计算机)。IBA互连的物理性质支持两种主要环境，且具有适用于这些环境的带宽、距离和成本优化：

模块到模块，如支持I/O模块插件插槽的计算机系统所代表的；机壳到机壳，如在数据中心环境中的互连计算机、外部存储系统和外部LAN/WAN访问设备(例如交换机、集线器和路由器)所代表的。

诸如无限带宽等的高速互连的可用性已经促进使用高性能计算机(HPC)群集来执行先前保留给超级计算机的计算分析。在HPC群集方法下，数千的“商用”计算机和/或服务器可以互连起来以便在大规模并行体系结构中执行计算分析。此外，HPC群集实现的架构往往是高度可扩展的，引起几十万甚至上百万的已互连的计算机和/或由一个或多个计算机主控的处理节点的潜在使用。然而，当前的无限带宽体系结构规范将单个无限带宽子网的大小限制为大约48,000个节点。因此，以与现有的无限带宽软件和硬件兼容的方式支持具有大于48,000个节点的子网是有益的。

发明内容

本申请的一个实施例涉及一种无限带宽子网，包括：多个无限带宽局部标识符(LID)域，每一LID域包括多个节点，所述多个节点被互连为经由至少一个LID交换机与所述LID域中的其他节点通信；以及至少一个无限带宽全局标识符(GID)交换机，每一GID交换机被连接为与至少两个LID域中的每一个中的至少一个LID交换机通信，其中，所述LID交换机和所述至少一个GID交换机被配置为在所述多个节点之间路由消息，以使得在LID域内的各节点之间的通信采用至少一个LID交换机，且在不同的LID域中的各节点之间的通信采用至少两个LID交换机和至少一个GID交换机，并且所述GID交换机中的每一个采用具有多个字段的GID交换机路由表，所述多个字段包括目的地GID(DGID)字段和新的目的地LID(DLID)字段，其中，通过以下方式经由GID交换机路由各分组：检查分组DGID，并基于所述GID交换机路由表中的相应条目将新的DLID地址指派给所述分组，并将所述分组路由到针对具有对应于所述分组DGID的DGID值或DGID范围的路由表条目定义的相应端口。

本申请的另一实施例涉及一种全局标识符(GID)交换机，包括：分组路由模块，当在包括多个局部标识符(LID)域的无限带宽子网中实现时，所述分组路由模块可操作为允许所述GID交换机执行GID交换操作，每一LID域包括被互连为经由至少一个LID交换机与所述LID域中的其他节点通信的多个节点；第一端口和第二端口，所述第一端口和第二端口被配置为支持在所述GID交换机和第一LID交换机和第二LID交换机之间路由分组；以及GID交换机路由表，其具有多个字段，所述多个字段包括目的地GID(DGID)字段和新的目的地LID(DLID)字段，其中，通过以下方式经由所述GID交换机路由源自第一LID域和去往第二LID域的分组：检查分组DGID并基于所述GID交换机路由表中的相应条目将新的DLID地址指派给所述分组，并将所述分组路由到针对具有对应于所述分组DGID的DGID值或DGID范围的路由表条目定义的相应端口。

本申请的又一实施例涉及一种用于实现无限带宽子网的方法，包括：实现包括被链路为经由至少一个全局标识符(GID)交换机通信的多个局部标识符(LID)域的无限带宽子网，每一LID域包括被互连为经由至少一个LID交换机通信的多个节点；使用在给定LID域中实现的至少一个LID交换机，在所述给定LID域内的各节点之间路由消息；以及使用第一LID域和第二LID域中的每一个中的各自的LID交换机和位于所述第一LID域和第二LID域之外的至少一个GID交换机，在第一LID域和第二LID域中的各节点之间路由消息，其中每个GID交换机使用GID交换机路由表，所述GID交换机路由表具有多个字段，所述多个字段包括目的地GID(DGID)字段和新的目的地LID(DLID)字段，其中，通过以下方式经由所述GID交换机路由各分组：检查分组DGID并基于所述GID交换机路由表中的相应条目将新的DLID地址指派给所述分组，并将所述分组路由到针对具有对应于所述分组DGID的DGID值或DGID范围的路由表条目定义的相应端口。

附图说明

将更容易明白前述各方面和本发明的多种附带优点，这是由于当结合附图阅读时，通过参考下列详细描述，更好地理解前述各方面和本发明的多种附带优点，附图中，贯穿各视图，除非以另外方式指定，否则相同的标号指代相同的部分：

图1是阐释广义无限带宽系统区域网络的示意性框图；

图2示出包括经由一对GID交换机互连的多个LID域的无限带宽子网的广义视图；

图2a示出图2的无限带宽子网的替代配置，还包括在GID交换机之间的一对LID交换机；

图3是阐释根据一种实施例用于实施LID交换和GID交换的选择性分组首部字段的框图；以及

图4是阐释具有各自的LID交换路由表和GID交换路由表的LID交换引擎和GID交换引擎的框图。

具体实施方式

在此描述在无限带宽织状结构中使用GID交换来扩展无限带宽子网的大小的方法、系统和装置的实施例。在下列描述中，阐释众多特定的细节，以提供对本发明的各实施例的透彻理解。然而，相关领域中的技术人员将认识到，无需一个或多个特定细节，或借助于其他方法、组件、材料等等，就可以实践本发明。在其他实例中，不详细示出或描述公知的结构、材料或操作，以避免模糊本发明的各方面。

贯穿本说明书，对“一种实施例”或“一个实施例”的引用意味着本发明的至少一种实施例中包含结合该实施例描述的具体的特征、结构或特性。因而，贯穿本说明书，短语“在一种实施例中”或“在一个实施例中”在各种场合中的出现并不必定都是指相同的实施例。此外，在一个或多个各实施例中，具体的特征、结构或特性可以以任何合适的方式组合。

为清晰起见，各图中的个体组件在此也可以由图中它们的标签而非具体的标号指代。例如，各种图中节点或框的标记提供标识节点/框和/或其功能的信息；这样的信息不能单独用分离的标号来表达。另外，指代具体类型的组件(与具体的组件相对)的标号可以被示出为后面跟随着“(typ)”的标号(含义为“典型”)。应理解，这些组件的配置将是可能存在但出于简单和清晰起见在附图中没有示出的类似组件的典型。

图1是阐释广义无限带宽系统区域网络(SAN)100的示意性框图。无限带宽体系结构规范第1卷，发行版1.2.1(本文称为当前IBA规范)中详细描述了SAN 100和相关方面，该规范可以在www.infinibandta.org处从无限带宽贸易协会(the Infiniband TradeAssociation)下载。IBA定义用于连接多个独立的处理器平台(即，主机处理器节点)、I/O平台和I/O设备的SAN。这些在图1中一起被阐释为处理器节点102、104、106、RAID子系统108、I/O机壳110和112以及存储子系统114。IBA SAN是支持用于一个或多个计算机系统的I/O和处理器间通信(IPC)两者的通信和管理基础设施。IBA系统的范围可以是从带有一个处理器和几个I/O设备的小型服务器到安装有数百个处理器和数千个I/O设备的大规模并行超级计算机。此外，IBA的因特网协议(IP)友好的性质允许桥接到因特网、内联网，或连接到远程计算机系统。

IBA定义允许多种设备在受保护的、远程管理的环境中以高的带宽和低的延迟时间并发地通信的交换通信织状结构。由通过交换机116描绘的多个级联交换机促进在IBA子网内的通信，而通过例如由路由器118叙述的路由器促进在IBA子网之间的通信。IBA端节点可以在多个IBA端口上通信且可以利用通过IBA织状结构的多个路径。利用IBA端口和通过网络的路径的多样性来获得容错性和增加的数据传输带宽两者。

IBA SAN中的互连节点中的每一个提供无限带宽信道适配器接口。处理器节点采用例如由HCA接口120叙述的主机通道适配器(HCA)接口。I/O节点实现例如由TCA接口122叙述的目标通道适配器(TCA)接口。

由对物理传输层不可知的消息收发协议促进在节点之间的通信。消息收发入口被设计为支持现有的和将来的互连链路和协议两者，且因此，不指定链路的物理层的细节。因此，可以使用各种不同的物理互连体系结构和协议来实现IBA通信。

标准IBA消息地址使用两种类型的节点标识符：LID即局部标识符，以及GID即全局标识符。LID在子网内是本地的(即是说，在给定子网内的所有LID是唯一的，但分离的子网中的节点可以采用相同的LID)。相反，所有GID是唯一的。每一IBA端节点包括一个或多个HCA或TCA端口。每一端口又包括每个端口一个或多个GID，以及每个端口一个或多个LID。另外，由其生产商给每一HCA、TCA、交换机和路由器指派EUI-64 GUID。每一LID是16位层2地址，而每一GID是128位层3地址。

LID 16位层2地址被用于在IBA子网内的分组路由。按照当前IBA规范，可以将来自LID地址空间的大约48,000个地址指派给端节点。然而，存在将多于48,000个节点连接到单个IBA子网以便支持更大应用的不断增长的期望。

更详细地，如下定义LID地址空间：

LID 0x0000被保留。

LID 0xFFFF被定义为许可性DLID。许可性DLID指示该分组去往接收它的终端端口上的QPO。

单播LID范围是被定义为0x0001到0xBFFF的单调标识符(flat identifier)空间。

多播LID范围是被定义为0xC000到0xFFFE的单调标识符空间。

根据在此公开的实施例的各方面，定义了在IBA层3GID寻址上操作的子网交换方案。在该方案下，子网管理器把子网分割成多个LID域，且给每一LID域指派一个或多个LID。在一个域内，给各节点指派由当前IBA规范定义的LID；然而，只要各节点驻留在不同的LID域中，且不将该LID指派给域(本身)，就可以将该LID指派给多个节点。然后，使用启用GID的交换机来连接各LID域。启用GID的交换机与现有IBA交换标准兼容，但执行两个附加操作。它在LID和GID之间转换，且可以基于GID地址转发分组。

图2示出广义视图无限带宽子网，其包括经由一对GID交换机208和210互连的多个LID域200、202、204和206。每一LID包括连接到一个或多个LID交换机214的多个节点212。图2a示出一种替代配置，其中在GID交换机208和210之间使用了LID交换机216和218。

IB子网管理员(SA)按照由当前IBA规范定义来编程在LID域内的所有交换机。即是说，在LID域内的路由是基于LID，LID对所有当前的交换机和NIC(网络接口卡)起作用。在各域之间的路由可以被编程为使用LID或GID寻址。不同于无限带宽路由器，基于GID的交换不对层3首部(全局路由器首部或GRH)中的其他字段起作用。在大多数情况中，除了在分组从另一LID域进入目的地LID域(例如，要求跨域路由)时，都使用基于LID的路由。

图3示出根据一种实施例的以便支持LID交换和GID交换的所选择的分组首部格式信息。为清晰起见，仅示出所选择的字段——尚未示出的无限带宽分组首部结构和首部字段的细节可见于当前IBA规范。用于LID交换的两个字段包括DLID(目的地LID)和SL(服务级)值(在一种实施例中，这是可选的)，且主要的路由是基于DLID。在采用GID交换时，相关的字段是DLID、SL(在一种实施例中是可选的)和DGID(目的地GID)字段。

图4示出包括示例性LID交换机路由表404和示例性GID交换机路由表406的相应部分的LID交换引擎400和GID交换引擎402。在一种实施例中，每一LID交换机采用包括类似于LID交换机路由表404的路由表的LID交换引擎400。在一种实施例中，GID交换机采用LID交换引擎400和包括类似于GID交换机路由表406的路由表的GID交换引擎402两者。

LID交换引擎路由表404示出三个条目，其具有相应的DLID范围和/或值。在所阐释的示例中，SL值由指示该值无关紧要的*描述。然而，在实现了基于服务级的路由的LID交换机实现中，路由表404中可以存在定义应如何路由相应的分组的其他条目。第一行中的值指示将1-100的DLID值指派给端口2，同时将101-200的DLID值指派给端口3，且300的DLID值标识应在目的地交换机处采用GID交换。

GID交换引擎路由表406用来将进入到域LID和/或DGID的源(节点)LID(SLID)地址值映射成目的地(节点)LID值。GID交换引擎路由表406描述两个条目。在第一条目下，给从“10.”开始的DGID地址指派新的SLID值1和新的DLID值300。在第二条目下，具有从“11.”开始的DGIG地址的消息维持相同的SLID且给其指派新的DLID值100。通常，GID交换引擎可以直接地选择对外端口(例如，通过将端口字段添加到交换引擎路由表406(未示出))，或者它可以将经修改的分组(例如，具有新的DLID的分组)返回给LID交换引擎400以供进一步的路由处理。

在启用GID的交换机转发带有对应于邻近LID的DLID的分组(即，无论是在邻近LID域中或还是在所有LID域外，LID是都一个跃矩(one hop)远)时，它检查GRH，提取目的地GID，并与GID路由表进行比较以基于该表中合适的一行中的相应的匹配参数(即，字段值)确认对外端口和最终目的地LID。

GID到LID的转换提供了与现有软件和硬件的兼容性。基于GID的交换机在进入或离开关联的LID域时转换源LID和目的地LID。被附加到分组的源LID域的启用GID的交换机代替了匹配源端口的LID的分组的源LID，且该LID被指派给源LID域。以类似的方式，被连接到目的地LID域的启用GID的交换机代替了匹配目的地LID域的目的地LID，且该LID被指派给实际目的地GID。

通常，可以经由使用基于硬件的逻辑、基于软件的逻辑或两者的组合的相应嵌入式逻辑来实现在此描述的LID和GID交换机的操作。此外，可以使用可在通用和/或专用处理器上执行的相应指令来实现基于软件的逻辑，或者，基于软件的逻辑可以包括可由在主机计算设备上运行的虚拟机执行的指令。这些指令可以驻留在LID或GID交换机上的非易失性存储介质中(例如，在只读存储器中、在闪速存储器或其他固态存储设备中、或者在盘驱动器或光驱动器上)，或者在网络上下载并且在运行时操作期间被存储在存储器中。通常，可以经由相关领域中的那些技术人员将认识到的ASIC、编程逻辑阵列、FPGA和其他嵌入式逻辑电路实现基于硬件的逻辑。

在此公开的各实施例的各方面可以被实现为计算机程序产品和/或相关的软件组件，该计算机程序产品和/或软件组件可以包括其上存储有指令的一个或多个机器可读介质，这些指令可以被用来将计算机(或其他电子设备)编程为执行根据本发明的过程。机器可读介质可以包括但不限于软盘、光盘、CD-ROM和磁-光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪速存储器或适用于存储电子指令的其他类型的介质/机器可读介质。此外，也可以作为计算机程序产品而下载用于实现在此讨论的操作的指令，其中，可以经由通信链路(例如，调制解调器或网络连接)通过在载波或其他传播介质中实现的数据信号将程序从远程计算机(例如，服务器)传输到请求计算机(例如，客户机)。

本发明的所阐释的实施例的以上描述(包括摘要中所描述的内容)不旨在是详尽的或将本发明限制为所公开的确切形式。尽管出于说明性目的在此描述了本发明的特定的实施例和示例，但相关领域中的技术人员将认识到，在本发明的范围内的各种等效修改是可能的。

根据上述详细描述，可以对本发明进行这些修改。在下面的权利要求书中使用的术语不应当被解释为将本发明限制为在本说明书中公开的具体实施例和附图。相反，本发明的范围将完全由下列权利要求书确定，下列权利要求书应根据权利要求解释的既定原则来解释。

Claims

1.一种无限带宽子网，其特征在于，包括：

多个无限带宽局部标识符(LID)域，每一LID域包括多个节点，所述多个节点被互连为经由至少一个LID交换机与所述LID域中的其他节点通信；以及

至少一个无限带宽全局标识符(GID)交换机，每一GID交换机被连接为与至少两个LID域中的每一个中的至少一个LID交换机通信，

其中，所述LID交换机和所述至少一个GID交换机被配置为在所述多个节点之间路由消息，以使得在LID域内的各节点之间的通信采用至少一个LID交换机，且在不同的LID域中的各节点之间的通信采用至少两个LID交换机和至少一个GID交换机，并且

所述GID交换机中的每一个采用具有多个字段的GID交换机路由表，所述多个字段包括目的地GID(DGID)字段和新的目的地LID(DLID)字段，其中，通过以下方式经由GID交换机路由各分组：检查分组DGID，并基于所述GID交换机路由表中的相应条目将新的DLID地址指派给所述分组，并将所述分组路由到针对具有对应于所述分组DGID的DGID值或DGID范围的路由表条目定义的相应端口。

2.如权利要求1所述的无限带宽子网，其特征在于，所述LID交换机中的每一个采用具有多个字段的LID交换机路由表，所述多个字段包括目的地LID(DLID)字段和端口字段，其中，通过检查分组DLID并将所述分组路由到由具有对应于所述分组DLID的DLID值或DLID范围的路由表条目界定的相应端口，经由LID交换机路由各分组。

3.如权利要求2所述的无限带宽子网，其特征在于，至少一个LID交换机路由表被配置为使得至少一个分组DLID值指示应经由GID交换机路由所述分组。

4.如权利要求1所述的无限带宽子网，其特征在于，所述GID交换机路由表还包括新的源LID(SLID)字段，其中，基于所述GID交换机路由表中具有匹配在GID交换机处接收的分组的分组首部中的相应字段值的值的相应条目，用新的SLID地址更新用于所述分组的SLID地址。

5.如权利要求1所述的无限带宽子网，其特征在于，GID交换机还包括具有多个字段的LID交换机路由表，所述多个字段包括目的地LID(DLID)字段和端口字段，其中，通过以下方式经由GID交换机路由各分组：检查分组DLID并且将所述分组路由到针对具有对应于所述分组DLID的DLID值或DLID范围的LID路由表条目定义的相应端口，或者如果所述LID路由表条目具有指示应执行GID交换的DLID值，就通过进一步使用所述GID交换机路由表来路由所述分组。

6.如权利要求1所述的无限带宽子网，其特征在于，GID交换机被配置为支持GID交换和LID交换功能。

7.如权利要求1所述的无限带宽子网，其特征在于，所述LID交换机允许在使用16位层2地址的LID域内路由分组。

8.一种全局标识符(GID)交换机，其特征在于，包括：

分组路由模块，当在包括多个局部标识符(LID)域的无限带宽子网中实现时，所述分组路由模块可操作为允许所述GID交换机执行GID交换操作，每一LID域包括被互连为经由至少一个LID交换机与所述LID域中的其他节点通信的多个节点；

第一端口和第二端口，所述第一端口和第二端口被配置为支持在所述GID交换机和第一LID交换机和第二LID交换机之间路由分组；以及

GID交换机路由表，其具有多个字段，所述多个字段包括目的地GID(DGID)字段和新的目的地LID(DLID)字段，其中，通过以下方式经由所述GID交换机路由源自第一LID域和去往第二LID域的分组：检查分组DGID并基于所述GID交换机路由表中的相应条目将新的DLID地址指派给所述分组，并将所述分组路由到针对具有对应于所述分组DGID的DGID值或DGID范围的路由表条目定义的相应端口。

9.如权利要求8所述的GID交换机，所述分组路由模块进一步可操作为允许所述GID交换机结合在所述GID交换机和LID交换机之间路由分组而执行LID交换操作。

10.如权利要求8所述的GID交换机，其特征在于，所述GID交换机路由表还包括新的源LID(SLID)字段，其中，基于所述GID交换机路由表中具有匹配所述分组的分组首部中的相应字段值的值的相应条目，用新的SLID地址更新用于在所述GID交换机处接收的分组的SLID地址。

11.如权利要求8所述的GID交换机，其特征在于，所述GID交换机还包括具有多个字段的LID交换机路由表，所述多个字段包括目的地LID(DLID)字段和端口字段，其中，通过以下方式经由所述GID交换机路由各分组：检查分组DLID并将所述分组路由到针对具有对应于所述分组DLID的DLID值或DLID范围的LID交换机路由表条目定义的相应端口，如果所述LID路由表条目具有指示应执行GID交换的DLID值，就通过进一步使用所述GID交换机路由表来路由所述分组。

12.如权利要求8所述的GID交换机，其特征在于，所述分组路由模块进一步可操作为允许所述GID交换机执行LID交换操作。

13.如权利要求12所述的GID交换机，其特征在于，所述LID交换操作支持使用16位层2地址在所述GID交换机和LID交换机之间路由分组。

14.一种用于实现无限带宽子网的方法，其特征在于，包括：

实现包括被链路为经由至少一个全局标识符(GID)交换机通信的多个局部标识符(LID)域的无限带宽子网，每一LID域包括被互连为经由至少一个LID交换机通信的多个节点；

使用在给定LID域中实现的至少一个LID交换机，在所述给定LID域内的各节点之间路由消息；以及

使用第一LID域和第二LID域中的每一个中的各自的LID交换机和位于所述第一LID域和第二LID域之外的至少一个GID交换机，在第一LID域和第二LID域中的各节点之间路由消息，

其中每个GID交换机使用GID交换机路由表，所述GID交换机路由表具有多个字段，所述多个字段包括目的地GID(DGID)字段和新的目的地LID(DLID)字段，其中，通过以下方式经由所述GID交换机路由各分组：检查分组DGID并基于所述GID交换机路由表中的相应条目将新的DLID地址指派给所述分组，并将所述分组路由到针对具有对应于所述分组DGID的DGID值或DGID范围的路由表条目定义的相应端口。

15.如权利要求14所述的方法，进一步包括在使用16位层2寻址方案的相同LID域中的各节点之间路由消息。

16.如权利要求14所述的方法，进一步包括实现至少一个GID交换机以便既作为GID交换机又作为LID交换机来操作。

17.如权利要求14所述的方法，进一步包括使用LID交换机路由表和GID交换机路由表来实现经由GID路由分组。