CN101599837B - 丛集系统的网络切换框架系统 - Google Patents

Abstract

一种应用于丛集系统的弹性网络切换框架系统，用以提供网络相关的连结选择弹性与系统可升级性。该网络切换框架系统包含可置换的网络切换器与网络接口，选择性的配置于基板上。具有类似特性的多种不同型式的连结协议，将能被使用在此网络切换框架系统的一个共同基础框架系统上。在该网络切换框架系统上也可使用一穿越卡，该穿越卡可作为网络接口，以直接与一外部网络连接。穿越卡可让该网络切换框架系统支持丛集系统的可升级性，借该而能支持大型丛集运算。

Description

丛集系统的网络切换框架系统

【技术领域】

本发明有关一种电脑系统的网络接口，特别是一种丛集系统的弹性网络切换框架系统。

【背景技术】

典型的丛集电脑通常使用专属的网络接口作为其丛集切换装置，并需在千兆位组以太网络(Gigabit Ethernet)、无限宽带(InfiniBand)、百亿字节以太网络(10 Gigabit Ethernet)等等不同类型的网络接口之间切换。某些具有弹性的丛集系统，如升阳刀锋8000系列(Sun Blade 8000 series)，升阳微系统公司(Sun Microsystems Inc.)的产品具有弹性化的隔间配置供其丛集切换装置与网络接口使用。不过，其被分配的实体空间太过狭小，且其需要完全不同的设计才能支持不同的网络接口。

在一个具有多个1U刀锋型(1U-blade；U指刀锋服务器领域常用的单一刀锋特定高度)计算节点(computation nodes)的典型丛集系统，网络接口控制器(Network Interface Controller，NIC；其中一种常见的型态即是俗称的网络芯片)通常被安装在主机板上，成为每个计算节点都有的一部份；且每个计算节点被提供至少一种网络接口，以连接此丛集系统的一个集中化网络切换模块(centralized network switch module)。其中网络切换模块与网络接口控制器间的实际连接方式，可通过传输线(cable)或印刷电路板(printed circuitboard)如背板(backplane)、中板(middle plane)或其它电路板类的连结方式。

图1显示丛集系统的一种典型实施例子。该系统包含一丛集网络切换器、连结装置(如传输线或电路板)、一主节点与四个计算节点。每个节点都内建有一专属的网络接口控制器；在该例中，网络接口控制器成为每个计算节点的一部份，通常因而影响了运算密度(computation density)。不过，为了要达到一个较为密实的设计，实体上每个计算节点并没有足够的空间可以允许多种网络接口，包括网络接口控制器与其对应的连接器。也就是说，每个节点仅使用单一型式的网络接口，而由其丛集网络切换器处理所有的网络切换工作。所以，如果要在该丛集系统中达到不同接口间的网络切换工作，例如千兆位组以太网络(Gigabit Ethernet)、无限宽带(InfiniBand)、百亿字节以太网络(10 GigabitEthernet)等等，通常需要截然不同的系统设计。

某些其它具有弹性的实施例子如升阳刀锋8000系列，将其系统输入输出接口(system Input/Output interface)如高速周边组件连接(PCI Express；Peripheral Component Interconnect Express)连接到一个高速网络模块(Network Express Module)。不过，所分配的实体空间过于狭小且此高速网络模块的功能也相当有限。基于所能使用的空间，大多数的网络接口设计需要被一起安装在各节点上；这样一来，如果系统改用其它不同的网络接口，整个模块将需要被重新设计。

上述的典型实施例子包括了以下的缺点：(1)大多数的系统设计是针对单一型式网络接口进行最佳化的；(2)在某些实施例子中，其网络接口对于计算节点的设计存在着严重的依赖性；(3)即使丛集系统具备空间配置上的弹性，被分配的实体空间也不足以支持多种网络接口。

【发明内容】

为解决上述现有的技术问题，本发明提供一种丛集系统的弹性网络切换框架系统。本发明基本上允许丛集系统支持不同的网络接口，以建立一弹性的丛集网络。本发明中，共享的网络接口插槽将能应用于不同的网络接口。

于本发明的一实施例中，网络切换框架系统应用于具有多个节点的丛集系统上，每一节点具有一第一系统输入输出总线和一第二系统输入输出总线，该网络切换框架系统包含基板、一或多个网络切换器、多个网络插槽，以及第一网络适配卡(或第二网络适配卡)。网络切换器安装于基板上；网络插槽也安装于基板上、且分别具有总和数量的差分对，网络插槽通过电路连接网络切换器，并分别经由系统输入输出总线连接各节点；第一网络适配卡或第二网络适配卡选择性的插置于网络插槽中其中一个，第一网络适配卡具有第一数量的差分对而第二网络适配卡具有第二数量的差分对，其中该总和数量的差分对集合为第一数量的差分对集合或第二数量的差分对集合的超集。

于本发明的一实施例中，网络切换器包含一切换插槽，该切换插槽可选择性的被插置一第一网络切换卡或一第二网络切换卡。该第一网络切换卡与第一网络适配卡兼容；而第二网络切换卡与第二网络适配卡兼容。

于本发明的一实施例中，网络切换框架系统更包含一穿越卡，其具有一连接器接口用以直接连接外部网络，而不需通过网络切换器。

简言之，本发明具有以下优点：

(1)允许根据不同功能进行空间配置；

(2)使「输入输出」与「网络」功能独立于「运算」功能之外；

(3)借由超集-子集关系的建立，使得信号分配可以最佳化；

(4)使用相近电子特性的组件以分享同一实体的路由路径；

(5)提供最佳化的实体配置与空间分配以达到不同的系统组态。

【附图说明】

图1绘示现有技术中丛集系统典型实例的系统方块图。

图2绘示本发明一较佳实施例所揭露的丛集系统与其弹性网络切换框架系统的方块示意图。

图3绘示本发明另一较佳实施例所揭露的网络适配卡与网络插槽的信号分配示意图。

图4绘示本发明另一较佳实施例所揭露的弹性网络切换框架系统的方块示意图。

【具体实施方式】

参请参照图2，根据本发明一较佳实施例的丛集系统10主要包括一主节点110与四个计算节点120，130，140，150，以及一网络切换框架系统200。类似规模的丛集系统，目前是被典型的实施于单一机壳内，如一个人超级电脑(personal supercomputer)。

每个节点110～150基本上包括两个处理器(CPU；central processingunits)111/121/131/141/151、系统内存(图未示)与南桥(SB；South bridge)112/122/132/142/152。节点110～150的系统框架系统取决于使用者需求，并不限定于本发明所揭露者；某些例子中可能会有北桥(North Bridge)或整合的桥接芯片(integrated bridge chip)，而系统内存的存取框架系统也可能会有不同的设计(视内存控制器是整合于处理器或是北桥芯片中)。节点110～150通过两个(第一与第二)输入输出总线(113，114)/(123，124)/(133，134)/(143，144)/(153，154)与可用的板对板连接器(board-to-board connectors；图未示)连接到网络切换框架系统。系统输入输出总线(113，114)/(123，124)/(133，134)/(143，144)/(153，154)的其中一个例子是高速周边组件连接(PCI Express；Peripheral Component Interconnect Express)，其为今日典型电脑系统中常用的典型高速输入输出连接规格，借以提供系统层级(system-level)的输入输出总线连结。某些系统可进一步使用一连接电路板(interconnection Printed Circuit Board)作为节点110～150与网络切换框架系统200间的连接接口。此类电路板通常被称做背板(backplane)，中板(middle plane)，底板(bottom plane)或其它型态的内连接板。

网络切换框架系统200的功能如同「输入输出船(I/O boat)」一般，其主要包括第一网络切换器210、多个(5个)第一网络接口211，212，213，214，215，第二网络切换器220、多个(5个)第二网络接口221，222，223，224，225，全部都安装在基板230上。有了相同的第一与第二系统输入输出总线(113，114)/(123，124)/(133，134)/(143，144)/(153，154)在基板230上提供路由路线，第一与第二网络接口211～215，221～225便能分别与节点110～150连接。第一与第二网络接口211～215，221～225同时也分别与第一网络切换器210、第二网络切换器220电路连接(in circuit connection)。通过第一与第二网络切换器210，220，节点110～150将能通过以下两个路径彼此通信：(1)第一网络接口211～215与第一网络切换器210；及(2)第二网络接口221～225与第二网络切换器220。同时，第一网络切换器210连接一第一外部网络，例如因特网(internet)，局部局域网络(local area network；LAN)或大型丛集网络(clustering network)；类似的，第二网络切换器220将能连接一第二外部网络。

第一网络接口211～215、第一网络切换器210与第一外部网络将兼容于一同一通信协议，例如无限宽带(InfiniBand)、千兆位组以太网络(GigabitEthernet)等等。而第二网络接口221～225、第二网络切换器220与第二外部网络将兼容于一同一通信协议，例如无限宽带、千兆位组以太网络等等。也即网络切换框架系统200将允许其节点110～150通过相同或不同型态/通信协议的网络接口彼此通信或向上连结(uplink)。

为了要在向上连接/内部连接协议上具有弹性，第一网络切换器210与第二网络切换器220分别被设计为是可置换的。在某些例子中，第一网络切换器210可进一步包括第一切换插槽(图未示)与插置其中的第一网络切换卡(图未示)；类似的，第二网络切换器220可进一步包含第二切换插槽(图未示)与插置其中的第二网络切换卡(图未示)。如果该些切换插槽是与多种网络接口型态兼容，如无限宽带、千兆位组以太网络等等，该些切换插槽将能选择性的支持并连接第一网络切换卡或第二网络切换卡。

一般而言，第一与第二网络接口211～215，221～225可借由「在板(on-board)」网络接口控制器(network interface controller；NIC)或所谓的网络芯片加以实现。不过，为了在向上连接/内部连接种类上增加更多的弹性，每个第一或第二网络接口211～215，221～225可实现为「同一插槽(图未示)与选择性插置其中的第一网络适配卡(图未示)或第二网络适配卡(图未示)」。第一网络适配卡与第二网络适配卡上皆分别具有其网络接口控制器，但分属不同的连接协议规格。欲实现此实施方式，该些网络适配卡与网络插槽(即插槽型态的连接器)的实体层(physical layers)将需要具备特定的特征。

其中一个重要的特征是差分对(differential pair)的数量。例如，该网络插槽所具备的差分对数量为「总和数量(sum number)」；同时，该些第一网络卡(第一网络切换卡或第一网络适配卡)具有「第一数量(first number)」的差分对，而那些第二网络卡(第二网络适配卡或网络切换卡)具有「第二数量(second number)」的差分对。为了要确保其兼容性，该「总和数量(sumnumber)」的差分对集合必须为「第一数量(first number)」的差分对集合或「第二数量(second number)」的差分对集合的超集(superset)。

图3显示本发明另一实施例，其中仅一部份的网络切换框架系统40揭露于图3。该图中使用了三种箭号图案来代表通过差分对形成的连结：中空箭号与实心箭号代表不同的连结用途，虚线箭号则代表未使用。

在本实施例中，高速周边组件连结(PCI Express)被选为系统输入输出总线的连接规格(图未示)。这表示网络插槽410，420，430的物理层也将遵循「高速周边组件连结」的规范。从系统输入输出接口端来看，「高速周边组件连结」信道通常被分类为x1/x2/x4/x8/x16；较大数字(如x16)是较小数字(如x2/x4/x8)的超集(superset)。本实施例中，每个网络插槽410/420/430都分别提供8对的差分对411/421/431。那么，考虑上述提及差分对的需求，网络切换框架系统40将需要可以支持至少某几种的连结，例如无限宽带(InfiniBand)、千兆位组以太网络(Gigabit Ethernet)等等。千兆位组以太网络是一种低成本的网络接口，而无限宽带则是一种高频宽的网络接口。通常来说，千兆位组以太网络在其实体层上需要四对差分对；而无限宽带在其铜实体层的连街上，则分别使用四对差分对在每个发送/接收(Tx/Rx)方向上。

既然网络切换框架系统40的网络插槽410，420，430可提供「足够数量」的差分对给每个网络适配卡310，320，330，例如今日典型高速网络接口大多使用x8(即提供八对差分对411/421/431)，如此将足以支持无限宽带、千兆位组以太网络等等，且多数的共同网络接口均可被涵盖。对于每个网络适配卡与网络插槽的实体层而言，通常都会使用到连接交流电的差动信号接口。其通信协议与实体层在不同接口间的使用将只有些微的不同，但基础的电性需求时十分类似的；因此，此处的线路连接是可以共享的。如果某个网络接口所需要的差分对数量小于八对，未被使用的差分对将保持开放状态。

有了上述的考虑，使用者可如图3选择无限宽带一主机信道适配器(InfiniBand HCA；Host Channel Adapter)(如网络适配卡310在接收链路(Rxlink)使用四对差分对，而发送链路(Tx link)使用另外四对差分对)、双端口千兆位组以太网络(如网络适配卡320使用2乘4(2*4)对差分对给两个通信端口)，单端口千兆位组以太网络(如网络适配卡330使用4对差分对，剩下的四对则任其开放)；甚至是百亿字节以太网络(图未示)也可。因此，本发明网络切换框架系统的共享基础设计将保持相同；不论丛集系统何时需要使用不同的网络接口，只要简单更换网络适配卡与网络切换卡即可。

请参阅图4，对于那些不需要将切换器内建于机壳内的大型丛集系统，网络切换框架系统50将备用来满足其需求；图中仅有一部分的网络切换框架系统50被揭露。在一个大型的丛集系统中，使用者通常会使用「外部」网络切换器(独立于本发明丛集系统之外)，以避免因增加了切换层造成额外费用增加。

在图4中，网络切换框架系统50包括网络插槽511，521，531，541，551用以插置一穿越卡560与多个标准的网络适配卡520，530，540，550。实际上，穿越卡560可选择性的被插置在任意一个网络插槽511，521，531，541，551，而置换任一个网络适配卡520，530，540，550。一般而言网络插槽511，521，531，541，551可提供到达切换插槽571与网络切换卡的连接570，且该些标准的网络适配卡520～550可通过网络切换卡570与安装在机壳500上的切换连接器连接到外部网络。如今既然穿越卡560本质上只是一张长度较长、且具有一个外部连接器561安装在机壳500上的网络适配卡(其上配置有网络接口控制器或网络芯片)，穿越卡560将可直接连接外部网络。

在图4中，所有的模块都是平行排列的。即使使用者是使用一穿越卡来作为直接的外部网络接口、而非通过网络切换模块，此设计也不会存在任何机构上的干涉。如此穿越卡的配置可允许小型的丛集系统加入大型丛集运算中，而不需修改任何的系统基础框架系统。也就是说，此具备穿越卡的网络切换框架系统，将使得丛集系统可以进一步升级。

以下为本发明的优点总览。首先，本发明在相同的系统基础框架系统下提供了弹性的网络选择。同一组的网络接口插槽与网络切换插槽在相同的基板设计下，可使用不同的网络接口。同时，相同的基板设计下又提供了穿越卡直接连接外部网络的功能。其次，该切换框架系统可被应用为网络切换框架系统之外，也兼有输入输出框架系统的功能，例如储存框架系统(storage fabric)。再者，此设计非常易于追踪错误与制造；由于要更换个别模块如网络适配卡或网络切换器是相当容易的，故也有助于隔离失效区、组装更加顺畅。

总而言之，与解决现有技术的缺点与技术问题，本发明具有以下的实施特点：

(1)可视功能来进行隔间配置：本发明缩小了不同功能间彼此的依赖性，例如输入输出、网络接口与运算；如此一来，便允许使用者可以基于功能来独立升级。由于处理器与输入输出接口的技术发展/迁徙通常是独立的，有了本发明的设计与造成的隔间便利性，二者的升级将可独立被完成。而且，本发明所揭露被隔开的网络组件与网络功能，让使用者可以只单独更换网络组件，而其余的系统设计则无须更改；

(2)分配足够的实体空间给输入输出部分，以达到多功能的实施：如此为输入输出部分提供更大的弹性。只要有足够的空间，系统就可允许像网络接口、网络切换器这样的另一个功能隔间配置存在于系统中。为了达到相同的功能，我们不需像升阳刀锋8000系列一样，把所有组件都配置在输入输出框架系统上；

(3)在不同的网络接口上共享实体的路由：大多数的网络接口具有相似的电性特征，如在交流电连接下有相似的差动信号收发。如此，相同的路由线路就可被共享；这样就提供了在同一丛集系统选择不同网络接口的弹性；

(4)最佳化的信号分配以支持不同网络接口：某些状况下每个网络接口的信号数量是不同的。如果系统设计者从一网络接口小心分配一组信号到网络切换器，即使每个网络接口的信号数量不相同，同一控制器上仍可支持不同的网络接口。

Claims (20)

1.一种网络切换框架系统，应用于具有若干节点的一丛集系统上，每一节点具有一第一系统输入输出总线和一第二系统输入输出总线，其特征在于，该框架系统包含：

一基板；

至少一第一网络切换器和一第二网络切换器，安装于该基板上；

若干网络插槽，这些网络插槽被划分为一第一组网络插槽和一第二组网络插槽，该每一组网络插槽安装于该基板上且分别具有一总和数量的差分对，该第一组网络插槽中的每一网络插槽通过电路连接该第一网络切换器，并分别经由该第一系统输入输出总线连接各自的该若干节点的其中之一，该第二组网络插槽中的每一网络插槽通过电路连接该第二网络切换器，并分别经由该第二系统输入输出总线连接各自的该若干节点的其中之一；

一第一网络适配卡插置于该第一组网络插槽中的一网络插槽，一第二网络适配卡插置于该第二组网络插槽中的一网络插槽，该第一网络适配卡具有一第一数量的差分对而该第二网络适配卡具有一第二数量的差分对，该总和数量的差分对集合为该第一数量的差分对集合或该第二数量的差分对集合的超集；

该第一网络适配卡和该第二网络适配卡被设置为不同的网络连接协议。

2.如权利要求1所述的网络切换框架系统，其特征在于：该第一网络切换器包含一第一切换插槽，该第一切换插槽插置有一第一网络切换卡，以及该第二网络切换器包含一第二切换插槽，该第二切换插槽插置有一第二网络切换卡。

3.如权利要求2所述的网络切换框架系统，其特征在于：该第一网络切换卡与该第一网络适配卡兼容，而该第二网络切换卡与该第二网络适配卡兼容。

4.如权利要求2所述的网络切换框架系统，其特征在于：该第一网络适配卡及该第一网络切换卡与千兆位组以太网络兼容，该第二网络适配卡及该第二网络切换卡与无限宽带兼容。

5.如权利要求1所述的网络切换框架系统，其特征在于：更包含一穿越卡选择性的插置于该些网络插槽其中一个，以直接连接一外部网络、而不需通过该网络切换器。

6.如权利要求5所述的网络切换框架系统，其特征在于：该穿越卡为另一网络适配卡，其具有较长的长度并具有一外部连接器以直接连接该外部网络。

7.一种网络切换框架系统，应用于具有若干节点的一丛集系统，每一节点具有一第一系统输入输出总线和一第二系统输入输出总线，其特征在于，该框架系统包含：

一基板；

至少一第一网络切换器和一第二网络切换器，安装于该基板上；

若干网络插槽，这些网络插槽包括一个第一网络插槽和一个第二网络插槽，该第一和第二网络插槽安装于该基板上且分别具有一总和数量的差分对，该第一网络插槽通过电路连接该第一网络切换器、并经由一第一系统输入输出总线连接该若干节点的其中之一，以及该第二网络插槽通过电路连接该第二网络切换器、并经由一第二系统输入输出总线连接该若干节点的其中之一；

至少一第一网络适配卡插置于该第一网络插槽及一第二网络适配卡插置于该第二网络插槽，该第一网络适配卡具有一第一数量的差分对而该第二网络适配卡具有一第二数量的差分对，该总和数量的差分对集合为该第一数量的差分对集合或该第二数量的差分对集合的超集；

该第一网络适配卡和该第二网络适配卡被设置为不同的网络连接协议。

8.如权利要求7所述的网络切换框架系统，其特征在于：该第一网络切换器包含一第一切换插槽，该切换插槽插置有一第一网络切换卡，以及该第二网络切换器包含一第二切换插槽，该第二切换插槽插置有一第二网络切换卡。

9.如权利要求8所述的网络切换框架系统，其特征在于：该第一网络切换卡与该第一网络适配卡兼容，且该第二网络切换卡与该第二网络适配卡兼容。

10.如权利要求8所述的网络切换框架系统，其特征在于：该第一网络适配卡及该第一网络切换卡与千兆位组以太网络兼容，该第二网络适配卡及该第二网络切换卡与无限宽带兼容。

11.如权利要求8所述的网络切换框架系统，其特征在于：更包含一穿越卡选择性的插置于该些网络插槽其中一个，以直接连接一外部网络、而不需通过该网络切换器。

12.如权利要求11所述的网络切换框架系统，其特征在于：该穿越卡为另一网络适配卡，其具有较长的长度并具有一外部连接器以直接连接该外部网络。

13.一种网络切换框架系统，应用于具有若干节点的一丛集系统，每一节点具有一第一系统输入输出总线和一第二系统输入输出总线，其特征在于，该框架系统包含：

一基板；

一第一网络切换器与一第二网络切换器安装于该基板上；

若干第一网络接口安装于该基板上，各该第一网络接口分别通过电路连接该第一网络切换器、并各自通过该第一系统输入输出总线连接各自的该若干节点的其中之一，以允许该些节点彼此连接、并连接至一第一外部网络；

若干第二网络接口安装于该基板上，各该第二网络接口分别通过电路连接该第二网络切换器、并各自通过该第二系统输入输出总线连接各自的该若干节点的其中之一，以允许该些节点彼此连接、并连接至一第二外部网络；

这些第一网络接口与这些第二网络接口被设置为不同的网络连接协议。

14.如权利要求13所述的网络切换框架系统，其特征在于：各该第一网络接口包含一网络插槽、其中插置有一第一网络适配卡，且各该第二网络接口包含另一相同的网络插槽、其中插置有一第二网络适配卡。

15.如权利要求14所述的网络切换框架系统，其特征在于：更包含一穿越卡，选择性的插置于该网络插槽，以直接连接该第一外部网络或该第二外部网络，而不需经由该第一网络切换器或该第二网络切换器。

16.如权利要求15所述的网络切换框架系统，其特征在于：该穿越卡为另一网络适配卡，其具有较长的长度并具有一外部连接器以直接连接该第一外部网络或该第二外部网络。

17.如权利要求13所述的网络切换框架系统，其特征在于：该第一网络切换器包含一第一切换插槽选择性的插置有一第一网络切换卡。

18.如权利要求13所述的网络切换框架系统，其特征在于：该第二网络切换器包含一第二切换插槽选择性的插置有一第二网络切换卡。

19.如权利要求1所述的网络切换框架系统，其特征在于：该每一节点经由其所具有的该第一系统输入输出总线连接该第一组网络插槽中的一网络插槽，该每一节点经由其所具有的该第二系统输入输出总线连接该第二组网络插槽中的一网络插槽。

20.如权利要求13所述的网络切换框架系统，其特征在于：该每一节点经由其所具有的该第一系统输入输出总线连接这些第一网络接口的其中之一，该每一节点经由其所具有的该第二系统输入输出总线连接这些第二网络接口的其中之一。

Images