CN1921437A - 内外连网络拓扑架构及自洽扩展该架构的并行计算系统 - Google Patents

Abstract

本发明公开了一种网络拓扑架构及应用该架构而组成的高扩展并行计算系统。该网络拓扑架构，用于主处理器单元(MPU)互连网络中，包括多个处理节点；该拓扑架构为一种K维(K∈Z⁺)互连网络系统，其中的每个节点，均位于2^K个相邻节点所组成的K维立方体的体心，并同时与上述2^K个相邻节点互连。采用上述网络拓扑架构，每个处理节点可直接或者间接连接到网络中其他处理节点的子集上，使所有的节点整合成为一台高耦合的、自洽的、高扩展并能灵活调整的并行计算系统。一个MPU系统既可视为一台高性能高可扩展的并行计算系统；又可视为一个高性能高耦合的超级节点，借助一定的外联扩展网络系统，可以组建成一个整合的规模更大的超级并行计算系统。

Description

内外连网络拓扑架构及自洽扩展该架构的并行计算系统

技术领域

本发明涉及内外连网络拓扑架构及自洽扩展该架构的并行计算系统，具体地说，涉及一种主处理器单元(Master Processing Unit，MPU)的内外连网络拓扑架构以及自洽扩展该拓扑架构的并行计算系统。

背景技术

人们对于具有更高性能计算能力的超级计算机的追求从未停止过，现代“超级计算”基本上更多的是特指能进行并行数据处理和数值模拟的大规模运算系统。所以，我们一般不把消息传递能力低下的分布计算机群系统叫做超级计算机，而只把运算节点间具有较高消息传递能力的并行计算系统才称作是“超级计算机”(或称“超级并行计算机”)。超级计算机的硬件构件主要是运算处理单元、内联网络和数据存储网络等三个层面的组成部分。在许多的并行计算的应用项目中，尤其是在细粒度并行应用中，其最终性能多数时候是由系统的通信能力所决定，而往往不是被运算节点的计算能力所限制，而这一现象也使并行计算机系统的内联网络设计具有更苛刻的要求。很显然，要满足超大规模并行计算的通信要求，如果单用简单的互连网络拓扑架构，比如“胖树”，或者现在流行的N元K立方环绕网络系统，单靠节点数量的堆积，是很难达到高可扩展、高带宽、低延迟的高性能并行计算机设计目标的。

发明内容

本发明的目的在于，提供一类内外连网络拓扑架构及自洽扩展该拓扑架构的并行计算系统，以克服现有并行计算系统内联网络的最终性能因通信能力和效率所限制的问题。

为了达到上述目的，本发明技术方案提供：

一种互连网络拓扑架构，用于主处理器单元内联网络中，包括多个节点；该拓扑架构为一种K维(K∈Z⁺)互连网络系统，其中的每个节点，均位于2^K个相邻节点所组成的K维立方体的体心，并同时与上述2^K个相邻节点互连。

相应地，一种并行计算机系统，包括N个(N∈Z⁺)处理节点，N个通信节点，以及互连网络拓扑架构；每个处理节点中集成有本地网络路由单元，提供与其他通信节点直接互连的功能；所述互连网络拓扑架构为一种K维(K∈Z⁺)互连网络系统，具有2N个节点(每个处理节点或通信节点均视为一个节点)。其中的每个处理节点，均位于2^K个相邻通信节点所组成的K维(K∈Z⁺)立方体的体心，并同时与上述2^K个相邻节点互连；其中的每个通信节点，均位于2^K个相邻处理节点所组成的K维立方体的体心，并同时与上述2^K个相邻节点互连。

相应地，另一种并行计算机系统，包括N个(N∈Z⁺)处理节点，以及互连网络拓扑架构；每个处理节点中集成有本地网络路由单元，提供与其它处理节点直接互连的功能；所述互连网络拓扑架构为一种K维互连网络系统，具有N个节点(每个处理节点视为一个节点)。其中的每个节点，均位于2^K个节点所组成的K维立方体的体心，并同时与上述2^K个相邻节点互连。

采用上述互连网络拓扑架构及应用该拓扑架构所扩展而成的并行计算系统，称为MPU系统，每个处理节点可直接或者间接连接到内联网络中其他处理节点的子集上，使所有的节点整合成为一台高耦合的、自洽的、高扩展并能灵活调整的并行计算系统。一个MPU系统本身既可视为是一台高性能高可扩展的并行计算系统；又可视为是一个高性能高耦合的超级节点，借助MPU的外联扩展网络系统，可以组建成一个整合的规模更大的超级并行计算系统。

附图说明

图1是一个一般2维MPU(N×N)系统的笛卡儿坐标系统图；

图2是一个基于直接连接网络、2维I型MPU(4×4)系统的一个实施例图；

图3是一个基于间接连接网络、2维II型MPU(4×4)系统的一个实施例图；

图4是一个3维II型MPU系统的体心拓扑连接方式实施例图；

图5是一个3维II型MPU系统的部分连接方式实施例图。

具体实施方式

下面根据图1至图5，给出本发明的较佳实施方案，并予以详细描述，使能更好地理解本发明的功能、并发挥其特点。

本发明按照交换网络结构实现方式的不同，MPU拓扑架构可分为MPU直接网络(I型)系统和MPU间接网络(II型)系统。一般的K维MPU系统，可记为MPU(N₁×N₁×L×N_K)。借助于笛卡尔参考坐标系统，我们给出不同类型拓扑架构下的每个坐标点的具体含义。

在I型MPU(N₁×N₁×L×N_K)中，每个坐标点(x₁，x₂，...，x_K)代表一个节点，即一个处理节点及其本地网络路由单元，如果其坐标满足：

    0≤x_i≤2N_i-1              i∈[1，K]    (1)

    x_jmod2＝x_j+1 mod 2        j∈[1，K)    (2)

其中，mod代表取模运算，下同。

在II型MPU(N₁×N₁×L×N_K)中，每个坐标点(x₁，x₂，...，x_K)代表一个处理节点，如果其坐标满足：

    0≤x_i≤2N_i-1                             (3)

    x_i mod 2＝0       i∈[1，K]             (4)

每个坐标点(x₁，x₂，...，x_K)代表一个通信节点，如果其坐标满足：

0≤x_i≤2N_i-1                                 (5)

x_i mod 2＝1         i∈[1，K]               (6)

基于以上的坐标系统，K维MPU(N₁×N₁×L×N_K)系统的拓扑连接法则如下：

每个节点(x₁，x₂，...，x_K)直接互连到其2^K个邻居节点(y₁，y₂，...，y_K)，它们的坐标满足：

        y_i＝(x_i+1)mod2N_i

或者y_i＝(x_i-1+2N_i)mod2N_i    i∈[1，K]    (7)

因此，每个节点度(即直接互连的邻居节点数)为2^K，且每个节点位于2^K个邻居节点组成的K维立方体的体心。

在图1中，我们给出了一个2维MPU(N×N)系统的坐标系统。如果采取直接交换网络连接方式，图中的每个坐标点(x，y)均代表一个处理节点。如果采取间接交换网络连接方式，图中的每个奇数坐标点(x，y)代表一个通信节点，图中的每个偶数坐标点(x，y)代表一个处理节点。

图2是一个基于直接连接网络、2维I型MPU(4×4)系统的一个实施例图。在图2中，每个处理节点，具有一个或多个处理单元，及本地的网络路由单元，用来和4个相邻处理节点进行通信。在I型MPU(4×4)系统中，总共有32个处理节点，即32个节点。每个节点，都位于一个由4个相邻节点组成的正方形中心。在所述网络系统边界处的节点，位于4个相邻的节点和拓扑循环映射节点所组成的一个虚拟正方形的中心，并同时与上述4个节点互连。例如图中的处理器A1，位于相邻的节点A5和拓扑循环映射节点A2、A3、A4所组成的一个虚拟正方形的中心。

图3是一个基于间接连接网络、2维II型MPU(4×4)系统的一个实施例图。在II型MPU(4×4)系统中，总共有16个处理节点和16个通信节点，即32个节点。每个节点，都可以完成信息的输入、输出及转发功能。不相邻的节点间消息通信，由若干中间节点协作完成。每个节点，都位于一个由4个相邻节点组成的正方形中心。在所述网络系统边界处的节点，位于4个相邻的节点和拓扑循环映射节点所组成的一个虚拟正方形的中心，并同时与上述4个节点相连。例如图中的处理器A0，位于相邻的节点B4和拓扑循环映射节点B1、B2、B3所组成的一个虚拟正方形的中心。

依据上述的拓扑连接法则，我们就可以把多处理器和辅助设备整合为一并行计算系统。为了进一步说明和证实MPU系统架构的主要特征，我们将就一类流行的系统-N元K立方环绕网络系统(3D Torus是其中的一个特例)—进行系统性比较。特别地，我们将就2维和3维MPU系统与N元K立方环绕网络中的一个特例，即三维环绕网络拓扑架构(3D Torus Network)进行具体的比较。Cray T3E和“蓝基因计划”就是采用的这种三维环拓扑结构进行运算节点间的高带宽低延迟互连的，以在非常小的空间中，达到空前的综合运算及扩展性能。

另外，为了比较方便，对于MPU系统，我们取N₁＝N₂＝…＝N_K＝N。所以，K维MPU系统，可记为MPU(N^K)。

我们首先介绍用于比较的各种性能参数。

节点度：每个节点的直接互连的邻居节点数目。

网络直径：网络中两个节点之间的最大距离。单位是“跳”，即hop，一跳是指相邻节点间的距离。

节点间平均距离：网络中，一个节点到其他任意节点的平均距离。单位是hop。

等分宽度：当网络分为相等节点集时所需要切断的最少连线的数目。

等分带宽：上述被切断的连线上的总带宽。

连线数目：网络中，连接各个节点(处理节点和通信节点)的连线数目。

下面的表1列出了各项性能参数的具体比较。

                             表I

上面的计算假设每个节点总共有P条信号引脚用于和相邻节点通信，不包括电源、地线和其他的一些I/O引脚。下表中，符号P的含义与此相同。

从表I中，我们可以看出以下几点：

1、随着网络维数的增加，MPU系统的网络直径是固定不变的，但是N元K立方环绕网络是线性增加的，这样，MPU系统可以有效地减少远程通信的距离和延迟。

2、相同网络维数和规模的情况下，MPU系统所能提供的等分宽度是N元K立方环绕网络的2^K-1倍。这说明，在相同条件下，MPU系统能为节点间通信，提供更多的备选链路。这一方面，增加了路由系统的灵活性和找到节点间消息通信的一条最优路径的概率，从而可以有效降低节点间通信的延迟。另一方面，这些冗余链路的存在，也大大加强了整个并行计算系统的容错能力。当系统出现小范围的故障部件的时候，可以大大降低对于整个路由系统的效率影响；当系统出现大范围的故障部件的时候，可以最大可能地保障正常节点间的消息通信，直到故障排除。对于故障部件的容错能力，也是大规模系统能够长时间正常运转的必要保证之一。

3、在相同网络维数和规模的情况下，MPU系统的等分带宽是N元K立方环绕网络的K倍。这说明，在相同条件下，MPU系统能够为节点间的信息传递提供更高的带宽。

4、MPU系统的节点度的增加是指数形式的。这一方面说明，随着网络维数的增加，MPU系统内的节点间的耦合性急剧增加；另一方面也说明，考虑到目前的物理限制，即每个路由器所能使用的I/O数，宜于采用合理维度的MPU系统。同样的物理限制，也存在于N元K立方环绕网络中，其网络维数的增加也应该考虑到物理条件的约束。

5、在II型MPU系统中，我们显示地增加了与处理节点数目相同的通信节点，这些节点可以有效地降低节点间通信的延迟，并且可以节省处理节点在通信上的时间花费。

在图4中，我们给出了一个3维II型MPU系统的体心拓扑连接方式实施例图。图中，每个通信节点，均处在8个相邻处理节点组成的立方体中心。类似地，在边界处，相应的拓扑循环映射节点，与部分的边界处理节点共同组成了立方体，使边界通信节点位于这些虚拟立方体的体心。

在图5中，我们展示了一个3维II型MPU系统的部分连接方式实施例图。从中，我们可以看出，每个处理节点均处于相邻通信节点组成的立方体体心，每个通信节点也均处于相邻处理节点组成的立方体体心。并且，所有的处理节点组成了一个虚拟网格结构，所有的通信节点也组成了一个虚拟网格结构。通过体心拓扑连接方式和拓扑循环性质，两个虚拟网格系统实现了紧密地耦合嵌套。

下面，我们主要针对2维、3维MPU系统和流行的三维环绕拓扑内联网络，进行进一步的详细比较，从中发掘MPU系统更多的特点。

                           表II

从表II中，我们可以进一步的看出，2维、3维MPU系统比目前流行的三维环拓扑架构有多重优点。相比较来言，除了表I中提到的特点之外，MPU系统：

1、提供了更多的冗余链路，来保证大规模系统的可靠性和容错能力。相同条件下，3维的MPU系统的等分宽度是N元3立方的4倍。

2、提供了更高的等分带宽，来保证节点间通信的高带宽，以提高整个系统的可扩展性。相同条件下，3维的MPU系统的等分带宽是N元3立方的3倍。

3、在均使用直接网络连接的条件下，3维MPU系统能够容纳多于N元3立方环拓扑网络一倍的处理节点数，而不破坏整个系统的对称性，同时，更重要的是，此时3维MPU系统和N元3立方环拓扑网络的节点间平均距离，是同一量级的。这说明，虽然处理器数目增加一倍，但是节点间平均距离却几乎没有改变。

综上所述，采用上述互连网络拓扑架构及应用该拓扑架构的并行计算系统有如下优点：

1、打破了原有的网格式拓扑连接方法，如3D Torus和超立方网格(Hypercube)，而改用体心拓扑连接方式，实现了多重网格系统的紧密嵌套，在不增加系统每个节点度和通信负载的前提下，大大增加了系统的耦合程度和节点集成数量。

2、突破了以往使用直连环或者斜连环等来实现网络环绕连接(Wrap-around connections)的传统作法，而是借助于拓扑循环性质，将部分边界节点和拓扑循环映射节点构成虚拟的多维立方体，按照系统内部的体心拓扑连接方式，在这一虚拟多维立方体中进行体心互连，来完整闭合系统中的所有连接，同时巧妙地完成了系统的环绕连接。这就使得整个拓扑结构统一、简约，对称且完整，从每个节点的角度来看，整个系统都是完全一致的。

3、MPU系统网络直径和节点间平均距离，随系统规模的增长而缓慢增加，为此系统提供高耦合性。

4、MPU系统的等分宽度和等分带宽大，随系统规模的增长快。

5、MPU系统特有的多重网格系统的嵌套、体心拓扑连接方式和拓扑循环性质，保证了基于此互连拓扑架构的内联网络系统具有高的扩展能力。

本发明中的处理节点可选为一个可编程的计算机，具有自己的一个或者多个处理元件、本地存储器和网络路由单元、以及其他的一些支持设备，主要用于完成数据信息处理和计算功能。所述的处理元件都包括：中央处理器(CPU)和一个或多个浮点单元，以及本地嵌入的多级高速缓存器。所述的网络路由单元，负责与相邻处理节点或者通信节点直接互连，用于完成处理节点间信息的输入、输出和转发功能。所述路由单元既可用通用的处理器，也可用定制的元件，如FPGA。所述的通信节点，既可是专门元件完成的网络交换机，也可是共享存储模块(Shared memory)，甚至是共享缓存，等等。

前面提供了实施例的描述，以使本领域内的技术人员可方便使用本发明。对该实施例，本领域内的技术人员在不脱离本发明原理的基础上，可以作出各种无实质差别的修改或者变换。本发明不仅能够应用于并行计算机的内联网络系统的设计，而且可以应用于互联网核心路由器的内部交换网络结构的设计，以及任何的有关于交换网络结构的设计之中。应当指出，所有这些修改或者变换都不可能脱离本发明的保护范围。

Claims (10)

1、一种内外连网络拓扑架构，用于主处理器单元互连网络中，包括多个节点；其特征在于，该拓扑架构为一种K维互连网络系统，其中的每个节点，均位于2^K个相邻节点所组成的K维立方体的体心，并同时可与上述2^K个相邻节点互连。

2、如权利要求1所述的内外连网络拓扑架构，其特征在于，在所述网络系统边界处的节点，位于2^K个相邻的节点和拓扑循环映射节点所组成的一个虚拟K维立方体的体心，并同时与上述2^K个节点互连。

3、如权利要求2所述的内外连网络拓扑架构，其特征在于，所述的每个节点，既可以是一个处理节点，也可以是一个通信节点。

4、如权利要求3所述的内外连网络拓扑架构，其特征在于，所述的处理节点是一通用的或者一定制的可编程计算机，具有自己的一个或者多个处理元件和网络路由单元、以及支持设备。

5、如权利要求4所述的内外连网络拓扑架构，其特征在于，所述的处理元件都包括：中央处理器(CPU)和一个或多个浮点处理单元，以及本地嵌入的多级高速缓存器，用于完成数据信息处理和计算功能；所述的网络路由单元，负责与相邻处理节点或者通信节点直接互连，用于完成处理节点间信息的输入、输出和转发功能。

6、如权利要求3所述的内外连网络拓扑架构，其特征在于，所述的通信节点，与若干相邻的处理节点直接互连，负责完成处理节点间的消息转发功能；所述的通信节点，是专门元件完成的网络路由交换机或者共享存储模块(Shared memory)或者共享缓存。

8、一种并行计算系统，包括N个处理节点、N个通信节点和互连网络拓扑架构；其特征是：所述互连网络拓扑架构为一种K维互连网络系统；其中的每个处理节点，均位于2^K个相邻通信节点所组成的K维立方体的体心，并同时与上述2^K个相邻节点互连；其中的每个通信节点，均位于2^K个相邻处理节点所组成的K维立方体的体心，并同时与上述2^K个相邻节点相连。

9、如权利要求8所述的并行计算系统，其特征是：在所述网络系统边界处的节点，位于2^K个相邻的节点和拓扑循环映射节点所组成的一个虚拟K维立方体的体心，并同时与上述2^K个节点互连。

10、一种并行计算系统，包括N个处理节点和互连网络拓扑架构；其特征是：每个处理节点中集成有本地网络路由单元，提供与其他处理节点直接互连的功能；所述互连网络拓扑架构为一种K维互连网络系统，其中的每个处理节点，均位于2^K个相邻处理节点所组成的K维立方体的体心，并同时与上述2^K个相邻节点互连。

11、如权利要求10所述的并行计算系统，其特征是：在所述网络系统边界处的节点，位于2K个相邻的节点和拓扑循环映射节点所组成的一个虚拟K维立方体的体心，并同时与上述2K个节点互连。

Images