CN1979461A - 多处理器模块 - Google Patents

Abstract

一种多处理器模块，主要包括有八个处理器，其中通过一对总线以交错方式分别连结二处理器，以缩短处理器与另一处理器之间的通讯路径，亦即降低处理器间的传输迟延(latency)，进而提高此多处理器模块的数据传递或执行指令的速度，因而提高应用系统的性能。

Description

多处理器模块

【技术领域】

本发明关于一种多处理器模块，特别是一种多处理器模块，其透过至少一对总线以交错方式分别连结二处理器，来缩短处理器与另一处理器之间的通讯路径。

【背景技术】

供商业应用程序使用的数据处理系统已经有极快速度的进展。起初，数据处理系统仅为单一处理器的系统架构，但随着科技的进步，以及数据处理能力和操作速度上的需求增加，现在的数据处理系统已发展至更复杂的多处理器的系统架构。

参照图1，现有技术的单一处理器系统100包含有单一处理器110与内存120，二者以一对总线相互连结。每一总线可提供一指定频宽(即字节数量)，以供处理器110与内存120之间的通讯。于此，处理器110以单路的配置方式透过8位数据输入总线以及16位数据输出总线而连接至内存120。内存120可于处理过程中提供处理器110所需使用的指示和资料。此外，对于总线来说，具有数种替代实施方案，例如：三态总线以及单向/双向总线。

随后，以此种单处理器的系统架构而发展出多处理器系统，如图2所示，主要透过二总线将处理器110相互连接，而形成一双路系统。

然而，随着相连的处理器数量的增加(相对于更强大处理能力的系统需求)，进而发展出以阶层切换器为基础的拓朴。参照图3、4，分别说明四路系统及八路系统的概要架构，于此，各个处理器之间透过切换器130以阶层的方式相互连接。于四路系统中，顶层具有二组以切换器130相互连结的两处理器110。而八路系统则以四路系统的阶层架构透过切换器130连结二组四路系统而成，亦即于八路系统中具有三层架构。于阶层式架构中，每一处理器110直接连接至各自的内存120，并连接至最高层的切换器130，因此，于八路系统中，各个处理器110并非全然地互连。并且，不论是双路系统、四路系统或八路系统，均与单路系统类似，处理器与内存之间为一对一关联，亦即每一处理器直接地存取仅与其相连的内存区块。一对一内存关联限制使得多处理器的大型系统无法完全地利用整体系统中可用的内存资源/频宽。

当处理器增加时，系统中内存频宽与内存关联性方面的成长并未线性地随着处理器数量的增加而扩大，因此对于支持此互连配置所需的总线频宽数量亦呈现非线性增加，且增加的较处理器的数量快上许多。因而，随着处理器增加，所需的总线的总字节将变的十分巨大，然而处理器上提供以连接总线的区域有限，相对总线能直接支持的实际频宽因而相当有限。

因此，近几年来为了解决高性能系统，如：高性能计算(High PerformanceCalculation；HPC)领域中的中央处理器(central processing unit；CPU)的互连架构，而发展出高速传输技术(HyperTransport technology)。该HyperTransport技术是由超微公司(AMD)所开发的输入/输入(input/output；I/O)连结技术，这种号称”高频宽I/O”的架构可为主机板上的整合电路提供高速、高效能的点对点(point-to-point)连接，并且可提供集成电路可升级、进阶高速、高效能及点对点连结等功能。再者，该HyperTransport技术具有4、8、16及32位频宽的高速序列连结功能，并且可支持多种GHz+64位处理器及新兴的I/O技术，例如：英特尔公司(Intel)的无限宽带(InfiniBand)及10 Gigabit的以太网络。而且，由于该HyperTransport技术是一种协议而非仅是一种实体的接口，是故可因新的应用程序而升级。在HyperTransport技术协议中，数据被切割成数据区块或封包，并且每个数据区块最长可以到达64位，因此，在每一对线路中，最高的数据传输率可达为1.5GHz，并且最高可支持每秒12.8GB的尖峰频宽。

透过HyperTransport技术有助于减少系统中总线的数目，并且可提供内嵌应用程序高效能的连结。因此，利用HyperTransport技术，个人计算机(personalcomputer；PC)中(例如：其中的相互沟通的网络及通讯装置)的芯片可以增加比现有技术快约40倍的传输速度。然而，HyperTransport技术并非是要取代其它的I/O技术，而其主要是在处理器到处理器和处理器到I/O的应用中，提供最低的延迟和最高的频宽的一种互连架构。是故，由于该HyperTransport技术是一种灵活、具扩充性的点到点互连方案，提供了最佳的平行和串行总线特性，包括低时延、低开销，以及在2到32通道架构中可实现的22.4GB/s频宽，因此目前已广泛的整合应用于各家厂的处理器中，以简化设计并降低共享内存和I/O设备的多处理器系统的成本。

然而随着电子装置的进展，其中所需的数据处理能力和操作速度上的需求会逐渐增加，特别是多处理器的配置架构除了对称性之外，低迟延(Latency)的要求也是一个重点。因此除了高速、高频宽总线技术的运用，在处理器间连接架构的设计上，更是于提升多处理器系统的等级上一极重要的研究要点之一。

图5所示的八路系统中，每个处理器110可支持三个双向总线，而直接连接至相邻的处理器110。如此一来，虽然完成各个处理器间的连接所需的总线数量远低于前述的系统架构，但事实上这样的架构并不能达到最佳运算效能。举例来说，在此图中，处理器S0必须经过处理器S1、S3、S5才能与处理器S7沟通，因此将处理器间的传输迟延(Latency)定义为”任二处理器间的沟通所需经过的总线数量”时，那么Latency＝1即代表相邻的两个处理器间的传输(如S0与S1)，而前述处理器S0与处理器S7间的Latency即为4。据此检验整个多处理器连接架构可知，目前的整个多处理器连接架构的Latency≤4，故其显然尚有提升空间。

【发明内容】

本发明的主要目的在于提供一种多处理器模块，借以提高应用系统的性能。

因此，为达上述目的，本发明所揭露的多处理器模块，包括有多个对内总线、八个处理器、至少一对交错总线以及一个以上对外总线。于此，每四个处理器借由对内总线而串接成一列，并且分别位于两列中的至少一相对处理器借由对内总线而相互连接，再透过交错总线将在一列中相邻的二个处理器分别交错连结至在另一列中相邻的二个处理器，并且其中一处理器利用对外总线作为此多处理器模块的对外通讯，其中，于此处理器是透过对内总线和交错总线中的至少一个而与另一处理器形成一通讯。

其中，交错总线可设置在每一列的一端，或是设置在每一列的中间。

本发明更揭露一种多处理器模块，包括有多个对内总线、八个处理器、至少一对交错总线以及一个以上对外总线。于此，每四个处理器借由对内总线分别串联成二个群组，该二群组间借由至少一对内总线而相互连接，再透过交错总线来交错连结位在不同群组中且不相邻的处理器，并且其中一处理器利用对外总线作为此多处理器模块的对外通讯，其中，于此处理器是透过对内总线和交错总线中的至少一个而与另一处理器形成一通讯。

【附图说明】

图1为现有技术的单一处理器系统的概要架构图。

图2为现有技术的多处理器系统的概要架构图。

图3为另一现有技术的多处理器系统的概要架构图。

图4为另一现有技术的多处理器系统的概要架构图。

图5为现有技术的多处理器模块的概要架构图。

图6A为根据本发明第一实施例的多处理器模块的概要架构图。

图6B为根据本发明第二实施例的多处理器模块的概要架构图。

图7为根据本发明第三实施例的多处理器模块的概要架构图。

图8为根据本发明第四实施例的多处理器模块的概要架构图。

图9为根据本发明第五实施例的多处理器模块的概要架构图。

图10为根据本发明第六实施例的多处理器模块的概要架构图。

图11为根据本发明第七实施例的多处理器模块的概要架构图。

图12为根据本发明第八实施例的多处理器模块的概要架构图。

【具体实施方式】

参照图6A，为根据本发明一实施例的多处理器模块，具有八个处理器210，于连结架构上，这些处理器210串连成二列，每列具有四个处理器210，其中二列之间亦透过多个总线以使分别位于两列中的处理器相互通信；为了便于说明，将此八个处理器分别命名为第一处理器S0、第二处理器S1、第三处理器S2、第四处理器S3、第五处理器S4、第六处理器S5、第七处理器S6和第八处理器S7。并且，透过具有特定频宽的总线而以直接连接或交错连接的方式分别位于两列中的处理器。特别是，于多处理器模块末端的四个处理器，以交错连结的方式相互连接。

换句话说，第一对内总线241用以连接第一处理器S0和第二处理器S1；第二对内总线242用以连接第一处理器S0和第三处理器S2；第三对内总线243用以连接第二处理器S1和第四处理器S3；第四对内总线244用以连接第三处理器S2和第四处理器S3；第五对内总线245用以连接第三处理器S2和第五处理器S4；第六对内总线246用以连接第四处理器S3和第六处理器S5；第七对内总线247用以连接第五处理器S4和第七处理器S6；第八对内总线248用以连接第六处理器S5和第八处理器S7；第九对内总线249用以连接第七处理器S6和第八处理器S7；以及一对交错总线CL1、CL2以交错方式来达成第五处理器S4和第八处理器S7的连结，以及第六处理器S5和第七处理器S6的连结。于此，此处理器可为一中央处理器(central processing unit；CPU)。并且这些总线241~251实务上亦可由分别负责输出/输入的一对单向总线所组成。

以支持高速传输(HyperTransport；HT)技术的处理器，如AMD Opteron MP处理器为例，每个OpteronTM MP处理器支持三个HT总线，即可轻易实现本实施例的处理器连结架构。

于本实施例揭露的架构下，任意一处理器与其它处理器间的通讯，至多只需通过其它两处理器来传递指令或数据。本实施例的架构借由交错总线的运用，可让相距最远的两个处理器(如处理器S0与S7)间传输迟延Latency＝3(S0经S2、S4到S7)；换言之，八个处理器中任意两个的Latency≤3。

举例来说，比较图5、6A，当执行自处理器S0至处理器S7的通讯(即于处理器S0和处理器S7之间传递数据或指令)时，于图5的已知架构下，最大传输迟延Latency为4，间隔最远的处理器S0至少须经由处理器S2、处理器S4和处理器S6，才能将数据或指令传递至处理器S7；而于根据本发明的架构下，则处理器S0只需经由处理器S2和处理器S4即能传递至处理器S7。因此，于通讯时，需经过的处理器越少(即路径越短、Latency越小)，传输的数据、执行指令的速度就越快，进而达到提高系统性能的目的。

其中，此多处理器模块透过一个对外总线EL1而与其它装置相连，进而与应用系统的其它装置通讯；以下将连接有对外总线的一侧称之为前端。也就是说，透过对外总线EL1可将处理器S0与其它装置相互连接。于此，此以对外总线EL1所连接的其它装置可为一芯片组，例如：南桥芯片组(south bridgechipset)和北桥芯片组(north bridge chipset)，亦或于多处理器模块外部的外部总线。再者，于多处理器模块中一可具有多个对外总线EL1、EL2一端分别连接至多处理器模块中的一处理器，另一端则分别连接于多处理器模块外部的其它装置，如图6B所示。若将HT技术应用于本发明的架构，对外、对内或交错总线并无主(Master)、从(Slave)之分，处理器与处理器间、处理器与其它装置均可使用相同的HT总线。

此外，如图7所示，于两处理器间的数据或指令的传递路径可有许多种路径，因此于各个处理器210中设置一路由逻辑单元P，以管理通讯的路径；其中，路由逻辑单元P会根据各种路径上的实时利用等等因素来决定所采取的确定路径。其中，此路由逻辑单元P包含一软件可设定的逻辑组件，以供稍后配置此多处理器模块而运作为一商业工作负载处理模块或一技术工作负载处理模块。

此外，如图8所示，此交错总线可有一对以上。在图8中，二对交错总线CL1、CL2、CL3、CL4分别交错连结位于不同列上的处理器210；其中，交错总线CL1连接第五处理器S4和第八处理器S7，交错总线CL2连接第六处理器S5和第七处理器S6，交错总线CL3连接第一处理器S0和第四处理器S3，以及交错总线CL4连接第二处理器S1和第三处理器S2。

于此，由于处理器的总线连接端口有限，例如Opteron MP处理器仅支持总数三个的对外、对内或交错HT总线，因此先前各实施例中(如图6A、6B及7所示)，用以连接第一处理器S0和第二处理器S1的第一对内总线241，以及用以连接第三处理器S2和第四处理器S3的第四对内总线244，于本实施例中则用以作为交错总线CL3、CL4。

此外，如图9所示，亦可仅在位于前端的处理器210(S0、S1)设置有交错总线。在图9中，一对交错总线CL3、CL4分别交错连结位于不同列的前端的处理器210上，即交错总线CL3连接第一处理器S0和第四处理器S3，以及交错总线CL4连接第二处理器S1和第三处理器S2；并且，更可以第十对内总线250将第五处理器S4和第六处理器S5相连接，以增加处理器间可选择的通讯路径数量。

而，此交错总线亦可设置位于中间区段的处理器210之间，如图10所示。在图10中，一对交错总线CL5、CL6分别交错连结位于不同列的中间的处理器210上，即交错总线CL5连接第三处理器S2和第六处理器S5，以及交错总线CL6连接第四处理器S3和第五处理器S4；并且不同列的处理器则还透过第一对内总线241和第九对内总线249而直接相互连接，即利用第一对内总线241将第一处理器S0和第二处理器S1相连接，以及利用第九对内总线249将第七处理器S6和第八处理器S7相连接。

此外，此交错相连的四个处理器210亦于同一列上，即此交错总线亦可设置于同一列的处理器210之间，如图11所示，于此，第一对内总线241连接第一处理器S0和第二处理器S1；第二对内总线242连接第一处理器S0和第三处理器S2；第三对内总线243连接第二处理器S1和第四处理器S3；第四对内总线244连接第三处理器S2和第四处理器S3；第五对内总线245连接第三处理器S2和第五处理器S4；第七对内总线247连接第五处理器S4和第七处理器S6；第八对内总线248连接第六处理器S5和第八处理器S7；第九对内总线249连接第七处理器S6和第八处理器S7；第十对内总线250连接第五处理器S4和第六处理器S5；以及透过一对交错总线CL7、CL8以交错方式来达成第二处理器S1和第六处理器S5的连结和第四处理器S3和第八处理器S7的连结。

当然，图11的架构亦可视为八个处理器中，借由对内总线分别串联成二个具有四处理器的群组，而此二群组间又借由一个对内总线245相互连接，最后再以一对交错总线CL7、CL8交错连结位在不同群组中不相邻的处理器。

对于本发明前述各实施例而言，所有总线均可利用HT高速传输技术来实现。

综合上述，借由实现此多处理器模块为一建构组件，可提供一大型计算机系统。

举例来说，参照图12，在第一主机板SS1上设置有第一处理器S0、第二处理器S1、第三处理器S2和第四处理器S3，其中第一处理器S0和第二处理器S1之间以第一对内总线241而相互连接，第一处理器S0和第三处理器S2之间以第二对内总线242而相互连接，第二处理器S1和第四处理器S3之间以第三对内总线243而相互连接，第三处理器S2和第四处理器S3之间以第四对内总线244而相互连接，并且于第一处理器S0上连接有一对外总线EL1，其另一端连接至多处理器模块外部的其它装置D1。其中，此其它装置D1可为一芯片组，例如：南桥芯片组和北桥芯片组，亦或于多处理器模块外部的外部总线。在本实施例中，各处理器至多支持3个双向总线，此外，于第二处理器S1上亦可再连接一对外总线EL2，且此对外总线EL2的另一端连接至于多处理器模块外部的其它装置D2。在此，其它装置D2可为一芯片组，例如：南桥芯片组和北桥芯片组，亦或于多处理器模块外部的外部总线。

在第二主机板SS2上设置有第五处理器S4、第六处理器S5、第七处理器S6和第八处理器S7，其中第五处理器S4和第七处理器S6之间以第七对内总线247而相互连接，第六处理器S5和第八处理器S7之间以第八对内总线248而相互连接，第七处理器S6和第八处理器S7之间以第九对内总线249而相互连接，并且第五处理器S4和第八处理器S7之间以及第六处理器S5和第七处理器S6之间则分别以交错总线CL1、CL2而相互连接。

第一主机板SS1和第二主机板SS2之间则以一高速传输卡HT而相连结，并且于此高速传输卡HT上设置有第五对内总线245和第六对内总线246，其中第五对内总线245用以连结分别位于两主机板上的第三处理器S2和第五处理器S4，而第六对内总线246用以连结分别位于两主机板上的第四处理器S3和第六处理器S5。

此外，每一处理器210亦相对连接有一内存模块220。

换句话说，此大型系统可为具有多个接受器(即CPU底座)以连接多个处理器的数据处理系统。于此，各个接受器根据本发明而布线，当各个处理器分别安装一接收器时即可实现根据本发明的多处理器模块，因而提供一大型处理器共享分布式内存系统。因此，每一处理器中的路由逻辑单元即包含有支持自一处理器至另一处理器的通讯路由所需的逻辑。

Claims (18)

1、一种多处理器模块，包括有：

复数个对内总线；

八个处理器，其中每四个该处理器借由该对内总线而串接成一列，并且分别位于两列中的至少一相对的该处理器借由该对内总线而相互连接；

至少一对交错总线，用以将在一列中二个相邻的该处理器分别交错连结至在另一列中二个相邻的该处理器；以及

至少一对外总线，连接于这些处理器的其中一个，以提供该多处理器模块的对外通讯；

其中，该处理器透过该对内总线和该交错总线中的至少一个总线而与另一该处理器形成通讯。

2、如权利要求1所述的多处理器模块，其特征在于：该交错总线分别设置在各列同侧端的二个该处理器。

3、如权利要求1所述的多处理器模块，其特征在于：该交错总线设置在每一列中间的二个该处理器。

4、如权利要求1所述的多处理器模块，其特征在于：该对内总线包括有一对单向总线，分别用以执行该处理器通讯的接收和传送。

5、如权利要求1所述的多处理器模块，其特征在于：该交错总线包括有一对单向总线，分别用以执行该处理器通讯的接收和传送。

6、如权利要求1所述的多处理器模块，其特征在于：该对外总线包括有一对单向总线，分别用以执行该处理器通讯的接收和传送。

7、如权利要求1所述的多处理器模块，其特征在于：这些处理器中任意二个的最大传输迟延(Latency)为3。

8、如权利要求1所述的多处理器模块，其特征在于：每一该处理器包括有一路由逻辑单元，用以提供支持自这些处理器间通讯时路由所需的逻辑。

9、如权利要求8所述的多处理器模块，其特征在于：该路由逻辑单元为一软件可设定的逻辑组件。

10、一种数据处理系统，包括有如权利要求1所述的多处理器模块。

11、一种多处理器模块，包括有：

复数个对内总线；

八个处理器，其中每四个该处理器借由该对内总线分别串联成二个群组，且该群组间借由至少一该对内总线而相互连接；

一对以上交错总线，用以交错连结位在不同的该群组中不相邻的该处理器；以及

至少一对外总线，连接至这些处理器的其中一个，以提供该多处理器模块的对外通讯；

其中，该处理器透过该对内总线和该交错总线中的至少一个而与另一该处理器形成通讯。

12、如权利要求11所述的多处理器模块，其特征在于：该对内总线包括有一对单向总线，分别用以执行该处理器通讯的接收和传送。

13、如权利要求11所述的多处理器模块，其特征在于：该交错总线包括有一对单向总线，分别用以执行该处理器通讯的接收和传送。

14、如权利要求11所述的多处理器模块，其特征在于：该对外总线包括有一对单向总线，分别用以执行该处理器通讯的接收和传送。

15、如权利要求11所述的多处理器模块，其特征在于：这些处理器中任意二个的最大传输迟延(Latency)为3。

16、如权利要求11所述的多处理器模块，其特征在于：每一该处理器包括有一路由逻辑单元，用以提供支持自这些处理器间通讯时路由所需的逻辑。

17、如权利要求16所述的多处理器模块，其特征在于：该路由逻辑单元为一软件可设定的逻辑组件。

18、一种数据处理系统，包括一多处理器模块，其特征在于：该多处理器模块包括有：

复数个对内总线；

八个处理器，其中每四个该处理器借由该对内总线分别串联成二个群组，且该群组间借由至少一该对内总线而相互连接；

一对以上交错总线，用以交错连结位在不同的该群组中不相邻的该处理器；以及

至少一对外总线，连接至这些处理器的其中一个，以提供该多处理器模块的对外通讯；

其中，该处理器透过该对内总线和该交错总线中的至少一个而与另一该处理器形成通讯。

Images