CN1224196A - 大规模并行处理计算机系统的新型互连网络技术 - Google Patents

大规模并行处理计算机系统的新型互连网络技术 Download PDF

Info

Publication number
CN1224196A
CN1224196A CN 97116994 CN97116994A CN1224196A CN 1224196 A CN1224196 A CN 1224196A CN 97116994 CN97116994 CN 97116994 CN 97116994 A CN97116994 A CN 97116994A CN 1224196 A CN1224196 A CN 1224196A
Authority
CN
China
Prior art keywords
node
interconnection network
network
speed bus
ports
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 97116994
Other languages
English (en)
Other versions
CN1085361C (zh
Inventor
夏培肃
韩承德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhongke Integrated Circuit Design Center Co., Ltd.
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN 97116994 priority Critical patent/CN1085361C/zh
Priority to JP10298003A priority patent/JPH11212942A/ja
Publication of CN1224196A publication Critical patent/CN1224196A/zh
Application granted granted Critical
Publication of CN1085361C publication Critical patent/CN1085361C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Multi Processors (AREA)

Abstract

本发明提供一种大规模并行处理计算机系统互连网络技术,它是将反图拓扑互连网络和交叉开关或高速总线结合在一起,从而形成一种新型互连网络,新型互连网络中的结点有多个端口,如有3个端口,其中两个接网络通道,第三个端口接交叉开关或高速总线,如有四个端口,则第四个端口接到使超结点互连的高速总线上,结点的3个端口可由4端口高速缓冲存储器实观,可连接大量结点,且延迟时间短、通信带宽大和可护展性好等优点。

Description

大规模并行处理计算机系统的新型互连网络技术
本发明属于计算机技术领域，特别是指一种大规模并行处理计算机系统的新型互连网络技术。
具有并行处理功能的计算机系统有多个处理机并行工作，这些处理机通过互连网络相互连接起来进行通信。对互连网络的要求为：功能强、通信延迟小、数据传输率高(即通信带宽大)、硬件复杂度低、可扩展性好等。现在常用的互连网络有总线、交叉开关、k元n立方体互连网络等，下面介绍它们的工作原理。
图1为已知的由总线互连多个处理机的框图，多个处理机由总线B互连，处理机之间的通信可通过分时使用总线来完成，即当两个处理机正在通信时，其它处理机必须等待，直到通信完毕后，其它处理机才可以使用总线。总线的优点是造价低，缺点是每个处理机可用的通信带宽较窄，而且可扩展性差。总线所连接的处理机数量一般为4-8个。
交叉开关的框图如图2所示。图中的PEi(i=0,1,…,7)表示处理机，每一个处理机都可同时发送和接收。一个处理机的发送端可根据需要通过交叉开关和另一个处理机的接收端相连。交叉开关的交叉点可以接通或断开，图2中的交叉点处为黑点A表示接通，没有黑点A表示断开。例如图2中左上角的黑点A表示PE7的发送端和PE0的接收端接通。交叉开关的每一行和每一列都只能有一个交叉点接通。在图2中，有8个交叉点同时接通，即8对处理机可以同时进行通信。交叉开关的优点是网络的通信带宽大，网络延迟小。当处理机数量为4-8时，交叉开关是理想的互连网络。交叉开关的硬件复杂性随处理机数量的平方而上升，当处理机数量很大时，造价十分昂贵，所以交叉开关的可扩展性差。
在具有大量处理机的大规模并行处理计算机系统中，互连网络大都采用k元n立方体互连网络或其变体。二维网格是一种简化的k元n立方体互连网络，它的n=2。在图3所示的二维网格中，k=4。二维网格中的横线和竖线表示网络通道，例如CC。横网络通道和竖网络通道的交叉点处的黑点为路由器，例如R03。路由器可根据路由算法和路由机制将所接收到的数据送到目的地。图3中的每一个路由器有五个端口，其中四个端口接网络通道(即两个端口接横网络通道，另外两个端口接竖网络通道)，一个端口接用圆圈表示的处理机结点，例如N00。处理机结点简称结点。一个结点可以只有一个处理机，也可以包含多个处理机。4元立方体互连网络如图4所示。图中的横线、竖线均表示网络通道，例如CC。黑点表示路由器，例如N000。在此图中，隐藏的路由器和网络通道未画出，路由器上所连接的结点也未画出。令互连网络中的结点数为N，在k元n立方体互连网络中，N-kn。所以当k和n给定时，N的值也随之固定。和交叉开关相比，k元n立方体互连网络的可扩展性好，但是它的网络延迟大。在图3中，可看出从左下角的结点N00到右上角的结点N33至少需经过7个路由器。
在k元n立方体互连网络中，当n＞1,k＞2时，网络通道的数量大于路由器的数量。如果处理机结点不接在路由器上，而接在网络通道上，称为反图拓扑互连网络。一个二维反图拓扑互连网络如图5所示。在此图中，结点的数量和图3中的相等，但路由器和网络通道的数量减少一半。图5中的直线、圆圈和黑点所表示的对象和图3中的相同。反图拓扑互连网络对于光互连是有效的，因为光通道的通信带宽很大。但光互连价格较贵，且光和电之间的转换复杂。对于电互连，由于网络通道数量减少，致使每个处理机的平均通信带宽变窄，从而影响信息的高速传输。
本发明的目的在于，提供一种大规模并行处理计算机系统的新型互连网络技术，解决在具有大量(例如大于10000)处理机的大规模并行处理计算机系统中的处理机之间的互连。
本发明提出一种适合于大规模并行处理计算机系统的新型互连网络。它的通信带宽大，网络延迟时间短，可扩展性好。这种新型互连网络是在综合反图拓扑互连网络和交叉开关(或高速总线)的优点的基础上提出来的。
反图拓扑互连网络的最初目的是为了减少路由器和网络通道的数量，但从结点数量的角度来看，对于同样的k和n,k元n立方体反图拓扑互连网络可比常规的k元n立方体互连网络连接更多的结点。图6中的4元二维反图拓扑互连网络所连接的结点为32个，比图3中的16个结点多一倍。图6中的直线、圆圈和黑点所表示的对象和图5中的相同。令反图拓扑互连网络所连接的结点数为NIG，对于二维互连网络，NIG=2N；对于三维互连网络，NIG=3N；对于n维互连网络，NIG=nN。
在8元立方体反图拓扑互连网络中，结点的数量为3×83=1536。如果每一结点有8个处理机，则该网络可使12288个处理机互连。而常规的8元立方体互连网络只有83=512个结点，如果每一结点也有8个处理机，只能使4096个处理机互连。
反图拓扑互连网络虽然可使网络中结点数量增加，但每一结点的平均通道数却减少，致使通信带宽相对变窄。为了加大通信带宽和缩短网络延迟，本发明在反图拓扑互连网络中增加为数不多的交叉开关(或高速总线)，从而形成一种新型互连网络。本发明的特征在于，将反图拓扑互连网络和交叉开关或高速总线结合在一起，在反图拓扑互连网络中，处理机结点不接在路由器上，而接在网络通道上，将反图拓扑互连网络中的同一行和同一列网络通道上的k个结点分别用k×k交叉开关或高速总线互连，从而形成了一种新型互连网络，一个k元n立方体新型互连网络可视为一个超结点，多个超结点可以组成更大规模的并行处理计算机系统，超结点中的相应结点可用高速总线互连。新型互连网络中的结点有多个端口，如果有3个端口，其中两个端口接网络通道，第三个端口接交叉开关或高速总线；如果结点有4个端口，则第4个端口可接到使超结点互连的高速总线上；新型互连网络中的结点的3个端口可由4端口高速缓冲存储器实现，4端口高速缓冲存储器的两个端口可以将结点连接在网络通道上，一个端口接结点内部总线，另一个端口接交叉开关或高速总线。
为进一步了解本发明的特征及功效，以下结合附图对本发明作进一步的说明，其中：
图1为已知的由总线互连多个处理机的框图
图2为已知的交叉开关互连网络框图
图3为已知的4元二维网格框图
图4为已知的4元立方体互连网络框图
图5为已知的二维反图拓扑互连网络框图
图6为4元二维反图拓扑互连网络框图
图7为本发明的4元二维新型互连网络框图
图8为本发明的4元二维新型互连网络框图的另一种形式
图9为本发明的超结点中的相应结点通过高速总线互连的示意框图
图10为本发明的由64个超结点组成的互连网络示意图
图11为本发明的3端口结点示意图
图12为本发明的图7中的一行或一列的示意框图
图13为本发明的4端口结点示意图
图14为本发明的二维新型互连网络的路由器功能示意图
请参阅图7所示，图中的网络为一个4元二维新型互连网络，虚线表示一行或一列的4个结点通过4×4交叉开关(或高速总线)互连(例如CSX0或CSY0)。令tCS表示信息从一个结点经过交叉开关(或高速总线)到另一个结点的延迟时间，tR表示信息从一个结点经过一个路由器到相邻结点的延迟时间。从图7可看出，从左下角的结点N000到右上角的结点N330和结点N331的网络延迟分别为2(tCS+tR)和2tCS+tR，相邻结点之间的网络延迟只有tCS或tR。当k=8时，且采用8×8交叉开关(或高速总线)，网络最大延迟仍为2(tCS+tR)。从图7还可以看出，所用的交叉开关(或高速总线)的数量在横向和纵向各为4个，总数为8个。
可以看出：本发明所提出的新型互连网络在硬件增加不很多的情况下，可使网络中的结点数成倍地增加。由于使用了交叉开关，通信带宽也大为增加，而网络延迟却大大减少。也就是说，本发明所提出的新型互连网络兼有反图拓扑互连网络和交叉开关(或高速总线)的优点，而不具有它们的缺点。
图8为另一种二维的新型互连网络。它和图7中的互连网络相似，所不同之处是图7中的交叉开关(或高速总线)沿结点所在的网络通道设置，而图8中的则和结点所在的网络通道垂直，如CSX0和CSY0所示。这两个图中的互连网络的最大延迟时间相同，所用的交叉开关(或高速总线)的数量也相同。
对于k元立方体网络，若采用k×k交叉开关(或高速总线)，网络最大延迟为3(tCS+tR)。
新型互连网络具有良好的可扩展性。一个k元n立方体新型互连网络可视为一个超结点，多个超结点可以组成更大规模的并行处理计算机系统。令图7中的4元二维新型互连网络为一个超结点，16个超结点可组成一个16元二维新型互连网络，超结点中的相应结点可用高速总线互连，如图9所示。图中的虚线方格表示超结点(例如SN00)，每个超结点中有32个结点(只画出一行和一列结点，共8个结点)。连接超结点的高速总线用粗线表示，例如HSBX0。超结点中的结点用小圆圈表示，例如N301。连接超结点内部的4个结点的交叉开关(或高速总线)用细线表示，例如CSX3。扩展后的新型互连网络所连接的结点数可增加到原来的16倍，即从32扩展到512。每一超结点有32条总线和同一行或同一列的超结点相连。在这种情况下，网络延迟除了超结点的内部延迟外，最多只增加两条总线及有关的连接电路的延迟。
同理，若超结点为k元立方体新型互连网络，将多个这样的超结点组成一个规模更大的立方体新型互连网络，则结点数可增加更多，而网络延迟最多只增加3条总线及有关的连接电路的延迟。图10为一个由64个超结点组成的互连网络，图中的每一个小立方体表示一个超结点，例如SN030。每个超结点都是一个8元立方体新型互连网络。如果超结点中的每一个结点包含2个处理机，则此网络可互连3×83×2×64=196608个处理机。如果每个处理机的运算速度为每秒5亿次，则此大规模并行处理计算机系统的运算速度约为每秒100万亿次。
本发明所提出的新型互连网络可以连接成千上万甚至更多处理机。这种新型互连网络兼有交叉开关、k元n立方体互连网络和反图拓扑互连网络的优点，而没有它们的缺点。和交叉开关(或高速总线)相比，新型互连网络的可扩展性好；和k元n立方体互连网络相比，对于同样规模的网络，新型互连网络可以连接更多处理机，而且网络延迟时间短；和k元n立方体反图拓扑互连网络相比，新型互连网络的通信带宽大，网络延迟时间短。所以本发明所提出的新型互连网络的优点可总结如下：
可以连接大量处理机，处理机的数量可以成千上万甚至更多；
网络延迟时间短；
通信带宽大；
可扩展性好。
新型互连网络中的结点要求具有3个端口，如图11中所示的1、2、3。端口1接交叉开关(或高速总线)，端口2和端口3分别接结点两侧的网络通道CC。结点的3个端口可用4端口高速缓冲存储器实现。图7中的一行或一列的示意框图如图12所示，图中的4端口存储器的4个端口分别接两条网络通道CC、4×4交叉开关(或高速总线)和结点的内部总线。在结点中使用4端口存储器具有如下特点：
存储器的4个端口使结点可以方便地连接在网络通道上。
存储器可以暂时存放被堵塞在互连网络中的数据，从而使路由器的结构简化。
由于结点接在网络通道上，存储器的端口数与网络的维数无关，即对于二维、三维或更高维的互连网络，存储器的端口数都不变。
在结点中使用4端口存储器是本发明中的新型互连网络的关键技术。
在由超结点组成的互连网络中，超结点之间的互连可以有多种方式。一种方式是结点有4个端口，如图13中所示的1、2、3、4。端口2和端口3分别接结点两侧的网络通道CC，端口1接超结点内部的交叉开关(或高速总线)，端口4接到连接超结点的高速总线。超结点之间的互连也可采用多级连接方式或其它方式。
在新型互连网络中，由于结点不接在路由器上，因而路由器比常规的k元n立方体互连网络的路由器少一个端口，而且功能也比较简单。对于二维新型互连网络，其路由器只须完成数据在横网络通道X和竖网络通道Y之间的传送，如图14所示。对于三维新型互连网络，路由器只完成数据在X、Y和Z三个方向的网络通道之间的传送。
新型互连网络中的网络通道和高速总线可以使用电信号传输线，也可以使用光纤。短距离传输可使用电信号传输线，长距离传输使用光纤。网络通道也可全部使用光纤，这时路由器的功能可由同一光纤中不同波长的光信号来实现。

Claims (2)

1．一种大规模并行处理计算机系统的新型互连网络技术，其特征在于，将反图拓扑互连网络和交叉开关或高速总线结合在一起，在反图拓扑互连网络中，处理机结点不接在路由器上，而接在网络通道上，将反图拓扑互连网络中的同一行和同一列网络通道上的k个结点分别用k×k交叉开关或高速总线互连，从而形成了一种新型互连网络，一个k元n立方体新型互连网络可视为一个超结点，多个超结点可以组成更大规模的并行处理计算机系统，超结点中的相应结点可用高速总线互连；新型互连网络中的结点有多个端口，如果有3个端口，其中两个端口接网络通道，第三个端口接交叉开关或高速总线；如果结点有4个端口，则第4个端口可接到使超结点互连的高速总线上。
2．按权利要求1所述的一种大规模并行处理计算机系统的新型互连网络技术，其特征在于，新型互连网络中的结点的3个端口可由4端口高速缓冲存储器实现，4端口高速缓冲存储器的两个端口可以将结点连接在网络通道上，一个端口接结点内部总线，另一个端口接交叉开关或高速总线。
CN 97116994 1998-01-21 1998-01-21 大规模并行处理计算机系统的新型互连网络技术 Expired - Lifetime CN1085361C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 97116994 CN1085361C (zh) 1998-01-21 1998-01-21 大规模并行处理计算机系统的新型互连网络技术
JP10298003A JPH11212942A (ja) 1998-01-21 1998-10-20 大規模並行処理計算機システムの相互連接ネットワーク方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 97116994 CN1085361C (zh) 1998-01-21 1998-01-21 大规模并行处理计算机系统的新型互连网络技术

Publications (2)

Publication Number Publication Date
CN1224196A true CN1224196A (zh) 1999-07-28
CN1085361C CN1085361C (zh) 2002-05-22

Family

ID=5174267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 97116994 Expired - Lifetime CN1085361C (zh) 1998-01-21 1998-01-21 大规模并行处理计算机系统的新型互连网络技术

Country Status (2)

Country Link
JP (1) JPH11212942A (zh)
CN (1) CN1085361C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921428B (zh) * 2006-08-25 2010-04-07 上海红神信息技术有限公司 自洽多阶张量扩展方法及多mpu并行计算系统
CN1921437B (zh) * 2006-08-04 2010-05-12 上海红神信息技术有限公司 内外连网络拓扑架构及自洽扩展该架构的并行计算系统
CN101809597B (zh) * 2007-09-26 2013-06-12 佳能株式会社 计算处理装置及方法
CN117807017A (zh) * 2024-03-01 2024-04-02 中国人民解放军国防科技大学 立方体超结点多平面互连的高性能计算机及其通信方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921437B (zh) * 2006-08-04 2010-05-12 上海红神信息技术有限公司 内外连网络拓扑架构及自洽扩展该架构的并行计算系统
CN1921428B (zh) * 2006-08-25 2010-04-07 上海红神信息技术有限公司 自洽多阶张量扩展方法及多mpu并行计算系统
CN101809597B (zh) * 2007-09-26 2013-06-12 佳能株式会社 计算处理装置及方法
CN117807017A (zh) * 2024-03-01 2024-04-02 中国人民解放军国防科技大学 立方体超结点多平面互连的高性能计算机及其通信方法
CN117807017B (zh) * 2024-03-01 2024-05-14 中国人民解放军国防科技大学 立方体超结点多平面互连的高性能计算机及其通信方法

Also Published As

Publication number Publication date
JPH11212942A (ja) 1999-08-06
CN1085361C (zh) 2002-05-22

Similar Documents

Publication Publication Date Title
US5715391A (en) Modular and infinitely extendable three dimensional torus packaging scheme for parallel processing
US9880972B2 (en) Computer subsystem and computer system with composite nodes in an interconnection structure
EP0018756B1 (en) Speed independent arbiter switch for digital communication networks
JPH0151108B2 (zh)
CN109189720B (zh) 层次化片上网络拓扑结构及其路由方法
KR20030082598A (ko) 클래스 네트워크 라우팅
US20130073814A1 (en) Computer System
US7486619B2 (en) Multidimensional switch network
CN1018324B (zh) 时分交换装置
CN104092615B (zh) 具有网络编码功能的片上网络、网络拓扑结构和路由方法
KR19980025418A (ko) 계층 상호연결망을 위한 크로스바 라우팅 스위치
CN111224883B (zh) 一种高阶路由器的瓦片结构及其构建的高阶路由器
CN100584105C (zh) 基于光分组交换及光组播的分级控制计算机系统
CN1085361C (zh) 大规模并行处理计算机系统的新型互连网络技术
CN103546397A (zh) 支持乱序的自路由Omega网络结构
CN105049362A (zh) 一种二维环绕网格片上网络的拓扑结构以及路由方法
KR0175499B1 (ko) 다중태그 구조의 계층 상호연결망에서의 브로드캐스트 전송방법
Liu et al. A Hypercube-based Scalable Interconnection Network for Massively Parallel Computing.
CN1165145C (zh) 一种大容量可扩展分组交换网络结构
CN109271338B (zh) 一种面向存储系统的可重构片上光互连结构及通信方法
CN1095570C (zh) 大规模并行处理计算机系统的新型互连网络
CN110825689B (zh) 电子芯片的实现方法及电子芯片
KR0170493B1 (ko) 다중 프로세서 시스템을 위한 논블록킹 결함허용 감마 연결망
Wu et al. Applications of the Scalable Coherent Interface in multistage networks
CN115801705A (zh) 一种应用于计算微系统的数据交换网络架构

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SUZHOU ZHONGKE IC DESIGN CENTER CO., LTD.

Free format text: FORMER OWNER: INST. OF COMPUTING TECHN. ACADEMIA SINICA

Effective date: 20050708

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20050708

Address after: 261021, international science and Technology Park, No. 328 Airport Road, Suzhou Industrial Park, Jiangsu, two E301

Patentee after: Suzhou Zhongke Integrated Circuit Design Center Co., Ltd.

Address before: 100080 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing

Patentee before: Institute of Computing Technology, Chinese Academy of Sciences

CX01 Expiry of patent term

Granted publication date: 20020522

CX01 Expiry of patent term