CN1148211A - 耦合度可调并行计算机群系统及其构造方法 - Google Patents

Abstract

本发明属于计算机体系结构领域，涉及对以多指令流多数据流MIMD方式工作的高性能并行计算机群系统及其构造方法的改进。本发明使用结点互连适配器XBH和小维数交叉开关结点SN将各种完整、独立的计算机、工作站连接成耦合度可调的并行计算机群系统，提高处理速度和能力，并具有较强的扩展能力和便于升级的优点。

Description

耦合度可调并行计算机群系统及其构造方法

本发明属于计算机体系结构领域，涉及对以多指令流多数据流MIMD方式工作的高性能并行计算机群系统及其构造方法的改进。

并行计算机是由一组能够彼此通信，互相协作的处理单元构成的、用于快速求解大规模计算问题的计算机系统。并行计算机一般划分为流水线处理机、阵列处理机、多处理机和多计算机机系统等。在80年代中后期，出现了一批高性能的、以MIMD方式工作的计算机系统，例如IBM RP3(参见Pfister，G.F.，Brantley，W.C.，et al.，The Research Par-allel Processor Prototype.Proc.ofthe 1985 Intl.Conf.on Parallel Pro-cessing，Aug.1985)；Nectar；iWarp(参见Amould，E.A.，Bitz，etal.，The Design of Nectar：A Network Backplane for HeterogeneousMulticomputers.Proc.3rd International Conference on ArchitecturalSupPort for programming Language and Operating Systems，ACM.April，1989)；BBN(参见Crowther，W.，et al.，PerformanceMeasurements on A128-node Butterfly Parallel Processor.Proc.of the1985 Intl.Conf.on Parallel Processing.Aug.1985)；Merlin(参见Wittie，L.，Maples，C.，MERLIN：Massively parallel Heterogeneous Com-puting.Proc.of 18th Intl.Conf.on Parallel processing.Aug.1989)。

IBM RP3是一个用于高度并行MIMD超级计算机开发的硬件和软件试验装置，它包含512个处理结点，这些结点通过一个高速的Omega网连接，每个结点包括32-bit ROMP微处理器，32KBCache，一个浮点运算单元和系统主存的一个子集(最大8MB)。RP3设计的尖峰速度为1300MIPS或800Mflops。互连网络的聚合吞吐量为13GB/Sec，网络延时为1～2个处理器周期，软件实现的Cache一致性控制，嵌入式的性能测试硬件，192MB/Sec的I/O速率。

Merlin是一个大规模并行异构计算机系统，它的原型机拥有8台计算机，速度指标为300MIPS。Merlin系统采用带宽高达300Mbytes/Sec的通信链路构成一个开放的体系结构，将异构的计算机连成紧密耦合的并行系统。

Nectar系统是一个围绕开关网络建成的多计算机系统，该网络由一个或多个名为HUB的网络结点构成，每个HUB是一个交叉开关，具有双向的光纤端口以及光电转换装置，计算机结点通过通信加速板(CAB)与网络连接。由于HUB引起的时延较低，可以用它构成大型的Nectar-net，例如可容纳6144个结点、1024个HUB的大型系统。

BBN实验室开发的Butterfly Parallel Prooessor是一种紧密耦合、共享存储器的多处理机系统，它有256个处理结点，采用分组交换的Omega网络连接。

上述系统各具特色，其相同之处在于：

·采用新型的全局存储管理和地址映象技术。

·以互连网络的形式构成可编程的存储访问路径。

·追求低建立时延、高通信带宽的机间连接。

上述系统中除了Nectar之外，其他都是共享存储器的紧密耦合MIMD系统。所谓紧密耦合多处理机系统是指通过共享存储器实现处理机间通信的多处理机系统，而通过在处理机间传递信息实现协作的多处理机系统则被称为松散耦合的多处理机系统。因此，是否具有共享存储器是区分紧密耦合与松散耦合的标志。

80年代中后期以来，对分布式共享存储器(DSM)系统的研究和实践使松散耦合的多处理机系统得到发展。以信息传递为基础实现的DSM系统一方而具有共享存储器的某些特征，另一方面又不具备一个物理上的全局共享存储器实体。从处理机结点的硬件结构上看，DSM系统的结点结构类似多计算机系统的结点，但其操作系统与多计算机系统不同。多计算机系统与多处理机系统含义的区别在于：多计算机系统指以通讯网络连接的一组自治的计算机，每个系统成员拥有完整的、独立的硬、软件结构；多处理机系统受单一的操作系统控制。DSM系统的操作系统支持系统内部结点对分布式共享存储器的一致性访问。表1列出国外已有的几个松散耦合的多处理机系统系统。

表1    国外松散耦合多处理机系统

公司名称	当前机型	体系结构	结点处理机	结点执行速度(Mflops)
					Intel巨型机系统公司	Paragon XP/S	MIMD、2维网格	Inteli860	50
Kendall SquareResearch公司	KSRI	MIMD环形层次	定制超标量RISC芯片	40
					N Cude公司	n Cude2S	MIMD超立方体	64位定制的超标量处理机	2.4
Parsytec Gmbh公司	Parsytec GC	MIMD、3维网络可变拓扑结构	Transputer T9000	25

通常紧密耦合系统通过全局共享存储器实现在处理机之间的共享信息高速传递，但所形成的系统规模受到共享存储器带宽的限制，其信息共享的快速、简捷、高效的优点与其扩展性差的缺点紧密相连。松散耦合系统解决了规模扩展的问题，甚至能以系统软件的形式向用户提供虚拟的全局共享服务。但松散耦合系统存在一个由于共享而可能导致的“数据颤抖”问题，限制了一般松散耦合的DSM多机系统的应用范围。所谓“数据颤抖”是指页面振荡的情况。在DSM系统稳定运行阶段，局部存储器中所包含的页面很大可能是本地处理机最近还会再次使用的，即局部存储器保存的是当前工作集。当一个远端处理机因发生缺页错而试图从本地的工作集中抽取一个页面的所有权时，该页面也将成为新获得此页面处理机的工作集的一部分。由于工作集的重叠，不可避免地会发生页面振荡的情况，使系统处理能力的很大一部分浪费在来回争用工作集的重叠部分上。同时由于DSM通讯开销的不可忽视，页面振荡将使访问共享数据的时延大大增加，DSM系统只能从用户编程的程度来减少这种情况发生的可能性，而难以从系统内部来克服这种问题。

MIMD并行计算机系统的构造方法涉及如下问题：

·结点处理机的选择；

·确定处理机之间的互连形式；

·存储管理的方式；

·所采用的计算模型，等等。

分析表1中列举的国外松散耦合的多处理机系统可以看出其构造方法上的特点。第一、在结点处理机的选择上，大都采用极高性能的处理机或者专门定制的处理机，往往一个结点的处理机构是由多个处理机组成，其中有一个处理机专用于管理与其他结点或网络的信息交流，以及处理与系统管理有关的事务。负责计算处理的处理机往往多于一个。第二、结点的功能很完善，不仅具有极高的计算能力，而且还支持接受和发送信息，支持系统存储管理，支持错误恢复，支持拓朴结构等硬件机制。第三、系统的拓朴结构主要有2维网格、环形层次结构等。采用这种方法构造的多机系统网络专用性强，兼容性差，而且造价高，升级困难。

当结点处理机属于使用不同总线标准的计算机时，需要在不同总线标准间进行协议转换，同时具备高速的总线间数据传输能力。即是在基于同类总线的计算机系统间设立高速的互连通道，也涉及总线训号的中继和转换。文献“Coli，M.，Bernardini，A.，etal.，Multibus II-VME Inter-face.Computer Sdandard & Interfaces，vol.8，No.3，PP.179-188”给出了一个在两个总线之间进行总线协议转换的实例。如图1所示，处理器1的总线ABus和另一个处理器1的总线BBus之间接有转换单元3，完成ABus和BBus的协议转换，构成高速通道。我们把转换单元3看成是联合ABus和BBus的“桥”。这种“桥”的特点是完成协议转换功能的电路集中在起，或位于俩个处理器之间，或位于任一个处理器之内。如果在m种总线标准间建立俩俩之间的总线转换机构，就需要有C_m ²种不同类型的总线转换单元。

本发明的目的是提出一种便于实现的、兼有紧密耦合和松散耦合两类多机系统优点的MIMD并行计算机群系统以及构造系统的方法，使用本方法可以将高性能的个人计算机或工作站作为处理结点，形成具有分布式共享存储器特征的耦合度可调的多机系统。

本发明的另一个目的是提供一个高效、灵活、简捷的多机互连机构，支持系统规模的便利扩展，支持系统随处理机的升级而自然升级。

本发明的技术解决方案是：

一种耦合度可调并行计算机群系统，包括作为处理机--存储器一体化结点的、基于某种总线标准的个人计算机、工程工作站或工业控制计算机，称为终端结点TN；还包括在终端结点TN与开关结点之间构成通路的电缆或光缆；其特征在于，

(1)、在终端结点TN内有一个实现TN内部总线协议与总线桥协议转换的结点互连适配器XBH；

(2)、由小维数交叉开关结点SN互相连接构成一个总线桥互连网络，每个终端结点TN分别与该网络上的小维数开关结点的一个端口连接，构成并行计算机系统，交叉开关结点SN的维数可以是3至64；

(3)、结点互连适配器包括：与终端结点TN的总线连接的XBUS接口单元；与总线桥标准总线连接的BBP接口单元；完成XBUS总线与BBP总线协议转换的协议转换单元；一组寄存器，包括命令寄存器、状态寄存器和双向数据寄存器。

一种构造耦合度可调并行计算机群系统的方法，其特征在于，

(1)、在每个终端结点计算机TN内安装一个结点互连适配器，它可以完成结点计算机的总线协议与总线桥协议之间的相互转换，实现两种总线间的数据传送；

(2)、由小维数交叉开关结点互相连接构成总线桥互连网络，其端口通过电缆或者光缆与所有的终端结点计算机相连构成耦合度可调的并行计算机群系统；

(3)、总线桥标准协议包括四层子协议：端口层协议，网络层协议，终端层协议和总线转换层协议；

端口层协议负责在两个具有直接连接的结点互连适配器之间打开数据、地址和控制通路，并使这些通路具有一个当时确定的控制方，当互连的双方同时希望得到通路的控制权时，端口层协议按某种策略从中选择一方得到控制权，而将另一方的请求作废，在开关结点内部，端口层协议也必须能提供任意两个端口之间的通路，并保证该通路具有唯一的控制方；

网络层协议在两个终端结点之间寻找并实际建成一条最短的互连通路，在连接过程中，一方面要预防死锁，解除已发生的死锁，另一方面要注意网络的负载控制，屏蔽或延缓可能造成开关网络工作不稳定的互连请求；

终端层协议一方面要给网络层提供连接的目标结点和以优先权标识的本次连接的请求级别，另一方面还要为总线转换层提供足够的迅号线和相应的时序关系以支持终端结点之间的总线迅号传递，总线桥迅号线包括用于建立端口链路的裁决总线，用于传输数据和地址的数据地址总线和用于传输各种控制迅号的总线桥控制总线；

总线转换层协议将源终端结点对目标终端结点存储器访问的总线迅号转换成总线桥时序，然后在目标终端结点内还原成该计算机的内部总线迅号形式；

(4)、在总线桥网的基础上，以存储器共享窗管理方式构成的分布式共享存储体系，既能支持类似于松散耦合计算机系统上的分布式共享存储器管理，又能在系统的局部实现真正的、暂时存在的共享存储区域—共享存储窗。

本发明的主要优点：

本发明的耦合度可调并行计算机群系统与现有的MIMD系统相比较在几个主要方面的性能列于表2

表2  系统性能比较

	松耦合	紧耦合	可调耦合
				共享方式	Message-passing或分布式虚拟共享机制	共享存储器	Message-passing+按需建立的局部物理共享区
扩展能力	强	弱	强
				共享效率	受通讯介质影响	高	较高
存储器一致性协议实现方式	软件实现	硬件实现	硬、软件结合实现
				数据振动现象	存在，一旦发生严重影响系统整体性能	无	存在，但可抑制
动态改变共享方式	不能	不能	能

由表2可见，本发明的耦合度可调并行计算机群系统能够以松散耦合方式工作，也可以通过动态设置和撤消双机间共享存储区抑制“数据颤抖”，获得接近紧耦合系统的共享效率，同时还能根据需求动态改变共享信息的活动方式，以适应不同类形问题的有效并行求解。

本发明的构造方法与现有的方法相比，具有简便易行和易于重构的优点，所构造的多机系统可以大幅度降低成本，并能容易地升级换代，因此本发明的方法可以构造性能价格比极高的耦合度可调并行计算机群系统。

附图说明。

图1是在两个处理机间进行总线协议转换的示意图。图2是本发明的两个终端结点TN连接示意图。图3是多个TN连接示意图。图4是总线桥协议的层次模型。图5是总线桥读时序。图6是总线桥写时序。图7是多级总线桥链路维持示意图。

下面对本发明的耦合度可调并行计算机群系统及其构成方法作进一步详细说明。通过分析多机耦合的实质，对多机系统耦合程度获得新的认识，确认耦合度是多机系统中共享信息流动的一种度量。设在任何情况下，具有物理共享存储器的多机系统因存储器协同导致的共享存储模块间的共享信息活动量为零，而相同条件下基于松散耦合的DSM系统的共享信息活动为f，则多机系统(多处理机或多计算机)的耦合度定义如下：多机系统耦合度C＝m/f。其中f为例题决定的包含共享信息的存储页面在处理机间的活动量，m(0≤m≤f)为这些页面在多机系统各存储模块间实际表现出的活动量。当m＝0时，c＝0，系统为最紧密耦合情况。当m＝f时，c＝1，系统为最松散耦合情况。当0＜m＜f并在一定范围内变动时，c在0和1之间变动，表明系统的耦合度发生变化。调整m的值即可实现多机系统耦合度的调整。设计并实现某种共享信息活动的控制机制是构造耦合度可调并行多机系统的关键问题之一。

本发明的耦合度可调并行计算机系统的结构包括三种类型的基本构件。

·作为处理机--存储器一体化结点的，基于某种标准总线的个人计算机、工程工作站或工业控制计算机，称为终端结点TN。

·实现结点内部总线协议与结点互连协议转换的结点互连适配器XBH，它分别安装在终端结点TN内，形成分布式的转换结构。关于结点互连适配器的详细的结构、功能等申请人已经在本发明专利申请日的当日向中国专利局提交了发明专利申请，其名称为“结点互连适配器”，其详细内容见该申请文件。

·支持彼此连接，构成互连网络的小维数交叉开关结点SN，其互连协议与结点互连协议相同。

当有两个终端结点TN1和TN2连接时，参见图2，每个TN内都有处理单元P、存储单元M和输入输出单元I/O，同时都装有结点互连适配器XBH。将连接TN1总线ABus的结点互连适配器称为ABH，连接TN2总线BBus的结点互连适配器称为BBH。可见XBH中的字母X是表示所连接的终端结点处理机内总线的类型。目前获得广泛应用的标准总线有STD总线，ISA、EISA、VESA、PCI、SBus总线，MultibusI(II)总线，VMEbus总线，G64总线，SCSI总线和CAMAC总线等等。电缆5将两个BH相连，使两个TN完成互连。图3给出多个TN(TN1～TN6)的连接图。这时每个TN上的XBH根据所在TN的总线类型分别表示为ABH、BBH、CBH或DBH。每个BH分别与一个小维数交叉开关结点SN相连，图3中TN1、TN2和TN3与SN1连接，TN4、TN5和TN6与SN2连接，SN1又通过电缆或者光缆与SN2连接，将TN1-TN6连成网络。每个SN上所端口数可以从3到64个。当其维数较小时有利于降低制造成本。通过将若干个SN互相连接的方法，即可构造含有所需要的足够多的终端结点TN的多机系统。例如将SN连接成立方体结构等等。可见，由某个终端结点TNi的总线到另一个终端结点TNj的总线，途中要经过XBHi→电缆→SNi…SNj→电缆→XBHj的路径。可以将存在于耦合度可调并行计算机群系统两个终端结点总线之间的，支持该两结点间总线讯号相互传递的硬件设备、电缆和开关结点总称为总线桥，也称BBP链路。这是本发明在机间连接的方式上与现有技术的一个重大区别。用于管理总线桥工作过程的耦合度可调并行计算机群系统结点间总线讯号转换和相互作用的中间规程称为总线桥协议，简称BBP协议。由若干个SN互相连接构成的，连接终端结点TN的网络称为总线桥网。因此总线桥的物理形态为一种对称结构，即总线讯号转换、连接的支持电路分布在被连接的终端结点计算机TN内部，系统结点之间只存在电缆或将这些电缆组成网络的开关。终端结点TN相互间的互连过程是：当源结点STN欲与目标结点OTN连通时，STN内的XBH将本地总线协议转换成标准的BBP协议，并通过由电缆和SN组成的链路送达OTN内的XBH，由它将BBP协议转换成OTN内的总线协议，建立STN与OTN的通路并进行通讯。当STN与OTN的通讯结束后，将其间的通路撤消。

与同样用于计算机系统的网络类似，总线桥互连协议由几个不同层次的子协议组成，子协议的底层为紧邻的上一层提供某种服务，同时使上一层协议无需涉及低层管理的具体事务。总线桥要解决的问题包括：结点间连接的建立与撤消；数据传送的规则；不同工作速度结点的同步；差错控制；总线桥的工作方式；支持路径选择和负载控制；支持数据格式在不同总线标准间的转换；支持不同总线间数据传输时序的变换；支持结点间彼此中断的能力。本发明的总线桥协议划分为四层：端口层、网络层、终端层和总线转换层，参见图4。

总线桥端口层协议的主要目标为：

·支持快速的相邻结点(包括网络结点和终端结点)间总线桥的建立；

·支持开关结点在其端口间建立无缓冲的总线桥连接；

·支持连接冲突的裁决；

·保证终端结点间经过转接的连接与直接用电缆进行的连接的一致性。

总线桥网络层的功能为：

·源终端结点与目标终端结点间路径规划与设置；

·开关结点工作方式的设定；

·系统死锁的预防和解除；

·互连网络的负载控制。

总线桥终端层协议的内容包括：

·每次连接最终目标结点的选定；

·每次连接的优先权设置；

·传输方向的确定；

·数据传输格式的定义与解释；

·差错检测与重发机制。

上述三层协议功能的实现和终端结点所使用的总线标准无关，而总线转换层则直接与结点的总线标准及系统内部特性相关。总线转换层协议的功能包括：

·由总线网连接的系统内地址空间的组织以及远程访问地址的产生；

·远端结点访问请求的产生与响应；

·终端结点数据格式与总线桥数据格式间的转换；

·终端结点总线上读写时序与总线桥读写时序间的互换。

端口层按照网络层路径规划的结果在源、目标结点之间，将相邻的端口连接成桥，返回网络层以下信息：结点端口间总线桥建成或开关结点内部已完成两个端口的连接。网络层按照终端层指明的两个终端结点进行路径规划和设置，返回终端层：一个建立于源结点端口与目标结点间的总线桥，其控制权由源结点掌握，沿桥开关结点的监控单元处于旁路监视状态。在此基础上，终端层将总线转换层的总线状态转换结果从源结点送往目标结点，交给目标结点总线转换层处理。在总线转换层的作用下，源结点对目标结点的中断、存储器存取以及有关的处理机状态交互，在总线讯号一级得到处理和响应。由于总线标准的繁多，工作方式、内部规程相去甚远，总线上处理机类型也各异，总线之间状态的完全转换非常复杂，总线桥协议将着重处理总线上的数据传输和中断请求的转换。

端口申请冲突的解决。

总线桥的两个互连终端结点安装有对称的XBH，在申请建立连接方面地位平等。当两个互连结点同时希望控制通路时，出现端口申请冲突问题。可以采用的裁决方法有很多，例如固定优先权、先来先服务、菊花链、固定时间片等等。推荐采用申请人在发明专利申请“对称裁决器”中公开的电路。

网络互连路径的生成。

由于在本发明中强调结点对之间的密切合作，总线桥网采用CircuitSwitching方式工作。从实现较大规模网络扩展的角度考虑，开关结点SN的功能、结构都应较为简单。本发明所采用的开关结点SN是可以具有3～64个连接端口的全互连交叉开关，开关从某一受控端口读取出口号，在出口建立与外界的端口连接，在开关内部接通入出端口，开关监控转为旁路监视。于是，路径生成的工作完全由终端结点进行，生成的路径由一系列开关号和与之对应的出口编号组成。SN的基本结构为一个小维数的端口全互连网络，受一个内部处理器控制。SN的外部端口满足总线桥互连协议，既可与终端结点TN相连，也可以彼此互连。一般，SN的端口数目取3～64，小维数有利于减少SN的成本和体积。

总线桥讯号设置。

通常总线由地址总线、数据总线和控制总线三部分构成。地址总线上传输的内容用于选择总线上所挂特定部件内的特定区域，控制总线用于通知被选中的设备进行怎样的操作，而数据总线用于在主从设备间传送数据。数据总线和地址总线的宽度是总线的重要参数，总线桥数据总线和地址总线宽度的选择，既要考虑对传输性能的影响，同时还要考虑用于支持总线桥扩展的开关部件的建造开销。控制总线中，除了辅助数据传输的有关讯号线外，还包括总线争用裁决、中断、差错校验等有关的控制线。由于结点间的数据传输和存储器访问一类的总线操作对结点彼此合作、协同工作的影响尤为重要，因此总线桥终端层的讯号线应面向总线数据传输操作优化。以下给出一个总线桥讯号线分配的实施例。

裁决总线部分：

(1)、裁决指示线ARST：指示裁决过程开始，高电平有效，由互连端口的任一侧启动，

(2)、裁决优先权线AR3-AR0：AR3为最高位，提供16级优先权，

(3)、本端口优先权比较结果线ARSESUS：送往互连端口的ARSESUO，

(4)、对方端口优先权比较结果线ARSESUO：与对方端口的ARSESUS相连，

数据地址总线部分：

(5)、数据/地址复用总线BBPD0-BBPD31：32位，BBPD31为最高位，

总线桥控制部分：

(6)、读写控制线R/W*：低电平写，高电平读，

(7)、数据有效指示线DS*：下降沿有效，

(8)、数据确认指示线DACK*：下降沿有效，

(9)、地址有效指示线AS*：下降沿有效，

(10)、命令/数据定义线C/D*：高电平时，BBPD上传送控制命令，低电平时，BBPD上传送终端结点计算机收发的数据，

(11)、高半字允许线BHE：高电平有效，

(12)、受控端口准备好指示线READY：高电平有效，用于结点同步。

裁决总线由ARST启动后，在互连端口得到裁决结果，其表现形式就是胜方控制了R/W*的设置权，R/W*由胜方送出，负方响应。裁决总线仅作用在互连端口之间，而其他讯号线则由总线桥从源终端结点一直接到目标终端结点。DS*、AS*、BEH与数据传送方向相同，而DACK*、READY与数据传送方向相反，数据传送方向由R/W*确定。READY在连接建立时用于指明受控方准备好，在连接建立后用于总线操作方式改变时，终端结点间的同步。需要指出，总线桥讯号线的设置是根据多种因素权衡的结果。根据不同的要求，可以设置不同的讯号线。例如数据地址线可以是64根或者128根，优先权线也可以增加。上面给出的实施例并不是唯一的形式。

总线桥的工作时序。

在终端结点间建立的总线桥连接支持两个方向的数据传输，从终端结点的总线桥端口角度看，总线桥有四种时序关系，即：源终端结点STN读、写和目标终端结点OTN的读、写响应时序。图5为总线桥连接的源终端结点从目标终端结点的存储器中读取数据时，总线桥的工作时序；图6为源终端结点向目标终端结点写数据时总线桥的工作时序。这是在上述的总线桥讯号线设置实施例的基础上设计的时序关系。

其中读时序中，时间标记处的状态注明如下：

T₁：STN在完成总线桥连接操作后，等OTN给出的READY讯号，OTN在T₁时给出上升沿有效的READY。

T₂：STN到READY上升沿，给出R/W*和地址。

T₃：AS*由STN在地址稳定锁定在BBPD_i上后降为有效的“L”电平。下降将导致OTN降下READY。

T₄：READY下降，OTN将地址锁存，然后升高READY。

T₅：地址传送周期结束。

T₆：STN升高R/W*开始数据传送周期，AS*上升。

T₇：OTN使DS*下降，指明当前BBPD_i上数据有效。

T₈：DS*的下降导致OTN降下READY，并引发OTN端将AS*指明地址的内容送入BBPD_i。

T₉：当数据稳定在BBPD_i上时，STN给出下降沿有效的DACK*。

T₁₀：OTN升起READY，通报STN可以进行下一次读或写过程。

T₁₁：DACK*下降导致OTN升起DS*，从BBPD_i中获得数据。

在DMA方式下，STN和OTN利用DS*和DACK*作为计数依据，同时进行地址的增减计算，双方从T₁₁直接进入T₆，以加快读数过程。在写时序中，R/W*始终保持低电平，DS*、AS*由STN给出，OTN给出READY和DACK*。从时序图中可知，总线桥工作时序采用讯号握手的同步方式，回避了在系统中广播时钟讯号的难题。STN掌握数据传送方向的控制权，而数据传送方向确定握手讯号的驱动方向。总线桥连接链路控制权与数据传送方向的分离使得总线桥区别于以消息传递为背景的一般串、并行通讯链路，而更具有总线的特征。

总线转换层协议主要解决两个问题，一是终端结点内部总线讯号与总线桥讯号的转换；二是地址空间转换。从上述给出的总线讯号分配的实例看，有以下特点：

·采用异步协议；

·数据总线与地址总线复用；

·提供最少量的控制线以支持数据传送一类操作；

·通过数据/总线命令控制线与数据/地址复用总线编码，提供其他类型总线操作的转换；

·连接的建立通过逐段争用控制权实现。

该实例的目的是希望能够同时满足同步协议之间、异步协议之间以及同步协议和异步协议之间的转换要求。

总线地址转换涉及两方面的问题，一是结点地址空间的组织；二是信息在结点处理机间缓冲级数。本发明总线转换层采用类似于单计算机虚拟地址转换的方法实现结点间访存地址的变换。这是一个基于“存储器共享窗口”存储管理方法的地址变换机构和过程。该过程中在STN页表内设一MSW页面，STN通过总线桥将OTN共享信息所在页面映象到MSW页面中。其中MSW页面的页号作为OTN寻址和被访问页面的定位，而MSW页面内的偏移地址经由总线桥地址总线从STN的总线直接进入OTN总线，在OTN内完成OTN访存地址的装配。总线转换层的实现与结点机以及由之组成的多机系统的特性有关，不同的存储管理策略将导致不同的总线地址转换方法。

总线桥网的工作方式为电路交换工作方式。

总线桥网的运行机制。

当两个终端结点TN采用总线桥协议互连时，它们之间的连接称为总线桥连接。当多个终端结点通过开关结点采用总线桥协议互连时，它们之间的连接则称为总线桥网。引入总线桥网的目的是为了将更多的终端结点TN连入系统。总线桥网具有比单纯总线结构强的扩展能力，所付出的代价是接续时间的延长。

总线桥网的运行由总线桥协议网络层控制，由开关结点SN支持，其目的是尽可能以电路交换方式在申请连接的终端结点间建成总线桥连接、或多级总线桥连接。总线桥网采用分布式的运行管理方法，网中终端结点TN地位平等，无主次之分。开关结点除了拥有彼此独立的身份编号外，也完全一致，它们仅与相邻的结点相互作用，无须了解当前整个网络的拓扑、流量和工作状态。在连接建立阶段，链路冲突由沿线开关结点自行解决，申请连接的终端结点给出路径后，只须等待总线桥网的路径建成与否的回答。在连接维持阶段，沿线开关结点的监控单元共同监视链路的工作情况。图7为多级总线桥链路维持阶段示意图。其中SN_i～SN_n为开关结点，M为监控单元。TN_a掌握当前链路控制权，在TN_a、TN_b间存在的连接为总线桥终端层协议中除了裁决总线以外所有讯号线的直接通路。裁决线仅作用于互连端口之间，在开关结点内不转接裁决总线。当TN_a改变R/W*值时，沿线开关自动进行换向动作。当TN_a将C/D*置为1时，沿线开关打开自身监控单元的数据输入通路，同时接受TN_a的进一步指示。当TN_a希望撤消与TN_b的连接时，有三种可用的办法：一是TN_a按路径建立过程的逆序，从TN_b起，逐级控制链路的撤消；二是TN_a在其端口维持一个足够长的预备撤消命令写，使得沿线开关及TN_b都有机会注意到这个撤消命令，然后TN_a再给出撤消命令；三是TN_a按路径建立的相同顺序通知紧邻结点链路撤消，然后由此紧邻结点逐级下发直至TN_b。在发生链路申请失败的情况下，总线桥网要求TN释放已占有的网络资源，若有可能，以新的路径重新开始申请。在本发明专利申请中所用到的开关结点SN，申请人亦于本申请日的同日向中国专利局申请了名称为“多端口总线桥互连器”的发明专利，若要了解有关SN的更详细的结构请参见该专利申请文件。

本发明耦合度可调并行计算机群系统中耦合度的调节是通过存储器共享窗(MSW)这种存储器管理方法实现的，它是一种用于在以总线桥网为基础的多计算机系统上构成分布式共享存储体系的存储器管理方法。MSW充分利用总线并行通讯协议所提供的条件，一方面支持类似于松散耦合计算机系统上的DSM的管理，另一方面能够在系统的局部实现真正的暂时存在的共享存储区域，即所谓的存储器共享窗。

MSW在空间上由两个部分组成，第一部分是创建MSW的计算机上物理地址空间的一个子集，该子集没有与之对应的存储器件；第二部分由系统的互连网络和映象机构在其他计算机的局部存储空间中选取。通过改变网络路径和映象机构参数，创建MSW的计算机可以将对MSW的访问映象到耦合度可调并行计算机群系统中所有允许共享的局部存储器中。同时，系统中的每个成员都可以创建MSW，因此系统具有较强的存储器共享的能力。在时间上，MSW有多种可能的控制方式，如：完成批量的数据存取后立即关闭；或者是在存取个别共享数据后继续存在一个小的固定时间，在此时间内若没有对MSW的再次访问则关闭MSW，若MSW被再次访问，则它在该次访问后再存在一个小的固定时间。构造MSW需要解决如下的问题：

·创建MSW的结点机与目标结点机的连接；

·存储器访问信息(地址、读/写讯号)的快速传递；

·支持MSW存储管理方法的地址变换；

·冲突的检测与解除；

·存储一致性的保证。

本发明的总线桥并行通讯的方法和结构已经提供了MSW实现的基础和硬件保证。申请人于本专利申请日同日向中国专利局提交的发明专利申请“一种分布式存储器共享管理方法”详尽地公开了MSW的全部有关内容，可以参考其专利文献进一步了解MSW的内容。

实施例。

图2、3既是本发明的系统的实施例，又是本发明的构造方法的实施例，图2作为实施例1是两个结点机连接方案和构成的系统；图3作为实施例2是6台TN的连接方案和构成的系统，在上面的叙述中已经作了说明。下面给再出用本发明的方法构造的耦合度可调并行计算机群系统的实际的两个实施例。

实施例3。

以80286微处理机为终端结点处理机TN，由结点互连适配器ATBH转换ISA总线/BBP总线，由四端口交叉开关结点SN4P作为转换开关，组成多处理机系统。链路的设计速率为5MB/Sec。

实施例4。

以Sun工作站为终端结点处理机TN，由结点互连适配器SBH转换SBus总线/BBP总线，由六端口交叉开关结点SN6P作为转换开关，组成多处理机系统。链路的设计速率为80MB/Sec。

如果使用20台Sun Sparc-10工作站为终端结点机，其结点的峰值速度可达到160MIPS。如果采用20台单台速度高达160MIPS的Deca工作站，所建的机群系统的峰值速度可以达到3200MIPS，等于3.2GIPS。

Claims (3)

1、一种耦合度可调并行计算机群系统，包括作为处理机--存储器一体化结点的、基于某种总线标准的个人计算机、工程工作站或工业控制计算机，称为终端结点TN；还包括在终端结点TN与开关结点之间构成通路的电缆或光缆；其特征在于，

(1)、在终端结点TN内有一个实现TN内部总线协议与总线桥协议转换的结点互连适配器XBH；

(2)、由小维数交叉开关结点SN互相连接构成一个总线桥互连网络，每个终端结点TN分别与该网络上的小维数开关结点的一个端口连接，构成并行计算机系统，交叉开关结点SN的维数可以是3至64；

(3)、结点互连适配器包括：与终端结点TN的总线连接的XBUS接口单元；与总线桥标准总线连接的BBP接口单元；完成XBUS总线与BBP总线协议转换的协议转换单元；一组寄存器，包括命令寄存器、状态寄存器和双向数据寄存器。

2、一种构造耦合度可调并行计算机群系统的方法，其特征在于，

(1)、在每个终端结点计算机TN内安装一个结点互连适配器，它可以完成结点计算机的总线协议与总线桥协议之间的相互转换，实现两种总线间的数据传送；

(2)、由小维数交叉开关结点互相连接构成总线桥互连网络，其端口通过电缆或者光缆与所有的终端结点计算机相连构成耦合度可调的并行计算机群系统；

(3)、总线桥标准协议包括四层子协议：端口层协议，网络层协议，终端层协议和总线转换层协议；

端口层协议负责在两个具有直接连接的结点互连适配器之间打开数据、地址和控制通路，并使这些通路具有一个当时确定的控制方，当互连的双方同时希望得到通路的控制权时，端口层协议按某种策略从中选择一方得到控制权，而将另一方的请求作废，在开关结点内部，端口层协议也必须能提供任意两个端口之间的通路，并保证该通路具有唯一的控制方；

网络层协议在两个终端结点之间寻找并实际建成一条最短的互连通路，在连接过程中，一方面要预防死锁，解除已发生的死锁，另一方面要注意网络的负载控制，屏蔽或延缓可能造成开关网络工作不稳定的互连请求；

终端层协议一方面要给网络层提供连接的目标结点和以优先权标识的本次连接的请求级别，另一方面还要为总线转换层提供足够的迅号线和相应的时序关系以支持终端结点之间的总线迅号传递，总线桥迅号线包括用于建立端口链路的裁决总线，用于传输数据和地址的数据地址总线和用于传输各种控制迅号的总线桥控制总线；

总线转换层协议将源终端结点对目标终端结点存储器访问的总线迅号转换成总线桥时序，然后在目标终端结点内还原成该计算机的内部总线迅号形式；

(4)、在总线桥网的基础上，以存储器共享窗管理方式构成的分布式共享存储体系，既能支持类似于松散耦合计算机系统上的分布式共享存储器管理，又能在系统的局部实现真正的、暂时存在的共享存储区域—共享存储窗。

3、根据权利要求2所述的方法，其特征在于，所说的总线桥迅号线的分配如下：

裁决总线部分：

(1)、裁决指示线ARST：指示裁决过程开始，高电平有效，由互连端口的任一侧启动，

(2)、裁决优先权线AR3-AR0：AR3为最高位，提供16级优先权，

(3)、本端口优先权比较结果线ARSESUS：送往互连端口的ARSESUO，

(4)、对方端口优先权比较结果线ARSESUO：与对方端口的ARSESUS相连，

数据地址总线部分：

(5)、数据/地址复用总线BBPD0-BBPD31：32位，BBPD31为最高位，

总线桥控制部分：

(6)、读写控制线R/W*：低电平写，高电平读，

(7)、数据有效指示线DS*：下降沿有效，

(8)、数据确认指示线DACK*：下降沿有效，

(9)、地址有效指示线AS*：下降沿有效，

(10)、命令/数据定义线C/D*：高电平时，BBPD上传送控制命令，低电平时，BBPD上传送终端结点计算机收发的数据，

(11)、高半字允许线BHE：高电平有效，

(12)、受控端口准备好指示线READY：高电平有效，用于结点同步。

Images