DE69021710T2

DE69021710T2 - Packetvermitteltes Mehrfachverarbeitungsverbindungssystem mit Fehlerkorrektur und Wiederherstellung.

Info

Publication number: DE69021710T2
Application number: DE69021710T
Authority: DE
Inventors: Richard Irwin Baum; Charles H Brotman; James Walter Rymarczyk
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1990-02-02
Filing date: 1990-10-31
Publication date: 1996-04-18
Anticipated expiration: 2010-11-01
Also published as: JP2566681B2; JPH04139566A; JP2576846B2; US5166674A; EP0439693B1; US5161156A; EP0439693A3; EP0439693A2; DE69021710D1; JPH07210527A

Description

HINTERGRUND DER ERFINDUNG

a. BEREICH DER ERFINDUNG

Diese Erfindung betrifft den Bereich der Mehrprozessorsysteme und die Fehlerbehebung in Mehrprozessorsystemen.

b. VERWANDTE TECHNIK

Ein Mehrprozessorsystem (MPS) ist ein Datenverarbeitungssystem, das zwei oder mehr verbundene Verarbeitungseinheiten einsetzt, um Programme gleichzeitig auszuführen. Herkömmlicherweise werden Mehrprozessorsysteme auf der Grundlage der Verbindung zwischen den Prozessoren in mehrere Arten klassifiziert.
Eine erste Art eines herkömmlichen Mehrprozessorsystems ist das "Mehrprozessor"-System oder das System "mit gemeinsam genutztem Speicher" (Fig. 1) . In einem System mit gemeinsam genutztem Speicher sind eine Reihe von Zentraleinheiten 102 bis 106 dadurch verbunden, daß sie einen globalen Speicher 108 gemeinsam benutzen. Obwohl jede Zentraleinheit einen lokalen Cache-Speicher haben kann, macht eine übergreifende Cache-Validierung die Caches für den Benutzer transparent, und das System erscheint so, als ob es nur einen einzigen globalen Speicher hat.
Systeme mit gemeinsam genutztem Speicher nehmen auch die Form von mehreren Zentraleinheiten an, die mehrere globale Speicher durch ein Verbindungsnetz gemeinsam benutzen. Ein Beispiel für ein solches System ist ein Omega-Netzwerk (Fig. 2) . In einem Omega-Netzwerk leiten eine Vielzahl von stufenförmig aufgebauten Schaltern 501 bis 524 Daten zwischen einer Vielzahl von Prozessoren P0 bis P7 und einer Vielzahl von globalen Speichern M0 bis M7 durch die Verwendung eines von einem anfordernden Prozessor erzeugten binären Ziel-Identifizierungskennzeichens weiter. Jede Stufe von Schaltern in dem Netzwerk decodiert ein entsprechendes Bit des Identifizierungskennzeichens, damit das Netzwerk die Wegewahl automatisch vornimmt. Das Omega-Netzwerk macht dabei eine zentrale Steuereinheit überflüssig.
Das Omega-Netzwerk ist in dem Schriftstück "A fault-tolerant interconnection network supporting the fetch-and-add primitive" von A. Dugar und P. Banerjee beschrieben, das von der IEEE Computer Society 1986 in Proceedings of the 1986 International Conference on Parallel Processing, 19. bis 22. August 1986, Seiten 32 bis 334 veröffentlicht wurde.
Ein gemeinsames Merkmal von Systemen mit gemeinsam genutztem Speicher ist, daß die Zugriffszeit auf eine Datenangabe im Speicher unabhängig von dem Prozessor ist, der die Anforderung stellt. Eine wesentliche Einschränkung bei Systemen mit gemeinsam genutztem Speicher ist die, daß die gesamte Bandbreite des globalen Speichers die Anzahl der Prozessoren beschränkt, die effektiv auf dem System untergebracht werden können.
Eine zweite Art von allgemein bekannten Mehrprozessorsystemen ist das Mehrrechner-Nachrichtenweiterleitungs-Netzwerk (Fig. 3) Nachrichtenweiterleitungs-Netzwerke werden konfiguriert, indem eine Reihe von Verarbeitungsknoten miteinander verbunden werden. Jeder Knoten 302 bis 308 enthalt eine Zentraleinheit und einen lokalen Speicher, auf den nicht global zugegriffen werden kann. Damit eine Anwendung Daten zwischen Prozessoren aufteilen kann, muß der Prograrnmierer Befehle eindeutig codieren, um Daten von einem Knoten an einen anderen zu übertragen. Im Gegensatz zu Systemen mit gemeinsam genutztem Speicher hängt die Zeit, die ein Prozessor braucht, um auf Daten zuzugreifen, von seiner Entfernung (in Knoten) von dem Prozessor ab, der die Daten momentan in seinem lokalen Speicher hat.
In der Nachrichtenweiterleitungs-Netzwerkkonfiguration von Fig. 3 hat jeder Knoten eine direkte Verbindung zu jedem anderen Knoten. Solche Konfigurationen sind jedoch für eine große Anzahl von Prozessoren unpraktisch. Lösungen wie beispielsweise Hyperwürfel-Konfigurationen werden herkömmlicherweise verwendet, um die größte Entfernung zwischen Prozessoren zu begrenzen. Auf jeden Fall, so wie die Anzahl der Prozessoren in dem Netzwerk zunimmt, nehmen für gewöhnlich auch die Anzahl der indirekten Verbindungen und die resultierenden Speicherzugriffszeiten zu.
Eine dritte Art von Mehrprozessorsystem ist der Hybridrechner (Fig. 4). Hybridrechner haben einige der Eigenschaften von Systemen mit gemeinsam genutztem Speicher und einige der Eigenschaften von Nachrichtenweiterleitungs-Netzwerken. Im Hybridrechner sind eine Reihe von Prozessoren 402 bis 406, von denen jeder einen lokalen Speicher hat, mittels eines Verbindungsnetzes 408 verbunden. Obwohl alle Speicher lokal sind, läßt das Betriebssystem den Rechner so erscheinen, als hätte er einen einzigen globalen Speicher. Ein Beispiel für einen Hybridrechner ist der IBM RP3. Hybridrechner können typischerweise den Zugriff auf ferne Daten wesentlich schneller bereitstellen als Nachrichtenweiterleitungs-Netzwerke. Trotzdem kann die Datenanordnung für die Leistungsfähigkeit des Algorithmus kritisch sein, und die gesamte Übertragungsgeschwindigkeit des Verbindungsnetzes stellt für die Anzahl der Prozessoren, die effektiv untergebraht werden können, eine Beschränkung dar.
Eine Variante der Mehrprozessorsystem-Verbindungsnetze ist das Gruppenverbindungsnetzwerk (Fig. 5). In einem Gruppenverbindungsnetzwerk ist eine Reihe von Clustern 502 bis 508, von denen jedes eine Gruppe von Prozessoren 510 bis 516 und einen Multiplexer/Steuereinheit 518 enthält, durch das Vermittlungsnetz 520 verbunden. Das Cluster-Netzwerk hat gegenüber der Topologie von Fig. 4 Vorteile, da eine größere Anzahl von Prozessoren über eine bestimmte Anzahl von Anschlüssen effektiv mit dem Vermittlungsnetz verbunden werden kann. Eine Einschränkung bei Gruppenverbindungsnetzwerken ist die, daß die Bandbreite sowohl der Gruppensteuereinheit als auch die des Verbindungsnetzwerkes kritisch für die Leistungsfähigkeit des Systems ist. Aus diesem Grund sind der Aufbau des Verbindungsnetzwerkes und der Gruppensteuereinheit wichtige Faktoren bei der Bestimmung der maximalen Größe und Leistungsfähigkeit des Systems.
Das Problem der Fehlerbehebung in Mehrprozessorsystemen wird in dem Schriftstück "A Fault Tolerant Interconnection using Error Correcting Codes" von J.E. Lilienkamp, D.R. Laurie & P-C Yew angegangen, das 1982 von der IEEE Computer Society in Proceedings of the 1982 International Conference on Parallel Processing, 24. bis 2. August 1982, Seiten 123 bis 125 veröffentlicht wurde.

ZUSAMMENFASSUNG DER ERFINDUNG

Es ist daher die Aufgabe dieser Erfindung, eine verbesserte Gruppensteuereinheit zum Einsatz in einem Mehrprozessorsystem bereitzustellen.
Diese Aufgabe wird erfindungsgemäß gelöst, indem eine Gruppensteuereinheit bereitgestellt wird, die folgendes umfaßt:
i) Vermittlungsmittel, das angeschlossen ist, um Pakete von einem Vermittlungsnetz zu empfangen, welches das Mehrprozessorsystem verbindet, und um die Pakete von dem Vermittlungsnetz entsprechend einer Zieladresse zu verteilen,
ii) Warteschlangenmittel, das mit einer Vielzahl der Verarbeitungselemente verbunden ist, um den Paketfluß an die Vielzahl der Verarbeitungselemente zu puffern, wobei das Warteschlangenmittel eine Vielzahl von Paketwarteschlangen enthält, die jedem der Verarbeitungselemente zugeordnet sind,
iii) Zusammensetzungspuffermittel, das mit der Vielzahl der Verarbeitungselemente verbunden ist, um Daten von den Verarbeitungselementen zu Paketen zusammenzusetzen, wobei das Zusammensetzungspuffermittel einen Zusammensetzungspuffer für jedes der Verarbeitungselemente enthält, und
iii) Auswahlmittel, das mit dem Zusammensetzungspuffermittel verbunden ist, um ein Paket von dem Zusammensetzungspuffermittel auszuwählen, das an das Vermittlungsnetz gesendet werden soll.
In einer weiteren Ausführungsform der Erfindung enthält die Gruppensteuereinheit des weiteren globale Speichermittel zum Speichern von Daten, wobei die globalen Speichermittel angeschlossen sind, um die Pakete von dem Vermittlungsmittel zu empfangen.
Die Gruppensteuereinheit kann darüber hinaus zyklische Multiplexmittel enthalten, um ein zusammengesetztes Paket, das ausgegeben werden soll, auszuwählen, und/oder Auswahlmittel, um die Pakete in zyklischer Abfolge auszugeben.
Die Gruppensteuereinheit kann in einem Gruppenverbindungs-Mehrprozessorsystem eingesetzt werden, das folgendes enthält:
i) eine erste Vielzahl von Prozessoren, wobei jedes der Verarbeitungselemente in der ersten Vielzahl einen lokalen Speicher enthält;
ii) eine zweite Vielzahl von Prozessoren, wobei jedes der Verarbeitungselemente in der zweiten Vielzahl einen lokalen Speicher enthält;
iii) eine erste Gruppensteuereinheit, die für den Empfang von ersten Daten von der ersten Vielzahl von Prozessoren angeschlossen ist, um die ersten Daten zu Paketen zusammenzusetzen, die ein Ursprungsfeld, ein Bestimmungsfeld und ein Befehlsfeld enthalten, und um die erste Vielzahl von Paketen aus zugeben;
iii) eine zweite Gruppensteuereinheit, die für den Empfang von zweiten Daten von einer zweiten Vielzahl von Prozessoren angeschlossen ist, um die zweiten Daten zu Paketen zusammenzusetzen, die ein Ursprungsfeld, ein Bestimmungsfeld und ein Befehlsfeld enthalten, und um die Pakete auszugeben; und
iv) Vermittlungsnetz-Mittel, das für den Empfang der Pakete von der ersten und der zweiten Gruppensteuereinheit angeschlossen ist, um das Bestimmungsfeld zu decodieren und um festzustellen, welches der Gruppensteuereinheit-Mittel mit einem adressierten Prozessor verbunden ist, der dem decodierten Bestimmungsfeld entspricht, und um die Pakete an die eine der Gruppensteuereinheiten weiterzuleiten.
In dem Gruppenverbindungs-Mehrprozessorsystem enthält die erste und die zweite Vielzahl von Prozessoren Mittel, um jedem anderen Prozessor in der ersten und der zweiten Vielzahl von Prozessoren den direkten Zugriff auf den lokalen Speicher zu ermöglichen.
In einer weiteren Ausführungsform der Erfindung ist das gruppengesteuerte Mehrprozessorsystem unter Verwendung von Host-Adaptermitteln mit einem Host verbunden, die Mittel enthalten, um eine Reihe von Befehlen von dem Host zu empfangen, und Mittel, um die Befehle unter einer Vielzahl der Prozessoren zu verteilen.
Das Host-Adaptermittel kann des weiteren Mittel enthalten, um erste Speicheradressen von dem Host in ein Band von zweiten Speicheradressen in einem lokalen Speicher in jedem der Vielzahl derprozessoren zu übersetzen.
Die Erfindung hat als weitere Aufgabe die Entwicklung eines Fehlerbehebungsverfahrens für das gruppengesteuerte Mehrprozessorsystem. Diese Aufgabe wird gelöst, indem ein Verfahren zur Fehlerbehebung bereitgestellt wird, wobei ein erster Prozessor in dem System ein Datenpaket mit einen Adreßfeld überträgt, das eine Adresse eines zweiten Prozessors in dem System enthält, und das die folgenden Schritte umfaßt:
i) Übertragen des Pakets von dem ersten Prozessor an das Vermittlungsnetz mittels eines ersten Pfades,
ii) Decodieren des Adreßfeldes in dem übertragenen Paket an dem Vermittlungsnetz,
iii) Weiterleiten des Pakets mittels eines ersten Pfades von dem Vermittlungsnetz an einen dritten, durch die Decodierung bezeichneten Prozessor in dem System,
iv) Feststellen eines Fehlers in dem Adreßfeld des Pakets an dem dritten Prozessor,
v) Korrigieren des Fehlers an dem dritten Prozessor, um eine korrigierte Adresse in dem Adreßfeld zu bilden,
vi) Nochmaliges Übertragen des Pakets mit der korrigierten Adresse von dem dritten Prozessor an das Vermittlungsnetz mittels eines zweiten Pfades,
vii) Decodieren des Adreßfeldes in dem nochmals übertragenen Paket an dem Vermittlungsnetz, und
viii) Weiterleiten des nochmals übertragenen Pakets von dem Vermittlungsnetz an den zweiten Prozessor mittels eines dritten Pfades.
In einer weiteren Ausführungsform der Erfindung kann das Verfahren die weiteren Schritte des Feststellens an dem Schalter enthaften, ob eine decodierte Adresse einem nicht funktionsfähigen Prozessor entspricht; und wenn die Feststellung ergibt, daß die decodierte Adresse dem nicht funktionsfähigen Prozessor entspricht, Bewirken, daß der Schalter das Ursprungs- und das Bestimmungsfeld in dem Paket austauscht und Zurücksenden des Pakets an den ersten Prozessor (604) mittels eines vierten Pfades.
Schließlich wird die Aufgabe der Erfindung des weiteren durch ein Paketformat zur Verwendung in einem Gruppenverbindungs-Mehrprozessorsystem gelöst. Das Paketformat hat ein Befehlsfeld, das folgendes enthält:
i) ein erstes angegebenes Bitmuster, das, wenn es von einer Gruppensteuereinheit in dem Mehrprozessorsystem decodiert worden ist, bewirkt, daß ein globaler Speicher in der Gruppensteuereinheit beschrieben wird;
ii) ein zweites angegebenes Bitmuster, das ein Paket, welches das Befehlsfeld enthält, als ein einen Nachrichtenhauptteil übertragendes Paket kennzeichnet;
iii) ein drittes angegebenes Bitmuster, das ein Paket, welches das Befehlsfeld enthält, als ein einen Nachrichtenvorsatz übertragendes Paket kennzeichnet;
iv) ein Folgenummernfeld, um ein beliebiges einer Folgeanzahl von Paketen zu übertragen, bei dem das Befehlsfeld das Paket als einen Nachrichtenhauptteil angibt, und eine Anzahl von nachfolgenden Nachrichtenpaketen, bei denen das Befehlsfeld das Paket als einen Nachrichtenvorsatz angibt;
v) ein Bestimmungsfeld, um eine erste Adresse eines Ziel-Verarbeitungselements in dem Gruppenverbindungs-Mehrprozessorsystem zuübertragen;
vi) ein Ursprungsfeld, um eine zweite Adresse eines Quellen-Verarbeitungselements in dem Gruppenverbindungssystem zu übertragen;
vii) ein Datenfeld; und
viii) ein Fehlerkorrekturcode-Feld, um einen Fehlerkorrektur-, Fehlererkennungs-Korrekturcode zu übertragen.
Das Paketformat kann ferner vorteilshafterweise in dem Befehlsfeld ein viertes angegebenes Bitmuster enthalten, das, wenn es von der Gruppensteuereinheit decodiert worden ist, bewirkt, daß auf einen lokalen Speicher in einem mit der Gruppensteuereinheit verbundenen Prozessor zugegriffen wird.

MERKMALE UND VORTEILE

1. Der Aufbau des Verbindungsnetzes des vorliegenden Systems setzt Großrechner-Technologie ein, um eine Systemverbindung hoher Bandbreite zu erreichen, die weit über das Leistungsspektrum vieler zeitgenössischer Systeme hinausgeht. Die Unterbringung mit hoher Packungsdichte ermöglicht die Verwendung breiter Busse (z.B. 180 Bit), und eine schnelle bipolare Logik erlaubt die Systemtaktung mit sehr hoher Frequenz (z.B. 5 ns) . Eine dauerhafte Bandbreite von 200 GByte/Sekunde ist für gleichmäßige, wahlfreie Nachrichtenübertragungen erreichbar.
2. Eine DMA-Steuereinheit in jedem Verarbeitungselement sorgt für eine effiziente Übertragung von Nachrichten durch ein neuartiges Paketprotokoll, das auch die direkte Adressierung von nicht lokalen Speichern ermöglicht. Die letztere Funktion ist für einige Software-Algorithnen wichtig, die von einer Struktur mit gemeinsam genutztem Speicher ausgehen, und sie ist auch für die Fehlerbeseitigung im System und für Service-Funktionen vorteilhaft.
3. Die Verschachtelung von Paketen von mehreren Nachrichten durch die DMA-Steuereinheit macht das Muster von Paketübertragungen auf effiziente Weise unregelmäßig und ist für das Erreichen einer maximalen Bandbreite durch den Schalter wichtig.
4. Der Aufbau des Verbindungsnetzes für Paketvermittlung bietet zusätzlich zu der grundlegenden Punkt-zu-Punkt-Nachrichtenübertragung ein effizientes Rundsenden von Nachrichten sowie die globale Speicherung für Steuerfunktionen.
5. Das Paketformat erlaubt eine robuste Fehlerbehandlung. Die Verwendung des Fehlerkorrekturcodes (ECC) zusammen mit der Ursprungs-(SRC-) und der Bestimmungs-(DST-)Kennung in jedem Paket erlaubt eine effiziente Fehlerkorrektur oder -behandlung. Wenn ein Hardwarefehler dazu führt, daß ein Paket fehlgeleitet wird, gibt es einen von zwei Fällen: (1) Das Paket wird an ein nicht vorhandenes oder nicht funktionsfähiges Verarbeitungselement fehlgeleitet, in welchem Fall die Gruppensteuereinheit das SRC- und das DST-Feld umdreht und das Paket mit einem Fehlerkennzeichen an seinen Sender zurückschickt; oder (2) das Paket wird an ein funktionsfähiges Verarbeitungselement fehlgeleitet, welches das Paket nochmals überträgt (nachdem es den ECC nach Erfordernis angewendet hat). Die nochmalige Übertragung kann normale Fehler überwinden und, im Fall 2 oben, kann sie auch durch Verwendung eines anderen Hardware-Pfades einige störungsbedingte Fehler verhindern.
6. Diese äußerst parallele Verarbeitungsstruktur mit ihrer Verbindung hoher Bandbreite ist für eine große Vielzahl von Anwendungen gut geeignet, einige Beispiele dafür sind unter anderem Datenbank-Verarbeitung, Logiksimulation und künstliche Intelligenz.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Blockdiagramm eines dem Stand der Technik entsprechenden Systems mit gemeinsam genutztem Speicher.
Fig. 2 ist ein Blockdiagramm eines dem Stand der Technik entsprechenden Systems mit gemeinsam genutztem Speicher, das unter Verwendung eines Omega-Verbindungsnetzes konfiguriert ist.
Fig. 3 ist ein Blockdiagramm eines dem Stand der Technik entsprechenden Nachrichtenweiterleitungs-Netzwerks.
Fig. 4 ist ein Blockdiagramm eines dem Stand der Technik entsprechenden Hybridsystems.
Fig. 5 ist ein Blockdiagramm eines dem Stand der Technik entsprechenden Gruppenverbindungssystems.
Fig. 6 ist ein Überblick über ein Mehrprozessorsystem gemäß einer Ausführungsform der vorliegenden Erfindung.
Fig. 7 ist ein ausführlicheres Diagramm des 32x32-Schalters von Fig. 6.
Fig. 8 ist ein ausführlicheres Diagramm eines 8x8-Schalters des Typs, der in der Ausführungsform des 32x32-Schalters von Fig. 7 verwendet wird.
Fig. 9 ist ein ausführlicheres Diagramm des typischen Schalters/Warteschlange von Fig. 8.
Fig. 10 ist ein ausführlicheres Diagramm einer Gruppensteuereinheit des Typs, der in der Ausführungsform des Mehrprozessorsystems von Fig. 6 verwendet wird.
Fig. 11 ist eine Veranschaulichung des bevorzugten Paketformats, das in dem Mehrprozessorsystem von Fig. 6 verwendet wird.
Fig. 12 ist ein ausführlicheres Blockdiagramm eines typischen Verarbeitungselements, das die Verbindung zwischen dem Verarbeitungselement, dem Speicher, der DMA-Steuereinheit und der Gruppensteuereinheit zeigt.
Fig. 13 ist ein ausführlicheres Blockdiagramm der DMA-Steuereinheit von Fig. 12, das jeden der Funktionsblöcke und ihre Verbindungen zeigt.
Fig. 14 ist eine Veranschaulichung einer Verarbeitungselement- Cluster-Platine.
Fig. 15 ist eine Veranschaulichung einer Rahmenbelegung für das Mehrprozessorsystem von Fig. 6.
Fig. 16 ist eine Veranschaulichung einer Anordnung für eine Verarbeitungselement-Karte.
Fig. 17 ist ein Blockdiagramm eines Hostadapters und der Verbindung zu einem Hostsystem.
Gleichen Elementen, die in mehreren Figuren vorkommen, wurden gleiche Bezugszahlen zugeordnet.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Das vorliegende Mehrprozessorsystem enthält eine große Anzahl von Verarbeitungselementen, die mittels eines Schalters hoher Bandbreite miteinander verbunden sind. Die in dieser Offenbarung beschriebene Hardware stellt bis zu 4096 Verarbeitungselemente bereit, obwohl die beschriebene Paketarchitektur bis zu 32768 Verarbeitungselemente erlaubt. Es sollte sich jedoch von selbst verstehen, daß eine beliebige Anzahl von Verarbeitungselementen mit den hier beschriebenen Grundsätzen konfiguriert werden könnte. Der Umfang einer Systemkonfiguration ist entsprechend den Verarbeitungserfordernissen skalierbar, wobei der Grad der Unterteilung bis zu einem einzigen Verarbeitungselement (PE) reichen kann.
Jedes Verarbeitungselement enthält einen oder mehr äußerst leistungsfähige (z.B. 50 bis 200 MIPS) Universal-Mikroprozessoren, einen großen lokalen Speicher (z.B. 64 bis 256 MByte) und eine DMA-Steuereinheit, die Nachrichten durch den Schalter sendet und empfängt, ohne daß der Prozessor eingreifen muß. Jedes Verarbeitungselement kann auch einen oder mehr optionale Hardware-Beschleuniger für Datenbank-Verarbeitungsfunktionen enthalten.
Jedes Verarbeitungselement kann auf einer einzelnen Leiterplatte untergebracht werden. Die Verarbeitungselement-Karten können auch Spezial-Hardware bereitstellen, wie beispielsweise E/A-Anschlüsse für den direkten Zugriff auf ein relationales Datenbank-Dateisystem, Vektorprozessoren oder Datenverschlüsselungs- Einrichtungen. Insbesondere kann Datenbank-Beschleunigungshardware zur Verbesserung der Leistungsfähigkeit von gebräuchlichen Funktionen wie prädikative Auswertung, Feldextraktion, Sortieren, Mischen und Verknüpfen verwendet werden.
Der Schalter, der die Verarbeitungselemente miteinander verbindet, ist hierarchisch, wobei er ein Netzwerk aus Clustern umfaßt. Bis zu 64 Verarbeitungselemente sind miteinander verknüpft, um ein Cluster zu bilden, und bis zu 64 Cluster sind mittels eines Banyan-Netzwerks miteinander verbunden. Nachrichten werden in Form von Paketen durch den Schalter weitergeleitet, von denen jedes ein 16-Byte-Datenwort und ein Steuerinformationswort enthält.
Fig. 6 ist ein struktureller Überblick über das vorliegende Mehrprozessorsystem. Das System von Fig. 6 ist ein Gruppenverbindungsnetzwerk (Cluster-Netzwerk), das 32 Gruppensteuereinheiten 602(1) bis 602(32) umfaßt. Jede Gruppensteuereinheit stellt eine Systenschnittstelle für 64 Verarbeitungselemente (PES) 604(1-64), 604(65-128) .. . 604(1985-2048) bereit. Jede Gruppe aus einer Gruppensteuereinheit und 64 Verarbeitungselementen wird als "Cluster" bezeichnet.
Jedes Verarbeitungselement in einem bestimmten Cluster ist mit der Gruppensteuereinheit mittels eines Eingangsbusses (z.B. 612(1)) und eines unabhängigen (separaten) Ausgangsbusses (z.B. 614(1)) verbunden. Analog dazu sind die 32 Gruppensteuereinheiten jeweils mit einem 32x32-Vermittlungsnetz 606 mittels eines Eingangsbusses 608(1-32) und eines unabhängigen Ausgangsbusses 610(1-32) verbunden. Das ganze System enthält somit 2048 Verarbeitungselenente 604(1-2048) . Sowohl die Gruppensteuereinheiten als auch das Vermittlungsnetz dienen dazu, Daten zusammenzusetzen und sie zwischen den Verarbeitungselementen synchron zu übertragen, was von einem sehr schnellen Takt gesteuert wird (z.B. 5 ns Zykluszeit)
Erweiterte Versionen des Systems mit beispielsweise 64 Clustern, die durch ein 64x64-Vermittlungsnetz verbunden sind, können in derselben Struktur realisiert werden. Viele verschiedene größere und kleinere Konfigurationen sind genauso machbar.
Wo es gewünscht ist, daß das Cluster-Netzwerk von Fig. 6 als angeschlossener Coprozessor für einen Host (z.B. ein System der Serie IBM 3090) fungiert, kann ein Anschluß im Vermittlungsnetz 606 eigens als Host-Schnittstelle verwendet werden. Die Host- Schnittsteile wird von einem Host-Adapterelement bereitgestellt, das den Platz einer beliebigen der Gruppensteuereinheiten 602(1) bis 602(32) von Fig. 6 einnimmt.
Eine Ausführungsform des Host-Adapters ist in Fig. 17 veranschaulicht. Die Verbindung zwischen dem Host 1800 und dem Hostadapter 1700 wird vorzugsweise von mehreren Lichtwellenleiteroder Kupferkabeln 1702 bereitgestellt, die sich an eine Hochgeschwindigkeits-Kommunikationsverbindung im Host anschließen lassen. Die Verbindung ist vorzugsweise eine Vollduplex-Verbindung, die für eine gleichzeitige Übertragung in beiden Richtungen ohne Quittungsprotokolle sorgt.
Der Host 1800 überträgt vorzugsweise Datenblöcke, die einen oder mehr Datensätze enthalten, denen ein Kennsatz vorausgeht, der Steuerinformationen (die eine logische Zieladresse und ein Befehlsfeld einschließen) enthält. Eine exemplarische Größe für jeden Datensatz ist 4 Kilobyte. Befehle vom Host an das Cluster- Netzwerk werden als ein besonderer Fall eines Kennsatzes ohne begleitende Datensätze ausgeführt. Die bevorzugte Struktur für die Kommunikation zwischen Host und Cluster-Netzwerk ist ein symmetrisches Peer-zu-Peer-Nachrichtenweiterleitungsschema, das es dem Cluster-Netzwerk erlaubt, asynchrone Antworten an den Host über Befehle zu erzeugen, die zu einer Unterbrechung auf dem Host 1800 führen.
Um ungleiche Datenübertragungsgeschwindigkeiten bewältigen zu können, verfügt der Hostadapter 1700 über einen Datenblock-Pufferbereich 1704. Eine Pufferung ist vorgesehen, da die Datenübertragungsgeschwindigkeit zum und vom Host die Datenübertragungsgeschwindigkeit eines einzelnen Verarbeitungselements durchaus übersteigen kann. Beispielsweise kann der Host eine Datenübertragungsgeschwindigkeit im Bereich von 500 MByte/Sekunde bis 1 GByte/Sekunde haben, und ein bestimmter Datenblock könnte an ein einzelnes Verarbeitungselement weitergeleitet werden, das Daten nur mit einer Spitzengeschwindigkeit von 200 MByte/Sek. empfangen kann. Somit enthält der Datenblock-Pufferbereich 1704 mehrere Puffer (vorzugsweise mit jeweils mindestens 4 KB) zum Zweck der Geschwindigkeitsanpassung. Dies ermöglicht es dem Hostadapter 1700, mehrere gleichzeitige Operationen zu verwalten, um die Hostverbindung mit der vom Host erlaubten maximalen Geschwindigkeit zu betreiben.
Der Host 1800 adressiert das Cluster-Netzwerk als einen großen linearen Adreßraum. Über eine Zuordnungstabelle, die mit der Leitwegwahllogik 1706 realisiert ist, wandelt der Hostadapter 1700 jede Hostadresse in eine physische Adresse im Speicher eines Verarbeitungselements um. Somit ist der Host-Adreßraum von Datenblöcken über alle Verarbeitungselemente als ein Band innerhalb ihrer lokalen Speicher verteilt. Es ist beabsichtigt, daß gar die Hälfte des lokalen Speicherbereichs der Verarbeitungselemente zu diesem Zweck verwendet wird.
Die Zuordnung wird von einem Mikroprozessor 1708 im Hostadapter 1700 verwaltet. Der Mikroprozessor 1708 hat einen lokalen Speicher 1710 für Arbeitsdaten und den Mikrocode und führt die Funktion der Bereitstellung der Konfigurationssteuerung (einschließlich der logischen Unterteilung des Mehrprozessorsystems zur Bearbeitung mehrerer Anfragen) aus. Die eigentlichen Datenübertragungen werden vielmehr von Unterstützungselementen, die nachstehend erklärt werden, als vom Mlkroprozessor 1708 selbst durchgeführt.
Die Schnittstellenlogik 1712 führt die Funktionen der Umwandlung von Datenblöcken vom Host in Pakete zur Übertragung an Verarbeitungselemente über das Vermittlungsnetz und die Rückumwandlung von Paketen aus. Auf der Hostseite des Hostadapters 1700 wandelt ein Leitungsadapter 1714 Daten von dem internen Hostadapter-Format in das entsprechende Leitungsformat (z.B. Lichtwellenleiter- Formate) und umgekehrt um. Der Leitungsadapter 1714 führt auch Protokolle auf Verbindungsebene aus. Wie zuvor erklärt worden ist, entscheidet die Leitwegwahllogik 1706, wo logische Adressen Prozessoren zugeordnet werden.
Physisch ist der Hostadapter 1700 vorzugsweise unter Verwendung einer Hauptplatine realisiert, die eine Reihe von herkömmlichen Logik- und Speicherkarten trägt, welche dieselben Technologien verwenden, wie sie in den Verarbeitungselement-Karten verwendet werden. Es sollte sich von selbst verstehen, daß das Mehrprozessorsystem von Fig. 6 als eigenständiges Mehrprozessorsystem ohne die Bereitstellung einer Hostverbindung arbeiten kann.
Fig. 7 ist eine ausführlichere Veranschaulichung des 32x32-Vermittlungsnetzes 606 von Fig. 6. Das Vermittlungsnetz 606 umfaßt acht miteinander verbundene 8x8-Schalter 702 bis 716, von denen jeder vorzugsweise auf einem thermischen Leitungsmodul (TCM) im?Iementiert ist. Eine erste Spalte (Stufe) von Schaltern 702 bis 708 empfängt ankommende Pakete von jeder der 32 Gruppensteuereinheiten 602(1) bis 602(32). Die Ausgänge eines jeden Schalters in der ersten Spalte sind über Ausgangsbuspaare mit jedem von vier 8x8-Schaltern 710 bis 716 verbunden, die in einer zweiten Spalte (Stufe) angeordnet sind. Die zweite Spalte von Schaltern ist angeschlossen, um die empfangenen Datenpakete an die Dateneingänge einer beliebigen der 32 Gruppensteuereinheiten 602(1) bis 602(32) weiterzuleiten.
Die 8x8-Schalter 702 bis 716 sind des Typs mit automatischer Leitwegwahl (d.h. sie decodieren ein internes Feld in der ankommenden Nachricht, um den Leitweg zu bestimmen), der eine Verbindung zwischen einem bestimmten Eingangskanal und einem bestimmten Ausgangskanal bereits teilen kann. Außerdem ermöglichen die 8x8-Schalter eine gleichzeitige Verbindung und Übertragung zwischen allen acht Eingangskanälen und allen acht Ausgabekanälen entsprechend dem ausgewählten Leitweg.
Eine 64x64-Version des Schalters wird in einer Ausführungsform mit 64 Gruppensteuereinheiten verwendet. Der 64x64-Schalter wird hergestellt, indem acht weitere 8x8-Schalter für insgesamt 16 Schalter hinzugefügt werden, die in zwei Spalten zu je 8 Schaltern angeordnet werden. Für die 64x64-Konfiguration wird nur ein Bus zwischen jedem Schalter in der ersten und der zweiten Stufe zur Verfügung gestellt. Es ist nur ein Bus erforderlich, da alle Ausgänge eines jeden Schalters in der ersten Spalte mit einen Schalter in der zweiten Spalte der 64x64-Ausführungsform einzeln verbunden sind.
Fig. 8 zeigt einen typischen Schalter der 8x8-Schalter 702 bis 716. Jeder 8x8-Schalter umfaßt acht 8x1-Schalter/Warteschlangen. Die Verbindung eines typischen Exemplars dieser Schalter/Warteschlangen 802 ist veranschaulicht. Ein jeder der Eingangskanäle eines jeden 8x8-Schalters/Warteschlange ist über eine Busleitung mit allen acht 8x1-Schaltern/Warteschlangen verbunden. Jeder 8x1-Schalter/Warteschlange kann zwischen 0 und 8 seiner Eingangssignale (Quintwort-Pakete) nehmen und sie in jedem Zyklus des Netztaktes in eine einzelne FIFO-Ausgangswarteschlange stellen Im selben Zyklus kann ein einzelnes Paket (der Anfang der Warteschlange) aus der Warteschlange entnommen und zur nächsten Stufe des Vermittlungsnetzes oder zum endgültigen Bestimmungsort weitergeleitet werden. Wenn die Warteschlange zu Beginn eines Zyklus leer ist, kann ein gültiges Eingangspaket die Warteschlange umgehen und direkt zum Ausgang wandern, wodurch ein Zyklus gespart wird, der andernfalls in einer unnötigen Zwischenspeicherung verschwendet worden wäre.
Jedes Paket trägt seine eigene Zieladresse bei sich. Der Adressierungsmechanismus stellt die folgende Funktion bereit. Nur die Pakete, die für den Ausgangskanal, der von einem bestimmten Schalter/Warteschlange dargestellt wird, richtig adressiert sind, werden tatsächlich an diesem Kanal in die Warteschlange gestellt. Ferner wird jedes Paket nur in eine Warteschlange gestellt. Die Adressen müssen so sein, daß eine Adresse einem eindeutigen Pfad zwischen einer Quelle und einem Ziel entspricht. Gruppen von 3 Bit in jeder Adresse stellen die lokalen Adressen in jedem Schalter dar. Ein Schema mit festgelegten Prioritäten dient zur Festlegung, in welcher Reihenfolge jedes der gleichzeitigen Eingangspakete in die Warteschlange gestellt wird. Obwohl ein ausgefeilteres Schema verwendet werden könnte, da jedes Quintwort-Paket die Möglichkeit hat, in jedem Zyklus in die Warteschlange zu kommen, ist das Schema mit festgelegten Prioritäten ein inhärent "faires" Schema (d.h. keine einzige Quelle bekommt mehr oder weniger als ihren Anteil an Einträgen in die Warteschlange, es sei denn, andere Quellen haben keine Daten für diesen Ausgangskanal).
Fig. 9 ist ein ausführlicheres Diagramm des in Fig. 8 gezeigten typischen Schalters/Warteschlange 802. Jeder Schalter/Warteschlange enthält eine Warteschlange 902 von bis zu 64 Paketen. Jedes Paket hat eine Größe von einem Quintwort (180 Bit) . Jedes Wort enthält 32 Datenbits plus 4 ECC-Bits. Ein Paket von einem Eingangskanal wird von der Erkennungslogik 904 eines einzelnen Schlters/Warteschlange auf der Grundlage der Zieladresse (DST id), die im Steuerwortteil des Pakets enthalten ist, ausgewählt. Bis zu acht Pakete (eines von jedem Eingangskanal) können während eines jeden Zyklus an einem bestimmten Ausgangskanal in die Warteschlange gestellt werden. Gleichzeitig kann jeder Ausgangskanal ein Paket zur Übertragung auswählen, entweder aus seiner lokalen Warteschlange 902 oder aus der Kurzschlußlogik 906, die es einem einzelnen Eingangssignal ermöglicht, direkt zum Ausgangskanalregister 910 zu wandern, wenn die Warteschlange leer ist. Eine Belegt-Logik 908 ist bereitgestellt, um das Weiterleiten eines Pakets zu verhindern, wenn eine nachgeordnete Warteschlange voll ist. Dieses Konzept verhindert, daß ein Ausgang während starker Aktivitäten belegt erscheint und kann dadurch vermeiden, daß der Belegtzustand an Sender weitergeleitet wird.
Als ein Beispiel für die Funktionsweise nehmen wir einmal an, daß drei der acht Eingangssignale in den 8x8-Schalter gültige Adressen haben, die sie zum zweiten Ausgangskanal leiten. Die Erkennungslogik 904 wählt diese drei Adressen aus, die zu diesen Teil des Schalters geleitet werden sollen. Wenn die Ausgangskanal-Warteschlange 902 nicht leer und nicht voll ist, werden die Eingangspakete in die Warteschlange gestellt. Wenn die Ausgangskanal-Warteschlange 902 voll ist, verhindert die Belegt-Logik 908 das Hereinleiten der Pakete. Wenn die Ausgangskanal-Warteschlange 902 leer ist, nimmt die Kurzschlußlogik 906, gemäß eines herkömmlichen Prioritätsschemas, eines der drei Eingangspakete und überträgt es direkt an das Ausgangskanalregister 910, wobei sie gleichzeitig die verbleibenden zwei Pakete in die Ausgangskanal-Warteschlange stellt. Das Paket im Ausgangskanalregister 910 wird zur nächsten Stufe des Schalters geleitet, solange diese Stufe nicht belegt ist.
Fig. 10 ist eine ausführlichere Veranschaulichung einer exemplarischen Gruppensteuereinheit der Gruppensteuereinheiten 602(1) bis 602(32) von Fig. 6. Die Gruppensteuereinheit 1 602(1) wird -beispielhalber verwendet. Von der zweiten Stufe des Vermittlungsnetzes (Schalter 710 bis 716) kommend, werden auf dem Eingagsbus 608(1) empfangene Daten an einen 9-von-6-Schalter 1002 weitergeleitet. Der 9-von-6-Schalter 1002 empfängt sechs Eingabesgnale: eine vom Vermittlungsnetz 606, eine von einem globalen Speicher 1004 und vier von einem Gruppensteuereinheit-Zusanmensetzungspuffer 1006. Der 9-von-6-Schalter 1002 verteilt die empfangenen Daten (von den sechs Eingaben) an den entsprechenden "Oktanten" oder an den globalen Speicher 1004. Der globale Speicher 1004 kann für viele verschiedene Funktionen benutzt werden, unter anderen für die Aufteilung des Status zwischen Verarbeitungselementen, Ablaufkoordination, gemeinsame Algorithmus- Steuerung und gemeinsam benutzte Daten.
Um die empfangenen Daten an die entsprechenden Oktanten weiterzuleiten, decodiert der 9-von-6-Schalter 1002 3 Bit von der internen Paket-Zieladresse (DST) . Alternativ dazu wird auf den globalen Speicher 1004 zugegriffen, indem der Schalter 1002 einen Befehl zum Zugriff auf den globalen Speicher decodiert. Konflikte um die Ausgangssignale von dem 9-von-6-Schalter 1002 werden mit einem herkömmlichen Prioritäts- und zyklischen Multiplexschema gelöst. Die Verbindung vom Vermittlungsnetz 608(1) hat immer höchste Priorität.
Von den 9 Ausgängen 1010(1-9) des 9-von-6-Schalters 1002 sind acht mit Oktanten von Verarbeitungselement-Warteschlangen verbunden. Ein exemplarischer Oktant ist durch die Bezugszahl 1008 gekennzeichnet. Jeder von acht Ausgängen 1010(1) bis 1010(8) ist mit einem einzelnen Oktanten dieser Art verbunden. Jeder Oktant enthält acht Verarbeitungselement-Warteschlangen. Jede Warteschlange hat eine Tiefe von 16 Paketen und schließt eine Belegt- /Voll-Logik und Kurzschlüsse für leere Warteschlangen ein. Jeder Oktant hat nur einen Eingang (von dem 9-von-6-Schalter) und einen Ausgang und ermöglicht es, daß eine Lese- und eine Schreiboperation gleichzeitig erfolgen können.
Jede Gruppensteuereinheit 602(1) bis 602(32) enthält des weiteren 32 Verarbeitungselement-Anschlüsse (PEPs) 1012(1) bis 1012(32). Jeder Verarbeitungselement-Anschluß enthält Unteranschlüsse zur Verbindung mit zwei Verarbeitungselementen. Jeder Unteranschluß enthält einen Zwei-Byte-Ausgangskanal, der mit eineu entsprechenden der Verarbeitungselement-Eingangsbusse 612(1- 64) verbunden ist, und einen Ein-Byte-Eingangskanal, der mit dem entsprechenden der Verarbeitungselement-Ausgangsbusse 614 (1-64) für jedes von zwei Verarbeitungselementen verbunden ist. Der Ausgang einer jeden Warteschlange ist über eine Busleitung mit allen vier PEPS (für acht Verarbeitungselemente) in dem Oktanten verbunden. Die PEPS verwenden die Adressendecodierung, um nur diejenigen Pakete hereinzuleiten, die an das zugehörige Verarbeitungselement adressiert sind. Jeder PEP enthält einen Paketpuffer für den Ausgangskanal mit Logik, um den Oktant-Warteschlangen zu signalisieren, wenn der Puffer leer ist.
Jeder der acht Oktanten arbeitet unabhängig, wobei er einen seiner acht PEP-Puffer ein Quintwort in jedem Zyklus übergibt, wenn ein Paket vorhanden ist. Von den PEPS wird das Paket über den zugehörigen Verarbeitungselement-Eingangsbus zweibyteweise an das adressierte Verarbeitungselement gesendet. Die Asymmetrie der Eingangs- und Ausgangsbusse (ein Byte im Gegensatz zu zwei Byte) trägt zur Vermeidung von Bedingungen bei, die zu vollen Warteschlangen führen.
In der Einwärtsrichtung (d.h. von den Verarbeitungselementen) kommt ein Datenbyte über einen der Eingangsbusse von einem Verarbeitungselement in den entsprechenden Verarbeitungselement- Anschluß (d.h. den PEP, mit dem das Verarbeitungselenent (PE) verbunden ist). Vom Verarbeitungselement-Anschluß wird das ankommende Datenbyte direkt in einen Anschluß eines Zusammensetzungspuffers 1006 geleitet, der aufeinanderfolgende Bytes aufnimmt und ein Quintwort-Paket bildet. Der Zusammensetzungspuffer hat 64 Seitenrahmen (Quintwort-Speicherplätze) 1014(1) bis 1014(64). Mit anderen Worten gibt es in dem Zusammensetzungspuffer einen Seitenrahmen für jedes Verarbeitungselement, von denen jedes unabhängig arbeitet und seine eigene Bytezähl- und Belegt- Logik hat (nicht gezeigt).
Die Zusammensetzungspuffer-Seitenrahmen sind in vier Spalten angeordnet. Jede Spalte hat ihre eigene zyklische Multiplexlogik, um einen von den Seitenrahmen auszuwählen, die vollständig sind. In jedem Zyklus des Netztaktes kann ein Quintwort-Paket von einem Seitenrahmen in jeder Spalte herausgeleitet werden. Die herausgeleiteten Pakete gehen zum 9-von-6-Schalter 1002 und zum 1- von-5-Selektor 1016. Ein fünftes Eingangssignal in den 1-von-5- Selektor 1016 kommt von dem globalen Speicher 1004. Auf der Grundlage der Adressen- und zyklischen Multiplexlogik nimmt der 1-von-5-Selektor ein Paket, das durch das Vermittlungsnetz 606 geleitet werden muß, und schickt es auf den Weg. Pakete, die nicht erfolgreich durch entweder den 1-von-5-Selektor oder den 9-von-6-Schalter geleitet werden, bleiben in ihren Seitenrahmen, um beim nächsten Mal, das der zyklische Multiplexalgorithmus erlaubt, ausgewählt zu werden.
Ein Beispiel für die Funktionsweise der Gruppensteuereinheit, bei einer gleichmäßigen Verteilung von Nachrichten, ist wie folgt:
Ein Eingangssignal von den angeschlossenen Verarbeitungselementen, ein Byte pro Zyklus, wird in jeden der Zusammensetzungspuffer eingelesen. Fünf Quintwort-Pakete pro Zyklus können zum 1- von-5-Selektor herausgeleitet werden, so daß ein Quintwort pro Zyklus an eine andere Gruppensteuereinheit gesendet wird.
Am Ausgang in PE-Richtung können mit Warteschlangenbildung bis zu 6 Quintwort-Pakete an bis zu 9 Bestimmungsorte geleitet werden. Unter der Annahme eines 5-ns-Zyklus der Gruppensteuereinheit, mit einem 10-ns-Zyklus am Eingang und Ausgang zu den PE- Bussen, kann die Gruppensteuereinheit 6,4 GByte/Sek. von den PEs (100 Mbyte/Sek./PE) eingeben. Die Zusammensetzungspuffer und der globale Speicher können 12,8 GByte/Sek. ausgeben, von denen bis zu 3,2 GByte/Sek. an andere Gruppensteuereinheiten übertragen werden können. Bis zu 19,2 GByte/Sek. können in die Ausgangswarteschlangen eintreten, und die Ausgangswarteschlangen selbst können bis zu 28,8 GByte/Sek. an die PEPs und den globalen Speichr senden. Die PEPs können jeweils 200 MByte/Sek. an ihre entsprechenden PES liefern, was zusammengenommen ermöglichen würde, daß bis zu 12,8 GByte/Sek. von der Gruppensteuereinheit an die PES fließen. Obgleich dies Spitzenzahlen sind, zeigen sie, daß das Konzept dafür ausgelegt ist, einen konstanten Strom von 3,2 GByte/Sek. von den PEs an andere Cluster und bis zu 12,8 GByte/- Sek. zurück an die PEs fließen zu lassen. Wieder ist das Konzept dafür ausgelegt, zu vermeiden, daß sich Warteschlangen füllen und es zu einem Konflikt stromaufwärts im Schalter kommt.
Fig. 12 zeigt eine bevorzugte Ausführungsform der Verarbeitungselemente 604(1) bis 604(2048) von Fig. 6. Es sollte sich von selbst verstehen, daß das vorliegende Mehrprozessorsystem andere Arten von Prozessoren als Verarbeitungselemente verwenden könnte. Der Zentralprozessor 1202 des Verarbeitungselements ist vorzugsweise ein dem Stand der Technik entsprechender RISC-Mikroprozessor. Er ist auf herkömmliche Weise mit dem Prozessor- Cache 1204 verbunden, der eine kurze Zugriffszeit auf Instruktionen und Daten ermöglicht. Der Bus vom Cache 1204 ist mit einer DMA-Steuereinheit 1206 verbunden. Die DMA-Steuereinheit 1206 stellt dem Cache 1204 bidirektionale Anschlüsse zu jedem der Schalterpuffer 1208 und dem Verarbeitungselement-Hauptspeicher 1210 zur Verfügung. Der Schalterpuffer 1208 ist ein Eingabe- /Ausgabepuffer, der für die Daten und Protokolle zu und von der Gruppensteuereinheit zuständig ist. Die Gruppensteuereinheit läßt sich mit dem Verarbeitungselement über den Schalterpuffer 1208 mittels zweier unidirektionaler Anschlüsse verbinden, die mit einzelnen Bussen 1212, 1214 verbunden sind. Der erste unidirektionale Anschluß ist für den eingehenden Verkehr von der Gruppensteuereinheit zum Verarbeitungselement zuständig, während der zweite unidirektionale Anschluß für den abgehenden Verkehr vom Verarbeitungselement zur Gruppensteuereinheit zuständig ist.
Fig. 13 ist ein ausführlicheres Diagramm der DMA-Steuereinheit 1206 von Fig. 12. Um ankommende Nachrichten zu verarbeiten, nimmt ein Quintwort-Zusammensetzungspuffer 1302 jeweils 2 Datenbyte von der Gruppensteuereinheit auf den Verarbeitungselement- Bug 1212 und setzt das Paket wieder zusammen. Die ECC-Logik 1304 prüft die Integrität der Daten und stellt sie wieder her und prüft auch, ob das Paket am richtigen Bestimmungsort angekommen ist.
Sobald die Datenintegrität überprüft oder korrigiert worden ist und festgestellt wird, daß das Paket an seinem richtigen Bestimmungsort angekommen ist, stellt die Eingabenachricht-Steuerlogik 1308 die Daten in eine Warteschlange im PE-Speicher 1210. Diese Aufgabe wird von einer Speicher-Entscheidungssteuereinheit 1310 ausgeführt, die mehrere Anforderungen für den PE-Speicher 1210 verarbeiten und Speicherkonflikte lösen kann. Die Eingabenachricht-Steuerlogik 1308 signalisiert dann dem PE-Mikroprozessor 1202, daß eine Nachricht vorhanden ist.
Wenn der PE-Mikroprozessor 1202 eine Nachricht an ein anderes Verarbeitungselement (PE) schicken möchte, stellt er die Nachricht zuerst in eine Bestimmungswarteschlange im PE-Speicher 1210. Der Mikroprozessor 1202 signalisiert dann der Ausgangsnachricht-Steuerung 1312, daß eine Nachricht bereit ist. Er macht dies, indem er eine "Speicher"-Operation an eine feste Adresse vornimmt. Diese Adresse gibt es im PE-Speicher 1210 nicht, sondern sie wird von der Speicher-Entscheidungssteuerung 1310 als ein besonderes Signal decodiert. Die Daten für die "Speicher"- Operation zeigen auf die Bestimmungswarteschlange im PE-Speicher 1210.
Bevor sie an die Gruppensteuereinheit gesendet wird, wird jede Nachricht in der Bestimmungswarteschlange mit einem Vorsatz versehen. Die Kopfsätze sind lokal in der DMA-Steuereinheit 1206 in Q-Vorsatzbereich 1314 des Ziel-Verarbeitungselements abgelegt. Der Nachrichtenvorsatz gibt die Gesamtlänge der Nachricht in Byte (bis zu 4096), die Kennung (id) des Verarbeitungselements, an das die Nachricht gesendet werden soll (15-Bit-DST-id), sowie die id dieses sendenden Verarbeitungselements (15-Bit-SRC-id) an.
Statt die Nachrichten sequentiell zu senden, verschachtelt die DMA-Steuereinheit die Pakete von mehreren Nachrichten, um eine hohe Schalter-Bandbreite zu erreichen. Jedoch werden alle Nachrichten von einem Verarbeitungselement an ein anderes, bestimmtes Verarbeitungselement in Reihenfolge gesendet. Der Aufbau des Schalters stellt sicher, daß die Pakete, die ein Verarbeitungselenent von einem anderen, bestimmten Verarbeitungselement empfängt, in derselben Reihenfolge empfangen werden, in der sie gesendet wurden. Die Ausgangsnachricht-Steuerlogik ruft vorher die gesamte Anfangsnachricht oder Teile davon für die verschiedenen Bestimmungsorte in den Ausgangsnachricht-Puffer 1316 ab. Vom Ausgangsnachricht-Puffer 1316 werden die Daten quintwortweise in den Quintwort-Disassemblierungspuffer 1318 übernommen, wo sie byteweise an die Gruppensteuereinheit gesendet werden.
Als weitere Funktion erzeugt die DMA-Steuereinheit 1206 auch vor der Übertragung für jedes Paket einen Neun-Bit-SEC/DED-Fehlerkorrekturcode (ECC).
Die Fehlerkorrektur-Funktion des vorliegenden Systems wird nun ausführlicher beschrieben. Wir zuvor erklärt worden ist, wendet die DNA-Steuereinheit 1206 den ECC an, während die Nachrichtenpakete an einem Verarbeitungselement ankommen, und führt dann die vom Befehlsfeld des Pakets angegebene Funktion aus. Wenn der ECC angibt, daß ein einzelner Bitfehler bei der DST id des empfangenen Pakets aufgetreten ist, dann hätte das Paket an ein anderes Verarbeitungselement gehen sollen, und folglich berichtigt die DNA-Steuereinheit 1206 die DST id und überträgt das Paket erneut an das richtige Verarbeitungselement. Wenn das Cluster-Netzwerk mit einem Host konfiguriert ist, meldet die DNA- Steuereinheit 1206 dieses Fehlerereignis auch an ein Host-Servicesubsystem. Dies erfolgt, indem eine Unterbrechung an die Software auf dem Host erzeugt wird, die den Fehler, von einem Schwellenwert-Algorithmus gesteuert, dem Servicesubsystem meldet.
Während der ECC im sendenden Verarbeitungselement erzeugt und im empfangenden Verarbeitungselement angewendet wird, wird auch jedes Mal, wenn ein Paket in ein TCM eintritt oder dieses verläßt sowie nach dem Empfang durch das Ziel-Verarbeitungselement eine Paritatsprüfung durchgeführt. Somit werden korrigierbare Fehler erkannt und können dem Service-System gemeldet werden, sobald sie beginnen, aufzutreten.
Die selbstkorrigierende Fehlerbehandlungsroutine des vorliegenden Systems läßt sich durch Bezug auf Fig. 6 besser verstehen. Wir nehmen beispielsweise an, daß es ein Verkabelungsproblem zwischen dem Cluster 602(1) und dem 32x32-Vermittlungsnetz 606 gibt, das einen störungsbedingten Fehler im Feld für die Zieladresse eines ankommenden Paketes verursacht. Wir nehmen weiter an, daß das ankommende Paket für das Verarbeitungselement 604(3) auf der Gruppensteuereinheit 602(1) bestimmt war, aufgrund des störungsbedingten Fehlers jedoch am Verarbeitungselement 604(1) auf derselben Gruppensteuereinheit ankommt.
Das empfangende Verarbeitungselement 604(1) empfängt das ankommende Paket mittels des 9-von-6-Schalters und eines PEP-Ausgangsbusses. Sobald das Paket empfangen worden ist, korrigiert das Verarbeitungselement den Fehler im Feld für die Zieladresse (unter Verwendung des ECC) und sendet das Paket auf der Gruppensteuereinheit 602(1) mittels des PEP-Eingangsbusses und des Zusammensetzungspuffers erneut an das richtige PE 604 (1). Da das Paket nicht mehr auf dem problematischen Verbindungsweg entlangläuft, wiederholt sich der störungsbedingte Fehler für dieses Paket nicht.
Ein ähnliches Verfahren stellt die Korrektur von vielen Fehlern sicher, wo eine falsche Zieladresse auf dem Bus von den Gruppensteuereinheiten zum Vermittlungsnetz 606 verursacht wird. Es wird festgestellt werden, daß jedes Cluster einen separaten Eingangs- und Ausgangsbus hat. Wenn die Zieladresse eines abgehenden Pakets aufgrund eines Verbindungsfehlers auf der Ausgangsseite des Busses geändert und ein Paket an die falsche Gruppenstuereinheit gesendet wird, ist der Pfad zwischen der richtigen Gruppensteuereinheit und der empfangenden/korrigierenden Gruppensteuereinheit daher ein vollständig anderer als der Pfad zwischen dem Ursprungsprozessor und dem empfangenden/korrigierenden Prozessor.
Das Vernittlungsnetz 606 selbst enthält auch eine Fehlerkorrekturlogik. Wenn ein Paket an ein nicht vorhandenes oder nicht funktionsfähiges Verarbeitungselement weitergeleitet wird, dreht der Schalter daher das Ursprungs- und das Bestimmungsfeld um und sendet das Paket mit einer Fehlermeldung an den Sender zurück.
Fig. 11 zeigt eine bevorzugte Ausführungsform für ein Paketformat, das mit dem System von Fig. 6 verwendet wird. Jedes Paket hat eine Breite von 180 Bit und enthält ein 5-Bit-Befehlsfeld (CMD), ein 8-Bit-Folgenummernfeld (SEQ), ein 15-Bit-Feld für die Zieladresse (DST), ein 15-Bit-Feld für die Quellenadresse (SRC), ein 128-Bit-Datenfeld und ein 9-Bit-Fehlerkorrekturcode-(ECC- Feld.
Das Befehlsfeld (CMD) enthält einen Fünf-Bit-Befehl, welcher der Gruppensteuereinheit und dem empfangenden Verarbeitungselement mitteilt, wie das Paket zu verarbeiten ist. Das Folgenummernfeld (SEQ) enthält eine 8-Bit-Paketfolgenummer, die sequentiell von dem Ursprungs- (Quellen-) Verarbeitungselement zugeordnet wird. Die Folgenummer ermöglicht es dem Empfangssystem, festzustellen, welche Paketnummer der gesamten Paketanzahl in der Nachricht empfangen worden ist.
Das Feld für die Zieladresse (DST) enthält eine 15-Bit-Zielverarbeitungselementnummer. Das Bestimmungsfeld wird von dem Schalter und der Gruppensteuereinheit dazu verwendet, das Paket selbsttätig weiterzuleiten, und von dem Empfangs- (Ziel-)Verarbeitungselement um nachzuprüfen, ob das Paket an die richtige Adresse weitergeleitet worden ist.
Das Feld für die Quellenadresse (SRC) enthält eine 15-Bit-Ursprungs- (Quellen-)Verarbeitungselementnummer. Das Ursprungsfeld wird von dem Schalter und der Gruppensteuereinheit dazu verwendet, das Paket in einem Fall, wo ein nicht funktionsfähiges oder nicht vorhandenes Verarbeitungselement im Feld für die Zieladresse (DST) erscheint, an die Quelle zurückzusenden, und von dem Empfangs-(Ziel-)Verarbeitungselement, um eine Antwort auf die Nachricht oder den Befehl richtig zu adressieren.
Das Datenfeld (DATA) enthält 128 Informationsbit. Die Art der Informationen im Datenfeld wird vom Befehlsfeld (CMD) angegeben.
Das Fehlerkorrekturcode-Feld (ECC) enthält einen SEC/DED-Fehlerkorrekturcode für die Korrektur eines Einzelfehlers (SEC) und das Erkennen eines Doppelfehlers (DED).
Für Nachrichtenvorsatz-Pakete gibt das Folgefeld die Gesamtlänge der Nachricht an, und die DNA-Steuereinheit weist einen Nachrichtenpuffer dieser Länge im lokalen Speicher des Verarbeitungselements zu, schreibt das erste 16-Byte-Datenwort in den Nachrichtenpuffer und setzt lokale Hardware-Zeiger, Längen- und Folgeregister, wenn es für diese Nachricht weitere Datenpakete gibt. Sie erstellt auch den Nachrichtenvorsatz im Speicher, der die Länge der Nachricht, die DST-id und die SRC-id enthält.
Für Nachrichtenhauptteil-Pakete wird das Folgenummernfeld mit dem Folgeregister verglichen, um zu prüfen, ob die Pakete in Reihenfolge ankommen, und jedes 16-Byte-Datenwort wird zum Nachrichtenpuffer hinzugefügt. Wenn die Nachricht vollständig empfangen worden ist, wird sie in eine als IN_QUEUE bekannte Warteschlange im lokalen Speicher zur Verarbeitung durch den lokalen Prozessor gestellt. Wenn die IN_QUEUE vor dem Hinzüfügen dieser Nachricht leer gewesen ist, wird eine Unterbrechung an den lokalen Prozessor erzeugt, um ihn über anstehende Arbeiten zu unterrichten.
Für Pakete mit Speicherzugriffsbefehlen führt die DNA-Steuereinheit die erforderliche Abruf- oder Speicheroperation im lokalen Speicher des Verarbeitungselements aus (Übertragen eines Daten- Doppelwortes), und für Abrufoperationen wird ein Antwortpaket durch Umdrehen des SRC-id- und des DST-id-Feldes erstellt und dann durch den Schalter weitergeschickt, um das angeforderte Daten-Doppelwort zurückzusenden.
Pakete, die Befehle für den Zugriff auf den globalen Speicher enthalten, werden in der Gruppensteuereinheit auf dieselbe Weise verarbeitet, wie Befehle für den Zugriff auf den lokalen Speicher von den DMA-Steuereinheiten verarbeitet werden. In beiden Fällen sind die Speicheroperationen autonom und schließen eine Funktion "Vergleichen und Auslagern" ein.
Fig. 14 stellt eine bevorzugte Anordnung einer Verarbeitungselement-/Cluster-Platine dar. Was die physische Anordnung anbetrifft, umfaßt ein Cluster vorzugsweise eine Mehrschichtleiterplatte 1400, auf der bis zu 64 Verarbeitungselement-Karten (d.h. Leiterplatten, von denen jede ein Verarbeitungselement verkörpert) direkt montiert sind, und mindestens ein thermisches Gruppensteuereinheit-Leitungsmodul (TCM) 1402. Jede Gruppensteuereinheit verarbeitet lokale Nachrichten, die innerhalb des Clusters passieren, und läßt sich mit dem Vermittlungsnetz 606 verbinden.
Fig. 15 zeigt eine bevorzugte System-Rahmenbelegung mit vier Clustern in jedem von acht Rahmen 1502 bis 1516. Die thermischen Vermittlungsnetz-Leitungsmodule sind vorzugsweise in zentralen Rahmen 1518 bis 1524 realisiert. Der Host-Adapter 1700 (Fig. 17) kann sich in einem beliebigen der Vermittlungsnetz-Rahmen 1502 bis 1516 befinden. Aus Gründen der Verfügbarkeit und Konfigurierbarkeit kann ein weiterer Host-Adapter 1700 in einem anderen der Vermittlungsnetz-Rahmen 1502 bis 1516 vorgesehen werden.
Fig. 16 zeigt eine bevorzugte Anordnung für eine Verarbeitungselement-Karte 1600, die den äußerst leistungsfähigen RISC- Mikroprozessor 1202, den optionalen Datenbank-Beschleuniger 1602, die DNA-Steuereinheit 1206 und den lokalen Speicher 1210 enthält. Die Verarbeitungselement-Karten 1600 haben doppelt so viele Anschlußstifte wie an das Gruppensteuereinheit-TCN angeschlossen werden können. Daher wird eine zweite Gruppe von PE- Bussen (ein zweiter "PE-Anschluß") von der Verarbeitungskarte entfernt und auf der Hauptplatine (der TCM-Hauptplatine) aufgebracht, wo sie an die Stelle des zweiten (ersatzweisen) Gruppensteuereinheit-TCMS (1404, Fig. 14) geführt wird. Dies ermöglicht eine zukünftige Erweiterung: da die CMOS-Dichte weiterhin verbessert wird, könnte ein zweites Verarbeitungselement pro Karte untergebracht werden und doppelte Gruppensteuereinheit- und Vermittlungsnetz-TCNS könnten in die vorverdrahteten Leiterplatten gesteckt werden, wodurch die Größe des Systems auf 4096 Verarbeitungselemente verdoppelt würde. Alternativ dazu könnte jedes Verarbeitungselement mit den angeschlossenen optionalen Gruppensteuereinheit- und Vermittlungsnetz-TCMS zwei PE-Anschlüsse zur Gruppensteuereinheit entweder für eine höhere Bandbreite oder für eine verbesserte Fehlertoleranz benutzen.
Das vorstehend beschriebene System kann als ein eigenständiges Mehrprozessorsystem oder als ein eigenständiger Datenbank-Prozessor gebaut werden oder als Coprozessor zu einem traditionellen Großrechner eingesetzt werden. In letzterem Fall würde das Host-System die MVS/DB2-Systemfunktionen im Vorfeld bereitstellen, einschließlich Sitzungsverwaltung, Transaktionsverarbeitung, Datenbankprotokollierung und -wiederherstellung. Das vorliegende Mehrprozessorsystem könnte auch als nachgeschaltetes System eingesetzt werden, um die komplexen, Nurlese-Abfrageverarbeitungsfunktionen vom Host zu übernehmen und zu beschleunigen.

Claims

1. Gruppensteuereinheit (602) zum Einsatz in einem Mehrprozessorsystem, das eine Vielzahl von Verarbeitungselement-Gruppen enthält, die durch ein Vermittlungsnetz (606) verbunden sind, wobei die Gruppensteuereinheit (602) folgendes enthält:

Vermittlungsmittel (1002), das für den Empfang von Paketen von dem Vermittlungsnetz (606) angeschlossen ist, um die Pakete von dem Vermittlungsnetz (606) entsprechend einer Zieladresse zu verteilen;

Warteschlangenmittel (1008), das mit einer Vielzahl der Verarbeitungselemente (604) verbunden ist, um den Paketfluß an die Vielzahl der Verarbeitungselemente zu puffern, wobei das Warteschlangenmittel eine Vielzahl von Paketwarteschlangen enthält, die jedem der Verarbeitungselemente zugeordnet sind,

Zusammensetzungspuffermittel (1006), das mit der Vielzahl der Verarbeitungselemente (604) verbunden ist, um Daten von den Verarbeitungselementen (604) zu Paketen zusammenzusetzen, wobei das Zusammensetzungspuffermittel (1006) einen Zusammensetzungspuffer (1014) für jedes der Verarbeitungselemente (604) enthält; und

Auswahlmittel (1016), das mit dem Zusammensetzungspuffermittel (1006) verbunden ist, um ein Paket von dem Zusammensetzungspuffermittel (1006) auszuwählen, das an das Vermittlungsnetz (606) gesendet werden soll.

2. Gruppensteuereinheit (602) nach Anspruch 1, die des weiteren folgendes enthält:

globales Speichermittel (1004) zum Speichern von Daten, wobei das globale Speichermittel für den Empfang der Pakete von dem Vermittlungsmittel (1002) angeschlossen ist.

3. Gruppensteuereinheit (602) nach Anspruch 1 oder 2, wobei das Zusammensetzungspuffermittel (1006) des weiteren zyklische Multiplexmittel enthält, um ein zusammengesetztes Paket, das ausgegeben werden soll, auszuwählen.

4. Gruppensteuereinheit nach jedem der vorstehenden Ansprüche, wobei das Auswahlmittel (1016) des weiteren

Auswahlmittel enthält, um die Pakete in zyklischer Abfolge aus zugeben.

5. Mehrprozessorsystem, das zu einer Gruppe verbunden ist, das folgendes enthält:

eine erste Vielzahl von Prozessoren (604), wobei jedes Verarbeitungselement in der ersten Vielzahl einen lokalen Speicher enthält;

eine zweite Vielzahl von Prozessoren (604), wobei die Verarbeitungselemente in der zweiten Vielzahl einen lokalen Speicher enthalten;

eine erste Gruppensteuereinheit (602) nach jedem der Ansprüche 1 bis 4, die für den Empfang von ersten Daten von der ersten Vielzahl von Prozessoren (604) angeschlossen ist, um die ersten Daten zu Paketen zusammenzusetzen, die ein Ursprungsfeld, ein Bestimmungsfeld und ein Befehlsfeld enthalten, und um die erste Vielzahl von Paketen auszugeben;

eine zweite Gruppensteuereinheit (602) nach jedem der Ansprüche 1 bis 4, die für den Empfang von zweiten Daten von einer zweiten Vielzahl von Prozessoren (604) angeschlossen ist, um die zweiten Daten zu Paketen zusammenzusetzen, die ein Ursprungsfeld, ein Bestimmungsfeld und ein Befehlsfeld enthalten, und um die Pakete aus zugeben; und

Vermittlungsnetz-Mittel (606), das für den Empfang der Pakete von der ersten und der zweiten Gruppensteuereinheit (602) angeschlossen ist, um das Bestimmungsfeld zu decodieren und um festzustellen, welche der Gruppensteuereinheiten (602) mit einem adressierten Prozessor verbunden ist, der dem decodierten Bestimmungsfeld entspricht, und um die Pakete an die eine der Gruppensteuereinheiten (602) weiterzuleiten.

6. System nach Anspruch 5, wobei das erste und das zweite Gruppensteuereinheit-Mittel (602) jeweils Mittel enthält, um die Pakete in zyklischer Abfolge auszugeben.

7. System nach Anspruch 5 oder 6, wobei jeder der Prozessoren (604) der ersten und der zweiten Vielzahl von Prozessoren (604) Mittel enthält, um jedem anderen Prozessor (604) der ersten und der zweiten Vielzahl von Prozessoren (604) den direkten Zugriff auf den lokalen Speicher zu ermöglichen.

8. System nach Anspruch 5, 6 oder 7, das des weiteren folgendes enthält:

Host-Adaptermittel (1700), um einen Host (1800) mit dem Vermittlungsnetz-Mittel (606) zu verbinden, wobei das Host- Adaptermittel folgendes enthält:

Mittel (1714), um eine Reihe von Befehlen von dem Host (1800) zu empfangen; und

Mittel (1710), um die Befehle unter einer Vielzahl der Prozessoren (604) zu verteilen.

9. System nach Anspruch 8, wobei das Host-Adaptermittel (1700) des weiteren folgendes umfaßt:

Mittel (1706), um erste Speicheradressen von dem Host (1800) auf ein Band von zweiten Speicheradressen in einem lokalen Speicher in jedem einzelnen der Vielzahl der Prozessoren (604) zu übersetzen.

10. System nach Anspruch 9, wobei mindestens einer der Prozessoren (604) einen Universalprozessor und einen Datenbank- Beschleuniger enthält.

11. System nach Anspruch 10, wobei mindestens einer der Datenbank-Beschleuniger ein Sortier-Coprozessor ist.

12. System nach Anspruch 5, 6 oder 7, wobei das Vermittlungsnetz-Mittel (606) Mittel enthält, um festzustellen, wenn das Bestimmungsfeld einen nicht vorhandenen Prozessor (604) kennzeichnet, um das Ursprungs- und das Bestimmungsfeld umzudrehen und um die Daten an den Quellenprozessor (604) umzuleiten.

13. Verfahren zur Fehlerbehebung in einem Mehrprozessorsystem nach jedem der Ansprüche 5 bis 12, wobei ein erster Prozessor (604) in dem System ein Datenpaket überträgt, das ein Adreßfeld mit einer Adresse eines zweiten Prozessors (604) in dem System hat, und das Verfahren die folgenden Schritte umfaßt:

Übertragen des Pakets von dem ersten (604) Prozessor an das Vermittlungsnetz (606) mittels eines ersten Pfades;

Decodieren des Adreßfeldes in dem übertragenen Paket an dem Vermittlungsnetz (606);

Weiterleiten des Pakets mittels des ersten Pfades von dem Vermittlungsnetz (606) an einen durch die Decodierung bezeichneten dritten Prozessor (604) in dem System;

Feststellen eines Fehlers in dem Adreßfeld des Pakets an dem dritten Prozessor (604);

Korrigieren des Fehlers an dem dritten Prozessor (604), um eine berichtigte Adresse in dem Adreßfeld zu bilden;

nochmaliges Übertragen des Pakets mit der berichtigten Adresse von dem dritten Prozessor (604) an das Vermittlungsnetz (606) mittels eines zweiten Pfades;

Decodieren des Adreßfeldes in dem nochmals übertragenen Paket an dem Vermittlungsnetz (606); und

Weiterleiten des nochmals übertragenen Pakets von dem Vermittlungsnetz an den zweiten Prozessor (604) mittels eines dritten Pfades.

14. Verfahren nach Anspruch 13, das die folgenden weiteren Schritte umfaßt:

Feststellen am Vermittlungsnetz (606), ob eine decodierte Adresse einem nicht funktionsfähigen Prozessor (604) entspricht; und

wenn im Schritt des Feststellens festgestellt wird, daß die decodierte Adresse dem nicht funktionsfähigen Prozessor 4(604) entspricht, Bewirken, daß das Vermittlungsnetz (606) das Ursprungs- und das Bestimmungsfeld in dem Paket austauscht und Zurücksenden des Pakets an den ersten Prozessor (604) mittels eines vierten Pfades.

15. System nach Anspruch 5 bis 12, das des weiteren ein Paketformat mit einem Befehlsfeld enthält, das folgendes umfaßt:

ein erstes angegebenes Bitmuster, das, wenn es von einer Gruppensteuereinheit (602) in dem Mehrprozessorsystem decodiert worden ist, ein Beschreiben des globalen Speichers in der Gruppensteuereinheit (602) bewirkt;

ein zweites angegebenes Bitmuster, das ein das Befehlsfeld enthaltendes Paket als ein einen Nachrichtenhauptteil übertragendes Paket kennzeichnet;

ein drittes angegebenes Bitmuster, das ein das Befehlsfeld enthaltendes Paket als ein einen Nachrichtenvorsatz übertragendes Paket kennzeichnet;

ein Folgenummernfeld, um ein beliebiges einer Folgenummer von Paketen zu übertragen, bei dem das Befehlsfeld das Paket als einen Nachrichtenhauptteil angibt, und eine Anzahl von nachfolgenden Nachrichtenpaketen, bei denen das Befehlsfeld das Paket als einen Nachrichtenvorsatz angibt;

ein Bestimmungsfeld, um eine erste Adresse eines Ziel-Verarbeitungselenents in dem durch Gruppen verbundenen Mehrprozessorsystem zu übertragen;

ein Ursprungsfeld, um eine zweite Adresse eines Quellen- Verarbeitungselements in dem durch Gruppen verbundenen System zu übertragen;

ein Datenfeld; und

ein Fehlerkorrekturcode-Feld, um einen Fehlerkorrektur-, Fehlererkennungs-Korrekturcode zu übertragen.

16. System nach Anspruch 15, wobei das Befehlsfeld des weiteren ein viertes angegebenes Bitmuster enthält, das, wenn es von der Gruppensteuereinheit (602) decodiert worden ist, bewirkt, daß auf einen lokalen Speicher in einem mit der Gruppensteuereinheit (602) verbundenen Prozessor (604) zugegriffen wird.