DE3586389T2

DE3586389T2 - Dynamisch zugeordnete lokale/globale speicheranordnung.

Info

Publication number: DE3586389T2
Application number: DE8585113174T
Authority: DE
Inventors: Brantley, Jr; Kevin Patrick Mcaulifee; Vern Alan Norton; Gregory Francis Pfister; Joseph Weiss
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1984-10-24
Filing date: 1985-10-17
Publication date: 1993-03-04
Anticipated expiration: 2005-10-18
Also published as: CN1004307B; CN85107534A; JPS61103258A; PH25478A; KR910001736B1; GB2165975B; EP0179401B1; KR860003553A; CA1236588A; JPH0520776B2; US4754394A; EP0179401A2; GB2165975A; HK23690A; IN166397B; GB8525903D0; US4980822A; DE3586389D1; EP0179401A3; HK89995A

Description

1. Anwendungsbereich der Erfindung

Die vorliegende Erfindung bezieht sich auf Speichersysteme für die Datenverarbeitung und insbesondere auf dynamische Speichersysteme für Multiprozessorsysteme.

2. Beschreibung des Stands der Technik

Nachfolgend werden Systeme beschrieben, die den Stand der Technik widerspiegeln.
Die US Patentschrift 4,365,295 zeigt ein Multiprozessorsystem mit einem Speichersystem, bei dem der Speicher jedes Prozessormoduls in vier logische Adressenbereiche unterteilt wird. Das Speichersystem beinhaltet eine Abbildung, die logische Adressen in physikalische Adressen umwandelt und die mit dem Multiprozessorsystem zusammenarbeitet, um zur Implementierung eines virtuellen Speichersystems Seiten vom Sekundärspeicher in den Primärhauptspeicher zu bringen.
Dieses Patent, das ein herkömmliches Speicherabbildungssystem beschreibt, bezieht sich nicht auf den leistungsfähigen Speicherzugriff durch einen oder mehrere Prozessoren, einschließlich Überlappungsspeicherbezügen durch einen Prozessor, und dynamisches Lenken von Speicherbezügen zu globalen oder lokalen Teilen jedes Speichermoduls.
Die US Patentschrift 4,228,496 zeigt ein Multiprozessorsystem mit obigem Speichersystem, um ein virtuelles Speichersystem zu implementieren.
Dieses Patent, das ein herkömmliches Speicherabbildungssystem beschreibt, bezieht sich jedoch nicht auf den leistungsfähigen Speicherzugriff durch einen oder mehrere Prozessoren, einschließlich Überlappungsspeicherbezügen durch einen Prozessor, und dynamisches Lenken von Speicherbezügen zu globalen oder lokalen Teilen jedes Speichermoduls.
Die US Patentschrift 4,174,514 zeigt eine Einrichtung zur Durchführung von Umgebungstransformationen auf Datenmatrizen für die Bildverarbeitung und ähnliches, die eine höhere Verarbeitungsgeschwindigkeit erzielt als serielle Prozessoren mit sparsamem Speicherverbrauch, indem eine Mehrzahl von seriellen Umgebungsprozessoren verwendet werden, die gleichzeitig auf benachbarten geteilten Segmenten einer einzigen Datenmatrix arbeiten.
Dieses Patent zeigt ein Multiprozessorsystem ohne Mittel für einen Zugriff auf einen allgemeinen globalen Speicher durch alle Prozessoren.
Die US Patentschrift 4,121,286 zeigt eine Einrichtung für die Zuordnung und das Rückgängigmachen der Zuordnung von Speicherraum in einer Multiprozessorumgebung.
Dieses Patent, das ein herkömmliches Speicherabbildungssystem beschreibt, bezieht sich nicht auf den leistungsfähigen Speicherzugriff durch einen oder mehrere Prozessoren, einschließlich Überlappungsspeicherbezügen durch einen Prozessor, und dynamisches Lenken von Speicherbezügen zu globalen oder lokalen Teilen jedes Speichermoduls.
Die US Patentschrift 3,916,383 zeigt einen Schaltkreis zur Betriebsmittelzuordnung, der einzelne Prozessoren auf Zeitspannenbasis selektiv aktiviert, wobei eine Zeitspanne ungefähr die gleiche Zeitdauer wie die Systemspeicherzeit hat. Der Schaltkreis zur Betriebsmittelzuordnung beinhaltet ein Prioritätsnetz, das entsprechend den Bedürfnissen des einzelnen Prozessors allgemeine Anforderungen zur Betriebsmittelverwendung in Echtzeit von den Prozessoren erhält, der erhaltenen Anforderung eine Prioritätsbewertung zuweist und als Antwort darauf die normalerweise sequentielle Aktivierung der Prozessoren ändert. Das Patent zeigt ein System mit mehreren unabhängigen Datenprozessoren in einem einzigen Zentralprozessor, das kein richtiges Multiprozessorsystem im eigentlichen Sinn darstellt.
Die vorliegende Erfindung bezieht sich auf ein System mit unabhängigen Prozessoren, die einen Multiprozessor bilden, bei dem ein Speichersystem dynamisch in einen globalen und einen lokalen Speicher aufgeteilt wird.
Die US Patentschrift 3,820,079 zeigt einen Multiprozessorcomputer, der in modularer Form um eine allgemeine Steuerung und einen Datenbus aufgebaut ist. Die Steuerfunktionen für die verschiedenen Module sind unter den Modulen verteilt, um die Systemflexibilität zu erleichtern. Das Patent zeigt ein System mit herkömmlicher Speicherabbildung und Überlappung. Die Speicherabbildung steuert die Überlappung nicht und die Überlappung ist bei allen Modulen für alle Daten gleich.
Die US Patentschrift 3,641,505 zeigt ein Multiprozessor-Rechensystem, bei dem eine Anzahl von Verarbeitungseinheiten, Programmspeichereinheiten, veränderlichen Speichereinheiten und Eingabe/Ausgabe-Einheiten selektiv zusammengefaßt werden können, um ein oder mehrere unabhängige Datenverarbeitungssysteme zu bilden. Die Aufteilung des Systems in mehr als ein unabhängiges System wird wahlweise durch manuelle Schaltung oder programmgelenkte Aufteilungssignale gesteuert.
Dieses Patent, das ein herkömmliches Speicherabbildungssystem beschreibt, bezieht sich nicht auf den leistungsfähigen Speicherzugriff durch einen oder mehrere Prozessoren, einschließlich Überlappungsspeicherbezügen durch einen Prozessor, und dynamisches Lenken von Speicherbezügen zu globalen oder lokalen Teilen jedes Speichermoduls.
Die US Patentschrift 3,601,812 zeigt ein Speichersystem für die Pufferung mehrerer Computer zu einer Zentralspeichereinheit oder ein Computer zu mehreren kleinen Speichereinheiten und ein aufgeteiltes Adressenschema für die leistungsfähige Verwendung dieses Systems. Die Adressenstellen werden in zwei getrennte Teilsätze unterteilt, von denen einer als Pufferspeicheradresse verwendet wird und der andere mit einem Datenwort gespeichert wird, um die Identifizierung zu bewirken.
Das Patent behandelt die Pufferung von Speicherdaten in einem Multiprozessor und zeigt kein dynamisch aufgeteiltes Speichersystem, einschließlich Überlappungsspeicherbezüge durch einen Prozessor, und dynamisches Lenken von Speicherbezügen zu globalen oder lokalen Speicherteilen.
Der oben dargestellte Stand der Technik gibt keine Hinweise oder Vorschläge zur vorliegenden Erfindung, wie sie hier beschrieben und geltend gemacht wird.

ZUSAMMENFASSUNG DER ERFINDUNG

Gegenstand der vorliegenden Erfindung ist es, ein Speichersystem in einen globalen Speicher aufzuteilen, auf den eine Mehrzahl von Prozessoren zugreifen kann sowie in einen lokalen Speicher, auf den einzelne Prozessoren zugreifen können.
Die vorliegende Erfindung umfaßt daher eine Datenverarbeitungseinrichtung und das entsprechende Verfahren mit einer Mehrzahl von Verarbeitungsknoten, die über ein Nachrichtennetz verbunden sind, wobei jeder Knoten einen Prozessor und eine Speichereinrichtung aufweist, das Nachrichtennetz eingerichtet ist, um es jedem Prozessor zu ermöglichen, irgendeine Speichereinrichtung in irgendeinem Knoten zu adressieren, jeder Knoten auch Abbildungsmittel aufweist, um eine Umwandlung virtueller, von dem zugeordneten Prozessor erzeugter Adressen in reale Adressen durchzuführen und die Einrichtung durch folgendes gekennzeichnet ist: ein Mittel zum dynamischen Aufteilen des Gesamtspeichers der Einrichtung, wie durch alle Speichereinrichtungen repräsentiert, in einen globalen Speicher, auf den von einer Mehrzahl von Prozessoren zugegriffen werden kann und in einen lokalen Speicher, auf den von einzelnen Prozessoren zugegriffen werden kann; wobei das Aufteilungsmittel eine Steuerungstabelle in jedem der Abbildungsmittel aufweist, die Überlappungsdaten enthält, die anzeigen, ob sich die erzeugte reale Adresse in einem lokalen oder in einem globalen Speicher befindet und einen Adressenwandler, der von den Überlappungsdaten gesteuert wird, um vorbestimmte Felder der realen Adresse, wie durch die Überlappungsdaten angegeben zu behandeln, um durch Durchführen einer Überlappungstransformation eine absolute Adresse zu erzeugen, damit eine Seite eines realen Speichers entweder in einen sequentiellen Block von Adressen, die vollständig innerhalb eines Knotens als ein lokaler Speicher enthalten ist oder in einen Block von Adressen umgewandelt wird, der über mehrere Knotenspeichereinrichtungen als globaler Speicher verteilt ist.
Die oben erwähnte Beschreibung und andere Objekte, Eigenschaften und Vorteile der Erfindung gehen aus der genauen Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung hervor, wie sie in den begleitenden Zeichnungen dargestellt sind.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 stellt ein Blockdiagramm eines Multiprozessorsystems gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung dar.
Fig. 2 stellt ein Blockdiagramm eines Verarbeitungsknotens gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung dar.
Fig. 3 zeigt den physikalischen Adressenraum des Multiprozessors, d. h., die Adresse jedes Worts in allen Speichern in den Multiprozessoren. Der werthöchste Teil der Adresse gibt die Knotenummer an. Der wertniedrigste Teil der Adresse ist der Offset in einem der Speicher.
Fig. 4 zeigt den gesamten Inhalt einer virtuellen Seite, so wie dieser mit einem Überlappungswert von Null gespeichert werden würde, d. h. sequentiell in einem der Knotenspeicher.
Fig. 5 zeigt den gesamten Inhalt einer virtuellen Seite, so wie dieser mit einem Überlappungswert der Log Basis 2 der Knotenanzahl gespeichert werden würde, d. h. vollständig überlappt in allen Speichern.
Fig. 6 zeigt, wie ein Betriebssystem möglicherweise die Zuordnung eines Satzes von sequentiellen und überlappten Seiten in einem Speicher vornehmen würde.
Fig. 7 stellt ein Blockdiagramm eines gemäß der vorliegenden Erfindung in Fig. 2 gezeigten Abbildungs-/Überlappungsblocks dar.
Fig. 8 stellt ein Blockdiagramm einer gemäß der vorliegenden Erfindung in Fig. 2 gezeigten Netz-/Speicherschnittstelle dar.
Bei den Zeichnungen werden ähnliche Elemente mit ähnlichen Bezugsnummern gekennzeichnet und gleiche Elemente in unterschiedlichen spezifischen Ausführungsbeispielen werden mit gleichen Bezugsnummern gekennzeichnet.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE DER ERFINDUNG

Das bevorzugte Ausführungsbeispiel der vorliegenden Erfindung ermöglicht es, den Hauptspeicher eines Multiprozessor-Computers in Laufzeit dynamisch aufzuteilen und zwar zwischen dem lokalen Speicher zu jedem Prozessor und dem globalen Speicher, auf den von allen Prozessoren zugegriffen wird.
Multiprozessorsysteme, die dem gegenwärtigen Stand der Technik entsprechen, haben entweder
1. nur einen lokalen und keinen globalen Speicher
2. nur einen globalen und keinen lokalen Speicher
3. einen globalen Speicher und ein festgelegtes Ausmaß des lokalen Speichers.
Einige Systeme des Typs 2 verfügen über ein festgelegtes Ausmaß des lokalen Speichers in Form eines Cache, um die globale Speicherlatenz wirkungsvoll zu reduzieren; es ist jedoch festzuhalten, daß die vorliegende Erfindung die Verwendung eines Cache oder ganz allgemein die Verwendung einer Speicherhierarchie nicht ausschließt.
Anders als die oben erwähnten Systeme ermöglicht es die hier beschriebene Erfindung, die Speicherkonfiguration dynamisch zu ändern, um den Bedürfnissen des Anwenders entgegen zu kommen, wobei eine wesentlich verbesserte Leistung für einen größeren Bereich von Anwendungen erzielt wird. Die leistungsfähige Übermittelung von Meldungen zwischen Prozessoren, wie sie in Systemen von dem oben erwähnten Typ 1 mit spezieller Hardware zu erreichen ist, wird von dieser Erfindung ebenfalls unterstützt.

Konfiguration

Wie in Fig. 1 gezeigt, besteht die erforderliche Gerätekonfiguration aus N Verarbeitungsknoten 20, die mit einem Nachrichtennetz 10 verbunden sind. Die Prozessoren und der Hauptspeicher des Systems sind in den Knoten enthalten (siehe Fig. 2). Es kann ein beliebiges Netz verwendet werden, das die Kommunikation zwischen den Knoten sicherstellt.

Netzbeschreibung

Fig. 1 zeigt eine Verbindungsnetz (ICN) 10, das die verschiedenen Knoten 20 miteinander verbindet. Diese Erfindung macht kein spezielles Verbindungsnetzdesign erforderlich, dieses Netz hat jedoch die folgenden Mindestanforderungen an Fähigkeiten zu erfüllen:
Meldungen, die von einem der Knoten 20 kommen, können sicher durch das Netz 10 zu einem anderen Knoten 20 geleitet werden.
Die Weiterleitung einer Meldung basiert auf der Adressierung von Informationen, die sich in einem "Knoten #" Feld der Meldung befinden.
Die Funktionen des Weiterleitens der Meldungen des ICN 10, wenn diese mit denen der verschiedenen Knoten 20 gekoppelt sind, müssen es einem Prozessor ermöglichen, eine beliebige Speicherstelle an einem beliebigen Knoten 20 zu adressieren, indem lediglich die korrekte absolute Adresse angezeigt wird.
Die Speicherabbildungsmechanismen dieser Erfindung statten jeden Prozessor mit der Fähigkeit aus, solche absoluten Adressen zu erzeugen.
Fig. 2 zeigt die Inhalte eines Knotens. Die Adressen für die Speicherbezüge, die vom Prozessor (PROC) 22 kommen, werden von der nachstehend beschriebenen ABBILDUNG/ÜBERLAPPUNG (M/I) 24 abgebildet.
Ein Cache 26 wird verwendet, um einige Speicherbezüge nach der Abbildung zu erfüllen. Die beschriebene Erfindung macht weder die Verwendung eines Cache erforderlich noch legt sie der Plazierung eines Cache Beschränkungen auf. Der Cache 26 zum Beispiel kann zwischen dem Prozessor 22 und dem M/I-Block 24 integriert werden.
Vom Cache 26 nicht erfüllte Bezüge (oder alle Bezüge, wenn kein Cache vorhanden ist) werden von der Netz-/Speicherschnittstelle (NET/STORE INTF. (NSI)) 28 entweder zum Teil des Hauptspeichers 30 an diesem Knoten oder durch das Netz 10 zum Speicher 30 eines anderen Knotens geleitet.
Die NSI 28 empfängt ebenso Bezugsanforderungen von anderen Knoten und leitet sie zum Speicher eines zu erfüllenden Knotens. Dies sorgt wirkungsvoll für einen Doppelanschluß des Knotenspeichers 30. Eine vergleichbare Steigerung der Leistungsfähigkeit bei niedrigeren Kosten kann dadurch erzielt werden, daß der Knotenspeicher 30 lokal überlappt wird und sich die Verarbeitung von überlappten Anforderungen überschneidet.

Lokale/Globale Abbildung

M/I 24 führt die gewöhnliche Segment/Seitenabbildung auf zwei Ebenen von vom Prozessor 22 erzeugten virtuellen Adressen in reale Adressen durch und zwar mit Hilfe von einer Art Segment/Seite-Tabelle im Hauptspeicher 30. Die erzeugten realen Adressen identifizieren eindeutig jedes Wort oder Byte in allen Knotenspeichern: die werthohen Bits geben die Knotennummer an und die wertniedrigen Bits geben das Wort oder das Byte in einem Knotenspeicher an. Dies wird in Fig. 3 dargestellt.
Bei dieser Erfindung kann M/I 24 auch eine Überlappungstransformation auf den Adressen durchführen. Ob dies durchgeführt wird oder nicht wird durch ein Zusatzfeld angezeigt, das nur bei dieser Erfindung vorkommt, und das zu Eingaben in den Segmentund/oder Seitentabellen hinzugefügt wird. Ziel dieser Transformation ist es, eine Seite eines realen Speichers zu einem sequentiellen Block von Adressen zu machen, der sich in einem Knoten (siehe Fig. 4) befindet; oder einen Block von Adressen, der über mehrere Knotenspeicher verteilt ist (siehe Fig. 5).
Es kann daher sichergestellt werden, daß sich eine sequentielle Seite im eigenen Speicher 30 des Knotens befindet, der ein lokaler Speicher des Prozessors 22 ist und auf den schnell zugegriffen werden kann, wodurch die Funktion eines lokalen Speichers erreicht wird. Da eine überlappte Seite über mehrere Speicherblöcke verteilt ist, wird die Gefahr von Speicherkonflikten bei Multiprozessorbezügen wesentlich verringert; dies sorgt für einen leistungsfähigen Speicher, auf den global zugegriffen werden kann.
Um die Gefahr von Konflikten noch weiter zu verringern, kann die Überlappungstransformation auch den Knotennummernteil der Adresse "hashen", zum Beispiel durch XOR-Verknüpfung (Exklusive ODER Operation) des Knotennummernteils der Adresse mit anderen Adreßbits. Dies würde die Gefahr von Konflikten verringern, wenn herkömmliche Zugriffsmuster auftreten.
Der verwendete Überlappungsgrad -- die Anzahl der Knoten, über die eine überlappte Seite verteilt ist -- kann durch ein zusätzliches Feld angezeigt werden, das zu den Segment- und/oder Seitentabellen hinzugefügt wird. Dieses Feld kann auch Eigenschaften des verwendeten "Hashings" anzeigen.
Durch die sequentielle Abbildung einiger Seiten und die überlappte Abbildung anderer Seiten ist ein Teil des Hauptspeichers 30 "lokal" und ein anderer Teil "global". Das Ausmaß des lokalen gegenüber dem globalen Speicher wird von den Speicherabbildungstabellen gesteuert und kann daher bei Laufzeit geändert werden, um den Anwendungsanforderungen entgegenzukommen.
Ein Beispiel für die Art von Hauptspeicherverwendung, die diese Erfindung möglich macht, ist in Fig. 6 dargestellt. Diese zeigt den globalen Speicher, der von einem Ende des Speichers 30 aller Knoten zugeordnet wird, und den lokalen Speicher, der vom anderen Ende zugeordnet wird. Obwohl dies nicht die einzige Verwendungsart der hier beschriebenen Erfindung ist, zeigt sie doch, wie die Erfindung es ermöglicht, die für die lokale und globale Speicherung verwendeten Speicherteile im Lauf der Anwendungen zu ändern.

Meldungsübermittlung

Zusätzlich zur vom globalen Speicher zur Verfügung gestellten Übertragung unterstützt diese Erfindung die direkte Meldungsübermittlung zwischen den Prozessoren: Befehle zur direkten Hauptspeicherdatenbewegung (z. B. "MVCL" IBM System 370 Betriebsprinzipien) können verwendet werden, um Daten von einer sequentiellen Seite in einem Prozessor zu einer sequentiellen Seite in einem anderen Prozessor zu bewegen, ohne andere Knotenspeicher zu stören oder zu beanspruchen.

Beschreibung der Speicherabbildungstabellen

Die Speicherabbildungstabellen werden von der M/I verwendet. Sie definieren die von der M/I durchgeführte Abbildung zwischen den vom Prozessor ausgegebenen Adressen und den Adressen, auf die im Speicher zugegriffen wird. Insbesondere und nur in dieser Erfindung vorkommend legen sie fest, ob eine Überlappungstransformation bei einer Adresse angewandt werden soll oder nicht und wenn ja, welche Überlappungstransformation in Frage kommt. Die Tabellen selbst können sich in der M/I befinden, oder im Hauptspeicher des Systems (entweder globaler oder lokaler Speicher), auf den die M/I Bezug nimmt, oder in beiden. Ganz gleich wo sie sich befinden, können sie durch die auf den Systemprozessoren laufende Software verändert werden. Es kann häufig sehr nützlich sein, die Überlappungsdefinition in diesen Tabellen mit einer bestimmten Art von virtueller Speicherabbildung zu verbinden, z. B. mit Seitenabbildung, Segmentabbildung oder Segment- und Seitenabbildung auf zwei Ebenen (Referenz: Baer, J., "Computer Systems Architecture", Computer Science Press, Rockville, MD, 1980), indem die herkömmlichen Inhalte dieser Tabellen erweitert werden, um ein Feld von mindestens einem Bit hinzuzufügen, das Informationen zur Überlappung und/oder Abbildung enthält. Dies wurde in dem hier beschriebenen bevorzugten Ausführungsbeispiel durchgeführt; es ist jedoch für diese Erfindung nicht erforderlich, da diese nur verlangt, daß das Vorhandensein und/oder das Ausmaß der Überlappung von jedem Prozessor gesteuert wird. Andere Mechanismen für dieses Verfahren beinhalten: Erweiterung des Befehlssatzes der Prozessoren, um überlappte und nicht überlappte Datenzugriffsbefehle zu erhalten; durch Erweiterung des Befehlssatzes oder der I/O-Befehlssteuerung Befehle zu erhalten, die die Überlappung für das Lesen von Daten und/oder Befehlen ein- oder ausschalten.

Beschreibung des Betriebs der M/I 24

Fig. 7 stellt den Betrieb der Abbildung/Überlappung M/I für den Fall dar, in dem sowohl Speicherabbildung als auch niedrigwertige wiederholte Abbildung vorhanden sind. Der obere Teil der Figur zeigt eine virtuelle Adresse, wie sie vom Prozessor erhalten und in VAR 242 gespeichert wird. Dies wird, wie dargestellt, in einen Segment- und/oder Seitenindex (S/P I) 244, ein Seiten- Offset (PO) 246 und ein Wort-Offset (WO) 248 unterteilt. Diese Felder verfügen über die herkömmlichen Bedeutungen in Speicherabbildungssystemen. Der WO, der anzeigt, auf welches Byte in einem adressierten Wort (oder Wort in einer größeren Minimaleinheit der Adressierung) zugegriffen wird, durchläuft den vollständigen Abbildungsprozeß unverändert (wie dargestellt) und wird daraufhin nicht mehr erwähnt.
Der S/P I wird im herkömmlichen Sinn als ein Index in den Speicherabbildungstabellen verwendet, wie dargestellt. Von den Speicherabbildungstabellen wird der reale Segment/Seiten-Offset (S/P O) auf herkömmliche Art durch Tabellenlesen abgeleitet, um, wie dargestellt, eine reale Adresse zu bilden. Einzigartig bei dieser Erfindung ist, daß das Tabellenlesen ein Überlappungsausmaß (dargestellt) hervorbringt, das mit jedem Segment und/oder jeder Seite verbunden ist, die in der Speicherabbildungstabellen angezeigt werden.
Nachdem die reale Adresse abgeleitet wurde, kann das wertniedrige Remap 252 verwendet werden, um eine wiederholt abgebildete Adresse in RAR 254 zu erzeugen. Dies kann ebenfalls als Teil der nachfolgend beschriebenen Rechtsdrehung mit veränderlicher Breite und veränderlichem Ausmaß verwendet oder ausgelassen werden, wobei die reale Adresse dann unverändert zur nächsten Stufe übermittelt wird. Das wertniedrige Remap arbeitet in einem Feld LR, um eine neues Adressenfeld LR' der gleichen Breite zu erzeugen, indem, wie dargestellt, der Rest der realen Adresse (Feld mit der Bezeichnung HR) verwendet wird. Die Breite von LR (und LR') kann ein beliebiger Wert zwischen zwei Extremen sein: der höchste Wert hat die gleiche Breite wie der Seiten-Offset (PO), der niedrigste Wert ist das maximal erlaubte Ausmaß der Überlappung; wenn z. B. die Breite N ist, beträgt die Höchstzahl der Speichermodule 2**N. Fig. 7 verdeutlicht dies an einem Zwischenpunkt zwischen diesen beiden Extremen. Der Zweck des wertniedrigen Remap ist es, auf aufeinanderfolgende Adressen, die in einem Teilsatz von Speichermodulen überlappt werden, beliebig zuzugreifen, z. B. Zugriff in verschiedenen Folgen. Dies verringert die Wahrscheinlichkeit, daß viele Prozessoren auf das gleiche Speichermodul gleichzeitig zugreifen, wenn die Datenstrukturen, auf die zugegriffen wird, einen Umfang haben, der ein ganzzahliges Vielfaches des Speicherausmaßes in einer überlappten Abtastung durch alle Speicher ist. Der Höchstumfang von LR ergibt sich aus der Tatsache, daß es erforderlich ist, die Seiten in zusammenhängend adressierten Blöcken zu adressieren; der Mindestumfang stellt das erforderliche Mindestmaß dar, um die oben beschriebene Funktion ausführen zu können. Das wertniedrige Remap ist eins-zu-eins, jeder mögliche Wert von LR muß z. B. in einem unterschiedlichen Wert von LR' abgebildet werden. Ein mögliches wertniedriges Remap sieht folgendermaßen aus: Die Bits von LR werden von rechts nach links LR0, LR1, . . . LRn bezeichnet; die Bits von HR und LR' tragen die vergleichbaren Bezeichnungen. Unter Verwendung von "xor" als der üblichen logischen Funktion Exklusiv-ODER stellt sich ein geeignetes wertniedriges Remap folgendermaßen dar: LR'0 = LR0 xor HR0; LR'1 = LR1 xor HR1; . . . LR'n = LRn xor HRn.
Die aktuelle Überlappungstransformation wird daraufhin durch eine Rechtsdrehung veränderlicher Größe auf einer Bitfeldeinrichtung 256 veränderlicher Breite durchgeführt, wobei die aktuelle absolute Adresse erzeugt wird, die verwendet wird, um auf die Speichermodule des Systems zuzugreifen. Dabei wird das zuvor abgeleitete Überlappungsausmaß verwendet und nach der erneuten Abbildung (falls diese vorgenommen wird) mit der realen Adresse gearbeitet, wobei das Wort-Offset (WO) ausgeschlossen wird. Die Breite des zu drehenden Feldes und das Ausmaß des Feldes, das zu drehen ist, werden durch das Überlappungsausmaß angezeigt. Das Verfahren der Rechtsdrehung ist folgendes: HS wird ähnlich wie LS oben bezeichnet. Bei einem gegebenen überlappungsausmaß Q beträgt die Breite des zu drehenden Feldes Hsq-1 durch LR0. Die Anzahl der Bitpositionen, um die das Feld gedreht wird, ist Q. Anstatt einer Rechtsdrehung veränderlicher Breite und veränderlichen Ausmaßes kann eine gewöhnliche bitweise Umdrehung der verbundenen HS-, CS- und LS-Felder bei Q verwendet werden. Das dargestellte Schema ermöglicht es jedoch, Systeme mit weniger als der Höchstzahl von Verarbeitungsknoten zu bauen, da es im absoluten Adressenreg 258 werthohe (am weitesten links) Os zurückhält, die in der wiederholt abgebildeten Adresse in RAR 254 auftreten. Eine gewöhnliche Drehung würde dies nicht ermöglichen und daher wird angesichts der Tatsache, daß alle möglichen Werte von LS erlaubt sein müssen, die Adressierung aller möglichen Knoten erzwungen.
In der absoluten Adresse bezeichnet das letzte HS'-Feld den Verarbeitungsknoten, dessen Speichermodul die Daten enthält, auf die zugegriffen wird (Knoten #); die verbundenen CS- und LS'-Felder geben den Offset in diesem Speichermodul an, in dem sich das Datenwort befindet (Speicher-Offset); das WO-Feld gibt an, welches Byte oder Unterwort gewünscht wird.
Wenn das Überlappungsausmaß 0 ist, sorgt die Rechtsdrehung veränderlicher Breite und veränderlichen Ausmaßes dafür, daß HS' gleich HS und LS' gleich LS ist. Damit ist die absolute Adresse gleich wie die wiederholt abgebildete Adresse und somit wird die direkte sequentielle Adressierung ermöglicht. Damit ist die oben beschriebene sequentielle Adressierung erreicht. Entsprechende Werte in den Speicherabbildungstabellen ermöglichen es, daß dies der lokale Speicher für den Knoten ist, der die Adressen erzeugt, oder ein Speicher, der vollständig in anderen Knoten enthalten ist (letztere sind nützlich für die Meldungsübermittlung und andere Operationen).
Es ist festzuhalten, daß bei einer geringeren als der maximal möglichen Überlappung die Prozessoren, über die der globale Speicher zugeordnet wird, erheblich einschränkt werden. Dies kann auf verschiedene Arten verwendet werden, z. B.: (a) es wird dem System ermöglicht, weiter zu arbeiten, jedoch in einem eingeschränkten Modus, wenn einige der Speichermodule aufgrund ihrer Funktionsuntüchtigkeit, einer Netzstörung, usw. nicht betriebsbereit sind; (b) das System wird entsprechend aufgeteilt, so daß die Teile ihre eigene globale und lokale Speicherzuordnung, unabhängig von anderen Teilen, erhalten, wodurch gegenseitige Störungen zwischen den Teilen vermieden werden --- oder mehrere unabhängige Probleme oder ein gut untergliedertes einzelnes Problem kommt zum Ablauf.
Die oben beschriebene Einrichtung kann mit oder ohne privaten Cache-Speicher 26 funktionieren. Der Cache kann wie in Fig. 2 gezeigt, oder zwischen dem Prozessor und NI positioniert werden. Die Funktion dieses Cache-Speichers ist es, die Speicherzugriffszeit für die Speicherzugriffe zu verringern, die zeitlich wiederholt oder bei zusammenhängenden Speicheradressen auftreten. Damit die Cache-Kohärenz in einer Multiprozessorkonfiguration gewahrt bleibt, ist es erforderlich, daß dieser Cache über eine zusätzliche Fähigkeit verfügt, die normalerweise nicht in einem Uniprozessor-Cache implementiert ist. Wenn beispielsweise ein Prozessor eine Speicherstelle zu ungefähr der gleichen Zeit lesen kann, wie ein anderer Prozessor auf die gleiche Stelle schreibt, ist es erforderlich, daß keiner der Prozessoren die Speicherbezüge in seinem eigenen Cache erfüllt. Diese zusätzliche Fähigkeit kann mit zahlreichen unterschiedlichen Mitteln erreicht werden, wie z. B. Querabfragen zwischen verschiedenen Cache-Speichern oder durch Anzeigen von bestimmten Speicherstellen, die nicht cachable sind. Ein solches Cache-Schema (oder überhaupt keines) kann in diesem Kontext angewandt werden.
Die oben beschriebene Einrichtung beinhaltet eine Netzspeicherschnittstelle (NSI) 28, deren Betrieb in Fig. 8 dargestellt wird. Die Routing-Funktionen dieser Einheit (wie unten beschrieben) sind für das einwandfreie Funktionieren dieser Einrichtung notwendig. Eine beliebige Hardware-Konfiguration, die einen vergleichbaren kohärenten Satz von Routing-Funktionen für Meldungen hat, kann statt dessen verwendet werden; eine solche Implentierung ist für den Fachmann einfach und unkompliziert. Eine solche Einheit ist mit jedem Prozessorknoten verbunden, wie dies in Fig. 2 dargestellt ist. Die Funktion dieser Einheit ist es, Meldungen zwischen den zugeordneten Prozessoren, dem zugeordneten Speicher-Controller und anderen Prozessorknoten im Netz weiterzuleiten. Die gesendeten Meldungstypen umfassen, sind jedoch nicht beschränkt auf
Vom lokalen Prozessor ausgegebene Ladeanforderungen.
Vom lokalen Prozessor ausgegebene Speicheranforderungen.
Vom lokalen Cache ausgegebene Cache-line Ladeanforderungen, die von Cache-Auslassungen auf Speicheranforderungen des lokalen Prozessors kommen.
Vom lokalen Cache ausgegebene Cache-line Speicheranforderungen, die von Cache-Auslassungen auf Speicheranforderungen des lokalen Prozessors kommen.
Antworten auf Speicherladung oder Speicheranforderungen durch den lokalen Prozessor und/oder Cache.
Lade- oder Speicheranforderungen, die von anderen Prozessoren oder Caches kommen und die Bezug auf Speicherstellen nehmen, die im Speicher des lokalen Prozessorknotens enthalten sind.
Antworten auf Speicheranforderungen, die von anderen Prozessoren oder Caches kommen und vom Speicher des lokalen Prozessorknotens erwidert werden.
Meldungen von einem lokalen Prozessor zu einem Fernprozessor oder von Fernprozessorknoten zum lokalen Prozessor.
Synchronisationsanforderungen (wie z . B. Test-and-set, usw.), die vom lokalen Prozessor kommen und im lokalen Speicher oder bei Fernspeicherstellen ausgeführt werden.
Antworten auf Synchronisationsanforderungen.
Sämtliche Meldungen müssen ausreichende Informationen enthalten, um den Meldungstyp feststellen zu können.
Des weiteren müssen alle Meldungen, die an der NSI 28 ankommen, ausreichend Informationen enthalten, um festzustellen, ob die Meldung zum lokalen Prozessor/Cache 26, zum lokalen Speicher 30 oder zum Verbindungsnetz 10 weitergeleitet werden. Im Fall von Speicheranforderungen durch einen Prozessor oder Cache sind diese Informationen im Feld der Speicheradresse "Knoten #" enthalten. Stimmt der Wert des Feldes "Knoten #" mit der Zahl des lokalen Knotens überein, werden diese Anforderungen zum lokalen Speicher 30 weitergeleitet; andernfalls werden sie zum Verbindungsnetz 10 weitergeleitet. Das oben beschriebene Speicherabbildungsschema stellt sicher, daß die angeforderte Überlappung dabei durchgeführt wird. Ebenso werden Antworten auf Speicheranforderungen entweder zum lokalen Prozessor 22 oder zum Verbindungsnetz 10 weitergeleitet, so als ob zum Prozessorknoten zurückgekehrt werden würde, von dem die Meldung kommt. Andere Meldungen müssen ebenfalls die Felder "Knoten #" und die Identifizierungscodes der Meldungstypen enthalten, die solche Meldungen eindeutig identifizieren, um diese dann über NSI 28 ohne Probleme weiterleiten zu können. Die NSI ist in der Lage, Meldungen von einer der drei Quellen zu den anderen beiden Ausgabestellen weiterzuleiten und zwar auf der Grundlage der Informationen, die in Feldern in den Meldungen enthalten sind. Die in der Figur dargestellten Einrichtungen arbeiten folgendermaßen, um das Routing durchzuführen:
Der PE Router (PE TRE) 282 erhält Meldungen vom PE 22. Gibt die "Knoten #" den aktuellen Knoten an, sendet der PE RTE 282 die Meldung über den lokalen Speicherkonzentrator (LM CON) 284 zum lokalen Speicher 30; andernfalls sendet er die Meldungen über den Netzkonzentrator (NET CON) 286 zum Netz.
Der lokale Speicher-Router (LM RTE) 288 erhält Meldungsantworten vom lokalen Speicher 30. Gibt die "Knoten #" den aktuellen Knoten an, sendet der LM RTE 288 Meldungen über den PE-Konzentrator (PE CON) 290 zum lokalen PE 22; andernfalls sendet er die Meldungen über den Netzkonzentrator (NET CON) 286 zum Netz.
Der Netz-Router (NET RTE) 292 erhält Meldungen vom Netz und aufgrund des Typs jeder Meldung legt er fest, ob es sich (a) um eine Anforderung von einem anderen Prozessor zum Zugriff auf ein lokales Speichermodul handelt; oder (b) um eine Antwort von einem andern Knoten, der Informationen enthält, die vom aktuellen Knoten des lokalen Speichers eines anderen Knotens angefordert wurden. Im Fall (a) wird die Meldung über den LM CON 284 zum lokalen Speicher gesendet; andernfalls wird sie über den PE CON 290 zum lokalen PE 22 gesendet.
Der Netzkonzentrator 286 erhält Meldungen (entweder Anforderungen oder Antworten) entweder von PE über den PE RTE 282, oder von LM 30 über den LM RTE 288. Er sendet beide zum Netz 10 zur Weiterleitung zu einem andern Knoten auf der Grundlage der "Knoten #" der Meldung.
Der PE-Konzentrator 290 erhält Meldungsantworten entweder vom lokalen Speicher 30 über den LM RTE 288 oder zum Netz 10 über NET RTE 292. Er sendet sie PE 22 (und/oder zum Cache 26).
Der lokale Speicherkonzentrator 284 erhält Meldungsanforderungen entweder vom lokalen PE 22 über den PE RTE 282 oder vom Netz 10 über NET RTE 292. Er sendet sie zum lokalen Speicher 30.
Zusätzlich zu den Pfaden für die Datenübertragung müssen die oben erwähnten Router und Konzentratoren Kontrollinformationen übertragen, die angeben, wann die Daten gültig sind (vom Router zum Mul), und wann die Daten angenommen werden (vom Konzentrator zum Router).
Ein Speicher mit zwei Anschlüssen kann anstelle der LM RTE 288- und LM CON 284-Einrichtungen verwendet werden.

Claims

1. Datenverarbeitungseinrichtung mit einer Mehrzahl von Verarbeitungsknoten (20), die über ein Nachrichtennetz (10) verbunden sind, wobei jeder Knoten einen Prozessor (22) und eine Speichereinrichtung (30) aufweist, das Nachrichtennetz eingerichtet ist, um es jedem Prozessor zu ermöglichen, irgendeine Speichereinrichtung in irgendeinem Knoten zu adressieren, jeder Knoten auch Abbildungsmittel aufweist, um eine Umwandlung virtueller, von dem zugeordneten Prozessor erzeugter Adressen in reale Adressen durchzuführen und die Einrichtung durch folgendes gekennzeichnet ist:

ein Mittel zum dynamischen Aufteilen des Gesamtspeichers der Einrichtung, wie durch alle Speichereinrichtungen repräsentiert, in einen globalen Speicher, auf den von einer Mehrzahl der Prozessoren zugegriffen werden kann und in einen lokalen Speicher, auf den von einzelnen Prozessoren zugegriffen werden kann,

wobei das Aufteilungsmittel folgendes aufweist: eine Steuerungstabelle in jedem der Abbildungsmittel, die Überlappungsdaten enthält, die anzeigen, ob sich die erzeugte reale Adresse in einem lokalen oder in einem globalen Speicher befindet und einen Adressenwandler (256), der von den Überlappungsdaten gesteuert wird, um vorbestimmte Felder der realen Adresse, wie durch die Überlappungsdaten angegeben zu behandeln, um durch Durchführen einer Überlappungstransformation eine absolute Adresse zu erzeugen, damit eine Seite eines realen Speichers entweder in einen sequentiellen Block von Adressen, die vollständig innerhalb eines Knotens als ein lokaler Speicher enthalten ist oder in einen Block von Adressen umgewandelt wird, der über mehrere Knotenspeichereinrichtungen als globaler Speicher verteilt ist.

2. Datenverarbeitungseinrichtung nach Anspruch 1, bei welcher das Aufteilungsmittel auf Eingaben aus den Prozessoren anspricht und im Betrieb bewirkt, daß die Prozessoren gemeinsam die relativen Größen oder den Umfang des globalen und des lokalen Speichers bestimmen und bewirkt, daß jeder einzelne Prozessor bestimmt, zumindest wenn eine Speicherbezugsanforderung zum Eingeben einer Größe in einen Speicher im Betrieb des Prozessors erlangt wird, ob die Größe in den globalen oder in den lokalen Speicher eingegeben wurde.

3. Datenverarbeitungseinrichtung nach Anspruch 1 oder Anspruch 2, bei welcher jede der Eintragungen in den Steuerungstabellen ein Feld enthält, welches die Anzahl anderer Knotenadressen, die Null sein kann, angibt, die Stellen enthalten, die zu der gewünschten Seite beitragen, wobei die Abbildungsmittel, wenn die Anzahl eine andere ist als Null, die Knotenadresse entsprechend der Anzahl zyklisch ändern, wodurch die Stellen einer verteilten Seite über eine entsprechende Mehrzahl von Speichereinrichtungen in anderen Verarbeitungsknoten überlappt sind.

4. Datenverarbeitungseinrichtung nach Anspruch 3, bei welcher das Feld auch die Art einer zyklischen Änderung von Knotenadressen angibt.

5. Datenverarbeitungseinrichtung nach Anspruch 3 oder Anspruch 4, bei welcher die Anzahl eine Potenz von 2 beträgt, welche die Anzahl von Verarbeitungsknoten nicht übersteigt, die mit dem Nachrichtennetz aktuell verbunden sind.

6. Datenverarbeitungseinrichtung nach Anspruch 5, bei welcher die absolute Adresse durch Durchführen einer Rechtsdrehung eines Adreßfeldes veränderlicher Breite in veränderlichem Ausmaß innerhalb des Adressenwandlers erzeugt wird, welches der realen Adresse entspricht.

7. Datenverarbeitungseinrichtung nach irgendeinem vorgehenden Anspruch, bei welcher jeder Knoten über einen lokalen Anschluß mit dem Nachrichtennetz verbunden ist und jeder Knoten einen Schnittstellenmechanismus enthält, der eine unabhängige zweiseitig gerichtete Verbindung zwischen dem Prozessor und der Speichereinrichtung, der Speichereinrichtung und dem lokalen Anschluß und dem lokalen Anschluß und dem Prozessor liefert.

8. Datenverarbeitungseinrichtung nach irgendeinem vorgehenden Anspruch, die ferner Mittel zum wiederholten Abbilden einer überlappenden Abtastung über Speichereinrichtungen aufweist, um verschiedene Folgen für einen Speichereinrichtungszugriff für verschiedene aufeinanderfolgende überlappende Abtastungen zu liefern.

9. Verfahren zum Betreiben einer Datenverarbeitungseinrichtung mit einer Mehrzahl von Verarbeitungsknoten (20), die über ein Nachrichtennetz (10) verbunden sind, wobei jeder Knoten einen Prozessor (22) und eine Speichereinrichtung (30) aufweist, das Nachrichtennetz eingerichtet ist, um es jedem Prozessor zu ermöglichen, irgendeine Speichereinrichtung in irgendeinem Knoten zu adressieren, jeder Knoten auch Abbildungsmittel aufweist, um eine Umwandlung virtueller, von dem zugeordneten Prozessor erzeugter Adressen in reale Adressen durchzuführen und das Verfahren dadurch gekennzeichnet ist, daß

der Gesamtspeicher der Einrichtung, wie durch alle Speichereinrichtungen repräsentiert, in einen globalen Speicher, auf den von einer Mehrzahl der Prozessoren zugegriffen werden kann und in einen lokalen Speicher, auf den von einzelnen Prozessoren zugegriffen werden kann, durch die folgenden Schritte dynamisch aufgeteilt werden kann:

Aufnehmen einer Steuerungstabelle in jedes der Abbildungsmittel, die Überlappungsdaten enthält, die anzeigen, ob sich die erzeugte reale Adresse in einem lokalen oder in einem globalen Speicher befindet,

Behandeln vorbestimmter Felder der realen Adresse, wie durch die Überlappungsdaten angegeben, um durch Durchführen einer Überlappungstransformation eine absolute Adresse zu erzeugen, damit eine Seite eines realen Speichers entweder in einen sequentiellen Block von Adressen, die vollständig innerhalb eines Knotens als ein lokaler Speicher enthalten ist oder in einen Block von Adressen umgewandelt wird, der über mehrere Knotenspeichereinrichtungen als globale Speicher verteilt sind.

10. Verfahren nach Anspruch 9, bei welchem der Schritt des dynamischen Aufteilens des Gesamtspeichers auf Eingaben aus den Prozessoren antwortet und beim Anwenden bewirkt, daß die Prozessoren gemeinsam die relativen Größen oder den Umfang des globalen und des lokalen Speichers bestimmen und bewirkt, daß jeder einzelne Prozessor bestimmt, zumindest wenn eine Speicherbezugsanforderung zum Eingeben einer Größe in einen Speicher im Betrieb des Prozessors erlangt wird, ob die Größe in den globalen oder in den lokalen Speicher eingegeben wurde.

11. Verfahren nach Anspruch 9 oder 10, das ferner den folgenden Schritt umfaßt: Eintragen eines Feldes in die Steuerungstabellen, welches die Anzahl anderer Knotenadressen, die Null sein kann, angibt, die Stellen enthalten, die zu der gewünschten Seite beitragen, wobei das Abbildungsmittel auf dieses Feld so anspricht, daß das Abbildungsmittel die Knotenadresse entsprechend der Anzahl zyklisch ändert, wenn die Anzahl eine andere ist als Null, wodurch die Stellen einer verteilten Seite über eine entsprechende Mehrzahl von Speichereinrichtungen in anderen Verarbeitungsknoten überlappt sind.

12. Verfahren nach Anspruch 11, bei welchem das Feld auch die Art einer zyklischen Änderung von Knotenadressen angibt.

13. Verfahren nach Anspruch 11 oder 12, bei welchem die Anzahl eine Potenz von 2 beträgt, welche die Anzahl von Verarbeitungsknoten nicht übersteigt, die mit dem Nachrichtennetz aktuell verbunden sind.

14. Verfahren nach Anspruch 13, bei welchem die absolute Adresse durch Durchführen einer Rechtsdrehung eines Adreßfeldes veränderlicher Breite in veränderlichem Ausmaß innerhalb des Adressenwandlers erzeugt wird, welches der realen Adresse entspricht.

15. Verfahren nach irgendeinem der Ansprüche 9 bis 14, das ferner die folgenden Schritte umfaßt:

Verbinden jedes Knotens über einen lokalen Anschluß mit dem Nachrichtennetz und

Versehen jedes Knotens mit einem Schnittstellenmechanismus, der eine unabhängige zweiseitig gerichtete Verbindung zwischen dem Prozessor und der Speichereinrichtung, der Speichereinrichtung und dem lokalen Anschluß und dem lokalen Anschluß und dem Prozessor liefert.

16. Verfahren nach irgendeinem der Ansprüche 9 bis 15, das ferner den folgenden Schritt umfaßt: wiederholtes Abbilden einer überlappenden Abtastung über Speichereinrichtungen, um verschiedene Folgen für einen Speichereinrichtungszugriff für verschiedene aufeinanderfolgende überlappende Abtastungen zu liefern.

17. Verfahren nach irgendeinem der Ansprüche 9 bis 16, welches den folgenden Schritt umfaßt: Zuordnen eines Speichers auf Seitenrändern und dynamisches Zuordnen eines Speichers auf veränderlichen Segmenträndern.