DE19623668C1 - Anordnung in Mehrprozessor-Datenverarbeitungsgeräten mit einem Interventionen umfassenden Kohärenzprotokoll für Pufferspeicher und Betriebsverfahren hierzu - Google Patents

Description

Technisches Gebiet

Die Anordnung und das Verfahren betreffen die Organisa­ tion von Mehrprozessorsystemen mit einem mehreren Moduln gemeinsamen Systembus und zu den Moduln lokalen Bussyste­ men.

Stand der Technik

Zur Verbesserung der Systemleistung besitzen Mehrprozes­ sorsysteme Pufferspeicher an jedem Prozessor, üblicherwei­ se als "Cache" bezeichnet. Zur Vereinfachung der Program­ mierung wird durch verschiedene, beispielsweise in Buch "Computer Architecture - A Quantitative Approach" von J. L. Hennessy und D.A. Patterson, San Franzisco 1995, beschrie­ bene und als Cache-Kohärenz bezeichnete Maßnahmen sicher­ gestellt, daß trotz der Datenkopien in den Pufferspeichern ein jederzeit einheitlicher, konsistenter Zugriff auf den gesamten Speicher des Mehrprozessorsystems erreicht wird.

In solchen, weiter unten ausführlicher dargestellten Mehr­ prozessorsystemen mit einer Hierarchie von Bussystemen, wie sie auch in dem Artikel "Scalable Shared-Memory Multi­ processor Architecture" von Sh. Thakkar, IEEE Computer, Juni 1990, Seite 71 . . . 74, beschrieben sind, sind zusätzli­ che Zwischenspeicher (Register) für einzelne Cache-Zeilen sinnvoll, die jedoch wiederum in Konflikt mit den Cache-Inhalten treten können. Insbesondere der Fall, daß Daten in einem Schreibregister wie Daten aus einem Interventi­ onsregister auf den Systembus übertragen werden müssen, verlangt den entsprechenden Schaltungsaufwand für beide Re­ gister.

Aufgabe der Erfindung ist es, den Aufwand für die Behand­ lung von solchen Konflikten zu reduzieren.

Diese Aufgabe wird durch die Anordnung nach dem Patentanspruch 1 und das Betriebsverfahren nach dem Patentanspruch 2 gelöst. Dadurch wird der Aufwand reduziert, indem das Schreib-Register die Daten in der gleichen Art über den lokalen Bus an das Interventionsregister liefert wie die Prozessoren, so daß aus Sicht des Interventionsregisters kein Unterschied sichtbar ist.

Kurzbeschreibung der Zeichnungen

Es zeigen

Fig. 1 ein modulares Mehrprozessor-Rechensystem mit zwei Buskopplern und

Fig. 2 Interventions-, Schreib- und Lese-Register aus einem der Buskoppler.

Detaillierte Beschreibung eines Ausführungsbeispiels

Fig. 1 zeigt ein modulares Mehrprozessor-System mit einem Systembus 10, mehreren Prozessor-Moduln 13a, 13c und einem von mehreren möglichen Speichermoduln 11 sowie sonstigen Moduln am Systembus, beispielsweise einem E/A-Modul 12.

Jeder Prozessor-Modul 13a, 13c enthält einen zu dem Modul lokales Bussystem 14a, 14c, an welches ein oder mehrere Prozessoren 16a . . . d über Pufferspeicher 17a . . . d angeschlos­ sen sind. Dieser Anschluß ist in funktionaler Form als Se­ rienschaltung von Pufferspeicher 17a . . . d und Prozessor 16a . . . d dargestellt, ohne daß hierdurch die tatsächliche Implementierung beschränkt werden soll. Zwischen dem loka­ len Bus 14a, 14c und dem Systembus 10 befindet sich auf jedem Modul ein Buskoppler 15a, 15c, welcher die Signal­ protokolle umsetzt und insbesondere die Protokolle für den Erhalt der Cache-Kohärenz durchführt.

Hierzu werden gewöhnlich, wie in Fig. 2 angedeutet, drei Zwischenregister, nämlich das Interventionsregister 21, das Schreibregister 22 und das Leseregister 23 verwendet. Das Leseregister 23 wird benutzt, wenn z. B. der Prozessor 16a ein Datenwort anfordert, welches nicht in seinem Cache 17a (und auch nicht im benachbarten Cache 17b am selben lokalen Bus 14a) vorhanden ist. Die entsprechende Cache-Line, die das Datenwort enthält, wird dann von dem Koppler 15a auf dem Systembus 10 angefordert und beim Eintreffen zunächst im Leseregister 23 zwischengespeichert, um danach mittels des internen Bus 14a an den anfordernden Cache 17a übertragen zu werden.

Sofern eine Cache-Line in dem Cache 17a verdrängt wird und über den Systembus 10 in den Hauptspeicher 11 zurückge­ schrieben werden muß, wird diese zunächst in dem Schreib­ register 22 zwischengespeichert und sodann über den Systembus 10 übertragen.

Abgesehen von sehr einfachen Kohärenz-Protokollen ist die Möglichkeit vorgesehen, daß die einzige gültige Kopie ei­ ner Cache-Line sich in einem der Cache-Speicher, z. B. 17a, befindet und nicht im Hauptspeicher 11. Fordert ein Pro­ zessor, z. B. 16c in dem Modul 13c, ein Datum aus einer Cache-Line im Modul 13a an, so übernimmt der Modul 13a den Datentransfer auf dem Systembus 10 anstelle des Hauptspei­ chers 11. Dieses wird als "Intervention" bezeichnet. Hier­ bei werden bevorzugt Protokolle auf dem Systembus verwen­ det, bei denen zwischen der Adreßphase und zugehöriger Datenphase andere Adreß- oder Datenphasen eingeschoben werden können. In Reaktion auf eine notwendige Interventi­ on wird daher die Cache-Line zunächst in das Interventi­ onsregister 21 mittels des internen Bus 14a übertragen und daraufhin mittels der zu der auslösenden Adreßphase gehö­ rigen Datenphase auf dem Systembus 10 an den Empfänger übermittelt.

Die Register 21, 22 und 23 sind gewöhnlich schon deshalb notwendig, weil der interne Bus 14a und der Systembus 10 unterschiedlich aufgebaut sind. Insbesondere kann der in­ terne Bus 14a durchaus eine Cache-Line von 64 Byte gleich­ zeitig übertragen, weil ein interner Bus von 512 Leitungen auf einer in Multilayer-Technik ausgeführten Leiterplatte technisch beherrschbar ist. Für einen Systembus mit steck­ baren Moduln sind geringere Datenbreiten, z. B. 64 Bit, üb­ lich. Insbesondere ist meist auf dem Systembus nur eine geringere Geschwindigkeit möglich, weil diese nicht nur durch die schlechten elektrischen Eigenschaften der Stec­ ker, sondern auch durch die durch die Größe der Rückwand bestimmten relativ langen Leitungen begrenzt ist. Um da­ her bei vorgegebener Frequenz auf der Rückwand die Fre­ quenz auf dem internen Bus frei wählen zu können, ist eine Entkopplung der Bussysteme über Register zweckmäßig. Beim Übertragen der Daten von den Registern auf den Systembus oder umgekehrt findet also beispielsweise eine Umwandlung von Raum- nach Zeitmultiplex oder umgekehrt statt. Hierbei wird auch eine Cache-Line als Block und insbesondere die auf dem Systembus parallel übertragbare Datenmenge als Subblock bezeichnet.

Um bei einer von einem Cache bewirkten Datenanforderung die Wartezeit bis zum Eintreffen des zuerst benötigten Da­ tenwortes aus einer Cache-Line zu reduzieren, wird dabei eine Subblock-Vertauschung benutzt. Hierbei wird der Sub­ block nicht in der Reihenfolge aufsteigender Adressen der Datenworte übertragen, sondern beginnend mit dem jeweils angeforderten Datenwort, welches auch in der Mitte eines Blocks liegen kann. Derart adreß-vertauschte Subblöcke können in dem Interventions-Register 21 und im Leseregi­ ster 23 erscheinen, jedoch nicht im Schreibregister, des­ sen Übertragung in den Hauptspeicher ja eine Ablage­ operation ist, die in beliebiger, als auch in kanonischer Reihenfolge, erfolgen kann.

Durch die Einführung eines lokalen Busses 14a, 14c entste­ hen zusätzliche Konfliktfälle bei der Cache-Kohärenz. Ins­ besondere kann der Fall eintreten, daß durch eine Verdrän­ gung in dem Cache 17a dieser bzw. sein Prozessor 16a eine Cache-Line über den internen Bus 14a, 14c ausgegeben hat mit dem Ziel, diese Cache-Line in den Hauptspeicher 11 zu­ rückzuschreiben. Mit Ende der Übertragung auf dem internen Bus 14a ist damit nur die Kopie in dem Schreib-Puffer 22 die einzig gültige im System. (Andernfalls hätte das Kohä­ renz-Protokoll gar kein Zurückschreiben in den Hauptspei­ cher bestimmt.) Der Koppler 15a versucht also, den System­ bus mit einem entsprechenden Adreßzyklus zu belegen, um den Inhalt des Schreib-Registers mittels des Systembus 10 in den Hauptspeicher 11 zu übertragen. Bevor dieses ge­ lingt, kann jedoch ein anderer Prozessor Daten aus genau dieser Cache-Line anfordern, die daher aus dem Write-Puffer 22 erfüllt werden müssen. Die Schaltung des Kopp­ lers ist jedoch darauf ausgelegt, derartige Anfragen aus dem Intervention-Register 21 zu erfüllen. Abgesehen von der wenig effizienten Lösung, die Anfrage abzubrechen in der Hoffnung, daß bis zur ihrer Wiederholung die Schrei­ boperation erfolgt sein könnte, müssen also die Daten aus dem Write-Puffer auf den Systembus 10 übertragen werden. Dies scheint auf den ersten Blick problemlos möglich zu sein, da der Write-Puffer 22 ohnehin eine Datenverbindung 24 zum Systembus hat.

In der praktischen Durchführung stellt sich jedoch ein Problem insofern heraus, als die Daten in dem Schreibre­ gister nunmehr mit Subblock-Vertauschung auf den Systembus gegeben werden müssen, obwohl dies beim Schreiben nicht notwendig wäre. Das Schreibregister müßte also um einen Multiplexer erweitert werden, der die gewünschte Subblock-Vertauschung bei der Übertragung auf den Systembus bewir­ ken kann.

Die Erfindung benutzt die Beobachtung, daß das Inter­ ventions-Register 21 diese Einrichtung bereits besitzt und fernerhin meistens nicht belegt ist. Daher wird ein zu­ sätzlicher Datenpfad 25 vom Schreibregister zum internen Bus 14a eingeführt und der Inhalt des Schreibregisters mittels des internen Busses in das Intervention-Register und von dort mit richtiger Subblock-Vertauschung auf den Systembus übertragen.

Obwohl diese Lösung auf den ersten Blick ungünstig und aufwendig erscheint, hat sie sich als sehr einfach durch­ führbar und effizient herausgestellt. Eine Intervention, bei der sich die Daten im Schreibregister statt in einem Cache 17a . . . d befinden, bleibt in der gesamten Steuerung des Intervention-Registers 21 unverändert und reduziert damit in wesentlichem Umfang die Komplexität der Steuerung gegenüber den bisherigen Lösungen. Es muß lediglich die zu­ sätzliche Datenverbindung 25 anstelle des bezogenen Cache 17a . . . d aktiviert werden, um die Daten auf den internen Bus zu legen. Dabei ist zu beachten, daß bei einer Interventi­ on ein Cache 17a . . . d ohnehin die Daten als vollständige Cache-Line auf den internen Bus legt. Dieser neue Daten­ pfad 25 ist weniger aufwendig als ein Multiplexer, der die Daten in veränderter Reihenfolge auf den Systembus legt, und wird durch den Gewinn wegen des geringeren Steuerungs­ aufwands mehr als aufgewogen. Da der Systembus durch die geringere Bandbreite in der Regel mehr Datenzyklen benö­ tigt als der interne Bus, um eine gesamte Cache-Line zu übertragen, wirkt sich der Umweg über den internen Bus nicht wesentlich verzögernd aus. Fernerhin ist das Schrei­ bregister durch die Übertragung ins Intervention-Register wieder frei geworden.

Der Hauptspeicher 11 ist in der Beschreibung als eine lo­ gische Einheit dargestellt. Er kann durch einen oder meh­ rere an den Systembus angeschlossene Speichermoduln reali­ siert sein. Alternativ oder zusätzlich kann auch auf den Prozessor-Moduln 13a, 13c Speicher vorhanden sein, der sich aus Sicht der jeweils anderen Moduln wie ein eigen­ ständiger Speicher 11 verhält.

Auch kann eine Erweiterung dahingehend stattfinden, daß mehrere Interventionsregister oder mehrere Interventions­ register vorhanden sind und die Steuerung dadurch eine zu­ sätzliche Parallelarbeit erlaubt, indem ein weiteres In­ terventionsregister über den internen Bus gefüllt wird, während das erste noch seine Daten über den Systembus überträgt.

Claims (4)

1. Anordnung in Mehrprozessor-Datenverarbeitungsgeräten mit einem Interventionen umfassenden Kohärenzprotokoll für Pufferspeicher (Cache, 17a . . . d) und den Merkmalen:

• - ein Buskoppler (15a, 15c) verbindet einen Systembus (10) mit mindestens einem lokalen Bus (14a, 14c), an den Prozessoren (16a . . . d) mit Pufferzeilen enthalten­ den Pufferspeichern (17a . . . d) angeschlossen sind,
• - der Buskoppler (15a, 15c) umfaßt Einrichtungen, die das Kohärenzprotokoll von dem Systembus (10) auf den lokalen Bus (14a, 14c) abbilden und die je minde­ stens ein Interventionsregister (21) und mindestens ein Schreibregister (22) für Pufferzeilen enthal­ ten, welche jeweils mit dem lokalen Bus (16a . . . d) le­ send und dem Systembus (10) schreibend verbunden sind,

dadurch gekennzeichnet, daß

• - das Schreibregister (22) zusätzlich mit dem lokalen Bus (14a, 14c) derart verbunden ist, daß der Inhalt des Schreibregisters (22) bei einer den Inhalt des Schreibregisters betreffenden Intervention in das Interventionsregister (21) übertragbar ist.

2. Betriebsverfahren für ein Interventionen umfassendes Kohärenzprotokoll für Pufferspeicher (Cache, 17a . . . d) in Mehrprozessor-Datenverarbeitungsgeräten, mit den Merkmalen:

• - ein Buskoppler (15a, 15c) bildet das Kohärenzproto­ koll auf einem Systembus (10) auf einen lokalen Bus (14a, 14c) ab, an den Prozessoren (16a . . . c) mit Puf­ ferzeilen enthaltenden Pufferspeichern (17a . . . d) an­ geschlossen sind,
• - der Buskoppler (15a, 15c) enthält ein Interventions­ register (21), in das Pufferzeilen auf Veranlassung des Buskopplers (15a, 15c) von einem Pufferspeicher (17a . . . c) über den lokalen Bus (14a, 14c) übertragen und sodann auf den Systembus (10) übertragen werden,
• - der Buskoppler (15a, 15c) enthält ein Schreibregi­ ster (22), in welches ein Pufferspeicher (17a . . . c) auf Veranlassung seines Prozessors (16a . . . c) eine Pufferzeile schreibt mit der Bestimmung, über den Systembus (10) in den Hauptspeicher übertragen zu wer­ den,

dadurch gekennzeichnet, daß

• - in dem Fall, daß über den Systembus eine Pufferzeile angefordert wird, welche sich in dem Schreibregister (22) befindet, diese aus dem Schreibregister (22) über den lokalen Bus (14a, 14c) in das Interventi­ onsregister (21) übertragen wird.