DE4309148A1 - Disk-Array mit Lastverteilung - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Realisierung von Hochverfügbarkeits-Plattenspeichern durch redundante Kombination von einzelnen Laufwerken in herkömmlichen Rechenanlagen.

Zur Erhöhung der Verfügbarkeit von Sekundärspeichern, ins­ besondere von Plattenspeichern durch Zusammenschalten von handelsüblichen Plattenlaufwerken sind verschiedene Anord­ nungen und Verfahren bekannt, die in der Druckschrift: "A case for redundant arrays ofinexpensive disks" von D.A. Patterson, G. Gibson und R.H. Katz, SIGMOD Record vol. 17 no. 3 p. 109-116, September 1988 beschrieben sind und durch die Acronyme RAID-1 bis RAID-5 bezeichnet werden.

Die vorliegende Erfindung betrifft das RAID-5 Verfahren. Hierbei wird vorausgesetzt, daß in den einzelnen Plattenlaufwerken defekte oder verfälschte Datenblöcke durch bekannte Maßnahmen, beispielsweise durch fehlerkorrigierende Codes, erkannt werden, so daß ein Datenblock entweder kor­ rekt oder als defekt gekennzeichnet ist. Zur Kombination von n Laufwerken müssen diese die gleiche Anzahl und Größe von Datenblöcken aufweisen, so daß es auf jedem Laufwerk je einen Datenblock einer gegebenen Ordnungsnummer gibt. Alle Datenblöcke gleicher Ordnungsnummer bilden eine Blockgruppe. n-1 Blöcke einer Blockgruppe sind Datenblöcke, über deren Inhalt eine Parity-Information gebildet wird, die als Redun­ danzdatum auf den n-ten Datenblock der Gruppe geschrieben wird. Dabei sind die Parity-Blöcke nicht notwendigerweise einem Laufwerk fest zugeordnet, sondern können etwa gleich­ mäßig auf alle Laufwerke verteilt werden. Durch geeignete Wahl der die Parityinformation bildenden Funktion, üblicher­ weise eines XOR, kann bei Änderung eines Datenblocks die neue Parity-Information aus den alten und neuen Daten sowie der alten Parity-Information berechnet werden, so daß kein Zugriff auf die anderen Datenblöcke einer Blockgruppe not­ wendig ist. Fällt ein Datenblock aus, beispielsweise durch Ausfall eines Laufwerks, so kann er durch die Redundanz­ information und die restlichen Datenblöcke der Blockgruppe rekonstruiert werden.

Wendet man das RAID-5 Verfahren in herkömmlichen Rechen­ anlagen an, so stellt sich, wie von Jeff Moad in dem Artikel "Relief for Slow Storage Systems" in der Zeitschrift DATAMATION vom 1. September 1990 (Seite 25, rechte Spalte oben) beschrieben wird, ein Effizienzproblem dadurch, daß für eine logische Schreiboperation zwei physikalische Lese- und zwei Schreiboperationen notwendig sind, weil die Zentraleinheit zunächst die alten Daten liest, die Parity- Änderung von alten zu neuen Daten berechnet, die neuen Daten schreibt, die alte Parity-Information liest, die Parity- Änderung anwendet und die neue Parity-Information schreibt. Erst nach Abschluß dieser vier I/O-Befehle ist der Schreib­ vorgang für das Anwendungsprogramm abgeschlossen. Es ergibt sich für die Zentraleinheit ein Bearbeitungsaufwand und ein vierfach gesteigertes Datenvolumen auf der Schnittstelle zwischen Zentraleinheit und Plattensteuerung. Dies ist besonders störend, wenn die Schnittstelle ein Bus-System ist, an dem mehrere Zentraleinheiten und Plattensteuerungen angeschlossen sind.

In PCT WO 90/00280 wird daher vorgeschlagen, das RAID-5 Ver­ fahren innerhalb der Laufwerkssteuerung mit mehreren Lauf­ werken durchzuführen, so daß als Ergebnis ein einziges Lauf­ werk besonders hoher Verfügbarkeit entsteht. Diese Lösung ist jedoch beispielsweise nicht im Feld erweiterbar; auch kann die RAID-5 Funktion nicht für nur einen Teil der Daten auf den Laufwerken aktiviert werden, wodurch die restliche Speicherkapazität für Dateien herkömmlicher Verfügbarkeit zur Verfügung stehen würde.

In EP 0 493 984 A2 wird dargestellt, daß und wie die darge­ stellten Effizienzverluste durch ein zusätzliches Laufwerk zur Pufferung der Daten gelöst werden können. Dieses Ver­ fahren erfordert jedoch zusätzlichen, anderweitig nicht nutzbaren Speicherplatz.

Es ist Aufgabe der vorliegenden Erfindung, das RAID-5 Ver­ fahren auf bekannten Rechnersystemen mit Zentraleinheit, Bus, IO-Controller und einzelnen Plattenlaufwerken herkömm­ licher Bauart mit nur geringen Änderungen an Soft- und Firm­ ware so durchzuführen, daß der Bus durch weniger Schreib- und Leseaufträge belastet wird.

Eine erste Lösung besteht darin, daß die Funktion der Plattensteuereinheiten erweitert wird. Dabei wird die Reihenfolge der Schreib- und Lese-Aufträge von einer Zen­ traleinheit an die Steuereinheit der Datenplatte umgedreht, so daß bereits im ersten Schritt die neuen Nutzdaten zur Steuereinheit übertragen werden und die Parity-Änderung in der Plattensteuereinheit berechnet wird. Die Zentraleinheit liest dann anstelle der alten Nutzdaten die Parity-Änderung und überträgt sie als Änderungsauftrag an die für das be­ treffende Redundanz-Laufwerk zuständige Steuereinheit. Es entfällt für die Zentraleinheit die Leseoperation für die alten Redundanzdaten und deren Bearbeitung, da diese intern in der Plattensteuereinheit abgewickelt wird. Dadurch fällt für die Zentraleinheit keine Verarbeitungsleistung an; auf Rechnern mit Kanalarchitektur wie beispielsweise die IBM Serie /390 kann das gesamte Verfahren über ein Kanalprogramm abgewickelt werden. Diese Lösung erfordert geringe Änderun­ gen in der Plattensteuereinheit und ist einfach anwendbar, weil die I/O-Befehle wie üblich von der Zentraleinheit aus­ gehen.

Für eine weitere Reduktion der Anzahl der I/O-Befehle und der zur Zentraleinheit zu übertragenden Datenmenge werden in Fortbildung der Erfindung Steuereinheiten und ein sie verbindender Bus verwendet, bei dem die Steuereinheiten ana­ log zur Zentraleinheit Aufträge an andere Steuereinheiten senden können. In diesem Fall ist von der Zentraleinheit nur eine Schreiboperation durchzuführen, in der zusätzlich lediglich noch das die zugehörige Parity-Information speichernde Laufwerk angegeben werden muß. Dies kann auch als Vorbefehl ohne Daten oder als Parameter-Tabelle bei Initialisierung realisiert sein. Die Plattensteuerung be­ rechnet die Parity-Änderung und überträgt sie eigenständig als Änderungsauftrag zu der Plattensteuerung des diesem Block zugeordneten Parity-Laufwerks. Damit ist die Last für die Zentraleinheit wieder dieselbe wie bei redundanzloser Speicherung; lediglich erfolgt eine doppelte Datenbelastung auf dem Bus. Falls CPU-Bus und I/O-Bus getrennt und durch eine Koppeleinheit verbunden sind, wirkt sich diese Anord­ nung besonders vorteilhaft aus, weil nur auf dem I/O-Bus die doppelte Datenmenge auftritt. Durch mehrere Koppeleinheiten und I/O-Subsysteme mit eigenem Bus kann somit eine Leistungsfähigkeit des Rechnersystems wie bisher bei zusätz­ licher Nutzung des RAID-5 Verfahrens erreicht werden.

Im folgenden wird die Erfindung an einem Ausführungsbeispiel erläutert. Dabei wird als Speichermodul ein Plattenlaufwerk angenommen. Die Erfindung ist jedoch gleichermaßen auf Per­ manentspeicher anderer Technologie anwendbar, beispielsweise Magnetblasen- oder batteriegepufferte Halbleiterspeicher.

Es zeigen

Fig. 1 eine erste Anordnung der beteiligten Komponenten, mit der das Verfahren durchgeführt werden kann,

Fig. 2 den Ablauf der Aufträge und den Datenfluß im bis­ lang bekannten RAID-5 Verfahren,

Fig. 3 ein erstes Ausführungsbeispiel für den Ablauf der Aufträge und den Datenfluß,

Fig. 4 einen zweiten Ablauf, bei dem eine Aktion der Zen­ traleinheit entfällt.

In Fig. 1 ist eine Datenverarbeitungsanlage dargestellt, in der eine oder mehrere Zentraleinheiten 11a. . .b auf einen Bus, den CPU-Bus 13, arbeiten. Der Arbeitsspeicher 12a. . .b ist als zwei Moduln am CPU-Bus 13 dargestellt. Durch eine Koppelein­ heit 14 ist der CPU-Bus 13 mit einem I/O-Bus 15 verbunden. Die Koppeleinheit dient zur Umsetzung unterschiedlicher Bus- Protokolle, -Schnittstellen und -Geschwindigkeiten oder auch zur Überbrückung einer räumlichen Entfernung zwischen CPU- Bus und IO-Bus. An den I/O-Bus 15 sind mindestens drei Steuereinheiten 16a. . .c angeschlossen, die ihrerseits wiederum über einen, beispielsweise als SCSI-Bus ausge­ führten, Plattenbus 17a. . .c die Plattenlaufwerke 18a. . .c und 19a. . .c steuern. In der Regel sind mehr als zwei Platten­ laufwerke pro Steuereinheit angeschlossen; das Beispiel be­ nutzt der Übersichtlichkeit halber nur die Minimalzahl von einem Laufwerk pro Steuereinheit. Es werden immer gleichviel Plattenlaufwerke pro Steuereinheit in das RAID-Verfahren einbezogen, die zudem den gleichen Formfaktor, d. h. die gleiche Anzahl, Größe und Anordnung der Datenblöcke, aufweisen.

Damit ist, wie in Fig. 2 angedeutet und in den anderen Abbildung weggelassen, eine eindeutige Korrespondenz der Datenblöcke untereinander gegeben; d. h. einem Datenblock 62a auf dem Plattenlaufwerk 18a ist ein und nur ein (nicht dar­ gestellter) Datenblock 62b auf dem Plattenlaufwerk 18b sowie ein und nur ein Datenblock 62c auf dem Plattenlaufwerk 18c zugeordnet. Diese einander zugeordneten Datenblöcke ver­ schiedener Plattenlaufwerke bilden eine Blockgruppe 64. Dabei werden in einem der Datenblöcke einer solchen Block­ gruppe (hier 62c) Redundanzdaten, in den restlichen Nutz­ daten gespeichert. Die Redundanzdaten werden dabei durch die XOR-Funktion 22 (Exklusiv-Oder) über die Nutzdatenblöcke 62a,b einer Blockgruppe gebildet. Damit kann bei Änderung eines Nutzdatenblocks aus den alten, bisherigen und den neuen, ersetzenden Daten durch ein XOR beider Daten eine Korrekturinformation gebildet werden, die dann, über XOR mit dem bisherigen Redundanzdatum verknüpft, das neue Redundanz­ datum ergibt, ohne daß auf den Inhalt der anderen Nutz­ datenblöcke dieser Blockgruppe zugegriffen werden muß. Im RAID-5 Verfahren werden dabei die Redundanzdaten über ver­ schiedene Plattenlaufwerke gestreut abgelegt; beispielsweise für den ersten Block auf dem ersten Laufwerk 18a, für den zweiten auf dem zweiten 18b, für den dritten auf dem dritten 18c, für den vierten wieder auf dem ersten, usw. Andere Ver­ teilungen sind möglich. Andere Funktionen als ein Exklusiv- Oder zur Bildung der Redundanzdatenen sind gleichfalls mög­ lich, z. B. die Bildung eines zyklischen Code, dessen Neube­ rechnung nur teilweise geänderten Daten in dem Artikel "Preserving the Integrity of cyclic-redundancy checks when protected text is intentionally altered" von D.R. Irvin, veröffentlicht im IBM Journal of Research and Development, Vol. 33 No. 6, Nov. 86 Seite 618-626, beschrieben ist. Falls die Redundanzdaten mehr Bytes umfassen als die Datenbreite eines Laufwerks, werden mehrere Blöcke einer Blockgruppe zur Speicherung der Redundanzdaten verwendet.

Der bekannte Ablauf beim Schreiben von geänderten Daten ist in Fig. 2 dargestellt. Dabei sind das im Beispiel nicht be­ troffene Laufwerk 18b und seine Steuereinheit 16b nicht in die Abbildung aufgenommen; das Verfahren wird entsprechend angewendet, wenn die Daten statt auf das Laufwerk 18a auf das Laufwerk 18b geschreiben werden sollen. Durch Bear­ beitungs- oder Rechenoperationen in der Zentraleinheit 11a entstehen neue Nutzdaten 20, die auf dem Plattenlaufwerk 18a gespeichert werden sollen. Es werden zunächst durch einen Befehl "Read Data" 21a die alten, zu ersetzenden Nutzdaten von dem Plattenlaufwerk 18a gelesen, mit den neuen Nutzdaten 20 über XOR 22a verknüpft; dies ergibt die Korrektur­ information 23, die in einem nicht dargestellten Puffer ge­ speichert wird. Nach Empfang der alten Nutzdaten können die neuen Nutzdaten 20 durch einen Befehl "Write Data" 24a ge­ schrieben werden. Dieser Befehl ist unabhängig von den nach­ folgenden und kann auch später durchgeführt werden. Zu Bildung der neuen Redundanzdaten auf dem Plattenlaufwerk 18c werden zunächst durch den Befehl "Read Data" 21b die alten Redundanzdaten gelesen, mittels des XOR 22b mit der Korrekturinformation 23 verknüpft und mit dem Befehl "Write Data" 24b auf die Platte geschrieben. Diese bekannte Lösung wird durch entsprechende Software in dem Betriebssystem der Datenverarbeitungsanlage erreicht. In den Figuren ist die Busbelegung durch verdickte Striche dargestellt; es ist eine vierfache Belastung einer redundanzlosen Speicherung auf beiden Bussen erkennbar. Die vierfache Belegung der Koppeleinheit 14 ist nicht dargestellt.

In Fig. 3 ist der Ablauf des erfindungsgemäßen Verfahrens dargestellt. Die neuen Nutzdaten 20 werden von der Zentral­ einheit 11a durch einen neuen Befehl "Write Data, Make Parity" 31 an die Steuereinheit 16a gesendet. Dort werden durch diesen neuen Befehl die alten Nutzdaten vom Platten­ laufwerk 18a gelesen, durch das XOR 32a für die Bildung der Korrekturinformation benutzt und durch die neuen Nutzdaten ersetzt. Die Zentraleinheit 11 fordert mit einem ebenfalls neuen Befehl "Read Parity" 33 die Korrekturinformation 23 an und schickt sie mittels eines weitern neuen Befehls "Update Parity" 35 an die Steuereinheit 16c des Redundanz-Platten­ laufwerks 18c, das daraufhin intern von dem Plattenlaufwerk 18c die alten Redundanzdaten liest, mit der Korrektur­ information durch das XOR 36 verknüpft und auf dem Platten­ laufwerk 18c ersetzt. Die Busbelastung ist auf 3/4 der be­ kannten Lösung reduziert, ebenso (nicht dargestellt) die der Koppeleinheit 14.

In Fig. 4 ist eine weiter verbesserte Ausführungsform der Erfindung dargestellt, bei der die Steuereinheit 16a selbst in der Lage ist, den I/O-Bus 15 zu bedienen. Zu Beginn wird von der Zentraleinheit 11a ein neuer Befehl "Write Data, Update Parity" 41 mit den neuen Nutzdaten 20 gesendet. Das Ziellaufwerk 18c, auf dem die Redundanzdaten für den betrof­ fenen Datenblock liegen, kann fest vereinbart sein, im Auftrag mit angegeben werden, vorab in einer Tabelle ge­ speichert sein oder durch eine Rechenvorschrift bestimmt werden. Die Steuereinheit 16a bildet die Korrektur­ information 23 wie zuvor und schreibt die neuen Daten auf das Plattenlaufwerk 18a. Die Korrekturinformation 23 wird jetzt mit dem Befehl "Update Parity" 35 direkt an die Steuereinheit 16c gesendet, der wie zuvor ausgeführt wird. Während bei dem Verfahren nach Fig. 3 die Datenmenge dreimal durch die Koppeleinheit 14 übertragen wurde (nicht darge­ stellt) und alle drei Befehle und Daten sowohl auf dem CPU- Bus 12 als auch auf dem IO-Bus 15 erscheinen, werden jetzt nur einmal die neuen Daten 20 durch die Koppeleinheit 14 übertragen und es sind auf dem CPU-Bus nur 1/3 der Aktivität und auf dem IO-Bus nur 2/3 der Aktivität gegenüber der Lösung nach Fig. 3 vorhanden, weil der Befehl "Read Parity" entfällt und der Befehl "Update Parity" nur auf dem IO-Bus übertragen wird und dort, wie in der Zeichnung angedeutet, nur einmal den Bus belastet. Gegenüber der bekannten Lösung nach Fig. 2 ist die Belastung des CPU-Bus auf 1/4, die des I/O Bus auf 2/4 zurückgegangen.

Es können mehr als ein I/O-Bus über eine Koppeleinheit an den CPU-Bus angeschlossen werden, wobei die dargestellte Entlastung des CPU-Bus besonders wirksam ist.

Weiterhin kann, insbesondere wenn sie zur Überbrückung einer räumlichen Entfernung dient, die Koppeleinheit eine gerin­ gere Bandbreite aufweisen als der I/O-Bus. Die Entlastung des CPU-Bus bedeutet dann gleichzeitig Entlastung der Koppeleinheit und führt dazu, daß für das Rechnersystem die RAID-Funktion praktisch ohne Leistungsverlust verfügbar ist.

Die Datenverarbeitungsanlage kann auch mit einer Kanal­ architektur ausgestattet sein, wie beispielsweise das System /390 von IBM oder die Modellreihen 7500 und 7800 von Siemens, bei denen ein Kanalsteuerwerk von dem Hauptspeicher 12 Befehle und Daten zur Steuereinheit 16 und Daten zurück in den Hauptspeicher senden kann, ohne daran die Zentraleinheit 11 zu beteiligen. Dabei können mehrere dieser Bearbeitungs- und. Datentransferbefehle zusammengefaßt werden und auch Befehle an das Kanalsteuerwerk umfassen, so daß insbesondere das in Fig. 3 dargestellte Verfahren nach Anstoß durch die Zentraleinheit von dem Kanalsteuerwerk durchgeführt wird.

In allen Fällen ist eine Abschlußmeldung an die Zentral­ einheit zu übermitteln, wenn der Schreibauftrag mit Nutz­ daten und Redundanzdaten abgeschlossen ist. Diese Abschluß­ meldung wurde der Übersichtlichkeit in den vorangegangenen Darstellungen weggelassen.

Claims (4)

1. Verfahren zum Ersetzen alter durch neue Redundanzdaten beim Ersetzen alter durch neue Nutzdaten in einer Speichergruppe einer Datenverarbeitungsanlage mit mindestens drei Datenspeichern (18a. . .c) und folgenden Merkmalen:

• - Die Datenspeicher sind in Datenblöcke unterteilt, wobei Blockgruppen (64) aus Datenblöcken unter­ schiedlicher Datenspeicher gebildet werden, einen Redundanzdatenblock (62c) und mindestens zwei Nutz­ datenblöcke (62a,b) enthalten und die Daten des Redundanzblocks einer Blockgruppe (64) gleich dem Ergebnis einer Redundanzfunktion, angewandt auf die Nutzdatenblöcke derselben Blockgruppe, sind.
• - Neue Nutzdaten werden mit einem ersten Schreibbefehl (31) zu einer ersten Steuereinheit (16a) gesendet, welche daraufhin die alten Nutzdaten vom Datenspeicher (18a) liest und eine Korrekturinformation (23) aus den alten und neuen Nutzdaten berechnet.
• - Die Korrekturinformation (23) wird durch einen Lese­ befehl (33) aus der ersten Steuereinheit (16a) gelesen und durch einen zweiten Schreibbefehl (35) zu einer zweiten Steuereinheit (16c) gesendet, die daraufhin die alten Redundanzdaten liest, die übermittelte Korrekturinformation (23) auf die alte Redundanzdaten anwendet und die so erhaltenen neuen Redundanzdaten auf den Datenspeicher (18c) schreibt.

2. Verfahren zum Ersetzen alter durch neue Redundanzdaten beim Ersetzen alter durch neue Nutzdaten in einer Speichergruppe einer Datenverarbeitungsanlage mit mindestens drei Datenspeichern (18a. . .c) und folgenden Merkmalen:

• - Die Datenspeicher sind in Datenblöcke unterteilt, wobei Blockgruppen (94) aus Datenblöcken unter­ schiedlicher Datenspeicher gebildet werden, einen Redundanzdatenblock (62c) und mindestens zwei Nutz­ datenblöcke (62a,b) enthalten und die Daten des Redundanzblocks einer Blockgruppe (64) gleich dem Ergebnis einer Redundanzfunktion, angewandt auf die Nutzdatenblöcke derselben Blockgruppe, ist.
• - Neue Nutzdaten werden mit einem ersten Schreibbefehl (31) zu einer ersten Steuereinheit (16a) gesendet, welche daraufhin die alten Nutzdaten vom Datenspeicher (18a) liest und eine Korrekturinformation (23) aus den alten und neuen Nutzdaten berechnet.
• - Die Korrekturinformation (23) wird durch einen zweiten Schreibbefehl (35) von der ersten Steuereinheit (16a) zu einer zweiten Steuereinheit (16c) gesendet, die daraufhin die alten Redundanzdaten liest, die über­ mittelte Korrekturinformation (23) auf die alte Redundanzdaten anwendet und die so erhaltenen neuen Redundanzdaten auf den Datenspeicher (18c) schreibt.

3. Verfahren nach Anspruch 1 oder 2, wobei als Redundanz­ funktion Exklusiv-Oder verwendet wird.

4. Verfahren nach Anspruch 1 oder 2, wobei als Redundanz­ funktion ein zyklischer Code verwendet wird.