-
GEBIET DER
ERFINDUNG
-
Die
vorliegende Erfindung betrifft Datenspeichersysteme und insbesondere
Mehrfachspeichersysteme, die von mehreren Hostrechnersystemen gemeinsam
genutzt werden.
-
HINTERGRUND
DER ERFINDUNG
-
Der
zunehmende Einsatz von Computern hat zu einem wachsenden Bedarf
an flexiblen Systemen mit hoher Verfügbarkeit zur Datenspeicherung von
Computersystemen geführt.
Viele Unternehmen verfügen über eine
Vielzahl von Hostrechnersystemen mit Personal Computern und Arbeitsplatzrechnern,
die entweder unabhängig
arbeiten oder in einem Netz zusammengeschlossen sind. Es ist wünschenswert,
den zahlreichen Hostrechnersysteme den Zugriff auf ein gemeinsames
Reservoir von Mehrfachspeichersystemen zu ermöglichen, damit alle Hostrechnersysteme
auf die Daten zugreifen können.
Eine solche Anordnung vergrößert die
Gesamtmenge an Daten, die jedem einzelnen der Hostrechnersysteme
zur Verfügung
stehen. Außerdem kann
die Auslastung der Hostrechner ausgeglichen und das gesamte System
gegen den Ausfall eines einzelnen Hostrechners geschützt werden.
-
Wichtig
ist auch, dass die Verfügbarkeit
der in dem Speichersystem gespeicherten Daten erhalten bleibt. Ein
Ansatz zum Schutz der Daten besteht in der Einbeziehung von RAID-Funktionen (Redundant
Array of Independent Disks, redundante Reihe unabhängiger Platten).
Die Konzepte und Varianten der RAID-Technologie sind in der Datenspeicherindustrie
allgemein bekannt. Die Stufen (levels) von RAID werden von Patterson
et al. in „A
Case for Redundant Arrays of Inexpensive Disks (RAID)", Tagungsband der „1988 ACM
SIGMOND Conference on Management of Data", Chicago, Illinois, Juni 1988, beschrieben.
Ein typisches RAID-System beinhaltet eine RAID-Steuereinheit und eine Vielzahl von Speichereinheiten,
zum Beispiel Speichereinheiten mit Direktzugriff (Direct Access
Storage Device, DASD), die auch als Festplattenlaufwerke bezeichnet
werden, die zu einer Speicheranordnung (Matrix) zusammengeschlossen
sind. Die Daten werden im System mit Hilfe von Paritätsdaten
geschützt,
die auch als Teil der Speicheranordnung gespeichert werden. Eine
Speicheranordnung mit RAID Level 0 betrifft normalerweise eine Speicheranordnung,
bei der die Daten auf alle DASDs verteilt werden (striping), die
jedoch keinen Paritätsschutz
bietet. Ein System mit RAID Level 1 spiegelt die Daten einer DASD
auf einer zweiten DASD, um Redundanz zu erzeugen. Bei einer Architektur
mit RAID Level 5 laufen die RAID-Operationen noch sicherer und schneller
ab, indem ein logisches Paritätslaufwerk
eingerichtet wird. Dieses logische Paritätslaufwerk ist physisch auf
alle Laufwerke der Matrix verteilt, sodass kein Laufwerk die Parität für die gesamte
Matrix enthält.
Ein JBOD (Just a Bunch Of Disks, nur ein Haufen Platten) bezeichnet üblicherweise
eine DASD-Matrix ohne Striping oder Redundanz. Es gibt bestimmte
Operationen, bei denen jede Stufe, RAID Level 0, RAID Level 1, RAID
Level 3 oder RAID Level 5 stärker
bevorzugt sein kann. Zum Beispiel wird RAID Level 5 bei Systemen
bevorzugt, bei denen eine große
Anzahl gleichzeitiger Zugriffe auf die Daten erforderlich ist.
-
Ferner
ist es wünschenswert,
dass Speichersysteme auch einen Cachespeicher beinhalten, entweder
einen Lese- oder einen Schreib-Cachespeicher. Ferner ist in der
Industrie ein nichtflüchtiger
Cachespeicher bekannt, bei dem das Einspeichern der Daten so betrachtet
wird, als würden
sie auf die Festplatte geschrieben, ohne jedoch auf die Plattenzugriffe
und den eigentlichen Vorgang des Schreibens der Daten auf die Festplatte
selbst warten zu müssen.
-
Ferner
ist es wünschenswert,
redundante Pfade bereitzustellen, um vor dem Ausfall von Hardware
zu schützen,
damit bei den Datenzugriffen die Geschwindigkeit und die hohe Verfügbarkeit
garantiert werden kann.
-
Frühere Lösungen für den Zugriff
mehrerer Hostrechner auf mehrere Computersysteme haben sich einer
Kombination von Hostadapterkarten, externen Festplatten-Steuereinheiten
und standardmäßigen vernetzten
Datenübertragungssystemen
bedient.
-
Beispiele
von vernetzten Konfigurationen von Computerspeichersystemen nach
dem Stand der Technik für
den Zugriff mehrerer Hostrechner auf Mehrfachspeicheranordnungen
sind in 1 und 2 dargestellt.
Jedes Hostrechnersystem verfügt über seine
eigene Schnittstelle 11 zur Festplattenanordnung 12.
Die Hostrechnersysteme stehen über ein
Netzwerk 13 und ein Netzdateisystem in Verbindung miteinander,
zum Beispiel über
das Network File System (NFS) von Sun Microsystems. Wenn ein Hostrechner
auf Daten zugreifen will, die zu einem anderen Hostrechnersystem
gehören
und unter dessen Kontrolle stehen, wird die Anforderung für den Datenzugriff
durch den Netzserver an den Hostrechner weitergeleitet, unter dessen
Kontrolle die Speicheranordnung mit den gewünschten Daten steht. Diese
Lösung
stößt insofern
auf Grenzen, als das Senden der Anforderung Zeit in Anspruch nimmt. Ferner
wird für
solche Operationen Netzzeit in Anspruch genommen, die eigentlich
für andere
Datenübertragungen
zwischen den Hostrechnern benötigt wird.
Außerdem
ist das Netzwerk für
derartige Datenzugriffe nicht optimiert.
-
2 zeigt
ein System, bei dem eine Vielzahl von Hostrechnern 16 auf
ein separates Steuereinheiten-Teilsystem 15 zugreifen können. Das
Steuereinheiten-Teilsystem stellt die Steuerungsfunktionen für die Speicheranordnungen
bereit, die mit dem Teilsystem verbunden sind. Zu diesen Funktionen gehören die
Paritätsverwaltung
und das Striping (laufwerkübergreifendes
Lesen und Schreiben von Daten) des RAID, das Lesen des Cachespeichers und
das nichtflüchtige
Schreiben in den Cachespeicher. Ein Hostrechner 16 kann über die
gemeinsame Steuereinheit auf die Daten zugreifen. Ein Hostrechner
sendet eine Anforderung an eine der Steuereinheit, die dann auf
die Speicheranordnung zugreift und die angeforderten Daten zum Hostrechner
zurücksendet.
Allerdings weist das in 2 gezeigte System zahlreiche
Einschränkungen
auf. Die Anzahl der Hostrechner, die mit einem Teilsystem verbunden werden
kann, sowie die Anzahl der durch das Teilsystem zu steuernden Speicheranordnungen
sind begrenzt. Außerdem
gibt es bei dem System nach dem Stand der Technik in 2 zwischen
dem Hostrechner und den Speicheranordnungen eine extra Ebene für die Steuerungsvorrichtung,
sodass der Hostrechner nicht selbstständig agieren kann, da er über keine eigene
Steuereinheit für
seine Gruppe von DASDs verfügt.
-
Ferner
benötigen
die externen Steuereinheiten zusätzliche
Elektronik, Stromversorgung und Einbauraum, welche den Kostenaufwand
steigern und die Zuverlässigkeit
des Gesamtsystems verringern.
-
In
WO 93/18 456 wird ein System mit einer redundanten Speicheranordnung
mit Speichereinheiten beschrieben, die in zwei logische Speicheranordnungen
aufgeteilt sind. Das System mit der redundanten Speicheranordnung
beinhaltet ferner eine Vielzahl von Steuereinheiten zur Steuerung
der Speicheranordnung, die ausschließlich mit der Steuerung der
Datenübertragungen
zwischen den logischen Speicheranordnungen und einer Zentraleinheit
beschäftigt
sind, wobei jede Steuereinheit in der Lage ist, die Aufgabe einer
ausgefallenen Steuereinheit zu übernehmen.
-
R.W.
Horst beschreibt in „TNET:
A Reliable System Area Network",
IEEE Micro, IEE Inc., New York, USA, Bd. 15, Nr. 1, vom 1. Februar
1995 eine erweiterbare Hardware-Software-Schicht, die durch logische und physische
Trennung der Prozessorbusse von den E/A-Bussen sehr große Konfigurationen ermöglicht.
-
Deshalb
besteht ein Bedarf an einer weniger aufwändigen und besser skalierbaren
Lösung,
die eine bessere Verbindungsmöglichkeit
zwischen den Hostrechnern und den Speicheranordnungen gestattet.
Wünschenswert
sind eine hohe Verfügbarkeit und
Leistung eines solchen Systems.
-
ÜBERBLICK ÜBER DIE ERFINDUNG
-
Die
vorliegende Erfindung, die in den beiliegenden Hauptansprüchen genau
definiert ist, löst
eines oder mehrere der obigen Probleme in Systemen nach dem Stand
der Technik und stellt gleichzeitig eine weniger aufwändige und
besser skalierbare Lösung
bereit. Die vorliegende Erfindung stellt eine Architektur mit Hostadapterkarten
bereit, die in den Hostrechner eingebaut sind und zahlreiche Speicheranordnungen
steuern können.
-
Es
wird ein System zur Steuerung von Daten für eine Vielzahl von Hostrechnern
auf einer Vielzahl von Speicheranordnungen derart bereitgestellt,
dass jeder Hostrechner auf die Daten in jeder Speicheranordnung
zugreifen kann. Es wird eine Vielzahl von Adapterkarten verwendet.
Jeder Adapter übt
Steuerungsfunktionen für
eine bestimmte Speicheranordnung aus. Für den Datenaustausch zwischen
allen Adaptern des Systems gibt es eine Adapterschnittstelle (Adapterverbindungseinheit).
Zwischen einem im Hostrechner laufenden Anwendungsprogramm und einem
Adapter gibt es eine Hostrechner-Anwendungsschnittstelle.
Wenn ein Anwendungsprogramm über
eine Hostrechner-Anwendungsschnittstelle an einen ersten Adapter
eine Anforderung nach Daten richtet, die in einer nicht in erster
Linie durch den ersten Adapter gesteuerten Speicheranordnung gespeichert
sind, wird die Datenanforderung über
den Adapterverbund an denjenigen Adapter weitergeleitet, der die
Speicheranordnung mit den darin gespeicherten angeforderten Daten
in erster Linie steuert.
-
Bei
einer bevorzugten Ausführungsart
weist jeder Hostrechner einen oder mehrere Adapter auf, wobei jeder
Adapter eine RAID-Steuereinheit,
eine oder mehrere externe Schnittstellen und einen Lese- und einen
Schreib-Cachespeicher enthält.
Die Festplattenlaufwerke sind nach einem RAID-Schema, zum Beispiel
RAID Level 0, RAID Level 1, RAID Level 3 oder RAID Level 5, in einer
oder mehreren Anordnungen zusammengeschaltet. Jede Anordnung wird
zu jedem Zeitpunkt durch einen einzigen Adapter gesteuert, und alle
Zugriffe auf die Speicheranordnung laufen über diesen Adapter. Dadurch
können mögliche Konflikte
aufgrund überlappender
Paritätsaktualisierungen
einfach gelöst
werden. Die Ausführungsart
verhindert auch Kohärenzprobleme,
die sich aus der Speicherung mehrerer Exemplare derselben Daten
in mehreren Cachespeichern ergeben können. Durch die Adapterverbund
können
Daten sowohl zwischen den Adaptern (peer-to-peer) als auch zwischen
Adaptern und Festplatten übertragen
werden.
-
Bei
einer bevorzugten Ausführungsart
gibt es auch eine Vielzahl von sekundären Adaptern, welche jede Speicheranordnung
nachrangig steuern können.
Ein sekundärer
Adapter steuert eine bestimmte Speicheranordnung, wenn ein Adapter,
der diese bestimmte Speicheranordnung erstrangig steuert, nicht
verfügbar
ist. Der Adapterverbund verbindet alle Adapter einschließlich der
sekundären
Adapter miteinander.
-
Eine
Aufgabe der Erfindung besteht darin, ein System mit hoher Verfügbarkeit
zu erstellen, damit mehrere Hostrechner auf Mehrfachspeicheranordnungen
zugreifen können.
Eine Ausführungsform, die
sich der Schleifentechnik der seriellen Speicherarchitektur (Serial
Storage Architecture, SSA) bedient, kann 128 Hostrechnersysteme
miteinander verknüpfen.
-
Die
Hostadapterkarten können
mit vielen Hostrechnerbussen kompatibel sein, zum Beispiel mit einem
Microchannel- oder PCI-Bus für
Personal Computer und Arbeitsplatzrechner, der eine weniger aufwändige und
besser skalierbare Lösung
ermöglicht.
Außer
der SSA-Schnittstelle kann in Verbindung mit bereits vorhandenen
parallelen Schnittstellen wie SCSI2 auch die Fibre-Channel-Schnittstelle
FC-AL (Fibre Channel-Arbitrated
Loop) verwendet werden.
-
KURZBESCHREIBUNG
DER ZEICHNUNGEN
-
1 ist
ein Blockschaltbild eines System nach dem Stand der Technik für den Zugriff
mehrerer Hostrechner auf Mehrfachspeicheranordnungen;
-
2 ist
ein Blockschaltbild eines zweiten Systems nach dem Stand der Technik
für den
Zugriff mehrerer Hostrechner auf Mehrfachspeicheranordnungen;
-
3 ist
ein Blockschaltbild einer logischen Darstellung der Funktionen und
Arbeitsschritte der Erfindung;
-
4 ist
ein Flussdiagramm zur Darstellung des Verfahrens zum Umsetzen der
Erfindung;
-
5 ist
ein Blockschaltbild der Hardware für die Adapterkarte zum Umsetzen
der Erfindung;
-
6 ist
ein Schaubild der Software zum Umsetzen der Erfindung;
-
7 ist
ein Blockschaltbild einer ersten Umsetzung der Erfindung;
-
8 ist
ein Blockschaltbild einer zweiten Umsetzung der Erfindung; und
-
9 ist
eine Darstellung von Tabellen, die in den Registern der Adapter
und in den Speichereinheiten gespeichert sind.
-
DETAILLIERTE
BESCHREIBUNG DER ERFINDUNG
-
3 zeigt
eine logische Darstellung der Hauptelemente der Funktionen und Arbeitsschritte der
Erfindung. Jeder Hostrechner 20 weist einen oder mehrere
Adapter 22 auf. Jeder Adapter enthält eine RAID-Steuereinheit,
eine oder mehrere externe Schnittstellen und einen Lese- und Schreib-Cachespeicher. Die
Hostrechner nutzen ein gemeinsames Reservoir von Festplattenanordnungen.
Die Festplattenlaufwerke sind in Form einer oder mehrerer Anordnungen
zusammengeschaltet, zum Beispiel als RAID Level 0, RAID Level 1,
RAID Level 3, RAID Level 5 oder als JBOD, wobei diese Systeme dem Fachmann
bestens bekannt sind. Jede Anordnung wird zu jedem Zeitpunkt durch
einen einzigen Adapter gesteuert und alle Zugriffe auf die Speicheranordnung
werden durch den Adapter vermittelt. Dadurch können mögliche Konflikte infolge gleichzeitig überlappender
Paritätsaktualisierungen
einfach gelöst werden.
Ferner werden dadurch Kohärenzprobleme vermieden,
die sich aus der Speicherung mehrerer Exemplare derselben Daten
in mehreren Cachespeichern ergeben können. Da jede Speicheranordnung nur
durch einen Adapter gesteuert wird, müssen alle Anforderungen nach
einer Speicheranordnung, die nicht von dem Steuerungsadapter dieser
Speicheranordnung stammen, zuerst zu diesem Steuerungsadapter weitergeleitet
werden, der dann auf die Speicheranordnung zugreift und die Ergebnisse
an die ursprünglich
anfordernde Einheit zurückgibt.
-
Die
Adapter 22 sind durch eine Verbindungseinheit 23 miteinander
verbunden, um den Datenaustausch sowohl zwischen den Adaptern als
auch zwischen Adaptern und Festplatten zu ermöglichen.
-
Ein
Beispiel für
ein Hostrechnersystem stellt die Maschine IBM Risc System/6000 dar,
auf der das Betriebssystem IBM AIX läuft. Auch viele andere dem Fachmann
bestens bekannte Hostrechnersysteme können verwendet werden.
-
Wenn
ein Hostrechner gemäß 3 und 4 Daten
von einer Speicheranordnung 2 lesen möchte, die durch den Adapter
B 22 gesteuert wird, gibt der Hostrechner eine E/A-Anforderung
an den Adapter A 22 aus. Der Adapter A durchsucht das Verzeichnis
und stellt fest, dass die Speicheranordnung 2 durch einen Adapter
B 22 gesteuert wird. Der erste Adapter leitet die E/A-Anforderung an den
Adapter B 27 weiter. Der Adapter B führt die E/A-Anforderung aus,
indem er seine Cachespeicher durchsucht und im Bedarfsfalle auf
die Festplatten zugreift. Dann gibt der Adapter B die gelesenen
Daten an den Adapter A 22 zurück. Der Adapter A speichert
die gelesenen Daten im Speicher des Hostrechners und unterbricht den
Hostrechner, um die vollständige
Bearbeitung der E/A-Anforderung anzuzeigen.
-
Dem
Fachmann ist bekannt, dass zur Herstellung der Verbindungsmöglichkeit
(Verbindungseinheit 23) je nach Bandbreite, Verzweigungsgrad und
Verfügbarkeit
viele Ausführungsformen
verwendet werden können.
Zum Beispiel kann das System über
einen oder mehrere parallele Busse, serielle Schleifen oder serielle
Schalter verfügen.
Die bevorzugte Ausführungsart
der vorliegenden Erfindung wird unter Bezug auf die serielle Speicherarchitektur (SSA)
als Verknüpfungsarchitektur
beschrieben, jedoch sind auch andere Architekturen einsetzbar.
-
Die
SSA wurde nach dem ANSI-Standard X3T10.1 des amerikanischen Standardisierungsinstituts
(American National Standards Institute, ANSI) entwickelt. SSA ist
eine serielle Schnittstelle, die speziell zum Anschließen von
E/A-Einheiten wie beispielsweise Festplattenlaufwerken, Bandspeicherlaufwerken,
CD-ROM-Laufwerken, optischen Laufwerken, Druckern, Scannern und
anderen Peripherieeinheiten an Arbeitsplatzserver (Hostrechnersysteme)
und Speicher-Teilsysteme
entwickelt wurde. Da dem Fachmann die Ausführungsformen von SSA-Architekturen
vertraut ist, werden die Architektur und ihre Funktionsweise im
Folgenden nicht näher
beschrieben. Nähere
Erläuterungen
zu SSA sind in „Information
Technology – Serial
Storage Architecture – Transport
Layer 1 (SSA-TL1), ANSI X3T10.1/0989D", „Information
Technology – Serial Storage
Architecture – Physical
1 (SSA-PH1), ANSI X3T10.1/xxxD)
und „Information
Technology – Serial Storage
Architecture – SCSI-2
Protocal (SSA-S2P), ANSI X3T10.1/1121D" zu finden.
-
Unter
einer Leitung oder einem Bus sind Leitungselemente zu verstehen,
die zur Übertragung von
Daten in Form von Signalen über
ein Übertragungsmedium
wie zum Beispiel einen Kupferdraht genutzt werden. Eine serielle
Leitung kann ein Kabel für
die Übertragung
von Einzelsignalen verwenden, bei der die Dateneinheiten in serieller
Folge über
den Datenübertragungspfad übertragen
werden. Ein serieller Anschluss weist normalerweise eine Zweiwegeübertragung
(Vollduplex) auf. Im Zusammenhang mit einer Schleifenkonfiguration
(wie bei den Plattenanordnungen) kann der zweite Pfad zur Verdoppelung der
Bandbreite jedes Laufwerks in der Schleife oder zur Bereitstellung
eines Ersatzzugangs zu einem Laufwerk verwendet werden, wenn eine
Leitung ausgefallen ist. Die SSA stellt eine Zweisignalverbindung (Senden
und Empfangen) für
eine Vollduplex-Übertragung
zur Verfügung.
-
Die
SSA nutzt die logischen Aspekte der SCSI-Kennwerte (Small Computer
System Interface, Schnittstelle für kleine Computersysteme) zur
Versorgung der serielle angeschlossenen Peripherieeinheiten. Diese
SCSI-Kennwerte sind in den Festelegungen der physischen Eigenschaften
der SSA niedergelegt. Das heißt,
die SSA kann als Transportschicht für verschiedene höhere Protokolle
verwendet werden, insbesondere das Protokoll SCSI-2 für Speicheranwendungen.
SCSI-2 gebraucht auf der SSA ein ähnliches Adressschema, wie
es im SCSI-Standard
definiert ist, wo es Initiatoren, Ziele und logische Einheiten gibt.
-
Das
einfachste SSA-Netzwerk besteht aus einem Hostadapter mit Einzelanschluss,
der mit einer Peripherieeinheit mit Einzelanschluss verbunden ist. Die
serielle Verbindung besteht aus vier Drähten zur Übertragung von Datenpaketen.
Vier Leitungen bestehen aus einem Plus/Minus-Ausgangsanschluss (Senden)
und einem Plus/Minus-Eingangsanschluss (Empfangen). Ein „Anschluss" (Port) bezieht sich
auf einen Gateway, der aus Hardware und Firmware besteht, zur Unterstützung eines
Leitungsendes (eines Sende- und eines Empfangspfades). Ein Anschluss in
einem Knoten stellt über
eine Leitung eine Verbindung zu einem Anschluss eines anderen Knotens her.
-
In
der SSA ist ein Anschluss in der Lage, gleichzeitig zwei 20-MB/s-Verbindungen
zu betreiben, eine Eingangsleitung und eine Ausgangsleitung. Jede
Leitung in der Schleife funktioniert unabhängig, sodass die Gesamtbandbreite
der Schleife größer als die
der Einzelleitung sein kann. Die Schleife verträgt auch den Ausfall einer Einzelleitung,
da die Daten entweder im Uhrzeigersinne oder entgegengesetzt laufen
können.
Ein SSA-Knoten mit Doppelanschluss kann gleichzeitig vier Verbindungen
mit einer Gesamtbandbreite von 80 MB/s betreiben.
-
Ein
Knoten entspricht einer Systemsteuereinheit, einem Hostrechner oder
einer Peripherieeinheit mit einem oder mehreren seriellen Anschlüssen. Jeder
Knoten hat eine Funktion auszuführen,
die spezielle Zuständigkeit
oder Aufgabe eine für
ihn darstellt. Bei einem Initiator handelt es sich um die Funktion
innerhalb des Knotens, die festlegt, welche Task ausgeführt werden
soll und welches Ziel die gewünschte
Task ausführen
wird. An einem Knoten sind ein oder mehrere Anschlüsse vorhanden.
-
Ein
Rahmen ist eine Grundeinheit bei der Datenübertragung zwischen zwei Anschlüssen in
einem SSA-Netz. Ein Rahmen hat ein bestimmte Format, das aus einem
Steuerbyte, bis zu sechs Adressbytes, bis zu 128 Datenbytes und
vier Bytes zur Fehlererkennung besteht. Ein Knoten kann Rahmen zwischen
Anschlüssen
leiten. Eine Knotenfunktion ist in der Lage, Rahmen zu erzeugen
oder zu übertragen. Das
SSA-Protokoll bedient sich spezieller Zeichen, um den Fluss der
zwischen den Knoten übertragenen Rahmen
zu steuern und die Rahmen zu bestätigen. Unter einer Rahmenmultiplexeinrichtung
ist zu verstehen, dass mit dem Telegrafiesystem über dasselbe Kabel gleichzeitig
zwei oder mehr Nachrichten in jeder Richtung übertragen werden können.
-
Die
SSA kann mit mehreren Topologien realisiert werden, darunter Zeichenketten-,
Schleifen- und Schalterkonfigurationen. Bei einer typischen Einzelschleifenanordnung
können
128 Knoten mit Doppelanschluss (Peripherieeinheiten oder Hostrechner) unterstützt werden.
Bei einer komplexen Schalterkonfiguration kann die maximale Anzahl
der Knoten theoretisch über
zwei Millionen betragen. Die Schleifentopologie ermöglicht die
Wahl alternativer Pfade zu jedem Knoten im Netz und verhindert,
dass Netz bereits bei einem Fehler ausfällt.
-
Zwischen
zwei Knoten wird ein Gateway geschaltet, um eine Vollduplexübertragung über das SSA-Netz
vorzusehen. Ein Knoten sendet eine Transaktion an einen anderen
Knoten, damit dieser eine Funktion ausführt, zum Beispiel auf Festplatten zuzugreifen.
Ein Gateway besteht aus zwei Verbindungen, jeweils einer in jede
Richtung. Der Master (der Knoten, der die Transaktion gesendet hat)
erzeugt einen Mastersteuerblock. Der Gateway senden die Transaktion
in Form von Rahmen über
das Netz. Die Slave-Seite des Gateway empfängt Transaktionsrahmen und
erzeugt einen Taststeuerblock, der den angegebenen Dienst aufruft.
-
5 zeigt
ein Blockschaltbild der Hardware der Adapterkarte. Der Adapter hat
einen Mikroprozessor 30, der über einen Mikroprozessorbus 32 mit einem
RAM 33, der den erforderlichen Code und die Steuerblöcke (nähere Beschreibung
siehe 6) enthält,
und einem nichtflüchtigen
RAM 34 und einem ROM 35 für das Bootprogramm verbunden
ist. Eine Mikroprozessorbrücke 36 verbindet
den Mikroprozessor 30 über
einen lokalen Bus 37 mit einem nichtflüchtigen Cachespeicher 38 und
einem Lese-Cachespeicher 40. Ferner wird zur Durchführung von RAID-Paritätsberechnungen
eine XOR-Hardware 42 bereitgestellt. Eine Hostrechnerbrücke 44 stellt über eine
Hostrechnerschnittstelle wie zum Beispiel einen Microchannel oder
PCI-Bus 45 eine Verbindung zu einer Haupt-Hostrechnerhardware
her. Es gibt zwei SSA-Chips 46 und 47 mit Doppelanschluss,
je einen für
die Verbindung mit anderen Adaptern und einen für die Verbindung mit einer
Anordnung von Speichereinheiten. Jeder Block kann aus einer separaten ASIC
(Application Specific Integrated circuit, anwendungsspezifische
integrierte Schaltung) bestehen. Die XOR-Funktion kann mit der Steuerung
des Lese-Cachespeichers in einer ASIC verknüpft werden.
-
6 zeigt
ein Schaubild der im Hostrechner und der Adapterkarte laufenden
Software zur Realisierung der Erfindung. Ein Hostrechnersystem weist eine
(nicht gezeigte) Zentraleinheit (Central Processing Unit, CPU) und
einen (nicht gezeigten) RAM auf, in welchem die Software während der
Ausführung gespeichert
ist. Ein im RAM laufendes Anwendungsprogramm 56 sendet über ein
Betriebssystem 60 eine E/A-Anforderung an das Dateisystem 57 oder
direkt an einen Einheitentreiber 58. Der Einheitentreiber
besitzt eine Schnittstelle 61 zum Betriebssystem, einen
Softwarebus 62 und einen Gateway 63 zur Adapterkarte.
-
Die
Adapterkarte 64 hat einen eigenen Mikroprozessor und einen
eigenen RAM, der während der
Ausführung
die zur Realisierung der Erfindung verwendete Software enthält (nähere Einzelheiten zur
Hardware im Adapter siehe 5). Die
Adapterkarte hat einen Gateway 66 zur Zusammenarbeit mit dem
Einheitentreiber und einen Softwarebus 67, der mit einer
Cachespeicher-Steuereinheit 68 und
einer RAID-Steuereinheit 70 kommuniziert. Der Adapter besitzt
auch ein Register 72, welches die durch die Adapterkarte
erstrangig gesteuerte Speicheranordnung und die über andere Adapterkarten erreichbaren
Speicheranordnungen kennzeichnet. Der Softwarebus arbeitet auch
mit einem Gateway 74 zusammen, der über einen Schnittstellen-Chip
die Peer-to-Peer-Verbindung 75 zu
den anderen Adapterkarten herstellt. Die Festplattenschnittstelle 76 arbeitet
mit der Festplattenanordnung 77 zusammen.
-
Zur
Verbesserung der Verbindungsmöglichkeiten
zu den Speicheranordnungen ist jede Anordnung mit einem primären und
einem sekundären
(als Reserve) Steueradapter ausgestattet. Da alle Festplatten in
einer Schleife mit beiden Adaptern verbunden sind, wird, wenn beide
Adapter intakt sind, eine Anforderung nach Zugriff auf eine durch
den anderen Adapter erstrangig gesteuerte Speicheranordnung zuerst
zu dem anderen Adapter geleitet, um die Verarbeitung über die
Peer-to-Peer-Verbindung 75 abzuwickeln.
Die Ergebnisse werden dann wieder über die Peer-to-Peer-Verbindung 75 zurück zum anfordernden
Adapter und weiter zum Hostrechner übertragen.
-
Bei
einer Konfiguration kann ein Adapter eine Speicheranordnung erstrangig
und eine andere Speicher zweitrangig steuern, wenn sich beide in
derselben SSA-Schleife der Plattenanordnung befinden. 7 zeigt,
dass jeder Hostrechner 80 bis 85 eine Adapterkarte 86 bis 91 hat,
die entweder als primärer oder
als sekundärer
Adapter für
eine Plattenanordnung 92 bis 97 funktioniert.
Zwar sind wie oben erwähnt
nur sechs Hostrechner dargestellt, jedoch können viel mehr Hostrechner
angeschlossen sein. Jede Speicheranordnung 92 bis 97 verfügt über einen
primären
und einen sekundären
Adapter als Steuereinheit für
diese Speicheranordnung. Zum Beispiel ist der Adapter A1 (86)
die primäre
Steuereinheit für
die Speicheranordnung A (92) und gleichzeitig der sekundäre Adapter
für die
Speicheranordnung B (93). Der Adapter A2 (87)
ist die primäre
Steuereinheit für die
Speicheranordnung B und gleichzeitig der sekundäre Adapter für die Speicheranordnung
A (92). Sämtliche
Adapter sind über
eine SSA-Schleife 98 miteinander verbunden. Paare von Speicheranordnungen,
zum Beispiel die Speicheranordnung A und die Speicheranordnung B,
sind über
eine SSA-Einheitenschleife 99 miteinander verbunden. Wenn
der primäre
Adapter aktiv ist, werden die E/A-Anforderungen über den primären Adapter
weitergeleitet. Wenn die primäre
Adapterkarte jedoch ausfällt,
können
die anderen Hostrechner immer noch über den sekundären Adapter
auf die Festplattenanordnung zugreifen.
-
Das
System kann fehlerfrei konfiguriert werden, indem in jedem Hostrechner
mehrere Adapter und in der Verbindungseinheit alternative Pfade
vorgesehen werden, zum Beispiel eine Schleife oder Doppelschalter. 8 veranschaulicht
eine Konfiguration mit hoher Verfügbarkeit, bei der drei SSA-Schleifen vorgesehen
sind. Jede Adapterkarte 110 enthält zwei SSA-Knoten 112, 113 mit
Doppelanschluss. Ein Knoten 112 ist in die äußere Schleife,
die Hostrechnerschleife 114, eingebunden. Diese Schleife
dient nur der Datenübertragung
zwischen dem auslösenden
und dem primären
Adapter. Der andere Knoten 113 ist in eine der beiden inneren
Schleifen, die Einheitenschleifen 116, eingebunden. Jede
Einheitenschleife wickelt die Datenübertragung zwischen dem primären Adapter
und den Platten in den entsprechenden Speicheranordnungen ab.
-
Ferner
dient sie für
die Datenübertragung zwischen
dem primären
und dem sekundären
Adapter.
-
8 zeigt,
dass der Adapter A die Speicheranordnung 1 erstrangig und der Adapter
D die Speicheranordnung 1 zweitrangig steuert und dass der Adapter
B die Speicheranordnung 2 erstrangig und der Adapter C Speicheranordnung
2 zweitrangig steuert. Die vom Hostrechner 1 für die Speicheranordnung 1 erzeugten
E/A-Anforderungen werden direkt an den Adapter A ausgegeben. Der
Adapter A wandelt diese Anforderungen dann in Plattenlese-/-schreibbefehle
um. Die vom Hostrechner 1 erzeugten E/A-Anforderungen für die Speicheranordnung
2 werden über
den Adapter B und die Leitung 2 an den Adapter C ausgegeben. Der
Adapter C wandelt diese Anforderungen dann in Plattenlese-/-schreibbefehle
um. Desgleichen werden die vom Hostrechner 2 für die Speicheranordnung 2 erzeugten
E/A-Anforderungen direkt an den Adapter C ausgegeben. Der Adapter
C wandelt diese Anforderungen in die Plattenlese-/-schreibbefehle
um. Die vom Hostrechner 2 für
die Speicheranordnung 1 erzeugten E/A-Anforderungen werden über den
Adapter D und die Leitung 4 an den Adapter A ausgegeben. Der Adapter
A wandelt diese Anforderungen dann in Plattenlese-/-schreibbefehle
um. Bei dem oben gezeigten Beispiel sind die Platten in Form von
zwei Speicheranordnungen nach RAID Level 5 konfiguriert, zum Beispiel
in einer Konfiguration 7 + P (7 Datenplatten und eine Paritätsplatte)
mit verteilter Parität. Die
Platten sind von einem Gehäuse
mit fehlertoleranter Stromversorgung und Kühlung umgeben.
-
Alternativ
können
die Platten in Form von acht Speicheranordnungen nach RAID Level
1 konfiguriert sein. In diesem Falle kann eine Platte jeder Speicheranordnung
in jedem Hostrechner untergebracht sein. Ferner können die
Adapter als primäre Steueradapter
für eine
Speicheranordnung und als sekundäre
Steueradapter für
eine zweite Speicheranordnung eingeteilt sein, wenn sich die Speicheranordnungen
in derselben Einheitenschleife befinden. Zum Beispiel können in
der Einheitenschleife zwei Speicheranordnungen 3 + P nach RAID Level
5 zwischen den Adapter A und den Adapter D geschaltet sein. Der
Adapter A steuert die obersten Laufwerke 120 der einen
Speicheranordnung 3 + P erstrangig und die untere Gruppe der Laufwerke 122 der
zweiten Speicheranordnung 3 + P nach RAID Level 5 zweitrangig, während der
Adapter D die untere Gruppe 122 erstrangig und die obere
Gruppe 120 zweitrangig steuert. Ein Hostrechner kann auch über mehr als
zwei Adapter verfügen.
-
Wenn
ein Adapter ausfällt,
wird seine Funktion von einem sekundären Adapter übernommen.
Der Hostrechner kann dann immer noch über seinen anderen Adapter
auf die Speicheranordnungen zugreifen.
-
Wenn
ein Adapter ausfällt,
werden durch den SSA-Gateway in der sendenden Adapterkarte alle fernen
E/A-Anforderungen mit einem Fehler beendet, die gerade im Adapter
bearbeitet werden. Das Modul, dass die Transaktion weitergegeben
hat, wartet dann noch einige Sekunden in der Hoffung, dass der sekundäre Adapter
die Speicheranordnung übernommen
hat und senden wird. Die fehlgeschlagene Transaktion kann dann noch
einmal an den sekundären
Adapter gesendet werden.
-
Die
SSA-Adressierungsmöglichkeiten
gestatten, dass die Hostrechnerschleife auf bis zu 128 Adaptern
erweitert werden kann. Bei einer großen Anzahl von Adaptern stößt die Hostrechnerschleife an
die Grenzen ihrer verfügbaren
Bandbreite, da diese auf fast alle E/A-Anforderungen aufgeteilt
wird. Unter der Annahme einer Zufallsverteilung der Anforderung
muss im Durchschnitt jede Anforderung fast die halbe Schleife durchlaufen,
sodass die gesamte verfügbare
Bandbreite im Vollduplexbetrieb 2 × 20 oder 40 MB/s beträgt. Um eine
gegenseitige Sperrung zu verhindern, dürfen die SSA-Rahmen nicht durch
eine Leitung oder durch einen Knoten der Schleife geleitet werden.
Wenn das Verhältnis
der Leseoperationen zu den Schreiboperationen gleich eins zu eins
ist, beträgt
die gesamte E/A-Bandbreite 80 MB/s, wenn vom Aufwand für die Systemverwaltung
abgesehen wird. Größere Bandbreiteen
lassen sich erreichen, wenn die Hostrechnerschleife durch einen
SSA-Schalter mit mehreren Anschlüssen
ersetzt wird.
-
Bei
der in 8 gezeigten Konfiguration werden nur einige der
durch eine der Adapterkarten empfangenen Transaktionen durch die
auf dieser Karte befindliche RAID-Software verarbeitet. Für eine ferne
Ressource vorgesehene Transaktionen werden durch den SSA-Gateway
weitergeleitet. Der SSA-Gateway stellt eine Knotennummer bereit,
um jeden auffindbaren fernen Adapter zu adressieren.
-
Jeder
Festplatte, die Bestandteil einer Speicheranordnung ist, wird ein
Steueradapter zugeordnet. Dieser Adapter ist als primärer Adapter
der Festplatte bekannt. Jede Festplatte bildet mit nur zwei Adaptern
eine Schleife. Jedem Adapter wird eine Knotennummer zugeordnet.
Diese Nummer wird vom Hostrechner vergeben und kann als eindeutige
Kennung angesehen werden. Wenn eine Speicheranordnung erzeugt wird,
werden die Platten automatisch mit der Knotennummer desjenigen Adapters
markiert, der zum Erzeugen der Speicheranordnung verwendet wird.
Die Platten werden auch mit der Knotennummer des anderen Adapters
in der Schleife markiert. Der andere Adapter in den Speicheranordnungen
dient als Reserveadapter und wird als sekundärer Adapter bezeichnet. Im
Normalbetrieb arbeitet der primäre
Adapter den RAID-Code ab, der die Platten in der Speicheranordnung
steuert. Der sekundäre Adapter
verwaltet auf Anweisung durch den primären Adapter nur Zweitexemplare
des Schreib-Cachespeichers und des nichtflüchtigen Speichers (siehe folgende
Beschreibung). Wenn der sekundäre
Adapter einen Fehler erkennt, übernimmt
er die Steuerungsaufgaben des primären Adapters.
-
Jede
Adapterkarte enthält
eine Registrierung, die einen zentralen, über den Softwarebus erreichbaren
Dienst darstellt. Die Registrierung verwaltet eine Liste aller Adapter
und eine Liste aller Speicheranordnungen im System. Gemäß 9 enthält jeder
Eintrag in der Adapterliste 130 eine Knotennummer 131.
-
Jeder
Eintrag in der Liste 133 der Speicheranordnungen enthält eine
Ressourcenkennung 134 und die Knotennummer 135 des
Adapters, der gerade die Speicheranordnung (primär oder sekundär) steuert.
Die Ressourcenkennung dient dem Einheitentreiber zum Öffnen der
Speicheranordnung zum Lesen und Schreiben. Sie besteht aus einem
Typfeld 137 und einer Ressourcennummer 138. Das
Typfeld bezeichnet den Typ der Speicheranordnung, z.B. RAID Level
0, Level 1, Level 3 oder Level 5. Die Ressourcennummer ist eine
eindeutige Kennung, die beim Konfigurieren der Speicheranordnung
der Ressource zugeordnet wird.
-
Jede
DASD speichert einen Konfigurationsdatensatz 140, der während der
Konfigurierung der Eltern-Speicheranordnung erzeugt wird. Der Konfigurationsdatensatz
speichert die Ressourcenkennung 141, die Speicheranordnungsparameter 142 (z.B.
Größe der Speicheranordnung),
die Seriennummern der anderen DASDs in der Speicheranordnung 143,
den primären
Adapterknoten 144 und den sekundären Adapterknoten 145.
Alle diese Werte werden mit Hilfe eines Konfigurierungswerkzeugs
des Hostrechners manuell zugeordnet. Der Konfigurationsdatensatz
enthält
auch eine Markierung 146 zur Kennzeichnung, ob die Speicheranordnung
gerade durch den primären
oder den sekundären
Adapter gesteuert wird. Diese Markierung wird wie oben beschrieben
durch Registrierungen im primären
und im sekundären
Adapter verwaltet.
-
Während der
Erstellung der Registrierung prüft
der Adapter die Nummer des primären
Knoten jeder Platte, die Bestandteil einer Speicheranordnung ist,
und übergibt
die Platte der RAID-Firmware, wenn
die Platte zu diesem Adapter gehört.
Wenn der Adapter nicht der primäre
Controller dieser Platte ist, sendet er ein Pingsignal an den anderen
Adapter, um zu ermitteln, ob dieser gerade aktiv ist. Wenn der andere
Adapter nicht aktiv ist, übernimmt
der erste Adapter die Steuerung dieser Platte in der Speicheranordnung.
Dieser Vorgang wird als Übernahme
bezeichnet. Die Registrierung führt
die Übernahme
der Platte systemübergreifend
durch. Zur Übernahme kommt
es, wenn ein Adapter feststellt, dass der andere Adapter vom aktiven
in einen Fehlerzustand gewechselt ist. Wenn das passiert, erfolgt
die Übernahme.
Alle Platten, die für
den Wechsel infrage kommen, werden gesperrt, zum Beispiel durch
SCSI-Befehl „Reservieren". Dann wird eine
Markierung von jeder Platte geändert,
um anzuzeigen, dass die Platte nicht durch den primären, sondern
durch den sekundären
Adapter gesteuert werden soll. Dann können alle Platten wieder freigegeben
werden. Wenn eine der Platten nicht reserviert werden kann, werden
die Reservierungen aller bis dahin reservierten Platten wieder aufgehoben.
Der Prozess wird abgebrochen und nach einer zufällig gewählten Zeitspannen wiederholt.
Wenn auch nach der Reservierungsperiode immer noch ein Fehler auftritt,
werden alle Markierungen wieder in ihren vorigen Zustand zurück versetzt und
der Prozess abgebrochen und wiederholt. Wenn es während dieses
Prozesses zum Stromausfall kommt und der Stromausfall behoben wurde,
erkennen beide Adapter, dass die Konsistenz verloren gegangen ist,
und ordnen alle Platten standardmäßig dem primären Adapter
zu.
-
Das
Gegenteil der obigen Übernahmeprozedur
stellt das Zurücksetzen
dar. Hierzu kommt es, wenn beide Adapterkarten aktiv sind. Der Prozess wird
durch den sekundären
Adapter durch periodische Senden von Pingsignalen an den primären Adapter
ausgelöst,
um festzustellen, ob dieser wieder einsatzbereit ist. Wenn das Senden
der Pingsignale erfolgreich ist, teilt die Registrierung des sekundären Adapters
dessen RAID-Steuereinheit jede Platte mit, die er an den primären Adapter
zurückgeben
möchte, indem
er die freizugebende Platte angibt. Die RAID-Steuereinheit im sekundären Adapter
schließt zuerst
die Speicheranordnung mit den darin enthaltenen angegebenen Platten
und anschließend
die Platten selbst. Wenn alle Platten in einer Speicheranordnung
geschlossen sind, sperrt die Registrierung im sekundären Adapter
die Platten in der oben beschriebenen Weise und setzt die Markierung
zurück,
sodass die Platten wieder durch den primären Adapter gesteuert werden.
Dann gibt der sekundäre
Adapter die Platten frei und teilt der Registrierung im primären Adapter
mit, dass das Zurücksetzen
abgeschlossen ist.
-
Damit
es beim Ausschalten des Systems nicht zu einer nicht erwünschten Übernahme
kommt, schließt
das System zuerst alle offenen Speicheranordnungen und teilt der
Registrierung der Adapterkarten mit, dass das System heruntergefahren
wird. Dann teilt die Registrierung im primären Adapter der Registrierung
im sekundären
Adapter mit, dass sie gerade heruntergefahren wird. Daraufhin setzt
die Registrierung des sekundären
Adapters die Markierung zurück,
die anzeigt, dass der primäre
Adapter aktiv ist. Da eine Übernahme
nur dann stattfinden kann, wenn der sekundäre Adapter erkennt, dass der primäre Adapter
vom aktiven in den Fehlerzustand wechselt, führt das anschließende Ausschalten
des primären
Adapters nicht zur Übernahme.
-
Die
Speicheranordnungen sind in einer SSA-Schleife zwischen einen primären und
einen sekundären
Adapter geschaltet. Wenn eine Leitung zu einer Platte oder zwischen
einer Platte und einem Adapter ausfällt, können beide Adapter immer noch auf
alle Platten zugreifen, da die Datenübertragungen in beiden Richtungen
durch die Schleife geleitet werden können. Wenn also die Leitung 101 gemäß 7 ausfällt, kann
der Adapter A1 (86) immer noch auf die Speicheranordnung
A (92) zugreifen, indem er die Daten auf der Leitung 102 zur
Leitung 104 und über
die Schnittstellen-Chip der Adapterkarte A2 zur Leitung 103 sendet.
Diese Datenübertragung
zur Adapterkarte A2 wird durch die Software in der Adapterkarte
A2 überhaupt
nicht verarbeitet. Der SSA-Chip erkennt, dass die Nachricht lautet,
dass Rahmen für die
andere Speicheranordnung in der Schleife weitergeleitet werden sollen
und die Anforderung zu dieser Speicheranordnung sendet wird. Dasselbe
gilt auch für
die SSA-Chips in
der Speicheranordnung B (93).
-
Der
obige Prozess wird als Durchleitungs-Routing bezeichnet und stellt
eine Standardfunktion in der SSA-Transportschicht dar. Die Durchleitung
dient auch zur Übertragung
einer Anforderung auf Datenzugriff von einem Ursprungsadapter an
den für
die Speicheranordnung zuständigen
Steueradapter. Jeder Knoten mit Doppelanschluss (Adapter oder Plattenlaufwerk)
weist im SSA-Chip einen Hardware-Router auf. Der Router prüft das erste
Byte im Adressfeld und ermittelt, ob der Rahmen zum nächsten Knoten
in der Schleife weitergeleitet werden soll. Der Ursprungsadapter
braucht nur noch die Pfadadresse des primären Adapters in das Adressfeld
des Rahmens einzutragen, wenn er die Anforderung über die
Schleife senden will.
-
Der
Pfad wird beim Einschalten des Systems festgelegt. Ein Initiatoradapter
durchsucht das Netz, um die Konfiguration zu ermitteln und die Konfigurationstabelle
zu erstellen, die für
jeden Knoten einen Eintrag enthält.
Jeder Eintrag enthält
auch die Pfadadresse dieses Knotens. Wenn es noch alternative Pfade
gibt, wählt
der Initiator im Allgemeinen den Pfad aus, der die wenigsten Leitungen
nutzt. Das kann sich ändern,
wenn eine Leitung getrennt wird.
-
Der
Einheitentreiber ermittelt die Speicheranordnung, welche die angeforderten
Daten enthält. Dann
fragt die Einheit in der Registrierung eines Adapters nach, welche
Speicheranordnungen lokal gesteuert werden. Wenn ein Hostrechner über mehr
als einen Adapter verfügt,
sendet der Einheitentreiber die Anforderung an den Adapter, der
die Speicheranordnung mit den angeforderten Daten erstrangig steuert
(wenn diese also lokal gesteuert wird). Ansonsten versucht der Einheitentreiber
bei fernen Speicheranordnungen die Auslastung zwischen den Adaptern
auszugleichen, indem er entweder die Hälfte der Speicheranordnungen über jeden
Adapter adressiert oder Anforderungen abwechselnd über jeden
Adapter sendet.
-
Der
Inhalt des nichtflüchtigen
RAM wird durch den primären
Adapter in den nichtflüchtigen RAM
des sekundären
Adapters gespiegelt. Die RAID-Module erledigen dies über den
SSA-Gateway und
den nichtflüchtigen
RAM-Manager in der sekundären
Adapterkarte.
-
Im
Normalbetrieb nutzt der primäre
Adapter die Einheitenschleife zum Aufbewahren eines Zweitexemplars
seines Schreib-Cachespeichers im sekundären Adapter sowie der Metadaten,
welche den gerade aktualisierten Bereich in der Speicheranordnung
anzeigen. Dadurch kann die Übernahme
vom primären
zum sekundären
Adapter ohne Datenverluste im Schreib-Cachespeicher oder Beschädigung der
Speicheranordnung durchgeführt
werden.
-
Wenn
der primäre
Adapter einen Schreibbefehl ausführt,
sendet er auch eine Kopie der Daten an den Schreib-Cachespeicher
im sekundären
Adapter. Wenn der primäre
Adapter Daten vom Schreib-Cachespeicher zur Platte übertragen
soll, sendet er eine Nachricht an den sekundären Adapter, um anzuzeigen,
welcher Bereich der Speicheranordnung gerade aktualisiert wird.
Die beiden Adapter speichern diese Daten normalerweise im nichtflüchtigen
Speicher, damit sie so lange vor Stromausfall geschützt sind, bis
das Auslagern beendet ist. Wenn der primäre Adapter die Daten ausgelagert
und die Parität
aktualisiert hat, sendet er eine zweite Nachricht an den sekundären Adapter.
Der sekundäre
Adapter löscht dann
die entsprechenden Datensätze
aus seinem Schreib-Cachespeicher und dem nichtflüchtigen Speicher.