DE69506155T2

DE69506155T2 - Asynchrones Datenfernkopieren

Info

Publication number: DE69506155T2
Application number: DE69506155T
Authority: DE
Inventors: William Frank Tucson Arizona 85718 Micka; Robert Wesley Morgan Hill California 95037 Shomler
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1994-03-21
Filing date: 1995-03-02
Publication date: 1999-06-24
Anticipated expiration: 2015-03-03
Also published as: EP0674263B1; JPH07262070A; JP2894676B2; DE69506155D1; US5657440A; EP0674263A1

Description

Die vorliegende Erfindung betrifft das asynchrone Datenfernkopieren oder -duplizieren, um den Datenerhalt in einem Informationsverarbeitungssystem zu ermöglichen, wobei Informationen von einem Speicher-Subsystem einer Primärstation an eine ferne Datenstation kopiert werden können.
Das Kopieren von Daten ist eine Form der Datenerhaltung in einem Informationsverarbeitungs- oder Rechnersystem. Jedoch müssen bei der Datenerhaltung mittels dem Kopieren von Daten viele Faktoren berücksichtigt werden. Dies ist dort von besonderer Bedeutung, wo vorweg angenommen wird, daß die an eine ferne Station kopierten und dort gespeicherten Daten die Reservedatenbank für eine fortgesetzte Interaktion mit den Daten sein würden, falls die Arbeit und die Daten an einer Primärstation nicht mehr verfügbar wären. Zu den Faktoren, die beim Kopieren von Interesse sind, gehören die Schutzdomäne (System- und/oder Umgebungsausfall oder Geräte- und/oder Datenträgerausfall), der Datenverlust (kein Verlust/Teilverlust), der Zeitpunkt, zu dem der Kopiervorgang in Bezug auf das Auftreten anderer Daten und Prozesse geschieht (Zeitpunkt/Echtzeit), der Unterbrechungsgrad von Anwendungen, die auf dem Rechner ausgeführt werden, und die Frage, ob die Kopie auf der Anwendung oder dem Speichersystem basiert. In Bezug auf den letzten Faktor schließt der auf der Anwendung basierende Kopiervorgang Protokolldateien, Datendateien und Programmroutinen ein, während der auf dem Speicher basierende Kopiervorgang ein Verständnis der Adressen der Direktzugriffsspeichereinheiten (DASDs) ohne Kenntnis der Datentypen oder der anwendungsseitigen Verwendung der Daten einschließt.
Echtzeit-Datenfernduplizierungssysteme erfordern ein Mittel, das dazu dient, die Aktualisierungsfolgeintegrität als Schreibaktualisierungen der Datenkopie der sekundären oder fernen DASD zu gewährleisten. Eine Möglichkeit, dies zu erreichen, ist die Bereitstellung eines synchronen Systems zur Steuerung der DASD- Subsysteme. In einem solchen System wird eine Schreiboperation der primären DASD erst ausgeführt, wenn eine Kopie dieser Daten an einer sekundären Datenstation bestätigt worden ist. Das Problem bei diesen synchronen Systemen ist, daß sie den Gesamtbetrieb des Duplizierungssystems verlangsamen.
Asynchrone Kopiersysteme erreichen die Folgeintegrität durch eine Zentralisierung und Konsolidierung der Datenübertragungen zwischen primären und sekundären DASD-Subsystemen über ein zentrales Übertragungssystem. In solchen Systemen kann ein System an der Primärstation die Reihenfolge von verschiedenen Aktualisierungsschreiboperationen zwischen allen DASD-Subsystemen an der Primärstation feststellen und diese Informationen an das DASD-Subsystem an der fernen Station übertragen. Das sekundäre Subsystem wiederum verwendet die Reihenfolgeinformationen von dem primären Subsystem, um die Anwendung von Aktualisierungsdaten auf die Datenkopie der sekundären DASD zu steuern. Bekannte asynchrone Kopiersysteme, die von zentralen Datenübertragungen Gebrauch machen, sind nachstehend beschrieben.
Mc Ilvain und Shomler, US-Patentanmeldung Nummer 08/036 017 mit dem Titel "Method and Means for Multi-System Remote Data Duplexing and Recovery" (EP A 617362), beschreiben die Verwendung einer Speichervermittlungs-Nachrichtenschnittstelle auf der DASD-Speicherverwaltungsebene zwischen einer Quelle von Aktualisierungskopien und einer fernen Station in einer Host-zu- Host-Verbindung, bei welcher der Unterschied bei der Aktualisierungsvollständigkeit oder dem Verlust der Reihenfolge von Schreibaktualisierungen im Falle einer Unterbrechung vollständig angegeben werden könnte.
Cheffetz u.a., US-Patentschrift 5 133 065 mit dem Titel "Backup Computer Program for Networks", ausgegeben am 21. Juli 1992, beschreiben ein lokales Netzwerk (LAN), das einen Datei-Server hat, an den jeder lokale Knoten eine von ihm erstellte Liste von lokalen Dateien, die gesichert werden müssen, überträgt. Solch eine ferne Erzeugung verringert den Verkehr an der Stelle, an der ein Netzwerk-Server die Listenerstellungs- und Dateikopieraktivität einleitet. Argumentationshalber sei erwähnt, daß der vor diesem in Bezug genommenen Schriftstück veröffentlichte Stand der Technik eine zentral verwaltete Dateiauswahl lehrte. Dies führte zu Kompromissen bei der Sicherheit der lokalen Knoten und einer Überbeanspruchung des Servers. Dies wird vermutlich durch die von den lokalen Knoten erstellten Listen und der Übertragung der Listen an den Datei-Server nach Cheffetz vermieden.
Beale u.a., US-Patentschrift 5 155 845 mit dem Titel "Data Storage System for Providing Redundant Copies of Data on Different Disk Drives", kopieren Datensätze veränderlicher Länge (CKD) in zwei oder mehr externe Speicher, indem sie veranlassen, daß eine Schreiboperation von der ersten Speichersteuereinheit verarbeitet und über eine Direktverbindung (Breitbandpfad) parallel an die zweite Speichersteuereinheit übertragen wird, wobei die Pfadlängenbegrenzung zwischen der primären und der fernen Kopierstation vermieden wird. Der Anlaß für diese Begrenzung ist die Tatsache, daß die Architektur der CDK- Schreib-/Leseantwort auf eine Länge von 150 m begrenzt ist.
Ein weiteres Beispiel für ein asynchrones System, das ein zentrales System verwendet, ist in der US-Patentanmeldung mit dem Titel "Remote Data Duplexing Asynchronous Information Packet Message" von Micka u.a. (EP A 602822) beschrieben. Dieses System beschreibt ein System, das dazu dient, Daten von Direktzugriffsspeichereinheiten (DASDs) in einer Vielzahl von DASD- Subsystemen asynchron zu duplizieren und den Vorteil hat, daß die Datenduplizierungsoperation von der DASD-E/A-Schreiboperation entkoppelt wird. Dies gewährleistet, daß die Schreiboperation keine unnötigen Wartezustände in dem Subsystem hervorruft. Durch die Festlegung eines Folgeprüfpunkts, zu dessen Zeitpunkt eine Reihe von Informationspaketen zu einer Gruppe zusammengefaßt und als eine einzige Folgeeinheit verarbeitet wird, findet diese Entkopplung und unabhängige Operation statt. Durch diese Unabhängigkeit kann das Kopieren von Daten an eine sekundäre Datenstation stattfinden, ohne die Leistungsfähigkeit der Subsysteme und auch die entsprechende Integrität der Daten, die aktualisiert werden, nachteilig zu beeinflussen.
EP-A-602822 beschreibt ein System zur asynchronen Duplizierung von Daten von Direktzugriffsspeichereinheiten (DASDs) in einer Vielzahl von DASD-Subsystemen. Vorteilhafterweise entkoppelt das System die Datenduplizierungsoperation von der DASD-E/A- Schreiboperation und stellt dadurch sicher, daß eine Schreiboperation keine unnötigen Wartezustände in einem Subsystem hervorruft. Das System verwendet einen Folgeprüfpunkt als Teil dieses Entkopplungsprozesses.
Es sind Systeme in Gebrauch, in denen es keinen zentralen Übertragungsdienst zwischen den primären und den sekundären Datenstationen gibt. Bei solchen Systemkonfigurationen hat jedes primäre Subsystem häufig eine direkte, unabhängige Verbindung zu einem ausgewählten sekundären Subsystem. Ein solches System, das Subsysteme enthält, die reihenfolgekonsistente asynchrone Schreiboperationen ermöglichen, kann nicht mit bekannten asynchronen Kopierschemata adressiert werden.
Folglich stellt die Erfindung ein Verfahren zum Betreiben eines asynchronen Datenfernkopiersystems bereit, das eine Primärstation enthält, die eine erste Vielzahl von Speicher-Subsystemen hat, die durch ein erstes Kopplungsmittel miteinander verbunden sind, und eine von der Primärstation entfernte Sekundärstation, die eine zweite Vielzahl von Speicher-Subsystemen hat, die durch ein zweites Kopplungsmittel miteinander verbunden sind, wobei jedes der zweiten Vielzahl der Speicher-Subsysteme unabhängig von den anderen mit einem Gegenstück der ersten Vielzahl der Speicher-Subsysteme verbunden ist, wobei das Verfahren die folgenden Schritte umfaßt:
in der ersten Vielzahl der Subsysteme
Senden eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme;
Senden von Datenaktualisierungen und des Prüfpunktsignals an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme; und
in der zweiten Vielzahl der Subsysteme
Empfangen und Puffern der Datenaktualisierungen und der Prüfpunktsignale;
und Koordinieren des Schreibens der Datenaktualisierungen auf der Grundlage der Prüfpunktsignale, so daß die Integrität der Aktualisierungsfolgen an der Sekundärstation gewahrt bleibt. Dieses Verfahren stellt unabhängige Verbindungen zwischen primären und sekundären Subsystemen ohne ein zentrales Übertragungssystem zur Verfügung und ermöglicht ein reihenfolgekonsistentes Fernkopieren von einer aus mehreren Subsystemen beste henden Gruppe an einer Station an eine aus mehreren Subsystemen bestehende zweite Gruppe an einer zweiten Station. Das asynchrone Kopiersystem ist einfach und kostengünstig und stellt kein großes Hindernis für den Gesamtbetrieb der Subsysteme dar.
In einer bevorzugten Ausführungsform umfaßt der Schritt des Sendens eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme des weiteren den Schritt der Verteilung eines Folgesignals an der Primärstation, wobei das Prüfpunktsignal Informationen enthält, die den Wert des Folgesignals anzeigen. Dieses Folgesignal wird verwendet, um den Gleichlauf zwischen den verschiedenen Subsystemen sicherzustellen. Wenn das Netzwerk jedoch eine schnelle und zuverlässige Verteilung der Prüfpunktnachrichten gewährleisten kann, ist es in manchen Situationen möglich, auf das Folgesignal zu verzichten.
Es ist des weiteren vorzugsweise erwünscht, daß der Schritt des Sendens von Datenaktualisierungen und eines Prüfpunktsignals an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme die folgenden Schritte umfaßt: Asynchrones Erzeugen einer Folge von Datenaktualisierungen an jedem der ersten Vielzahl der Subsysteme; Ordnen einer jeden der Folgen entsprechend dem verteilten Folgesignal und dem Prüfpunktsignal; und asynchrones Übertragen von Aktualisierungsfolgen von jedem der ersten Vielzahl der Subsysteme an ein Subsystem-Gegenstück.
In einer bevorzugten Ausführungsform umfaßt das Verfahren des weiteren die folgenden ersten Schritte an der Primärstation: Aktivieren eines jeden der ersten Vielzahl der Subsysteme, damit es mit den anderen Subsystemen in der ersten Vielzahl der Subsysteme kommuniziert; Aktivieren eines jeden der ersten Vielzahl der Subsysteme, damit es mit seinem Subsystem-Gegenstück in der zweiten Vielzahl der Subsysteme, mit dem es verbunden ist, kommuniziert; Erstellen von mindestens einer Konfi gurationstabelle in jedem der ersten Vielzahl der Subsysteme, so daß jedes der ersten Vielzahl der Subsysteme alle anderen Subsysteme in der ersten Vielzahl der Subsysteme erkennen kann; und Synchronisieren der ersten Vielzahl der Subsysteme; und das Verfahren umfaßt des weiteren die folgenden ersten Schritte an der Sekundärstation: Empfangen von Kopiervorgang- Aktiv-Nachrichten in der zweiten Vielzahl der Subsysteme; Erstellen von Kopiervorgang-Aktiv-Tabellen in der zweiten Vielzahl der Subsysteme; und Synchronisieren von Kopieroperationen der zweiten Vielzahl der Subsysteme;
und wobei der Koordinierungsschritt des weiteren den Schritt der Durchführung eines Treffens aller Prüfpunktsignale in der zweiten Vielzahl der Subsysteme umfaßt.
Ebenfalls in einer bevorzugten Ausführungsform umfaßt das Verfahren des weiteren die folgenden ersten Schritte:
an der Primärstation als Antwort auf die Einleitung eines Vorgangs "Kopieroperation starten" an jedem der Subsysteme in der ersten Vielzahl der Subsysteme Feststellender Untergruppe der Vielzahl der Subsysteme, die eine Kopiersatzgruppe bildet, und Bestimmen eines der Vielzahl der Subsysteme zu einer Takt- und Prüfpunktsignalquelle, wobei jedes Prüfpunktsignal einen Folgetaktwert und eine erhöhte Folgenummer enthält;
an der Sekundärstation als Antwort auf die Einleitung eines Vorgangs "Kopieroperation starten" an jedem der Subsysteme in der zweiten Vielzahl der Subsysteme Feststellen der Untergruppe der Vielzahl der Subsysteme, die eine Kopiersatzgruppe bildet, und Bestimmen eines der Vielzahl der Subsysteme zu einem Prüfpunktsignal-Treffpunkt, um die zweite Vielzahl der Subsysteme zu synchronisieren;
und wobei der Schritt des Sendens eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme die Schritte der periodischen Erzeugung von Taktsignalen und Prüfpunktsignalen durch das ausgewählte Subsystem an der Primärstation und die Übertragung der Takt- und Prüfpunktsignale in der Folge ihres Auftretens an andere Subsysteme, welche die Kopiersatzgruppe an der Primärstation bilden, einschließlich seiner selbst, umfaßt;
und wobei der Schritt des Sendens von Datenaktualisierungen und des Prüfpunktsignals an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme für jedes Subsystem in der Kopiersatzgruppe die asynchrone Bildung einer lokalen Folge von aktualisierten Datensätzen umfaßt, wobei die Takt- und Prüfpunktsignale in die Folge eingebunden werden, um eine nach dem Zeitpunkt unterschiedene Gesamtanordnung von aktualisierten Datensätzen zu bilden, und Senden von mindestens einem Teil der Folge an das Subsystem-Gegenstück an der Sekundärstation;
und wobei der Schritt der Koordination des Schreibens von Datenaktualisierungen und Prüfpunktsignalen an der Sekundärstation die Schritte des Sendens des Prüfpunktsignals an das ausgewählte Subsystem an der Sekundärstation durch jedes Subsystem in der Kopiersatzgruppe und das Schreiben der Folgen oder von Teilen der Folgen, die in den Subsystemen gepuffert sind, erst nach einem Signal von dem ausgewählten Subsystem, das dessen Empfang aller an das Subsystem gesandten Prüfpunktsignale anzeigt, umfaßt.
Jedes Prüfpunktsignal zeigt an, daß alle Datenaktualisierungen mit einem Taktsignal, dessen Folgenummer kleiner als der Prüfpunktsignal-Folgetaktwert ist, an das sekundäre Subsystem-Gegenstück übertragen worden sind.
Die Erfindung stellt ferner ein asynchrones Datenfernkopiersystem bereit, das eine Primärstation enthält, die eine erste Vielzahl von Speicher-Subsystemen hat, die durch ein erstes Kopplungsmittel miteinander verbunden sind, und eine von der Primärstation entfernte Sekundärstation, die eine zweite Vielzahl von Speicher-Subsystemen hat, die durch ein zweites Kopplungsmittel miteinander verbunden sind, wobei jedes der zweiten Vielzahl der Speicher-Subsysteme unabhängig von den anderen mit einem Gegenstück der ersten Vielzahl der Speicher-Subsysteme verbunden ist,
wobei die erste Vielzahl der Subsysteme ein Mittel enthält, um an jedes der ersten Vielzahl der Subsysteme ein Prüfpunktsignal zu senden; und ein Mittel, um Datenaktualisierungen und das Prüfpunktsignal an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme zu senden; und
die zweite Vielzahl der Subsysteme ein Mittel enthält, um die Datenaktualisierungen und die Prüfpunktsignale zu empfangen und zu puffern; und ein Mittel, um das Schreiben der Datenaktualisierungen auf der Grundlage der Prüfpunktsignale so zu koordinieren, daß die Integrität der Aktualisierungsfolgen an der Sekundärstation gewahrt bleibt.
Vorzugsweise umfaßt das Mittel, das dazu dient, Datenaktualisierungen und das Prüfpunktsignal an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme zu senden, ein Mittel, das auf das Mittel zum Senden eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme anspricht, um das Prüfpunktsignal in eine Datenaktualisierungsfolge von jedem der ersten Vielzahl der Subsysteme an dessen Subsystem-Gegenstück einzufügen.
Folglich können das vorstehende Verfahren und Mittel zum Fernkopieren von Daten an sekundären DASD-Subsystemen verwendet werden. Bei einer solchen Ausführung sind die sekundären DASD- Subsysteme typischerweise gleichwertig mit DASD-Subsystem-Gegenstücken, die an einen primären Host angeschlossen sind, verbunden. Der Vorgang "Kopieroperation starten" wird am Host durch eine Nachrichtenübertragung an alle primären DASD-Subsysteme eingeleitet. Jedes primäre Subsystem erstellt eine Konfigurationstabelle unter Verwendung eines lokalen Netzwerks oder eines anderen geeigneten Mittels als teilassoziative Vorrichtung zur Erstellung von Tabellen. Diese Tabelle weist alle teilnehmenden primären Subsysteme aus. Auch synchronisiert jedes primäre Subsystem seinen lokalen Takt oder eine andere Zeitreferenz auf denjenigen eines ausgewählten primären Subsystems, wobei das ausgewählte primäre Subsystem als Takt- und Prüfpunktnachrichtenquelle dient. Das ausgewählte primäre Subsystem sendet in regelmäßigen Abständen Prüfpunktnachrichten, die einen Folgezeitwert und eine aufsteigende Prüfpunktfolgenummer haben, an jedes primäre Subsystem. Diese werden in dessen lokale Kopierschreibdatensatzfolge eingefügt. An den mit dem sekundären Host verbundenen DASD-Subsystemen wird eines der sekundären Subsysteme zu einer lokalen Synchronisationsquelle bestimmt. Jedes sekundäre Subsystem erstellt eine Konfigurationstabelle von Subsystemen mit einem aktiven Kopiervorgang und koppelt sich an das primäre Subsystem-Gegenstück an. Als nächstes empfängt jedes sekundäre Subsystem asynchron eine Kopierfolge von ihrem primären Gegenstück und puffert diese lokal. Jede empfangene Folge enthält Prüfpunktnachrichten, die an dem primären Subsystem darin eingebunden wurden, nachdem alle mit einem Zeitstempel versehenen, schreibaktualisierten Datensätze gesendet worden sind. Als Antwort auf den Empfang einer Prüfpunktnachricht sendet sie das sekundäre Subsystem an die lokale Synchronisationsquelle. Von dieser Quelle wird prüfpunktnachrichtenübergreifend ein Treffen durchgeführt. Somit schreibt jedes sekundäre Subsystem nach dem Empfang des Treffen-vollständig-Signals von der Synchronisationsquelle Daten aus dem Puffer in die DASD. Wenn eines oder mehrere der primären DASD-Subsysteme nicht mehr verfügbar sind, treten ihre Gegenstücke an der Sekundärstation aus der Kopiergruppe aus. Dies geschieht erst nach der Fertigstellung von im Gang befindlichen Aktualisierungen.
Diese Vorgehensweise erlaubt die verteilte, dezentrale, systembetriebene Steuerung einer reihenfolgekonsistenten, asynchronen Echtzeit-Datenkopie von einer Gruppe von DASD-Subsystemen an einer primären Datenstation an eine Gruppe von DASD-Subsystemen an einer sekundären Datenstation, wobei primäre Subsysteme mit sekundären Subsystemen getrennt und unabhängig verbunden sind. Dadurch wird es möglich, die Integrität der Aktualisierungsfolge einer Datenkopie an einer Vielzahl von Subsystemen zu wahren, die sich in einiger Entfernung von einer Quelle einer asynchron und unabhängig erzeugten Folge von Schreiboperationen befinden, wobei sich eine erste Vielzahl von Subsystemen an einer Primärstation befindet, wobei die erste Vielzahl der Subsysteme durch ein erstes Kopplungsmittel miteinander verbunden ist, und sich eine zweite Vielzahl von Subsystemen an einer von der Primärstation entfernten Station befindet, wobei die zweite Vielzahl der Subsysteme durch ein zweites Kopplungsmittel miteinander verbunden ist, wobei jedes der zweiten Vielzahl der Subsysteme unabhängig von den anderen mit einem der ersten Vielzahl der Subsysteme verbunden ist.
In einem System zum Fernkopieren von Daten an einer Sekundärstation, die eine Kopplungsvielzahl von Speichereinheit-(DASD- )Subsystemen hat, die durch ein erstes Kopplungsmittel miteinander verbunden sind, wobei die sekundären DASD-Subsysteme mit Gegenstücken einer Vielzahl von DASD-Subsystemen an einer fernen Primärstation verbunden sind, wobei die sekundären DASD- Subsysteme durch ein zweites Kopplungsmittel miteinander verbunden sind, wobei das System an der Primärstation ein Mittel enthält, um den Vorgang "Kopieroperation starten" einzuleiten, ist somit ein Verfahren bereitgestellt, das die folgenden Schritte umfaßt:
(a) an der Primärstation und an der Sekundärstation Bilden von jeweils m Kopiersatzgruppen von DASD-Subsystemen;
(b) an der Primärstation:
(1) jedes der m Subsysteme zur asynchronen Erzeugung einer Folge von aktualisierten Schreibdatensätzen veranlassen;
(2) Ordnen einer jeden der Folgen, indem gemeinsame Taktwerte und eine periodische Prüfpunktnachricht mit einem gemeinsamen Taktwert eingebunden und eine Folgenummer in jeder der Folgen erhöht werden;
(3) DASD-Subsystem-Gegenstücke zwischen den Stationen miteinander verbinden und Folgen von einem jeden der Subsysteme der Primärstation asynchron in einen gepufferten Teil eines Subsystem-Gegenstücks der Sekundärstation übertragen; und
(c) an der Sekundärstation Schreiben der gepufferten Folgen in die DASDs in den Subsystem-Gegenstücken in Abhängigkeit von einer jeden Prüfpunktnachricht.
Eine Ausführungsform der Erfindung wird nun lediglich anhand eines Beispiels mit Bezug auf die folgenden Zeichnungen ausführlich beschrieben:
Fig. 1 ist eine Konfiguration eines herkömmlichen Datenfernkopiersystems;
Fig. 2 ist ein gemäß der vorliegenden Erfindung konfiguriertes Zweifach-Fernkopiersystem;
Fig. 3 ist ein Flußdiagramm, das die allgemeine Betriebsweise des Zweifach-Fernkopiersystems von Fig. 2 zeigt; und
die Fig. 3A bis 3D sind ausführlichere Flußdiagramme, welche die Betriebsweise des Zweifach-Fernkopiersystems von Fig. 2 zeigen,
Zur Durchführung des asynchronen Fernkopierens muß (1) die Folge der Datenaktualisierungen an einer lokalen Station feststellbar sein; (2) diese Folge muß von der lokalen Station an eine ferne Station übertragbar sein; und (3) die ferne Station muß in der Lage sein, die Folge zu verwenden, um die Aktualisierung an der fernen Station zu steuern.
Wie zuvor erwähnt wurde, benötigen asynchrone Kopiersysteme nach dem Stand der Technik, die mehrere Subsysteme enthalten, ein zentrales System zur Bereitstellung der passenden Datenfolgen. Jedoch kann man Systemkonfigurationen finden, bei denen es nicht erwünscht ist, Aktualisierungsdaten zwischen den primären und den sekundären Datenstationen über einen zentralen Übertragungsdienst weiterzuleiten. Vielmehr ist es in solchen Konfigurationen erwünscht, DASD-Subsysteme an der Primär- und der Sekundärstation über unabhängige Subsystem-zu-Subsystem-Datenübertragungsverbindungen direkt miteinander zu verbinden. Ein solches System 10 ist in Fig. 1 gezeigt. Das System 10 enthält einen Host 11, der den primären Subsystemen 12' Daten bereitstellt. Wie gezeigt ist, ist jede der Verbindungen zwischen einem primären DASD-Subsystem 12' und dessen mit ihm gleichwertig verbundenen sekundären DASD-Subsystem 14' unabhängig. Folglich wäre diese Art von System zwangsläufig nicht in der Lage, reihenfolgekonsistente Schreiboperationen auszuführen.
Zur genaueren Beschreibung des Problems betrachten wir als Beispiel eine Folge von drei Schreiboperationen von einem herkömmlichen Datenbankverwaltungssystem (DBMS), das gerade dabei ist, eine Transaktion festzuschreiben. Das Beispiel ist typisch für ein Informationsverwaltungsdienst-(IMS-)System:
1. Das DBMS schreibt in seine Protokolldatei; der geschriebene Datensatz enthält alte Datenbank-(DB-)Daten, neue DB- Daten (die durch diese Transaktion gerade geändert werden), und einen Datensatz mit seiner Absicht, diese Transaktion festzuschreiben (abzuschließen).
2. Das DBMS wartet darauf, daß eine DASD-E/A-Operation meldet, daß sie abgeschlossen ist, und dann aktualisiert es seine Datenbankdateien, bei denen es sich um andere Datenträger handelt, die sich auf einem anderen DASD-Subsystem befinden. Durch diesen Schreibvorgang der neuen DB-Daten werden die alten DB-Datensätze überschrieben und damit zerstört.
3. Das DBMS wartet darauf, daß die zweite DASD-E/A-Operation als abgeschlossen gemeldet wird und schreibt dann einen Festschreibungsdatensatz in seine Protokolldatei auf dem ersten Datenträger. Dieser Festschreibungsdatensatz "gewährleistet" zukünftigen IMS-Wiederherstellungsprozessen, daß die Datenbankdateien (DASD-Datenträger) aktualisiert worden sind.
Betrachten wir nun die Betriebsweise eines asynchronen Fernkopiersystems, das eine Konfiguration mit mehreren Subsystemen verwendet, wie sie beispielsweise in Fig. 1 gezeigt ist. In dieser Ausführungsform befindet sich die DBMS-Protokolldatei auf einem Datenträger, der für das oberste DASD-Subsystempaar (DASD 1 und DASD 1') konfiguriert ist, und die Datenbank-Datenträger befinden sich auf dem DASD-Subsystempaar, das an zweiter Stelle von oben gezeigt ist (DASD 2 und DASD 2'). In diesem Beispiel ist das primäre Subsystem 1 nur leicht beansprucht, und es verarbeitet seine in der Warteschlange befindliche Arbeit folglich ohne Verzögerung, während das primäre Subsystem 2 stark beansprucht ist und die Verarbeitung seiner in der Warteschlange befindlichen Arbeit einige Verzögerung erfährt. Zu der in der Warteschlange befindlichen Arbeit gehört die Weiterleitung von aktualisierten Daten an sein gleichwertiges Fernkopier-Subsystem.
Die folgende Reihenfolge würde den Ablauf im vorliegenden Beispiel beschreiben:
1. Die E/A-Schreiboperation (1) von der Anwendung an das Subsystem 1 wird abgeschlossen.
2. Die E/A-Schreiboperation (2) von der Anwendung an das Subsystem 2 wird abgeschlossen.
3. Das primäre Subsystem I sendet Daten für die E/A-Operation (1) an das sekundäre Subsystem 1, das sie auf seine Cache- Speicherkopie des DASD-Datenträgers anwendet.
4. Die E/A-Schreiboperation (3) vom Anwendungssystem an das Subsystem 1 wird abgeschlossen.
5. Das primäre Subsystem 1 sendet Daten für die E/A-Operation (3) an das sekundäre Subsystem 1, das sie auf seine Cache- Speicherkopie des DASD-Datenträgers anwendet.
6. Das primäre Subsystem 2 sendet Daten für die E/A-Operation (2) an das sekundäre Subsystem 2, das sie auf seine Cache- Speicherkopie des DASD-Datenträgers anwendet.
Wenn nach dem Schritt S und vor dem Schritt 6 ein Fehler an der Primärstation auftreten würde, würden verfälschte Daten in das System kopiert werden. Da der Fehler einen Zugriff auf die pri mären Subsysteme unmöglich gemacht hat, befinden sich die Daten von der E/A-Operation (2) nicht an der Sekundärstation.
Das Wesentliche der Datenfolgekonsistenz bei einem Fernkopierdienst ist, daß zu einem Zeitpunkt, zu dem die ferne DASD zur Wiederherstellung verwendet werden muß, zuverlässig dafür gesorgt wird, daß die neuen Daten von der obigen zweiten E/A- Operation nur gesehen werden, wenn die Daten von der ersten E/A-Operation ebenfalls vorhanden sind, und daß die Daten von der dritten E/A-Operation nur vorhanden sind, wenn die Daten von der zweiten E/A-Operation ebenfalls vorhanden sind. Man beachte den Verlust der Datenintegrität, wenn die Daten der dritten E/A-Operation vorhanden wären, die der zweiten E/A-Operation aber nicht. Das DBMS-Protokoll würde den Wiederherstellungsprozessen mitteilen, daß die Datenbank gültige Daten empfinge. Dies würde entweder zu einem DBMS-Fehler oder einem Fehler in der Geschäftsanwendung führen.
Die Folge der E/A-Operationen an den primären Subsystemen ist DASD 1, DASD 2, dann zurück zur DASD 1; aufgrund der Beanspruchung des DASD-Subsystems 2 sendet es die Daten seiner E/A- Operation (2) jedoch mit Verzögerung, so daß sie zu dem Zeitpunkt, zu dem die Daten der E/A-Operation (3) des DASD-Subsystems 1 vom sekundären DASD-Subsystem 1' empfangen wurden, noch nicht angekommen sind. Ohne Steuerung der Übertragung der Subsystemdaten an die Kopiedatenträger würde das Subsystem 1 seinen Kopiedatenträger sowohl mit (1) als auch mit (3) aktualisieren. Wenn es zu diesem Zeitpunkt an diesem Primärsystem zu einem katastrophalen Störfall kommen würde und die Operationen zur Wiederaufnahme an die Sekundärstation geleitet würden (wobei diese Möglichkeit der Grund dafür ist, daß man eine Echtzeit-DASD-Fernkopie hat), würde die wiederherstellende DBMS einen Protokolldatensatz vorfinden, der besagt, daß Datenbank- Datensätze geschrieben worden sind (in der E/A-Operation (2)), während sich die Daten für die E/A-Operation (2) nicht im DASD des sekundären Subsystems 2 befinden würden.
Mit solch unabhängigen Verbindungen stellte die Feststellung der Reihenfolge der Schreiboperationen zwischen unabhängigen primären DASD-Subsystemen, die Übertragung dieser Informationen an die Gruppe der Subsysteme an der sekundären Datenstation und die Steuerung der Reihenfolge der Aktualisierungen zwischen den unabhängigen DASD-Subsystemen an der sekundären Datenstation bisher ein Problem dar. Wie jedoch nachstehend ausführlich erklärt werden wird, werden ein System und ein Verfahren zur Feststellung der Reihenfolge, zur Übertragung und zur Aktualisierungssteuerung bereitgestellt, die eine reihenfolgekonsistente DASD-Datenfernkopie von mehreren unabhängigen DASD-Subsystemen an einer Datenstation an eine Gruppe von sekundären DASD-Subsystemen erlauben, wobei jedes Subsystem unabhängig mit gleichwertigen Subsystemen an der ersten Datenstation verbunden ist.
Fig. 2 ist ein Zweifach-Fernkopiersystem 20, das einen Host 11 enthält, der den primären Subsystemen 12 Daten bereitstellt. Das System 20 enthält eine erste Gruppe von DASD-Subsystemen 12, die sich an einer Primärstation befinden, und eine zweite Gruppe von DASD-Subsystemen 14, die sich an einer von der Primärstation entfernten Station befinden. Das System 20 enthält Koppler 16 und 18, welche die Verbindung der DASD-Subsysteme 12 beziehungsweise 14 ermöglichen.
Nun Bezug nehmend auf Fig. 2, basiert das System 20, das dazu dient, die Integrität einer Aktualisierungsfolge ohne ein zentrales Übertragungssystem zu erreichen, darauf, daß folgende Konfigurationen vorhanden sind.
1. Mehrere DASD-Subsysteme einer primären Datenstation, von denen jedes über eine oder mehrere Datenübertragungsverbindungen mit einem gleichwertigen DASD-Subsystem an der sekundären Datenstation verbunden ist.
2. Eine Kopplungsverbindung 16 aller Subsysteme an der Primärstation und eine ähnliche Kopplungsverbindung 18 aller Subsysteme an der Sekundärstation. Obwohl es nicht gezeigt ist, erkennt der Fachmann ohne weiteres, daß zum Zweck der Verbindungsredundanz mehrere physische Verbindungen integriert werden können. Der Begriff "Kopplung" wird der Einfachheit halber verwendet; jedes beliebige, geeignete Mittel zur Verbindung mehrerer physischer Netzwerke, wie beispielsweise ein lokales Netzwerk (LAN) oder dergleichen, kann verwendet werden.
3. Jedes Subsystem hat einen "Takt" oder einen ähnlichen Synchronisationssignalprozeß, der mit einem Wert von einem anderen Subsystem, der über die Kopplung 16 übertragen wird, synchronisiert werden kann.
Drei Schritte werden angewandt, um die Integrität der Kopieraktualisierungsfolge zu erreichen: (1) Feststellung der Reihenfolge der Schreiboperationen zwischen allen DASD-Subsystemen an dem primären Subsystem; (2) Übertragung dieser Reihenfolgeinformationen an das sekundäre Subsystem; und (3) Verwendung dieser Informationen durch die sekundären DASD-Subsysteme, um die Reihenfolge der Aktualisierungsschreiboperationen über alle sekundären DASDs hinweg zu steuern. Diese drei Schritte werden nachstehend für ein Kopiersystem, das Zusammenschaltungen von mehreren lokalen Netzwerken an den sekundären und den primären Subsystemen verwendet, ausführlicher beschrieben.
1. Die Zusammenschaltung von mehreren lokalen Netzwerken zwischen den primären DASDs zur Verteilung eines Folgesteuerungssignals, wie beispielsweise eines Zeittaktes, an alle Subsysteme dient dazu, jeder DASD-Schreiboperation von Daten, die in ein sekundäres DASD-Subsystem kopiert werden müssen, einen Reihenfolge-/Zeitwert zuzuordnen (wobei dieser Wert zusammen mit Aktualisierungsdaten an das sekundäre Subsystem gesandt wird)
2. Die Ausbreitung von periodischen, nach ihrem Synchronisationszeitpunkt benannten Prüfpunktsignalen zwischen den primären DASD-Subsystemen, die von jedem primären Subsystem wiederum an dessen gleichwertig verbundene(s) sekundär es) Subsystem(e) übertragen werden; und
3. Die Verwendung der Zusammenschaltung von mehreren lokalen Netzwerken zwischen sekundären DASD-Subsystemen, um ihre DASD-Aktualisierungsschreiboperationen von Kopierdaten, die sie von primären Subsystemen empfangen haben, zu koordinieren.
Nun Bezug nehmend auf Fig. 3, ist ein Flußdiagramm der allgemeinen Betriebsweise 100 eines solchen Systems gezeigt, das sich in dem primären Subsystem befindet. Zuerst wird über den Schritt 102 eine Anweisung "Kopieroperation starten" an alle primären Subsysteme gesandt, um die Übertragung zwischen den primären Subsystemen einzuleiten. Dann stellen einzelne Subsysteme über den Schritt 104 allen primären Subsystemen mit einem aktiven Kopiervorgang die passenden Reihenfolgeinformationen zur Verfügung. Anschließend übertragen die primären Subsysteme über den Schritt 106 die Reihenfolgeinformationen an die gleichwertig verbundenen sekundären Subsysteme. Schließlich werden diese Reihenfolgeinformationen über den Schritt 108 zur Steuerung von Aktualisierungen der sekundären Subsysteme verwendet.
Diese Schritte sind nachstehend ausführlich beschrieben:

Kopieroperation starten (Schritt 102)

Fernkopieroperationen für jedes DASD-Subsystem müssen durch eine Anweisung an dieses Subsystem gestartet werden. Die Anweisung kann über einen Befehl von einem Hostsystem (demselben System, das möglicherweise Anwendungen ausführt, die in die DASDs schreiben) kommen oder von einer Subsystem-Bedienerkonsole oder einem ähnlichen Mittel über eine im Subsystem befindliche Schnittstelle bereitgestellt werden.

Beschreibung der DASD-Schreibfolge an dem primären Subsystem (Schritt 104)

Nehmen wir nun Bezug auf Fig. 3A und die folgende Erörterung. Ungeachtet dessen, ob der Befehl vom Hostsystem oder der im Subsystem befindlichen Schnittstelle kommt, kennzeichnet die Anweisung "Kopieroperation starten" die zu kopierende DASD und veranlaßt das Subsystem, Übertragungen mit dem/den sekundären Subsystem(en), an das/die es angeschlossen ist, einzuleiten.
Die Anweisung "Kopieroperation starten" leitet auch die Übertragung von diesem DASD-Subsystem an andere primäre DASD-Subsysteme ein (Schritt 202). Die LAN-Verbindungsadressen von anderen primären DASD-Subsystemen können für jedes Subsystem konfiguriert oder in Informationen aufgenommen werden, die in der Anweisung "Kopieroperation starten" an das Subsystem enthalten sind. Wenn die Kopieroperation an einem Subsystem gestartet wird, sendet dieses Subsystem über den Schritt 204 eine Nachricht "Kopiervorgang am Subsystem aktiv" an alle anderen primä ren Subsysteme, für die es Adressen hat. Über den Schritt 206 erstellen und verwalten alle primären Subsysteme Konfigurationstabellen, so daß jedes Subsystem die Identität aller primären Subsysteme, die am Kopiervorgang teilnehmen, kennt. Jedes Subsystem, das eine Kopiervorgang-Aktiv-Nachricht von einem anderen Subsystem empfängt, markiert dieses Subsystem in seinen Konfigurationstabellen als ein Subsystem mit einem aktiven Kopiervorgang.
Als Teil des Austauschs von Kopiervorgang-Aktiv-Nachrichten mit den anderen primären Subsystemen, synchronisieren die Subsysteme ihre Folgetaktprozesse und wählen über den Schritt 208 ein Subsystem als Hauptquelle für ein Taktwert-Synchronisationssignal aus. Dies ist ein Taktsynchronisationsprozeß, der hier nicht beschrieben wird, da solche Prozesse in der Technik bekannt sind. Man beachte, daß die Taktsynchronisation in der Lage sein muß, eine Taktabweichung aufrechtzuerhalten, so daß die maximale Abweichung wesentlich geringer als der Zeitraum ist, den ein Subsystem benötigt, um einen Schreibbefehl von einem System zu empfangen, in einen Cachespeicher zu schreiben und das Ende einer E/A-Operation anzuzeigen, und den der Host benötigt, um den E/A-Abschlußstatus zu verarbeiten und eine neue DASD-E/A-Schreiboperation zu starten.
Während von jedem Subsystem Schreiboperationen ausgeführt werden, enthält das Subsystem in einer bevorzugten Ausführungsform den dann aktuellen Zeitfolgesignalwert zusammen mit anderen Steuerinformationen, die mit den DASD-Daten an sein angeschlossenes sekundäres Subsystem gesandt werden. Die DASD-E/A- Schreiboperation des primären Subsystems wird ohne Verzögerung fortgesetzt und nur um den Zeitraum verlängert, der notwendig ist, um Steuerinformationen für die an das sekundäre Subsystem zu sendenden Daten zu erstellen. DASD- und Steuerdaten werden nach dem Empfang im sekundären Subsystem gepuffert. Die Aktua lisierung der Kopie der sekundären DASD wird verzögert, bis sie von der sekundären Folgesteuerung freigegeben wird (nachstehend beschrieben).

Übertragung von Reihenfolgeinformationen an sekundäre DASD- Subsysteme (Schritt 106)

Nehmen wir nun Bezug auf Fig. 3B und die folgende Erörterung. Das Subsystem, das die Zeitsynchronisationssignalquelle bereitstellt, sendet über den Schritt 302 in regelmäßigen Abständen eine Prüfpunktnachricht an alle primären Subsysteme mit einem aktiven Kopiervorgang. Diese kann in das Zeitsynchronisationssignal mit aufgenommen oder getrennt gesandt werden, wie es für das verwendete lokale Verbindungsprotokoll zweckmäßig ist. Die Prüfpunktnachricht enthält einen Folgezeitwert und eine Prüfpunktfolgenummer, die für jede Prüfpunktnachricht um eins erhöht wird. Nach dem Empfang der Prüfpunktübertragung fügt sie jedes Subsystem in seinen Übertragungsstrom an das/die sekundäre n) Subsystem(e), an das/die es angeschlossen ist, logisch ein, wobei sie das Subsystem an das/die sekundäre(n) Subsystem(e) erst sendet, nachdem alle DASD- und Steuerinformationen mit einem früheren Folgezeitsignalwert über den Schritt 304 gesandt worden sind.

Verwendung der Reihenfolgeinformationen durch die sekundären DASD-Subsysteme zur Steuerung der Aktualisierungen der sekundären DASDs (Schritt 108)

Nehmen wir nun Bezug auf die Fig. 3C und 3D und die folgende Erörterung. Kopieroperationen in sekundären Subsystemen werden durch Kopiervorgang-Aktiv-Nachrichten von ihren angeschlossenen primären Subsystemen über den Schritt 402 aktiviert. (Eine Startfreigabe-Anweisung von einer System- oder einer lokalen Konsole am sekundären Subsystem ist gegebenenfalls ebenfalls erforderlich. Dieser Aspekt der Kopieroperation und -steuerung wird auf herkömmliche Weise ausgeführt). Über den Schritt 404 erstellen und verwalten sekundäre Subsysteme Kopiervorgang- Aktiv-Tabellen, so daß jedes Subsystem Daten in Bezug auf die Identität aller sekundären Subsysteme hat, die am Kopiervorgang teilnehmen. Eine Synchronisationssteuerungs-Haupteinheit wird unter den sekundären Subsystemen ausgewählt, wobei die lokale Verbindung (z.B. ein LAN) in ähnlicher Weise verwendet wird, in der eine primäre Synchronisationssignalquelle ausgewählt worden ist. Solche verteilten Steuerschemata sind bekannt und brauchen hier nicht beschrieben zu werden.
Sekundäre Subsysteme empfangen und puffern DASD-Daten und zugehörige Steuerinformationen von ihren angeschlossenen primären Subsystemen. Diese empfangenen Daten und Steuerinformationen werden zu logischen Gruppen zusammengefaßt und von dem primären Synchronisationssignalwert in eine logische Ablauffolge gebracht. Im Interesse eines höchstmöglichen Schutzes sollte die Pufferung von empfangenen Daten und Steuerinformationen in einem nichtflüchtigen Speichermedium erfolgen.
An irgendeinem Punkt empfängt jedes Subsystem über den Schritt 408 eine Prüfpunktsteuernachricht, die anzeigt, daß alle DASD- Aktualisierungsdaten und Steuerinformationen mit einem primären Synchronisationssignalwert, der kleiner oder gleich dem Prüfpunkt-Zeitsynchronisationswert ist, an dieses sekundäre Subsystem gesandt worden sind. Eine Prüfpunktnachricht wird nach ihrem Empfang vom empfangenden Subsystem an das sekundäre Hauptsubsystem gesandt, das über den Schritt 410 für diese Prüfpunktnachricht von allen sekundären Subsystemen mit einem aktiven Kopiervorgang, einschließlich seiner selbst, ein Treffen durchführt.
Wenn das Treffen über den Schritt 412 für einen bestimmten Prüfpunktwert vollständig ist, sendet das sekundäre Hauptsubsystem an alle sekundären Subsysteme mit einem aktiven Kopiervorgang eine Nachricht, bis zum primären Folgezeitwert des Prüfpunkts Aktualisierungsdaten freizugeben. Jedes Subsystem kennzeichnet sich dann selbst als in einem internen Zustand "Aktualisierung im Gang" befindlich und wendet die Aktualisierungen über den Schritt 414 auf die Kopie seiner sekundären DASD an. (Man beachte: Der eigentliche Prozeß der Anwendung der gepufferten DASD-Kopierdaten kann lediglich eine Anpassung von Cachespeicher-Verzeichniseinträgen erforderlich machen).
Der Zustand "Aktualisierung im Gang" muß über Subsystem-Rücksetzungen und -Ausschaltvorgänge zusammen mit gepufferten Daten und Steuerinformationen von dem primären Subsystem (und anderen Kopierdienst-Zustandsinformationen) aufrechterhalten werden. Er wird als eine Betriebssteuerung vom Typ "Abschluß unabdingbar" verwendet, die jedweden Zugriff des Hostsystems auf die sekundäre DASD ausschließt, wenn dieser Zustand aktiv ist. Dadurch wird gewährleistet, daß eine Anwendungsübernahme am sekundären Subsystem teilweise aktualisierte DASD-Daten nicht sehen kann. Das heißt, sie kann nicht auf eine reihenfolgeinkonsistente DASD-Kopie zugreifen. Die Aktualisierung für das Prüfpunktintervall muß abgeschlossen sein, bevor ein Benutzer auf die Kopierdatensätze des DASD-Subsystems zugreifen kann.
Wenn die Aktualisierung von DASD-Kopierdaten abgeschlossen ist, sendet das Subsystem über den Schritt 416 ein Signal "Aktualisierung abgeschlossen" für die Prüfpunktnachricht (die den bestimmten Prüfpunkt angibt) für diesen Prüfpunkt an die sekundäre Haupteinheit. Wenn Signale "Aktualisierung abgeschlossen" für Prüfpunktnachrichten von allen Subsystemen einschließlich der Haupteinheit an der Haupteinheit empfangen worden sind, sendet die Haupteinheit über den Schritt 418 eine Nachricht "Zustand 'Aktualisierung im Gang' zurücksetzen" an alle sekundären Subsysteme, um zu ermöglichen, daß angeschlossene Systeme wieder auf Kopierdaten der sekundären Subsysteme zugreifen können.
In einer abgewandelten Form der bevorzugten Ausführungsform könnten die vorausgehenden Prozesse ohne Takt und Taktsynchronisation funktionieren, wenn das Kopplungsmittel zwischen allen primären Subsystemen jede Prüfpunktnachricht innerhalb eines wesentlich kürzeren als des für einen E/A-Operationszyklus benötigten Zeitraums zuverlässig an alle Subsysteme weiterleiten könnte. Die Ankunftszeit einer Prüfpunktnachricht an jedem primären Subsystem wäre für die Angabe der Aktualisierungsfolge genau genug. Alle Aktualisierungen innerhalb eines Prüfpunkts würden als gleichzeitig aufgetreten betrachtet werden.
Die Schritte des Subsystembetriebs für die drei zuvor beschriebenen E/A-Operationen werden unter Befolgung der vorstehend beschriebenen Vorgehensweise nachstehend erörtert.
1. DASD 1, 2, 3 und 4 tauschen "Kopiervorgang-Aktiv"-Nachrichten aus. Das primäre Subsystem 3 wurde die Hauptquelle für das Taktwert-Synchronisationssignal. Das sekundäre System 4 wurde die sekundäre Haupteinheit für das Treffen von Prüfpunktnachrichten.
2. Die E/A-Schreiboperation (1) von der Anwendung an das Subsystem 1 wird zum Zeitpunkt 'a' abgeschlossen.
3. Die E/A-Schreiboperation (2) von der Anwendung an das Subsystem 2 wird zum Zeitpunkt 'b' abgeschlossen.
4. Das primäre Subsystem 1 sendet zusammen mit seinem zugehörigen Zeitwert 'a' Daten für die E/A-Operation (1) an das sekundäre Subsystem 1. Das sekundäre Subsystem 1 puffert die Daten, wendet sie jedoch nicht auf seine Cachespeicherkopie für den DASD-Datenträger an.
5. Das Subsystem 3 sendet eine Prüfpunktnachricht, welche die Prüfpunktfolgenummer 'n' und den Zeitwert 'b' enthält.
6. Die E/A-Schreiboperation (3) vom Anwendungssystem an das Subsystem 1 wird zum Zeitpunkt 'c' abgeschlossen.
7. Das primäre Subsystem 1 sendet zusammen mit seinem zugehörigen Zeitwert 'c' Daten für die E/A-Operation (3) an das sekundäre Subsystem 1. Das sekundäre Subsystem 1 puffert die Daten, wendet sie jedoch nicht auf seine Cachespeicherkopie für den DASD-Datenträger an.
8. Das primäre Subsystem 1 empfängt und verarbeitet die vom Subsystem 3 im Schritt S gesandte Prüfpunktnachricht.
9. Das primäre Subsystem 1 sendet die Prüfpunktnachricht an das sekundäre Subsystem 1, das sie an das sekundäre Subsystem 4 weiterleitet.
10. Das primäre Subsystem 2 sendet zusammen mit seinem zugehörigen Zeitwert 'b' Daten für die E/A-Operation (2) an das sekundäre Subsystem 2. Das sekundäre Subsystem 2 puffert die Daten, wendet sie jedoch nicht auf seine Cachespeicherkopie für den DASD-Datenträger an.
11. Das primäre Subsystem 2 empfängt und verarbeitet die vom Subsystem 3 im Schritt S gesandte Prüfpunktnachricht.
12. Das primäre Subsystem 2 sendet die Prüfpunktnachricht an das sekundäre Subsystem 2, das sie an das sekundäre Subsystem 4 weiterleitet.
13. An irgendeinem Punkt zwischen den Schritten 5 und 13 haben die Subsysteme 3 und 4 die Prüfpunktnachricht 'n' an ihre sekundären Subsysteme gesandt. Das sekundäre Subsystem 3 hat sie an das sekundäre Subsystem 4 weitergeleitet.
14. Das sekundäre Subsystem 4 sendet eine "Freigabe"-Nachricht an die sekundären Subsysteme 1, 2 und 3.
15. Das sekundäre Subsystem 3, das keine Aktualisierung hat, sendet sofort eine Nachricht "Aktualisierung abgeschlossen" an das sekundäre Subsystem 4 zurück.
16. Das sekundäre Subsystem 1 tritt in einen Zustand "Aktualisierung im Gang" ein und wendet dann die Aktualisierung (1) an. Die Aktualisierung (3) wendet es nicht an, da sein Synchronisationszeitwert 'c' größer als der Prüfpunktzeitwert 'b' ist. Es sendet dann eine Nachricht "Aktualisierung abgeschlossen" an das sekundäre Subsystem 4.
17. Das sekundäre Subsystem 2 tritt in den Aktualisierungszustand ein, wendet die Aktualisierung (2) an und sendet eine Nachricht "Aktualisierung abgeschlossen" an das sekundäre Subsystem 4.
18. Nachdem das sekundäre Subsystem 4 die Nachricht "Aktualisierung abgeschlossen" von allen sekundären Subsystemen empfangen hat, sendet es eine Nachricht "Zustand 'Aktualisierung im Gang' zurücksetzen" an die sekundären Subsysteme 1, 2 und 3.
Wenn nun an irgendeiner Stelle in der obigen Reihenfolge an einer Primärstation ein Fehler auftritt, zeigt die sekundäre DASD entweder keine der Aktualisierungen, oder sie zeigt die Aktualisierungen (1) und (2). Die Aktualisierung (3) wird erst bei der nächsten Prüfpunktfolge auf die DASD und den Cachespeicher des sekundären Subsystems 1 "angewandt".
Folglich wird durch das vorliegende System ein reihenfolgekonsistentes, asynchrones Echtzeit-Kopiersystem bereitgestellt, das keinen zentralen Übertragungsdienst benötigt. Dabei wird ein System bereitgestellt, das nur minimal abgeändert werden muß, während es vorhandene Funktionen in den DASD-Subsystemen nutzt, um Änderungen der Reihenfolge zu ermöglichen.

Claims

1. Verfahren zum Betreiben eines asynchronen Datenfernkopiersystems (20), das eine Primärstation enthält, die eine erste Vielzahl von Speicher-Subsystemen (12) hat, die durch ein erstes Kopplungsmittel (16) miteinander verbunden sind, und eine von der Primärstation entfernte Sekundärstation, die eine zweite Vielzahl von Speicher-Subsystemen (14) hat, die durch ein zweites Kopplungsmittel miteinander verbunden sind, wobei jedes der zweiten Vielzahl der Speicher-Subsysteme unabhängig von den anderen mit einem Gegenstück der ersten Vielzahl der Speicher-Subsysteme verbunden ist, wobei das Verfahren die folgenden Schritte umfaßt:

in der ersten Vielzahl der Subsysteme

Senden (302) eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme;

Senden (304) von Datenaktualisierungen und des Prüfpunktsignals an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme; und

in der zweiten Vielzahl der Subsysteme

Empfangen (408) und Puffern der Datenaktualisierungen und der Prüfpunktsignale;

und Koordinieren des Schreibens (414) der Datenaktualisierungen auf der Grundlage der Prüfpunktsignale, so daß die Integrität der Aktualisierungsfolgen an der Sekundärstation gewahrt bleibt.

2. Verfahren nach Anspruch 1, wobei der Schritt des Sendens eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme des weiteren den Schritt der Verteilung eines Folgesignals an der Primärstation umfaßt, wobei das Prüfpunktsignal Informationen enthält, die den Wert des Folgesignals anzeigen.

3. Verfahren nach Anspruch 2, wobei der Schritt des Sendens von Datenaktualisierungen und eines Prüfpunktsignals an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme die folgenden Schritte umfaßt:

Asynchrones Erzeugen einer Folge von Datenaktualisierungen an jedem der ersten Vielzahl der Subsysteme;

Ordnen (108) einer jeden der Folgen entsprechend dem verteilten Folgesignal und dem Prüfpunktsignal; und

Asynchrones Übertragen von Aktualisierungsfolgen von jedem der ersten Vielzahl der Subsysteme an ein Subsystem-Gegenstück.

4. Verfahren nach einem vorhergehenden Anspruch, das an der Primärstation des weiteren die folgenden ersten Schritte umfaßt:

Aktivieren (202) eines jeden der ersten Vielzahl der Subsysteme, damit es mit den anderen Subsystemen in der ersten Vielzahl der Subsysteme kommuniziert;

Aktivieren eines jeden der ersten Vielzahl der Subsysteme, damit es mit seinem Subsystem-Gegenstück in der zweiten Vielzahl der Subsysteme, mit dem es verbunden ist, kommuniziert;

Erstellen (206) von mindestens einer Konfigurationstabelle in jedem der ersten Vielzahl der Subsysteme, so daß jedes der ersten Vielzahl der Subsysteme alle anderen Subsysteme in der ersten Vielzahl der Subsysteme erkennen kann; und

Synchronisieren (208) der ersten Vielzahl der Subsysteme.

5. Verfahren nach einem vorhergehenden Anspruch, das an der Sekundärstation des weiteren die folgenden ersten Schritte umfaßt:

Empfangen (402) von Kopiervorgang-Aktiv-Nachrichten in der zweiten Vielzahl der Subsysteme;

Erstellen (404) von Kopiervorgang-Aktiv-Tabellen in der zweiten Vielzahl der Subsysteme; und

Synchronisieren (406) von Kopieroperationen der zweiten Vielzahl der Subsysteme;

und wobei der Koordinierungsschritt des weiteren den Schritt der Durchführung eines Treffens (410) aller Prüfpunktsignale in der zweiten Vielzahl der Subsysteme umfaßt.

6. Verfahren nach Anspruch 1, das des weiteren die folgenden ersten Schritte umfaßt:

an der Primärstation als Antwort auf die Einleitung einer Startkopieroperation an jedem der Subsysteme in der ersten Vielzahl der Subsysteme Feststellen der Untergruppe der Vielzahl der Subsysteme, die eine Kopiersatzgruppe bildet, und Bestimmen eines der Vielzahl der Subsysteme zu einer Takt- und Prüfpunktsignalquelle, wobei jedes Prüfpunktsignal einen Folgetaktwert und eine erhöhte Folgenummer enthält;

an der Sekundärstation als Antwort auf die Einleitung einer Startkopieroperation an jedem der Subsysteme in der zweiten Vielzahl der Subsysteme Feststellen der Untergruppe der Vielzahl der Subsysteme, die eine Kopiersatzgruppe bildet, und Bestimmen eines der Vielzahl der Subsysteme zu einem Prüfpunktsignal-Treffpunkt, um die zweite Vielzahl der Subsysteme zu synchronisieren;

und wobei der Schritt des Sendens eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme die Schritte der periodischen Erzeugung von Taktsignalen und Prüfpunktsignalen durch das ausgewählte Subsystem an der Primärstation und die Übertragung der Takt- und Prüfpunktsignale in der Folge ihres Auftretens an andere Subsysteme, welche die Kopiersatzgruppe an der Primärstation bilden, einschließlich ihrer selbst, umfaßt;

und wobei der Schritt des Sendens von Datenaktualisierungen und des Prüfpunktsignals an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme für jedes Subsystem in der Kopiersatzgruppe die asynchrone Bildung einer lokalen Folge von aktualisierten Datensätzen umfaßt, wobei die Takt- und Prüfpunktsignale in die Folge eingebunden werden, um eine nach dem Zeitpunkt unterschiedene Gesamtanordnung von aktualisierten Datensätzen zu bilden, und Senden von mindestens einem Teil der Folge an das Subsystem-Gegenstück an der Sekundärstation;

und wobei der Schritt der Koordination des Schreibens von Datenaktualisierungen und Prüfpunktsignalen an der Sekundärstation die Schritte des Sendens (410) des Prüfpunktsignals an das ausgewählte Subsystem an der Sekundärstation durch jedes Subsystem in der Kopiersatzgruppe und das Schreiben der Folgen oder von Teilen der Folgen, die in den Subsystemen gepuffert sind, erst nach einem Signal von dem ausgewählten Subsystem, das dessen Empfang aller an das Subsystem gesandten Prüfpunktsignale (412) anzeigt, umfaßt.

7, Verfahren nach Anspruch 6, wobei jedes Prüfpunktsignal anzeigt, daß alle Datenaktualisierungen mit einem Taktsignal, dessen Folgenummer kleiner als der Prüfpunktsignal- Folgetaktwert ist, an das sekundäre Subsystem-Gegenstück übertragen worden sind.

8. Asynchrones Datenfernkopiersystem (20), das eine Primärstation enthält, die eine erste Vielzahl von Speicher- Subsystemen (12) hat, die durch ein erstes Kopplungsmittel (16) miteinander verbunden sind, und eine von der Primärstation entfernte Sekundärstation, die eine zweite Vielzahl von Speicher-Subsystemen (14) hat, die durch ein zweites Kopplungsmittel miteinander verbunden sind, wobei jedes der zweiten Vielzahl der Speicher-Subsysteme unabhängig von den anderen mit einem Gegenstück der ersten Vielzahl der Speicher-Subsysteme verbunden ist,

wobei die erste Vielzahl der Subsysteme ein Mittel (12) enthält, um an jedes der ersten Vielzahl der Subsysteme ein Prüfpunktsignal zu senden; und ein Mittel (12), um Datenaktualisierungen und das Prüfpunktsignal an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme zu senden; und

die zweite Vielzahl der Subsysteme ein Mittel (14) enthält, um die Datenaktualisierungen und die Prüfpunktsignale zu empfangen und zu puffern; und ein Mittel (14), um das Schreiben der Datenaktualisierungen auf der Grundlage der Prüfpunktsignale zu koordinieren, so daß die Integrität der Aktualisierungsfolgen an der Sekundärstation gewahrt bleibt.

9. System nach Anspruch 8, wobei das Mittel, das dazu dient, ein Prüfpunktsignal an jedes der ersten Vielzahl der Subsysteme zu senden, des weiteren ein Mittel enthält, um ein Folgesignal an der Primärstation zu verteilen, wobei das Prüfpunktsignal Informationen enthält, die den Wert des Folgesignals anzeigen.

10. System nach Anspruch 8 oder 9, in dem das Mittel, das dazu dient, Datenaktualisierungen und das Prüfpunktsignal an jedes der mit einem Gegenstück verbundenen zweiten Vielzahl der Subsysteme zu senden, ein Mittel umfaßt, das auf das Mittel zum Senden eines Prüfpunktsignals an jedes der ersten Vielzahl der Subsysteme anspricht, um das Prüfpunktsignal in eine Datenaktualisierungsfolge von jedem der ersten Vielzahl der Subsysteme an dessen Subsystem- Gegenstück einzufügen.