DE3750790T2

DE3750790T2 - Parity distribution for improved memory access.

Info

Publication number: DE3750790T2
Application number: DE3750790T
Authority: DE
Inventors: Brian Eldridge Clark; Francis Daniel Lawlor; Werner Eric Schmidt-Stumpf; Terrence James Stewart; George David Timms
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1986-06-12
Filing date: 1987-05-26
Publication date: 1995-05-24
Anticipated expiration: 2007-05-27
Also published as: EP0249091A3; EP0249091B1; US4761785B1; CA1270333A; JPS62293355A; DE3750790D1; US4761785A; EP0249091A2; JPH0547857B2

Description

Die gegenwärtige Erfindung bezieht sich auf die Aufrechterhaltung von Paritätsinformationen in einer Vielzahl von Datenblöcken und im besonderen auf die Speicherung von derartigen Paritätsinformationen.The present invention relates to the maintenance of parity information in a plurality of data blocks and, in particular, to the storage of such parity information.

Das US-Patent Nr. 4 092 732 beschreibt einen Checksummengenerator für die Generierung eines Checksummensegments aus Segmenten eines Systemdatensatzes, wenn die Systemdatensatzsegmente zwischen einem Speichersubsystem und einer zentralen Verarbeitungseinheit übertragen werden. Das Checksummensegment besteht im wesentlichen aus einer Reihe Paritätsbits, die aus Bits mit der gleichen Lage der Systemdatensatzsegmente generiert wurden. Mit anderen Worten stellt jedes Bit so wie das erste Bit des Checksummensegmentes die Parität der Gruppe der ersten Bits der Datensatzsegmente dar. Wenn ein Speichersegment, das ein Datensatzsegment enthält, ausfällt, wird das Datensatzsegment aus dem Checksummensegment und den verbliebenen Systemsegmenten wiederhergestellt. Eine Speichereinheit wird dafür ausgewählt, daß sie alle Checksummensegmente für eine Vielzahl von Datensatzspeichereinheiten enthält.U.S. Patent No. 4,092,732 describes a checksum generator for generating a checksum segment from segments of a system record as the system record segments are transferred between a storage subsystem and a central processing unit. The checksum segment essentially consists of a series of parity bits generated from bits in the same location of the system record segments. In other words, each bit, such as the first bit of the checksum segment, represents the parity of the group of first bits of the record segments. If a storage segment containing a record segment fails, the record segment is reconstructed from the checksum segment and the remaining system segments. A storage unit is selected to contain all of the checksum segments for a plurality of record storage units.

Im obigen Patent wird das Checksummensegment immer erzeugt, indem alle Datensatzsegmente, die es umfaßt, gelesen werden. Wenn ein Datensatzsegment geändert wird, werden alle eingeschlossenen Datensatzsegmente gelesen und das Checksummensegment erzeugt. Ein IBM Technical Disclosure Bulletin, Vol. 24, No. 2, July 1981, Seite 986-987, Efficient Mass Storage Parity Recovery Mechanism, zeigt die Verbesserung der Generierung des Checksummensegments oder Paritätssegments durch Kopieren eines Datensatzsegments bevor er geändert wird. Die Kopie des Datensatzsegments wird anschließend mit dem geänderten Datensatzsegment exklusiv-oder-verknüpft, um eine Änderungsmaske zu erzeugen. Das Paritätssegment wird dann gelesen und mit der Änderungsmaske exklusiv-oder-verknüpft, um das neue Paritätssegment zu generieren, das dann auf die Speichereinheit zurückgeschrieben wird.In the above patent, the checksum segment is always generated by reading all the record segments it encompasses. When a record segment is modified, all the enclosed record segments are read and the checksum segment is generated. An IBM Technical Disclosure Bulletin, Vol. 24, No. 2, July 1981, pages 986-987, Efficient Mass Storage Parity Recovery Mechanism, shows the improvement of generating the checksum segment or parity segment by copying a record segment before it is modified. The copy of the record segment is then exclusive-ORed with the modified record segment to generate a change mask. The The parity segment is then read and exclusive-ored with the change mask to generate the new parity segment, which is then written back to the storage device.

Während eine Anzahl Lesevorgänge von nicht geänderten Datensatzsegmente nach dem Stand der Technik verhindert wird, wird eine einzelne Speichereinheit genutzt, um die Datensatzparitätssegmente für mehrere Datensatzsegmente auf mehreren Speichergeräten zu speichern. Zu einem Lese- und einen Schreibvorgang auf einer einzelnen Speichereinheit kommt es jedesmal, wenn ein Datensatz auf irgendeiner Speichereinheit geändert wird, der von dem Paritätsdatensatz auf der einzelnen Speichereinheit abgedeckt wird. Somit wird die einzelne Speichereinheit zu einem Engpaß für Speicheroperationen, da die Anzahl von Änderungen an Datensätzen, die je Zeiteinheit durchgeführt werden können, eine Funktion der Zugriffsrate auf die einzelne Speichereinheit ist, im Gegensatz zu der höheren Zugriffsrate, die durch Parallelbetrieb von mehreren Speichereinheiten erreicht wird.While a number of reads of unchanged record segments are prevented in the prior art, a single storage device is used to store the record parity segments for multiple record segments on multiple storage devices. A read and a write to a single storage device occurs each time a record is changed on any storage device covered by the parity record on the single storage device. Thus, the single storage device becomes a bottleneck for storage operations since the number of changes to records that can be made per unit of time is a function of the access rate to the single storage device, as opposed to the higher access rate achieved by operating multiple storage devices in parallel.

Die Wiederherstellung von verlorenen Datensätzen hängt von der Synchronisation des Paritätsdatensatzes mit jedem der Datensätze ab, die dieser abdeckt. Ohne spezielle Hardware, wie nichtflüchtigem Speicher, und/oder zusätzlichen Schreiboperationen auf Speichereinheiten, ist es schwer zu garantieren, daß sowohl die reinen Datensätze als auch die Paritätsdatensätze auf einen konsistenten Stand gebracht werden, wenn das System regelwidrig beendet wird. Da zwei I/O-Operationen benötigt werden, um die Daten und deren zugehörige Paritätsinformationen zu aktualisieren, ist es schwierig zu bestimmen, welche I/O-Operation auf die Systembeendigung folgend abgeschlossen wurde.Recovery of lost records depends on synchronizing the parity record with each of the records it covers. Without special hardware, such as non-volatile memory, and/or additional writes to storage devices, it is difficult to guarantee that both the bare records and the parity records will be brought to a consistent state if the system abnormally terminates. Since two I/O operations are required to update the data and its associated parity information, it is difficult to determine which I/O operation completed following system termination.

Darauf bezugnehmend ist es ein Gegenstand der gegenwärtigen Erfindung, einen Datenschutzmechanismus für ein Computersystem zu liefern, das mehrere Speichergeräte, euf die unabhängig zugegriffen werden kann, und eine Methode zum Schutz der in den Speichergeräten gespeicherten Daten besitzt.In view of this, it is an object of the present invention to provide a data protection mechanism for a computer system having multiple independently accessible storage devices and a method for protecting data stored in the storage devices.

Ein Speichermanagementmechanismus verteilt Paritätsinformationen innerhalb eines Satzes Speichereinheiten im wesentlichen gleichmäßig. N Speichereinheiten in einem Satz sind in einer Vielzahl gleich großer Adreßbereiche, die sich als Blöcke betrachten lassen, eingeteilt. Jede Speichereinheit enthält die gleiche Anzahl von Blöcken. Die Blöcke von jeder Speichereinheit in einem Satz, die den gleichen einheitlichen Adreßbereich besitzen, kann man als Streifen betrachten. Jeder Streifen hat auf einem Speichergerät N-1 Datenblöcke und einen Paritätsblock, der die Parität für den Rest des Streifens enthält. Weitere Streifen besitzen je einen Paritätsblock, wobei die Paritätsblöcke auf unterschiedliche Speichereinheiten verteilt sind. Die Aktivitäten zur Aktualisierung der Parität, die mit jeder Veränderung der Daten in einem Satz verbunden sind, werden deshalb über unterschiedliche Speichereinheiten verteilt. Eine einzelne Einheit ist somit nicht mit allen Aktivitäten zur Aktualisierung der Parität belastet.A memory management mechanism distributes parity information within a set of storage units essentially evenly. N storage units in a set are divided into a multiple equally sized address ranges, which can be considered blocks. Each storage unit contains the same number of blocks. The blocks of each storage unit in a set, which have the same uniform address range, can be considered as stripes. Each stripe on a storage device has N-1 data blocks and a parity block that contains the parity for the rest of the stripe. Additional stripes each have a parity block, with the parity blocks distributed among different storage units. The parity update activities associated with each change to the data in a set are therefore distributed among different storage units. A single unit is thus not burdened with all the parity update activities.

In der bevorzugten Ausführungsform hat jede Speichereinheit, die Teil eines Satzes ist, die gleiche Größe. Dies erlaubt eine vereinfachte Definition der Streifen. Da jede Speichereinheit die gleiche Größe besitzt, hat keine Speichereinheit Gebiete, die übrig bleiben und getrennt behandelt werden müssen.In the preferred embodiment, each storage unit that is part of a set is the same size. This allows for a simplified definition of the stripes. Since each storage unit is the same size, no storage unit has areas that are left over and must be treated separately.

Die Anzahl der Speichereinheiten in einem Satz ist bevorzugterweise größer zwei. Mit gerade zwei Einheiten ist der Schutz ähnlich einer Spiegelung, welche die Aufrechterhaltung von genau zwei Kopien der Daten mit sich bringt. Mit mehr als zwei Einheiten sinkt der prozentuale Anteil des Speichers, der dem Schutz gewidmet ist. Mit drei Einheiten beträgt der prozentuale Anteil an Speicher, der benötigt wird, um den geforderten Schutz zu erzielen, etwa 33 Prozent. Mit acht Einheiten werdeu etwas mehr als 12,5 Prozent der Speicherkapazität für den Schutz benötigt.The number of storage units in a set is preferably greater than two. With just two units, protection is similar to mirroring, which involves maintaining exactly two copies of the data. With more than two units, the percentage of storage dedicated to protection decreases. With three units, the percentage of storage required to achieve the required protection is about 33 percent. With eight units, just over 12.5 percent of the storage capacity is required for protection.

In einer weiteren bevorzugten Ausführungsform betrachtet man N-1 Datensätze (520 Bytes) und einen Paritätsdatensatz in einem Satz mit dem gleichein Adreßbereich als Scheibe. Jeder Datensatz in der Scheibe besitzt einen Versionsindikator, der die Version des Datensatzes kennzeichnet. Ein Kopf in jedem Paritätsdatensatz besteht aus einer Vielzahl Versionsindikatoren, wobei jeder einzelne mit jedem Datensatz auf der Scheibe korrespondiert. Jedesmal, wenn ein Datensatz aktualisiert wird, wird dessen Versionsindikator ebenso wie der Versionsindikator des mit diesem Datensatz korrespondierenden Paritätsdatensatzes erhöht. Wenn die Aktualisierung des Datensatzes und der Parität vollständig sind, sind die Versionsindikatoren gleich. Während der Wiederherstellung eines verlorenen Datensatzes werden die Versionsnummern überprüft, um die Synchronisation der Datensätze mit der Parität sicherzustellen. Ein Erzwingen einer Wiederherstellung ohne gültige Synchronisation würde unvorhersehbare Daten erzeugen.In a further preferred embodiment, N-1 data records (520 bytes) and a parity record in a set with the same address range are considered as a disk. Each record in of the disk has a version indicator that identifies the version of the record. A header in each parity record consists of a plurality of version indicators, each corresponding to every record on the disk. Each time a record is updated, its version indicator is incremented, as is the version indicator of the parity record corresponding to that record. When the update of the record and parity is complete, the version indicators are equal. During recovery of a lost record, the version numbers are checked to ensure synchronization of the records with the parity. Forcing a recovery without valid synchronization would produce unpredictable data.

Da jeder Datensatz eine von jedem anderen Datensatz unabhängige Versionsnummer besitzt, wird keine Synchronisation für die Aktualisierung zu unterschiedlichen Datensät zen benötigt, die durch den gleichen Paritätsdatensatz abgedeckt sind. Ebenfalls vermieden wird die Notwendigkeit, den Paritätsdatensatz vom Speicher zu lesen, bevor die Leseoperation für den Datensatz geplant und eine Anforderung auf Aktualisierung der Parität in die Warteschlange eingereiht wird.Since each record has a version number independent of every other record, no synchronization is needed for updates to different records covered by the same parity record. It also avoids the need to read the parity record from memory before scheduling the read operation for the record and queuing a parity update request.

In einer weiteren bevorzugten Ausführungsform wird ein ungeschützter Streifen für Datensätze geliefert, die nicht von Paritätsgruppen abgedeckt werden müssen. Die ungeschützten Streifen müssen nicht die gleiche Größe haben nie die geschützten Streifen und dürfen Gebiete veränderlicher Größe auf den Speichereinheiten einschließen, wenn die Speichereinheiten nicht in ihrer Größe identisch sind. Derartige Streifen bieten eine bequeme Methode zur Einteilung der Speichereinheiten in Gebiete mit geschütztem und ungeschütztem Speicher, da für jedes Speichergerät der cleiche Adreßbereich dem Schutz unterworfen ist. Vorteile in der Leistung ergeben sich, wenn es nicht notwendig ist, alle auf den Einheiten gespeicherte Datensätze zu schützen, da keine Aktualisierung der Parität benötigt wird, nachdem ein Datensatz in einem ungeschützten Streifen geändert wurde.In another preferred embodiment, an unprotected stripe is provided for records that do not need to be covered by parity groups. The unprotected stripes need not be the same size as the protected stripes and may include variable size regions on the storage devices if the storage devices are not identical in size. Such stripes provide a convenient method of dividing the storage devices into regions of protected and unprotected storage, since the same address range is subject to protection for each storage device. Performance benefits arise when it is not necessary to protect all records stored on the devices, since no parity update is required after a record in an unprotected stripe is changed.

Fig. 1 ist ein Blockdiagramm eines Systems, das die Verteilung der Paritätsdatenblöcke zum Schutz entsprechend der gegenwärtigen Erfindung enthält.Fig. 1 is a block diagram of a system incorporating the distribution of parity data blocks for protection in accordance with the present invention.

Fig. 2 ist ein Blockdiagramm der Verteilung der Paritätsblöcke von Fig. 1 auf eine Vielzahl von Speichergeräten;Fig. 2 is a block diagram of the distribution of the parity blocks of Fig. 1 among a plurality of storage devices;

Fig. 3 ist ein Blockdiagramm, das logische Tabellen darstellt, die genutzt werden, um Paritätsgruppen und Datensätze miteinander zu korrelieren;Fig. 3 is a block diagram illustrating logical tables used to correlate parity groups and records;

Fig. 4 ist ein Blockdiagramm von Datensätzen in einem Streifen des Speichers, der Versionsindikatoren für die Synchronisation benutzt;Fig. 4 is a block diagram of records in a stripe of memory using version indicators for synchronization;

Fig. 5 ist ein Flußdiagramm der Initialisierung der Speichergeräte für den Schutz der Paritätsblöcke undFig. 5 is a flow chart of the initialization of the storage devices for the protection of the parity blocks and

Fig. 6 ist ein Flußdiagramm der Schritte, die die Aktualisierung der Datensätze und ihrer korrespondierenden Paritätsdatensätze mit sich bringt.Fig. 6 is a flowchart of the steps involved in updating the records and their corresponding parity records.

Ein Computersystem, in dem die Paritätsblockverteilung implementiert ist, wurde allgemein in Fig. 1 mit 10 gekennzeichnet. Das System 10 umfaßt eine Datenverarbeitungseinheit 12, die mit einem Steuerspeicher 14 verbunden ist, wobei dieser einen schnellen Zugriff auf Mikrobefehle ermöglicht. Der Prozessor 12 kommuniziert über einen Kanaladapter 16 und über einen Hochgeschwindigkeitskanal 18 mit einer Mehrzahl von I/O-Einheiten. Der Prozessor 12 und die I/O-Einheiten haben Zugriff auf ein Hauptspeicherfeld 20. Der Zugriff auf den Hauptspeicher 20 wird durch einen Übersetzer für virtuelle Adressen 22 ermöglicht. Adreßübersetzungstabellen im Hauptspeicher 20 und ein vorgreifender Übersetzungspuffer ermöglichen das Abhilden von virtuellen auf reale Hauptspeicheradressen.A computer system implementing parity block distribution has been generally indicated at 10 in Figure 1. The system 10 includes a data processing unit 12 coupled to a control store 14 which provides fast access to microinstructions. The processor 12 communicates with a plurality of I/O units via a channel adapter 16 and a high speed channel 18. The processor 12 and the I/O units have access to a main memory array 20. Access to the main memory 20 is provided by a virtual address translator 22. Address translation tables in the main memory 20 and a look-ahead translation buffer provide for mapping from virtual to real main memory addresses.

Jedes I/O-Gerät, wie etwa die Plattenlaufwerke 30, 32, 34, 36 und 38, ist über eine Steuereinrichtung, wie etwa einer Steuereinrichtung für Plattenspeicher 40 für die obigen Plattenlaufwerkspeichergeräte, verbunden. I/O-Steuereinrichtungen 42 steuern die Bandlaufwerke 44 und 46. Des weiteren steuern die I/O- Steuereinrichtungen 48, 50 und 52 I/O-Geräte wie etwa Drucker, Arbeitsstationen, Tastaturen, Anzeigeeinrichtungen und die Kommunikation. Es gibt gewöhnlich mehrere Steuereinrichtungen für Plattenlaufwerke, wobei jede mehrere Plattenlaufwerkspeichergeräte steuert.Each I/O device, such as disk drives 30, 32, 34, 36 and 38 is connected through a controller such as a disk drive controller 40 for the above disk drive storage devices. I/O controllers 42 control the tape drives 44 and 46. In addition, the I/O controllers 48, 50 and 52 control I/O devices such as printers, workstations, keyboards, displays and communications. There are usually multiple disk drive controllers, each controlling multiple disk drive storage devices.

Die Daten im System 10 werden in Form von Datensät zen, bestehend aus 512 Byte großen Datenseiten und 8 Byte großen Nachrichtenköpfen, behandelt. In der bevorzugten Ausführungsform, einem IBM System/38, werden die Datensätze über den Kanal 18 vom Plattenspeicher in den Hauptspeicher 20 hinein und aus ihm heraus bewegt. Eine Hauptspeichersteuereinheit 60 steuert den Zugriff und den Seitenaustausch des Hauptspeichers 20. Eine gestrichelte Linie 62 zwischen dem Kanal 18 und der Hauptspeichersteuereinheit 60 zeigt den direkten Speicherzugriff auf den Hauptspeicher 20 durch die mit dem Kanal verbundenen I/O-Geräte an. Weitere Details der allgemeinen Betriebsweise des Systems 10 kann man in dem Buch IBM System/38 Technical Developments, International Business Machines Corporation, 1978, finden.The data in system 10 is handled in the form of records consisting of 512 byte data pages and 8 byte message headers. In the preferred embodiment, an IBM System/38, the records are moved from disk storage into and out of main memory 20 via channel 18. A main memory controller 60 controls access and page swapping of main memory 20. A dashed line 62 between channel 18 and main memory controller 60 indicates direct memory access to main memory 20 by the I/O devices connected to the channel. Further details of the general operation of system 10 can be found in the book IBM System/38 Technical Developments, International Business Machines Corporation, 1978.

Der Schutz von Daten auf den Plattenspeichergeräten 30 bis 38 wird durch Exklusiv-Oder-Verknüpfung der Datensätze auf jedem Gerät und Speichern der durch die Exklusiv-Oder-Verknüpfung erhaltenen Paritätsdatensätze auf einem der Speichergeräte bereitgestellt. In Fig. 2 ist jedes der Speichergeräte 30 bis 38 in Datenblöcke und Paritätsblöcke eingeteilt. Die Blocke stellen den physikalischen Raum auf den Speichergeräten dar. Da das System 10 eine Ausdehnung (ein fortlaufendes Stück zuweisbaren Plattenraumes) von bis zu 16 Megabyte Daten liefert, hat jeder Block bevorzugterweise eine Größe von 16 Megabyte.Protection of data on disk storage devices 30-38 is provided by exclusive-ORing the records on each device and storing the parity records obtained by the exclusive-ORing on one of the storage devices. In Figure 2, each of the storage devices 30-38 is divided into data blocks and parity blocks. The blocks represent the physical space on the storage devices. Since system 10 provides an extent (a continuous piece of allocable disk space) of up to 16 megabytes of data, each block is preferably 16 megabytes in size.

Die Blöcke 70, 73, 74, 76 und 78, jeder auf einem Speichergerät mit bevorzugterweise oem gleichen physikal in Adreßbereich, werden als Streifen betrachtet. In Fig. 2 werden 9 Streifen dargestellt. Jeder geschützte Streifen hat einen zugehörigen Paritätsblock, der das Ergebnis aus der Exklusiv-Oder-Verknüpfung des anderen Blockes in dem Streifen enthält. In dem ersten Streifen enthält Block 70 die Parität für die verbleibenden Blöcke 72, 74, 76 und 78. Ein Block 80 auf dem Speichergerät 32 enthält die Parität der verbliebenen Blöcke auf dem zweiten Streifen. Block 82 auf dem Speichergerät 34 enthält die Parität für den dritten Streifen. Die Blöcke 84 und 86 enthalten die Parität für den vierten beziehungsweise fünften Streifen. Die Paritätsblöcke, einschließlich der Blöcke 88, 90 und 92 für die Streifen 6, 7 und 8, sind über die Speichergeräte verteilt. Der 9. Streifen ist ein ungeschützter Bereich, der keinen zugehörigen Paritätsblock besitzt. Dieser wird zur Speicherung von Daten benutzt, die keinen besonderen Schutz vor Verlust benötigen.Blocks 70, 73, 74, 76 and 78, each on a storage device with preferably the same physical address range, are considered stripes. In Fig. 2, 9 stripes are shown. Each protected stripe has an associated parity block which contains the result of exclusive-oring the other block in the stripe. In the first stripe, block 70 contains the parity for the remaining blocks 72, 74, 76, and 78. A block 80 on storage device 32 contains the parity of the remaining blocks on the second stripe. Block 82 on storage device 34 contains the parity for the third stripe. Blocks 84 and 86 contain the parity for the fourth and fifth stripes, respectively. The parity blocks, including blocks 88, 90, and 92 for stripes 6, 7, and 8, are distributed throughout the storage devices. The 9th stripe is an unprotected area which has no associated parity block. This is used to store data which does not require special protection against loss.

Die Verteilung der Paritätsinformation stellt sicher, daß auf ein bestimmtes Speichergerät nicht viel öfter zugegriffen wird als auf die anderen Speichergeräte während des Schreibens der Paritätsdatensätze, die den Aktualisierungen der Datensätze auf den verschiedenen Streifen folgen. Eine Änderung der in einem Block gespeicherten Datensätze wird zu einer Änderung führen, die ebenfalls an dem Paritätsblock für den Streifen durchgeführt werden muß, der die geänderten Datensätze enthält. Da die Paritätsblöcke für die Streifen auf mehr als ein Speichergerät verteilt sind, wird sich die Paritätsaktualisierung nicht auf ein Gerät konzentrieren. Somit verteilt sich die I/O-Aktivität gleichmäßig über alle Speichergeräte.The distribution of parity information ensures that a particular storage device is not accessed much more often than the other storage devices during the writing of the parity records that follow the updates of the records on the various stripes. A change in the records stored in one block will result in a change that must also be made to the parity block for the stripe that contains the changed records. Since the parity blocks for the stripes are distributed across more than one storage device, the parity update will not be concentrated on one device. Thus, the I/O activity is evenly distributed across all storage devices.

In Fig. 3 enthält eine Einheitentabelle 310 Informationen für jede Speichereinheit, die an dem Paritätsschutz teilnimmt. Eine physikalische Adresse, die eine Einheitennummer und einen Sektor oder eine Seitennummer umfaßt, wird genutzt, um die Lage der benötigten Daten festzustellen. Die Einheitentabelle wird dann benutzt, um die mit 314, 316 und 318 gekennzeichneten Paritätssteuerungsblöcke identifizieren. Die Einheiten 1 - 8 gehören dem ersten Paritätssatz an, der dem Steuerungsblock 314 zugeordnet ist. Die Einheiten 9 - 13 gehören dem zweiten Paritätssatz an, der dem Steuerungsblock 316 zugeordnet ist, und die Einheiten N- 2 bis N gehören dem I. Paritätssatz an, der dem Steuerungsblock 318 zugeordnet ist.In Fig. 3, a unit table 310 contains information for each storage unit participating in parity protection. A physical address comprising a unit number and a sector or page number is used to determine the location of the required data. The unit table is then used to identify the parity control blocks labeled 314, 316 and 318. Units 1-8 belong to the first parity set associated with control block 314. Units 9 - 13 belong to the second parity set associated with control block 316, and units N- 2 to N belong to the first parity set associated with control block 318.

Jeder Eintrag in die Einheitentabelle zeigt auf einen Steuerungsblock, der mit dem Satz Speichergeräte verbunden ist, dem der Eintrag angehört. Die Steuerungsblöcke kennzeichnen, welche Einheit des Satzes den Paritätsblock für jeden Streifen enthält. Im Steuerungsblock 314 hat der Streifen, der die ersten 16 Megabyte Speicher umfaßt, seine Paritätsinformation in den ersten 16 Megabyte der Einheit Nummer 1 gespeichert. Die zweiten 16 Megabyte des Streifens, der die Einheiten 1 - 8 umfaßt, sind in den zweiten 16 Megabyte der Einheit Nummer 2 enthalten. Die Verschiebung des Paritätsblockes setzt sich umlaufend der Reihe nach mit den Einheiten 3 - 8 fort, wobei diese die Parität für die jeweils nächsten 6 Streifen besitzen. Der neunte Streifen des ersten Paritätssatzes hat seine Parität in dem neunten Block aus 16 Megabytes auf der Einheit Nummer 1 gespeichert. Der letzte Streifen, der auf Einheit J, eine der acht Einheiten im Satz, verschoben wurde, muß nicht die vollen 16 Megabyte enthalten, wobei dies davon abhängt, ob der adressierbare Speicher der Einheiten durch 16 Megabyte teilbar ist.Each entry in the unit table points to a control block associated with the set of storage devices to which the entry belongs. The control blocks identify which unit of the set contains the parity block for each stripe. In control block 314, the stripe containing the first 16 megabytes of storage has its parity information stored in the first 16 megabytes of unit number 1. The second 16 megabytes of the stripe containing units 1-8 are contained in the second 16 megabytes of unit number 2. The shifting of the parity block continues in a circular sequence with units 3-8 having the parity for the next 6 stripes. The ninth stripe of the first parity set has its parity stored in the ninth block of 16 megabytes on unit number 1. The last stripe moved to unit J, one of the eight units in the set, may not contain the full 16 megabytes, depending on whether the addressable memory of the units is divisible by 16 megabytes.

Der Nachrichtenkopf in jedem der Paritätssteuerungsblöcke beschreibt, welche Einheiten in dem Satz enthalten sind, und kennzeichnet einen Adreßbereich, der allen Einheiten gemeinsam ist, wobei dieser nicht durch eine Paritätsgruppe geschützt ist. Dadurch, daß man für jede Einheit einen gemeinsamen Bereich hat, der nicht geschützt ist, vereinfacht sich das Schema für den Paritätsschutz. Da die gleichen physikalischen Adressen auf jedem Speichergerät exklusiv-oder-verknüpft wurden, um die Paritätsinformation zu ermitteln, werden keine speziellen Tabellen benötigt, um die Informationen mit der Parität auf andere Weise als die in Pig. 3 gezeigte in Übereinstimmung zu bringen. Der gemeinsame ungeschützte Adreßbereich erfordert keine besondere Berücksichtigung, da die Identifizierung des Bereiches in dem Steuerungsblock erfolgt und für jede Einheit gleich ist.The header in each of the parity control blocks describes which units are included in the set and identifies an address range common to all units that is not protected by a parity group. Having a common range for each unit that is not protected simplifies the parity protection scheme. Since the same physical addresses on each storage device have been exclusive-or'd to determine the parity information, no special tables are needed to match the information with parity in a manner other than that shown in Fig. 3. The common unprotected address range does not require special consideration since the identification of the range is in the control block and is the same for each unit.

Der Paritätssteuerungsblock 316 korrespondiert mit dem Satz aus den Speichereinheiten 9 - 13 in Fig. 3. Diese fünf Einheiten kann man sich als die Speichereinheiten 30 - 38 in Fig. 2 vorstellen. Die Verschiebung der Paritätsgruppen auf die Speichereinheiten erfolgt umlaufend der Reihe nach. Alle aufeinanderfolgenden 16 Negabyte Speicher haben ihre Paritätsgruppen in aufeinanderfolgenden Speichergeräten gespeichert, wobei mit dem Gerät 30 oder der Einheit Nummer 9 in Pig. 3 begonnen wird. Die Einheit Nummer 9 enthält ebenfalls die Paritätsgruppe für den Bereich von 80 - 96 Megabyte in dem Streifen für die Speichereinheiten 9 - 13 (30 - 38). Der letzte Streifen in dem Satz hat seine Parität auf der K-ten Einheit gespeichert, wobei K die Einheit ist, bei der die Verschiebung der Paritätsblöcke endet, da es keine weiteren geschützten Streifen gibt.Parity control block 316 corresponds to the set of storage units 9-13 in Fig. 3. These five units can be thought of as storage units 30-38 in Fig. 2. The shifting of parity groups to the storage units occurs in a circular order. All consecutive 16-negabyte storage has its parity groups stored in consecutive storage devices, starting with device 30 or unit number 9 in Fig. 3. Unit number 9 also contains the parity group for the 80-96 megabyte range in the stripe for storage units 9-13 (30-38). The last stripe in the set has its parity stored on the Kth unit, where K is the unit at which the shifting of parity blocks ends, since there are no more protected stripes.

Der Steuerungsblock 318 korrespondiert mit dem Satz Speichereinheiten N-2 bis N in dem 1-ten Satz Speichereinheiten. Die letzte Einheit verschiebt einen Paritätsblock mit der Bezeichnung L und ist eine von drei Einheiten in dem Satz in Abhängigkeit von der Anzahl der Streifen in dem Satz. Der I-te Satz enthält die minimale Anzahl von Speichereinheiten, drei, die man für die Implementierung des Paritätsschutzes in Betracht ziehen sollte. Die Benutzung von zwei Einheiten wäre möglich, würde jedoch einer Spiegelung mit dem zusätzlichen Schritt einer Exklusiv-Oder-Verknüpfung entsprechen. Acht Einheiten in einem Satz wurden für die bevorzugte Ausführungsform infolge einer svstembedingten Notwendigkeit, die weiter unten diskutiert wird, als Maximum ausgewählt. Es können ohne den Verlust des Schutzes mehr als acht Einheiten eingesetzt werden.The control block 318 corresponds to the set of storage units N-2 through N in the 1st set of storage units. The last unit shifts a parity block labeled L and is one of three units in the set depending on the number of stripes in the set. The Ith set contains the minimum number of storage units, three, that should be considered for implementing parity protection. Using two units would be possible, but would amount to mirroring with the additional step of exclusive-oring. Eight units in a set was chosen as the maximum for the preferred embodiment due to a system requirement discussed below. More than eight units can be used without loss of protection.

Mit einer sehr großen Anzahl Einheiten in einem Satz würde die Rekonstruktion von verlorenen Daten bei Ausfall einer einzelnen Einheit eine längere Zeit beanspruchen, da jede Einheit gelesen werden müßte. Außerdem besteht eine höhere Wahrscheinlichkeit, daß mehr als eine Einheit auf einmal verloren gehen könnte. Wenn dies vorkommt, ist es nicht möglich, die Daten von irgendeiner der verlorenen Einheiten unter Nutzung der oben diskutierten einfachen Parität wieder herzustellen. Die Erfindung kann man als so umfassend angelegt betrachten, daß sie einen komplexeren Datenschutzcode einschließt, der ähnlich der Parität gespeichert werden kann und eine mehrfache Bitkorrektur für den Fall erlaubt, daß mehr als ein Speichergerät ausfällt. Ein Satz kann ebenfalls, wie im IBM TDB, 1981, Vol. 24, Nr. 2 Seiten 986 bis 987 beschrieben, mehrdimensional angeordnet werden, um die Wiederherstellung von Daten aus wenigstens zwei ausgefallenen Einheiten zu erlauben. Weitere Ausführungsformen verteilen die Paritätsinformationen basierend auf der Häufigkeit der Aktualisierung der Daten, damit sich die I/O-Aktivität gleichmäßig verteilt, anstatt die Parität selbst gleichmäßig zu verteilen.With a very large number of units in a set, if a single unit fails, reconstructing lost data would take a longer time because each unit would have to be read. There is also a higher probability that more than one unit could be lost at once. If When this occurs, it is not possible to recover the data from any of the lost units using the simple parity discussed above. The invention may be considered broad enough to include a more complex data protection code that may be stored similarly to parity and allows multiple bit correction in the event that more than one storage device fails. A set may also be arranged multi-dimensionally as described in IBM TDB, 1981, Vol. 24, No. 2 pages 986-987 to allow recovery of data from at least two failed units. Other embodiments distribute the parity information based on the frequency of data updates to evenly distribute I/O activity, rather than evenly distributing the parity itself.

Jeder Datensatz enthält eine Versionsnummer. Da es zu Aktualisierungen von mehreren Datensät zen, die von einem Paritätsdatensatz abgedeckt werden, kommen kann, enthält jeder Datensatz in einem Paritätsblock ebenfalls für jeden Datensatz in der Scheibe, die dieser umfaßt, eine korrespondierende Versionsanzeige. Eine Scheibe ist ein Satz aus Datensätzen und deren korrespondierendem Paritätsdatensatz. Die Versionsanzeigen werden nicht von dem Paritätsschutzschema abgedeckt. In Fig. 4 sind vier Datensätze, 410, 412, 414 und 416 dargestellt, wobei jeder einen Kopf mit einer Datensatzversionsnummer, gekennzeichnet mit 418, 420, 422 beziehungsweise 424, besitzt. Ein Paritätsdatensatz 426 enthält einen Kopf mit vier Versionsnummern, 438, 430, 432 und 434, die mit den Versionsnummern der Datensätze korrespondieren. Die Versionsnummern oder -anzeigen können jede beliebige Länge besitzen, die zu der Anzahl Bits paßt, die in den Datensatzköpfen verfügbar sind. Eine Länge von einem Bit wurde als Folge davon gewählt, daß keine weiteren Bits verfügbar waren. Jedesmal, wenn ein Datensatz sich ändert, wird dessen Versionsnummer erhöht. Die korrespondierenden Versionsnummern in dem Paritätsdatensatz werden ebenfalls erhört, so daß sie den gleichen Wert besitzen.Each record contains a version number. Since updates may occur to multiple records covered by a parity record, each record in a parity block also contains a corresponding version indicator for each record in the slice it covers. A slice is a set of records and their corresponding parity record. The version indicators are not covered by the parity protection scheme. Four records, 410, 412, 414 and 416, are shown in Fig. 4, each having a header with a record version number, designated 418, 420, 422 and 424, respectively. A parity record 426 contains a header with four version numbers, 438, 430, 432 and 434, corresponding to the version numbers of the records. The version numbers or indicators can be of any length that fits the number of bits available in the record headers. A length of one bit was chosen as a result of no more bits being available. Each time a record changes, its version number is incremented. The corresponding version numbers in the parity record are also incremented so that they have the same value.

Die Versionsnummern werden für die Überprüfung der Synchronisation der Paritätsdatensätze mit jedem Datensatz in der Scheibe für den Fall verlorener Daten genutzt. Wenn es zu Änderungen an einigen Datensät zen kommt, können die Datensätze auf den Plattenspeicher geschrieben werden, bevor oder nachdem die Paritätsdatensätze mit den Änderungsmasken aktualisiert wurden. Die Anderungsmasken werden für ihre Aufnahme in die Paritätsdatensätze in die Warteschlange aufgenommen. Das Verbinden einer Versionsnummer mit jedem Paritäts- und Datensatz führt zu der Notwendigkeit, daß die Aktualisierungen der Paritätsdatensätze für einen gegebenen Datensatz auf den Plattenspeicher in der gleichen Reihenfolge durchgeführt werden müssen, wie die Aktualisierungen der Datensätze. Anderenfalls würden die Versionsnummern nicht stimmen. Eine FIFO-Warteschlange hält die Anderungsmasken so, daß sie in die Paritätsdatensätze auf dem Massenspeicher in der Reihenfolge aufgenommen werden, in der die Änderungsmasken generiert wurden.The version numbers are used to check that the parity records are synchronized with each record on disk in case of lost data. If changes occur to some records, the records can be written to disk before or after the parity records are updated with the change masks. The change masks are queued for inclusion in the parity records. Associating a version number with each parity and data record results in the need for the parity record updates for a given record to disk to be made in the same order as the record updates. Otherwise the version numbers would be incorrect. A FIFO queue keeps the change masks in place to be included in the parity records on disk in the order in which the change masks were generated.

Spezielle Berücksichtigung wird den Versionsnummern infolge der begrenzten Verfügbarkeit von Bits in den Köpfen gewidmet. Für jeden Datensatz ist die Versionsnummer auf der ersten Bitposition des 6. Bytes der jeweiligen Datensätze gespeichert. Die zugehörigen Versionsnummern in dem Paritätsdatensatz sind in den ersten 4 Bitpositionen des 6. Bytes und den ersten 3 Bitpositionen des 8. Bytes des Kopfes enthalten. Auf die Bitpositionen für die Versionsnummern des Paritätsdatensatzkopfes wird Bezug genommen werden als Bits 1 - 7, entsprechend der oben beschriebenen Reihenfolge. Die Einheiten in einem Satz sind entsprechend ihrer Reihenfolge in dem Paritätssteuerungsblock von 1 - n numeriert. Die Versionsnummern sind in aufsteigender Reihenfolge, basierend auf der Einheitennummer, in den Köpfen der Paritätsdatensätze gespeichert, wobei die Paritätseinheit weggelassen wird. Wenn die dritte Einheit die Paritätseinheit ist, sind die Versionsnummern, die mit den ersten zwei Einheiten korrespondieren, auf den Bitpositionen 1 und 2 gespeichert. Die Versionsnummer, die mit der vierten Einheit korrespondiert, ist auf Bitposition 3 gespeichert. Die Versionsnummer der n-ten Einheit befindet sich in der Position n-1 im Kopf des Paritätsdatensatzes. Das Speichern der Versionsnummern auf diese Weise erlaubt dem größtmöglichen Satz, die Speichergrenzen vorzugeben. Mit zusätzlichem Speicher kann die Größe des Satzes als eine Funktion von anderen Aspekten des Systems optimiert werden. Die Positionierung der Versionsnummern in dem Paritätskopf kann ebenfalls eine einfache Beziehung zwischen Einheitennummer und Bitposition besitzen.Special consideration is given to version numbers due to the limited availability of bits in the headers. For each record, the version number is stored in the first bit position of the 6th byte of the respective record. The corresponding version numbers in the parity record are contained in the first 4 bit positions of the 6th byte and the first 3 bit positions of the 8th byte of the header. The bit positions for the version numbers of the parity record header will be referred to as bits 1 - 7, according to the order described above. The units in a record are numbered 1 - n according to their order in the parity control block. The version numbers are stored in ascending order based on the unit number in the headers of the parity records, omitting the parity unit. If the third unit is the parity unit, the version numbers corresponding to the first two units are stored in bit positions 1 and 2. The version number corresponding to the fourth unit is stored in bit position 3. The version number of the nth unit is located at position n-1 in the header of the parity record. Storing the version numbers in this way allows the largest possible set to dictate the memory boundaries. With additional memory, the size of the set can be optimized as a function of other aspects of the system. The positioning of the version numbers in the parity header can also have a simple relationship between unit number and bit position.

Da jeder Datensatz eine Versionsnummer besitzt, die unabhängig von jedem anderen Datensatz ist, wird keine Durchnummerierung für die Aktualisierung unterschiedlicher Datensätze benötigt, die von dem gleichen Paritätsdatensatz abgedeckt werden. Die Übertragung der Datensätze in den und aus dem Hauptspeicher kann auf anderen, die Verarbeitungsgeschwindigkeit verbessernden Betrachtungen des Systemdurchsatzes basieren. Die getrennten Versionsnummern schalten ebenfalls die Notwendigkeit aus, die Paritätsdatensätze vom Massenspeicher zu lesen, bevor eine Schreiboperation für einen Datensatz geplant und eine Anforderung auf Aktualisierung der Parität in die Warteschlange eingereiht wird.Since each record has a version number that is independent of any other record, no sequencing is needed for updating different records covered by the same parity record. The transfer of records to and from main memory can be based on other system throughput considerations that improve processing speed. The separate version numbers also eliminate the need to read the parity records from storage before scheduling a write to a record and queuing a parity update request.

Um die durch eine Versionsnummer beanspruchte Speichermenge zu begrenzen, ist es erlaubt, vom größten auf den kleinsten Wert ohne Fehler umzuschalten. Dies ermöglicht es, daß die Versionsnummer neu genutzt werden kann. Wenn eine Ein-Bit-Versionsnummer benutzt wird, schaltet diese von 1 auf 0. Somit gibt es zwei Werte, die sie annehmen kann. Eine Versionsnummer mit einer großeren Anzahl Bits erlaubt mehr Werte. Da die Aktualisierungen der Datensätze und der Paritätsdatensätze asynchron erfolgen, wird eine Aktualisierung auf einen Datensatz gestoppt, wenn die aktualisierte Versionsnummer mit einei bestehenden Versionsnummer verwechselt werden könnte. Derartige Verwechslungen kann es geben, wenn die gleiche Versionsnummer wie die Versionsnummer, die mit der Aktualisierung verbunden ist, in dem Datensatz oder Paritätsdatensatz auf dem Massenspeicher existiert. Der Zeitrahmen, der berücksichtigt worden muß, wird zu dem Zeitpunkt beendet, zu dem eine neue Anforderung auf Aktulalisierung der Parität in die FIFO-Warteschlange eingereiht wird. Sowohl der Datensatz als auch der Paritätsdatensatz müssen aktualisiert worden sein, bevor eine Anforderung auf Aktualisierung abgeschlossen werden kann.To limit the amount of memory used by a version number, it is allowed to switch from the largest to the smallest value without error. This allows the version number to be reused. When a one-bit version number is used, it switches from 1 to 0. Thus, there are two values it can take. A version number with a larger number of bits allows more values. Since the updates of the records and parity records are asynchronous, an update to a record is stopped if the updated version number could be confused with an existing version number. Such confusion can occur if the same version number as the version number associated with the update exists in the record or parity record on the mass storage. The time frame that must be taken into account ends at the time when a new request to update the parity is placed in the FIFO queue. Both the record and the parity record must have been updated before an update request can be completed.

Die Versionsnummern, die auf der Platte bestehen können, bevor eine neue Anforderung auf Aktualisierung abgeschlossen wird, enthalten alle Werte für frühere Anforderungen auf Aktualisierung, die sich in der Warteschlange befinden, und zusätzlich den Wert, der dem ersten (ältesten) Anforderungselement in der Warteschlange vorangeht. Wenn eine Aktualisierungsanforderung nicht aus der Warteschlange entfernt wird, bevor sie abgeschlossen wird, ist es für eine neue Aktualisierung nur notwendig zu warten, bis es keine weiteren Anforderungen Warteschlange für den gleichen Datensatz gibt, und die erhöhte Versionsnummer für den neuen Datensatz mit der Versionsnummer, die dem ersten sich noch in der Warteschlange befindenden Anforderungselement vorangeht, übereinstimmt.The version numbers that may exist on disk before a new update request completes include all values for previous update requests that are in the queue, plus the value preceding the first (oldest) request item in the queue. If an update request is not removed from the queue before it completes, a new update only needs to wait until there are no more requests queued for the same record and the incremented version number for the new record matches the version number preceding the first request item still in the queue.

Der Leistungsbedarf für das Suchen in der Warteschlange, bevor eine Aktualisierung geplant werden kann, ist nicht beträchtlich, solange die Anzahl der Aktualisierungsanfragen in der Schlange klein bleibt. Eine ziemlich schnelle Zugriffszeit, des Speichers der für die Warteschlange genutzt wird, verringert ebenfalls den Leistungsbedarf. Der Hauptspeicher stellt für die Warteschlange einen ausreichenden Speicherbereich bereit. Das Kleinhalten der Anzahl der Aktualisierungsanforderungen in der Warteschlange ist ebenfalls wichtig, um sicherzustellen, daß keine Anforderungen eine übermäßige Wartezeit hat.The performance requirement for searching the queue before an update can be scheduled is not significant as long as the number of update requests in the queue remains small. A fairly fast access time to the memory used for the queue also reduces the performance requirement. Main memory provides sufficient storage space for the queue. Keeping the number of update requests in the queue small is also important to ensure that no request has an excessive wait time.

Wenn, wie in der bevorzugten Ausführungsform, die Versionsnummern als Ein-Bit-Elags implementiert sind, ist es nur notwendig, die Warteschlange nach irgendeiner früheren Aktualisierungsanforderung in dem gleichen Datensatz zu durchsuchen, um zu bestimmen, ob die neue Aktualisierung warten muß. Es gibt keine Notwendigkeit, die Werte der Versionsnummern zu überprüfen, da eine neue Anforderung immer abwarten muß, ob es für den gleichen Datensatz eine unvollständige Anforderung in der Warteschlange gibt.If, as in the preferred embodiment, the version numbers are implemented as one-bit elags, it is only necessary to search the queue for any previous update request in the same record to determine whether the new update must wait. There is no need to check the values of the version numbers, since a new request must always wait to see if there is a new update for the same record there is an incomplete request in the queue.

In der bevorzugten Ausführungsform beinhalten die Datensatzköpfe sieben ungenutzte Bits, die für die Impiementierung der gegenwärtigen Erfindung verfügbar sind. Dies setzt eine Grenze für die Anzahl der Einheiten, die an einem Satz teilhaben können. Nur sieben Versionsnummern können in einen Paritätsdatensatz aufgenommen werden, so daß nur bis zu acht Gesamteinheiten an einem Satz zum Paritätsschutz teilhaben können. Wie vorher betrachtet, können viel mehr oder auch nur drei Einheiten wirksam aus der gegenwärtigen Erfindung einen Nutzen ziehen.In the preferred embodiment, the record headers include seven unused bits available for implementation of the present invention. This sets a limit on the number of units that can participate in a set. Only seven version numbers can be included in a parity record, so only up to eight total units can participate in a set for parity protection. As previously considered, many more or as few as three units can effectively benefit from the present invention.

Die Konfigurierung des Systems für den Paritätsschutz von Daten wird durch den Nutzer bei 510 in dem Flußdiagramm von Fig. 5 eingeleitet. Ein Vorbereitungsauftrag an den Prozessor 12 erzeugt die Paritätssteuerungsblöcke 314 - 318 in Block 512 des Flußdiagramms. Die Aufgabe nutzt Informationen in einer Konfigurationseinheitentabelle 312, die die mit dem System verbundenen Speichereinheiten kennzeichnet. Ein Speichergerät, wie etwa das IBM 3370, kann mehr als eine unabhängige Einheit besitzen, wie etwa einen Arm, auf den unabhängig zugegriffen werden kann, jedoch wird nur eine Einheit aus dem Speichergerät für einen bestimmten Satz ausgewählt. Ein weiteres Kriterium für die Auswahl der Einheiten bringt den Einsatz von so vielen Plattensteuereinheiten in einem Satz wie möglich mit sich. Dieses Kriterium wird eingesetzt, damit ein Ausfallzustand nicht zwei Einheiten in einem Satz beeinflußt. Der Vorbereitungsauftrag maximiert ebenfalls die nutzbare Kapazität durch Maximierung der Anzahl der Einheiten in einem Satz.Configuring the system for parity protection of data is initiated by the user at 510 in the flow chart of Figure 5. A prepare job to processor 12 generates parity control blocks 314-318 in block 512 of the flow chart. The job uses information in a configuration unit table 312 that identifies the storage units connected to the system. A storage device such as the IBM 3370 may have more than one independent unit, such as an arm, that can be accessed independently, but only one unit from the storage device is selected for a particular set. Another criteria for selecting units involves using as many disk control units in a set as possible. This criterion is used so that a failure condition does not affect two units in a set. The preparation order also maximizes usable capacity by maximizing the number of units in a set.

Nachdem die Steuerungsblöcke erzeugt wurden, werden die Streifenfelder in den Steuerungsblöcken bei 514 erzeugt. Die Streifenfelder kennzeichnen, wie vorher festgestellt wurde, die Paritätsblöcke der Reihe nach umlaufend in jedem Satz. Die Streifenfoldor wordou gebildet, um anzuzeigen, welche Einheiten die Paritätsblöcke für aufeinanderfolgende, aus 16-Megabyte-Blöcken jeder Einheit bestehende Streifen beinhalten. Der Nutzer kann ebenfalls eine Größe für benötigten ungeschützten Speicher festlegen. Eine Festlegung des Adreßbereiches des ungeschützten Speichers wird in den Kopf des Steuerungsblockes eingegeben. Der Vorbereitungsauftrag wird aus dem ungeschützten Streifen keinen Block als Paritätsblock festlegen, so daß der gesamte ungeschützte Block für Datensätze verfügbar sein wird.After the control blocks are created, the stripe fields are created in the control blocks at 514. The stripe fields, as previously stated, identify the parity blocks in sequence in each set. The stripe fields are formed to indicate which units the parity blocks are for consecutive 16-megabyte blocks. each unit. The user can also specify a size of unprotected memory required. A specification of the address range of the unprotected memory is entered in the header of the control block. The preparation job will not designate any block from the unprotected stripe as a parity block, so the entire unprotected block will be available for data records.

Als nächstes schreibt der Vorbereitungsauftrag die Steuerungsblöcke bei 516 auf mehr als eine Mitgliedseinheit von jedem Satz, mit dem die Steuerungsblöcke korrespondieren. Die Steuerungsblöcke werden während der Wiederherstellung benutzt, um die Mitglieder eines Satzes zu kennzeichnen. Sie müssen somit ohne Wiederherstellung der Parität verfügbar sein. Sie wurden auf mehr als eine Mitgliedseinheit von jedem Satz für den Fall geschrieben, daß eine der Mitgliedseinheiten ausfällt, die diese Steuerungsblöcke enthält. In dem Fall, daß das Schutzschema gegen den Ausfall von mehr als einer Einheit schützt, werden die Steuerungsblöcke auf wenigstens eine Einheit mehr geschrieben, als die Anzahl der Einheiten ist, die wiederhergestellt werden können. In der bevorzugten Ausführungsform werden sie zu jedem Mitglied des Satzes geschrieben, so daß die Einheiten nicht durchsucht werden müssen, um zu bestimmen, welche Einheit den Steuerungsblock enthält. Jetzt, wo die Sätze gekennzeichnet und die Steuerungsblöcke erzeugt wurden, macht Block 518 des Vorbereitungsauftrags die Paritätsblöcke einschließlich der Versionsnummern gültig. In der bevorzugten Ausführungsform wird dies durch Nullsetzen aller Daten auf allen Einheiten erreicht. Da gerade Parität für den Paritätsschutz benutzt wird, ist das Ergebnis eine gültige Parität für die Gesamtheit der Daten. Die Versionsnummern sind zum Start ebenfalls auf null gesetzt.Next, the prepare job writes the control blocks at 516 to more than one member unit of each set to which the control blocks correspond. The control blocks are used during recovery to identify the members of a set. They must thus be available without parity recovery. They have been written to more than one member unit of each set in the event that one of the member units containing these control blocks fails. In the event that the protection scheme protects against the failure of more than one unit, the control blocks are written to at least one more unit than the number of units that can be recovered. In the preferred embodiment, they are written to every member of the set so that the units do not have to be searched to determine which unit contains the control block. Now that the sets have been marked and the control blocks have been created, block 518 of the prepare job makes the parity blocks valid, including the version numbers. In the preferred embodiment, this is accomplished by zeroing all data on all units. Since even parity is used for parity protection, the result is valid parity for all of the data. The version numbers are also zeroed to start with.

Das System wird dann bei 520 auf Standardweise durch Auslösen des Ladens eines ersten Programmes initialisiert.The system is then initialized at 520 in the standard manner by triggering the loading of a first program.

Es ist ebenfalls möglich, ein Mitglied zu einem Satz hinzuzufügen, das nitht die maximale Anzahl von Einheiten besitzt. Das neue Mitglied wird dann vorzugsweise auf Null gesetzt und der Einheitentabelle hinzugefügt. Die Paritätsblöcke des Satzes werden dann neu verteilt, um die neue Einheit einzubeziehen. Der Steuerungsblock für den Satz wird anschließend überarbeitet, und die Einheiten, die die zu der neuen Einheit übertragenen Paritätsblöcke enthielten, haben ihre Adreßbereiche, die die Paritätsblöcke enthielten, auf Null gesetzt, wodurch die Paritätsgruppe für diesen Streifen gültig gemacht wurde.It is also possible to add a member to a set that does not have the maximum number of units. The new member is then preferably zeroed and added to the unit table. The parity blocks of the set are then redistributed to include the new unit. The control block for the set is then revised and the units that contained the parity blocks transferred to the new unit have their address ranges containing the parity blocks zeroed, making the parity group valid for that stripe.

In der bevorzugten Ausführungsform wird der Steuerungsblock zeitweilig überarbeitet, um eine Änderung in dem Satz anzuzeigen, zu der es kommt, wenn eine neue Einheit hinzugefügt wird. Die zeitweilige Änderung wird in dem Fall durchgeführt, wenn es während der Umverteilung des Paritätsblockes zu einem Fehler kommt. Die Paritätsblöcke eines bestehenden Satzes werden dann neu verteilt, um die neue Einheit einzubeziehen. Die Einheiten, die Paritätsblöcke enthielten, die zu der neuen Einheit übertragen wurden, haben ihre Adreßbereiche, die die Paritätsblöcke enthielten, auf Null gesetzt. Wenn die Umverteilung vollständig ist, werden die Änderungen an dem Kontrollblock dauerhaft festgelegt.In the preferred embodiment, the control block is temporarily revised to reflect a change in the set that occurs when a new unit is added. The temporary change is made in the event that an error occurs during the redistribution of the parity block. The parity blocks of an existing set are then redistributed to include the new unit. The units that contained parity blocks transferred to the new unit have their address ranges containing the parity blocks zeroed. When the redistribution is complete, the changes to the control block are made permanent.

Es ist ebenfalls möglich, eine neue Einheit ohne die Übertragung von Paritätsblöcken hinzuzufügen. Das Nichtübertragen der Paritätsblöcke würde es verhindern, daß die Erhöhung der Zugriffsrate des Satzes, die durch das Hinzufügen einer neuen Einheit möglich wurde, genutzt werden kann. Die neue Einheit würde jedoch durch die bestehenden Paritätsblöcke geschützt sein.It is also possible to add a new unit without transferring parity blocks. Failure to transfer parity blocks would prevent the increase in the set's access rate made possible by adding a new unit from being exploited. The new unit would, however, be protected by the existing parity blocks.

In Fig. 6 werden das Ändern eines Datensatzes und dessen zugehörigen Paritätsdatensatzes gezeigt. Eine derartige Änderung kann durch eine Person, die Daten in einer Datenbank ändert oder durch einen Maschinenprozeß, oer eine Änderung aus einer Anzahl von Gründen anfordert, aufgerufen werden. Bei 610 liest ein Nutzerauftrag, der auf dem Prozossor 12 läuft, den zu ändernden Datensatz. Der Nutzerauftrag erstellt zunächst eine zusätzliche Kopie des Datensatzes bei 612 und führt führt die Änderungen an dem Datensatz auf die herkömmliche Weise durch.In Fig. 6, the modification of a record and its associated parity record is shown. Such a modification may be invoked by a person changing data in a database or by a machine process requesting a modification for a number of reasons. At 610, a user job running on the processor 12 reads the record to be modified. The user job first makes an additional copy of the record at 612 and makes the modifications. the data set in the conventional way.

Der Nutzerauftrag erzeugt dann eine Änderungsmaske bei 614 durch Exklusiv-Oder-Verknüpfung des geänderten Datensatzes mit der zusätzlichen Kopie des Datensatzes. Das erste Bit der geänderten Daten wurde mit dem ersten Bit der zusätzlichen Kopie exklusivoder-verknüpft, um das erste Bit der Änderungsmaske zu bilden. Jedes folgende Bit der geänderten Daten wird auf die gleiche Weise mit den zugehörigen Bits der zusätzlichen Kopie exklusivoder-verknüpft, um weitere Bits der Änderungsmaske zu bilden. Eine bereits bestehende Maschinenanweisung führt die Exklusiv-Oder-Verknüpfung der Köpfe des geänderten Datensatzes und des kopierten Datensatzes aus. Zwei weitere Maschinenanweisungen führen die Exklusiv-Oder-Verknüpfung der Seiten in 256-Byte- Blöcken aus. Die Positionen im Kopf, die mit den Versionsnummern der Paritätsdatensätze korrespondieren, werden dann in der Änderungsmaske auf Null gesetzt, so daß sie nicht die Versionsnummern des Paritätsdatensatzes beeinflussen.The user job then creates a change mask at 614 by exclusive-oring the changed record with the additional copy of the record. The first bit of the changed data has been exclusive-ored with the first bit of the additional copy to form the first bit of the change mask. Each subsequent bit of the changed data is exclusive-ored in the same way with the corresponding bits of the additional copy to form additional bits of the change mask. An existing machine instruction performs exclusive-oring of the headers of the changed record and the copied record. Two additional machine instructions perform exclusive-oring of the pages in 256-byte blocks. The positions in the header that correspond to the version numbers of the parity records are then set to zero in the change mask so that they do not affect the version numbers of the parity record.

Die Versionsnummern in dem Datensatzkopf werden dann durch den Nutzerauftrag im Block 616 erhöht. Ein Nutzerauftrag 617 bestimmt dann durch Suchen der Einheitentabelle 312, welche Einheit den passenden Paritätsdatensatz enthält. Dieses Durchsuchen basiert auf der Einheitennummer aus der physikalischen Adresse der neuen Daten. Die Einheitentabelle zeigt an, welcher der Steuerungsblöcke 314 - 318 einzusetzen ist, um die Einheit festzustellen, die den Paritätsdatensatz für den jeweiligen Datensatz enthält. Wiederum wird die Adresse des neuen Datensatzes genutzt, um den interessierenden Streifen zu kennzeichnen. Wenn einmal die Einheit, die den Paritätsdatensatz für den Streifen enthält, gekennzeichnet ist, reiht Auftrag 617 eine Aktualisierungsanforderung, die die Datensatzadresse sind die Änderungsmaske enthält, in eine Warteschlange 624 for die jeweilige Einheit ein. Die Aktualisierungsanforderung kennzeichnet ebenfalls den Datensatz, der noch nicht geschrieben wurde. Bevor die Aufgabe 617 die Aktualisierungsanfordernng in die Warteschlange 624 einreiht, durchsucht er die Warteschlange 624, um sicherzustellen, daß es nicht zu Verwechslungen mit Versionsnummern kommt, so wie es vorher beschrieben wurde. Wenn eine Verwechslung möglich ist, wartet der Nutzerauftrag, bis es zu keiner Verwechslung vor der Verarbeitung mehr kommen kann.The version numbers in the record header are then incremented by the user job in block 616. A user job 617 then determines which unit contains the appropriate parity record by searching the unit table 312. This search is based on the unit number from the physical address of the new data. The unit table indicates which of the control blocks 314-318 to use to determine the unit containing the parity record for the particular record. Again, the address of the new record is used to identify the stripe of interest. Once the unit containing the parity record for the stripe is identified, job 617 queues an update request containing the record address and the change mask in a queue 624 for the particular unit. The update request also identifies the record that has not yet been written. Before task 617 places the update request in queue 624, it searches queue 624 to ensure that there is no confusion with version numbers, as previously described. If confusion is possible, the user job waits until there is no longer any chance of confusion before processing.

Von der Adresse des Paritätsdatensatzes weiß man, daß diese gleich der Adresse der neuen Daten ist, es sei denn, sie befindet sich auf einer anderen Einheit. Eine Schreibanforderung für die neuen Daten wurde bei 618 in eine Warteschlange 620 eingereiht. Wenn ein Datensatz auf einen Speicher 622 geschrieben wird, wird ein Hinweis auf diese Tatsache bei 625 zu der Aktualisierungsanforderung in der Warteschlange 624 gesandt. Dann wird im Ablauf zurückgesprungen, um auf die nächste Änderung des Datensatzes zu warten.The address of the parity record is known to be equal to the address of the new data unless it is on a different device. A write request for the new data has been queued 620 at 618. When a record is written to memory 622, an indication of this fact is sent to the update request in queue 624 at 625. Then, the flow loops back to wait for the next change to the record.

Eine Aufgabe zur Aktualisierung der Parität beginnt bei 627, indem die nächste Paritätsaktualisierungsanfrage aus der Schlange 624 genommen wird. Wenn einmal der Paritätsdatensatz, der durch die Aktualisierungsanfrage gekennzeichnet wurde, bei 626 gelesen wurde, wird die Änderungsmaske bei 628 mit dem Paritätsdatensatz exklusiv-oder-verknüpft. Die Versionsnummern werden durch die Exklusiv-Oder-Verknüpfung nicht geändert, da die Änderungsmaske in den zu den Versionsnummern gehörigen Bitpositionen Nullen enthält. Die Eklusiv-Oder-Verknüpfung wird durchgeführt, indem der gleiche Maschinenbefehl für die Exklusiv-Oder-Verknüpfung wie beim Block 614 des Nutzerauftrages genutzt wird. Die Versionsnummer des Paritätsdatensatzes, die zu dem Datensatz gehört, wird dann in 630 erhöht und eine Schreibanforderung für den Paritätsdatensatz bei 632 erteilt. Der Auftrag zur Paritätsaktualisierung erhält dann bei 627 die nächste Anforderung zur Paritätsaktualisierung.A parity update task begins at 627 by taking the next parity update request from the queue 624. Once the parity record identified by the update request has been read at 626, the change mask is exclusive-ored with the parity record at 628. The version numbers are not changed by the exclusive-oring because the change mask contains zeros in the bit positions corresponding to the version numbers. The exclusive-oring is performed using the same machine instruction for the exclusive-oring as in block 614 of the user task. The parity record version number associated with the record is then incremented at 630 and a write request for the parity record is issued at 632. The parity update job then receives the next parity update request at 627.

Eine Warteschlange 634 speichert die Schreibanforderungen der Paritätsdatensätze für die Speichereinheiten. In diesem Fall wird eine Speichereinheit 636 für die jeweilige Schreibanforderung gekennzeichnet. Die Speichereinheit 636 unterscheidet sich von der Einheit 622, da die Daten und die Paritätsdatensätze nicht auf die gleiche Einheit geschrieben werden. Wenn das Schreiben des Paritätsdatensatzes abgeschlossen wurde, wird die Aktualisierungsanforderung in der Warteschlange 624 bei 637 benachrichtigt. Wenn sowohl das Datenschreiben als auch das Paritätsschreiben abgeschlossen wurden, wird der Eintrag aus der Warteschlange 624 entfernt, was wiederum anzeigt, daß es nicht länger die Möglichkeit einer Verwechslung mit den Versionsnummern gibt.A queue 634 stores the write requests of the parity records for the storage units. In this case, a storage unit 636 is marked for the respective write request. The storage unit 636 differs from the unit 622 because the data and the parity records not be written to the same device. When the parity record write has been completed, the update request in queue 624 is notified at 637. When both the data write and the parity write have been completed, the entry is removed from queue 624, again indicating that there is no longer any possibility of confusion with the version numbers.

Die Wiederherstellung wird durchgeführt, wenn entweder ein einzelner Datensatzlesefehler während des Normalbetriebs des Systems auftritt, oder wenn die gesamte Einheit ausfällt.Recovery is performed when either a single record read error occurs during normal system operation or when the entire unit fails.

Wenn eine Einheit ausfällt, werden die verlorenen Daten auf der Einheit aus den verbliebenen Einheiten des Satzes auf die Weise wiederhergestellt, wie es in den Steuerungsblöcken, die auf mehr als einem Mitglied im Satz gespeichert sind, angezeigt wird. Die ausgefallene Einheit wird ersetzt oder repariert. Die Daten für die neue Einheit werden dann aus den verbliebenen Mitgliedern des Satzes Datensatz für Datensatz wiederhergestellt. Ein Paritätsdatensatz wird einfach durch Lesen der Datensätze in dem Satz und Regenerierung der Parität wiederhergestellt. Die Versionsnummern in den Paritätsdatensätzen werden gleich den zugehörigen Versionsnummern in den Datensätzen gesetzt.If a unit fails, the lost data on the unit is reconstructed from the remaining units of the set in the manner indicated in the control blocks stored on more than one member of the set. The failed unit is replaced or repaired. The data for the new unit is then reconstructed from the remaining members of the set, record by record. A parity record is reconstructed simply by reading the records in the set and regenerating the parity. The version numbers in the parity records are set equal to the corresponding version numbers in the records.

Wenn ein Datensatz regeneriert wird, wird zuerst eine Überprüfung an jedem der Datensätze durchgeführt, um zu bestimmen, ob ihre Versionsnummern zu den Versionsnummern in dem Paritätsdatensatz für diesen Streifen passen. Wenn irgendeine der Versionsnummern in diesem Streifen nicht paßt, wird eine Kennung über verlorene Daten in Kopf des verlorenen Datensatzes geschrieben. Wenn die Versionsnummern passen, werden die Datensätze in dem Streifen einzeln nacheinander mit dem neuen Datensatz exklusiv-oder-verknüpft. Die jeweilige Versionsnummer wird dann aus dem Paritätsdatensatz in den neuen Datensatzkopf kopiert.When a record is regenerated, a check is first performed on each of the records to determine if their version numbers match the version numbers in the parity record for that stripe. If any of the version numbers in that stripe do not match, a lost data flag is written to the header of the lost record. If the version numbers match, the records in the stripe are exclusive-ored one by one with the new record. The respective version number is then copied from the parity record to the new record header.

Wenn ein Fehler entweder in dem Datensatz oder in dem Paritätsdatensatz festgestellt wird, werden die Bestandteile des fehlerhaften Datensatzes mit dem gleichen Mechanismus, wie er oben für die Wiederherstellung einer ganzen Einheit beschrieben wurde, rekonstruiert. In diesem Fall ist es notwendig, während die Wiederherstellung im Gange ist, alle Aktivitäten zur Änderung auf die Scheibe zu beschränken, die den fehlerhaften Datensatz enthält.If an error occurs in either the record or the parity record is detected, the components of the corrupted record are reconstructed using the same mechanism as described above for the reconstruction of a whole unit. In this case, while the reconstruction is in progress, it is necessary to restrict all modification activities to the disk containing the corrupted record.

Im Anschluß an die Wiederherstellung wird der normale Betrieb des Systems fortgesetzt, wobei die einzigen verlorenen Daten diejenigen sind, für die eine Aktualisierung der Daten oder Parität durchgeführt wurde und eine Einheit ausfiel, bevor der zugehörige Paritätsdatensatz oder Datensatz geschrieben werden konnte. Somit wurde die große Mehrheit der Daten in der ausgefallenen Einheit ohne überflüssigen Mehraufwand oder Spiegelung wiederhergestellt. Durch die Verteilung der Paritätsinformation über die Mitglieder des Satzes wird im Gegensatz zum Einbinden eines Gerätes mit den Paritätsinformationen der Parallelbetrieb von Speichergeräten genutzt, um maximale Zugriffsraten zu erhalten.Following recovery, normal operation of the system continues, with the only data lost being that for which a data or parity update was performed and a unit failed before the associated parity record or data set could be written. Thus, the vast majority of the data in the failed unit was recovered without unnecessary overhead or mirroring. By distributing the parity information across the members of the set, as opposed to mounting a device with the parity information, parallel operation of storage devices is exploited to obtain maximum access rates.

Obwohl die Erfindung unter Bezug auf eine oder mehrere bevorzugte Ausführungsformen und unter Bezug auf ein bestimmtes System beschrieben wurde, wird der Fachmann feststellen, daß die Erfindung viele Formen und Gestalten annehmen kann. Die Datensatzgrößen sind im keiner Weise auf die hier diskutierten Werte begrenzt, und auch die Speichereinheiten sind nicht auf Plattenlaufwerke beachränkt. Die Tatsache, daß nur identische Geräte in einem Satz genutzt werden, ist nur eine Frage der Auswahl im Hinblick auf eine Vereinfachung beim Entwurf. Viele Kombinationen aus Speichereinheiten in Sätzen und die Verteilung der Datenschutz- oder Paritätsblöcke werden vom Rahmen der Erfindung, so wie sie oben beschrieben und beansprucht wird, umfaßt.Although the invention has been described with reference to one or more preferred embodiments and with reference to a particular system, those skilled in the art will recognize that the invention can take many forms and shapes. The data set sizes are in no way limited to those discussed here, nor are the storage devices limited to disk drives. The fact that only identical devices are used in a set is merely a matter of choice for simplicity in design. Many combinations of storage devices in sets and the distribution of the data protection or parity blocks are within the scope of the invention as described and claimed above.

Claims

1. A data protection mechanism for a computer system having storage devices (30, 32, 34, 36, 38) that can be accessed multiple times independently, and having storage management means for managing the storage of data blocks on the storage devices (30, 32, 34, 36, 38) and:

with generation means for generating parity blocks as a function of data block sets, the data blocks of a set corresponding to a parity block being stored on different storage devices, characterized in that it further comprises:

Distribution means, coupled to the storage management means, for identifying a storage device for the storage management means on which the parity block is to be stored such that none of the storage devices (32, 34, 36, 38) contains the parity blocks (70, 80, 82, 84, 86, 88, 90, 92) for all data block groups (72, 74, 76, 78).

2. The data protection mechanism of claim 1, wherein the means for distributing distributes the parity blocks substantially evenly among the storage devices.

3. The data protection mechanism of claim 2, wherein the means for distributing distributes the parity blocks in a circular order.

4. The data protection mechanism of claim 1, wherein each data block of a set and its corresponding parity block form a stripe of the same address ranges for each of the storage devices.

5. The data protection mechanism of claim 4, wherein at least one stripe of equal addresses contains data blocks without a parity block.

6. The data protection mechanism of claim 4, wherein there are at least as many stripes as there are data blocks in a group plus a parity block.

7. The data protection mechanism of claim 4, wherein the size of the address space is at least as large as the largest contiguous piece of memory allocable to the system.

8. The data protection mechanism of claim 1, wherein each storage device has the same address size.

9. The data protection mechanism of claim 1, wherein a set comprises at least three storage devices.

10. The data protection mechanism of claim 1, wherein the storage devices of a set are selected to minimize the number of storage devices affected by the failure of a single component of the computer system.

11. The data protection mechanism of claim 1, wherein a block comprises a plurality of fixed-size records and the mechanism further comprises version generation means for supplying independent version numbers to records having the same address in a set and corresponding version numbers to the parity record covering such a group of records.

12. The data protection mechanism of claim 11, wherein the version counters include counters, and the version generation means increments the counter in a revised record and increments the corresponding counter in the parity record.

13. The data protection mechanism of claim 12, further comprising data recovery means for recovering records lost on a failed storage device by combining the records remaining in the set of storage devices.

14. The data protection mechanism of claim 13, wherein recovery of a lost record from a device is possible at any remaining record in the set of records having version numbers that match the version numbers in the parity record.

15. The data protection mechanism of claim 1, further comprising means for marking changes for generating a change mask for a parity record when a record in the group is to be changed, the change mask generated as a function of the original record and the changed record.

16. A method for protecting data stored on a variety of storage devices, comprising:

dividing addressable memory on each of the memory devices (30, 32, 34, 36, 38) into memory blocks such that each memory has the same number of blocks, the blocks on each memory having the same address range comprising a stripe;

storing the parity information for each stripe memory blocks in a distributed manner along the storage devices (30, 32, 34, 36, 38) to improve the overall access rate to the storage devices; and

changing the parity information for each stripe as a function of a change to a block in its corresponding stripe, without having to read all the blocks in the stripe.

17. The method of claim 16, wherein the step of changing the parity information consists of the following steps:

reading the data to be changed;

creating a copy of the data to be changed;

generating the data changes;

the generation of a change mask as a function of the copy of the data to be changed and the changed data;

writing the changed data into memory;

reading the corresponding parity data;

applying the change mask to the parity data in order to update it; and

writing the updated data into memory.

18. The method of claim 16, wherein the step of changing the parity information further comprises the step of generating a version number stored jointly with both the data block and the parity block.