DE69800808T2

DE69800808T2 - Redundantes, verteiltes Netzwerksystem

Info

Publication number: DE69800808T2
Application number: DE69800808T
Authority: DE
Inventors: Vasken Bohossian; Jehoshua Bruck; Chenggong Fan; Paul Lemahieu; David Riedel; Lihao Xu
Original assignee: California Institute of Technology CalTech
Current assignee: California Institute of Technology CalTech
Priority date: 1997-10-01
Filing date: 1998-10-01
Publication date: 2002-03-28
Anticipated expiration: 2018-10-02
Also published as: EP1019841B1; AU9781198A; US6088330A; WO1999017217A1; EP1019841A1; JP2001518665A; ATE201271T1; US6128277A; DE69800808D1

Description

TECHNISCHES GEBIET

Diese Anmeldung beschreibt eine zuverlässige Matrix aus verteilten Rechenknoten, die eine redundante Kommunikation und Speicherung von Informationen beinhaltet, indem eine robuste Kommunikationstechnik und verteilte Lese- und Schreiboperationen geschaffen werden. Das System kann außerdem die Erfassung eines Zustands, der den Bedarf an Redundanz angibt, und als Reaktion auf den Zustand die Rekonfiguration, um den Zustand auszugleichen, anwenden.

STAND DER TECHNIK

Die Datenverarbeitung und -speicherung in einer verteilten Umgebung enthält ein großes Potential zur Nutzung der vorhandenen Hardware und Software. Ein solches System wäre als verteilter und hochverfügbarer Speicherserver einsetzbar. Mögliche Anwendungen umfassen den Einsatz als Multimedia-Server, Web-Server und Datenbankserver. Noch allgemeiner kann ein System dieses Typs für jede Anwendung eingesetzt werden, in der zwischen verschiedenen Orten Informationen verteilt werden müssen.
Jedoch besteht die Herausforderung in der richtigen Kombination von Vermittlung, Überwachung und Betrieb, um, ohne die Kosten übermäßig zu erhöhen, Zuverlässigkeit zu schaffen.
Wie eine redundante Speicherung, die bestimmte Fehler kompensieren kann, zu bewerkstelligen ist, ist bekannt. Ein Beispiel eines solchen Systems ist die sogenannte zuverlässige Matrix unabhängiger Platten oder RAlD (reliable array of independent disks). Zwei Beispiele für ein RAlD-System finden sich in den US-Patenten Nr. 5.579.475 und Nr. 5.412.661. Diese Systeme schaffen eine redundante Datenspeicherung, so daß ein Fehler irgendeiner Platte des Systems durch redundante Daten anderswo im System ausgeglichen wird.
Es sind Kommunikationssysteme bekannt, in denen jeder Computer im System (Knoten) mit den anderen Knoten verbunden ist. Ein Beispiel ist Ethernet, das ein busgestütztes Protokoll ist. Die Rechenknoten kommunizieren über den Bus. Ein Server speichert üblicherweise sämtliche Daten, die allen Knoten gemeinsam sind. Die Knoten können außerdem lokale Datenspeicher haben.
Jedes einzelne Netzsystem umfaßt eine einzige Ethernet- Verbindung zwischen den Knoten und dem Server. Daher können die Knoten, wenn in der Verbindung oder in der Kommunikation mit dem Server oder im Server selbst ein Fehler auftritt, keine konventionellen Datenzugriffsdienste vom Server erhalten. Die Knoten sind dann gezwungen, im selbständigen Modus zu arbeiten. Jene Knoten können dann nur unter Verwendung von lokal verfügbaren Daten arbeiten.
Es sind Server-basierte Systeme bekannt, die die Zuverlässigkeit eines solchen Systems erhöhen sollen. Eines dieser Systeme verwendet eine Dual-Bus-Verbindung. Jeder Rechenknoten ist mit zwei Ethernet-Anschlüssen versehen und verwendet zwei getrennte Ethernet-Karten für zwei getrennte Busse zu zwei getrennten Servern. Dies entspricht effektiv zwei getrennten Systemen, wovon jedes vollständig mit Hardware und Software ausgestattet ist.
Wenn ein Verbindungs- oder ein Busfehler auftritt, kann der Normalbetrieb über den anderen Bus fortgesetzt werden. Ein System mit zwei redundanten Bussen und zwei redundanten Servern wird Dual-Bus-Dual-Server-System genannt. Ein solches Dual-Bus-Dual-Server-System toleriert jeden einfachen Netzfehler. Jedoch erfordern solche Systeme das Duplizieren sämtlicher Informationen auf jedem Server.
Die Bemühungen zur Schaffung von Systemredundanz umfassen das in dem veröffentlichten Dokument EP-A-0 366 935 mit dem Titel "High Speed Switching System with Flexible Protocol Capability" beschriebene System. Dieses Dokument beschreibt ein schnelles Vermittlungssystem, das Vermittlungsebenen umfaßt und den Betrieb fortsetzt, selbst wenn eine Vermittlungsebene oder -verbindung fehlerhaft ist, indem die übrigen Vermittlungsebenen verwendet werden. Die Vermittlungsebenen sind verschiedenen Typs und dienen verschiedenen Zwecken. Überdies befaßt sich dieses Dokument nicht mit der Systemrekonfiguration und der Datenrekonstruktion.

OFFENBARUNG DER ERFINDUNG

Das in dieser Anmeldung beschriebene System nutzt die vorhandene Hardware und Software unter Verwendung von Arbeitsplatzrechnern mit relativ geringer Leistung wie etwa Personalcomputern. Diese Personalcomputer sind über eine redundante Verbindung verbunden. Die Verbindung kann die vorhandene Hardware, z. B. lokale Netze und/oder Weitbereichsnetze, nutzen.
Die vorliegende Anmeldung beschreibt ein redundantes, verteiltes Netzsystem mit Server, das aus einer Matrix von verteilten Rechenknoten gebildet ist, in Übereinstimmung mit den Ansprüchen, die im Anschluß folgen. Jeder Rechenknoten speichert Informationen in einer besonderen redundanten Weise und verfährt nach einem Protokoll, das eine robuste Kommunikation sicherstellt.
Das System besitzt eine besondere Architektur und Arbeitsweise, die im Netz eine Fehlertoleranz ermöglicht, vorzugsweise derart, daß eine bestimmte Anzahl von Netzfehlern den Betrieb der übrigen Knoten des Systems nicht beeinflussen. Dennoch muß kein einziger der Knoten alle Informationen doppelt speichern.
Das Server System umfaßt die redundante Kommunikation und Speicherung. Die redundante Speicherung von Informationen erfolgt durch Anwendung eines speziellen redundanten Codierschemas.
Das Serversystem führt außerdem eine verteilte Erfassungsroutine aus, die Systemfunktionszustände erfaßt. Ein Systemfunktionszustand ist beispielsweise der Netzfehler. Der Netzfehler kann einen Kommunikationsfehler wie etwa eine unterbrochene Leitung oder einen nicht betriebsbereiten Knoten oder nicht betriebsbereite Schaltvorrichtung beinhalten. Allgemeiner noch kann der Systemfunktionszustand jeder Zustand sein, der eine Netzoperation verhindert. Der Systemfunktionszustand kann durch die Systemredundanz kompensiert werden.
Das Serversystem führt vorzugsweise einen Netzüberwachungsprozeß aus, der den Systemfunktionszustand erfaßt. Ein Logiknetzprozeß rekonfiguriert das Netz, um die Redundanz zur Kompensierung des Systemfunktionszustands zu nutzen.
Das System verwendet außerdem ein verteiltes Lese- und Schreibsystem, das bei Auftreten eines Systemfehlers eine alternative Operation ermöglicht. Diese alternative Operation nutzt die Systemredundanz.

KURZBESCHREIBUNG DER ZEICHNUNG

Die Aufgaben, Vorteile und Merkmale dieser Erfindung werden aus der folgenden genauen Beschreibung leichter verständlich, wenn sie im Zusammenhang mit der begleitenden Zeichnung gelesen wird, worin:
Fig. 1 einen grundlegenden Blockschaltplan des einfachsten Netzbeispiels zeigt;
Fig. 2 ein umfangreicheres Beispiel mit mehr Schaltern und mehr Rechenknoten zeigt;
Fig. 3 ein nochmals weiteres zuverlässiges Netzbeispiel zeigt;
Fig. 4 ein fehlertolerantes System zeigt;
Fig. 5 ein Beispiel dafür zeigt, wie das System zur Videospeicherung verwendet werden könnte;
Fig. 6 zeigt, wie ein solches System Verbindungsfehler tolerieren könnte;
Fig. 7 einen Blockschaltplan einer Software-Architektur für zuverlässige Kommunikationstechnik zeigt;
Fig. 8 einen grundlegenden Software-Ablaufplan des Netzüberwachungsprozesses zeigt;
Fig. 9 eine Konnektivitätsprotokollzustands-Maschine für den Netzüberwachungsprozeß zeigt;
Fig. 10A die Bildung der Datenstruktur für Konnektivität zeigt;
Fig. 10B einen Ablaufplan der Verbindungszustand-Operation zeigt;
Fig. 11 einen Ablaufplan des RUDP-Prozesses zeigt;
Fig. 12 eine mögliche Anordnung der Rechenknoten und Schaltelemente zeigt;
Fig. 13 eine erweiterte Anordnung der Rechenknoten und Schaltelemente zeigt;
Fig. 14A bis 14E die Berechnung von Paritätszeilen im X-Code für einen 5 · 5-Matrixcode zeigt; und
Fig. 15 das grundlegende Layout des X-Code-Systems zeigt.

BEVORZUGTE AUSFÜHRUNGSFORM DER ERFINDUNG

Fig. 1 zeigt eine erste, grundlegendste Ausführungsform eines zuverlässigen, redundanten, verteilten Netzserversystems. Das System ist aus Rechenknoten (Knoten) und dem Netz, das die Vermittlung zwischen den Knoten ausführt, gebildet.
Das Netz von Fig. 1 beinhaltet sowohl die Kommunikations- als auch die Speicherredundanz zwischen den Knoten und dem Netz. Diese Redundanz kann verwendet werden, um eine definierte Anzahl von Systemfunktionszuständen zu kompensieren. Die Systemfunktionszustände, die durch die Redundanz kompensiert werden, können Fehler im Netz (Kommunikationsfehler), Fehler bei der Speicherung (Speicherfehler), wobei der Speicher aus Platten, nichtflüchtigen Speichern oder einer anderen Art von Speicher, der Daten speichert, bestehen kann, oder jegliche Art von Fehler, der ein unerwünschtes Ergebnis erbringt, umfassen.
Das verteilte Serversystem umfaßt außerdem einen Erfassungsprozeß. Der Erfassungsprozeß wirkt in jedem Knoten, um die Verbindung mit anderen Knoten im Netz zu beobachten. Jeder Knoten sieht das Netz gemäß demselben Protokoll unter Verwendung eines Pools von Hinweisen über den Zustand des Netzes. Dieser Erfassungsprozeß garantiert, daß beide Seiten dieselbe Historie des Netzes sehen. Obwohl der Erfassungsprozeß verteilt ist, hält er durch Verwendung eines Token-Durchlaufsystem die Netzhistorie der Knoten des Netzes innerhalb einer gewünschten Grenze konsistent. Die Tokens begrenzen den Freiheitsgrad der zwei Seiten, indem sie nur eine spezifizierte Anzahl von Aktionen ohne Bestätigung, daß die andere Seite eine Aktion unternommen hat, zulassen.
Der Erfassungsprozeß läuft für die anderen Programme und Benutzeranwendungen unsichtbar ab. Die bevorzugte Ausführung des Erfassungsprozesses verwendet einen Netzüberwachungsprozeß (NETM), der zum Sammeln von Informationen über das überwachte System dient. Der NETM-Prozeß bestimmt vorzugsweise, ob der andere Knoten korrekt arbeitet. Allgemeiner bestimmt der NETM-Prozeß jedoch einen Parameter, der sich auf die Brauchbarkeit bezieht. Dies könnte, wie im folgenden, umfassen, ob das System hochgefahren oder heruntergefahren ist. Es könnte außerdem eine Angabe darüber einschließen, wie stark das System belastet ist, wobei diese Angabe für das Ausgleichen der Last verwendet werden könnte.
Das System von Fig. 1 veranschaulicht die Merkmale der Erfindung unter Verwendung von vier Rechenknoten (Knoten) 100, 102, 104 und 106, die über zwei Schalter 110 und 112 verbunden sind. Jeder Knoten kann mit jedem anderen Knoten über zwei verschiedene und somit redundante Wege kommunizieren. Beispielsweise kann der Knoten 100 über die Verbindung 120 zwischen dem Knoten 100 und dem Schalter 110 mit dem Knoten 106 kommunizieren. Es existiert ein völlig getrennter Weg, der eine redundante Verbindung über den Weg 122 vom Schalter 110 zum Knoten 106 ermöglicht. Der Knoten 100 kann mit dem Knoten 106 alternativ unter Verwendung der Verbindung 124 vom Knoten 100 zum Schalter 112 oder unter Verwendung der Verbindung 126 vom Schalter 112 zum Knoten 106 kommunizieren. Jeder Knoten ist somit mit jedem anderen Knoten über wenigstens zwei völlig getrennte und redundante Verbindungswege verbunden.
Diese Fähigkeit zur redundanten Kommunikation ermöglicht im Fall, in dem vorgezogen wird, eine Kommunikationsverbindung nicht zu nutzen, die Wahl eines anderen Weges. Beispielsweise ermöglicht ein Ausfall des Schalters 110 oder eines Teils der Leitung von 120 und/oder 122 dennoch eine Kommunikation über die Leitungen 124 und 126, und zwar über den Schalter 112.
Die Informationen werden ebenfalls in redundanter Weise gespeichert, weshalb das Wiederauffinden sämtlicher Informationen, selbst wenn ein Teil des Netzes fehlerhaft ist oder aus anderem Grund, z. B. aufgrund hohen Verkehrs, nicht verfügbar ist, möglicht ist. Der redundante Speichermechanismus ist in Fig. 1 als Element 140 gezeigt. Die Daten im redundanten Speicher 140 werden vorzugsweise gespeichert, damit der Ausfall irgendeines der n - x Knoten, wobei n die Gesamtzahl von Knoten im System ist und x die gewählte Nummer ist, die Fähigkeit, sämtliche gewünschten Daten aus dem System zu erhalten, nicht berührt. Dies erfolgt vorzugsweise dadurch, daß die Daten gemäß einem MDS-Codiersystem (MDS = maximum distance separable = maximaler separabler Abstand), das in jedem der Knoten gespeicherte Redundanzinformationen enthält, gespeichert werden. Diese Redundanzinformationen können zusammen mit anderen Knotendaten verwendet werden, um für jeden ausgefallenen Knoten die Daten zu rekonstruieren.
Wenn der Erfassungsprozeß einen unerwünschten Systemfunktionszustand wie etwa einen nicht betriebsbereiten Knoten oder eine unterbrochene Kommunikationsverbindung feststellt, wird ein Rekonfigurationsprozeß 150 ausgeführt. Der Rekonfigurationsprozeß 150 ist gegen Fehler aufgrund seiner Fähigkeit, wenigstens entweder die Speicherredundanz oder die Kommunikationsredundanz zu verwenden, robust. Der Rekonfigurationsprozeß ermöglicht den Betrieb des Systems bei Auftreten eines spezifizierten Fehlers. Dazu ist jedoch keinerlei dediziertes Schalten erforderlich. Beispielsweise kann ein Weg zwischen den Knoten 100 und 106 über den Weg 1 via 120/110/122 oder über den Weg 2 via 124/112/126 eingerichtet werden. Unter Normalbetrieb würde die Kommunikation alternativ über den Weg 1, dann den Weg 2, dann den Weg 1 usw. erfolgen. Wenn jedoch im Weg 1 ein Fehler oder eine Überlast auftritt, erfolgen sämtliche Kommunikationen über den Weg 2. Dies ist eine Rekonfiguration in dem Sinn, daß die Kommunikationen geeignet gerichtet werden. Selbst wenn die Hälfte der Kommunikationen ohnehin über den Weg 2 geleitet wurden, veranlaßt die Rekonfiguration, daß sämtliche Kommunikationen über den Weg 2 erfolgen.
Fig. 1 veranschaulicht somit die grundlegenden Merkmale des verteilten Servers, wie sie in der vorliegenden Spezifikation beschrieben sind. Diese Merkmale umfassen die Redundanz der Kommunikation, die Redundanz der Speicherung, die Erfassung eines Ereignisses, das durch die Redundanz kompensiert werden kann, und die Rekonfiguration, zur Verwendung der Redundanz für die Kompensation des Ereignisses.

Redundante Kommunikation

Das System von Fig. 1 zeigt eine einfache redundante Verbindung von vier Knoten 100 bis 106 und zwei Schaltern 110 und 112. Die Knoten sind vorzugsweise eigenständige Arbeitsplatzrechner wie etwa Personal Computer ("PC") wovon jeder zwei PCI-Bus-gestützte Kommunikationskarten enthält. Die Kommunikationskarten kommunizieren über die Schalter mit ähnlichen Kommunikationskarten in den anderen PC. Das Protokoll der Kommunikationskarten könnte irgendein im Handel erhältlicher Typ wie etwa Ethernet oder dergleichen sein. Das bevorzugte System verwendet als Schaltknoten 200, wie sie in Fig. 2 gezeigt sind, Myrinet-Schalter. Myrinet-Schalter sind im Handel erhältlich und außerdem in Boden u. a., "Myrinet: a gigabit per second local area network", IEEE Micro 1995 beschrieben.
Die spezielle, von der vorliegenden Erfindung verwendete Knotenverbindung schafft eine Kommunikationsredundanz, die die Fähigkeit zum normalen Arbeiten bei Auftreten von Netzkommunikationsfehlern erhöht. Diese Netzkommunikationsfehler umfassen eine fehlgeschlagene Kommunikation einschließlich Schaltfehlern, unterbrochenen Verbindungen oder Schalterdefekten. Die Verbindungen werden in der Weise hergestellt, die die Möglichkeit minimiert, daß irgendein Kommunikationsfehler oder eine Kombination aus Kommunikationsfehlern einen Kommunikationsabbruch oder die Isolation von Knoten hervorrufen könnte. Die Wichtigkeit einer korrekten Verbindung wird im folgenden aufgezeigt.
Fig. 2 zeigt ein System, das unter Verwendung von vier Schaltern 220 bis 226 acht Rechenknoten 200 bis 214 verbindet. Jeder Rechenknoten umfaßt zwei mögliche Verbindungswege. Dies schafft eine redundante Vermittlung. Im System von Fig. 2 können Kommunikationsfehler jedoch zu einem unerwünschten "Isolieren" von Gruppen von Rechenknoten führen. Diese isolierten Gruppen von Rechenknoten werden in dem Sinn isoliert, daß sie nicht mehr in der Lage sind, mit sämtlichen anderen arbeitenden Knoten des verteilten Servers zu kommunizieren.
Wenn beispielsweise beide Schalter 224 und 226 ausfallen würden, wären die Rechenknoten 200 bis 206 von den Rechenknoten 208 bis 214 völlig isoliert. Dies würde ein isoliertes System hervorrufen, daß verwendbar, jedoch wenig wünschenswert wäre.
Als Beispiel sei ein Fall angenommen, in dem der verwendete MDS-Code sechs von acht Knoten zur Rekonstruktion von Daten erforderte. Wenn das System, wie oben erläutert wurde, isoliert wäre, würde nur die Hälfte der Knoten kommunizieren können. Da es vier kommunizierfähige Knoten gäbe, würde dieser bestimmte Fehler verhindern, daß die Daten rekonstruiert werden könnten.
Die Konnektivitätsstruktur von Fig. 3 wird bevorzugt. Dieses System mit zehn Knoten und vier Schaltern besitzt im Fall von Kommunikationsfehlern eine verbesserte Verbindung. Die Verbindungsschnittstelle ist so beschaffen, daß der Ausfall von einem von zwei Schaltern schlimmstenfalls zwei Rechenknoten berührt. Siehe als Beispiel Fig. 4, die die Situation zeigt, in der die Schalter 320 und 326 ausgefallen sind. Die fetten Linien zeigen diejenigen Kommunikationsleitungen, die durch diesen Fehler berührt sind. Nur die Rechenknoten 304 und 312 werden von diesem Zwei-Schalter-Fehler isoliert. Alle anderen Knoten bleiben völlig betriebsfähig, wobei kein Knoten isoliert wird.
Die Fehlertoleranz wird größtenteils durch die spezifische Verbindung von Schaltern und Knoten erhalten. Als oben angegebenes Beispiel besitzt das System von Fig. 2 einen möglichen Nachteil darin, daß zugelassen wird, zwei Hälften der Rechenknoten zu isolieren. Das isolierte System umfaßt die Rechenknoten 200 bis 206, die kommunizieren können, jedoch von den Gruppen von Knoten 208 bis 214 isoliert sind.
Ein weiteres Beispiel für dieses Problem ist in Fig. 12 gezeigt, die eine mögliche Art der Verbindung einer Anzahl von Rechenknoten unter Verwendung von Schaltknoten zeigt. Jeder Schaltknoten N ist zwischen zwei benachbarten Rechenknoten C angeordnet. Dies ist eine anwendbare, jedoch nicht bevorzugte Konfiguration. Es sei angemerkt, daß, falls die Rechenknoten 1200 und 1202 gleichzeitig fehlerhaft werden, die Kommunikationsfähigkeit des Systems entlang der gepunkteten Linien, die in Fig. 12 gezeigt sind, aufgeteilt wird. Dies isoliert effektiv eine Hälfte des Systems 1204 von der anderen Hälfte des Systems 1206.
Eine Aufgabe der in dieser Spezifikation beschriebenen Verbindung besteht darin, diese mögliche Art der Isolation, die durch zwei Kommunikationsfehler bewirkt wird, zu verhindern. Das bevorzugte System beschreibt das Verbinden der Knoten in einer Weise, die so wenig lokal wie möglich ist. Dies ist dem System von Fig. 12 gleichzusetzen, bei dem jeder Schaltknoten mit den zwei nächsten Rechenknoten verbunden ist. Die Erfinder stellten fest, daß das nicht offensichtliche System des Verbindens zwischen nichtlokalen Schaltern den höchsten Grad an Fehlertoleranz erzeugt.
Fig. 13 zeigt eine solche Vorrichtung. Jeder gezeigte Knoten ist mit zwei Schaltern verbunden. Das Diagramm zeigt, daß eine Verbindung zwischen jeweils zwei am weitesten entfernten Schaltern besteht. Wenn das Diagramm von Schaltern und Knoten wie in Fig. 13 gezeigt ausgelegt ist, zeigt dieses die Verbindungen als Durchmesser, die zwei der Schalter verbinden, die am weitesten voneinander entfernt sind. Diese Verbindung hat den Vorteil, daß das Streichen dreier beliebiger Schalter nicht zu einer Isolation der halben Einheit führen kann. Umgekehrt läßt das Aufbrechen der Einheit an zwei Stellen dennoch eine Kommunikation zwischen den meisten der Knoten zu. Selbst drei Ausfälle isolieren nur eine konstante Anzahl von Knoten - jene, die direkt betroffen sind - unabhängig von der Gesamtzahl von Knoten im System.
Es seien beispielsweise ein Kommunikationsfehler am Ort 1310 und eine weitere Unterbrechung am Ort 1312 angenommen. Es ist offensichtlich, daß Knoten noch kommunizieren können, da der Schalter 1300 noch mit dem Schalter 1302 über den Schalter 1304 verbunden ist. Der Schalter 1300 ist außerdem über den Schalter 1308 mit dem Schalter 1306 verbunden. In gleicher Weise sind alle diese Schalter miteinander verbunden, selbst dann, wenn es eine Unterbrechung gibt. Überdies beträgt beim bevorzugten System die weiteste Verbindung von Knoten zu Knoten, die erforderlich sein könnte, ein Viertel des Weges durch das System.
Das nichtlokale Konzept ist ebenso auf Anordnungen, die sich von einem Ring unterscheiden, anwendbar. Beispielsweise ist jede Anordnung, die als Ring visualisiert werden könnte, alternativ anwendbar.
Das in den Fig. 1 bis 3 gezeigte bevorzugte Serversystem verwendet PC-gestützte Arbeitsplatzrechner, die über redundante Netze unter Verwendung der Myrinet-Verbindungstechnik verbunden sind. Alternativ könnten selbstverständlich andere Kommunikationstechniken wie etwa die 100-MB-Ethernet-Technik verwendet werden. Alle diesen Systeme ist die Fähigkeit zu eigen, bei Auftreten fehlerhafter Verbindungen Redundanz bewahren zu können. Das System könnte mit einer beliebigen Anzahl von Kommunikationselementen verwendet werden, obwohl die bevorzugte und offenbarte Anzahl gleich zwei ist.

Redundante Speicherung

In der bevorzugten Ausführungsform von Fig. 1 speichert jeder Knoten nur einen Teil sämtlicher gegebenen gespeicherten Daten. Die gespeicherten Daten werden wieder aufgefunden, indem ein Teil sämtlicher aktuell im lokalen Knoten gespeicherten Informationen und ein Teil der Informationen von anderen Knoten verwendet wird. Eine Veranschaulichung dieses Konzepts ist in Fig. 5 gezeigt.
Fig. 5 zeigt einen Video-Server. Der verteilte Server liefert Daten das Video ausdrücken und wie gezeigt angezeigt werden. Jeder gezeigte Rechenknoten speichert die Hälfte der gesamten Daten. Die Daten werden redundant gespeichert, so daß jedes Video-Halbbild aus den Daten des Knotens, der die Daten anfordert, rekonstruiert werden können, wenn sie mit den Daten der anderen Knoten kombiniert werden.
Durch dieses Speicherschema kann jeder Knoten die gewünschten Informationen empfangen, so lange er nicht von allen anderen Knoten isoliert ist. Dieses Schema schafft Speicherredundanz im Fall mehrerer Fehler im verteilten Server.
Allgemeiner jedoch ermöglicht das hier definierte bevorzugte Schema die Rekonstruktion von Daten von einer Untergruppe von K arbeitenden Knoten bei einer Gesamtzahl von n Knoten. Im weiter unten angegebenen Beispiel sind K = 2 und n = 4.
Fig. 6 zeigt, wie die übrigen Rechenknoten irgendein Element des aufgeteilten Videos im Fall eines Knotenfehler rekonstruieren können. Das bevorzugte System besitzt die Fähigkeit, zwei beliebige Kommunikationsverbindungen zu verlieren, ohne andere Kommunikationsfunktionen des Serversystems zu verlieren und ohne andere Knoten außer jenen, die von den Fehlern wirklich betroffen sind, zu beeinträchtigen.
Das Systemmerkmal der redundanten Speicherung speichert codierte Daten kleineren Umfangs als die Hälfte der gesamten Daten in jedem Knoten. Somit werden in dieser bevorzugten Ausführungsform für jede Datei der Größe K im System mit K arbeitenden Knoten K/K dieser Datei in jedem Knoten des Servers gespeichert. Die anderen (x - 1) der Datei werden aus den anderen K - 1 arbeitenden Knoten erhalten.

X-Code

Speicherredundanz wird gemäß der bevorzugten Ausführungsform durch Aufteilen der Speicherung der Informationen auf die Knoten erreicht. Wie oben erklärt wurde, speichert das bevorzugte System für jedes Informationselement der Größe K K/x Daten (die ursprüngliche Informationsmenge) in jedem Knoten, wobei x die Anzahl von Knoten ist, die zur Rekonstruktion der Daten erforderlich ist. Jeder Knoten kann sämtliche Informationselemente rekonstruieren, indem er auf die anderen K/x der Informationen von allen anderen Knoten zugreift. Die Informationen werden vorzugsweise unter Verwendung eines MDS-Codes zur Speicherung der Informationen gespeichert. Die bevorzugte Form der Informationsspeicherung verwendet ein neuartiges, X-Code genanntes Codiersystem. Der X-Code, wie er hier beschrieben ist, ist der besondere, jedoch optimierte Code zur Speicherung jedes auf die Knoten und insbesondere auf die Platten der Knoten verteilten Informationselements.
Am zweckmäßigsten wird lediglich ein Teil der Informationen, ein Teil der codierten Daten, in jedem Knoten gespeichert. Jeder Knoten speichert außerdem Informationen, die eine bestimmte Eigenschaft der Informationen in anderen Knoten angeben. Beispielsweise könnte diese Eigenschaft eine Prüfsumme oder Parität sein, die eine Summe der Daten in anderen Knoten angibt. Diese Informationen werden zusammen mit den Informationen in den anderen Knoten verwendet, um die Informationen in jenen anderen Knoten zu rekonstruieren.
Wie oben beschrieben wurde, ist der verwendete bevorzugte Code der X-Code, der im folgenden näher beschrieben wird. Der X-Code ist ein MDS-NxN-Matrix-Code, wobei N vorzugsweise eine Primzahl ist. Sowohl zur Decodierung als auch zur Codierung dieses Codes werden lediglich Exklusiv- ODER-("XOR")-Verknüpfungen und zyklische Schiebeoperationen verwendet. Dies macht den X-Code bei der Codierung und Decodierung im Vergleich mit rechenintensiveren Codes wie etwa den Reed-Solomon-Codes viel schneller.
Der X-Code besitzt einen minimalen Spaltenabstand von 3. Dies bedeutet, daß der Code sowohl Ein-Spalten-Fehler als auch Zwei-Spalten-Fehler korrigieren kann. Der X-Code besitzt die spezifische Eigenschaft, daß die Änderung einer einzelnen Informationseinheit, z. B. eines einzelnen Informationsbits oder -symbols im X-Code, stets nur zwei Paritätsbits oder -symbole beeinflußt. Somit müssen bei jeder Aktualisierung von Informationen lediglich zwei Paritätsbits oder -symbole geändert werden.
Das X-Code-System verwendet eine Matrix, die in Fig. 15 gezeigt ist. Jede Spalte 1500 repräsentiert die Informationen in einem einzelnen Knoten, die jedem Knoten zugeordnet sind. Die Paritätssymbole sind anstatt in Spalten in Zeilen gespeichert.
Der Code ist unter Verwendung aller Knoten des Netzes so angeordnet, daß diese zusammen eine Matrix von N x n bilden, wobei N vorzugsweise = n. Die Matrix enthält N-2 · N Informationssymbole und 2 · n Paritätssymbole.
Fig. 14A zeigt eine exemplarische Matrix mit n = 5. Der Knotenabschnitt 1400 stellt Informationen dar, wobei jedes umrandete Element eine Informationseinheit, z. B. ein Bit, einen Sektor oder eine andere Einheit einer Platte, repräsentiert. Diese Einheiten werden in dieser Spezifikation allgemein als Symbole bezeichnet.
Der nichtinformelle Teil 1402 repräsentiert redundante Informationen. Wie im folgenden noch erläutert wird, repräsentieren die redundanten Informationen 1402 für jede Platte, z. B. die durch eine einzelne Spalte der Matrix repräsentierte Platte Nr. 1404, die Redundanzinformationen von anderen Platten - d. h., daß die redundanten Informationen nur von anderen Platten und nicht von 1404 selbst stammen.
Das X-Code-System bildet eine Spalte, die die Inhalte der gesamten Platte 1404 repräsentiert. Die Paritätssymbole des X-Codes werden aus zwei zusätzlichen Zeilen 1402 auf der Platte gebildet. Jede Platte besitzt somit N - 2 Informationssymbole sowie zwei Paritätssymbole. Jede Verfälschung oder Löschung eines Symbols in einer Spalte kann aus Spaltenlöschungen behoben werden.
In der Codierprozedur sei C1j das Symbol für die i-te Zeile und j-te Spalte; dann werden die Paritätssymbole des X-Codes gemäß Gleichung 1 konstruiert:
Cn-2,i = Ck,(i+k+2)n
Cn-1,i = Ck,(i-k-2)n
wobei i = 0, 1, ..., n - 1 und (x)n = X mod n.
Dies drückt in geometrischer Form die Paritätszeilen aus, die die Prüfsumme längs der Diagonalen mit der Steigung 1 bzw. -1 repräsentieren.
Fig. 14A zeigt, wie die erste Paritätsprüfzeile 1410 erhalten wird, wobei angenommen wird, daß die zweite Paritätsprüfzeile 1412 nicht vorkommt oder aus lauter Nullen besteht. Dies ist durch eine imaginäre Null-Zeile angedeutet. Die Prüfsummen werden über alle Diagonalen mit der Steigung -1 gebildet. In Fig. 14A werden zur Bildung der ersten Paritätsprüfzeile 1410 alle Dreiecks- formen addiert. Dies bedeutet, daß die Elemente 1414, 1416, 1418 und 1420 zur Bildung des Paritätselements 1422 addiert werden.
Fig. 14B zeigt ein Beispiel für die Berechnung der ersten Paritätsprüfzeile für exemplarische einzelne Bits. Es sei angemerkt, daß die diagonalen Elemente 1414, 1416, 1418 und 1420 die Addition von 1 + 1 + 1 + 0 erfordert, was zur Parität 1 führt, die als Symbol 1422 gespeichert wird.
Die Diagonalen werden in einer anschließenden Zeile fortgesetzt, bis der Rand der Matrix erreicht ist. Beispielsweise wird die Diagonalzeile 1430 mit den Elementen 1432, 1434, 1436 und 1438 fortgesetzt, indem am Anfang der nächsten Zeile wie etwa mit 1440 begonnen wird. Das Paritätssymbol 1436 entspricht einer Addition der Symbole 1432, 1434, 1438 und 1440. Fig. 14B zeigt diese Symbole, die 0 + 0 + 1 entsprechen, was 1 ergibt. Der Wert 1 wird als Symbol 1436 gespeichert.
Die zweite Paritätsprüfzeile wird aus einer Diagonale mit der Steigung +1 gebildet. Fig. 14C zeigt diese analoge zweite Paritätszeilenberechnung, wobei Fig. 14D ein spezifisches Beispiel zeigt. Die Zeile 1440 enthält die Symbole 1442, 1444, 1446, 1448 und 1450. Das Symbol 1450 wird berechnet als 1442 + 1444 + 1448 + 1446. Fig. 14D zeigt ein konkretes Beispiel, in dem die Parität 0 aus der Summe von + 0 + 0 + 1 = 1 erhalten wird.
Fig. 14E zeigt das komplette Codewort, das durch die Kombination aus zwei Paritätsprüfzeilen gebildet ist. Die zwei Paritätsprüfzeilen werden völlig unabhängig voneinander erhalten. Jedes Informationssymbol tritt genau einmal in jeder Paritätszeile auf. Alle Paritätssymbole hängen ausschließlich von Informationssymbolen von anderen Spalten (anderen Platten) ab. Deshalb führt eine Aktualisierung eines Informationssymbols zu einer Aktualisierung von lediglich zwei Paritätssymbolen.
Der obenbeschriebene X-Code verwendet eine Primzahl n, die eine wirkliche diagonale Berechnung zuläßt. Wenn n keine Primzahl ist, kann jedoch ein anderer Berechnungsweg verfolgt werden. Beispielsweise kann gemäß dem X-Code jede geeignete gegebene Hülle, die sich durch alle n - 1 Platten erstreckt, verwendet werden. Alle diese Wege sind vorzugsweise parallel.
Wie oben beschrieben wurde, besitzt der X-Code einen Spaltenabstand von 3, was die Korrektur zweier Spaltenlöschungen oder eines Spaltenfehlers ermöglicht. Eine Löschung ist dann gegeben, wenn ein Problem besteht und bekannt ist, welcher Bereich das Problem hat. Ein Fehler tritt dann auf, wenn die spezifische Quelle des Problems unbekannt ist. Die Decodieroperation kann unter ausschließlicher Anwendung der zyklischen Verschiebung und des Exklusiv-ODER verwendet werden, ohne daß finite Feldoperationen erforderlich wären.
Die Korrektur einer Löschung kann diese Löschung einfach längs der Diagonalen mit der Steigung 1 oder -1 unter Verwendung einer der Paritätszeilen beheben.
Es sei angenommen, daß in einer Matrix der Größe N · n zwei Spalten Löschungen sind. In diesem Fall sind die grundlegenden unbekannten Symbole der zwei Spalten die Informationssymbole in jenen Spalten. Da jede der Spalten (n - 2) Informationssymbole enthält, ist die Anzahl von unbekannten Symbolen 2 · (n - 2). Ähnlich enthält die restliche Matrix 2 · n - 2 Paritätssymbole, die sämtlichen der 2 · (n - 2) unbekannten Symbole enthalten. Daher besteht das Problem der Korrektur darin, 2 · (n - 2) Unbekannte aus 2 · (n - 2) linearen Gleichungen zu lösen. Da diese linearen Gleichungen linear unabhängig sind, sind diese linearen Gleichungen lösbar.
Überdies können im selben Paritätssymbol keine zwei Informationssymbole dieses Codes in der gleichen Spalte auftreten. Somit besitzt jede Gleichung wenigstens zwei unbekannte Symbole. Einige Gleichungen besitzen lediglich 5 ein unbekanntes Symbol. Dadurch nimmt der Umfang der zu lösenden Gleichung stark ab. Das nach diesem System verwendete System beginnt mit irgendeiner Gleichung mit einem bekannten unbekannten Symbol. Die Lösung dieser Gleichungen ist relativ einfach. Der Prozeß wird zur Ermittlung der anderen unbekannten Lösungen fortgesetzt, bis alle Gleichungen gelöst sind.
Es sei angenommen, daß die Spalten mit den Löschungen die i-te und die j -te Spalte sind (0 S i < j n - 1). Da jede Diagonale nur n - 1 Spalten durchquert, sind dann, wenn eine Diagonale eine Spalte der letzten Zeile schneidet, in dieser Diagonale keine Symbole jener Spalte enthalten. Dies bestimmt die Lage des Paritätssymbols, das nur ein Symbol der beiden Löschungsspalten enthält. Das Symbol kann aus der einfachen Prüfsumme längs dieses Diagonalen wiederhergestellt werden.
Zuerst werden die Diagonalen mit der Steigung 1 betrachtet. Es sei angenommen, daß das x-te Symbol der i-ten Spalte das einzige unbekannte Symbol in einer Diagonale ist. Dann trifft diese Diagonale die j-te Spalte in der (n - 1)-ten Zeile und die erste Paritätszeile in der y-ten Spalte, d. h., daß sich die drei Punkte (x, i), (n - 1, j) und (n - 2, y) in derselben Diagonale mit der Steigung 1 befinden und die folgende Gleichung enthält:
(n - 1) - (n - 2) j - y modn
Da 1 ≤ j - i ≤ n - 1 und 0 ≤ j - 1 ≤ n - 1, lauten die Lösungen für x und y
x = ((n - 1) - (j - 1))n = (n - 1) - (j - 1) Y = (j - 1)n = j - 1
Somit ermöglicht das Paritätssymbol Cn2-,j1- die Berechnung des Symbols C(n1)-(j1), i in der i-ten Spalte. Ähnlich kann das Symbol C(ji)1-,j in der j -ten Spalte direkt aus dem Paritätssymbol Cn2-,(jl-)n hergeleitet werden.
Symmetrisch zu den Diagonalen mit der Steigung -1 kann das Symbol C(j,1-)-i,i in der i-ten Spalte aus dem Paritätssymbol Cn1,< j+1> )n hergeleitet werden, während das Symbol C(n1-)-(j1-)j in der j-ten Spalte aus dem Paritätssymbol Cn1-, j+1 hergeleitet werden kann.
Es sei angemerkt, daß ein Informationssymbol von den Diagonalen mit der Steigung 1 bzw. -1 genau einmal durchkreuzt wird. Wenn ein unbekanntes Symbol längs einer Diagonale mit der Steigung 1 (oder -1) gelöst wird, dann kann aus dem Paritätssymbol längs der Diagonale mit der Steigung -1 (oder 1), die das gelöste Symbol durchkreuzt, ein anderes unbekanntes Symbol in der anderen Spalte hergeleitet werden. Diese Prozedur kann rekursiv verwendet werden, bis das Paritätssymbol eine Löschungsspalte ist oder das gelöste Symbol selbst ein Paritätssymbol ist. Dieselben Techniken können angewandt werden, um irgendein gewünschtes unbekanntes Symbol oder irgendwelche gewünschten unbekannten Symbole wiederherzustellen.
Das bevorzugte System verwendet N = n oder eine Primzahl N. Systeme wie etwa von Fig. 5 und 6 (n = 4; k = 2) können ebenfalls wie oben beschrieben verwendet werden.

Verteiltes Lesen/Schreiben

Das System ermöglicht durch seine Verwendung als verteiltes Lesen- und Schreibsystem eine neue Arbeitsweise. Die redundante Speicherung von Informationen ermöglicht das Lesen des System aus allen n Knoten, um die Bandbreite des Systems zu maximieren. In diesem Fall liest das System nur aus den Rohinformationsabschnitten 1502 der Knoten.
Alternativ werden nur K der Knoten gelesen, jedoch werden diese K zusammen mit ihren Paritätsabschnitten 1504 gelesen. Anders als die herkömmliche "Korrektur" wählt dieses System auf der Grundlage der Sicht des Systems des Zustands der verschiedenen Netzteile, die für verschiedene Codes, z. B. den gleichmäßigen/ungleichmäßigen Code, verwendet werden könnten, aus, welche der verfügbaren Cluster verwendet werden.
Das verteilte Schreiben beinhaltet das Schreiben an alle betroffenen Knoten, und zwar stets dann, wenn sich Informationen geändert haben. Jedoch wird die Aktualisierung so klein wie möglich gehalten. Der MDS-Code garantiert die Redundanz und macht die Aktualisierung so minimal und effizient wie möglich. Die mittlere Einheitsparitätsaktualisierungszahl repräsentiert die durchschnittliche Anzahl von Paritätsbits, die betroffen sind, wenn in den Codes eine Änderung eines einzelnen Informationsbits vorkommt. Der Parameter wird besonders kritisch, wenn in Speicheranwendungen Matrix-Codes verwendet werden. Der X- Code ist in dem Sinn optimal, daß jede Änderung eines einzelnen Informationsbits eine Aktualisierung von lediglich zwei Paritätsbits erfordert.
Ein weiteres wichtiges Merkmal des X-Codes folgt aus seiner Bildung von unabhängigen Paritätsbits. Viele der bisher verwendeten Codes stützen sich auf abhängige Paritätsspalten, um Codeabstände von 3 zu bilden. Da die Paritäten voneinander abhängen, kann die Berechnung dieser Paritäten extrem umfangreich werden. Dies führt häufig zu einer Situation, in der die mittlere Einheitsparitätsaktualisierungszahl des Codes linear mit der Anzahl von Matrixspalten anwächst.
Systeme wie der im US-Patent Nr. 5.579.475 beschriebene EVENODD-Code und andere ähnliche Systeme verwenden unabhängige Paritätsspalten, um die Informationsaktualisierung effizienter zu machen.

Erfassung

Das verteilte Datenspeicherungssystem teilt die Serverfunktion auf die Knoten auf. Dies erfolgt gemäß dem vorliegenden System unter Verwendung einer speziellen Kommunikationsschicht, die auf jedem der Mehrfachknoten ausgeführt wird und für die Anwendung transparent ist. Ein spezielles verteiltes Lesesystem und ein spezielles verteiltes Schreibsystem erhalten ebenfalls die robuste Arbeitsweise des Systems aufrecht.
Die Kommunikationsarchitektur des bevorzugten Systems ist in Fig. 7 gezeigt. Die eigentlichen Kommunikations- und Netzschnittstellen sind als Elemente 700 gezeigt. Die Kommunikation kann auf irgendeine herkömmliche Weise einschließlich Ethernet, Myrinet, ATM-Servernet oder nach irgendwelchen anderen herkömmlichen Kommunikationsschemata erfolgen. Diese herkömmlichen Netzschnittstellen werden durch die redundante Kommunikationsschicht gesteuert.
Die Kommunikation wird durch das Netzmonitor-("NETM")- Protokollsystem 702 überwacht. NETM führt ein Konnektivitätsprotokoll aus, das den Kanalzustand und die Historie jedes Kanalzustands in jedem Knoten bestimmt. Genauer, NETM überwacht alle Verbindungen vom lokalen Knoten, auf dem NETM läuft, zu jedem entfernten Knoten über jeden Verbindungsweg vom lokalen Knoten zum entfernten Knoten. NETM unterhält ein Konnektivitätsdiagramm, das eine Angabe über den Status sämtlicher möglicher Verbindungen vom lokalen Knoten zu jedem entfernten Knoten zu jedem Zeitpunkt enthält.
Die aktuelle Kommunikation wird durch das zuverlässige Anwenderdatenprotokoll ("RUDP") gesteuert. RUDP arbeitet auf der Grundlage einer Anforderung zur Kommunikation vom lokalen Knoten ("Knoten A") an irgendeinen anderen Knoten ("Knoten B"). RUDP erhält dann von NETM Konnektivitätsin- formationen über korrekt arbeitende Kommunikationswege vom Knoten A zum Knoten B. RUDP wählt unter Verwendung der durch NETM gesammelten Informationen einen Kommunikationsweg und sendet die Informationen unter Verwendung gebündelter Schnittstellen. RUDP packt außerdem die Informationen säuberlich unter Verwendung bekannter Protokollsysteme, um eine in der Reihenfolge bestätigte Lieferung zu bewirken.
Das NETM-System läuft auf jedem Knoten des Systems, damit dieser Informationen über das System findet. NETM betrachtet den Knoten, auf dem es abläuft, als lokalen Knoten. NETM verwendet Systemhinweise, um den Zustand der Verbindung zwischen dem lokalen Knoten und allen anderen Knoten im System zu bestimmen.
Wenn auf allen Knoten dasselbe Protokoll ausgeführt wird, stellt der NETM-Prozeß in jedem Knoten für einen gegebenen Verbindungszustand A nach B den gleichen Zustand fest. NETM verwendet außerdem einen Historieprüfmechanismus, so daß sämtliche Knoten im Verlauf der Zeit die gleiche Historie des Kanalzustands sehen.
Die bevorzugten Systemhinweise werden aus vom Knoten A an jeden anderen Knoten im System gesendeten Nachrichten über jeden möglichen Weg zum anderen Knoten erhalten. Diese Nachrichten werden "Herzschläge" genannt. NETM sendet über jeden Weg eine Nachricht vom lokalen Knoten ("A") an jeden entfernten Knoten ("B"). Jede Verbindung ist durch drei Informationselemente gekennzeichnet, die als Ci,j,k-Tupel bezeichnet werden, wobei i = lokale Schnittstelle, j = entfernter Knoten und k = entfernte Schnittstelle. Diese Tupel definieren einen eindeutigen Weg.
NETM verwendet die Herzschläge, um zu bestimmen, ob es eine funktionale Kommunikationsverbindung zwischen A und B über jeden Parallelweg Ci,j,k gibt. Da das NETM-Protokoll auch im Knoten B abläuft, trifft der entfernte NETM wahrscheinlich dieselbe Entscheidung bezüglich des Konnektivitätsstatus "Knoten B nach A über den Parallelweg Ci,j,k".
Bestimmte Fehler wie beispielsweise ein Pufferüberlauf können den Ausfall eines Kanals nur in einer Richtung hervorrufen. Das Verbindungsprotokoll verwendet ein Token-Durchlaufsystem, um die Historie des Kanals symmetrisch zu machen.
Die Erfassung der Historie stützt sich auf einen Pool von Hinweisen über die Betriebsfähigkeit der Verbindung. Der Herzschlag ist der bevorzugte Hinweis, der im folgenden näher beschrieben wird. Ein weiterer Hinweis ist beispielsweise ein Fehlerhinweis von der Kommunikationshardware, z. B. von der Myrinet-Karte. Wenn die Myrinet- Karte, die die Kommunikation über den Weg X steuert, anzeigt, daß er nicht begehbar ist, nimmt das Protokoll an, daß der Weg nicht begehbar ist.
Der Pool von Hinweisen wird verwendet, um den Status einer Variablen festzulegen, die den Zustand des Kommunikationsweges von A nach B über X beurteilt. Diese Variable besitzt den Wert U für den Hinweg und D für den Rückweg.
Die Operation ist in dem zusammenfassenden Ablaufplan von Fig. 8 gezeigt. Die Ausführungsform von Fig. 8 verwendet eine Herzschlagnachricht, die aus einer unzuverlässigen Nachricht gebildet ist. Ein zuverlässiges Nachrichtensystem erfordert, daß der Sendeknoten eine Bestätigung des Empfangs einer Nachricht erhält. Der Sendeknoten setzt mit dem Senden der Nachricht fort, bis eine Bestätigung des Empfangs der Nachricht vom Sendeknoten erhalten wird. Zum anderen verwendet das System von Fig. 8 die unzuverlässige Nachrichtenübermittlung: d. h., daß die Nachricht einfach gesendet wird. Es wird keine Bestätigung des Empfangs erhalten.
Die Nachricht 800 wird als unzuverlässige Paketnachricht an den Knoten B gesendet. Der Herzschlag wird vorzugsweise alle 10 ms gesendet. Das System wartet und prüft im Schritt 802 Netzhinweise, um den Zustand und die Historie der Netzverbindung zu beurteilen. Der Herzschlag kann irgendeine Nachricht sein, die von einem Knoten zum anderen Knoten gesendet wird.
Da auf jedem Knoten dasselbe Protokoll abläuft, weiß jeder Knoten, daß er alle 10 ms einen Herzschlag vom anderen Knoten empfangen sollte. Jeder NETM betreibt einen Zeitgeber, der jedesmal, wenn NETM vom anderen Knoten einen Herzschlag empfängt, zurückgesetzt wird. Wenn der Zeitgeber abläuft, ohne daß vom anderen Knoten einen Herzschlag empfangen wurde, wird die Entscheidung getroffen, daß ein Problem bezüglich der Verbindung besteht.
Jede Seite versucht außerdem sicherzustellen, daß es im Verlauf der Zeit dieselbe Historie sieht. Dies geschieht dadurch, daß zwischen dem Knotenpaar zuverlässige Tokens übermittelt werden, die das Punkt-zu-Punkt-Protokoll bilden. Jedes Token gibt an, daß der Knoten ein Ereignis erfaßt hat. Wenn das Token von dem anderen Knoten empfangen wird, sollte dieser ebenfalls ein vergleichbares Ereignis erfaßt haben und ein Token senden. Jede Seite gibt ein Token aus, wenn sie das Ereignis erfaßt. Dies erhält die Historie auf beiden Seiten identisch.
Jede Seite besitzt eine endliche Anzahl von Tokens, die ausgegeben werden können. Dies besitzt die Wirkung, daß die Anzahl von Ereignissen, die sich ereignen können, bevor das Ereignis durch den anderen Knoten quittiert ist, begrenzt wird. Wenn es beispielsweise anfänglich zwei Tokens pro Seite gibt, kann der Knoten nur zwei Tokens weiterleiten. Nach jeder vorgenommenen Änderung des Kanalzustands wird ein Token weitergeleitet. Wenn von der anderen Seite kein Token ankommt, geht der Vorrat des Knotens an Tokens nach diesen zwei vorgenommenen Änderungen zuende. Dies bedeutet, daß jeder Knoten dem anderen Knoten nur zwei Ereignisse oder Aktionen vorauseilen (oder nacheilen) kann. Der Token-Durchlauf begrenzt die Anzahl der Freiheitsgrade zwischen den zwei Knoten - wie weit die zwei Knoten auseinander sein können, bevor dem einen, der darauf wartet, daß die andere Seite aufholt, der nicht betriebsbreite Zustand des Kanals gemeldet wird.
Ein anderer Weg, darauf zu achten, besteht darin, daß die Tokens die maximale Anzahl von Transitionen festlegen, die ein Knoten ausführen kann, solange er nicht davon hört, daß der andere Knoten darauf reagiert hat.
Die bevorzugte Ausführungsform des NETM-Systems ist in der Konnektivitätsprotokollzustands-Maschine von Fig. 9 und den Ablaufplänen von den Fig. 10A und 10B gezeigt. Der Schritt 1000 umfaßt einen Anfangsschritt der Bildung des Ci,j,k-Dreifach-Tupels mit der ID der lokalen Schnittstelle, der ID der entfernten Maschine und der ID der entfernten Schnittstelle für jeden möglichen physikalischen Kanal vom Knoten zu allen anderen bekannten Knoten. Der Prozeß ConnP(Ci,j,k) wird für alle Ci,j,k- Dreifach-Tupel ausgeführt, um für jeden dieser Kanäle den Konnektivitätsstatus zu bestimmen. Dies erzeugt eine Datenstruktur, die Connected(Ci,j,k) genannt wird, die einen booleschen Wert speichert, der den Hinweg/Rückweg- (1 oder 0)-Status für jeden Ci-Kanal angibt.
Der Schritt 1002 bestimmt; ob ein ConnP(Ci,j,k)-Ereignis eingetreten ist. Falls nein, gibt es nichts zu tun, so daß der Prozeß zurückkehrt.
Wenn im Schritt 1002 ein Ereignis erfaßt wurde, setzt der Fluß mit dem Schritt 1004 fort, der bestimmt, ob das Ereignis ein System hochgefahren-Ereignis ist. Wenn dies der Fall ist, gibt das Ergebnis eine "1" zurück. Andernfalls gibt das Ergebnis eine "0" zurück.
Der Verbindungszustand-Ablaufplan von Fig. 10B verwendet eine Zählung von "Tokens" als Nachweis, daß das andere Endpunktsystem arbeitet.
Im Schritt 1010 beginnt der Prozeß mit dem Token-Zählwert ("t"), der auf seinen Anfangswert n ≥ 2 gesetzt wird. Das System startet mit dem Schritt 1012, wobei sein anfänglicher Zustand "hochgefahren" ("1") entspricht. Der Schritt 1014 erfaßt, ob ein Zeit-läuft-Ereignis eingetreten ist. Ein Zeit-läuft-Ereignis wird beispielsweise durch den Empfang eines Herzschlags vom Knoten B hervorgerufen. Da der Zustand an diesem Punkt bereits "hochgefahren" entspricht, beläßt es die Erfassung eines Zeit-läuft-Ereignisses bei diesem Zustand und unternimmt keine weitere Aktion. Wenn im Schritt 1014 kein Zeit-läuft-Ereignis eingetreten ist, dann bestimmt 1016 ein Zeit-abgelaufen- Ereignis, das beispielsweise dann hervorgerufen wird, wenn kein erwarteter Herzschlag empfangen wird, bevor der Zeitgeber abgelaufen ist. Wenn nein, bestimmt der Schritt 1018, ob ein Token empfangen wurde ("ein Token-Ankunft- Ereignis"). Wenn keines dieser Ereignisse eingetreten ist, geht die Steuerung wieder zum Schritt 1012 zurück, in dem der Knoten mit der Überwachung, ob sich eines jener Ereignisse ereignet hat, fortsetzt. Da das System an diesem Punkt stets ein Token hat, besteht keine Notwendigkeit, nach anderen zu prüfen.
Das Zeit-abgelaufen-Ereignis im Schritt 1016 bedeutet, daß vom Knoten B über den Weg X kein Herzschlag empfangen wurde, so daß wahrscheinlich ein Problem bezüglich der Kommunikation zum Knoten B über den Weg X besteht. Deshalb geht die Steuerung zum Schritt 1020 zurück, der an den Knoten B ein Token sendet, das das Zeit-abgelaufen- Ereignis angibt und über das Ausbleiben von Herzschlägen während einer spezifizierten Zeit berichtet. Da das Token gesendet wurde, wird auch der Token-Zählwert im Schritt 1020 dekrementiert. Diesem folgt im Schritt 1022 die Änderung des Zustands von ConnP zu D.
Ein Token-Ankunft-Ereignis im Schritt 1018 wird von einem Schritt des Empfangens des Tokens in 1024 und dem Inkrementieren des Token-Zählwerts gefolgt. Wenn in 1026 der momentane Token-Zählwert kleiner als der maximale Token- Wert n ist, wird der Token-Zählwert in 1028 inkrementiert. Da es ein fehlendes Token gibt, liegt die Transition am anderen Ende innerhalb der erlaubten Freiheitsgrade, die vom Token-Durchlaufschema zugelassen werden, wobei das empfangene Token die zwei Seiten zum Synchronismus zurückführt.
Wenn der Token-Zählwert nicht kleiner als N ist, hat der Token-Zählwert seinen Maximalwert erreicht. Das System muß deshalb eine Transition vornehmen. Diese wird ausgeführt, indem bei 1030 ein Token gesendet wird, gefolgt von einem Herunterfahren des Systems, das in 1022 durch ConnP → 0 oder D angezeigt wird. Dies startet die Herunterfahrroutine-Verarbeitungsoperation.
Die Herunterfahrroutine-Verarbeitungsoperation gleicht der Hochfahrroutine-Verarbeitungsoperation. In 1030 wird ein Zeit-abgelaufen-Ereignis erfaßt, das keine Auswirkung hat, da das System bereits heruntergefahren ist. In 1032 wird ein Zeit-läuft-Ereignis erfaßt. Dieses Zeit-läuft- Ereignis ermöglicht, daß das System in den Zustand "hochgefahren" zurückkehrt, wodurch ein Tokens herbeigeführt wird, das gesendet wird, um die Transition anzuzeigen. Im Schritt 1040 prüft die Routine nach einem Token. Wenn keines verfügbar ist, können keine Transitionen vorgenommen werden, weshalb der Fluß zu 1022 zurückkehrt. Wenn ein weiterzuleitendes Token existiert, dann wird dieses im Schritt 1042 weitergeleitet, wobei der Token-Zählwert dekrementiert wird. Die ConnP-Variable kehrt in ihren Status "hochgefahren" zurück und startet die Token-Verarbeitungsroutine.
Jedes System "Knoten A nach Knoten B über Weg X" ist in dieser Weise durch das NETM-Protokoll gekennzeichnet. Die Anwendungen laufen auf der Grundlage von RUDP ab. Beispielsweise identifiziert eine Anwendung mit einer Prozeß-ID sich selbst gegenüber dem System. Beispielsweise kann die Anwendung eine Nachricht senden, die sich selbst als Prozeß 6 identifiziert und den Wunsch angibt, an den Prozeß 4 zu senden. Diese Identifikation verwendet das obenbeschriebene Ci,j,k-Tupel. NETM bestimmt einen Kommunikationsweg für diese Operation.
Die aktuelle Kommunikation arbeitet, sobald sie einmal bestimmt ist, unter Anwendung des sogenannten gleitenden Fensterprotokolls. Gleitende Fenster sind wohlbekannt und beispielsweise im US-Patent Nr. 5.307.351 beschrieben. Gleitende Fenster überwachen ein zuverlässiges Nachrichtenschema, indem sie das Datenpaket geeignet packen. Gleitende Fenster lenken im wesentlichen die Sequenznummern und Bestätigungen. Die Daten werden als zuverlässiges Paket gesendet, was vom Empfänger eine Quittung erfordert, die zu empfangen ist, bevor ein Fenster ausgegeben wird. Sobald der Empfang korrekt quittiert ist, "gleitet" das Informationsfenster zum nächsten unquittierten Informationspaket.
RUDP verwendet das gleitende Fenstermodul zur Ausführung der aktuellen Kommunikation. RUDP fordert außerdem NETM auf, einen gültigen Informationsweg anzugeben. Wenn mehr als einer der Wege zwischen Knoten verwendbar ist, wechselt RUDP periodisch zwischen den verwendbaren Wegen. RUDP dient außerdem als Logiknetz durch Rekonfiguration des Systems unter Anwendung der durch NETM gelieferten Informationen.
Der grundlegende RUDP-Ablaufplan ist in Fig. 11 gezeigt. Die Operation startet mit der Bestimmung eines im Schritt 1100 empfangenen Ereignisses. Wenn im Schritt 1100 kein Empfangsereignis empfangen wurde, bestimmt der Schritt 1102, ob ein Sendeereignis vorliegt. Falls nein, hat LNET nichts zu tun und der Strom kehrt zurück, um mit dem Prüfen nach Ereignissen fortzusetzen.
Wenn im Schritt 1100 ein Empfangsereignis erfaßt wurde, geht der Fluß zum Schritt 1110 über, indem bestimmt wird, ob die Daten irgendein Ci,j,k-Tupel angeben. Falls nein, wird im Schritt 1112 ein Fehler bestimmt.
Wenn korrekte Daten empfangen wurden, werden diese im Schritt 1114 empfangen und im Schritt 1116 an das System zurückgesendet. Ein Sendeereignis erfordert, daß die Ci,j,k-Argumente die Daten, die zu senden sind, und die entfernte Maschine, die das Ereignis empfängt, angeben. Dies erfordert in 1120 eine Bestimmung, ob irgendein Kanal Ci,j,k für die als eines der Argumente der Operation angegebene entfernte Maschine frei ist. Wenn nein, erklärt der Schritt 1122 einen Verbindungsausfall-Fehler. Wenn im gewöhnlicheren Fall wenigstens ein Kanal frei ist, wird dieser unter Verwendung der Argumente des Ci,j,k-Tupels adressiert. Der Prozeß kehrt dann zu 1130 zurück.
Der Prozeß 1120 verwendet NETM, um die freien Wege von der lokalen Maschine zur entfernten Maschine zu recherchieren. Somit pflegt NETM die Datenstruktur, während LNET die Datenstruktur nutzt.

Informationsserver

Das hier beschriebene System besitzt eine spezielle Anwendung als Informationsserver - d. h. als Server, der auf Anforderung des Anwenders Informationen liefert. Der Informationsserver kann ein Internet-(Web)-Server, ein Video-Server oder irgendein anderer Gerätetyp sein, der Informationen liefert.
Das System wird in dem Sinn als Server verwendet, daß irgendein Knoten irgendwelche gespeicherten Informationen von einem anderen Knoten oder einer Kombination von Knoten anfordern kann. Beispielsweise kann eine Anforderung gestellt werden, die die Informationen von 25 verschiedenen Knoten anfordert. Dieses System kann die 25 nächsten Knoten oder 25 am wenigsten verwendeten Knoten auswählen. Dies ermöglicht dem System, überlastete Knoten so, als wären sie fehlerhaft, zu ignorieren.
Wenn er als Video-Server eingesetzt wird, könnte das zu liefernde Video irgendwo im System gespeichert sein. Gemäß dem vorliegenden Schema ist das Video als verteilte Informationen auf verschiedenen Knoten des Netzes in der Weise gespeichert, daß ein Wiederauffinden der Videoinformationen selbst bei Auftreten spezifizierter Netzfehler möglich ist.
Das Serversystem fordert das zu liefernde Video von dem Knoten an, der dieses speichert. Die speziellen Techniken des Systems stellen sicher, daß keine spezifizierte Anzahl von Fehlern den Betrieb des Systems als Ganzes unterbrechen kann. Ein Fehler von zwei Knoten kann beispielsweise nicht das Erlangen von gespeicherten Informationen verhindern, da diese Informationen an anderen Orten im Netz redundant gespeichert sind.
Eine andere Anwendung ist der Web-Server. Der Web-Server verwendet das TCP/TP-Protokoll und die Paketvermittlung, um Internet-Informationen zu erlangen. Wiederum könnten diese Informationen irgendwo innerhalb des verteilten Servers gespeichert sein. Zwei beliebige Fehler - Kommunikations- oder Speicherfehler, können nicht verhindern, daß Informationen erhalten werden.
Eine weitere Anwendung dieses Systems liegt in der Erweiterung und Reparatur. Jeder Knoten kann zu jedem Zeitpunkt entfernt werden, wobei das restliche System den Betrieb ohne Unterbrechung fortsetzt. Der Knoten könnte durch einen Blindknoten ersetzt werden, wobei das Netz in diesem Fall mit dem Schreiben von Informationen in die freie Spalte, die sie unter Verwendung der Redundanzdaten sieht, beginnen würde.
Obwohl oben nur wenige Ausführungsformen genau beschrieben wurden, können Fachleute erkennen, daß neben den offenbarten Ausführungen andere Ausführungsformen existieren und daß andere Techniken zur Ausführung der Erfindung aus den offenbarten Ausführungsformen ableitbar sind.

Claims

1. Redundantes, verteiltes Netzsystem, mit:

mehreren Systemknoten (100, 102, 104, 106), wovon jeder wenigstens zwei Kommunikationsvorrichtungen und eine Speichervorrichtung umfaßt, wobei die Speichervorrichtung Rohdaten und redundante Daten enthält, die Rohdaten angeben, die in von dem betrachteten Knoten verschiedenen Knoten gespeichert sind, um eine Rekonstruktion gespeicherter Daten aus den Speicherinfotmationen in irgendeinem Knoten zu ermöglichen, wenn diese mit Daten in irgendeinem anderen Knoten kombiniert werden;

mehreren Schaltvorrichtungen (110, 112), die mit den Kommunikationsvorrichtungen der Systemknoten in einer Weise verbunden sind, in der jede der Kommunikationsvorrichtungen in irgendeinem Systemknoten mit einer anderen der Schaltvorrichtungen verbunden ist, wodurch jeder der Systemknoten mit jedem anderen der Systemknoten über wenigstens zwei verschiedene Wege kommunizieren kann, wodurch eine redundante Kommunikation geschaffen wird;

einer Erfassungsroutine in jedem Knoten (100, 102, 104, 106), die einen Systemfunktionszustand erfaßt, der jegliche Operation des Netzsystems verhindern könnte; und

einem Logiknetzprozeß (150), der das Netz unter Verwendung der Kommunikationsvorrichtungsredundanz und/oder der Speicherinformationsredundanz je nach Bedarf rekonfiguriert, um den Systemfunktionszustand unter Verwendung der Netzredundanz zu kompensieren.

2. System nach Anspruch 1, wobei die Erfassungsroutine Funktionszustände wenigstens in mehreren der Systemknoten erfaßt, wobei jede Erfassungsroutine in jedem der Systemknoten ein identisches Protokoll ablaufen läßt.

3. System nach Anspruch 1, wobei der Systemfunktionszustand Fehler in der Netzkommunikation oder Fehler in der Speicherung oder irgendeine andere Art von Fehler, der ein unerwünschtes Ergebnis erzeugt, umfaßt.

4. System nach Anspruch 3, wobei der Logiknetzprozeß dann, wenn der Systemfunktionszustand einen Fehler in der Netzkommunikation enthält, eine Änderung von einer Verbindung zu einer anderen Verbindung befiehlt.

5. System nach Anspruch 4, wobei der Logiknetzprozeß dann, wenn der Systemfunktionszustand einen Fehler in der Speicherung enthält, befiehlt, erwünschte Informationen aus der Speicherung redundanter Daten zu erhalten.

6. System nach Anspruch 1, wobei die Erfassungsroutine (702) in jedem Knoten (100, 102, 104, 106) derart arbeitet, daß sie einen Verbindungszustand mit anderen Knoten im Netz beobachtet.

7. System nach Anspruch 6, wobei die Erfassungsroutine (702) derart arbeitet, daß sie den Verbindungszustand unter Verwendung von Hinweisen über einen Zustand des Netzes bestimmt.

8. System nach Anspruch 7, wobei die Hinweise ein Herzschlag-Signal enthalten, das von jedem Knoten in spezifischen Intervallen erzeugt wird, und die Erfassungsroutine derart arbeitet, daß sie das Herzschlag- Signal empfängt und das Vorhandensein oder Fehlen des Herzschlag-Signals als einen der Hinweise erfaßt.

9. System nach Anspruch 7, ferner mit einem Token- Durchlaufsystem, wobei jeder Knoten (100, 102, 104, 106) Ereignisse in einem überwachten Knoten über einen überwachten Kanal bestimmt und ein Token an den überwachten · Knoten über den überwachten Kanal schickt, um das Ereignis anzugeben, wobei der überwachte Knoten das Token zurückschickt, um eine Operation auf der Grundlage des Ereignisses anzugeben, und wobei jeder Knoten nur eine bestimmte Anzahl von Tokens besitzt, um die Anzahl von Ereignissen zu begrenzen, die in einem der Knoten auftreten können, ohne daß ein entsprechendes Ereignis in dem anderen der Knoten auftritt.

10. System nach Anspruch 6, ferner mit einer Einrichtung, die sicherstellt, daß jeder der Knoten die gleiche Historie des Netzes sieht.

11. System nach Anspruch 1, wobei die Verbindung in der Weise ausgebildet wird, daß keine Gruppen von Rechenknoten isoliert werden können.

12. System nach Anspruch 1, wobei die Schalter (110, 112) die Knoten in einer Weise verbinden, die so wenig lokal wie möglich ist.

13. System nach Anspruch 12, wobei die Schalter zwei Knoten verbinden, die maximal voneinander entfernt sind.

14. System nach Anspruch 13, wobei die Verbindungen in der Weise erfolgen, daß kein Fehler von zwei beliebigen Knoten irgendeine Gruppe von Knoten an einer Kommunikation mit irgendeiner anderen Gruppe von Knoten hindern kann.

15. System nach Anspruch 1, wobei jeder Knoten (100, 102, 104, 106) mit jedem anderen Knoten durch wenigstens zwei Wege verbunden ist, und ferner mit einem Netzmonitor (702), der in jedem Knoten läuft und sämtliche Verbindungen von einem lokalen Knoten, in dem der Netzmonitor läuft, zu jedem entfernten Knoten über jeden Verbindungsweg von dem lokalen Knoten zum entfernten Knoten überwacht.

16. System nach Anspruch 15, ferner mit einem zuverlässigen Anwenderdatenprotokoll, das in lokalen Knoten läuft und eine Anforderung für eine Kommunikation von dem lokalen Knoten zu irgendeinem anderen Knoten empfängt und einen Weg von dem Netzüberwachungsprozeß bestimmt.

17. System nach Anspruch 16, ferner umfassend die Rekonfiguration eines Kommunikationsweges unter Verwendung einer logischen Netzverbindung, die den Wechsel von einer physikalischen Verbindung zwischen den Knoten zu einer anderen Knotenverbindung ermöglicht.

18. System nach Anspruch 1, ferner mit einem Netzmonitor (702), der funktionale Verbindungen zwischen den Knoten bestimmt, einem zuverlässigen Anwenderprotokoll, das Informationen für die laufenden Knoten verarbeitet, und einem Logiknetz, das die Kommunikationen auf der Grundlage der funktionalen Verbindungen rekonfiguriert.

19. System nach Anspruch 1, wobei die Speichervorrichtung nur einen Teil der Informationen auf jeder Platte jedes Knotens speichert.

20. System nach Anspruch 19, wobei jede Platte jedes Knotens außerdem Informationen speichert, die irgendeine Eigenschaft von Informationen auf anderen Platten angeben.

21. Server nach Anspruch 1, wobei die gespeicherten Informationen in jedem Knoten nur einen Teil, nicht jedoch alle beliebigen gewünschten Informationen speichern, und wobei keine zwei Knoten die gleichen Informationen speichern.

22. Server nach Anspruch 21, wobei die gespeicherten Informationen einen Informationsabschnitt und einen Redundanzabschnitt enthalten, wobei der Redundanzabschnitt Informationen darstellt, die Informationsabschnitte lediglich für andere Knoten angeben.

23. Server nach Anspruch 22, wobei der Redundanzabschnitt aus einem Matrixcode gebildet ist, wobei mehrere der Knoten als Matrix angeordnet sind, um den Informationsabschnitt zu bilden, und der Redundanzabschnitt aus Prüfsummen längs der Diagonalen der Matrix gebildet ist.

24. Verfahren zum Betreiben eines Netzes, um eine Redundanz zu schaffen, umfassend:

Ausführen eines Steuerprozesses, der ein verteiltes Lesen aus mehreren Systemknoten (100, 102, 104, 106) ausführt, wobei die Systemknoten wenigstens zwei Kommunikationsvorrichtungen enthalten, wovon jede in irgendeinem Systemknoten mit einer anderen von mehreren Schaltvorrichtungen (110, 112) verbunden ist, wodurch jeder der Systemknoten mit jedem anderen der Systemknoten über einen von wenigstens zwei verschiedenen Wegen kommunizieren kann, wodurch eine redundante Kommunikation geschaffen wird, kollektives Speichern von Systemdaten, wobei jeder Knoten Rohdaten und redundante Daten enthält, die Rohdaten angeben, die in Knoten gespeichert sind, die von dem betrachteten Knoten verschieden sind, um eine Rekonstruktion gespeicherter Daten aus den Speicherinformationen in irgendeinem Knoten zu ermöglichen, wenn sie mit Daten in irgendeinem anderen Knoten kombiniert werden, wobei jeder Knoten eine Erfassungsroutine (702) enthält, die einen Systemfunktionszustand erfaßt, der jeglichen Betrieb des Netzsystems verhindern könnte; und

Ausführen eines verteilten Lesens, das die folgenden Schritte umfaßt:

Bestimmen eines Parameters, der mit der Verfügbarkeit von Systemknoten in Beziehung steht, und

Lesen der Rohdaten aus den mehreren Systemknoten, falls der Parameter die Verfügbarkeit angibt, und Lesen sowohl der Rohdaten als auch der redundanten Daten aus weniger als den mehreren Systemknoten, falls der Parameter weniger als die Verfügbarkeit angibt.

25. Verfahren nach Anspruch 24, ferner umfassend:

Speichern von Rohinformationen und von redundanten Informationen, die den Fehlerkorrekturcode angeben, in mehreren Informationsknoten;

Bestimmen eines Parameters, der die Brauchbarkeit der Informationsknoten angibt;

Lesen der Rohinformationen aus den mehreren Knoten, falls der Parameter angibt, daß die mehreren Knoten brauchbar sind, und Lesen sowohl der Rohdaten als auch der redundanten Daten aus weniger als den mehreren Knoten, falls der Parameter angibt, daß wenigstens ein Teil der mehreren Knoten weniger als brauchbar ist.

26. Verfahren nach Anspruch 24, ferner umfassend:

Bilden einer Matrix aus Informationen durch

Bilden jeder Spalte der Matrix, die Informationen von einem Knoten repräsentiert,

Bilden eines Rohabschnitts jeder Spalte, der Rohinformationen enthält, die Daten angeben,

Bilden redundanter Informationen, die Redundanzinformationen angeben, wobei die Redundanzinformationen Informationen über andere Knoten außer dem betrachteten Knoten längs einer Hülle einer bestimmten Form, die Informationen von den anderen Knoten erhält, angeben.

27. Verfahren nach Anspruch 26, wobei die Hülle eine Diagonale ist, die sich über die Kanten der Matrix hinaus zu anderen Knoten erstreckt.

28. Verfahren nach Anspruch 24, umfassend: Abbilden jedes Knotens auf eine Spalte einer Matrix; Bilden zweier Zeilen aus redundanten Informationen aus den Spalten der Matrix und Anordnen der beiden Zeilen in den Spalten, um eine resultierende N · N-Matrix zu bilden, die (N - 2) · N Informationssymbole und 2 · N redundante Informationssymbole enthält, wobei die Paritätssymbole gemäß

Cn-2,i = Ck,(i+k+2)n

Cn-1,i = Ck,(i-k-2)n

konstruiert werden, wobei i = 0, 1, ..., n - 1 und (x)n = X mod n.

29. Netzsystem nach Anspruch 1, wobei die Speichervorrichtungen Videoinformationen speichern.