DD275545A1

DD275545A1 - Verfahren und anordnung eines fehlertoleranten mehrrechnersystems

Info

Publication number: DD275545A1
Application number: DD31988088A
Authority: DD
Inventors: Andreas Stopp
Original assignee: Adw Ddr Kybernetik Inf
Priority date: 1988-09-16
Filing date: 1988-09-16
Publication date: 1990-01-24
Also published as: DE3930075A1

Abstract

Das Ziel der Erfindung ist die Schaffung eines Rechnersystems, das einen hohen Fehlertoleranzgrad gestattet, das flexibel einsetzbar ist, das eine einfache Reparatur zulaesst und das eine effektive Auslastung gestattet. Erfindungsgemaess wird die Aufgabe dadurch geloest, dass in einem fehlertoleranten Mehrrechnersystems mit untereinander kommunizierenden Rechnern N Rechner zur Realisierung eines 2-aus-N-Systems parallel arbeiten. In N Rechnern werden identische Datenfolgen zu einem Signaturvektor komprimiert. Der Signaturvektor sowie das Ergebnis der Datenfolgen bzw. die Signatur der Ergebnisse der Datenfolge jedes Rechners werden ueber das Kommunikationsnetzwerk an alle N-1 anderen Rechner zur dezentralen Bewertung gesendet. Eine Selbstbewertung erfolgt durch Vergleich eines eigenen Signaturvektors mit dem als korrekt ermittelten Signaturvektor. Zur Fehlertoleranz gegen Entwurfsfehler wird mindestens ein zum Algorithmus des 2 aus N-Systems diversitaerer Algorithmus auf mindestens einem Rechner abgearbeitet. Die Schaltungsanordnung zeichnet sich dadurch aus, dass jeder der M Rechner einen fehlerunabhaengigen Signaturschaltkreis und einen Signatur-RAM besitzt.

Description

Hierzu 3 Seiten Zeichnungen

Anwendungsgebiet der Erfindung

Anwendungsgebiete der Erfindung sind Rechnersysteme, die ständig oder zeitweise Aufgaben mit hoher Zuverlässigkeit bearbeiten müssen, insbesondere für die Prozeßautomatisierung oder zur Bearbeitung nichtreproduzierbarer Vorgänge, beispielsweise der Bildverarbeitung.

Charakteristik des bekannten Standes der Technik

Bekannt sind die Anwendung von Signaturverfahren zur Datenkompression. In (Voelkel, Lutz; Pliquett, Jürgen: Signaturanalyse.

Akademie-Verlag Berlin 1988) wird das gegenwärtige Wissen auf diesem Fachgebiet zusammengefaßt.

Votingprinzipien wie Mehrheitsentscheid, Schwellenentscheid und 2-aus-N-Systeme sind aus Realisierungen der hybriden Redundanz als Vorschläge in der Literatur bekannt. Der praktische Nachteil ist, daß sie nur sehr aufwendig realisierbar sind, insbesondere der Voting- und Abschaltvorgang.

Bekannt sind Prinzipien der Fehlertoleranz auf der Grundlage statischer und dynamischer Redundanz. Verfahren der dynamischen Redundanz umfassen Selbstdiagnose und anschließendes Recovery (Rokonfiguration und Restart), die eine hochzuverlässige Selbstdiagnose und einen hochzuverlässigen Umschaltmechanismus von der defekten auf eine intakte Einheit voraussetzen. Das ist nur sehr aufwendig realisierbar.

Die Literaturstellen (Lala. Parag K.: Fault tolerant and fault testable hardware design. Prentice HaII₁ London, 1985) und (Hedtke, Rolf.: Mikroprozessorsysteme: Zuverlässigkeit, Testverfahren, Fehlertoleranz. Springer-Verlag, Berlin Heidelberg N.Y., 1984) sowie die weiter unten zitierte Literaturstelle beschrieben diese Prinzipien.

Die statische Redundanz benötigt hochzuverlässige Voter-Bausteine und ist auf Grund der aufwendigen Instrumentierung, der für viele Anwendungsfälle sogar ungenügenden Zuverlässigkeitswerte für die vorliegende Aufgabenstellung ungeeignet. Auch das in den Zuverlässigkeitswerten vorteilhafte M-aus-N-System der hybriden Redundanz vereinigt die technischen Probleme der dynamischen und statischen Redundanz und besitzt teilweise deren Nachteile. Aus der Literatur sind inbesondere die Voting-Prinzipien des Mehrheitsentscheids (majority voting) und des Schwellenentscheids (threshold voting) bekannt, die eine Bewertung aber lediglich durch Vergleich der Ergebnisdaten zulassen.

In der Literaturstelle (Pradhan, D. K.: Fault-Tolerant Computing-Theory and Techniques. Prentii'e Hall, 1986) wird der SIFT-Computer für die Luftfahrt beschrieben, der mit unabhängigen Rechnerknoten arbeitet. Hierbei worden bezüglich der Input-Daten softwareimplementierte Mehrheitsvoter eingesetzt, deren Nachteile bereits genannt wurden.

Ziel der Erfindung

Das Ziel der Erfindung ist die Schaffung eines Rechnersystems, das einen hohen Fehlertoleranzgrad gestattet, das flexibel einsetzbar ist, das eine einfache Reparatur zuläßt und das eine effektive Auslastung geblattet.

Darlegung des Wesens der Erfindung

Aufgabe der Erfindung ist es, ein Verfahren und eine Schaltungsanordnung eines fehlertoleranten Mehrrechnersystems zu schaffen, das zentrale Umschaltmechanismen, zentrale Mehrheits- oder Schwellenentscheid-Mechanismen sowie starre Voting- und Redundanzprinzipien vermeidet.

Erfindungsgemäß wird die Aufgabt) dadurch gelöst, daß in einem Mehrrechnersystem mit untereinander kommunizierenden und parallel arbeitenden Rechnern zur Realisierung eines 2-aus-N-Systoms identische Datenfolgen im gleichen Zeitfonstor aber nicht notwendigerweise zeitsynchron abgearbeitet werden. Die Datenfolgen werden dabei in jedem Rechner zu einem Signaturvektor komprimiert. Der Signaturvektoi sowie das Ergebnis der Datenfolgon bzw. die Signatur der Ergebnisse der Datenfolge jedes Rechners werden über das Kommunikationsneuwerk an alle N-1 anderen Rechner gesendet. Jeder Rechner speichert die beiden Vektoren der anderen Rechner in seinem Signatur-RAM-Bereich und arbeitet als dezentraler Signaturvoter, indem er seinen eignnon Signaturvektor und die maximal N-1 erhaltenen vergleicht, wobei bei mindestens zwei identischen Signaturvektoren die zugeordneten Rechner, Datenfolgon und Ergebnisse in diosem Zeitraster als korrekt angenommen werden. Eine Selbstbewertung erfolgt durch Vergleich des eigenen Sigmturvoktors mit dem als korrekt ermittelten Signaturvektor. Zur Fehiertoleranz gegen Entwurfsfehler wird mindestens ein zum Algorithmus des 2-aus-N-Systems diversitärer Algorithmus auf mindestens einem Rechner abgearbeitet, über den ebenfalls die Prozeßsignatur und die Ergebnissignatur gebildet wird. Danach findet ein zweiter Vergleich der Ergebnisse bzw. Ergebnissignaturen der diversitären Algorithmen statt, wobei das Vergleichsorgebnis ein Test ist, der über die Wiederholung desselben oder eines diversitären Algorithmus entscheidet. Beim Vergleich der Ergebnissignaturen von 1 diversitären Algorithmen kann ein 2-aus-1-System organisiert werden. Eine Variante ist, daß mindestens ein diversitärer Algorithmus auf mindestens einem Rechner im gleichen Zeitfenster zum 2-aus-N-System abgearbeitet wird.

Eine weitere Variante ist, daß mindestens ein diversitärer Algorithmus in mindestens einem nachfolgenden Zeitfenster auf mindestens einem der N-Rechner der 2-aus-N-System abgearbeitet wird.

Die erforderliche Schaltungsanordnung des fehlertoleranten Mehrrechnersystems besteht aus mindestens gruppenweise gleichen Rechnern. Jeder Rechner besitzt mindestens eine CPU, einen ROM, einen RAM, einen Timer, eine I/O-Schnittstelle und eine Kommunikationsschnittstelle. Die Schaltungsanordnung zeichnet sich dadurch aus, daß jeder der M-Rechner einen fehlerunabhängigen Signaturschaltkreis besitzt, der mit dem hierarchisch höchsten Prozessor des Rechners über den a-Bit-Datenvektor, den Steuersignalvektor und den Adreßvektor verbunden ist und daß in jedem Rechner ein Signatur-RAM existiert, der die eigenen Prozeß- und Ergebnissignaturen sowie die von den underen Rechnern gesendeten speichert. Der Signaturschaltkreis wird realisiert unter Verwendung von bidirektionalen Verstärkern, Eingabespeicher, Signaturspeicher, Signaturkomparatoren, Timern, Anzeigesteuerung und einer testobjektabhängigen Adaptierschaltung über die die Anordnung an den Prozessor angeschaltet ist. Der Signaturschaltkreis zeichnet sich dadurch aus, daß ein a-Bit-Datenvektor des Prozessors über mindestens <5inen bidirektionalen Treiber und mindestens einen Eingabespeicher an eine 1 -bit-Signaturvorarbeitungslogik geschaltet sind. Deren Ausgänge sind mit dem 1 -bit-Signaturspeicher verbünden und sein nichtnegierter 1 -Bit-Signaturvektor ist auf mindestens einen bidirektionalen Treiber, auf die 1-Bit-Signaturverarbeitungslogik als Zustandsinformation und auf den ersten 1 -Bit-Signaturkomparator geschaltet und sein negierter 1-Bit-Signaturvektor ist auf eine Anzeigesteuerung und einen zweiten 1 -Bit-Signaturkomparator geschaltet. Die Signaturspeicher müssen bezogen auf den a-Bit Datenvektor vollständig steuerbar und vollständig beobachtbar sein. Durch Vergleichssteuersignale sind getrennt wählbare fehlersichere Festsollsignaturen steuerbar, die von einem ersten Festsignaturspeicher nichtnegiert an den ersten 1-Bit-Signaturkomparator und von einem zweiten Festsignaturspeicher negiert an den zweiten 1-Bit-Signaturkomparator geschaltet werden. Die Ausgänge der beiden 1-Bit-Signaturkomparatoren werden getrennt auf eine Auswerteschaltung gegeben, die unabhängig zwei Retriggerui id zwei Interruptsignale zur doppelten Weiterverarbeitung und/oder zum Anschluß zweier unabhängiger Timer liefert. Aus der Rückmeldung der Ausgangssignale der Timer wird ein nichtnegiertes Inhibitsignal und ein negiertes Inhibitsignal zur redundanten Summenfehlermeldung erzeugt. Beide Signale werden zum Sperren der aktiven Kommunikation redundant an alle Kommunikationsinterface und an alle I/O-Interface geschaltet.

Zur Verbesserung der Fehlerunabhängigkeit ist vorgesehen, daß jeder Rechner eine eigene von anderen Rechnern fehlerunabhängige Stromversorgung und eine vorgeschaltete abschaltbare Rechnerschnittstelle besitzt. Diese muß derart abschaltbar sein, daß ein rückwirkungsfreies Entfernen und Replazieren einer Rechnerbaugruppe ermöglicht wird. Zur fehlertoleranten Meßgrößenerfassung wird sine Meßgröße von mehr als zwei unabhängigen Meßwertaufnehmern erfaßt und getrennt an mindestens zwei fehlerunabhängige Rechner verschaltet.

Zur fehlertoleranten Stellgrößenschaltung werden die fehlerunabhängigen Ausgabekanäle unabhängiger Rechner getrennt auf jeweils mehre Stellgrößenschalter einer Stellgröße geschaltet.

Ausführungsboispiel Es zeigen:

Fig. 1: die erfindungsgemäße Anordnung

Fig. 2: den Ablauf einer ersten Verfahrensvariante

Fig. 3: den Ablauf einer zweiten Verfahronsvariante

Fig. 4: c'en Ablauf einer dritten Verfahrensvariante.

Das erfindungsgemäße Rechnersystem mi.iJ mindestens gruppenweise homogen kann auch vollständig homogen sein. Das entspricht der Forderung und Zukunftsprognose der Hardwareentwicklung.

Das Mehrrechnersystem umfaßt M weitgehend fehlerunabhängige und lose gekoppelte Rechner, die auf redundantem Wege kommunizieren können, so daß fehlerhafte, selbstisolierte oder entfernte Rechner sowie fehlerhafte Kommunikationsverbindungen bezüglich der Kommunikation umgangen werden können.

Die Wahl der Verbindungstopologie hängt vor allem vom beabsichtigten Wert M also der Anzahl der Rechner und der Anzahl der Link- bzw. Busports pro Rechner ab.

Anwendbar sind Multibus, Array, Hypertorus, Hyperkubus, Cube-Connected-Cycle u.a. Verbindungsstrukturen. Damit ist gewährleistet, daß jeder Rechiior mit jedem anderen auf direktem oder indiroktnm Woge (über andore) kommunizioron kann und daß jeder über Broadcast alle anderen benachrichtigen kann. Das bedeutet, daß virtuell jeder Rechner mit jedem anderen verbunden let, Die erforderliche Schaltungsanordnung des fehlertoleranten Mehrrechnersystems besteht aus mindestens gruppenweise gleichen Rechnern. Joder Rechner besitzt mindestens einen Prozessor 1, einen ROM 4, eine RAM 5, einen Timer 6, ein l/0-lnterface 12 und ein Kommunikationsinterface 11. Letztere sollten um Redundanz und Erweiterbarkeit zu ermöglichen mindestens 3 Link- bzw. 2 Busports umfassen.

Der Timor 6 steuert bzw. überwacht die Prozoßfenster bei der taskparallelen Bearbeitung des 2-aus-N-System.

Die Schaltungsanordnung zeichnot sich dadurch aus, daß jeder der M-Rechnor einen fohlerunabhängigen Signaturschaltkrois 10 besitzt, der mi; dem hierarchisch höchsten Prozessor 1 des Rechners über den a-Bit-Datenvektor D, den Steuersignalvßktor Sund don Adreßvoktor A verbunden ist und daß in jedem Rechnor oin Signatur-RAM 7 existiert, der die eigenen Prozeß- und Ergebnissignaturen sowie dio von den anderen Rochnorn gosendoton speichort. An don hiorarchisch höchsten Prozessor können beispielsweise über Dual-Port-RAM 3 weitere Arbeits- und Coprozessoren 2 angeschlossen sein.

Der Signaturschaltkreis 10 dient zur parallelen Datenkompression der Daten des Datenbusses des Prozessors 1 entsprechend der Signaturanalyse, wobei gestoueit durch den Prozessor 1 sowohl Verarboitungsprozosse bzw. ausgewählte Zustände von Prozessen zu einer l'rozeßsignatur als auch Spoinherinhalte z.B. Ergobnisdatenblöcke, dio auf Verarbeitungsprozosse rückgeführt worden, zu einer Ergobnisdatonsignatur komprimiert werden.

Zwei identische Γ rozesso bzw. Ergebnisdatenmengen müssen im Intaktfalle d. h. bei Identität folglich identische Signaturen aufweisen. Der Signdturschaltkreis 10 dient außerdem zur Selbstüberwachung des Rechners, zum Selbsttest und im festgetellten Fehlorfall zur Sei jsisolicrung, woboi dann die aktive Kommunikation über zwei Steuerleitungen das nichtnegierte Inhibitsignal INH und das negierte Inhibitsignal NINH redundant und fehlererkennbar (two-rail-codiert) unterbrochen wird. Dieses Doppelsignal kann auch an dio direkten Nachbarn des jeweiligen Rechners zur beschleunigten Nachbarschaftsdiagnose verschaltet werden.

Der Signaturschaltkreis wird vom Prozessor initialisiert, gestartet, gestoppt, der Signaturvektor korrigiert, gelesen oder fehlersicher geladen.

Der Signaturschaltkreis läßt sich durch folgende Befehle steuern:

Funktion Befehl Adresse Daten Kommentar

RESET-Befehl Freigabe Takttorung Sperren Takttorung Taktauswahl Vergleich Grundtest Vergleich Gesamttest Istsignatur lesen (Bit 0-15) Istsignatur lesen (Bit 16-21) Pufferschreiben (Bit 0-15) Pufferschreiben (Bit1&-21)und Signaturbildung

RESI	OUT	XXXO	—
START	OUT	XXX1	_
STOP	OUT	XXX2	_
SELECT	OUT	XXX3	E
COMP1	OUT	XXX4	_
COMP 2	OU^T	XXXB	_
RDO	IN	XXX6	SO
RD1	IN	XXX7	S1
CORRO	OUT	XXX6	co
CORR 1	OUT	XXX7	C1

XXX = verdrahtungsprogrammierbare Chip-Se' jct-Adresse

Der Signaturschaltkreis 10 wird realisiert 'inter Verwendung ve η bidirektionalen Verstärkern, Eingabespeicher, Signaturspeicher, Signaturkomparatoren, Timern, Anzeigesteiiorung und einer testobjektabhängigen Adaptierschaltung über die die Anordnung an den Prozessor angeschaltet ist. Der Signaturschaltkreis 10 zeichnet sich dadurch aus, daß ein a-Bit-Datenvektor D des Prozessors 1 über mindestens einen bidirektionalen Treiber und mindestens einen Eingabespeicher an eine 1 -bit-Signaturverarbeitungslogik geschaltet sind. Deren Ausgänge sind mit dem 1-bit-Signaturspeicher verbunden und sein nichtnegierter 1 -Bit-Signaturvektor ist auf mindestens einen bidirektionalen Treiber, auf die 1 -Bit-Signaturverarbeitungslogik als Zustandsinformation und auf den ersten 1-Bit-Signaturkomparator geschaltet und sein negierter 1 -Bit-Signaturvektor ist auf eine Anzeigesteuerung und einen zweiten 1-Bit-Signaturkomparator geschaltet. Die Signaturspeicher müssen bezogen auf den a-Bit-Datenvektor D vollständig steuerbar und vollständig beobachtbar sein. Durch Vergleichssteuersignale sind getrennt wählbare fehlersichere Festsollsignaturen steuerbar, die von einem ersten Festsignaturspeicher nichtnegiert an den ersten 1 -Bit-Signaturkomparator und von einem zweiten Festsignaturspeicher negiert an den zweiten 1 -Bit-Signaturkomparator geschaltet werden. Die Ausgänge der beiden 1-Bit-Signaturkomparatoren werden getrennt auf eine Auswerteschaltung gegeben, die unabhängig je zwei Retrigger- RTG1/2 und zwei Interruptsignale INT1/2 zur doppelten Weiterverarbeitung und/ oder zum Anschluß zweier unabhängiger Timer 13,14 liefert. Aus deren Rückmeldung wird ein nichtnegiertes Inhibitsignal INH und ein negiertes Inhibitsignal NINH zur redundanten Summenfehlermeldung erzeugt. Beide Signale werden zum fehlererkennenden Sperren der aktiven Kommunikation redundant an alle Kommunikationsinterface 11 und an alle I/O-Interface 12 geschaltet. Das Senden wird schaltunrjstechnißch nur dann erlaubt, wenn INH = Low und NINH = High ist. Bei den restlichen «drei Kombinationen der Signale wird gi jperrt.

Das Entfornon oinos Rcchnorknotens aus dom Gosamtsystom muß ohne Beeinflussung des Restsystems, d. h. rückwirkungsfroi durchführbar sein.

Zur Verbesserung dor Fohlorunabhängigkoit ist vorgesehen, daß jodor Rechner eino eigene von anderen Rechnorn fehlerunabhängigo Stromversorgung 8 und oino vorgeschaltete abschaltbare Rechnerschnittsto'lo 15 besitzt. Diese muß derart abschaltbar sein, daß ein rückwirkungsfreios Abschalten und Entfornon oinor dofokton Rochnorbaugruppe sowie das Replazioren und Zuschalten einer reparierten Rochnerbaugruppe ermöglicht wird. Das verbloibonde Rochnersystem muß während dieser Zeit ai beitsfähig bleiben. Ein galvanisches Auftrennen des Abschaltsignals AS bewirkt das rückwirkungsfreie Isolieren der abschaltbaren Rochnerschnittstelle 15. Zur Darstellung des Arboitszustandos und zur Darstellung von Fohlermittoilungen ist an den Signatui schaltkreis 10 optional eine Signatur- und Statusanzeigo anschließbar.

In jedem Rechnor existiert physisch ein Signatur-RAM, dor ein reservierter RAM-Boroich soin kann. In diesem Signatur-RAM worden die Prozeßsignaturen und die Ergebnisse bzw. die Ergebnissignaturen sowohl die dos eigenen Rechners als auch die N-1 gesendeten der anderen Rechner bis zum Signaturvotingprozeß abgelegt.

Auf N intakten der insgesamt M-Rechner kann das orfindungsgomäße 2-aus-N-Sy st em mittels dezentralem verteiltem Signaturvoting und diversitärer Taskboarbeituny installiert worden.

Wichtig ist, daß der Vergleich von zwei Signaturen als Gut-Schlecht-Test und dor Vergleich von N Signaturen bei N > 2 als 2-aus-N-Vergleich genutzt wird.

Soll beispielsweise in einem Mehrrechnersys'.em mit 9 Rechnern ein 2 aus 7 System für eine bestimmte Task installiert werden, so muß in jedem der 7 Rechner diese Task ^speichert sen .

Die taskparallele Bearbeitung erfolgt nicht zeitsynchrcn wohl aber innerhalb oines begrenzten Zeitfensters. Das gestattet das für die Fehlertoleranz vorteilhafte Entkoppeln der Takts»steme der Rechnor.

In jedem Rechner wird die Taskbearbeitung mittels Signaturschaltkreis, gesteuert durch den Prozessor, gleichzeitig zur Bearbeitung bezüglich der repräsentativen Daten auf dom Prozessordatonbus und in Abhängigkeit programmselektierter Steuersignale zur Prozeßsignatur der T^sk komprimiert. Außerdom werden anschließend die Ergebnisdaten durch Lesen dos Prozessors in gleicher Weise zu einer Ergebnisdatensignatur komprimiert.

Beide Signaturen werden im eigenen Signatur-RAM abgelegt und außerdem werden die beiden Signaturen an alle anderen beteiligten N-1-Rechner abgesendet.

Nach einer durch das Zeitfenster bestimmten Zeit beginnt der erste Votingprozoß, wobei in jedem Rechner also verteilt der Signaturvergleich der abgelegten Signaturen stattfindet. Unter der Annahme, daß keine gleichen Fehler zum gleichen Zeitpunkt in fehlerunabhängigen Rechnern auftreten, kann davon ausgegangen werden, daß zwei Prozesse mit übereinstimmenden Prozeßsignaturen bezüglich permanenten und transienten Hardwarefehlern intakt sind, daß also N-2-fehlerhafte-Prozesse toleriert werden können. Zusätzlich können die, zu den korrekten Prozeßsigriaturen gehörenden, Ergebnisdatensignaturen verglichen werden, die außerdem als Schutz der Ausgabedaten beim Senden an die Prozeßperipherie bzw. beim Weiterverarbeiten als Schutz der Eingabedaten der nächsten Task dienen.

Jeder Rechne·· kann die korrekten Prozeß- und Ergebnisdatensignaturer. (2 aus N) im eigenen Votingprozeß ermitteln und vergleicht diese mit den eigenen zwecks Selbstbewnrtung und im wiederholten Fehlerfall zwecks Selbstisolierung im Sinne der selbstreinigenden Redundanz aber auch um festzustellen ob die eigenen Ergebnisdaten weiterverarbeitet werden können oder nicht. Signaturverfahren besitzen eine sehr hohe Fehlererkennungswahrscheinlichkeit und sind vergleichsweise einfach zu instrumentieren.

Die eigenen Ergebnisdaten eines Rechners können dann zur Ausgabe oder zur Weiterverarbeitung als korrekt angenommen werdon, wenn die Signatur über diese Ergebnisdaten mit mindestens einer Ergebnisdatensignatur eines anderen intakten Rechners übereinstimmt und wenn dieser auch die korrekte Prozeßsignatur aufweist. Der Vorteil ist, daß die Rechner untereinander nur die Signaturen austauschen müssens um den Prozeß und die Daten zu bewerten. Lediglich zum Schluß können die korrekten Ergebnisse zur Weiterverarbeitung z. B. über Broadcast verteilt werden. Weiterhin wird auch die Signatur zur Überprüfung der Datenübertragung eingesetzt. Das ist erforderlich, falls die Anzahl der teilnehmenden Rechner also der Redundanzgrad vergrößert wird, falls eine Rekonfiguration also Umverlagerung der Bearbeitung im Mehrrechnersystem stattfindet oder einfach nur wenn ein oder mehrere Rechner inkorrekte Ergebnisse hatten aber weiterhin im Verband bleiben und mit korrekten Ergebnissen die nachfolgende Task beginnen sollen.

Vorteil und Problem ist, daß nur vollkommen identische Prozeßabläufe bzw. Ergebnisdaten zu identischen Signaturen führen. Das widerspricht einer erforderlichen Diversität (Design-, Programmdiversität) zum Erkennen bzw. Tolerieren von Erltwurfsfehlern.

Andererseits kann bei künftigen homogenen Rechnerstrukturen auf Grund der begrenzten Komplexität des einzelnen Rechners, der hohen Herstellungsstückzahlen und der damit verbundenen Perfoktionierung des Entwurfs und der Herstellung davon ausgegangen werden, daß Hardware-Entwurfsfehler vermieden werden können. Da aber demgegenüber die Vielfalt der Softwareimplementierungen stark zunehmen wird, werden sich auch die Entwurfsfehler der Software häuten. Im Normalfall d. h. bei einem ausgetesteten und die Regeln beachtenden Programmentwurf, der die Voraussetzung für den Einsatz in fehlortolerierenden Rechnersystemon ist, kann geschätzt werden, daß die Fehlerrate der Entwurfsfehler wesentlich geringer als die Fehlerrate der permanenten und transienten Hardwarefehler ist, die auf Alterserscheinungen, Herstellungsfehler, Umwelteinflüsse zurückzuführen und nicht vollständig vermeidbar sind.

Wenn nicht nur permanente und transiente Hardwarefehler und davon verursachte Softwarefehler toleriert v/erden sollen, sondern auch Softwareentwurfsfehler, so wird eine zweite Taskbearbeitung mit einem diversitären Programm durchgeführt. So ist diese Task dann in jedem der 7 Rechner in einer ersten Taskvariante und einer diversitären zweiten Taskv.iriante vorhanden. Die Diversität besteht dabei Algorithmus und der Logik ggf. durch unabhängige Programmierung. Nachfolgend werden drei Beispielvarianten der diversitären Taskbearbeitung beschrieben.

Eine erste Verfahrensvariante (vgl. Fig. 2) beruht darauf, daß die Bearbeitung der zweiten Taskvariante auf dergleichen Menge _ Rechner und mit einem anschließender, zweiten Prozeßsignaturvoting der Rechner untereinander und anschließendem Vergleichstest der zwei repräsentativen korrekten Ergebnisdatensignaturen erfolgt. Merkmal dieser Variante ist geringe Hardwareredunclanz auf Kosten von Zeitredudanz. Im Differenzfall muß auf einen Softwarentwurfsfehler in einer der beiden Programmvarianten ausgegangen worden, der mit sehr hoher Fehlererkemungswahrscheinlichkeit entdeckt wird.

Von dor Aufgabenstellung hängt es ab, wie weiterverfahren wird. Entweder die Ergebnisse können durch Akzeptanztest beispielsweise logische Bewortung in korrokte und unkorrekte unterschieden werden, oder es muß eine dritte divorsitäro Programmversion Vorhandensein, die für diesen selten auftretenden Fall u.U. nachgeladen und in beschriebener Weise abgearbeitet wird und deren Ergebnisdatensignatur dann im 2-aus-3-Systom wiederum vortoilt bewertet wird, wodurch dann diesor Entwurfsfohler toleriert wird.

Eine zweite Verfahrensvarianto (vgl. Fig.3) beruht darauf, daß die diversitäro Bearbeitung auch parallolisiort werden kann.

Merkmal cliosos Verfahrens ist reduzierte Zoitrodundanz auf Kosten von Hardwarorodundanz. Dazu werdon zur Entwurfsfohlerorkonnung zwei, zur Entwurfsfehlertoleranz mindestens drei annähernd gleichgroße abor nicht notwendigerweise gleichgroße Gruppen von Rechnern dynamisch festgelegt, wobei in der ersten Gruppe die erste Programmversion, in dor zweiten Gruppe die zweite Programmvorsion usw. im gloichen Zeitfenster bearboitet wird. In den Gruppen wird 2-aus-N-Prozeßsignaturvoting durchgeführt und sofort anschließend über die repräsentativen korrekten Ergebnissignaturen das 2-aus-3-Ergebnissignaturvoting vorgenommen.

Eine weitere vorteilhafte Verfahrensvariante (vgl. Fig. 4) ist, daß die erste Version beispielsweise 2 aus 7 bearbeitet wird, daß die zweite Version nur auf einem Rechner bearboitet wird, daß anschließend der Vergleich der Ergebnissignaturon der beiden Versionen durchgeführt wird. Boi Übereinstimmung ist der Prozeß abgeschlossen. Bei Differenz bearbeiten die 7 Rechner die zweite Version und ein Rechner u. U. bereits die dritte Version usw.

Mit nachfolgendem 2-aus-3-Voting über die Ergebnisdatensignaturen wird ein Verfahren geschaffen, das mit wenigen Rechnern und mit geringer Zeitredundanz eine extrem hohe Fehlersicherheit bietet.

Aus diesen drei repräsentativen Beispielen sind weitere Varianten ableitbar.

Es existiert eine Grundkonfiguration mit M-Rechnern, in der sich als Untermenge die intakte Konfiguration (Menge aller arbeitsfähigen Rechner) mit K Rechnern zum Zeitpunkt t bofindet.

In dieser Menge können je nach gefordertem Fehlertoleranzgrad ein oder mehrere Votingmengen (Votingkonfiguration) mit beispielsweise je annähernd N-Rechner organisiert werden.

Dio Implementierung des Fehlertoleranzgrades kann als flexibler, dynamisch veränderbarer Prozeß aufgefaßt werden, wodurch eine optimale Auslastung der Ressourcen gewährleistet wird.

In einem Rechnersystom mit M-Rechnern seien zum Zeitpunkt t gonau K-Rechnor intakt. M-K-Kcchner sind selbstisoliert und warten auf die Reparatur bzw. sind in Reparatur. Es stehen KRechner zur Verfügung.

Normalerweise können alle K-Rechner auch K verschiedene Tasks zur gleichen Zeit bearbeiten. FC r hochzuverlässige Aufgaben können dagegen im Extremfall alle K-Rechner die gleiche Task bearbeiten und so ein 2-aus-K-System bilden.

Nimmt man beispielsweise ein Mehrrechnersystem mit 256 Rechnern an, so ist es vollkommen ausreichend wer; ι δ Rechner, die verteilt im System liegen, eine hochzuverlässige Task bearbeiten und dk restlichen mit gleichem, höherem cder niedrigem Redundanzgrad verteilt arbeiten.

Diese Verteilung der Zusammenarbeit kann in der nächsten Zeitscheibe vorkommen anders sein. Dieser hohe Grad an Flexibilität durch dynamische Anpassung ist sehr vorteilhaft für das Überleben eines Rechnersystems d. h. für seine hohe Verfügbarkeit.

Die räumliche Verteilung der Taskkopien ist dabei eine ergänzende Maßnahme zur Verbesserung der Fehlertoloranz.

Ganz gleich welche der 256 Rechner ausfallen, der erforderliche Redundanzgrad des 2-aus-8-Systems ist trotz einer hohen Fehlerzahl dynamisch softwaremäßig rekonfigurierbar.

Natürlich sollte die Anzahl fehlerhafter Rechner durch ereignisabhängige, prophylaktische (bei registrierten Unzuverlässigkeiten) oder durch die Missionszeit festgelegte Reparatur so gering wie möglich gehalten werden.

Bei Anwendung fehlertolerantor Rechnersysteme für Prozeßsteuerungen ist es außerdem sinnvoll, Meßwerte redundant zu erfassen, unter den Rechnern auszutauschen und zu vergleichen, urn nur korrekte und identische aber fehlertolerant erfaßte Eingabewerte zu verwenden. Das ist oine sinnvolle Ergänzung zum Prozeßsignaturvoting.

Zur fehlertoleranten Meßgrößenerfassung wird eine Meßgröße von mehr als zwei unabhängigen Meßwertaufnehmern erfaßt und getrennt an mindestens zwei tehlerunabhängige Rechner verschaltet.

Die Ausgabedaten, die durch die Eigebnisdatensignatur gesichert werden, sollten auf fehlerunabhängige Ausgabekanäle unabhängiger Rechner und getrennt auf jeweils mehrere Stellgrößenschalter einer Stellgröße geschaltet werden, wobei beispielsweise für failsafe-eingeschaltet eine Parallelschaltung und für failspfe-ausgeschaltet eine Reihenschaltung zu verwenden ist.

Claims

1. Verfahren eines fehlertoleranten Mehrrechnersystems mit untereinander kommunizierenden Rechnern zur Realisierung eines 2-aus-N-Systems, wobei die Rechner parallel arbeiten, dadurch gekennzeichnet, daß identische Datenfolgen in N-Rechnern im gleichen Zeitfenster, aber nicht notwendigerweise zeitsynchron abgearbeitet werden, daß die Datenfolgen dabei in jedem Rechner zu einem Signaturvektor komprimiert werden und daß der Signaturvektor sowie das Ergebnis der Datenfolgen bzw. die Signatur der Ergebnisse der Datonfolge jedes Rechners über das Kommunikationsnetzwerk an alle N-1 anderen Rechner gesendet wird und daß jeder Rechner die beiden Vektoren der anderen Rechner in seinem Signatur-RAM-Bereich speichert und als dezentraler Signaturvoter arbeitet, indem jeder Rechner seinen eigenen Signaturvektor und die maximal N-1 erhaltenen vergleicht, wobeibei mindestens zwei identischen Signaturvektoren die zugeordneten Rechner, Datenfolgen und Ergebnisse in diesem Zeitraster als korrekt angenommen werden und daß eine Selbstbewertung durch Vergleich des eigenen Signaturvektors mit dem als korrekt ermittelten Signaturvektor erfolgt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß mindestens ein zum Algorithmus des 2-aus-N-Systemsdiversitärer Algorithmus auf mindestens einem Rechner abgearbeitet wird, über den ebenfalls die Prozeßsignatur und die Ergebnissignatur gebildet wird und daß ein zweiter Vergleich der Ergebnisse bzw. Ergebnissignaturen der diversitären Algorithmen stattfindet und daß das Vergleichsergebnis ein Test ist, der über die Wiederholung desselben oder eines diversitären Algorithmus entscheidet.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß bezüglich des Vergleichs der Ergebnissignaturen von 1 diversitären Algorithmen ein 2-aus-1-System organisiert wird.

4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß mindestens ein diversitärer Algorithmus auf mindestens einem Rechner im gleichen Zeitfenster zum 2-aus-N-System abgearbeitet wird.

5. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß mindestens ein diversitärer Algorithmus in mindestens einem nachfolgenden Zeitfenster auf mindestens einem der N-Rechner der 2-aus-N-System abgearbeitet wird.

6. Schaltungsanordnung zur Durchführung des Verfahrens nach Anspruch 1 bis 5 eines fehlertoleranten Mehrrechnersystems bestehend aus mindestens gruppenweise gleichen Rechnern, wobei jeder Rechner mindestens eine CPU, einen ROM, einen RAM, einen Timer, ein I/O-Interface und ein Kommunikationsinterface besitzt, dadurch gekennzeichnet, daß jeder der M-Rechner einen fehlerunabhängigen Signaturschaltkreis (10) besitzt, der mit dem hierarchisch höchsten Prozessor (1) des Rechners über den a-Bit-Datenvektor (D), den Steuersignalvektor (S) und den Adreßivektor (A) verbunden ist, daß in jedem Rechner ein Signatur-RAM (7) existiert, der die eigenen Prozeß- und Ergebnissignaturen sowie die von den anderen Rechnern gesendeten speichert.

7. Schaltungsanordnung nach Anspruch 6 unter Verwendung von bidirektionalen Verstärkern, Eingabespeicher, Signaturspeicher, Signaturkomparatoren, Timern, Anzeigesteuerung und einer testobjektabhängigen Adaptierschaltung, über die die Anordnung an den Prozessor angeschaltet

• ist, dadurch gekennzeichnet, daß ein a-Bit-Datenvektor (D) des Prozessors (1) über mindestens einen bidirektionalen Treiber des Signaturschaltkreises (10) und mindestens einen Eingabespeicher an eine 1-bit-Signaturverarbeitungslogik geschaltet sind, deren Ausgänge mit dem 1-bit-Signaturspeicher verbunden sind und daß sein nichtnegierter 1-Bit-Signaturvektorauf mindestens einen bidirektionalen Treiber, auf die 1-Bit-Signaturverarbeitungslogik als i'.ustandsinform^tion und auf den ersten 1-Bit-Signaturkomparator und daß sein negierter 1-Bitiügnaturvektor auf b^:ne Anzeigesteuerung und einen zweiten 1-Bit-Signaturkomparator geschaltet sind, daß die Signaturspehher bezogen auf den a-Bit Datenvektor (D) vollständig steuerbar und vollständig beobachtbar sind, daß durch Vergleichssteuersignale getrennt wählbare fehlersichere Festsollsignaturen steuerbar sind, die von einem ersten Fesisignaturspeicher nichtnegiert an den ersten 1-Bit-Signaturkomparator und von einem zweiten Festsignaturspeicher negiert an den zweiten 1-Bit-Signaturkomparator geschaltet sind und daß die Ausgänge der beiden 1-Bit-Signaturkomparatoren getrennt auf eine Auswerteschaltung gegeben worden, die unabhängig zwei Retrigger- (RTG 1/2) und zwei Interruptsignale (INT1/2) zur doppelten Weiterverarbeitung und/oder zum Anschluß zweier unabhängiger Timer (13,14) liefert und daß aus der Rückmeldung

der Ausgangssignale der Timer (13,14) ein nichtnegiertes Inhibitsignal (INH) und ein negiertes Inhibitsignal (NINH) zur redundanten Summenfehlermeldung geschaltet wird und daß beide Signsie an alle Kommunikationsinterface (11) und an alle I/O-Interface (12) geschaltet sind.

8. Schaltungsanordnung nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß jeder Rechner eine eigune von anderen Rechnern fehlerunabhängige Stromversorgung (8) und eine vorgeschaltete abschaltbare Rechnerschnittstelle (15) besitzt und daß diese derart abschaltbar ist, daß ein rückwirkungsfreies Entfernen und Replazieren einer Rechnerbaugruppe ermöglicht wird.

9. Schaltungsanordnung nach Anspruch 6 bis 8 zur fehlertoleranten Meßgrößenerfassung, dadurch gekennzeichnet, daß eine Meßgröße von mehr als zwei unabhängigen Meßwertaufnehmern erfaßt und getrennt an mindestens zwei fehlerunabhängige Rechner verschaltet wird.

10. Schaltungsanordnung nach Anspruch 6 oder 9 zur fehlertoleranten Stellgrößenschaltung, dadurch gekennzeichnet, daß die fehlerunabhängigen Ausgabekanäle unabhängiger Rechner getrennt auf jeweils mehrere Stellgrößenschalter einer Stellgröße geschaltet werden.