DE4320137A1 - Synchronisation von Tageszeituhren in einem verteilten Verarbeitungsnetzwerksystem - Google Patents

Description

Diese Erfindung bezieht sich auf die Synchronisation von Tageszeituhren, die es in jeder Station eines verteilten Verarbeitungsnetzwerksystems gibt, und insbesondere auf ein solches System, in dem es beträchtliche Zeitverzögerungen gibt, die sich dynamisch ändern können. Die Erfindung be­ zieht sich weiterhin darauf, eine Tageszeituhr mit höherer Auflösung als in den Tageszeituhren verfügbar ist, die typi­ scherweise in den Stationsprozessoren gefunden werden, zur Verfügung zu stellen.

In einem verteilten Verarbeitungssystem und insbesondere in einem verteilten Steuerungssystem ist eine der schwie­ rigeren Aufgaben das Aufrechterhalten einer verteilten, syn­ chronen Tageszeituhr. Die Uhr bildet den Zeitstandard, der in allen Stationen erforderlich ist, um das Planen von ver­ teilten Aufgaben zu erlauben und das Auftreten verschiedener Ereignisse (für Ereignisfolgen, die in dem Netzwerk ablau­ fen) zu markieren. Die Steuerungsbedingungen in einem typi­ schen, heutigen Steuerungssystem erfordern, daß die Abwei­ chung zwischen zwei Stationen im schlimmsten Fall geringer als 200 Mikrosekunden sind. Daher muß die Auflösung jeder Uhr 100 Mikrosekunden sein, und die Genauigkeit jeder Uhr muß plus/minus 100 Mikrosekunden sein.

Die einfachste Lösung ist, eine Station zu haben, die periodisch eine Nachricht überträgt, die die korrekte Tages­ zeit enthält. Bei Erhalt der Nachricht würden alle Stationen ihre Uhren auf den in der Nachricht spezifizierten Wert ein­ stellen. Unglücklicherweise gibt es viele beträchtliche und variable Verzögerungen zwischen der Zeit, wenn die Nachricht erzeugt wird, und der Zeit, wenn die Uhren in den entfernten Stationen eingestellt werden. Diese Verzögerungen umfassen: die Verarbeitungszeit in dem sendenden Computer, Warte­ schlangenverzögerungen für die Übertragung, die Verarbei­ tungszeit in der Quellennetzwerkschnittstelle, Verzögerungen für den Zugriff auf die Medien, die Übertragungszeit, Me­ dienübertragungsverzögerungen, Stationsrepeaterverzögerun­ gen, die Verarbeitungszeit in der Bestimmungsnetzwerk­ schnittstelle, Warteschlangenverzögerungen im Bestim­ mungscomputer und Softwareverarbeitungsverzögerungen. Diese Verzögerungen und ihre Veränderlichkeit verhindern eine Syn­ chronisation mit der gewünschten Genauigkeit.

Die obige Analyse setzt die Verwendung einer Tages­ zeituhr voraus, die durch das Betriebssystem in einem Pro­ zessor in jeder Station aufrecht erhalten wird. Die Effekte vieler der beschriebenen Verzögerungen können durch Hinzufü­ gen spezieller Hardware zu den Netzwerkschnittstellen sowohl bei den Sende- als auch bei den Empfangsstationen beseitigt werden. Insbesondere würde die Hardware der Sendestation die lokale Tageszeituhr im Augenblick des Sendens lesen und den Wert in die Nachricht einsetzen. Dies würde den Fehler be­ seitigen, der durch die folgenden Verzögerungen verursacht wird: die Verarbeitungszeit in dem Sendecomputer, Warte­ schlangenverzögerungen für das Warten auf die Sendung, die Verarbeitungszeit in der Quellennetzwerkschnittstelle und die Verzögerungen für das Warten auf den Zugriff auf die Me­ dien. Die Hardware in der Empfangsstation würde die Zeit­ nachricht feststellen, die Tageszeit extrahieren und die lokale Tageszeit einstellen. Dies würde den durch folgendes erzeugten Fehler beseitigen: die Verarbeitungszeit in der Bestimmungsnetzwerkschnittstelle, Warteschlangenverzögerun­ gen im Bestimmungscomputer und Softwareverarbeitungsverzöge­ rungen. Die einzig verbleibenden Fehler sind mit der Über­ tragungszeit, den Medienübertragungsverzögerungen und den Stationsrepeaterverzögerungen verbunden. Unglücklicherweise ist die spezielle Hardware zum Durchführen der obigen Funk­ tionen ziemlich komplex. Da jede Station in der Lage sein muß, die Zeitgeberfunktion durchzuführen, müßten alle Sta­ tionen die beiden speziellen Hardwareteile haben.

Das US-Patent 4 815 110 schlägt ein anderes System zur Synchronisation von Tageszeituhren in einem verteilten Ver­ arbeitungssystem vor. Der Zeitsynchronisationsprozeß ist in zwei Phasen unterteilt. Während der ersten Phase überträgt die Zeitgeberstation eine spezielle Nachricht auf das Netz­ werk. Zu dem Zeitpunkt, zu dem die Nachricht empfangen wird, hält die Hardware in jeder Station (also speichert) den Wert ihrer lokalen Tageszeituhr. Während der zweiten Phase überträgt die Zeitgeberstation eine Nachricht, die den Wert ihrer Tageszeituhr enthält, der gespeichert wurde, als sie ihre eigene Nachricht während der Phase Eins erhielt. Wenn die Tageszeit des Zeitgebers von jeder anderen Station empfangen worden ist, wird der empfangene Wert von dem ge­ speicherten Wert subtrahiert. Der resultierende Wert stellt die Differenz zwischen der lokalen Uhr und der Uhr der Zeit­ geberstation dar. Die für diesen Prozeß erforderliche Hard­ ware ist viel einfacher als die oben diskutierte, und der Übertragungszeitfehler wird eliminiert. Die erforderliche Hardware umfaßt nur einen Hardwarezähler, der zum Darstellen der lokalen Tageszeit erforderlich ist, und Schaltkreise zum Erkennen der Zeitnachricht während der Phase Eins. Jedoch muß der Zähler folgende Operationen unterstützen: Lesen, Setzen und Speichern. Zusätzlich muß der Wert in dem Zähler die absolute Zeit darstellen.

In einem ähnlichen, von dem Rechtsnachfolger der vorlie­ genden Erfindung entwickelten System sendet eine einzige Ma­ sterstation die spezielle Zeitnachricht in Phase Eins an alle Stationen, und in Phase Zwei senden drei Stationen, die Masterstation und zwei zusätzliche Stationen, die Zeiten, zu denen sie die spezielle Zeitnachricht erhalten haben, an alle Stationen. Jede Station bildet dann den Mittelwert der beiden am dichtesten liegenden, empfangenen Tageszeitsignale und führt die Korrektur mit diesem Mittelwert durch.

In einigen Netzwerken, wie etwa dem gegenläufigen FDDI- (Faserverteilungs-Datenschnittstelle) Ringnetzwerk, werden Nachrichten durch Repeater in den Netzwerkschnittstellen je­ der Station in dem Ring von Station zu Station übertragen. Diese Repeaterfunktion führt zu einer Zeitverzögerung von zum Beispiel 750 Nanosekunden. Zusätzlich führt das Kommuni­ kationsmedium, das die Stationen verbindet, zu zusätzlichen Verzögerungen. Weiterhin kann das FDDI-Netzwerk die Netz­ werktopographie durch Auswahl von Faserabschnitten im Uhr­ zeigersinn oder gegen den Uhrzeigersinn zwischen den Statio­ nen umgestalten, um Ausfälle zu kompensieren. Diese Änderun­ gen in der Topographie beeinflussen die von einer oder meh­ reren Stationen in dem Netzwerk erfahrene Verzögerung.

Ein weiteres Problem ist, daß viele der heutigen Ar­ beitsstationen Betriebssystem-Tageszeituhren besitzen, die nicht die Auflösung besitzen, die erforderlich ist, um die Anforderungen von verteilten Verarbeitungssystemanwendungen zu erfüllen.

Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Vorrichtung zur Synchronisation von Stations-Ta­ geszeituhren in einem verteilten Verarbeitungssystem zur Verfügung zu stellen.

Es ist eine weitere Aufgabe der Erfindung, diese Haupt­ aufgabe mit einem Minimum an spezialisierter Hardware zu lö­ sen.

Es ist eine zusätzliche Aufgabe der Erfindung, die vor­ stehenden Aufgaben unter Verwendung der Betriebssystem-Ta­ geszeituhr jeder Station zu lösen und dies auch dann zu tun, wenn die Betriebssystem-Tageszeituhr nicht die von dem Netz­ werksystem geforderte Auslösung besitzt.

Es ist auch eine Aufgabe der vorliegenden Erfindung, eine solche verbesserte Vorrichtung zur Synchronisation von Ta­ geszeituhren zur Verfügung zu stellen, die Netzwerkverzöge­ rungen und dynamische Änderungen in den Netzwerkverzögerun­ gen, wie sie bei Änderungen in der Netzwerktopographie auf­ treten, berücksichtigen.

Diese und weitere Aufgaben werden durch die in den bei­ gefügten Patentansprüchen definierte Erfindung gelöst, die auf ein verteiltes Verarbeitungssystem gerichtet ist mit Vorrichtungen zur Synchronisation der Stations-Tageszeituh­ ren, welche in jeder Station einen freilaufenden Zähler in der Netzwerkschnittstelle umfassen, welcher eine Zählung von Zeitintervallen durchführt. Sie umfaßt außerdem Vorrichtun­ gen innerhalb einer festgelegten Zeitgeberstation, die peri­ odisch ein Zeitgebersignal erzeugen, das über das Datenkom­ munikationsnetzwerk an alle Stationen einschließlich der Zeitgeberstation gesandt wird. Vorrichtungen in jeder Netz­ werkschnittstelle halten den Zählwert des freilaufenden Zäh­ lers bei Erhalt des Zeitgebersignals fest. Die Zeitgebersta­ tion umfaßt außerdem Vorrichtungen zum Senden des Zeitgeber- Tageszeitsignals, das die Tageszeit zu dem Zeitpunkt dar­ stellt, an dem die Zeitgeberstation das Zeitgebersignal emp­ fangen hat, an alle Stationen. Jede der anderen Stationen umfaßt Vorrichtungen zum Feststellen einer Stations-Refe­ renztageszeit aus dem festgehaltenen Zählwert, dem Zählwert in dem freilaufenden Zähler und der Tageszeit in der Tages­ zeituhr des Betriebssystems zum Zeitpunkt des Erhalts des Tageszeitsignals des Zeitgebers. Jede Station umfaßt weiter­ hin Vorrichtungen zum Bestimmen der Differenz zwischen der Stations-Referenztageszeit und der empfangenen Tageszeit des Zeitgebers und zum Einstellen der Tageszeituhr in dem Be­ triebssystem auf der Basis dieser Differenz.

Zusätzliche Stationen sind so ausgerüstet, daß sie Zeit­ geberstationen sind und nehmen die Zeitgeberfunktion sequen­ tiell an, wenn sie das Zeitgebersignal nicht innerhalb eines jeweiligen, vorgegebenen Intervalls empfangen.

Jede der Stationen berücksichtigt bei der Berechnung der Stations-Referenzzeit Verzögerungen, die sowohl von der Re­ peaterfunktion der Netzwerkschnittstellen und den Kommunika­ tionsmedienverzögerungen erzeugt werden. Diese Berechnungen berücksichtigen auch Änderungen in den kumulativen Verzöge­ rungen, die aus Änderungen in der Netzwerktopographie her­ rühren.

Die Erfindung stellt außerdem eine verbesserte Auflösung in dem Tageszeit-Zeitwert einer Station zur Verfügung, wenn die Tageszeituhr des Betriebssystems der Station nicht die von der Anwendung erforderte Auflösung besitzt. Die Tages­ zeituhren des Betriebssystems der Stationen besitzen einen Softwarezähler, der durch einen Zeitinterrupt indexiert ist.

Entsprechend der Erfindung multipliziert die Lesevorrichtung der augenblicklichen Zeit die Tageszeit in diesem Software­ zähler mit dem Verhältnis der Auflösung des freilaufenden Zählers in der Netzwerkschnittstelle zur Softwarezählerauf­ lösung zum Erzeugen eines hochaufgelösten Produkts. Die Än­ derung im Zählwert in dem freilaufenden Zähler, die seit dem letzten Zeitinterrupt erzeugt wurde, wird zu diesem Produkt addiert, um die hochaufgelöste, augenblickliche Tageszeit zu erhalten. In einem Ausführungsbeispiel dieses Gesichtspunkts der Erfindung besitzt der freilaufenden Zähler einen Modulus gleich einer Zeiteinheit in dem Softwarezähler, und der Zei­ tinterrupt wird jedesmal erzeugt, wenn der freilaufende Zähler überläuft, so daß die Änderung in dem Zählwert in dem freilaufenden Zähler seit dem letzten Interrupt nur der au­ genblickliche Zählwert ist.

Es ist eine Aufgabe der vorliegenden Erfindung, ein ver­ teiltes Netzwerksystem zur Verfügung zu stellen, das allen Uhren in dem Netzwerk ermöglicht, sich selbst zu synchroni­ sieren.

Im Hinblick auf die obige Aufgabe liegt die vorliegende Erfindung in einem verteilten Verarbeitungssystem mit einer Mehrzahl von Stationen, die jeweils einen Stationsprozessor mit einem Betriebssystem, das eine Stations-Tageszeituhr aufweist, und eine Netzwerkschnittstelle besitzen; einem Da­ tenkommunikationsnetzwerk, das die Mehrzahl von Stationen über die Netzwerkschnittstellen verbindet; und Synchronisa­ tionsvorrichtungen zum Synchronisieren der Stations-Tages­ zeituhren in den Stationsprozessoren; wobei die Synchronisa­ tionsvorrichtungen gekennzeichnet sind durch einen freilau­ fenden Zähler in jeder der Netzwerkschnittstellen, die eine Zählung von Zeitintervallen durchführen; durch Festhaltevor­ richtungen in jeder der Netzwerkschnittstellen zum Speichern des Zählwerts; durch Vorrichtungen innerhalb einer vorgege­ benen Zeitgeberstation, die periodisch ein Zeitgebersignal erzeugen, das über das Datenkommunikationsnetzwerk an alle Stationen einschließlich der Zeitgeberstation gesandt wird; durch Vorrichtungen in jeder der Netzwerkschnittstellen, die den Zählwert des freilaufenden Zählers in der Festhaltevor­ richtung bei Erhalt des Zeitgebersignals festhalten; durch Vorrichtungen in der Zeitgeberstation, die anschließend über das Datenkommunikationsnetzwerk an alle Stationen ein Zeit­ geber-Tageszeitsignal senden, welches die Tageszeit der Zeitgeberstation angibt, wenn das Zeitgebersignal empfangen wurde; durch Vorrichtungen in den Stationen außer der Zeit­ geberstation, die eine Stations-Referenztageszeit aus dem festgehaltenen Zählwert des freilaufenden Zählers, dem Zähl­ wert des freilaufenden Zählers zum Zeitpunkt des Erhalts des Tageszeitsignals des Zeitgebers und der Tageszeit in der Be­ triebssystem-Tageszeituhr zum Zeitpunkt des Erhalts des Ta­ geszeitsignals des Zeitgebers bestimmen; und durch Vorrich­ tungen in jeder Station, die die Differenz zwischen der Sta­ tions-Referenztageszeit und der empfangenen Zeitgeber-Tages­ zeit bestimmen und die Tageszeituhr in dem Betriebssystem auf der Basis der Differenz einstellen.

Ein volles Verständnis der Erfindung kann aus der nach­ folgenden Beschreibung in Verbindung mit den beigefügten Zeichnungen gewonnen werden.

Fig. 1 ist ein schematisches Diagramm des verteilten Verarbeitungssystems, das die Erfindung umfaßt.

Fig. 2 ist ein schematisches Diagramm einer der Mehrzahl von Stationen, die einen Teil des Systems der Fig. 1 bilden.

Die Fig. 3-7 sind Flußdiagramme von geeigneten Compu­ terprogrammen, die die Erfindung in dem verteilten Verarbei­ tungsnetzwerksystem der Fig. 1 und 2 implementieren.

Die Erfindung wird beschrieben in einer Anwendung in ei­ nem verteilten Datenverarbeitungsnetzwerksystem, das als ein FDDI- (verteiltes Faser-Datenaustausch-) Netzwerk implemen­ tiert ist, auch wenn für den Fachmann klar ist, daß die Er­ findung auch in solchen Systemen angewendet werden kann, die als andere Netzwerktypen implementiert sind.

Fig. 1 zeigt ein verteiltes Verarbeitungsnetzwerksystem 1 mit einer Mehrzahl von Stationen 3a-d. Die vier Stationen des Systems 1 sind nur exemplarisch, und eine beliebige An­ zahl von Stationen kann in dem System 1 umfaßt sein. Die Stationen 3a-d sind über ein Netzwerk 5 in einer doppelten Ringkonfiguration verbunden, wobei ein Ring 7 Nachrichten in Richtung gegen den Uhrzeigersinn und ein zweiter Ring 9 Nachrichten in Richtung des Uhrzeigersinns überträgt. In der bevorzugten Ausführungsform der Erfindung wird der FDDI- Netzwerkstandard verwendet. In einem solchen Netzwerk umfas­ sen die beiden Ringe 7 und 9 optische Fasern als Kommunika­ tionsmedien. In anderen Netzwerken könnten Koaxialkabel oder eine verdrillte Doppelleitung als Kommunikationsmedia ver­ wendet werden. Das FDDI-Netzwerk besitzt eine offene Netz­ werkarchitektur. Das FDDI-Netzwerk umfaßt einen Stationsma­ nagementstandard, der unter anderem die Konfiguration des Netzwerks kontrolliert. Unter normalen Bedingungen wird, wenn die Station 3 eine Nachricht sendet, die Nachricht von einem der Ringe zu jeder Station der Reihe nach transpor­ tiert, die dann die Nachricht für die nächste Station wie­ derholt. Wenn also der innere Ring 7 verwendet wird und die Station 3a eine Nachricht sendet, erhält die Station 3d die Nachricht und wiederholt sie für Station 3c, die ihrerseits die Nachricht für Station 3b wiederholt. Wenn Station 3a von dem System entfernt wird oder ein Fehler in dem Ring auf­ tritt, wie bei 11 in Fig. 1 gezeigt, rekonfiguriert das Sta­ tionsmanagement das Netzwerk, um sicherzustellen, daß alle verbliebenen, aktiven Stationen gesendete Nachrichten emp­ fangen. Also wird mit der Unterbrechung in dem Ring bei 11, wenn die von der Station 3a herrührende Nachricht die Sta­ tion 3c erreicht, die Übertragung auf dem äußeren Ring über die Stationen 3d und 3a zur Station 3b zurückgeführt.

Die durch jede der Stationen beim Weiterleiten von emp­ fangenen Nachrichten durchgeführte Wiederholungsfunktion er­ fordert eine endliche Zeit, zum Beispiel 750 Nanosekunden in dem exemplarischen System. Zusätzlich werden Verzögerungen eingeführt durch die Kommunikationsmedien, die die Ringe 7 und 9 bilden. Bei optischen Fasermedien beträgt diese Verzö­ gerung typischerweise 5 bis 6 Mikrosekunden pro Kilometer. In einem verteilten Verarbeitungssystem, das sich über ei­ nige Kilometer erstreckt, können die addierten Verzögerungen beträchtlich sein, insbesondere in dem oben dargestellten Fall, bei dem die Nachricht über Stationen zurückgeführt wird, die die Nachricht zweimal wiederholen.

Die Stationen 3 in einem verteilten Steuerungssystem können verteilte Verarbeitungseinheiten und Arbeitsstationen 13 umfassen, die durch eine Netzwerkschnittstelle 15, wie in Fig. 2 gezeigt, mit den Ringen 7 und 9 des Netzwerks 5 ver­ bunden sind. Die verteilten Verarbeitungseinheiten und die Arbeitsstationen 13 umfassen alle einen Mikroprozessor 17. Die verteilten Verarbeitungsstationen führen die Steuerungs­ funktionen des Systems 1 durch. Typischerweise umfaßt dies die Regulierung einer speziellen Systemvariablen auf einen eingestellten Punktwert. Die Arbeitsstationen dienen als Mensch-Maschine-Schnittstellen, durch die ein Operateur das verteilte Verarbeitungssystem 1 bedient und überwacht. Die Koordination der Funktionen der verschiedenen Stationen des Systems 1 erfordern den Austausch von Echtzeitdaten. Der FDDI-Standard erlaubt synchrone und asynchrone Modi für die Übertragung von Daten. Der synchrone Modus wird zur Übertra­ gung der Echtzeitdaten durch die periodische Wiederholung der augenblicklichen Werte von verschiedenen Parametern in dem System verwendet. Wie zuvor erwähnt, erfordert dies die Synchronisierung der Tageszeituhren, die sich in den Prozes­ soren 17 in jeder Station befinden. Die Steuerungsbedingun­ gen in einem typischen, heutigen Steuerungssystem erfordern im schlechtesten Fall eine Abweichung von weniger als 200 Mikrosekunden zwischen den Stationsuhren.

Die vorliegende Erfindung erreicht die Synchronisation zwischen den Stationsuhren mit der erforderlichen Genauig­ keit, indem in jeder Netzwerkschnittstelle ein freilaufender Zähler 19 mit einem Speicher 21 zur Verfügung gestellt wird. Der freilaufende Zähler stellt nicht die absolute Zeit dar und muß daher niemals zurückgesetzt werden. Der Zähler sollte tief genug sein, so daß er nicht zu oft überläuft, und die Software muß in der Lage sein, solche Überläufe zu handhaben.

Entsprechend der Erfindung ist eine der Stationen als Zeitgeberstation ausgezeichnet. Diese Station überträgt pe­ riodisch ein Zeitgebersignal über das Netzwerk 5 zu jeder der anderen Stationen. Zu dem Zeitpunkt, an dem dieses Zeit­ gebersignal empfangen wird, wird der Zählwert des freilau­ fenden Zählers 19 in dem Speicher 21 gespeichert. Die Zeit­ geberstation sendet dann eine Zeitgeber-Tageszeitnachricht, die die Tageszeit des Zeitpunkts darstellt, an dem sie die Zeitgebernachricht erhalten hat. Dieser Zeitgeber-Tageszeit­ wert muß berechnet werden, da der freilaufende Zähler nicht die absolute Zeit darstellt. Dies wird durchgeführt durch Lesen der Tageszeituhr des Betriebssystems in dem Prozessor 17 und des freilaufenden Zählers 19. Typischerweise besitzt der Prozessor 17 einen Interruptgenerator 18, der periodisch Interrupts erzeugt, die verwendet werden, um die Tages­ zeituhr des Betriebssystems zu inkrementieren. Die Differenz zwischen dem augenblicklichen Wert des freilaufenden Zählers 19 und dem in dem Speicher 21 zum Zeitpunkt des Empfangs des Zeitgebersignals gespeicherten Wert wird mit der Periode der Zählwerte, die von dem freilaufenden Zähler aufgezeichnet werden, multipliziert. Der resultierende Wert ist der Zeit­ betrag, der verstrichen ist, seit das Zeitgebersignal von der Zeitgeberstation empfangen worden ist. Das Ergebnis ist die Tageszeit zu dem Augenblick, in dem das Zeitgebersignal von der Zeitgeberstation empfangen wurde. Dieser Wert wird in die Tageszeitnachricht des Zeitgebers eingefügt und über das Netzwerk 5 an die anderen Stationen gesendet.

Wenn das Tageszeitsignal des Zeitgebers von den anderen Stationen 3 empfangen wird, berechnen die Stationen zunächst einen Referenzwert für ihre Tageszeituhren. Sie benutzen dieselbe Berechnung wie die Zeitgeberstation zuvor. Die emp­ fangene Zeitgebertageszeit wird dann von der berechneten Stations-Referenztageszeit subtrahiert. Der resultierende Wert stellt die Differenz zwischen der lokalen Uhr und der Uhr der Zeitgeberstation dar und wird zur Korrektur der lo­ kalen Tageszeituhr verwendet. Diese Korrektur kann durch Einstellen der Betriebssystemuhr, durch schrittweises Ein­ stellen derselben oder durch Speichern des lokalen Korrek­ turterms, der zu dem lokalen Zeitwert addiert oder von die­ sem subtrahiert wird, wenn ein genauer Wert erforderlich ist, durchgeführt werden.

Die bis hierhin beschriebene Synchronisationsprozedur berücksichtigt keine Verzögerungen durch das Weiterreichen des Zeitgebersignals in dem Netzwerk. Der Betrag des resul­ tierenden Fehlers hängt von der Art des verwendeten Netz­ werkes ab. Wie oben diskutiert, sind in einem Ringnetzwerk, wie in dem beispielhaften FDDI-Netzwerk, die beiden Haupt­ beiträge zu der Verzögerung die Stationsverzögerung bei der Wiederholung der Nachricht in jedem Knoten (bis zu 750 Nano­ sekunden pro Station) und die Signalausbreitungsverzögerung in den Medien (ungefähr 5 Mikrosekunden pro Kilometern für optische Fasern). Die Software, die die Zeitsynchronisati­ onsfunktion durchführt, muß den von der Zeitgeberstation empfangenen Zeitwert korrigieren, um die Übertragungsverzö­ gerung zwischen der lokalen Station und der Zeitgeberstation zu kompensieren. Diese Kompensation basiert auf den bekann­ ten Kabellängen und der augenblicklichen Netzwerkkonfigura­ tion. Die Zeitsynchronisation muß zeitweilig unterbrochen werden, wenn sich das Netzwerk rekonfiguriert. Die Zeitsyn­ chronisation wird wieder aufgenommen, wenn die Topologie des Netzwerkes festgelegt worden ist. Wie oben erwähnt, bestimmt das Stationsmanagement des FDDI-Netzwerkes die augenblickli­ che Topologie des Netzwerkes.

Wenn die Zeitgeberstation versagt oder von dem Netzwerk entfernt wird, muß eine andere Station die Funktion überneh­ men. Dies wird erreicht, indem jeder Station ein eindeutiges Zeitintervall zugewiesen wird. Wenn die Station das Zeitge­ bersignal nicht innerhalb dieses Zeitintervalls empfängt, wird sie die Zeitgeberstation und überträgt das Zeitgebersi­ gnal. Die verschiedenen Stationen nehmen die Zeitgeberfunk­ tion sequentiell basierend auf den zugewiesenen, eindeutigen Zeitgeberintervallen an.

Die Fig. 3-5 zeigen Flußdiagramme für drei Routinen, die die Synchronisation der Tageszeituhren des Netzwerks un­ ter Verwendung des freilaufenden Zählers implementieren. Fig. 3 zeigt das Flußdiagramm für eine TX_CLOCK_MESSAGE-Rou­ tine, die von der Zeitgeberstation verwendet wird, um das Zeitgebersignal periodisch zu senden. Die Routine 23 beginnt mit dem Einstellen eines Aufweckalarms für das nächste In­ tervall bei 25. Sie erzeugt dann bei 27 eine Zeitnachricht, die das Zeitgebersignal umfaßt, wie oben diskutiert. Die Nachricht wird dann bei 29 in eine Übertragungsschlange ein­ gereiht, und dann wartet die Routine bei 31 auf den nächsten Alarm.

Fig. 4 zeigt eine RX_CLOCK_MESSAGE-Routine, die bei Emp­ fang des Zeitgebersignals abläuft. Während es zu einem gege­ benen Zeitpunkt nur eine Zeitgeberstation gibt, wird die Routine von allen Stationen durchgeführt, da jede Station die Zeitgeberfunktion annehmen kann. Die Routine beginnt bei 35 mit der Feststellung, ob die Station die augenblickliche Zeitgeberstation ist. Falls nicht, wird die Routine bei 37 beendet. Wenn es sich um die Zeitgeberstation handelt, liest sie bei 29 den augenblicklichen Zählwert des freilaufenden Zählers, die augenblickliche Zeit der Tageszeituhr des Be­ triebssystems des Stationsprozessors und den in dem Speicher 21 gespeicherten Zählwert ein.

Wenn der augenblickliche Zählwert in dem freilaufenden Zähler größer ist als der gespeicherte Zählwert, wird die Empfangszeit des Zeitgebersignals durch Subtraktion der Dif­ ferenz zwischen dem augenblicklichen Zählwert in dem frei­ laufenden Zähler und dem gespeicherten Zählwert multipli­ ziert mit der Periode des freilaufenden Zählers von der au­ genblicklichen Tageszeit in der Tageszeituhr berechnet. Wenn jedoch der augenblickliche Zählwert in dem freilaufenden Zähler kleiner als der gespeicherte Wert ist, was anzeigt, daß der Zähler übergelaufen ist, wird die Empfangszeit bei 41 durch Subtraktion des gespeicherten Zählwerts von dem ma­ ximalen Zählwert des freilaufenden Zählers und durch Multi­ plikation mit der Periode des freilaufenden Zählers berech­ net. Der resultierte Wert wird dann von dem Tageszeitwert des augenblicklichen Betriebssystems subtrahiert. Die Zeit­ geberstation erzeugt dann bei 43 eine Zeitgeber-Tageszeit­ nachricht, die das Zeitgebertageszeitsignal enthält. Diese Tageszeitnachricht wird bei 45 in eine Sendeschlange einge­ reiht, und das Alarmintervall für die Routine wird bei 47 zurückgesetzt, bevor die Routine bei 49 beendet wird.

Fig. 5 zeigt eine RX_TIME_OF_DAY-Routine, die von jeder Station bei Erhalt der Tageszeitnachricht, die die Tageszeit des Zeitgebers enthält, durchgeführt wird. Die Routine be­ ginnt bei 53 mit dem Lesen der augenblicklichen Werte des freilaufenden Zählers und der Tageszeit des Betriebssystems und auch des gespeicherten Zählwerts. Dann wird bei 55 unter Verwendung derselben Berechnungen wie in Block 43 der in Fig. 4 gezeigten Routine eine Empfangszeit berechnet. Die Netzwerkverzögerung von dieser Station zur Zeitgeberstation wird dann bei 57 basierend auf der Netzwerktopologie berech­ net. Das heißt, das die Repeaterverzögerung für jede der Zwischenstationen zur Gesamtverzögerung für die Länge der Kommunikationsmedien zwischen der Zeitgeberstation und der lokalen Station für den von der Nachricht genommenen Weg ad­ diert wird. Dann wird bei 59 eine Einstellung berechnet, in­ dem zunächst die Netzwerksverzögerung von der Zeitgeberzeit subtrahiert wird und dann die in 55 berechnete Empfangszeit subtrahiert wird. Diese Einstellung wird dann bei 61 verwen­ det, um die lokale Tageszeituhr einzustellen, bevor die Rou­ tine bei 63 beendet wird.

Typische Betriebssystemuhren besitzen eine Auflösung von ±10 Millisekunden. Wie oben diskutiert, ist das für die meisten Zeitsynchronisationsanforderungen nicht angemessen. Entsprechend einem weiteren Gesichtspunkt der Erfindung ist der freilaufende Zähler 19 in der Netzwerkschnittstelle ei­ ner Station mit der Betriebssystemuhr in dem Stationsprozes­ sor verbunden, um eine hochauflösende Tageszeituhr zu bil­ den. Typischerweise verfolgt das Betriebssystem in den Pro­ zessoren 17 die Tageszeit mittels eines periodischen Inter­ rupts. Dieser Interrupt wird von der Hardware erzeugt. Wenn dieser Interrupt auftritt, inkrementiert das Betriebssystem typischerweise einen Softwarezähler. Der Zähler mißt die seit einem festen Zeitpunkt verstrichene Zeit. Die mit dem Zähler verbundenen Einheiten entsprechen üblicherweise der Auflösung der Tageszeituhr, z. B. 10 Millisekunden. Entspre­ chend einem Ausführungsbeispiel dieses Gesichtspunkts der Erfindung ist der freilaufende Zähler 19 der Netzwerk­ schnittstelle so ausgeführt, daß er einen Modulus, also einen maximalen Zeitwert gleich der gewünschten Inter­ ruptrate besitzt. Der Überlauf des freilaufenden Zählers wird dann verwendet, um den Interrupt für die Tageszeituhr für das Betriebssystem zur Verfügung zu stellen. Eine hoch­ auflösende Zählung, die die seit einem festen Zeitpunkt ver­ strichene Zeit angibt, wird dann durch Multiplikation des Zählwertes in dem Softwarezähler mit dem Verhältnis der Hardwareauflösung zur Softwareauflösung und anschließender Addition des Wertes des freilaufenden Zählers berechnet. Dieser hochaufgelöste Tageszeitwert kann dann anstelle des Tageszeitwerts des Betriebssystems in den zuvor beschriebe­ nen Synchronisationsprozeduren verwendet werden. Es sollte festgestellt werden, daß die Zeitkorrektur am ehesten durch Speichern eines Korrekturterms erreicht würde, da der frei­ laufende Zähler nicht einstellbar ist.

In einem weiteren Ausführungsbeispiel dieses Gesichts­ punkts der Erfindung erzeugt die Tageszeituhr des Betriebs­ systems die Zeitinterrupts wie üblich. Jedoch ist die Inter­ ruptserviceroutine so modifiziert, daß sie den Wert des freilaufenden Zählers zum Zeitpunkt des Tageszeitinterrupts liest und speichert. Die hochauflösende Zählung, die die verstrichene Zeit nach einem festen Zeitpunkt angibt, wird dann durch Multiplikation des Zählwerts im Softwarezähler mit dem Verhältnis der Hardwareauflösung zur Softwareauflö­ sung und anschließender Addition der Differenz zwischen dem augenblicklichen Wert des freilaufenden Zählers und dem zu dem Zeitpunkt des Auftretens des Tageszeitinterrupts gespei­ cherten Wert berechnet. Wie bei der Zeitsynchronisation oben beschrieben, muß die Differenzberechnung in der Lage sein, ein Überlaufen des Zählers zu bearbeiten.

Fig. 6 zeigt ein Flußdiagramm für ein Computerprogramm 5, das von den Prozessoren 17 in den Stationen 3 ausgeführt wird und das hochaufgelöste Tageszeitsignal erzeugt. Bei ih­ rem Aufruf bei 67 liest die Routine bei 69 die Software-Ta­ geszeituhr und den Zählwert des Zählers 69. Die hochaufgelö­ ste Tageszeit wird dann bei 71 entsprechend der ersten For­ mel berechnet, wenn der Zähler 19 nicht übergelaufen ist, und wird entsprechend der zweiten Formel berechnet, wenn der Zähler übergelaufen ist. Die Routine wird dann bei 73 been­ det.

Fig. 7 zeigt ein Flußdiagramm für die von dem Prozessor 17 in Abhängigkeit von jedem Zeitinterrupt durchgeführte Routine 75. Die Routine speichert den Wert des freilaufenden Zählers 19 als das COUNT_AT_IRQ-Signal, das in der Routine 65 verwendet wird.

Während spezifische Ausführungsformen im Detail be­ schrieben wurden, ist für den Fachmann klar, daß verschie­ dene Modifikationen und Änderungen an diesen Details im Lichte der Gesamtlehre der Offenbarung durchgeführt werden können. Demzufolge sollen die speziellen offengelegten An­ ordnungen nur illustrativ und nicht für den Schutzumfang der Erfindung einschränkend sein. Dieser soll den beigefügten Patentansprüchen und allen Äquivalenten derselben entspre­ chen.

Claims (13)

1. Verteiltes Verarbeitungssystem (1) mit:
einer Mehrzahl von Stationen (3), die jeweils einen Sta­ tionsprozessor (17) mit einem Betriebssystem, das eine Sta­ tions-Tageszeituhr aufweist, und eine Netzwerkschnittstelle (15) besitzen;
einem Datenkommunikationsnetzwerk (5), das die Mehrzahl von Stationen (3) über die Netzwerkschnittstellen (15) ver­ bindet; und
Synchronisationsvorrichtungen zum Synchronisieren der Stations-Tageszeituhren in den Stationsprozessoren;
wobei die Synchronisationsvorrichtungen gekennzeichnet sind durch:
einen freilaufenden Zähler (19) in jeder der Netzwerk­ schnittstellen, die ein Zählen von Zeitintervallen durchfüh­ ren;
Festhaltevorrichtungen (21) in jeder der Netzwerk­ schnittstellen zum Speichern des Zählwerts;
Vorrichtungen (23) innerhalb einer vorgegebenen Zeitge­ berstation, die periodisch ein Zeitgebersignal erzeugen, das über das Datenkommunikationsnetzwerk (5) an alle Stationen (3) einschließlich der Zeitgeberstation gesandt wird;
Vorrichtungen in jeder der Netzwerkschnittstellen (15), die den Zählwert des freilaufenden Zählers (19) in der Fest­ haltevorrichtung (21) bei Erhalt des Zeitgebersignals fest­ halten;
Vorrichtungen (39-45) in der Zeitgeberstation, die an­ schließend über das Datenkommunikationsnetzwerk an alle Sta­ tionen ein Zeitgeber-Tageszeitsignal senden, welches die Ta­ geszeit der Zeitgeberstation angibt, wenn das Zeitgebersi­ gnal empfangen wurde;
Vorrichtungen (53-57) in den Stationen außer der Zeitge­ berstation, die eine Stations-Referenztageszeit aus dem festgehaltenen Zählwert des freilaufenden Zählers (19), dem Zählwert des freilaufenden Zählers zum Zeitpunkt des Erhalts des Tageszeitsignals des Zeitgebers und der Tageszeit in der Betriebssystem-Tageszeituhr zum Zeitpunkt des Erhalts des Tageszeitsignals des Zeitgebers bestimmen; und
durch Vorrichtungen (59-61) in jeder Station, die die Differenz zwischen der Stations-Referenztageszeit und der empfangenen Zeitgeber-Tageszeit bestimmen und die Tages­ zeituhr in dem Betriebssystem auf der Basis der Differenz einstellen.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß die Zeitgeberstation Vorrichtungen (41) zum Erzeugen des Zeitgeber-Tageszeitsignals aus dem in den Festhaltevorrich­ tungen (21) ihrer Netzwerkschnittstelle (15) gespeicherten Zählwert bei Erhalt des Zeitgebersignals, einem augenblick­ lichen Zählwert des freilaufenden Zählers (19) und einer au­ genblicklichen Tageszeit der Tageszeituhr des Betriebssy­ stems umfaßt.

3. System nach Anspruch 1, dadurch gekennzeichnet, daß eine zweite Station (3) die Zeitgeberstation wird und Vor­ richtungen (23, 39-45) zum Erzeugen und Übertragen des Zeit­ gebersignals und des Zeitgeber-Tageszeitsignals umfaßt, wenn ein Zeitgebersignal nicht innerhalb eines vorgegebenen Zei­ tintervalls empfangen wird.

4. System nach Anspruch 1, dadurch gekennzeichnet, daß eine andere von verschiedenen Stationen (3) die Zeitgeber­ station wird und Vorrichtungen (23, 39-45) zum Erzeugen und Übertragen des Zeitgebersignals und des Zeitgeber-Tageszeit­ signals umfaßt, wenn ein Zeitgebersignal nicht innerhalb ei­ ner vorgegebenen Sequenz von Zeitintervallen jeweils von den verschiedenen Stationen empfangen wird.

5. System nach Anspruch 1, dadurch gekennzeichnet, daß die Vorrichtungen (53-59) zum Bestimmen der Stations-Refe­ renztageszeit Vorrichtungen (57-59) zum Einstellen der Sta­ tions-Referenztageszeit auf Verzögerungen bei der Übertra­ gung des Zeitgebersignals von der Zeitgeberstation zu dieser Station umfassen.

6. System nach Anspruch 1, dadurch gekennzeichnet, daß das Datenkommunikationsnetzwerk (5) die Stationen (3) in ei­ ner gegenläufigen Ringkonfiguration verbindet, wobei die Netzwerkschnittstellen (15) das Zeitgebersignal und die Zeitgeber-Tageszeitsignale in den Ring mit einer vorgegebe­ nen Zeitverzögerung weitergeben, und daß die Vorrichtungen (53-57) zum Bestimmen der Stations-Referenztageszeit die vorgegebene Zeitverzögerung für alle Netzwerkkontroller zwi­ schen der Station und der Zeitgeberstation berücksichtigen.

7. System nach Anspruch 6, dadurch gekennzeichnet, daß die gegenläufige Ringkonfiguration des Datenkommunikations­ netzwerks (5) Längen von Kommunikationsmedien (7, 9) zwi­ schen Stationen besitzt, die bekannte Zeitverzögerungen bei der Übertragung des Zeitgebersignals und des Zeitgeber-Ta­ geszeitsignals erzeugen, und daß die Vorrichtungen (53-57) zum Bestimmen der Stations-Referenzsignals die vorgegebene Zeitverzögerung für die Längen der Kommunikationsmedien (7, 9) zwischen den Stationen (3) bei der Bestimmung der Stati­ ons-Referenztageszeit berücksichtigen.

8. System nach Anspruch 7, dadurch gekennzeichnet, daß es Vorrichtungen zum Ändern der gegenläufigen Ringkonfigura­ tion des Datenkommunikationsnetzwerks besitzt und daß die Vorrichtungen (53-57) zum Bestimmen des Stations-Referenzsi­ gnals Änderungen der Anzahl der Netzwerkschnittstellen (15) und der Längen der Kommunikationsmedien (7, 9) zwischen den Stationen bei der Bestimmung der Stations-Referenztageszeit berücksichtigen.

9. System nach Anspruch 1, dadurch gekennzeichnet, daß die von wenigstens einem Stationsprozessor (17) gehaltene Tageszeituhr einen Softwarezähler besitzt, der von einem Zeitinterrupt mit einer niedrigeren Auflösung als die Auflö­ sung des freilaufenden Zählers (19) indiziert wird, und eine Lesevorrichtung für die augenblickliche Tageszeit umfaßt, die die Tageszeit des Softwarezählers mit dem Verhältnis der Auflösung des freilaufenden Zählers zur Auflösung des Soft­ warezählers multipliziert, um ein hochaufgelöstes Produkt zu bilden, und zu diesem Produkt eine Änderung im Zählwert des freilaufenden Zählers von dem letzten Zeitinterrupt addiert, um eine hochaufgelöste, augenblickliche Tageszeit zu erhal­ ten.

10. System nach Anspruch 9, dadurch gekennzeichnet, daß der freilaufende Zähler einen Modulus gleich einer Zeitein­ heit in dem Softwarezähler besitzt und daß das System Vor­ richtungen (19) zum Erzeugen des Zeitinterrupts zu jedem Zeitpunkt, zu dem der freilaufende Zähler überläuft, umfaßt und daß die Vorrichtungen zum Lesen der augenblicklichen Ta­ geszeit den Zählwert des freilaufenden Zählers als die Ände­ rung des Zählwerts von dem letzten Zeitinterrupt an zu dem Produkt addieren.

11. System nach Anspruch 9, dadurch gekennzeichnet, daß sie Vorrichtungen zum Speichern eines ersten Zählwerts in dem freilaufenden Zähler, wenn der Softwarezähler von einem Zeitinterrupt indiziert wird, umfaßt und daß die Lesevor­ richtungen für die augenblickliche Tageszeit die Änderung in dem Zählwert des freilaufenden Zählers durch Subtrahieren des ersten Zählwerts von einem augenblicklichen Zählwert be­ stimmen.

12. Verteiltes Verarbeitungssystem (1) mit:
einer Mehrzahl von Netzwerkstationen (3), die jeweils eine Stations-Tageszeituhr und eine Netzwerkschnittstelle (15) besitzen;
einem Datenkommunikationsnetzwerk (5) mit einer gegen­ läufigen Ringkonfiguration (7, 9), das die Mehrzahl von Netzwerkstationen (3) über die Netzwerkschnittstellen (15) verbindet, die mit einer vorgegebenen Zeitverzögerung Daten auf dem Datenkommunikationsnetzwerk senden, empfangen und weitersenden; und
Vorrichtungen (17, 19, 21) zum Synchronisieren der Ta­ geszeituhren in den Netzwerkstationen;
gekennzeichnet durch:
Vorrichtungen (23) in einer vorgegebenen Zeitgebersta­ tion, die ein Zeitgebersignal über das Datenkommunikations­ netzwerk durch die Netzwerkschnittstellen (15) senden;
Vorrichtungen (19) in jeder der Stationen einschließlich der Zeitgeberstation, die ein Stationssignal speichern, das mit dem Zeitpunkt, zu dem das Zeitgebersignal empfangen wurde, verbunden ist;
Vorrichtungen (39, 45) in der Zeitgeberstation, die über das Datenkommunikationsnetzwerk (5) durch die Netzwerk­ schnittstellen (15) ein Zeitgeber-Tageszeitsignal senden, welches den Zeitpunkt angibt, zu dem die Zeitgeberstation das Zeitgebersignal empfangen hat;
Vorrichtungen (57) zum Bestimmen einer Netzwerkverzöge­ rung für den Erhalt des Zeitgebersignals, die auf der gegen­ läufigen Ringkonfiguration des Datenkommunikationsnetzwerks beruht, für jede Station;
Vorrichtungen (55, 59) innerhalb jeder Station, die eine Differenz zwischen der Zeitgeber-Tageszeit und einer Sta­ tion-Referenztageszeit, die aus dem Stationssignal und der Netzwerksverzögerung hergeleitet wird, berechnen; und
Vorrichtungen (61) zum Einstellen der Stationstageszeit mit Hilfe dieser Differenz.

13. System nach Anspruch 12, dadurch gekennzeichnet, daß sie Vorrichtungen (23) umfaßt, die Einstellungen in der ge­ genläufigen Ringkonfiguration des Datenkommunikationsnetz­ werks durchführen, und daß die Vorrichtungen (57), die für jede Station eine Netzwerkverzögerung bestimmen, diese Ein­ stellungen in der gegenläufigen Ringkonfiguration (7, 9) des Datenkommunikationsnetzwerks (5) berücksichtigen.