DE69319475T2

DE69319475T2 - Rechneranzeige für Videosignale

Info

Publication number: DE69319475T2
Application number: DE69319475T
Authority: DE
Inventors: Barry Keith Aldred; Ronald John Bowater; Steven Peter Woodman
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1992-03-26
Filing date: 1993-03-03
Publication date: 1999-03-11
Anticipated expiration: 2013-03-04
Also published as: GB9206554D0; US5404446A; EP0562728A3; DE69319475D1; EP0562728A2; JPH0683301A; GB2265733A; JPH0792653B2; EP0562728B1

Description

Die vorliegende Erfindung betrifft die Anzeige eines über ein asynchrones Netzwerk übertragenen Videosignals auf einem Rechner.
Neuere Entwicklungen in der Computertechnik ermöglichen es Benutzern ferner Rechner, mit Hilfe interaktiver Videoübertragungen miteinander zu kommunizieren - siehe beispielsweise PC Week vom März 91. Jeder Benutzer verfügt über einen PC oder eine Arbeitsstation (z. B. ein IBM PS/2¹) mit einer Karte wie der Intel/IBM ActionNedia2 (AMII), die die Verarbeitung und Anzeige von Videobildern auf dem Rechner ermöglicht. Die Arbeitsstationen sind durch einen Breitband-Übertragungskanal wie beim dienstintegrierten digitalen Fernmeldenetz (ISDN) oder einem lokalen Netzwerk (LAN) miteinander verbunden. Eine Kamera in der Arbeitsstation liefert ein Videobild des Benutzers, das (in komprimierter Form) über das Netzwerk übertragen wird. Dieses Videosignal wird an einer oder mehreren anderen Arbeitsstationen empfangen und angezeigt, damit die Benutzer in Echtzeit miteinander kommunizieren können.
Bisher wurden Videosignale über vollsynchrone oder isochrone Verbindungen übertragen. In solchen Systemen nimmt eine Kamera Videosignale mit fester Bildfrequenz auf; dann werden die Videosignale an die Empfangsstation übertragen und dort angezeigt, ebenfalls mit der gleichen festen Bildfrequenz. In Computernetzwerken hingegen erfolgt die Übertragung asynchron, d. h. die Informationen werden in der Regel in einzelnen Paketen übertragen, damit Datenverluste oder fehlerhafte Datenübertragungen erkannt werden können. Wieviel Zeit zwischen dem Abschicken und dem Empfang eines Datenpakets verstreicht hängt vom Datenaufkommen im Netzwerk und von anderen Faktoren ab.
In WO-A-8600482 wird eine Schnittstellenschaltung zwischen einer asynchronen Quelle und einem synchronen Datenübertragungskanal beschrieben. Im IBM Technical Disclosure Bulletin Bd. 10, Nr. 1, Juni 1967, S. 34-36 wird ein Puffer-/Latch-Schaltungssystem zur Übertragung von Daten zwischen nicht synchronisierten Terminals beschrieben.
In rechnerbasierten Videoübertragungssystemen wird ein Videosignal von der Kamera mit konstanter Bildfrequenz aufgenommen; nach der Übertragung über das asynchrone oder nicht ideale Netzwerk kommen die Bilder in unregelmäßigen Abständen an. Einige Bilder kommen zu früh, andere mit Verzögerung, und es kann zu einer Ballung kommen. Das Anzeigegerät an der empfangenden Arbeitsstation benötigt aber in der Regel eine konstante Bildfrequenz (z. B. zum Abgleich mit der Rasterabtastrate einer Kathodenstrahlröhre). In solchen Systemen muß deshalb das unregelmäßige Eintreffen der Bilder über das Netzwerk an die am Ausgabebildschirm benötigte konstante Rate angeglichen werden.
Bei Multimediasystemen, in denen Videosequenzen von optischen Speicherplatten gelesen werden, ist die Kompensation der ungleichen Raten, mit denen Daten von der Platte kommen und angezeigt werden, durch Füllen eines Bildpuffers vor dem Abspielen auf dem Anzeigegerät bekannt. Es ist jedoch schwierig, diesen Ansatz auf Videokonferenz-Anwendungen zu übertragen, da jedes im Puffer gespeicherte Bild die Verzögerung zwischen Aufnahme und Anzeige eines Videobildes vergrößert. Eine zu große Verzögerung ist bei der interaktiven Kommunikation störend. Der Ent wickler rechnerbasierter Videokommunikationssysteme steht deshalb vor dem Problem, daß er einerseits erreichen muß, daß die asynchron ankommenden Videosignale in regelmäßiger Folge abgespielt werden können, und andererseits die Anzahl der im Puffer zwischengespeicherten Videobilder möglichst gering sein soll.
Mit der vorliegenden Erfindung wurde deshalb ein Rechnersystem entwickelt, auf dem ein Videosignal, das ursprünglich mit konstanter Bildfrequenz erzeugt wurde, aber vom Rechner über ein asynchrones Paketvermittlungsnetz in unregelmäßigen Abständen empfangen wird, mit regelmäßiger Bildfrequenz auf dem Bildschirm angezeigt wird. Das System besitzt folgende Mittel zur Kompensation der unregelmäßigen Bildempfangsfrequenz: ein erstes Puffermittel zur Speicherung eintreffender Bilder, die aus dem Netzwerk empfangen werden; ein zweites Puffermittel, um die Bilder mit einer regelmäßigen Bildfrequenz an den Bildschirm zu übergeben; und Steuerprozeßmittel zum Transfer der Bilder aus dem ersten Puffer in den zweiten Puffer, wobei das Steuerprozeßmittel Mittel zur Erzeugung von Nullbildern und zum Löschen eintreffender Bilder als Reaktion auf die unregelmäßige Bildempfangsfrequenz besitzt.
Der Steuerprozeß kann entscheiden, ob Bilder vom ersten in den zweiten Puffer verschoben werden sollen und ggf. wann und wieviele Bilder zu verschieben sind, oder ob statt dessen Bilder gelöscht werden sollen. Dies verleiht dem System eine wesentlich höhere Flexibilität und Leistungsfähigkeit gegenüber einem System mit nur einem einzigen Puffer.
In einem bevorzugten Ausführungsbeispiel ermittelt der Steuerprozeß die aktuelle Bildanzahl im zweiten Puffer und verschiebt Bilder aus dem ersten in den zweiten Puffer, wenn die Anzahl der Bilder im zweiten Puffer einen vorgegebenen Mindestwert unterschritten hat. Der Transfer kann aber auch nach anderen Kri terien erfolgen - z. B. indem anhand der aktuellen Belegung und der Abspielrate vorhergesagt wird, wie schnell der zweite Puffer leer sein wird.
Vorzugsweise ermittelt der Steuerprozeß die Anzahl der aus dem ersten in den zweiten Puffer zu verschiebenden Bilder anhand eines geschätzten CPU-Aktivitätsniveaus und der aktuellen Anzahl der Bilder im zweiten Puffer. Die geschätzte CPU-Aktivität läßt erkennen, wie lange der Steuerprozeß wahrscheinlich warten muß, bis er zum nächsten Mal die Gelegenheit hat, den Puffer wieder zu füllen. Durch Anpassung der Anzahl der in den zweiten Puffer zu verschiebenden Bilder kann die Gesamtanzahl der gespeicherten Bilder verringert werden, ohne daß dadurch die Gefahr größer wird, daß der Puffer leer wird.
In einem bevorzugten Ausführungsbeispiel sendet der zweite Puffer eine Meldung an den Steuerprozeß, wenn die Anzahl der Bilder im zweiten Puffer einen vorgegebenen Mindestwert unterschreitet, und die Schätzung der CPU-Aktivität basiert auf der Zeit, die die Meldung braucht, um vom zweiten Puffer zum Steuerprozeß zu gelangen. In einem alternativen Ausführungsbeispiel fragt der Steuerprozeß mehrmals den Zweiten Puffer ab, um die Anzahl der darin enthaltenen Bilder zu ermitteln, und die Schätzung der CPU-Aktivität basiert auf dem Zeitintervall zwischen aufeinanderfolgenden Abfragen des zweiten Puffers. In beiden Fällen wird die relevante Zeit aus der Differenz zwischen der aktuellen Anzahl der Bilder im zweiten Puffer und dem vorgegebenen Mindestwert ermittelt.
Es ist außerdem von Vorteil, wenn der Steuerprozeß in dem Fall, daß der erste Puffer leer ist und der zweite Puffer weitere Bilder benötigt, Nullbilder erzeugt, die an den zweiten Puffer übertragen werden. Dadurch wird die Gefahr, daß der zweite Puffer leer wird, weiter verringert. Da einzufügende Nullbilder in die effektive Pufferung einzurechnen sind, ist es auch vorteilhaft, verzögerte Bilder löschen zu können, wenn sie schließlich eintreffen, so daß das angezeigte Bild nicht mehr hinter dem empfangenen Bild hinterherhinkt. In einem System, in dem die Videosignale in Form einer Folge aus Fest- und Relativbildern komprimiert werden, geschieht dies vorzugsweise wenn der erste Puffer voll ist auf folgende Weise: (i) wenn das eintreffende Bild ein Festbild ist, wird der Inhalt des ersten Puffers weitergeschoben, und (ii) wenn das eintreffende Bild ein Relativbild ist, wird der Inhalt des ersten Puffers bis zum ersten Festbild weitergeschoben.
In einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist der erste Puffer als Ringpuffer implementiert, der ein Bild mehr als die maximale Anzahl von Relativbildern zwischen aufeinanderfolgenden Festbildern aufnehmen kann. Es kann aber eine beliebige FIFO-Warteschlange implementiert werden.
Die vorliegende Erfindung umfaßt auch ein Verfahren zur Anzeige eines Videosignals, das ursprünglich mit einer regelmäßigen Bildfrequenz erzeugt, aber auf dem Rechner über ein asynchrones Paketvermittlungsnetz mit einer unregelmäßigen Bildfrequenz empfangen wird, mit einer regelmäßigen Bildfrequenz auf einem Rechnerbildschirm, wobei das Verfahren folgende Schritte umfaßt: Speicherung der eintreffenden Bilder, die aus dem Netz empfangen werden, in einem zweiten Puffer; Übertragung der Bilder mit einer regelmäßigen Bildfrequenz aus einem zweiten Puffer an den Bildschirm; Einsatz eines Steuerprozeßmittles zur Übertragung der Bilder aus dem ersten Puffer in den zweiten Puffer, und Kompensation der unregelmäßigen Bildempfangsfrequenz durch Erzeugung von Nullbildern und Löschen eintreffender Bilder bei Bedarf.
Im folgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung wird anhand der Zeichnungen beschrieben.
Fig. 1 ist ein Schema mehrerer über ein asynchrones Netzwerk verbundener Rechner.
Fig. 2 ist ein schematische Darstellung eines erfindungsgemäßen Rechners.
In Fig. 1 ist ein Netzwerk 2, in dem die Rechner 4, 6, 8 über einen asynchronen Übertragungskanal 15 (z. B. LAN oder ISDN) miteinander verbunden sind. Eine Kamera 16 an einem ersten Rechner 4 nimmt ein Videosignal, normalerweise vom Benutzer, auf. Dieses Videosignal wird komprimiert und dem Netzwerk übergeben. Dann wird es im Paketformat durch den Übertragungskanal geschickt, bevor es am Zielrechner 6 eintrifft. Typischerweise enthält dieser zweite Rechner eine spezielle Hardware wie die Karte Intel/IBM ActionMedia II (AMII), die für die eigentliche Dekomprimierung und Anzeige des Videobildes auf dem Bildschirm 9 zuständig ist. In Videokonferenzanwendungen läuft auch der umgekehrte Prozeß ab - d. h. der zweite Rechner sendet gleichzeitig ein Bild seines Benutzers an den ersten Rechner 4 zurück, wo es angezeigt werden soll. Es können auch Mehrwegkonferenzen aufgebaut werden.
In Fig. 2 kommt das eintreffende Videosignal aus dem Übertragungssubsystem 15 an der Arbeitsstation 13 an, auf deren Monitor 9 es angezeigt werden soll. Das Signal wird zuerst in eine Puffer 23 übertragen, dann an die AMII-Karte 125, oder spezieller an den AVK-Puffer 25 (audiovisueller Kern) der AMII-Karte. Der Puffer 23 stellt eine FIFO-Warteschlange dar, die am besten in Form eines als Ringpuffers implementiert ist. Ein Steuerprozeß 27 sorgt dafür, daß zuerst die eintreffenden Daten in den Ringpuffer eingelesen werden und dann die Daten aus dem Ringpuffer in den AVK übertragen werden.
Videobilder werden am sendenden Rechner mit einer Bildfrequenz von 15 Bilder pro Sekunde (in diesem speziellen Ausführungsbeispiel) aufgenommen. Dies ist für eine mäßige Videoqualität ausreichend. Mit dieser Frequenz werden die Bilder auch aus dem AVK auf den Bildschirm übertragen. Die Übertragungsrate über das Netzwerk variiert jedoch je nach Auslastung des Netzwerks usw., so daß die Frequenz, mit der die Bilder am Ende des Rechnersubsystems ankommen, von diesem 15 Hz-Takt abweicht. Änderungen des CPU-Aktivitätsniveaus im Aufnahme- und im Empfangsrechner können ebenfalls zu Unterschieden bei der effektiven Empfangsfrequenz führen. Die einzelnen Bilder können gegenüber ihrer nominalen Ankunftszeit verfrüht oder verspätet eintreffen, wobei aber angenommen wird, daß sie tatsächlich in der richtigen Reihenfolge ankommen. Es ist zu beachten, daß die Abweichung der Empfangsfrequenz so groß ist, daß selbst dann, wenn die Hardware in der Lage wäre, jedes Bild direkt beim Eintreffen anzuzeigen, die Bildersequenz so stark zeitlich verzerrt wäre, daß sie nicht mehr angeschaut werden kann. Deshalb ist eine Pufferung unabdingbar.
AVK und Ringpuffer zusammen kompensieren die variable Bildempfangsfrequenz, indem eine Zeitverzögerung T(L) zwischen Eintreffen und Anzeige der Bilder eingeführt wird. Bilder, die innerhalb von T(L) der nominalen Empfangszeit eintreffen, können ordnungsgemäß angezeigt werden. Nur wenn ein Bild mit einer Verspätung von mehr als T(L) eintrifft, werden AVK und Ringpuffer leer, und das Videobild friert ein. Um das Risiko eines leeren Puffers zu verringern kann der Puffer so vergrößert werden, daß T(L) größer wird, aber bei einer Übertragungsrate von 15 Bildern pro Sekunde bedeutet die Zwischenspeicherung von nur 10 Bildern eine Verzögerung von 2/3 Sekunden. Wenn die Effekti vität von interaktiven Anwendungen wie Videokonferenzen nicht ernsthaft beeinträchtigt werden soll, können nur wenige Bilder zwischengespeichert werden, so daß T(L) entsprechend klein ist.
Der Steuerprozeß sorgt dafür, daß die eintreffenden Daten zuerst in den Ringpuffer geschrieben und dann an den AVK übertragen werden. Es findet keine Steuerung der Ausgabe vom AVK statt, die mit einer festen Frequenz erfolgt. Wie weiter unten ausführlicher erläutert wird fordert der AVK Bilder nach Bedarf aus dem Ringpuffer an. Wenn im Ringpuffer Bilder vorhanden sind, können diese natürlich an den AVK übertragen werden. In Videokonferenzen oder anderen interaktiven Anwendungen, bei denen die Pufferung insgesamt begrenzt ist, können im Netzwerk gelegentlich starke Verzögerungen auftreten, während derer der Ringpuffer leer wird. In diesem Fall reagiert der Steuerprozeß, indem er dem AVK Nullbilder liefert. Ein Nullbild ist im wesentlichen gleich wie das vorhergehende Bild, so daß dem Benutzer das Videobild vorübergehend eingefroren erscheint. Jedesmal, wenn der Steuerprozeß keine Bilder im Ringpuffer vorfindet, wird also statt dessen die entsprechende Anzahl von Nullbildern in den AVK geladen.
Auch wenn der Benutzer vielleicht nichts von der Einfügung einzelner Nullbilder merkt, trägt doch jedes Nullbild zur Gesamtverzögerung im System bei (d. h. es handelt sich effektiv um eine andere Form der Pufferung). Wenn immer mehr Nullbilder in den Videodatenstrom eingefügt werden, führt auch dies zu einer unannehmbaren Verzögerung zwischen Übertragung und Anzeige. Dieses Problem kann dadurch gelöst werden, daß der Ringpuffer reale Daten löscht, wenn die verzögerten Bilder schließlich eintreffen. Diese Bilder gehen tatsächlich verloren, so daß das angezeigt Bild wieder auf den gleichen Stand kommt wie das eintreffende Signal. Das Vorhandensein von zwei Puffern ermöglicht die Flexibilität, auf diese Weise auf einige Bilder zu verzich ten und so mit gelegentlichen Verzögerungen von mehr als T(L) zurechtzukommen.
Das Verfahren zum Löschen von Bildern nutzt die Tatsache, daß das Videosignal vor der Übertragung über eine rechnerbasierte Übertragungsleitung wegen der begrenzten Bandbreite des Kanals komprimiert wird. Im wesentlichen werden zwei Arten der Komprimierung, nämlich räumliche und zeitliche Komprimierung, verwendet. Bei letzterer wird die Redundanz innerhalb eines Bildes eliminiert, z. B. durch Ausnutzung der Tatsache, daß benachbarte Pixel oft ähnliche Helligkeits- und Farbwerte besitzen. Ein Bild, das nur räumlich komprimiert wird, wird als "Festbild" bezeichnet. Die zeitliche Komprimierung liefert eine zusätzliche Komprimierungsebene durch Ausnutzung der Tatsache, daß Helligkeit und Farbe des gleichen Pixels in zwei aufeinanderfolgenden Bildern ebenfalls mit hoher Wahrscheinlichkeit eine starke Korrelation aufweisen. Deshalb wird bei der zeitlichen Komprimierung ein Bild als "Relativbild" in bezug auf seinen Unterschied gegenüber dem vorhergehenden Bild codiert (wir gehen davon aus, daß ein Relativbild ebenfalls räumlich komprimiert ist). Die stärkste Reduzierung der Datenmenge wird erreicht, wenn jedes Bild (mit Ausnahme des ersten) ein Relativbild ist. Dieses Verfahren ist aber sehr fehleranfällig, da der Verlust eines einzigen Bildes Fehler in allen nachfolgenden Bildern nach sich zieht. Als Kompromiß kann deshalb jedes N-te Bild als Festbild übertragen werden und alle dazwischenliegenden Bilder als Relativbilder, so daß das Ergebnis der Komprimierung eine regelmäßige Abfolge von Bildern ist, deren Größe je nach zeitlichem und räumlichem Dateninhalt und selbstverständlich abhängig davon, ob es sich um ein Festbild oder um ein Relativbild handelt, geringfügig variiert. Im vorliegenden Ausführungsbeispiel ist N = 6 (d. h. zu jedem Festbild gibt es 5 Relativbilder), aber manchmal, wenn es sich um stark bewegte Bildsequenzen handelt und die einzelnen Bilder sich deshalb er heblich voneinander unterscheiden, wird die Anzahl der Festbilder erhöht (d. h. N = 6 ist effektiv eine Obergrenze).
Nun kann detaillierter auf die Eingangsstrategie des Ringpuffers eingegangen werden, wobei der Puffer als simple FIFO- Warteschlange betrachtet wird. Wenn der Puffer nicht voll ist, können die eintreffenden Bilder auf die übliche Weise in den Puffer geschrieben werden. Wenn der Puffer voll ist, gibt es hingegen zwei Möglichkeiten. Ist das eintreffende Bild ein Festbild, wird der gesamte Pufferinhalt verschoben, bevor das eintreffende Festbild in die Warteschlange gestellt wird. Ist das eintreffende Bild ein Relativbild, so werden nur die darunterliegenden (d. h. früher eingetroffenen) Relativbilder verschoben. Der Grund dafür ist, daß das vorhergehende Festbild noch benötigt wird, damit die Relativbilder einen Sinn ergeben. In beiden Fällen führt das Weiterschieben des Pufferinhalts dazu, daß einige Bilder absichtlich verloren gehen. Auf diese Weise wird die Verzögerung zwischen dem angezeigten Bild und dem empfangenen Bild wieder etwas geringer.
Damit diese Strategie erfolgreich sein kann, muß die FIFO- Warteschlange mindestens N Bilder (d. h. 1 Festbild und N-1 Relativbilder) fassen können. Wie bereits erwähnt läßt sich die Warteschlangen am einfachsten in Form eines Ringpuffers mit voneinander unabhängigen Eingangs- und Ausgangszeigern implementieren, der N Bilder fassen kann. Es ist zu beachten, daß wenn die die Anzahl der Relativbilder zwischen den einzelnen Festbildern nicht variiert und ständig um eins kleiner ist als die Puffergröße, der Inhalt des Ringpuffers wie gewünscht automatisch alle N Bilder überschrieben wird und somit nicht explizit geprüft werden muß, ob das eintreffende Bild ein Festbild oder ein Relativbild ist.
Aus dem AVK werden die Bilder mit konstanter Rate zur Anzeige ausgelesen. Dies führt dazu, daß der Puffer leer werden kann, wenn der AVK keine weiteren Bilder mehr enthält, die an den Bildschirm ausgelesen werden können. In einem solchen Fall muß die AVK-Pipeline zurückgesetzt werden, was erhebliche Systemzeit erfordert, während der das Videobild nicht aktualisiert wird, im Gegensatz zum Ringpuffer, der ohne negative Folgen geleert und wieder gefüllt werden kann.
Deshalb wird für die Anzahl der Bilder im AVK ein kleinerer Schwellenwert V(L) festgelegt. Dieser Wert wird so gewählt, daß die vollständige Entleerung des Puffers weitgehend verhindert wird, aber keine unannehmbare Verzögerung entsteht. Der Steuerprozeß, der dafür zuständig ist, die Bilder aus dem Ringpuffer in den AVK zu verschieben, versucht dann, die Anzahl der Bilder im AVK möglichst knapp über V(L) zu halten.
In einem Ausführungsbeispiel der vorliegenden Erfindung ermittelt der Steuerprozeß, jedesmal wenn er bedient wird, die aktuelle Anzahl der Bilder V(C) im AVK (es wird angenommen, daß der Prozeß unter einem Multitasking-Betriebssystem wie OS/2 oder UNIX läuft). Bei geringer Auslastung der CPU ist der Steuerprozeß häufig an der Reihe, bei starker Auslastung der CPU seltener. Bei OS/2 beträgt das Intervall, mit dem die einzelnen Prozesse bedient werden, 1/18 Sekunde - ist also mit der Bildfrequenz vergleichbar, so daß immer wenn der Steuerprozeß einmal übergangen wird der AVK weiter geleert wird.
Wird festgestellt, das V(C) kleiner als V(L) ist, müssen mehr Bilder aus dem Ringpuffer in den AVK übertragen werden. Der Prozeß ermittelt die Anzahl zu übertragender Bilder anhand des Wertes von V(L) - V(C). Da die Bilder mit fester Rate aus dem AVC ausgelesen werden, läßt sich aus dieser Differenz feststellen, wie oft der Steuerprozeß bedient wird, und dies läßt wie derum auf den Auslastungsgrad der CPU schließen. Der Prozeß kann dann, ausgehend davon, daß die CPU-Auslastung und damit auch das Bedienungsintervall wahrscheinlich etwa konstant bleibt, diesen CPU-Auslastungswert heranziehen, um festzustellen, wie viele Bilder in den AVK geladen werden müssen. Bei hoher CPU-Auslastung müssen zum gegebenen Zeitpunkt mehr Bilder in den AVK geladen werden, da es wahrscheinlich relativ lang dauert, bis sich die nächste Gelegenheit bietet, den AVK wieder zu laden. Entsprechend müssen bei geringer CPU-Auslastung weniger Bilder in den AVK geladen werden, da er vor dem nächsten Auffüllprozeß, der wohl bald stattfinden wird, vermutlich nicht leer wird.
In diesem speziellen Ausführungsbeispiel der vorliegenden Erfindung wird die Anzahl der zu ladenden Bilder V(+) nach folgender Formel berechnet: V(+) = k.[V(L)-V(C)], wobei k ein Kompensationsfaktor ist, dessen Wert davon abhängt, wie weit der Puffer entleert ist. Wenn der Puffer so weit entleert ist, daß eine größere Reinitialisierung der AVK-Pipeline erforderlich ist und damit auf dem Bildschirm eine Störung von 2-3 Sekunden auftritt, wäre k relativ groß, so daß trotz der höheren mittleren Verzögerungszeit die Gefahr einer ernsten Störung geringer wird. Andererseits kann k und damit die durchschnittliche Verzögerung kleiner sein, wenn die Pipeline einigermaßen schnell neu gestartet werden kann. Selbstverständlich können zur Berechnung von V(+) auch zahlreiche andere Formeln, z. B. ein Vergleich mit dem vorherigen Wert von V(C), verwendet werden, je nachdem, wie genau und einfach die Berechnung sein muß.
In einem alternativen Ausführungsbeispiel wird eine Funktion der AMII-Karte genutzt, die die Voreinstellung eines Wertes für V(L) ermöglicht. Sobald die Anzahl der Bilder diesen Wert unterschreitet, wird eine Warnmeldung an den Steuerprozeß gesendet. Im Betriebssystem OS/2 wird diese Meldung in eine Warte schlange gestellt, bevor sie an den Steuerprozeß übergeben wird, der für die Übertragung der Bilder aus dem Ringpuffer in den AVK zuständig ist. Die Zeit, die zur Übermittlung der Meldung benötigt wird, hängt von der CPU-Auslastung ab und kann erheblich variieren.
Wenn der Übertragungsprozeß durch Empfang der Warnmeldung aktiviert wird, fragt er wie oben den AVK ab, um die aktuelle Anzahl der Bilder im AVK, V(C), zu ermitteln. Der Prozeß kennt den Wert von V(L) und kann somit V(L)-V(C) - d. h. die Anzahl der Bilder, die zwischen dem Senden der Meldung durch den AVK und der Aktivierung des Prozesses ausgelesen wurden - berechnen. Da die Bilder mit fester Rate aus dem AVK ausgelesen werden, ist diese Differenz direkt proportional zu der Zeit zwischen dem Absenden der Meldung durch den AVK und der Aktivierung des Prozesses. Diese liefert wiederum eine Abschätzung der aktuellen CPU-Auslastung, die ihrerseits dazu herangezogen werden kann, die Anzahl der in den AVK zu ladenden Bilder zu ermitteln.
Dieses alternative Ausführungsbeispiel hat den Nachteil, daß das effektive Intervall zwischen aufeinanderfolgenden Gelegenheiten zum Auffüllen des Puffers größer ist, da zum Senden einer Meldung zuerst abgewartet werden muß, bis der AVK bedient wird, bis die Meldung vom System übertragen worden ist und schließlich bis der Steuerprozeß bei Empfang der Meldung bedient wird. Diese zusätzliche Zeitverzögerung macht dieses Ausführungsbeispiel weniger attraktiv.
Wenn der Steuerprozeß die Anzahl der in den AVK zu ladenden Bilder ermittelt hat, kann er diese entweder in Form einer einzigen Anforderung oder in Form einer entsprechenden Anzahl von Anforderungen einzelner Bilder übermitteln. Im letzteren Fall kann der Ringpuffer einfach auf jede Anforderung reagieren, in dem er ein Bild sendet, sofern eines vorhanden ist, oder indem er ein Nullbild einfügt, falls kein Bild vorhanden ist.
Das oben beschriebene Ausführungsbeispiel wird in gewissem Maße von der verwendeten Hardware bestimmt, und speziell von der Möglichkeit des Betriebs mit der AMII-Karte. Diese Karte wurde ursprünglich für Multimedia-Anwendungen entwickelt, wo der AVK mit vielen Bildern von der Platte gefüllt werden konnte, ohne Rücksicht auf die Verzögerung zwischen Lesen und Anzeige. So konnten typischerweise bis zu 100 Bilder für mehrere Sekunden einer Videosequenz in den AVK-Puffer geladen werden. Dies ist ein Grund dafür, daß der AVK nicht besonders gut mit der Entleerung des Puffers zurechtkommt und viel Zeit für die Rücksetzung benötigt, da ja nie vorgesehen war, mit einem so geringen Pufferlevel zu arbeiten. Deshalb ist es günstig, wenn der Steuerprozeß die Bilder im Ringpuffer aufbrauchen kann, um den AVK zu ständig zu beliefern, und bei Bedarf sogar Nullbilder einfügen kann. Wenn die relativen Konsequenzen einer Pufferentleerung anders wären, müßte diese Strategie natürlich entsprechend abgewandelt werden.
Der Steuerprozeß kann als Standardtask oder -thread auf der Arbeitsstation implementiert werden, während der Ringpuffer im allgemeinen Speicher verwaltet wird. Ein Teil der Funktionen kann aber auch in Form von Hardware implementiert werden, falls dies nötig ist. Auch der Hardware-/Software-Mix der AMII-Karte oder einer äquivalenten Systemkomponente kann verändert werden. Das hier beschriebene System und das beschriebene Verfahren können beispielsweise auch zur Kompensation verlorengegangener Bilder verwendet werden, oder auch, wenn die Taktraten des sendenden und des empfangenden Rechners nicht exakt übereinstimmen.

Claims

1. Ein Rechnersystem 6 zur Anzeige eines Videosignals, das ursprünglich mit einer regelmäßigen Bildfrequenz erzeugt, aber auf dem Rechner über ein asynchrones Paketvermittlungsnetz 15 mit einer unregelmäßigen Bildfrequenz empfangen wird, mit einer regelmäßigen Bildfrequenz auf einem Rechnerbildschirm 9, wobei das System folgende Mittel zur Kompensation der unregelmäßigen Bildempfangsfrequenz enthält:

ein erstes Puffermittel 23 zur Speicherung eintreffender Bilder, die aus dem Netz empfangen werden;

ein zweites Puffermittel 25, um die Bilder mit einer regelmäßigen Bildfrequenz an den Bildschirm zu übergeben;

und Steuerprozeßmittel 27 zum Transfer der Bilder aus dem ersten Puffer in den zweiten Puffer, wobei das Steuerprozeßmittel Mittel zur Erzeugung von Nullbildern und zum Löschen eintreffender Bilder als Reaktion auf die unregelmäßige Bildempfangsfrequenz besitzt.

2. Ein Rechnersystem gemäß Anspruch 1, bei dem der Steuerprozeß die aktuelle Anzahl der Bilder im zweiten Puffer bestimmt und Bilder aus dem ersten in den zweiten Puffer verschiebt, wenn die aktuelle Anzahl der Bilder im zweiten Puffer eine vorgegebene Mindestanzahl unterschreitet.

3. Ein Rechnersystem gemäß Anspruch 2, bei dem der Steuerprozeß die Anzahl der vom ersten in den zweiten Puffer zu verschiebenden Bilder anhand eines geschätzten CPU-Aktivitätsniveaus und der aktuellen Bildanzahl im zweiten Puffer bestimmt.

4. Ein Rechnersystem gemäß Anspruch 3, bei dem der zweite Puffer eine Meldung an den Steuerprozeß sendet, wenn die Anzahl der Bilder im zweiten Puffer einen Mindestwert unterschreitet, und bei dem die Schätzung der CPU-Aktivität auf der Zeit basiert, die die Meldung braucht, um vom zweiten Puffer zum Steuerprozeß zu gelangen.

5. Ein Rechernsystem gemäß Anspruch 3, bei dem der Steuerprozeß mehrmals den zweiten Puffer abfragt, um die Anzahl der darin enthaltenen Bilder zu bestimmen, und bei dem die Schätzung der CPU-Aktivität auf dem Zeitintervall zwischen aufeinanderfolgenden Abfragen des zweiten Puffers basiert.

6. Ein Rechnersystem gemäß Anspruch 4 oder 5, bei dem die Differenz zwischen der aktuellen Anzahl der Bilder im zweiten Puffer und dem vorgegebenen Mindestwert zur Berechnung der Zeit, die die Meldung braucht, um vom zweiten Puffer zum Steuerprozeß zu gelangen, oder zur Berechnung der Zeit zwischen aufeinanderfolgenden Abfragen des zweiten Puffers verwendet wird.

7. Ein Rechnersystem gemäß Anspruch 1 bis 6, bei dem der Steuerprozeß Nullbilder zur Übertragung an den zweiten Puffer erzeugt, wenn der erste Puffer leer ist und der zweite Puffer mehr Bilder benötigt.

8. Ein Rechnersystem gemäß Anspruch 1 bis 7, bei dem das Video in eine Folge von Festbildern und Relativbildern komprimiert wird, und bei dem, wenn der erste Puffer voll ist, folgendes geschieht: (i) wenn das eintreffende Bild ein Festbild ist, wird der Inhalt des ersten Puffers weitergeschoben, oder (ii) wenn das eintreffende Bild ein Relativbild ist, wird der Inhalt des ersten Puffers bis zum ersten Festbild weitergeschoben.

9. Ein Rechnersystem gemäß Anspruch 7 oder 8, bei dem der erste Puffer als Ringpuffer implementiert ist, der ein Bild mehr als die maximale Anzahl von Relativbildern zwischen aufeinanderfolgenden Festbildern aufnehmen kann.

10. Ein Verfahren zur Anzeige eines Videosignals, das ursprünglich mit einer regelmäßigen Bildfrequenz erzeugt, aber auf dem Rechner über ein asynchrones Paketvermittlungsnetz 15 mit einer unregelmäßigen Bildfrequenz empfangen wird, mit einer regelmäßigen Bildfrequenz auf einem Rechnerbildschirm 9, wobei das Verfahren folgende Schritte umfaßt:

Speicherung der eintreffenden Bilder, die aus dem Netz empfangen werden, in einem ersten Puffer;

Übertragung der Bilder mit einer regelmäßigen Bildfrequenz aus einem zweiten Puffer;

Einsatz eines Steuermittels 27 zur Übertragung der Bilder aus dem ersten Puffer in den zweiten Puffer;

und Kompensation der unregelmäßigen Bildempfangsfrequenz durch Erzeugung von Nullbildern und Löschen eintreffender Bilder bei Bedarf.

11. Ein Verfahren gemäß Anspruch 10, bei dem der Steuerprozeß folgende Schritte umfaßt:

Ermitteln der aktuellen Anzahl von Bildern im zweiten Puffer;

und Verschieben von Bildern aus dem ersten Puffer in den zweiten Puffer, wenn die aktuelle Anzahl der Bilder im zweiten Puffer einen vorgegebenen Mindestwert unterschreitet.

12. Ein Verfahren gemäß Anspruch 11, bei dem der Steuerprozeß außerdem folgende Schritte umfaßt:

Abschätzen des CPU-Aktivitätsniveaus; und

Ermitteln der Anzahl der vom ersten in den zweiten Puffer zu verschiebenden Bilder anhand des geschätzten CPU-Aktivitätsniveaus und der Anzahl der Bilder im zweiten Puffer.

13. Ein Verfahren gemäß Anspruch 12, das außerdem folgende Schritte umfaßt:

Senden einer Meldung vom zweiten Puffer an den Prozessor, wenn die Anzahl der Bilder im zweiten Puffer einen vorgegebenen Mindestwert unterschreitet; und

Abschätzen der CPU-Aktivität durch den Steuerprozeß anhand der Zeit, die die Meldung braucht, um vom zweiten Puffer zum Prozessor zu gelangen.

14. Ein Verfahren gemäß Anspruch 12, bei dem der Steuerprozeß außerdem folgende Schritte umfaßt:

wiederholte Abfrage des zweiten Puffers, um die Anzahl der darin gespeicherten Bilder zu ermitteln; und

Abschätzen der CPU-Aktivität anhand des Zeitintervalls zwischen aufeinanderfolgenden Abfragen des zweiten Puffers.

15. Ein Verfahren gemäß Anspruch 13 oder 14, bei dem der Steuerprozeß außerdem einen Schritt enthält, in dem die Differenz zwischen der aktuellen Anzahl der Bilder im zweiten Puffer und dem vorgegebenen Mindestwert zur Berechnung der Zeit, welche die Nachricht braucht, um vom zweiten Puffer zum Prozessor zu gelangen, oder zur Berechnung der Zeit zwischen aufeinanderfolgenden Abfragen des zweiten Puffers benötigt.

16. Ein Verfahren gemäß Anspruch 10 bis 15, bei dem der Steuerprozeß außerdem einen Schritt enthält, in dem Nullbilder erzeugt werden, die an den zweiten Puffer übergeben werden, wenn der erste Puffer leer ist.

17. Ein Verfahren gemäß Anspruch 16, das außerdem einen Schritt enthält, in dem nach der Erzeugung von Nullbildern als Reaktion auf den Empfang verzögerter Pakete ein oder mehrere Pakete aus der Warteschlange gelöscht werden, damit das angezeigte Bild wieder auf den Stand des empfangenen Bildes gebracht wird.

18. Ein Verfahren gemäß Anspruch 10 bis 17, bei dem das Video in eine Folge von Festbildern und Relativbildern komprimiert wird und der Steuerprozeß außerdem folgende Schritte enthält, wenn der erste Puffer voll ist:

Weiterschieben des Inhalts des ersten Puffers, wenn das eintreffende Bild ein Festbild ist; oder

Weiterschieben des Inhalts des ersten Puffers bis zum ersten darin enthaltenen Festbild, wenn das eintreffende Bild ein Relativbild ist.

19. Ein Verfahren gemäß Anspruch 17, bei dem der erste Puffer als Ringpuffer implementiert ist, der ein Bild mehr als die maximale Anzahl von Relativbildern zwischen aufeinanderfolgenden Festbildern aufnehmen kann.