DE69515992T2

DE69515992T2 - Pegelpufferverwaltung für kodiersystem

Info

Publication number: DE69515992T2
Application number: DE69515992T
Authority: DE
Inventors: Simon Blanchard
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Pendragon Wireless LLC
Priority date: 1994-12-02
Filing date: 1995-11-29
Publication date: 2000-10-05
Anticipated expiration: 2015-11-30
Also published as: WO1996017492A3; EP0744116B1; EP0744116A4; JP3758677B2; JPH09509036A; GB9424437D0; DE69515992D1; CN1144026A; EP0744116A1; CN1113542C; BR9506691A; WO1996017492A2

Description

Die vorliegende Erfindung bezieht sich auf die Codierung von Audio- und Videosignalen und insbesondere auf die Erzeugung von Audio- und Videomaterialsegmenten, die während der Bearbeitung zusammengefügt werden können.
Wenn zwei Videoclips nacheinander wiedergegeben werden sollen, wird der Decodierer typischerweise auf den Startzustand zurückgestellt, bevor er den zweiten Clip decodiert. Während dieser Rückstellung sieht der Benutzer das letzte Bild des ersten Clips eingefroren auf dem Bildschirm, wobei der begleitende Ton stummgeschaltet ist. Diese Diskontinuität ist für den Benutzer störend.
Erforderlich ist ein nahtloses Zusammenfügen, bei dem der Übergang von dem Ende eines Clips zum Beginn des nächsten Clips für den Decodierer nicht wahrnehmbar ist. Dies impliziert, dass es aus der Sicht des Benutzers keine sichtbare Veränderung der angezeigten Bildfolge auftritt und das Audiosignal nicht unterbrochen wird. Die Anwendungsmöglichkeiten für nahtloses Video sind zahlreich. Ein Beispiel für den CD-i-Bereich ist die Verwendung fotorealer Hintergründe für vom Computer erzeugte Zeichen; eine Beispielanwendung dieser Technik wäre ein animiertes Zeichen, das im Vordergrund einer MPEG-codierten Videofolge läuft. Eine weitere Beispielanwendung wäre eine Reihe von Interaktionen zwischen Zeichen und Benutzer, wie interaktive Filme, bei denen der Betrachter die Möglichkeit hat, die Entwicklung der Handlung beeinflussen kann, indem er verfügbare alternative Szenarios auswählt. Verzweigungspunkte auf dem Weg, den der Benutzer durch einen interaktiven Film wählt, sollten nahtlos erscheinen, da für den Benutzer sonst die Spannung des normalerweise mit dem Betrachten eines Films verbundenen Zweifels verloren geht.
Ein Verfahren zur Codierung von Videosegmenten auf eine solche Weise, dass eine erneute Initialisierung des Decodierers nicht erforderlich ist, wird in unserer am 2. Dezember 1994 eingereichten britischen Patentanmeldung Nr. 9424436.5 (PHB 33950) mit dem Titel "Video Editing Buffer Management" (Videoschnittpufferverwaltung) beschrieben. Bei diesem Verfahren wird der Zielwert von Decodierpufferpegeln vorgegeben, um eine gleichmäßige Decodierpufferbelegung für das Ende jedes Videoclips zu erhalten und Beginn jedes Segments vorhersagen zu können, damit aufeinanderfolgende Clips direkt zusammengefügt werden können, ohne dass im Decodierpuffer ein Über- oder Unterlauf auftritt.
Das oben genannte Verfahren ist zwar für Videobildfolgen geeignet, berücksichtigt jedoch keine zusätzlichen Informationen, die die Bildfolgen typischerweise begleiten, zum Beispiel eine Tonspur. Video wird im allgemeinen mit anderen Informationen in einem einzigen Strom, dem Systemstrom, verschachtelt, der die Daten darstellt, die einem Decodierer/Anzeigegerät zugeführt werden (zum Beispiel der von einer Compact Disc gelesene oder über ein Kabelnetz gelieferte Datenstrom).
Die vorliegende Erfindung hat daher zur Aufgabe, eine nahtlose Verbindung von Systemstromsegmenten zu schaffen und gleichzeitig einen Über- oder Unterlauf im Puffer des Decodierers zu verhindern.
Gemäß der vorliegenden Erfindung wird ein Verfahren zum Codieren von digitalen Videosignalen in einer Codiervorrichtung geschaffen, die folgendes umfasst: eine Codierstufe, einen Codierpuffer und Mittel zum Verschachteln des codierten Videosignals mit mindestens einem weiteren Signal zur Bildung eines Systemstroms, wobei das digitale Signal in Form von Segmenten vorliegt, die jeweils zwei oder mehr Bilder enthalten und wobei das Verfahren für jedes Segment folgende Schritte umfasst: aufeinanderfolgende Codierung der Bilder des Segments gemäß einem vorher festgelegten Codierschema; Einlesen der codierten Bilder in den Puffer; Auslesen des codierten Segments aus dem Puffer mit einer im wesentlichen konstanten Bitrate und Verschachteln des Ausgangssignals des Puffers in einem Systemstrom; dadurch gekennzeichnet, dass die Belegung des Codierpuffers so gesteuert wird, dass sie zu dem Zeitpunkt, an dem das letzte Bild eines ersten Segments in den Puffer eingelesen wird, einen ersten vorher festgelegten Pegel aufweist, wobei der Belegungspegel in Beziehung zu einem Belegungspegel eines Decodierpuffers steht; dass die zum Füllen eines Decodierpuffers benötigte Zeit bis zum genannten Belegungspegel des Decodierpuffers mit der konstanten Bitrate abgeleitet wird, und dass in den Systemstrom eines folgenden Segments eine Zeitmarkierung eingefügt wird, die angibt, dass das erste Bild dieses Segments zu dem Zeitpunkt aus dem Decodierpuffer gelesen werden muss, nachdem das Laden des genannten folgenden Segments begonnen hat.
Wie nachfolgend erläutert wird, ermöglicht die Ableitung des Zeitpunktes, an dem ein Decodierer mit dem Decodieren eines empfangenen Segments beginnen soll, ein nahtloses Zusammenfügen der Segmente auf der Systemstromebene. Da der Zielbelegungspegel des Decodierpuffers ein berechneter Pegel ist, der auf dem Inhalt des Codierpuffers beruht, wird die Anwendung des herkömmlichen Verfahrens vermieden, bei dem der Decodierpuffer so weit wie möglich belegt wird, bevor die Decodierung beginnt.
Es wird vorzugsweise ein gemeinsamer Pufferbelegungspegel (und somit Positionierung der Zeitmarkierung) geschaffen. Dies kann durch Vorgeben einer Zielanzahl von für die Codierung von Bildern des ersten Segments zu verwendenden Bits und kontrolliertes Ändern der Bitzuordnung pro Bild während der Codierung geschehen, um den genannten Belegungspegel des Codierpuffers am Ende des Segments zu erreichen.
Wie nachfolgend beschrieben wird, wird vorzugsweise ein maximaler Belegungspegel des Codierpuffers festgelegt, um den Belegungspegel des Decodierpuffers zu definieren, wobei der Belegungspegel des Decodierpuffers definiert ist als die Differenz zwischen dem maximalen Pegel der Codiervorrichtung und dem Belegungspegel des Codierpuffers, eine Bilddauer nachdem das letzte Bild des ersten Segments in den Codierpuffer eingelesen wurde.
Ebenfalls gemäß der vorliegenden Erfindung wird eine Codiervorrichtung für digitale Videosignale geschaffen, die für die Codierung von Bildsegmenten konfiguriert ist, wobei jedes Segment zwei oder mehr Bilder enthält und wobei die Vorrichtung folgendes umfasst: eine Codierstufe, die so ausgelegt ist, dass sie aufeinanderfolgende Bilder eines Segments empfängt und sie gemäß einem vorher festgelegten Codierschema codiert; einen Puffer, der so angeschlossen ist, dass er aufeinanderfolgende codierte Bilder von der Codierstufe empfängt, und so ausgelegt ist, dass er codierte Segmente mit einer im wesentlichen konstanten Bitrate ausgibt; und einen Multiplexer, der so angeschlossen ist, dass er die Ausgangssignale des Puffers und mindestens ein weiteres Signal empfängt, und so ausgelegt ist, dass er sie in einem Systemstrom verschachtelt; dadurch gekennzeichnet, dass die Codierstufe so funktioniert, dass sie Bilder eines Segments in einer steuerbar variablen Anzahl von Bits codiert, und die Vorrichtung außerdem folgendes enthält: Mittel zur Zielwertvorgabe, um die Anzahl der von der Codiervorrichtung verwendeten Bits so zu steuern, dass zu dem Zeitpunkt, an dem das letzte Bild eines ersten Segments in den Puffer gelesen wird, eine vorher festgelegte Belegung des Codierpuffers erreicht wird; und Zeitmarkierungsmittel, die so funktionieren, dass sie einen auf der genannten vorher festgelegten Be legung basierenden Zeitsteuerungswert ableiten und eine Zeitmarkierung in den Systemstrom des folgenden Segments einfügen, die angibt, dass das erste Bild des folgenden Segments nach einer durch den Zeitsteuerungswert vorgegebenen Verzögerung ab dem Zeitpunkt aus einem Decodierpuffer zu lesen ist, an dem das Laden des genannten folgenden Segments in den Decodierpuffer begann.
Die Mittel zur Zielwertvorgabe können entsprechend so ausgelegt sein, dass sie die Anzahl der Bits pro Bild für die letzten K Bilder eines Segments wie oben beschrieben steuern, und die Codierstufe kann entsprechend so ausgelegt sein, dass sie das Stopfen von Bits mit dem Wert Null ermöglicht, wenn weniger als die festgelegte Anzahl von Bits zum Codieren eines Bildes erforderlich ist.
Außerdem wird gemäß der vorliegenden Erfindung ein digitales Videobildsignal geschaffen, das durch das oben beschriebene Verfahren codiert wurde, zusammen mit einer optischen Platte, die ein derartiges Signal in Form von separat adressierbaren Segmenten enthält.
Aus der Lektüre der folgenden Beschreibung und der anhängenden Patentansprüche, deren Darlegung durch Nennung als hierin aufgenommen betrachtet wird, werden dem Fachkundigen weitere Merkmale und Vorteile der vorliegenden Erfindung ersichtlich sein.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im folgenden näher beschrieben. Es zeigen:
Fig. 1 den Inhalt der Videopuffer eines Codierers und eines Decodierers am Übergang zwischen zwei Videoclips;
Fig. 2 das Verhältnis zwischen der Belegung des Decodierer-Videopuffers und der Belegung des Systempuffers;
die Fig. 3 bis 5 den Inhalt von Decodierervideo- und Systempuffer in einem herkömmlichen System am Beginn bzw. am Ende eines spezifizierten Clips;
Fig. 6 und 7 den Inhalt eines Audiopuffers am Beginn bzw. am Ende eines spezifizierten Audioclips; und
die Fig. 8 und 9 eine schematische Darstellung einer Codiervorrichtung bzw. einer Decodiervorrichtung.
Die folgende Beschreibung bezieht sich auf Codiervorrichtungen und Decodierer, die gemäß den MPEG-Normen funktionieren, und nachfolgend werden die herkömmlichen Bezeichnungen aus diesen Normen verwendet. Dem Fachkundigen wird ersichtlich sein, dass sich die Anwendung der vorliegenden Erfindung nicht auf die MPEG- Norm beschränkt.
Jede Codiernorm muss mit Modellen für die Schnittstelle zwischen Codierer und Decodierer entwickelt werden. Wenn ein Codierer läuft, muss er ein Modell der Vorgänge in dem Decodierer bilden, so dass er den Decodierer niemals in einen nicht zulässigen Zustand versetzt. In gleicher Weise muss der Decodierer dasselbe Modell unterstützen, das der Codierer verwendet hat, damit er in einem zulässigen Zustand verbleibt und das von dem Codierer beabsichtigte Ausgangssignal erzeugt. MPEG bildet keine Ausnahme von der Regel.
Am Anfang ist es zweckmäßig, die Erzeugung von Segmenten reiner Videodaten zu betrachten, die nahtlos zusammengefügt werden können. Ein bevorzugtes Verfahren wird in unserer oben genannten britischen Patentanmeldung Nr. 9424436.5 (PHD 33950) beschrieben und nachfolgend in Bezug auf Fig. 1 zusammengefasst, in der grafisch die Pufferbelegung B als Funktion der Zeit t dargestellt ist, wodurch gezeigt wird, was mit den Pufferzuständen des Codierers und des Decodierers passiert, wenn eine Folge von Videobildern A endet und eine andere Folge B beginnt. LA gibt das letzte Bild der Folge A an; FB gibt das erste Bild der Folge B an. Die Änderung der gelieferten Daten von Folge A zu Folge B wird durch die Änderung der Dicke der die Pufferbelegung darstellenden Linie angezeigt, wobei die strichpunktierte Linie die Bilder der Folge A darstellt. Zu einem Zeitpunkt tX sind alle Daten für die Folge A geliefert, und der VBV (Video Buffering Verifier - das MPEG-Decodierermodell) hat eine Belegung von BX Bits. Ab diesem Zeitpunkt gehören alle dem Puffer zugeführten Daten zur Folge B. Es ist anzumerken, dass sich einige Bilder vom Ende der Folge A noch im Puffer befinden, die jedoch alle zum Zeitpunkt t&sub1; entfernt sind, wenn der Puffer eine Belegung von B&sub1; Bits aufweist.
Der Codierer durchläuft einen als Anvisieren bezeichneten Prozess, wenn er versucht, eine bestimmte Belegung im VBV-Puffer zu erreichen. Während des Anvisierens geht der Codierer davon aus, dass der VBV-Puffer eine bestimmte Zielbelegung aufweist, wenn das erste von ihm codierte Bild in den Puffer geladen wird. Dadurch wird eine Obergrenze für die Größe des ersten Bildes vorgegeben. Am Ende eines Codiervorgangs visiert der Codierer die VBV-Belegung zu einem Zeitpunkt gerade bevor das erste Bild für die nächste Folge aus dem Puffer entfernt würde, Zeitpunkt Bt in Fig. 1, an. Er visiert diesen Zustand durch Verändern der Größe des letzten Bildes oder der letzten Bilder beim Codieren an.
Bei dem in Fig. 1 dargestellten Beispiel visiert der Codierer den Zustand B&sub1; an. Dieser Zustand stellt die VBV-Pufferbelegung dar, gerade bevor das erste Bild der neuen Folge entfernt wird. Da ein Codierer während des Betriebes im allgemeinen keinen direkten Kontakt zum Decodierer hat, verwaltet er Bildgrößen eher auf der Grundlage seines Ausgangspuffers als den Zustand des VBV-Puffers zu verändern. Dementsprechend beziehen sich die folgenden Abschnitte auf Btc und Btc (siehe Belegungswerte des Codierer im oberen Teil von Fig. 1).
Beim Anvisieren eines Startzustands nimmt der Codierer eine gewisse Belegung in seinem Puffer zu dem Zeitpunkt an, an dem er das erste Bild zuführt. Diese Pufferbelegung beträgt Btx Bits und stellt die restlichen Bits vom Ende der vorhergehenden Folge dar. Die Anwesenheit dieser Bits begrenzt die Größe des ersten Bildes auf maximal Bt Bits und hat weiterhin einen Einfluss auf zukünftige Bildgrößen, bis alle Bits nach der Zeit ttc entfernt sind.
Aus Sicht des Codierers ist das Anvisieren des Startzustandes sehr einfach, da lediglich die Anfangsbelegung auf Btx Bits anstatt auf den üblichen leeren Startzustand eingestellt werden muss.
Wenn sich der Codierer dem Ende einer Folge nähert, versucht er, den Punkt B1c anzuvisieren, indem er die Größe des letzten Bildes so erzwingt, dass sich bei Eingabe in den Puffer die Belegung auf B1c Bits erhöht. Es könnte ein Bild von sehr schlechter Qualität erzeugt werden, wenn die Größe lediglich des letzten Bildes in großem Maße vorgegeben würde. Um dieses Problem zu umgehen, hat der Codierer vorzugsweise eine Zielanzahl von Bits für die letzte GOP (Gruppe von Bildern, engl. Group of Pictures) und eine Zielanzahl von Bits für jedes der K Bilder innerhalb der GOP, wodurch sich der Codierer schrittweise dem richtigen Zustand nähern kann.
Wenden wir uns nun der Systemschicht zu, die entsteht, wenn die Multiplexer Video-, Audio- und andere elementare Ströme in einem Systemstrom vereinigen. Dieser Systemstrom enthält verschachtelte elementare Ströme und Zeitsteuerungsinformationen in Form von Systemtaktreferenzen (engl. System Clock References SCR), Darstellungszeitmarkierungen (engl. Presentation Time Stamps, PTS) und Decodierzeitmarkierungen (engl. Decoding Time Stamps, DTS).
Die Aufgabe des Multiplexers besteht darin sicherzustellen, dass Daten von einem Systemstrom den Puffern der Decodierer schnell genug zugeführt werden, dass letztere nie vollständig leer sind, und langsam genug zugeführt werden, damit letztere nie überlaufen. Die MPEG-Norm definiert einen Puffer mit der Bezeichnung Systemziel- Decodierer (engl. System Target Decodierer, STD), der dazu dient, die Übertragung von Daten vom digitalen Speichermedium (engl. Digital Storage Medium, DSM) in den Decodierer zu "modellieren". Die Aufgabe dieses Puffers besteht darin, die Tatsache zu maskieren, dass aufgrund der Verschachtelung der Daten die Zuführung zu einem Decodierer in Bündeln erfolgt, während Leistungsmodell des Decodierers eine konstante Bitrate annimmt. Die übliche Vorgehensweise beim Multiplexen von Video- und Audioströmen beginnt typischerweise mit dem Füllen des STD-Puffers bis zum größtmöglichen Grad. Die SCR des letzten zugeführten Pakets wird dann so eingestellt, dass das erste Bild zu diesem Zeitpunkt aus dem Puffer entfernt wird. Danach werden die SCR der vorherigen Pakete auf die richtigen Werte gesetzt, da sie vor diesem Paket ankommen. Schließlich wird der Belegungsgrad des Puffers so groß wie möglich gehalten, bis alle Daten des elementaren Stroms verbraucht sind.
Die Funktion des Multiplexers ist etwas komplizierter, da der Multiplexer mit mehreren Strömen jonglieren muss. Außerdem muss ein Multiplexer sämtliche zusätzlichen Merkmale unterstützen, die erforderlich sind, um die Spezifikation eines Systemstroms zu erfüllen, wie er für die Zielplattform definiert wurde.
Es ist denkbar, dass der STD-Puffer den VBV-Puffer enthält, wie in Fig. 2 dargestellt. In der Figur ist in vereinfachter Form das Verhältnis zwischen STD und VBV dargestellt. In Fig. 2 ist die STD-Pufferbelegung (dicke Linie) dargestellt, die den VBV- Puffer einschließt. Es ist anzumerken, dass die Steigung der STD-Pufferlinie größer ist als die der VBV-Linie. Dies liegt daran, dass die Bitrate des DSM höher ist als die Bitrate des codierten Videos. Es ist auch zu sehen, dass zu gewissen Zeitpunkten, die mit dem Bezugszeichen Q gekennzeichnet sind, keine Daten an den STD geliefert werden. Dies geschieht, weil entweder die Bandbreite des DSM von anderen elementaren Strömen besetzt wird oder der Multiplexer entschieden hat, dem STD aufgrund von Problemen bei der Pufferverwaltung keine Daten zuzuführen.
In Fig. 3 ist grafisch dargestellt, was mit der VBV- und STD-Belegung zu Beginn der Decodierung eines normalen, d. h. nicht anvisierten, Stroms geschieht. In der Grafik sind der Einfachheit halber die Zeitpunkte (als Systemticken), an denen Bilder aus den beiden Puffern entfernt werden, so dargestellt, als wären sie synchron. Dem VBV liegt kein Konzept für den Startzeitpunkt der Datenzuführung vor, sondern lediglich für die Entfernung von Bildern basierend auf der VBV-Verzögerung. Zur Anordnung der Kurven wurde ein konstanter Versatz auf die VBV-Abtastzeitpunkte in der Figur angewendet.
In Fig. 3 ist zu sehen, dass der Multiplexer und der Codierer am Anfang des Clips einer ähnlichen Strategie folgen. Das bedeutet, dass ihre Puffer wie oben beschrieben so weit wie möglich belegt wurden, bevor das erste Bild entfernt wird. Es ist außerdem ersichtlich, dass in diesem Fall die Linie der STD-Pufferbelegung immer die VBV- Belegung enthält. Die Ausnahme von der Regel bildet die Startphase, weil die Übertragungsgeschwindigkeit des DSM höher ist als diejenige des VBV, so dass die Zuführung zum STD nach derjenigen zum VBV beginnt.
Wenden wir uns nun der Erzeugung von Systemströmen zu, die verkettet werden können. Dabei wird die Erzeugung von nahtlosen Systemströmen, die Videosignale enthalten, zuerst betrachtet. Erneut in Bezug auf Fig. 1 ist ersichtlich, dass die für die Entfernung aller Bits vom Ende der Folge A benötigte Zeit davon abhängt, wie viele Bilder sich zu dem Zeitpunkt, an dem die Datenzuführung für die Folge A endet, im Puffer befinden. Diese Zeit hängt vom verwendeten Quellenmaterial und dem benutzten Codierer ab. Dementsprechend ist die Pufferbelegung (BX) zum Zeitpunkt tx von Clip zu Clip unterschiedlich. Daher ist der Multiplexer nicht in der Lage, tx und Bx für den allgemeinen Fall auf der Grundlage der ihm üblicherweise zur Verfügung stehenden Kenntnis, d. h. Bitrate, Bildfrequenz und Wert von Bt, zu berechnen.
Zur Vermeidung des Problems aller oben genannten Unbekannten nutzen wir die Tatsache, dass die im Puffer zum Zeitpunkt des Endes der Zuführung für Folge A befindlichen Daten ausreichen, um die Zeit abzudecken, die für eine Zuführung von Bt Bits mit konstanter Übertragungsgeschwindigkeit benötigt wird. Es wurde erkannt, dass dies die Einstellung einer maximalen Zeitdauer für die Zuführung von B~ Bits am Anfang des Multiplexstroms ermöglicht als:
tt = B/R (1)
wobei tt der Darstellung in Fig. 1 entspricht und R die Übertragungsgeschwindigkeit ist.
Diese Zeit ist für den Multiplexer wichtig, weil sie die Einstellung der SCR- Zeit zu diesem Zeitpunkt ermöglicht, denn zu diesem Zeitpunkt sollte das erste Bild aus dem STD-Puffer entfernt werden. Daher wird der Multiplexer so eingestellt, dass er den STD-Puffer bis mindestens B, Bits belegt und die SCR so einstellt, dass zu diesem Zeitpunkt das erste Bild entfernt wird. Es ist anzumerken, dass dies im Gegensatz zu dem herkömmlichen Verfahren steht, bei dem der Puffer bis zum größtmöglichen Grad belegt wird zu dem Zeitpunkt, zu dem das erste Bild entfernt wird.
Es ist hier zu beachten, dass der STD-Puffer größer als der VBV-Puffer ist. Im Fall der eingeschränkten Systemparameter kann die Kapazität des STD-Puffers 46 KBytes im Vergleich zu einer maximalen Kapazität des VBV von 40 KBytes betragen. Diesen zusätzlichen Platz kann der Multiplexer nutzen, um unterschiedliche elementare Ströme in einem Systemstrom zu verschachteln, wodurch die sporadische Zuführung zum Decodierer verdeckt wird.
Fig. 4 zeigt grafisch, was in den Puffern des VBV und des STD am Anfang eines anvisierten Multiplexvorgangs geschieht. Wie in Fig. 3 gibt die Kurve die Belegung B (Bits) als Funktion der Zeit t in Form von Systemticken (Taktimpulsen) wieder. Es ist anzumerken, dass die Belegung der VBV- und STD-Puffer zu dem Zeitpunkt, an dem das erste Bild aus dem Puffer entfernt wird, die gleiche ist. Von diesem Zeitpunkt an beginnt die Belegung des STD-Puffers diejenige des VBV-Puffers zu überholen, weil die Datenübertragungsgeschwindigkeit höher ist.
Der Multiplexer hat wesentlich weniger Kontrolle über den Endzustand des STD-Puffers. Der Endzustand hängt von der Größe der noch im Puffer befindlichen Bilder ab, die von dem Codierer gesteuert wird. Vorzugsweise versucht der Multiplexer die Daten so bald wie möglich dem STD zuzuführen, um das als SCR-Überlappung bekannte Problem zu umgehen, bei dem Daten für einen folgenden Clip fällig werden, bevor alle Daten des ersten Clips zugeführt wurden. Ein hierfür vorgeschlagenes Multiplexerverfahren besteht darin, ein Datenpaket zu bilden, sobald der STD-Puffer Daten, wie wenige auch immer, annehmen kann.
In Fig. 5 sind Graphen der Zustände des VBV und des STD am Ende eines Clips dargestellt. Es ist ersichtlich, dass die Zuführung von Daten zum STD vor dem VBV aufhört, da der STD-Puffer größer und die Empfangsgeschwindigkeit höher ist. Gegen Ende des Clips konvergieren die beiden Graphen wieder. Zu diesem Zeitpunkt ist die Zuführung von Daten zu beiden Puffern beendet und sie enthalten nur die Bilder, die das Ende des Clips bilden. Die zum Entfernen dieser Endbilder aus den Puffern benötigte Zeit steht für das Belegen der Puffer mit Daten des nächsten Clips zur Verfügung, bevor das erste Bild dieses Clips entfernt wird. Diese Belegungszeit ist in Fig. 1 als Zeit tt dargestellt.
Wenden wir uns nun den Audiosignalen zu: Dort liegt keine Entsprechung für den VBV-Puffer für Tonsignale vor, wodurch die Erzeugung von nahtlosen Audioströmen wesentlich einfacher ist als bei Videosignalen. Der Grund hierfür liegt darin, dass das Audiosignal mit einer konstanten Momentanbitrate codiert wird: mit anderen Worten, alle in gleicher Weise codierten Audiorahmen haben bis auf ein Byte die gleiche Größe, während Videorahmen je nach Typ und Komplexität unterschiedlich sind. Es ist dem Multiplexer jedoch möglich, einen STD-Pufferzustand zu dem Zeitpunkt anzuvisieren, an dem der erste Audiorahmen in gleicher Weise wie der Videorahmen entfernt wird.
Fig. 6 zeigt grafisch den Beginn eines anvisierten Audio- Multiplexvorgangs. In diesem Fall visiert der Multiplexer den STD-Zustand bei 2048 Bytes (16384 Bits) zu dem Zeitpunkt an, an dem der erste Audiorahmen entfernt wird. Die Belegungszeit entspricht tt in Fig. 1 und hat die gleiche Eigenschaft, dass die Zeitdauer nicht größer sein darf als die Zeitdauer, die durch die Audiorahmen im Puffer dargestellt wird, wenn die Datenzuführung stoppt. Hat der Multiplexer sein Ziel erreicht, und der erste Audiorahmen wurde entfernt, folgt er der Strategie, den Belegungsgrad des STD-Puffers so groß wie möglich zu halten. Die großen ansteigenden Flanken der Kurve stellen die Zuführung eines Audiopakets dar. In diesem Fall hat ein Audiopaket die Größe von ca. 2 KBytes, da es für die Wiedergabe von CD-i mit einem CD-i-Sektor der Größe von ca. 2 KBytes im Multiplex verarbeitet wurde.
Fig. 7 zeigt grafisch, was im STD am Ende eines Audioclips geschieht. Die stufenweise Abnahme der Belegung, die die Audiorahmen im Puffer darstellt, beginnt zu dem Zeitpunkt, zu dem die Datenzuführung endet. Diese restlichen Audiorahmen maskieren den Übergang vom Ende eines Audioclips zum nächsten. Sie bleiben eine endliche Zeit bestehen in Abhängigkeit von der Anzahl der Rahmen, wie jedoch in Bezug auf Fig. 6 zu sehen ist, ist die Zeit zum Füllen des STD-Puffers bis zu seinem Zielwert so kurz im Vergleich zu der durch die restlichen Rahmen maskierten Zeit, dass kein STD-Unterlauf auftreten sollte, wenn angenommen wird, dass die DSM-Bitrate wesentlich höher ist als die Audio-Bitrate. Unsere Experimente haben gezeigt, dass bei Audiosignalen das Anvisieren eines Belegungsgrades des STD-Puffers von 50% annehmbare Ergebnisse erbringt.
Fig. 8 zeigt eine Codiervorrichtung mit getrennten Codierstufen 10, 12 für Videosignale V bzw. Audiosignale A. Ein weiterer Eingang für ein Rahmenreferenzsignal FC, das die Rahmen innerhalb des Videosignals identifiziert (beispielsweise anhand ihrer relativen Position zu dem ersten und dem letzten Bild einer Folge), ist mit einer Zielwert- Einstellstufe 14 verbunden, die die Bitzuordnung für Bilder einer Folge spezifiziert. Es ist anzumerken, dass es keine entsprechende Zielwertstufe für den Audio-Codierer gibt: Dies ist aufgrund der konstanten Größe der codierten Audiorahmen, wie oben beschrieben, nicht erforderlich.
Der Ausgang jeder der Codierstufen 10, 12 ist mit den entsprechenden Puffern 16, 18 verbunden (obwohl sie in der Praxis einen Teil der Codierstufen bilden). Ein Rückkopplungspfad 20 vom Ausgang der Video-Codierstufe 10 zur Zielwert-Einstellstufe 14 ermöglicht es zu überprüfen, ob die eingestellten Zielwerte die erforderliche Anzahl von Bits pro Bild in der codierten Gruppe ergeben.
Die gepufferten Ausgangssignale werden von einem Multiplexer 22 verschachtelt, der auch die Zeitmarkierungen einfügt, und bilden einen einzigen Datenstrom DS (den Systemstrom), der dann an einen Decodierer weitergeleitet oder auf einem geeigneten Medium, z. B. einer CD, gespeichert werden kann.
Beim Decodierer (Fig. 9) teilt ein Demultiplexer 24 den Strom DS mit Hilfe eines Detektors 26, der den Eingangsstrom überwacht, in Video- und Audiokanäle auf. Die getrennten Video- und Audioströme werden den entsprechenden Puffern 28, 30 und von dort den entsprechenden Decodierstufen 32, 34 zugeführt, um decodierte Ausgangssignale VOUT, AOUT zu erzeugen. Die Puffer bilden zwar in der Praxis einen Teil der entsprechenden Decodierstufen, sind hier jedoch getrennt dargestellt, um das STD-Modell übersichtlicher wiederzugeben.

Claims

1. Verfahren zum Codieren von digitalen Videosignalen in einer Codiervorrichtung, die folgendes beinhaltet: eine Codierstufe, einen Codierpuffer (16) und Mittel zum Verschachteln des codierten Videosignals mit mindestens einem weiteren Signal zur Bildung eines Systemstroms, wobei die digitalen Videosignale in Form von Segmenten vorliegen, die jeweils zwei oder mehr Bilder enthalten; wobei das Verfahren für jedes Segment folgende Schritte umfasst:

- aufeinanderfolgende Codierung (10) der Bilder des Segments gemäß einem vorher festgelegten Codierschema;

- Einlesen der codierten Bilder in den Puffer;

- Auslesen des codierten Segments aus dem Puffer mit einer im wesentlichen konstanten Bitrate; und

- Verschachteln des Ausgangssignals des Puffers in einem Systemstrom;

dadurch gekennzeichnet, dass die Belegung des Codierpuffers so gesteuert wird, dass sie zu dem Zeitpunkt, an dem das letzte Bild eines ersten Segments in den Puffer eingelesen wird, einen ersten vorher festgelegten Pegel aufweist, wobei der Belegungspegel in Beziehung zu einem Belegungspegel eines Decodierpuffers steht; dass die zum Füllen eines Decodierpuffers benötigte Zeit bis zum genannten Belegungspegel des Decodierpuffers mit der konstanten Bitrate abgeleitet wird, und dass in den Systemstrom eines folgenden Segments eine Zeitmarkierung eingefügt wird, die angibt, dass das erste Bild dieses Segments zu dem Zeitpunkt aus dem Decodierpuffer gelesen werden muss, nachdem das Laden des genannten folgenden Segments begonnen hat.

2. Verfahren nach Anspruch 1, wobei eine Zielanzahl verwendeter Bits zum Codieren von Bildern des ersten Segments kontrolliert verändert wird, um den genannten Belegungspegel des Codierpuffers zu erreichen.

3. Verfahren nach Anspruch 1, wobei ein maximaler Belegungspegel des Codierpuffers spezifiziert wird und der Belegungspegel des Decodierpuffers definiert ist als die Differenz zwischen dem genannten maximalen Pegel und dem Belegungspegel des Codierpuffers eine Bilddauer nachdem das letzte Bild des ersten Segments in den Codierpuffer gelesen wurde.

4. Verfahren nach Anspruch 2, wobei eine entsprechende Zielanzahl von Bits für jedes der letzten K Bilder eines Segments festgelegt wird, wobei K eine Ganzzahl ist.

5. Verfahren nach Anspruch 1, wobei die Bilder eines Segments entsprechend der MPEG-Norm codiert werden.

6. Codiervorrichtung (10, 14, 16, 22) für digitale Videosignale, die so konfiguriert ist, dass sie Bildsegmente codiert, wobei jedes Segment zwei oder mehr Bilder enthält und wobei die Vorrichtung folgendes umfasst:

- eine Codierstufe (10), die so ausgelegt ist, dass sie aufeinanderfolgende Bilder eines Segments empfängt und sie gemäß einem vorher festgelegten Codierschema codiert;

- einen Puffer (16), der so angeschlossen ist, dass er aufeinanderfolgende codierte Bilder von der Codierstufe empfängt und so ausgelegt ist, dass er codierte Segmente mit einer im wesentlichen konstanten Bitrate ausgibt; und

- eine Multiplexeinrichtung (22), die so angeschlossen ist, dass sie die Ausgangssignale des Puffers und mindestens ein weiteres Signal empfängt und so ausgelegt ist, dass sie sie in einem Systemstrom verschachtelt;

dadurch gekennzeichnet, dass die Codierstufe (10) so funktioniert, dass sie Bilder eines Segments in einer steuerbar variablen Anzahl von Bits codiert, und die Vorrichtung außerdem folgendes enthält: Mittel zur Zielwertvorgabe (14), um die Anzahl der von der Codiervorrichtung verwendeten Bits so zu steuern, dass zu dem Zeitpunkt, an dem das letzte Bild eines ersten Segments in den Puffer gelesen wird, eine vorher festgelegte Belegung des Codierpuffers erreicht wird; und Zeitmarkierungsmittel, die so funktionieren, dass sie einen auf der genannten vorher festgelegten Belegung basierenden Zeitsteuerungswert ableiten und eine Zeitmarkierung in den Systemstrom des folgenden Segments einfügen, die angibt, dass das erste Bild des folgenden Segments nach einer durch den Zeitsteuerungswert vorgegebenen Verzögerung ab dem Zeitpunkt aus einem Decodierpuffer zu lesen ist, an dem das Laden des genannten folgenden Segments in den Decodierpuffer begann.

7. Vorrichtung nach Anspruch 6, wobei die Mittel zur Zielwertvorgabe (14) so funktionieren, dass sie die Anzahl der Bits pro Bild für die Codierstufe für die letzten K Bilder eines Segments steuern, wobei K eine Ganzzahl ist.

8. Digitales Videobildsignal, das eine Vielzahl von durch das Verfahren nach Anspruch 1 codierte Segmente enthält, wobei jedes Segment eine Folge von gemäß einem vorher festgelegten Codierschema codierten Bildern enthält, wobei jedes der letzten K Bilder eines Segments (wobei K eine Ganzzahl ist) in einer entsprechenden Anzahl von Bits codiert wird, so dass beim Einlesen des codierten Segments mit im wesentlichen konstanter Bitrate in einen Decodierpuffer, aus dem aufeinanderfolgende Bilder zur Decodierung mit einer Echtzeit-Anzeigerate entfernt werden, eine vorher festgelegte Belegung des Decodierpuffers zu dem Zeitpunkt auftritt, an dem die Daten für das letzte Bild des Segments in den Decodierpuffer gelesen wurden, und der Systemstrom für jedes Segment eine Zeitmarkierung enthält, die den Zeitpunkt nach dem Laden angibt, an dem dieses Segment aus dem Puffer gelesen werden soll, wobei die durch die Zeitmarkierung festgelegte Verzögerung in Beziehung zu der genannten vorher festgelegten Belegung des Decodierpuffers steht.

9. Optische Platte, die ein Videosignal enthält, das eine Vielzahl codierter Segmente nach Anspruch 8 beinhaltet, wobei alle Segmente zu der gleichen vorgegebenen Decodierpufferbelegung führen.

Text in der Zeichnung

Fig. 8:

VIDEO VIDEO

AUDIO AUDIO

ENC COD

TARGETS ZIELWERTE

BUFFER PUFFER

MUX MUX

TO DECODE OR STORE ZUM DECODIEREN ODER SPEICHERN

Fig. 9:

FROM ENCODE OR STORE VOM CODIEREN ODER SPEICHERN

DEMUX DEMUX

A/V DETECT A/V DETEKTOR

VIDEO STD AUDIO STD

BUFFER PUFFER

AUDIO STD AUDIO STD

DEC DEC

VIDEO OUT VIDEO AUSGANG

AUDIO OUT AUDIO AUSGANG