DE60103316T2

DE60103316T2 - Demultiplexieren eines statistisch gemultiplexten MPEG-Datenstroms in einen einzigen Programmdatenstrom mit konstanter Bitrate.

Info

Publication number: DE60103316T2
Application number: DE60103316T
Authority: DE
Inventors: Mayer D. Portland Schwartz; Ryan P. Clackamas Hegar
Original assignee: Tut Systems Inc
Current assignee: Arris Technology Inc
Priority date: 2000-03-23
Filing date: 2001-03-05
Publication date: 2004-10-14
Anticipated expiration: 2021-03-06
Also published as: EP1137287B1; JP4520062B2; EP1137287A2; KR20010090514A; KR100830960B1; JP2001309377A; US7145912B1; EP1137287A3; DE60103316D1

Description

STAND DER TECHNIK
Die vorliegende Erfindung betrifft die Videokomprimierung und im Besonderen ein einfaches Verfahren zum Demultiplexieren eines statistisch multiplexierten MPEG-Transportstroms (MPTS) in Einzelprogramm-Transportströme (SPTS) mit konstanter. Bitrate (CBR), ohne dabei die elementaren Videoströme zu verändern.
Die elementaren Videoströme in dem MPTS werden für gewöhnliche alle mit einer variablen Bitrate (VBR) codiert. Nur wenn die konstante Bitrate zu niedrig wird, wird es unmöglich, einen einzelnen Strom des MPTS zu demultiplexieren, ahne dass dabei der elementare Videostrom modifiziert wird. Dies ist offensichtlich der Fall, wenn die durchschnittliche Bitrate des VBR-Stroms größer ist als die konstante Bitrate des CBR-Stroms. Auch in diesem Fall ist es für gewöhnlich möglich, die potenziellen visuellen Artefakte zu verbessern, indem B-Typ-Bilder mit null 8-Typ-Bildern ersetzt werden.
Frühere Versuche zum Demultiplexieren eines statistisch multiplexierten MPTS in mehrere CBR SPTS realisieren dies durch Modifizieren (Transcodieren) der Videoströme – dieser allgemeinere Ansatz ist ein erheblich rechenintensiveres Verfahren und kann die Güte des resultierenden Videos negativ beeinflussen. Beispiele für derartige Produkte sind der CherryPicker 7000 Video-Remultiplexer von Terayon Communication Systems aus Santa Clara, Kalifornien, USA, und möglicherweise auch das PS5030 Multiplexer Module von PixStream Incorporated aus Waterloo, Ontario, Kanada.
In einem statistisch multiplexierten MPTS sind Videoströme als VBR mit einer breiten Verteilung der Bitraten je. Bild codiert.
Die Transportpakete (TPs) für einen bestimmten Videostrom kommen nahezu in einem bündelhaften Muster an, wobei jedoch eine gewisse Glättung gegeben ist. Wünschenswert ist eine Ausstattung eines vollständigen SPTS mit VBR-Video und CBR-Audio in einer CBR-Netzwerkverbindung ohne Neucodierung oder Modifikation des Videos auf irgendeine Weise.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Vorgesehen ist gemäß der vorliegenden Erfindung ein einfaches Verfahren zum Demultiplexieren eines statistisch multiplexierten MPEG-Transportstroms in CBR-Einzelprogramm-Transportströme ohne Neucodierung oder Modifikation des Videos auf irgendeine Art und Weise. Das Verfahren beginnt mit der Übermittlung eines Bilds mit einem festen Intervall im zweioder dreistelligen Millisekundenbereich, bevor es decodiert wird bzw. so bald wie möglich danach. Ein separater logischer Glättungspuffer wird für jeden Einzelprogramm-Transportstrom mit variabler Bitrate verwendet. Wenn die Decodierungszeit erreicht ist, wird das Bild von dem Glättungspuffer zur Decodierung übertragen. Wenn es zu einem Pufferüberlauf kommt, werden B-Typ-Bilder durch null B-Typ-Bilder ersetzt, was den Effekt eines Festbilds aufweist, indem das vorher decodierte Bild wiederholt wird, bis der Überlaufzustand endet.
Die Aufgaben, Vorteile und neuartigen Merkmale der vorliegenden Erfindung werden aus der folgenden genauen Beschreibung deutlich, wenn diese in Verbindung mit den anhängigen Ansprüchen und den beigefügten Zeichnungen gelesen wird.
KURZE BESCHREIBUNG DER ANSICHTEN DER ZEICHNUNGEN
In den Zeichnungen zeigen:
1 eine veranschaulichende Ansicht eines statistisch multiplexierten MPEG-Transportstroms mit Einzelprogramm-Transportströmen mit variabler Bitrate;
2 eine veranschaulichende Ansicht der Beziehung zwischen dem Eingangs-Einzelprogramm-Transportstrom mit variabler Bitrate und dem Einzelprogramm-Tranusportstrom mit konstanter Bitrate, der unter Verwendung eines Glättungspuffers gemäß der vorliegenden Erfindung erzeugt wird; und
3 eine veranschaulichende Zeitsteuerungsansicht des Ladens der Bilder in den Glättungspuffer mit der konstanten Bitrate, die zu einem festen Zeitpunkt vor dem Decodierungszeitpunkt oder so bald wie möglich danach beginnt, und zwar gemäß der vorliegenden Erfindung.
GENAUE BESCHREIBUNG DER ERFINDUNG
In folgendem Bezug auf die Abbildung aus 1 veranschaulicht diese einen statistisch multiplexierten Transportstrom (MPTS) mit einer Mehrzahl von Programmen mit variablen Bitraten, die zusammen multiplexiert sind. Die schraffierten Pakete stellen einen Einzelprogramm-Transportstrom dar, Programm 1, dessen Pakete alle ein Teil des gleichen Programms darstellen. Wie dies zwischen PCR 0 ms und PCR 1,8048 ms dargestellt ist, weist Programm 1 ein Drittel der Pakete verschachtelt mit denen anderer Programme mit einer MPTS-Stromrate von 10 Mbs auf, d. h. 0,1504 ms je MTS-Paket. Die Bitrate für Programm 1 über dieses Intervall beträgt 3,33333 Mbs. Zwischen den nächsten beiden PCRs bei 1,8049 ms und 2,1056 ms befinden sich lediglich zwei Programm 1 Pakete ohne verschachtelte Pakete, so dass die Bitrate von Programm 1 der des MTS-Stroms entspricht, d. h. 10 Mbs. Die unterschiedlichen Bitraten für Programm 1 sind zum Beispiel von der Bildkomplexität und dem Typ des MPEG-Frames bzw. des MPEG-Bilds – I, P oder B – abhängig.
Der SPTS(VBR) wird auf der Basis der Paket-PIDs von MTS separiert und mit einer gewünschten konstanten Bitrate in einen logischen Glättungspuffer eingegeben, um einen SPTS mit einer konstanten Bitrate (CBR) zu erzeugen Der SPTS (CBR) kann danach zu dem durch den Decodierungszeitstempel (DTS) angezeigten Zeitpunkt für jedes Vollbild (Frame) decodiert werden, um die ursprünglichen Bilder in dem Videostrom wiederherzustellen.
Wie dies in der Abbildung für einen SPTS(VBR) mit einer durchschnittlichen Bitrate (AVR), die niedriger ist als die gewünschte CBR, dargestellt ist, gibt es Zeitpunkte, zu denen der SPTS(VBR) die CBR übersteigt. Ohne die vorliegende Erfindung bewirkt dies, dass diese Bilder nicht decodiert werden, was zu wiederholten Frames bzw. Vollbildern führt, da das vorangehende Vollbild wiederholt wird, wenn das nächste Vollbild nicht decodiert ist. Das Standbild bleibt bestehen, bis das nächste Vollbild bzw. der nächste Frame für den Decodierer zu dem Zeitpunkt zur Verfügung steht, der durch den zugeordneten Decodierungszeitstempel (DTS) angezeigt wird. Um diese unerwünschte Anomalie zu verhindern, ist es die erfindungsgemäße Lösung, das Laden des Puffers früh mit den Paketen für ein Vollbild zu beginnen, so dass beim Erreichen des Decodierungszeitpunkts die vollständigen bzw. alle Daten für das Vollbild für die Decodierung bereitstehen, wie dies in der Abbildung aus 3 dargestellt ist und nachstehend im Text näher beschrieben wird.
Buf_n bezeichnet den Glättungspuffer für einen elementaren Videostrom n mit variabler Bitrate (VBR) in einem statistisch multiplexierten MPEG-Transportstrom (MPTS). Die Variable td_n(j) ist eine Decodierungszeit für das j-te Bild des elementaren Videostroms n in einem Systemzieldecodierer. Die Decodierungszeit wird in Sekunden und im Verhältnis zu einem Systemtakt PCR für das Programm gemessen, das den elementaren Strom n aufweist. Die Variable T_n ¹(j) ist ein Zeitpunkt, zu dem das i-te Paket des Transportstroms (TS) des j-ten Bilds des elementaren Stroms n in den Glättungspuffer Buf_n eintritt. Wiederum wird die Zeit in Sekunden und im Verhältnis zu einem Systemtakt für das Programm gemessen, das den elementaren Strom n aufweist. R_n basiert auf der in der Abbildung aus 2 dargestellten gewünschten Bitrate. Dabei handelt es sich um die gewünschte Bitrate abzüglich der Bitrate der Pakete in dem SPTS, die kein Video führen. R_n ist eine konstante Rate, mit der die TS-Pakete mit dem elementaren Videostrom n in den Glättungspuffer Buf_n eintreten. Die Rate wird in Biteinheiten je Sekunde angegeben. Schließlich entspricht δ_n dem frühesten Zeitpunkt vor der Decodierungszeit, zu dem ein TS-Paket des elementaren Videostroms in den Glättungspuffer Buf_n eintreten kann. Die Zeit wird auch in diesem Fall in Sekunden angegeben.
Die Puffergröße ist durch |Buf_n| = R_nδ_n gegeben. TS-Pakete, die den elementaren Videostrom n aufweisen, treten unter Berücksichtigung der folgenden Einschränkungen so schnell wie möglich in Buf_n ein:

1. Die Rate, mit der Pakete in Buf_n eintreten können, ist durch R_n begrenzt.
2. Für jedes Bild j des elementaren Videostroms n und für alle das Bild j aufweisende TS Pakete gilt : t_n ⁱ(j) + δ_n ≥ td_n (j).
3. Zum Zeitpunkt td_n(j) werden alle Pakete t_n ⁱ(j) entfernt.
4. Wenn der Puffer Buf_n voll ist, d. h. R_nδ_n Bits aufweist, so können keine neuen Pakete eintreten.

Das Puffermodell ist erfüllt, wenn der Puffer Buf_n niemals eine Überlauf oder Unterlauf aufweist. Ein Überlauf oder Unterlauf tritt auf, wenn für ein Bild j des elementaren Videostroms n und jedes Bild j, das ein TS Paket aufweist, folgendes gilt: tn1(j) > tdn(j)
Bei einem Überlauf wird ein B-Typ-Bild durch ein null B-Typ-Bild ersetzt, bis der Überlauf endet, was den Effekt der Wiederholung des vorherigen Videobilds durch den Decodierer aufweist, wie dies in der gleichzeitig anhängigen U.S. Patentanmeldung mit dem Aktenzeichen 09/113.669 mit dem Titel "Readjustment of Bit Rates When Switching Between Compressed Video Streams" von Douglas C. Stevens et al. beschrieben wird.
Vorstehendes ist in der Abbildung aus 3 dargestellt, die eine Reihe von Vollbildern mit variabler Bitrate zeigt. Zum Zeitpunkt δ vor dem DTS für den Frame 1 wird der Frame 1 in den Puffer geladen. Der Puffer umfasst eine Mehrzahl von Schlitzen bzw. Slots mit identischer Kapazität zwischen aufeinander folgenden DTS-Zeitpunkten. Da der Frame 1 weniger Bits als die Kapazität eines Slots aufweist, existiert ein Zwischenraum bevor Frame 2 in den Puffer geladen wird, wiederum zum Zeitpunkt δ vor dem DTS für Frame 2. In ähnlicher Weise wird der Frame 3 zum Zeitpunkt δ vor DTS₃ geladen. Der Frame 3 weist mehr Bits auf, als in den Slot passen, so dass der Frame 4 sobald wie möglich danach in den Puffer geladen wird. Danach wird der Frame 5 sobald wie möglich in den Puffer geladen. Das Ende von Frame 5 überschreitet fast die DTS-Zeit für Frame 5, und der Puffer weist die Gefahr für einen Überlauf auf. Allerdings weisen die nächsten Framen 6, 7 und 8 jeweils weniger Bits als ein Slot auf, so dass die Kapazität des Puffers abgeschwächt wird.
Vorgesehen ist gemäß der vorliegenden Erfindung somit das Demultiplexieren eines statistisch multiplexierten MPEG-Transportstroms in einen Einzelprogramm-Transportstrom mit konstanter Bitrate unter Verwendung eines Glättungspuffers, wobei die Videobilder in dem Strom mit der gewünschten konstanten Bitrate in den Glättungspuffer geladen werden, und zwar so bald wie möglich bis zu einem festen Zeitraum bevor die Bilder decodiert werden müssen.

Claims

Verfahren zum Demultiplexieren eines statistisch multiplexierten MPEG-Transportstroms in einen Einzelprogramm-Transportstrom mit konstanter Bitrate, wobei das Verfahren die folgenden Schritte umfasst: Separieren eines Einzelprogramm-Transportstroms mit variabler Bitrate aus dem statistisch multiplexierten MPEG-Transportstrom; Laden eines Bilds aus dem Einzelprogramm-Transportstroms mit variabler Bitrate mit einer konstanten Bitrate in einen Glättungspuffer zu einem spezifizierten Zeitpunkt oder sobald wie möglich danach vor einem Decodierungszeitpunkt des Bilds; und Übertragen des Bilds aus dem Glättungspuffer zum Zeitpunkt der Decodierung.
Verfahren nach Anspruch 1, wobei das Verfahren ferner den Schritt des Ersatzes von B-Typ-Bildern an dem Eingang des Glättungspuffers mit null B-Typ-Bildern umfasst, wenn sich der Glättungspuffer in einem Überlaufzustand befindet, bis der Überlaufzustand zu Ende geht.