DE69837081T2

DE69837081T2 - Videopufferspeicher zur nahtlosen verbindung von mpeg-strömen

Info

Publication number: DE69837081T2
Application number: DE69837081T
Authority: DE
Inventors: Hayder Radha
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Pendragon Wireless LLC
Priority date: 1997-11-25
Filing date: 1998-11-20
Publication date: 2007-10-25
Anticipated expiration: 2018-11-21
Also published as: US6154496A; DE69837081D1; EP0954927A2; WO1999027713A3; WO1999027713A2; EP0954927B1; JP2001510000A; JP4224139B2

Description

HINTERGRUND DER ERFINDUNG
1. Bereich der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Anordnung zum Kommunizieren von MPEG-Bildern von einem Codierer zu einem Decoder, und insbesondere auf die Verwaltung des Codiererpuffers zum Schaffen eines effizienten Datentransport, während auch ein Überfluss oder Unterfluss des Decoderpuffers ausgeschlossen wird. Von besonderer Bedeutung ist die Verwaltung des Codiererpuffers in dem Bereich eines MPEG Verbindungspunktes, eines Punktes in dem Strom von Bildern, an dem ein alternativer Codierer oder Decoder in den Strom eingeschaltet werden kann, ohne dass sichtbar störende Artefakte eingeführt werden.
2. Beschreibung des Standes der Technik.
Die MPEG-Norm definiert ein Datenformat zur Codierung sequentieller Videobilder in ein komprimiertes Format, mit genügend Zeitinformation, dass diese Bilder decodiert werden und zum Betrachten in derselben Reihenfolge präsentiert werden, und mit derselben Rate, wie die ursprünglichen, nicht codierten sichtbaren Bilder. Die sequentiellen Videobilder bestehen aus Frames, wobei jedes Frame typischerweise zu festen Zeitintervallen codiert wird, und danach decodiert und mit demselben festen Zeitintervall wiedergegeben wird, aber in der Zeit gegenüber der Codierungszeit verzögert.
In dem betreffenden technischen Bereich wird der Term "Vollbild" auch verwendet um jedes sequentiell codierte Bild zu bezeichnen, oft in Bezug auf Bilder, die im Zeilensprungverfahren wiedergegeben werden sollen. Auf gleiche Weise wird der Term "Bild" verwendet um jedes codierte Bild zu bezeichnen. Der Einfachheit halber wird der Term "Frame" hier allgemein benutzt um jedes codierte Bild zu bezeichnen. Auf gleiche Weise wird der Term MPEG allgemein verwendet, wobei die formelle Datenformatspezifikation zu bezeichnen, sowie den bestehenden Körper, hergeleitet von dieser Spezifikation und der Implementierung, was dem Fachmann bekannt sein dürfte.
Jedes MPEG Frame kann eine andere Größe haben, mit je einem Kompressionsgrad abhängig von dem Bildinhalt und dem Inhalt anderer Frames. Zum Effektuieren einer konstanten Codierungs- und Decodierungsrate mit variierend bemessenen Frames, werden Datenpuffer dem Codierer und dem Decoder zugeführt. Bilder werden mit einer festen Framerate in Frames codiert und in dem Codiererpuffer gespeichert; wobei die Bits die Frames aufweisen, aus dem Codiererpuffer zu dem Decoderpuffer kommuniziert werden, und zwar mit einer Bitrate, die im Wesentlichen von der Framerate unabhängig und meistens konstant ist; und die Frames werden mit der festen Framerate aus dem Decoderpuffer ausgeladen. Die Anzahl Bits, die ein Puffer zu einem bestimmten Zeitpunk festhalten kann, wird als Puffergröße bezeichnet; die Anzahl Bits, die ein Puffer zu einem bestimmten Zeitpunkt wirklich festhält, wird als Pufferbelegungsgrad bezeichnet. Die Verwendung von Puffern, damit variabel bemessene Frames kontinuierlich übertragen und danach mit einer konstanten Framerate decodiert werden können, schafft einen optimalen Informationstransport.
Wenn der Belegungsgrad des Codierers innerhalb bestimmter Codierergrenzen gesteuert wird, kann dargelegt werden, dass der Belegungsgrad des Decoders notwendigerweise innerhalb eines bestimmten Satzes mit Decodergrenzen liegen wird. Um einen Überfluss oder Unterfluss beim Decoder zu vermeiden, muss der Belegungsgrad innerhalb der Grenzen von Null und der Decoderpuffergröße (Bd) liegen. Die erforderlichen Codierergrenzen gewährleisten, dass diese Decodergrenzen wie folgt sind:
Und ELB(t) = EUB(t) – Bd (2)wobei EUB(t) die obere Grenze der Codiererpufferbelegung ist, und ELB(t) die untere Grenze der Codiererpufferbelegung zu dem Zeitpunkt t ist. Delta (Δ) ist die Zeit zwischen der Codierung eines Frames und der nachfolgenden Decodierung desselben und ist, um eine konstante Wiedergaberate beizubehalten, für ein bestimmtes Codierer-Decodersystem konstant. Die Transportrate r kann variabel oder konstant sein. Für ein System mit einer konstanten Transportrate R, ist EUB(t) = RΔ, und ELB(t) = RΔ – Bd. Diese Grenzen 201, 202 sind in 2A dargestellt. Jedes Frame wird codiert, die Größe der Codierung wird entweder Null gefüllt oder Zugeschnitten, so dass der resultierende Codiererpufferbelegungsgrad innerhalb dieser Grenzen liegt.
Es sei bemerkt, dass diese Grenzen nicht für MPEG spezifisch sind, MPEG wird hier verwendet um eine bestimmte Norm zu bezeichnen, benutzt zum Kommunizieren einer Reihe von Videobildern. Es dürfte aber dem Fachmann einleuchten, dass die hier beschriebenen Grundlagen und Techniken auf das Umschalten von Strömen jedes beliebigen Formats über ein System mit einem Codierer und einem Decoder mit je einem Puffer anwendbar sind. Auf gleiche Weise sind, obschon die hier beschriebenen Beispiele sich auf Frames von Videobildern beziehen, die hier beschriebenen Grundlagen und Techniken auch auf Frames von Audioteilen, Datenpaketen und dergleichen anwendbar sind.
Die MPEG Norm definiert nahtlose Verbindungsstellen, wobei die Eingabe zu einem Decoder von einem Strom mit Frames von dem einen Codierer zu einem Strom mit Frames von einem anderen Codierer umgeschaltet werden kann, ohne dass sichtbare Artefakte, wie unvollständige Frames, in das decodierte Bild eingeführt werden. Die Norm erfordert auch, dass Unterfluss und Überfluss des Decoderpuffers vermieden wird, unabhängig von der Tatsache, ob die Umschaltung wirklich auftritt. Das heißt, die Codiererpuffergrenzen müssen derart sein, dass ungeachtet, ob der Strom dieses Codierers sich fortsetzt oder ob ein Strom eines anderen Codierers eingeschaltet wird, der Decoderpuffer weder einen Überfluss noch einen Unterfluss zeigt.
1 zeigt ein Kommunikationssystem mit einem Decoder 150, und mit mehreren Codierern 110, 120, 130. Der Schalter 140 selektiert einen der Codierer, der mit dem Decoder 150 verbunden werden muss, wodurch einen Quellencodierer des nachfolgenden Stromes mit Frames zu dem Decoder geschaffen wird. Jeder MPEG Strom enthält eine geeignete Markierung der Stellen in dem Strom, an denen der Schalter 140 die Selektion oder Deselektion des assoziierten Codierers als Quellencodierer effektuiert. Diese markierten Stellen in dem Strom werden als Verbindungsstellen bezeichnet. Die MPEG Norm definiert zwei Parameter zum Bilden einer nahtlosen Verbindungsstelle eine "Splice Decode Delay" (SDD) und eine maximale Verbindungspunktrate (MSR). Diese Parameter entsprechen einer bestimmten minimalen Decoderpuffergröße, so dass, wenn die Codierer diesen Parametern entsprechen, der Decoderpuffer dieser minimalen Puffergröße bestimmt keinen Überfluss zeigen wird. Die minimale Puffergröße soll spezifisch größer sein als MSR·SDD. SDD ist die Zeit zwischen der Verbindungszeit und der Zeit der Decodierung des ersten Frames nach der Verbindungsstelle. Die MSR ist die maximale Transportrate, die ein Codierer an der Verbindungsstelle arbeiten darf und für eine Periode SDD nach der Verbindungsstelle.
Damit unter Codierern eine nahtlose Umschaltung ermöglicht wird, muss das Ende eines Frames von einem ersten Quellencodierer bei dem Anfang eines Frames von einem neu selektierten zweiten Quellencodierers auftreten. Für ein bestimmtes Codierer-Decodersystem mit einer konstanten Codierungs-Decodierungsverzögerung gleich Δ soll die erforderliche Codierungs-zu-Verbindungsaverzögerung E gleich D-SDD sein. Um die richtige Codierungs-zu-Verbindungsverzögerung zu gewährleisten müssen die Belegungsgrenzen jedes Codierers begrenzt werden, so dass das letzte Bit des Frames unmittelbar vor der Verbindungsstelle und das erste Bit des Frames unmittelbar nach der Verbindungsstelle zu dem richtige Zeitpunkt geschaltet werden. Wie in US 5.982.436 dargestellt, muss in einem konstanten Bitratensystem mit einer Transportrate R die Codiererbelegung zu dem Zeitpunkt, unmittelbar vor der Codierung des ersten Frames nach einer Verbindungsstelle gleich der Rate R mal E sein. Dies ist bei 205 in 2B dargestellt. Weil die Bits vor der Codierung des letzten Frames mit derselben Rate R aus dem Puffer ausgeladen werden, damit gewährleistet wird, dass die Pufferbelegung niedrig genug ist, dass die Belegung zu dem Zeitpunkt Te dem Wert R·E entspricht, müssen die Frames vor der Verbindungsstelle begrenzt werden, wie durch den oben begrenzten Linienabschnitt 211 in 2B dargestellt. Das heißt, der Linienabschnitt 211 neigt sich mit einer Rate_R, wobei R die Rate darstellt, mit der die Bits aus dem Codiererpuffer ausgeladen werden. Weil das Frame unmittelbar vor der Verbindungsstelle zu der Belegung R·E 205 an der Verbindungsstelle führen kann, und es aus dem Codiererpuffer mit einer Rate von R ausgeladen wird, muss er eine Belegung haben, die dem Wert R·(F + E) 206 entspricht, wobei F die Frameperiode ist, die Zeit zwischen der Codierung jedes Frames.
Die Codierertransportrate ist auch die Rate, mit der der Decoderpuffer geladen wird. Wie in der oben genannten US 5.982.436 beschrieben, kann der Decoderpuffer Restframes von dem einen Codierer enthalten, während er Frames von einem anderen Codierer mit einer anderen Rate empfängt. Um zu gewährleisten, dass der Decoderpuffer keinen Überfluss zeigt, muss jeder Codierer der oben genannten MPEG Spezifikation entsprechen, und alle Grenzen des Codiererpuffers sollen derart eingestellt werden, dass sie mit der Tatsache übereinstimmen, dass der andere Codierer mit einer anderen Rate arbeiten kann. Wenn die Rate eines Codierers der maximal erlaubten Rate, MSR, entspricht, ist keine Nachregelung erforderlich. Wenn die Rate eines Codierers größer ist als MSR, muss die entsprechend der MPEG Spezifikation verringert werden, mit einer resultierenden Abnahme der Puffergrenzen, entsprechend den oben stehenden Gleichungen (1) und (2), dargestellt als Linienabschnitt 221, 222, 223 und 224 in 2CD. Wenn die Rate eines Codierers kleiner ist als MSR, muss sie eine etwaige Zunahme zu MSR annehmen, und zwar über den anderen Codierer hinter der Verbindungsstelle, mit der resultierenden Zunahme der Grenzen, entsprechend der oben stehenden Gleichung (1) und (2), dargestellt als Linienabschnitte 231 und 232 in 2D. Es sei bemerkt, dass das Liniensegment 211, dargestellt in 2B niedriger ist als die Liniensegmente 221 und 231 in 2C und 2D, und folglich bildet das Liniensegment 211 die wirkliche obere Grenze für die Codiererbelegung.
Auf herkömmliche Art und Weise wird die MSR in direktem Verhältnis zu der minimalen Decoderpuffergröße, Bd, auch durch MPEG spezifiziert, selektiert. Zur Vermeidung eines Pufferüberflusses muss die MSR derart sein, dass MSR·SDD <= Bd ist. Zum Maximieren der erlaubten Transportrate wird MSR derart selektiert, dass MSR·SDD = Bd ist. 2E zeigt die resultierenden Codiererpuffergrenzen für eine idealisierte MPEG Verbindungsstelle, wobei MSR·SDD = BD ist und die Codiererrate R dieser maximierten MSR entspricht. Wie in dem idealisierten Fall ersichtlich, ist die obere Grenze 211 vor der Verbindungsstelle stark begrenzend; die obere Grenze nach der Verbindungsstelle kehrt zu der normalen R·Delta-Grenze zurück, und die untere Grenze bleich auf dem vorherrschenden Pegel.
Auf diese Weise macht, wie ersichtlich, die MPEG Definition von nahtlosen Verbindungsstellen einen stringenteren Satz von Codiererbelegungsgrenzen notwendig. Jedes Mal, dass die Codierung eines Frames modifiziert werden muss, durch Null-Füllung oder durch Trunkierung entsprechend den unteren oder oberen Grenzen, wird eine Ineffizienz und/oder ein Verlust an Qualität die Folge sein. Trunkierung eines Frames um einer oberen Grenz zu entsprechen, erfordert die Eliminierung von Einzelheiten in dem codierten Frame. Die Übertragung von Null-gefüllten Frames reduziert die gesamte Informationstransportrate, weil die Null-Füllung keine Information enthält. Sie hat auch das Potential einen Verlust an Qualität zu forcieren, wenn daraufhin Frames trunkiert werden müssen, weil der verfügbare Raum in dem Puffer von diesen Null-gefüllten Bits verbraucht war. Je stringenter die Grenzen an der Belegung, umso höher die Wahrscheinlichkeit, dass dieser Verlust an Effizienz und eine degradierte Bildqualität übernommen wird.
Die MPEG Definition nahtloser Verbindungsstellen forciert auch einen Verlust an Effizienz an jeder Verbindungsstelle, wenn die spezifizierte MSR niedriger ist als die nominale Transportrate R des Codierers, durch Forcierung des Codierers, die Rate an der Verbindungsstelle eine Periode lang, gleich SDD, zu reduzieren. Diese Ineffizienz kann auch einen Verlust an Qualität mit sich bringen, weil bei einer niedrigeren Transportrate die Wahrscheinlichkeit, dass nachfolgende Frames trunkiert werden müssen, zunimmt.
Es sei bemerkt, dass die oben beschriebenen Unzulänglichkeiten und die Qualitätsverringerung auf sich gezogen werden, ungeachtet, ob der Strom wirklich an den beabsichtigten Verbindungsstellen verbunden worden ist. Aus diesem Grund wird erwartet, dass nicht alle etwaigen nützlichen Verbindungsstellen als solche geschaffen werden, und die Vorteile und Flexibilitäten, die durch weitgehend verbindbare MPEG Ströme erhalten werden können, nicht erzielbar sind.
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, die Informationstransportineffizienz und der Verlust an Qualität, verursacht durch die Begrenzungen der Codiererbelegung um eine Verbindungsstelle herum, zu minimieren, und die Informationstransportinsuffizienz, verursacht durch die Transportratenbegrenzungen um jede Verbindungsstelle herum, zu minimieren.
Es sei bemerkt, dass Verbindungsstellen als Eingangspunkte, Ausgangspunkte oder als Eingangs- und Ausgangspunkte, gekennzeichnet werden können. Ein Eingangspunkt ist eine Stelle, an der der Codiererstrom in den Strom zu dem Decoder hineingeschaltet werden kann, d.h. mit dem Decoder verbunden werden kann. Eine Ausgangspunkt ist eine Stelle, an der der Codiererstrom aus dem Decoderstrom ausgeschaltet werden kann, d.h. von dem Decoder losgekoppelt werden kann. Wenn nicht explizit als Eingangs- oder Ausgangspunkt bezeichnet, wird eine Verbindungsstelle hier als unbegrenzt definiert, wodurch Eingabe sowie Ausgang zu und von dem Decoderstrom an dieser Stelle möglich ist, entsprechend der MPEG-Normdefinition.
Nach der vorliegenden Erfindung wird hier dargestellt, dass die Kennzeichnung der Verbindungsstellen entweder Eingangs- oder Ausgangspunkte sind, die derart formuliert werden können, dass sie die Informationstransportineffizienz und den Verlust an Qualität durch eine geeignete Einstellung der Grenzen der Codierertransportraten und Pufferbelegungsgrenzen minimieren.
Wie hier beschrieben, können in einer Vielzahl von Situationen die bekannten Codiererpuffergrenzen für Nur-Eingangs- und Nur-Ausgangspunkte gelockert werden. Abhängig von den hier beschriebenen Umständen können die Codiererbelegungsgrenzen um die Verbindungsstelle herum für Nur-Eingangs- und Nur-Ausgangspunkte gelockert werden und für Nur-Ausgangspunkte können Ratenreduktionen vermieden werden. Die Anwendung der weniger strengen Grenzen nach der vorliegenden Erfindung werden zu einer höheren Wahrscheinlichkeit einer verbesserten Informationstransporteffizienz und zu einer verbesserten wiedergegebenen Bildqualität führen, während dennoch die spezifischen Anforderungen einer MPEG nahtlosen Verbindungsstelle beibehalten werden.
Weiterhin können nach der vorliegenden Erfindung Optimierungen in den Codiererpuffergrenzen und in den Transportraten durch geeignete Definierung und Benutzung von Verbindungsstellenparametern, MSR und SDD erreicht werden, die für jede Klassifikation von Verbindungsstellen spezifisch sind. Das heißt, eine weitere Optimierung kann durch Benutzung eines MSR-EIN-Wertes für Eingangspunkte und eines MSR-AUS-Wertes für Ausgangspunkte erreicht werden.
Weiterhin können nach der vorliegenden Erfindung Optimierungen in den Codiererpuffergrenzen und Transportraten dadurch erreicht werden, dass beim Splicer Puffersynchronisation angewandt wird.
KURZE BESCHREIBUNG DER ZEICHNUNG
Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 ein Kommunikationssystem mit einem Decoder, mit mehreren Codierern und einem Schalter zum Selektieren des Quellencodierers zu dem Decoder,
2A–2E die bekannten Codierertransportraten und Pufferbelegungsgrenzen, erforderlich um eine nahtlose Verbindung einer Verbindungsstelle in einem MPEG Strom zu ermöglichen, ohne Überfluss oder Unterfluss des Decoderpuffers,
3 die Codierertransportraten und Pufferbelegungsgrenzen, erforderlich um eine nahtlose Verbindung eines Nur-Ausgangspunktes in einem MPEG-Strom ohne Überfluss oder Unterfluss des Decoderpuffers zu ermöglichen, nach der vorliegenden Erfindung,
4 die Codierertransportraten und Pufferbelegungsgrenzen, erforderlich um eine nahtlose Verbindung eines Nur-Eingangspunktes in einem MPEG-Strom ohne Überfluss oder Unterfluss des Decoderpuffers nach der vorliegenden Erfindung zu ermöglichen,
5A–5E die Codierertransportraten und Pufferbelegungsgrenzen, erforderlich um eine nahtlose Verbindung von Verbindungsstellen in einem MPEG-Strom mit Verbindungsparametern MSR-EIN und MSR-AUS nach der vorliegenden Erfindung zu ermöglichen.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Es wird eine MPEG-Codierung einer Videoszene, wie eines Sportereignisses, betrachtet, die über einen Fernsehkanal derart übertragen werden soll, dass an selektierten Stellen während des Ereignisses, ein oder mehrere Werbespots, ebenfalls in MPEG codiert eingefügt werden können. Die Codierung kann in Echtzeit sein, oder vorher aufgezeichnet. Der Codierer 110 in 1 soll das Sportereignis MPEG Codierer darstellen und der Codierer 120 stellt die MPEG Quelle der Werbespots dar. Der Schalter 140 wird von dem Provider des Fernsehkanals gesteuert und ermöglicht es, dass der Provider von dem Ereignis auf den Werbespot umschaltet und wieder zurückschaltet. Der Decoder 150 stellt ein System dar zum Empfangen des resultierenden Stroms von MPEG Frames und zum Schaffen der decodierten Frames zu einer Wiedergabeanordnung, mit derselben Rate, in der die Frames codiert wurden. Die ursprüngliche Quelle der Videobilder, die in MPEG-Frames codiert werden, könnte ein Computergraphikprogramm sein, oder eine Quelle vorher aufgezeichneter Bilder in entweder herkömmlichem analogem Video- oder MPEG-Format. Die Wiedergabeanordnung könnte ein Sender herkömmlicher Videoframes sein, wie ein NTSC Sender, oder ein anderes Codier-Decodiersystem sein, dem andere Werbespots hinzugefügt werden können.
Beim Codieren der Videoframes in dem Sportereignis werden selektierte Stellen als Stellen identifiziert, an denen es geeignet wäre, dass ein Werbespot eingefügt wird, beispielsweise nach jedem beendeten Spiel. An dieser Stelle kann der Schalter 140 die Quelle eines Werbespots 120 in den Strom hineinschalten, der dem Decoder zugeführt wird. Beim Codieren des Werbespots können viele Stellen identifiziert sein, an denen der Schalter 140 zu der Quelle des Ereignisses zurückgeschaltet werden kann, wie wenn die Kamera die Sportansagerin im Bild hat. So kann beispielsweise der Werbespot derart geschaffen werden, dass dieser Verbindungsstellen hat, identifiziert bei 15 Sekunden, 30 Sekunden und 60 Sekunden Intervallen, und abhängig von der zwischen Spielen in dem Sportereignis verbrauchten Zeit, kann der Provider des Dienstes die Sendung an jeder der identifizierten Verbindungsstellen von dem Werbespot abkoppeln. Es sei bemerkt, dass jeder der Codierer mit verschiedenen Transportraten sowie mit verschiedenen Frameraten arbeiten kann und dass der Wert Delta für jeden Codierer anders sein kann.
Herkömmliche MPEG Codierung der Verbindungsstellen in jedem dieser MPEG Ströme wird erfordern, dass bei jedem dieser Verbindungsstellen die Codierertransportrate die MPEG-spezifizierte MSR nicht übersteigt, und dass das erste Frame nach der Verbindungsstelle derart geplant ist, dass es nach einer Periode SDD nach der Verbindungszeit decodiert wird, wie oben beschrieben. Diese Beschränkungen erfordern, dass die Codiererpufferbelegung den oben beschriebenen und in 2A=2E präsentierten Begrenzungen entspricht. Insbesondere sei bemerkt, dass ein Codierer mit einer Transportrate, welche die spezifizierte MSR übersteigt, die Transportrate bei jeder Verbindungsstelle auf die MSR reduzieren muss und die Transportrate während einer Periode SDD auf dieser reduzierten Rate halten muss; und dass ein Codierer mit einer Transportrate, die niedriger ist als die spezifizierte MSR, die unter Grenze der Pufferbelegung an einer Verbindungsstelle erhöhen muss.
Nur-Ausgang-Verbindungsstelle
Nachstehend wird aber eine Verbindungsstelle am Ende jedes Spiels in dem Sportereignis betrachtet. Diese Verbindungsstelle kann als eine Nur-Ausgang-Verbindungsstelle identifiziert werden, weil man nicht typischerweise ein Sportereignis in dem Decoderstrom unmittelbar nach de, Ende eines Spiels verbinden möchte Nach der vorliegenden Erfindung können durch Klassifizierung der Verbindungsstelle als eine Nur-Ausgang-Verbindungsstelle die herkömmliche MPEG relatierte Transportrate und die Puffergebundenen Begrenzungen gelockert werden, wodurch eine verbesserte Effizienz und Qualität geschaffen wird. Nun wird die herkömmliche Codierertransportrate und die Puffergrenzen aus 2C betrachtet und in 3 wiederholt, entsprechend dem Fall, in dem die nominale Codierertransportrate R höher ist als die MPEG spezifizierte MSR, und die Decoderpuf fergröße Db ausreichend groß ist um die Verwendung dieser höheren Rate für die Decodierverzögerungsperiode unterzubringen; d.h. Bd >= R·SDD. Weil jede MOEG Quelle ihre Grenzen an der Verbindungsstelle in Abhängigkeit von der maximalen Rate, mit der eine andere Quelle arbeiten kann, wie oben beschrieben, nachregeln muss, muss ein herkömmlicher MPEG gefügiger Codierer an jeder Verbindungsstelle die Rate auf MSR reduzieren, obgleich der Decoderpuffer eine ausreichende Größe haben kann um die höhere Rate R zu unterstützen. Das heißt, um der MPEG Spezifikation zu entsprechen muss der Codierer, der mit einer Rate R 240 arbeitet, die höher ist als die MSR, die Transportrate auf MSR reduzieren, wie bei 250 dargestellt ist. Nach einer Zeitperiode SDD kann er die höhere Rate fortsetzen, wie bei 255 dargestellt. Entsprechend der Gleichung (2) erfordert eine Reduktion der Rate notwendigerweise eine Reduktion der oberen und unteren Grenzen der Codiererpufferbelegung, wie bei 221, 222, 223 und 224 dargestellt. Die Reduktion der Transportrate erfordert von der MPEG Spezifikation führt zu einer Verringerung der Transporteffizienz, und zu einer wesentlichen Degradation in der Signalqualität um diese Reduktion unterzubringen. Es sei bemerkt, dass unmittelbar nach der Codierung des letzten Frames vor der Verbindungsstelle 205 die maximale Größe 228 des nächsten Frames wesentlich reduziert sein wird, und zwar wegen der verringerten oberen Grenze 223.
Wenn die Verbindungsstelle eine Nur-Ausgang-Verbindungsstelle ist, sind an der Verbindungsstelle nur zwei Alternativen möglich: entweder wird die Quelle den Decodiersstrom verlassen oder die Quelle wird in dem Decodierstromn bleiben. Das heißt, die Quelle wird nicht an dieser Stelle in den Strom eingehen. Wenn eine Quelle mit einer höheren Rate als MSR den Decodierstrom an der Verbindungsstelle verlässt, wird die hohe Rate keinen Effekt auf den Strom von der anderen Qualle haben. Wenn die Quelle mit einer Rate, höher als MSR in dem Decodierstrom an der Verbindungsstelle bleibt, wird sie im Endeffekt lediglich den Transport mit der konstanten Rate fortsetzen. Das heißt, ungeachtet, on die Quelle an einer Nur-Ausgang-Verbindungsstelle existiert oder nicht sie braucht die Transportrate nicht zu reduzieren, selbstverständlich soll der Puffer auf geeignete Weise bemessen sein (Bd >=R·SDD) um diese höhere Rate unterzubringen. Weil die Rate nicht abnimmt werden die Grenzen nicht reduziert, wie die bekannten Grenzen 221–224. Die erforderlichen Puffergrenzen für eine Nur-Ausgang-Verbindungsstelle nach der vorliegenden Erfindung sind in 3 dargestellt. Der Deutlichkeit halber sind die herkömmliche MPEG Verbindungspunkttransportrate 250 und die Grenzen 221–224 gestrichelt darge stellt, entsprechend denen aus 2C. Weil der herkömmliche MPEG Strom die Rate 250 an der Verbindungsstelle reduzieren muss, nehmen die herkömmlichen MPEG Stromcodierergrenzen 221–224 entsprechend den oben stehenden Gleichungen (1) und (2) ab. Wie ersichtlich ist, obschon die obere Grenze der Codiererpufferbelegung reduziert ist, bei 211, um zu gewährleisten, dass das letzte Frame vor der Verbindungsstelle die Codiererpuffer bei der Verbindungsstelle verlässt, wie in dem Fall der herkömmlichen MPEG Verbindungsstelle, die maximale Größe 328 des ersten Frames nach der Verbindungsstelle 205 wesentlich größer als die bei 228 in 2C dargestellt, weil die Codierergrenzen nach der Verbindungsstelle auf R·Delta bleiben, wie bei 323 dargestellt. Wie bei 240 in 3 dargestellt, behält der Codierer nach der vorliegenden Erfindung seine höhere Transportrate durch die ganze Verbindungsperiode hindurch, wobei die Transportrateneffizienz beibehalten wird und ein höheres Qualitätspotential beibehalten wird.
Nur-Eingang-Verbindungsstelle
Nachstehend wird eine Aufzeichnung eines Sportereignisses mit Verbindungsstellen, geschaffen für sofortige Wiederholungssegmente betrachtet. Der Start eines sofortigen Wiederholungssegmentes kann als eine Nur-Eingangsverbindungsstelle bezeichnet werden, weil man nicht typischerweise am Anfang eines derartigen Ereignisses die Quelle von dem Decodierstrom loskoppeln würde. Nach der vorliegenden Erfindung können durch Klassifizierung der Verbindungsstelle als eine Nur-Eingang-Verbindungsstelle, die herkömmliche MPEG relatierte Transportrate und die Puffergebundenen Grenzen gelockert werden, wodurch eine bessere Effizienz und Qualität geschaffen wird. Wiedergabeschirm wird nun die herkömmliche Codierertransportrate und die in 4 dargestellten Puffergrenzen betrachtet, und zwar entsprechend dem Fall, in dem die nominale Codierertransportrate R 241 niedriger ist als die MPEG spezifizierte MSR, ebenfalls in 2D dargestellt. Wie oben beschrieben, und zwar in Bezug auf den Stand der Technik in 2D, weil ein herkömmlicher MPEG Codierer die Möglichkeit berücksichtigen muss, dass en anderer Codierer mit der höheren MSR zu der Zeit der Verbindung arbeiten kann, muss die unter Grenze des Codiererpuffers vor der Verbindungsstelle 205 erhöht 232 werden.
Wenn die Verbindungsstelle eine Nur-Eingang-Verbindungsstelle ist, sind an der Verbindungsstelle nur zwei Alternativen möglich: entweder wird die Quelle in den Decodierstrom eintreten, oder die Quelle wird in dem Decodierstrom bleiben. Das heißt, die Quelle wird den Strom an dieser Stelle nicht verlassen; anders gesagt, eine andere Quelle kann nicht an dieser Stelle eintreten. Weil eine Quelle mit einer höheren rate als die Rate des Codierers an der Verbindungsstelle nicht in den Decodierstrom eintreten kann, kann die höhere Rate keinen Effekt auf den Strom von diesem Codierer haben. Wenn der Codierer mit der niedrigeren Rate an der Verbindungsstelle in dem Decodierstrom bleibt, wird er im Endeffekt vorwiegend die konstante Transportrate beibehalten. Das heißt, ungeachtet ob die Quelle neulich an einer Nur-Eingang-Verbindungsstelle in den Decodierstrom eintritt, oder vorwiegend in dem Decodierstrom bleibt, sie braucht nicht die untere Grenze nach zu regeln um eine Quelle mit einer höheren Rate unter zu bringen. Nach der vorliegenden Erfindung braucht die untere Grenze 432 eines Codiererpuffers nicht vor der Verbindungsstelle erhöht zu werden. Durch Beibehaltung der unteren Grenze wie bei 432 dargestellt, kann die etwaige Größe 438 der Frames vor der Verbindungsstelle gröber sein als die etwaige Größe 238, herrührend aus einer herkömmlichen MPEG Codierung in dem Gebiet der Verbindungsstelle, wodurch eine bessere Bildqualität ermöglicht wird.
MSR-EIN-, MSR-AUS-Parameter
Die MPEG Spezifikation bezieht sich auf einen einzigen Wert eines Parameters mit einer maximalen Verbindungsrate (MSR). Zum Maximieren der erlaubten Transportrate ist die herkömmliche MSR derart spezifiziert, dass MSR·SDD = Bd ist. Wie in den 2C und 2D dargestellt, wird ein Codierer mit einer Transportrate R, die von MSR abweicht, forciert seine Grenzen anzupassen und/oder die Rate anzupassen um die Möglichkeit zu schaffen, dass ein anderer Codierer auf dieser MSR arbeitet.
Wie oben bereits erwähnt, brauchen die Transportrate und die Grenzen von Nur-Eingang- und Nur-Ausgang-Verbindungsstellen nicht den Beschränkungen zu entsprechen, die herkömmlichen MPEG-Verbindungsstellen auferlegt worden sind. Die Nur-Ausgang-Verbindungsstelle wird durch die spezifizierte minimale Decoderpuffergröße, Bd, begrenzt. Wie oben beschrieben, muss diese Puffergröße derart sein, dass Bd >= R·SDD ist. Mit anderen Worten die Transportrate eines Codierers, der den Decoderstrom an einer Verbindungsstelle verlassen möchte, muss kleiner sein als Bd/SDD oder diesem Wert entsprechen. Dies ist die maximale Verbindungsrate bei einem Ausgang von dem Decoder, an dieser Stelle als MSR-Aus bezeichnet, und gleiche Bd/SDD. Wenn die Transportrate eines Codierers an einer Nur-Ausgang-Verbindungsstelle kleiner ist als MSR-Aus oder diesem Wert entspricht, braucht der Codierer nicht die Rate auf die herkömmliche MPEG MSR Rate zu reduzieren. Auf gleiche Weise hat es sich herausgestellt, dass die herkömmliche MPEG MSR Rate nur auf einen Codierer angewandt zu werden braucht, der an der Verbindungsstelle in den Decoderstrom eintreten möchte. Im Gegensatz zu der MSR-Aus-Rate kann eine MSR-Ein-Rate derart definiert werden, dass diese die maximale Verbindungsrate bei einem Eingang in den Decoderstrom ist. Diese MSR-Ein-Rate könnte beispielsweise eine allgemein verwendete Kommunikationsrate sein, wie die digitalen ATSC Fernsehsender-Raten von 19,4 Mb/s oder 38,8 Mb/s, die unabhängig von der MPEG spezifizierten Decoderpuffergröße definiert sind. Spezifizierung einer MSR-Aus-Rate, die von der Puffergröße abhängig ist, und einer niedrigeren MSR-Ein-Rate, die gebräuchlich ist, setzt minimale Begrenzungen an Codierer, die mit der üblichen Rate arbeiten, während Codierer mit einer höheren Geschwindigkeit an Nur-Ausgang-Verbindungsstellen weniger strenge Begrenzungen erhalten. Eine Verbindungsstelle, die entweder ein Eingangspunkt oder ein Ausgangspunkt sein kann, d.h. eine herkömmliche Verbindungsstelle, muss den minimalen Wert dieser zwei spezifizierten MSR Werte entsprechen, was typischerweise der MSR-Ein-Wert sein wird.
Durch Definition eines MSR-Ein- und MSR-Aus-Satz mit Parametern, werden die Codiererpuffergrenzen so sein, wie in 5A–5E dargestellt, als eine Funktion der Codierertransportrate gegenüber diesen Parametern, und als eine Funktion davon, ob d Verbindungsstelle ein Eingangspunkt, ein Ausgangspunkt, oder ein Eingangs-Ausgangspunkt ist. Es sei bemerkt, dass die obere Grenze der Codiererbelegung an der Verbindungsstelle, gegenüber der Belegung unmittelbar vor der Verbindungsstelle, die maximale Größe des Frames unmittelbar nach der Verbindungsstelle bestimmt. Wie ersichtlich, bestimmt für Eingangs- und Eingang-Ausgangspunkte die MSR-Ein die maximale Framegröße, weil der Bereich der Belegung an der Verbindungsstelle dem Wert MSR-Ein·SDD entspricht. Für einen Nur-Ausgangspunkt wird die maximale Framegröße unmittelbar hinter der Verbindungsstelle durch MSR-Aus bestimmt. Es sei auch bemerkt, dass im Gegensatz zu den in 2E dargestellten idealisierten MPWF Verbindungsstellen-Codierergrenzen, wobei die Codiererrate der einzelnen MSR Rate entspricht, durch Spezifizierung alternativer MSRn, die niedrigeren Codiererbelegungsgrenzen in Abhängigkeit von der Beziehung zwischen MSR-Ein und MSR-Aus eingestellt werden können. In 2E ist beispielsweise die maximale Größe 281 jedes Frames vor der Verbindungsstelle 205 der Transportrate mal der Anzahl Frameintervalle vor der Verbindungsstelle entspricht; auf diese Weise werden die Frames unmittelbar vor einer Verbindungsstelle minimale Information enthalten. Umgekehrt ist in 5C ersichtlich, dass die Größe 581 der Frames vor der Verbindungsstelle 205 zu der Differenz zwischen der MSR-Ein- und der MSR-Aus-Rate proportional ist. Auf diese Weise können die MSR-Ein- und MSR-Aus-Raten derart selektiert werden, dass diese maximalen Framegrößen zugeordnet werden. Auf Basis beispielsweise des wahrgenommenen Bedarfs an großen Frames hinter der Verbindungsstelle, dies im Vergleich zu der Größe der Frames vor der Verbindung, können die Codiererpufferbelegungsgrenzen optimiert werden, damit auf geeignete Weise bemessene Frames vor und nach der Verbindungsstelle möglich sind, durch eine entsprechende Bestimmung von MSR-Ein gegenüber MSR-Aus.

Claims

Codierer zum Codieren von Frames zur Kommunikation mit einem Decoder, wobei der genannte Decoder eine assoziierte minimale Decoderpuffergröße hat und Mittel zum Entfernen jeder der genannten Frames aus dem genannten Decoder zu einer bestimmten Decodierzeit, wobei die genannte Kommunikation ggf. über einen Schalter erfolgt, der ggf. den genannten Codierer mit dem genannten Decoder verbindet bzw. trennt, wobei der genannte Codierer Folgendes umfasst: – einen Codiererpuffer, der imstande ist, die genannten Frames zu enthalten, wobei die genannten Frames aus Datenelementen bestehen, wobei der gesamte Betrag an Datenelementen innerhalb des Puffers als der Belegungsgrad des Codiererpuffers bezeichnet wird, – Mittel zum Transportieren der Datenelemente von dem Codiererpuffer zu dem Decoder mit einer Transportrate, wodurch der Belegungsgrad des Codiererpuffers um die Transportrate reduziert wird, – Mittel zum Regeln des Belegungsgrades des genannten Codiererpuffers derart, dass dieser innerhalb der unteren Belegungsgrenze und einer höheren Belegungsgrenze liegt, und – Mittel zum Identifizieren von Verbindungsstellen zwischen den genannten Frames, wobei die genannten Verbindungsstellen als Eingangspunkte, Ausgangspunkte, oder als Eingangs-Ausgangspunkte gekennzeichnet sind, – wobei der genannte Eingangspunkt eine Stelle identifiziert, an der der Schalter den Codierer mit dem Decoder verbunden kann; – wobei der genannte Ausgangspunkt eine Stelle identifiziert, an der der Schalter den Codierer von dem Decoder loskoppeln kann, – wobei der genannte Eingangs-Ausgangspunkt eine Stelle identifiziert, an der der Schalter den Codierer von dem Decoder loskoppeln kann, – wobei der genannte Eingangs-Ausgangspunkt eine Stelle identifiziert, an der der Schalter den Codierer mit dem Decoder koppeln bzw. von demselben loskoppeln kann, – wobei die genannten Verbindungsstellen und die genannte Codiererpufferbelegung derart sind, dass wenn der Schalter den Codierer mit dem Decoder an der Verbindungsstelle verbinden bzw. dieselben voneinander trennt, die Anzahl Datenelemente in dem Decoder die minimale Decoderpuffergröße nicht übersteigt, und alle Datenelemente, die mit jedem Frame assoziiert sind, zu der spezifizierten Decodierzeit jedes Frames mit dem Decoder kommuniziert worden sind, dadurch gekennzeichnet, dass – die untere Belegungsgrenze erhöht wird, und zwar für Frames vor einem Nur-Ausgangsverbindungspunkt und einem Eingangs-Ausgangsverbindungspunkt, und nicht erhöht wird für Frames vor einem Nur-Eingangsverbindungspunkt wenn die Codierertransportrate niedriger ist als die Nenn-Verbindungsrate, und die untere Belegungsgrenze verringert wird für Frames vor einem Nur-Eingangsverbindungspunkt und einem Eingangs-Ausgangsverbindungspunkt, und für Frames vor einem Nur-Ausgangsverbindungspunkt nicht verringert wird, wenn die Transportrate des Codierers höher ist als die Nenn-Verbindungsrate.
Codierer nach Anspruch 1, wobei die untere Belegungsgrenze für Frames nach einem Nur-Eingangsverbindungspunkt und einem Eingangs-Ausgangsverbindungspunkt verringert wird, und für Frames vor einem Nur-Ausgangsverbindungspunkt nicht verringert wird, wenn die Transportrate des Codierers höher ist als die Nenn-Verbindungsrate.
Codierer nach Anspruch 1, wobei die genannte Erhöhung oder Verringerung der genannten unteren Belegungsgrenze abhängig ist von der Differenz zwischen der Nenn-Verbindungsrate und der Transportrate.
Codierer nach Anspruch 1, 2 oder 3, wobei – die genannten Frames MPEG-Videoframes sind, und – die genannte Nenn-Verbindungsrate die MPEG-Maximalverbindungsrate (MSR) ist.
Codierer nach einem der Ansprüche 1–4, dadurch gekennzeichnet, dass die genannte Decoderpuffergröße eine maximale Transportrate bestimmt, wobei die genannte maximale Transportrate größer ist als die Nenn-Verbindungsrate, und – die Transportrate derart eingestellt wird, dass diese – kleiner ist als der Nenn-Transportrate oder dieser Rate entspricht, wenn jeder Nur- Eingangsverbindungspunkt und jeder Eingangs-Ausgangsverbindungspunkt bei dem Schalter ist, und – kleiner ist als die maximale Transportrate oder derselben entspricht, wenn jeder Nur-Ausgangsverbindungspunkt bei dem Schalter ist.
Codierer nach Anspruch 4, wobei die genannte obere und untere Grenze eine maximale Framegröße für jedes Frame bestimmen und die Nenn-Verbindungsrate und die maximale Transportrate in Abhängigkeit von einer gewünschten maximalen Framegröße für Frames vor dem Verbindungspunkt, und bei einer gewünschten maximalen Framegröße für Frames nach dem Verbindungspunkt bestimmt werden.
Codierer nach Anspruch 5 oder 6, wobei die genannten Frames MPEG-Videoframes sind und die genannte maximale Transportrate der minimalen Decoderpuffergröße (Bd) geteilt durch eine MPEG Verbindungsdecodierverzögerung (SDD) entspricht.