DE60211790T2

DE60211790T2 - Videokodierung mit konstanter Qualität

Info

Publication number: DE60211790T2
Application number: DE60211790T
Authority: DE
Inventors: Patrice Alexandre; Gildas Guelou; Xavier Ducloux
Original assignee: Nextream SA
Current assignee: Nextream SA
Priority date: 2001-03-29
Filing date: 2002-03-15
Publication date: 2007-05-24
Anticipated expiration: 2022-03-16
Also published as: FR2823049A1; JP2002314996A; US20020181584A1; KR100841268B1; EP1248469A1; MXPA02002719A; KR20020077074A; US7082167B2; MY135393A; DE60211790D1; ATE328445T1; EP1248469B1; FR2823049B1; CN1379591A; CN100350801C; JP4669190B2; TW563370B

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Überwachung von Videodaten, die Kodierung und Dekodierung unterliegen sollen, die es möglich machen, nach der Dekodierung eine vordefinierte konstante Qualität beizubehalten.
Videokompression nach bestimmten Standards, und besonders nach dem MPEG2 Standard, ist als ein Verfahren "nicht transparenter" Kodierung bekannt, das es im Besonderen ermöglicht, eine Sequenz von Videodaten in der Form eines Stroms binärer Elemente darzustellen, deren Durchsatz auf die Bedingungen der Speicherung und/oder des Transports des genannten Stroms eingestellt werden kann. Der Begriff "nicht transparent" bedeutet, dass die verwendendeten Kodierungsalgorithmen das auf die Datensequenz angewendete Stufe der Herabsetzung (Degradation) als eine Funktion des Entropieniveaus des Videosignals und des gewünschten Durchsatzes des resultierenden Stroms anpassen. Die angewendeten Herabsetzungen sind das Ergebnis eines Quantisierungsprozesses von Koeffizienten, die das Videosignal nach der DCT (Diskrete Cosinus Tranformation) darstellen.
Für einen Binärstrom mit konstantem Durchsatz stellt das Kodierungsverfahren nach dem MPEG2 Standard dauernd das Quantisierungsniveau der DCT Koeffizienten so ein, dass ihre Kodierung einen Binärstrom entsprechend der Zielbitrate erzeugt. Eine solche Lösung tendiert dahin, das Degradierungsniveau für ein Videosignal, dessen Entropie zeitlich variert, veränderlich zu machen. Daher erzeugt eine Kodierung mit fixiertem Durchsatz ein veränderliches Qualitätsniveau der Kodierung.
Wenn mehrere Videosequenzen gemeinsam auf einem Übertragungskanal mit fester Bandbreite (wie z.B. im Falle eines Satellitentransponders) transportiert werden, ist es vorzuziehen, den nutzbaren Durchsatz zwischen den Kodierungsverfahren über einen zentralisierten Durchsatzzuteilungsalgorithmus aufzuteilen. Diese Lösung, weithin unter der Überschrift des statistischen Multiplexings bekannt gemacht, macht es möglich, die erhaltene Gesamtdegradierung im Mittel um 10 bis 30% zu reduzieren im Vergleich mit Aufteilung in einem Modus mit fixiertem Durchsatz für jede Videosequenz.
Ganz besonders ergibt das statistische Multiplexing eine Verringerung der Streuung der Kodierungsqualität zwischen den Videosequenzen dadurch, dass mehr Durchsatz den Videosequenzen zugeteilt wird, die die größte Entropie aufweisen.
Nichtsdestoweniger basiert statistisches Multiplexing auf den statistischen Eigenschaften des Inhaltes von Videosequenzen in endlichen Zahlen, so dass die Kodierung im Zeitverlauf noch Schwankungen aufweist. Wenn z.B. alle Videosequenzen gleichzeitig sehr hohe Entropie aufweisen, wird die Gesamtqualität der Kodierung weniger als die durchschnittliche Betriebsqualität. Wenn umgekehrt Videosequnzen niedriger Entropie im gleichen Augenblick übertragen werden, dann wird die Gesamtqualität der Kodierung höher als die durchschnittliche Kodierungsqualität.
In diesem letzteren Fall wird es vorteilhaft, den der Kodierung der Videosequenzen zugewiesenen Gesamtdurchsatz zu Gunsten der Daten einer opportunistischen Natur, (Daten, deren Durchsatz nicht garantiert wird) zu reduzieren. Dann findet die Kodierung jeder Videosequenz mit Begrenzung ihres Durchsatzes so statt, das es möglich gemacht wird, die angestrebte Betriebsqualität zu erhalten.
Die internationale Patentanmeldung WO 00/16559 erklärt zu diesem Thema, dass es sinnlos ist, Daten zu erzeugen, deren sichtbare Qualität höher als eine vorher festgelegte Qualität ist. Diese Patentanmeldung erwähnt eine lineare Übereinstimmung zwischen einem vordefinierten Qualitätsniveau und einem Quantisierungparameter, diese Übereinstimmung, die die Komplexität des Bildes nicht mit einbezieht, und es folglich nicht möglich macht, eine konstante Qualität für die kodierten Daten zu gewährleisten.
Darüberhinaus erwähnt diese Patentanmeldung die Übertragung opportunistischer Daten, wenn die Summe der Durchsätze der Ströme, die sich den Kanal teilen, geringer als die Kanalbandbreite ist.
Um jedoch ein wirksames Verfahren der gemeinsamen Nutzung der Bandbreite (sharing) zu erhalten, während ein Qualitätsniveau für alle Videosequenzen garantiert wird, ist es wichtig, den Inhalt der Videosequenzen zu berücksichtigen. Das gilt, weil die Informationsmenge, die zur Kodierung einer Videosequenz erforderlich ist, von der Entropie dieser Sequenzen abhängt. Je höher die Entropie, desto größer ist die Informationsmenge, die erforderlich ist, um eine konstante Qualität zu garantieren, und umgekehrt, je niedriger die Entropie, desto niedriger ist die Informationsmenge.
Um eine konstante Qualität der Daten nach der Dekodierung zu garantieren, schlägt die Erfindung folglich vor, die Komplexität der Daten, räumlich und/oder im Zeitbereich, zu berücksichtigen, um das Quantisierungsintervall zu bestimmen.
Schließlich schlägt die vorliegende Erfindung ein Verfahren der Qualitätsüberwachung der Videodaten vor, die der Kodierung und Dekodierung unterliegen sollen, um eine vor-definierte konstante Qualität der Videodaten nach Dekodierung zu ermöglichen. Entsprechend der Erfindung

– wird Information, die die Komplexität von Videodaten darstellt, die kodiert werden sollen, von wenigstens einem Kodierer empfangen,
– für jedes Video-Datenwort, das kodiert werden soll, wird ein Quantisierungsreferenzwert als Funktion der genannten Komplexität berechnet,
– für jedes Video-Datenwort, das kodiert werden soll, wird ein Durchsatzreferenzwert als Funktion des Quantisierungsreferenzwertes und des Wertes der vordefinierten konstanten Qualität berechnet und an den genannten Kodierer übertragen, um diesem Kodierer zu erlauben, jedes Video-Datenwort so zu kodieren, dass nach dem Dekodieren Videodaten mit der vordefinierten Qualität erhalten werden.

Eins der besonderen Merkmale der Erfindung ist die Definition eines parametrischen Qualitätsmodells über das der Nutzer in die Lage versetzt wird, eine gewünschte Betriebsqualität festzulegen und das vorgeschlagene parametrische Modell Kriterien berücksichtigt, die Qualität subjektiv einzuschätzen, die nach Kodierung wahrgenommen wird.
Das gilt, weil die Kodierungsverfahren mit Quantisierung der DCT Koeffizienten die Schwierikeit zeigen, keine konstante subjektive Wahrnehmung der Qualität eines gegebenen Quantisierungsniveaus zu liefern. Genauer gesagt, erfordern die Datensequenzen mit wenig detailliertem Inhalt (z.B. große Fläche auf einem Gesicht) für gleiche subjektive Wiedergabequalität ein niedrigeres Quantisierungsviveau als für Sequenzen, deren Inhalt aus vielen Details besteht (z.B. Menschenmenge in einem Fußballstadion).
Der Vorteil der Erfindung liegt in der Einbeziehung der oben erwähnten Charakteristiken in einem parametrischen Qualitätsmodell, in dem das Niveau räumlich-zeitlicher Komplexität der zu kodierenden Videosequenz eine Rolle als ein Bestandteil zur Einstellung des vorgesehenen durchschnittlichen Quantisierungsniveaus spielt.
Bevorzugt wird die Komplexität dieser Videodaten einerseits durch Ausführen einer Analyse des Kodierungsaufwandes, der bei der DCT entsteht, Quantisierung und Kodierung von längenvariablen Typen und, anderseits, einer Analyse des für die Erzeugung der kodierten Videodaten notwendigen Syntaxaufwandes gemessen.
Gemäß einem besonderen Modus, in dem die Daten möglicherweise in räumlichen Modus sind, die als Intra-Datentyp oder Daten im Zeitbereichsmodus bekannt sind, Daten, die als Inter-Daten-Typ bekannt sind, die möglicherweise entweder bi-direktional oder vorhergesagt sind, besteht die Aufwandsanalyse der Kodierung im Fall der Videodaten der Intra- oder Inter-Typen darin, eine räumliche Inhaltsanalyse auszuführen, der im Fall von Inter-Typ-Bildern eine Analyse im Zeitbereich folgt.
Die Erfindung gilt besonders für Kodierer des MPEG2-Typs.
Wenn in einer besonderen Schaltungslösung die Videodaten nach der Kodierung auf einem Übertragungskanal mit fester Bandbreite übertragen werden, ist der verwendete Durchsatz am Ausgang des genannten Kodierers der Minimalwert zwischen dem berechneten Referenzdurchsatz und dem Durchsatz des Übertragungskanals.
Wenn in einer besonderen Schaltungslösung die Information, die die Komplexität der zu kodierenden Videodaten darstellt von wenigstens zwei Kodierern empfangen wird und die Datenausgabe der verschiedenen Kodierer über denselben Übertragungskanal übertragen werden soll, wird eine Ziel-Bitrate (Di) für jeden Kodierer berechnet, die einen Bruchteil der Kanalbandbreite ergibt, die Summe der Durchsatzraten Di gleich der Kanalbandbreite ist, und

– wenn die Summe der Referenzdurchsätze größer als die Kanalbandbreite ist, wird die die Bandbreite zwischen den verschiedenen Kodierern dadurch aufgeteilt, dass ihnen ihre Zielbitraten (Di) zugeteilt werden, die kleiner als ihre Referenzbitraten (D_ref) sind,
– wenn die Summe der Referenzdurchsätze kleiner als oder gleich der Kanalbandbreite ist, wird jedem Kodierer die Referenzdurchsatzrate (D_ref) zugeteilt.

Wenn, im Gegensatz zu den bekannten Systemen, ein Kodierer seinen Durchsatz bei maximaler Qualität erreicht, gibt er Durchsatz nicht durch Erzeugen freier Leerpakete frei, um opportunistische Daten einzufügen, sondern die Bandbreite wird gerecht zwischen den verschiedenen Kodierern aufgeteilt, die mehr Durchsatz benötigen.
Wenn vorteilhafterweise der Referenzdurchsatz geringer als der Durchsatz des Übertagungskanals ist, werden als opportunistisch bekannte Daten in den Übertragungskanal eingefügt, deren Durchsatz höchstens gleich dem Durchsatz des Übertragungskanals minus dem Referenzdurchsatz ist.
Wenn daher alle Kodierer einen ausreichenden Durchsatz haben, dann ist es möglich, Daten zwischen den Videodaten einzufügen.
Entsprechend bezieht sich die Erfindung auf eine Vorrichtung zur Überwachung der Qualität von Videodaten, die Kodierung und Dekodierung unterliegen sollen, die es ermöglicht, eine vordefinierte konstante Qualität nach der Dekodierung beizubehalten. Entspechend der Erfindung umfasst die Vorrichtung:
Einrichtungen zum Empfang von Information von wenigstens einem Kodierer, die die Komplexität der zu kodierenden Daten darstellt,
Einrichtungen zur Berechnung eines Quantisierungs-Referenzwertes für jedes zu kodierende Datenwort als eine Funktion dieser Komplexität,
Einrichtungen zur Berechnung und Übertragung zu dem genannten Kodierer eines als Funktion des Referenzquantisierungswertes und des Wertes der vordefinierten konstanten Qualität für jedes zu kodierende Datenwort berechneten Referenzdurchsatzes, der es dem Kodierer ermöglicht, jedes Datenwort so zu kodieren, um nach der Dekodierung Daten mit der vordefinierten Qualität zu erhalten.
Die Erfindung bezieht sich auch auf ein System zur Kodierung von Videodaten, das mindestens einen Videokodierer einschließt, eine Vorrichtung zur Überwachung der Qualität von Videodaten entsprechend Anspruch 8, und eine Einrichtung zum Einfügen von als opportunistische Daten bekannten Daten, um die kodierten Videodaten und die opportunistischen Daten in demselben Übertragungskanal zu übertragen.
Beim Lesen der Beschreibung der folgenden Beispiele von Schaltungslösungen, die als nicht einschränkende Beispiele unter Bezugnahme auf die angefügten Zeichnungen gemeint sind, werden die Erfindung besser verstanden und andere Merkmale und Vorteile erkennbar werden:
1 stellt ein Blockdiagramm eines Kodierers mit fixierter Qualität und einem veränderlichen Durchsatz entprechend der Erfindung dar,
2 stellt die Einzelteile eines Kodierers mit fixierter Qualität und variablen Durchsatz entsptechend der Erfindung dar,
3 stellt ein erstes Beispiel eines Blockdiagramms eines Systems zur Kodierung bei maximaler garantierter Qualität entsprechend der Erfindung dar,
4 stellt ein zweites Beispiel eines Blockdiagramms eines Systems zur Kodierung bei maximaler Qualität entsprechend der Erfindung dar.
Die Beschreibung wird unter Bezug auf einen Kodierer nach dem MPEG2 Standard gegeben und begründet eine bevorzugte Schaltungslösung, die zur Erläuterung und nicht zur Beschränkung dient.
1 stellt einen Aufbau zur Kodierung mit fixierter Qualität und variablen Durchsatz entsprechend der Erfindung dar. Sie umfasst einen MPEG2 Videokodierer, A1, der mit einem Durchsatzsynthesizer B1 und ebenso wie mit einem Baustein C1 verbunden ist, der die Verwendung eines parametrischen Qualitätsmodels entsprechend der Erfindung ermöglicht.
Dieser Baustein C1 gleicht die kontinuierliche Anordnung des Durchsatzes von dem MPEG2 Datenstrom auf der Grundlage der räumlich-zeitlichen Information, die durch den Kodierer A1 rückgekoppelt wurde, und der von dem Nutzer vorgegebenen Zielqualität an. Daher wird die räumlich-zeitliche Information bei jedem neu durch den Kodiererbaustein A1 kodierten Bild aktualisiert und an den Baustein C1 weitergegeben. Der letztere berechnet dann den neuen Durchsatzwert, der es ermöglichen wird, das gegebene Qualitätsniveau beizubehalten.
Die Bewertung der Qualität der Kodierung beinhaltet psycho-subjektive Kriterien, die schwierig einzuführen sind. Auf dem Niveau der Kodierung kann die Qualität durch den Mittelwert des verwendeten Quantisierungsniveaus ausgedrückt werden, der für die Kodierung jedes Bildes benutzt wird. Je näher dieser an den Einzelwert herankommt, um so besser ist die Qualität nach Dekodierung.
Eine erste Lösung besteht daher darin, einen feststehenden Quantisierungswert einer linearen oder andersartigen Skala zu zuordnen. Dieser Lösungsversuch bietet den Vorteil einer einfachen Umsetzung, zeigt aber zwei größere Mängel:

1. Es wird erkannt, dass die Wahrnehmung der Quantisierungsfehler in natürlicher Weise durch den Inhalt der Kodierung des Videosignals selbst maskiert wird. Daher hat ein Bild mit hoher räumlichen Aktivität (detailreicher Inhalt) bei gleichem Quantisierungsniveau den Effekt der Maskierung von Quantisierungseffekten, wo ein Bild mit wenig Inhalt (wenige Details) gut wahrnehmbare Artefakte erkennen lässt (z.B die Block-Effekte).
2. Es wird erkannt, dass die Wahrnehmung von Artefakten um so kritischer ist, wenn der Bildinhalt von Bild zu Bild unverändert ist. Daher wird ein Bildinhalt bei gleichem Quantisierungsniveau, der sich aus schnell bewegten Objekten zusammensetzt, als ein Bild bei mit besserer Qualität wahrgenommen als ein Bild mit demselben, statischen Inhalt.

2 zeigt genauer die entscheidenden Elemente eines MPEG2 Videokodierers A1, die das Erreichen des Kodier-Verfahrens mit konstanter Qualität entsprechend der Erfindung ermöglichen.
Die Videodaten werden überall in der Beschreibung in einer nicht ausgrenzenden Weise als Videobilder beschrieben. Die Videobilder werden in elementare 16 × 8 Pixel-Blöcke 101 segmentiert und gleichzeitig an einen Bewegungs-Schätzer-Baustein 103 und einen Verzögerungsbaustein 102 weitergeleitet. Die Ausgabe des Verzögerungsbausteins 102 wird zu einem Differenziererbaustein 104 als auch an einen Bewegungs-Schätzerbaustein 103 weitergeleitet, der die Bewegungsmessung der elementaren Blöcke zwischen den Bildern vornimmt, die sich vor (upstream) bzw. hinter (downstream) dem Verzögerungsbaustein 102 befinden.
Der Bewegungsschätzer-Baustein 103 liefert an seinem Ausgang ein Feld von Bewegungsvektoren, die es ermöglichen, eine Vorhersage des zu kodierenden Bildes an dem Eingang des Differenzierers 104 auf der Grundlage des vorher kodierten und in dem Bildspeicher 110 gespeicherten Bildes zu erzeugen. Der Inhalt des Speichers 110 stellt daher das voher kodierte Bild dar, wie es durch das Verfahren der Dekodierung des MPEG2 Videostroms übergeben wurde.
In dem Fall einer Kodierung im räumlichen Modus (Intra-Bild) ist ein Router in der Weise geöffnet, dass die elementaren Blöcke des zu kodierenden Bildes an ein DCT- Baustein 105 gesandt werden. Die von dem Baustein 105 ausgegebenen Koeffizienten werden dann durch einen Quantisiererbaustein 106 quantisiert, bevor sie durch den Baustein 113 in einen Kode variabler Länge (VLC) formatiert werden. Die resultierende binäre Folge wird in einem Pufferspeicher 114 gespeichert, dessen Aufgabe es ist, das Senden des binären Stroms mit dem Takt des Durchsatzes auszuspulen, der von einem Durchsatzsynthesizer B1 vorgegeben wird.
Der Ausgang des Quantisiererbausteins 106 wird auch an einen Invers-Quantisiererbaustein 107 geleitet, dem ein inverser DCT Baustein 108 folgt. Diese beiden Stufen führen die Funktion der Wiederherstellung der elementaren Blöcke aus, wie sie durch einen MPEG2 Videostromdekoder ausgeführt wird, um so das Referenzbild in einem Bildspeicher 110 zu behalten, das während der Wiederherstellung durch den Dekoder benutzt wird.
Wenn das an dem Ausgang des Verzögerungsbausteins 102 vorhandene Bild im Differentialmodus (vorausgesagtes Bild) kodiert wird, wird der Router 111 geschlossen, was die Aktivierung der Differenzmessung durch den Differenziererbaustein zwischen dem zu kodierenden und dem vorausgesagten Bild durch Bewegungskompensation auf dem Bild bewirkt, das in dem Bildspeicher 110 gespeichert ist.
Der Pfad der Kodierung an dem Ausgang des Differenzierers 104 ist dann derselbe wie für den Fall des Intra-Bildes. Andererseits wird das neu in dem Bildspeicher 110 abgespeicherte Bild dann durch Summierung der elementaren Blöcke zwischen dem Ausgang dieses Bildspeichers 110 und dem Voraussagefehlerausgang durch einen inversen DCT Baustein 108 erhalten. Die Summierung wird durch einen Differenzierer baustein 109 ausgeführt, der das Bild an Speicher 110 zurück gibt.
Es wird bemerkt werden, dass der MPEG2 Standard eine differentiale Darstellung von den Bildern einer Sequenz durch die Verwendung von Bewegungskompensation erlaubt. In einem Strom von Bildern, die entsprechend dem MPEG2 Standard kodiert wurden, werden einige von ihnen im räumlichen Modus durch einfache DCT Transformation, gefolgt von Quantisierung dargestellt. Auch findet man durch Bewegungskompensation Bilder, die über Differenzbildung durch Vergleich mit einem oder mehr Referenzbildern kodiert wurden.
In dem ersten Fall liegt das Referenzbild kurzzeitig in der Bildfolge etwas früher, und dann spricht man von vorausgesagten (Predicted) Bildern (daher der Ausdruck "P Bild"). In dem zweiten Fall (in 1 nicht beschrieben) rahmen die zwei Referenzbilder, zeitlich gesehen, das durch eine bi-direktionale Bewegungskompensation zu kodierende Bild in der Sequenz ein (daher der Ausdruck "B Bild").
Die P und B kodierten Bilder werden deshalb in der Form einer Differenz zwischen Videobildern dargestellt, von denen eins bewegungskompensiert ist, was eine beträchtliche Verringerung der in einer Sequenz von Videobildern im Zeitbereich enthaltenen Redundanz ermöglicht. Mit einem Beispiel könnte eine Sequenz, die sich aus einem Standbild zusammen setzt, in vorteilhafter Weise durch Aufrufen von P und B Bildern kodiert werden. Das gilt, weil es ausreicht, das erste Bild der Videosequenz im räumlichen Modus (I Bild) zu kodieren, und die anderen Bilder P und/oder B entsprechend so zu kodieren, dass diese differentialen Bilder ohne Inhalt sind (die Differenz gegenüber dem Referenzbild ist im Fall des Standbildes Null).
Das Prinzip der Bewegungskompensation und der differentialen Kodierung konstituiert eine starke Bedeutung der Kodierung nach dem MPEG2 Standard. Andererseits ergibt diese Art der Kodierung Zunahme von starken Qualitätsschwankungen, wenn der sich aus der Kodierung ergebende binäre Strom die Bedingung zeitlich konstanten Durchsatzes erfüllen muss. Man kann intuitiv verstehen, dass eine Sequenz von Bildern, die im zeitlichen Verlauf leichte Inhaltsveränderungen aufweist, eine Zunahme vorhergesagter Bilder mit niedriger Entropie und deshalb nach der Kodierung kleinerer Abmessung ergibt. Daher ist bei gleichem Durchsatz der Kodierung das für die Sequenz benutzte Quantisierungsniveau niedriger, als es für die Kodierung einer Sequenz mit starken Schwankungen von Bild zu Bild gewesen wäre.
DCT 401, Quantisierung 402 und VLC-formatierend 403 Bausteine werden deshalb parallel zu dem Verzögerungsbaustein 102 hinzugefügt. Diese drei Bausteine ermöglichen die Ausführung einer Vorkodierung jedes Videobildes in dem räumlichen Modus (Intra Bild), und das Kodierungsergebnis wird dem Durchsatzsteuerungsbaustein 404 zugeführt. Dieser Steuerungsbaustein beeinflusst das Quantsierungsniveau in solcher Weise, um eine Messung der Komplexität jedes Bildes einzuführen in der Form:
ist der Wert des Quantisierungsniveaus, das der Quantisiererbaustein 402 für den elementaren Block i verwendet.
ist der Aufwand der Kodierung der Koeffizienten des elementaren Blocks i (Anzahl der Bits, die durch den VLC formatierenden Baustein 403 erzeugt wird).
N_ch ist die Anzahl der elementaren Blöcke in jedem Bild.
Der Wert des in dem Baustein 402 verwendeten Quantisierungsniveaus kann z.B. als eine Funktion des von dem Durchsatzsteuerungsbaustein 404 empfangenen Durchsatzniveaus bestimmt werden. Vorzugsweise wird dessen Steuerung durch das in 1 beschriebene parametrische Bildqualitätsmodell C1 geliefert.
In Verbindung mit der Messung (2), zeichnet der Steuerbaustein 404 den Syntaxaufwand der Informationsausgabe durch den VLC Baustein 403 auf, der sich nicht auf die DCT Koeffizienten bezieht (Bild-Kopfzeilen, Modi zur Darstellung elementarer Blöcke usw.):
Csyn_I ist der Aufwand (Anzahl der Bits, die von dem VLC Formatierer 403 erzeugt werden) der Syntaxelemente des MPEG2 Stroms, der von dem im räumlichen Modus kodierten Bild abhängt.
Der Gesamtaufwand für die Kodierung des Bildes im räumlichen Modus (Größe des MPEG2 Stroms, die vom Bild abhängt) wird dann so ausgedrückt:
Wenn das zu kodierende Bild an dem Eingang des Differenzierers 104 nicht im räumlichen Modus ist (z.B. der Fall eines vorhergesagten Bildes) hat der Durchsatz steuerungsbaustein 404 eine zweite Komplexitätsmessung (Zeitbereichsmessung genannte) in der Formel:
ist der Wert des von dem Baustein 106 verwendeten Quantisierungsniveaus für den elementaren Block i.
ist dr Kodierungsaufwand der DCT Koeffizienten des elementaren Blocks i (Anzahl der Bits die von dem VLC-Formatierer 113 erzeugt werden).
N_ch ist die Anzahl der elementaren Blöcke in jedem Bild.
In der gleichen Weise wie vorher:
Zum Schluss diese Angabe:
in dem letzteren Fall eines Bildes, das in bidirektionalem Modus kodiert wurde (Fall in 2 explizit dargestellt).
Mit jedem kodierten Bild hat der Durchsatzsteuerungsbaustein 404 deshalb zwei Sätze von Statistiken über Komplexität und Syntaxaufwand verfügbar, die er an den parametrischen Bildqualitätsbaustein 31 weiterleitet: (X_i, Ssyn_i) und (X_T, Csyn_T), und der Index T in Abhängigkeit von dem Kodierungstyp des gegenwärtigen Bildes die Werte I, P oder B annehmen kann.
Der parametrische Bildqualitätsbaustein C1 führt dann die Berechnung des in dem Kodierer A1 anzuwendenden Durchsatzes als eine Funktion der Statistiken aus, die er empfängt. Zur Ausführung geht er in zwei Schritten vor:

1. Berechnung des als "Referenz"-Quantisierungsniveau bekannten Quantisierungsniveaus, das das auf im räumlichen Modus kodierte Bilder anzuwendende Quantisierungsniveau (I Bilder) als eine Funktion des Zielwertes der Qualität darstellt, der durch den Benutzer vorgegeben wurde:
mit: K = 0.1 α = 0.5 0.3 < γ < 0.55
2. Berechnung des anzuwendenden Durchsatzes, um dieses Referenz-Quantisierungsniveau nach Kodierung zu erfüllen:
mit: F_image, Anzahl der zu kodierenden Bilder pro Sekunde. N_P, Anzahl von P Bildern zwischen zwei Bildern des I-Typs in dem Datenstrom. N_B, Anzahl von B Bildern zwischen zwei Bildern des I-Typs in dem Datenstrom. K_P = 1.1 K_B = 0.65

Die Werte K_P und K_B werden von dem Kodierer benutzt, um die Regeln zur Aufteilung der durchschnittlichen Quantisierungsniveaus zwischen den Typen der kodierten Bilders zu bestimmen: QI = KPQP = KBQB (10)wo Q_I, Q_P und Q_B die durchschnittlichen Quantisierungsniveaus für die jeweiligen Bildtypen I, P und B sind.
Der Zielwert der von dem Benutzer an dem Eingang des parametrischen Bausteins ausgewählten Qualität hat einen Einfluss auf den Wert γ in Formel (7). Für unser Qualitätskriterium, das über eine Einteilung von 0 (Qualitätsminimum) bis 100 (Qualitätsmaximum) ausgedrückt wird, wird dann die Beziehung in der Form ausgedrückt:
Der parametrische Bildqualitätsbaustein C1 sendet dann den Wert D_ref als Durchsatzfestwert an den Kodierer A1 und an den Durchsatzsynthesizer C1. Vorzugsweise gibt er den Wert Q_ref an den Kodierer A1 weiter, so dass der Kodierer ihn in dem Quantisiererbaustein 402, wie in 2 beschrieben, verwenden kann.
Es sollte dazu angemerkt werden, dass die Komplexitätswerte, die durch den Durchsatzsteuerungsbaustein 404 weiter gegeben werden, mit jedem neu kodierten Bild aktualisiert werden, und dass sich ihr Inhalt in bestimmten Fällen nur als eine Funktion des für das Bild (I, P oder B) zugeordneten Kodierungstyps ändert. Für die Abspeicherung der neuesten Werte X_I, X_P und X_B wird durch den parametrischen Bildqualitätsbaustein C1 ein Mechanismus benutzt, um die Anwendung der Formeln (8) und (9) auf jedes zu kodierende neue Bild zu ermöglichen.
Auch sollte angemerkt werden, dass das oben beschriebene Verfahren sehr vorteilhaft für den Fall angewendet werden kann, in dem der Kodierer A1 von einem zwei Wege Kodierungsmechanismus Gebrauch macht. In diesem letzteren Fall wird die räumlich-zeitliche Komplexitätsinformation über den ersten Weg in Erwartung der Kodierung des zweiten Weges erhalten. Genauer wird dann der Wert der Durchsatzreferenz D_ref, der durch den parametrischen Bildqualitätsbaustein C1 ausgegeben wird, auf der Grundlage von räumlich-zeitlichen Komplexitäten erhalten, die wirklich den zu kodierenden Bildern zugeordnet sind. Im Falle der Kodierung mit einem einzelnen Weg entstehen die räumlich-zeitlichen Komplexitäten aus schon kodierten Bildern, was den örtlich ungeeigneten Durchsatzwert Dref übergibt, wenn die zu kodierenden Bilder einer deutlichen Inhaltsänderung unterworfen sind (der Fall des Szenenwechsel z.B.).
3 beschreibt einen Modus der Verwendung des Kodierungsqualitätsbausteins entsprechend der Erfindung.
Der MPEG 2 Videokodierer A1 sendet die in 2 bechriebenen Statistiken der Kodierung zu einem parametrischen Bildqualitätsbaustein C1. Der Baustein C1 verwendet dann Formeln (8) und (9), um den Wert D_ref des maximalen Durchsatzes zu erhalten, der es als verwendeter Referenfestwert ermöglicht, das maximale Qualitätsniveau der Kodierung zu erreichen. Dann führt der Baustein C1 einen Vergleich dieses Maximaldurchsatzes mit dem Durchsatzwert des Übertragungskanals D_channel durch, den er als Referenzfestwert erhalten hat.
Umgekehrt erhalten dann der MPEG 2 Videokodierer A1 und der Durchsatzsynthesizer Baustein B1 von dem Baustein C1 den Durchsatzwert D_coder Dcoder = min(Dchannel, Dref) (12)wo min(A,B) den Operator zur Berechnung des Minimums zwischen den Größen A und B darstellt.
Auf diese Weise wird herausgefunden, dass das Qualitätsniveau des MPEG 2 Videostroms an den Maximalwert gebunden ist, der als Referenzfestwert auf dem parametrischen Qualitätsbaustein C1 programmiert ist.
Wenn der Durchsatz D_ref kleiner als der Durchsatz des Übertragungskanals D_channel ist, kann ein Dateneinsetz-Baustein 53 opportunistische Daten in einen Übertagungskanal mit einem Durchsatz D_channel – D_ref so einsetzen, dass die gesamte zur Verfügung stehende Bandbreite eines Übertragungskanals 54 ausgefüllt wird. Das Auslesen der opportunistischen Daten erfolgt von einer Datenbank 52.
Folglich ermöglicht die in 3 beschriebene Vorrichtung, das Qualitätsniveau der Kodierung auf einen Referenzfestwert so zu begrenzen, dass, wenn dieses Qualitätsniveau erreicht ist, etwas von der Bandbreite des Übertragungskanals für den Transport opportunistischer Daten benutzt wird.
4 beschreibt einen Modus der Nutzung des Bausteins der Kodierungsqualität entsprechend der Erfindung in dem Fall einer Multiprogramm-Kodierung in statistischem Multiplex-Modus. Ein Vorteil der Vorrichtung liegt dann in der Fähigkeit, für jeden MPEG 2 Videokodierer A1, A2, ... An, das endgültige Multiplex so zu erstellen, um einem maximalen Qualitätsniveau zu folgen, das nicht überschritten werden darf.
Wenn die Kodierung zur Übertragung über einen Kanal mit fester Bandbreite beabsichtigt ist, und wenn diese Bandbreite ausreichend breit ist, um gleichzeitig die Übertragung von mehreren Videoströmen des Typs MPEG2 zu erlauben, wird es möglich, die Qualitätsänderungen jedes der Programme durch gemeinsame und dynamische Zuteilung des Durchsatzes zu verringern.
Der Multiprogrammstrom enthält in diesem Falle mehrere Ströme des Typs MPEG2, zeitunterteilt durch einen Multiplexer-Baustein 51 in Paketen multiplexed sind. Dieser Multiplexer-Baustein 51 empfängt jeden der MPEG2 Videoströme, deren Durchsätze sich zeitlich ändern. Das Arbeitsprinzip beruht auf einem Informationsaustausch zwischen jedem der MPEG2 Videokodierer A1, A2 ... An und einer Durchsatz-Zuteilungs-Einheit 50 über ein parametrisches Bildqualitätsmodell D1, D2 ... Dn.
Besonders führt jeder MPEG2 Videokodierer A1, A2 ... An eine Inhaltsmessung der Videobildsequenz aus, die er in der Form einer Größe zu kodieren hat, die die Schwierigkeit der Kodierung repräsentiert. Z.B. kann diese Größe aus einer Messung der räumlich-zeitlichen Komplexität abgeleitet werden, die in der Form des Produktes des durchschnittlichen Quantisierungsintervalls im Laufe der Nutzung durch seinen Durchsatzsteuerungsbaustein 404, und des an dem Eingang seines Pufferspeichers 114 festgestellten Kodierungsaufwands ausgedrückt wird. Die Durchsatzanforderung von dem Kodierer mit dem Index i in der Gruppe der Kodierer wird daher mit Ri bezeichnet.
Der Durchsatzzuordnungsbaustein 50 sammelt andauernd diese Anforderungen Ri von den mit dem Multiplexerbaustein 51 über ihre parametrischen Bildqualitäts-Bausteine D1, D2 ... Dn verbundenen MPEG2 Videokodierern. Dann wendet er eine Verteilungsregel der Zielbitrate für diese Gruppe von Kodierern im Verhältnis der durch jeden Kodierer zurück geleiteten Anforderungen an, in der Form:
mit.
D_i: Durchsatz, dem Kodierer i zugeteilt.
R_i: Durchsatzanforderung von dem Kodierer i an den Durchsatz-Verteilerbaustein 50 ausgegeben.
D_channel: nutzbarer Durchsatz auf dem Übertragungskanal 54
N: Anzahl der mit dem Multiplexer 51 verbundenen Kodierer.
Beim Fehlen des parametrischen Qualitätsbausteins wird Formel (1) für jeden mit dem Multiplexer-Baustein 51 verbundenen Kodierer angewendet. Die Summe der Durchsätze, die durch den Baustein 50 zu jedem der Kodierer A1, A2 ... An und Durchsatzsynthesizer B1, B2 ... Bn weitergeleitet wird, ist konstant und gleich dem nutzbaren Durchsatz des Übertragungskanals 54.
Ein detailliertes Ausführungsbeispiel des Durchsatzverteilerbausteins wird in dem Europäischen Patentantrag EP1037473 gegeben, der in dem Namen der Firma Thomson Broadcast Systems eingereicht wurde.
Die statistische Multiplexlösung ermöglicht eine deutliche Verringerung der Zeitbereich-Schwankung in der Qualität der Kodierung einer Sequenz von Bildern, ohne in irgendeiner Weise das Ziel konstanter Qualität zu erfüllen, wegen der Tatsache, dass die Anzahl der kodierten Videosequenzen schnell durch die Bandbreite des Übertragungskanals 54 begrenzt wird. Die Statistik über räumlich-zeitliche Komplexität des Satzes von Videosequenzen zeigt dann größere oder geringere Schwankungen in Abhängigkeit von der Anzahl der mit dem Multiplexerbaustein verbundenen Kodierern.
Um das auszuführen, senden die parametrischen Bildqualitätbausteine D1, D2, ..., Dn, die den entsprechenden MPEG2 Videokodierern A1, A2, ..., An zugeordnet sind, eine Anforderung auf zwei Ebenen zu einem Durchsatzzuordnungsbaustein 50. Einerseits leiten sie die Durchsatzanforderung R, wie sie von den Kodierern A1, A2, ..., An ausgegeben werden, weiter. Gemeinsam senden sie einen Wert des maximalen Durchsatzes in der Form D_ref, wie in Gleichung (9) beschrieben und in Übereinstimmung mit dem Referenzfestwert des Kodier-Qualitätsniveaus. Die Durchsatzzuordnungs-Einheit 50 teilt dann die Durchsätze unter den MPEG2 Videokodierern A1, A2, ..., An auf und erzeugt den Multiplex gemäß Formel (1), und begrenzt nichtsdestoweniger den Durchsatz jedes Kodierers auf den Maximalwert D_ref, wie er von seinem zugeordneten parametrischen Bildqualität-Baustein berechnet wurde.
Wenn daher die Summe der maximalen Durchsätze Dref die von den Kodierern ausgegeben wurden, unter den Wert der Zielbitrate der Gruppe der Kodierer fällt, ist dagegen ein Multiplexer (64) eingesetzt, um "leere" Pakete in der Weise auszusenden, dass der Übertragungskanal ingesamt ausgefüllt wird. Diese "leeren" Pakete werden dann durch opportunistische Datenpakete durch den Baustein 53 ersetzt, der diese Daten von einer Datenbank 52 ausliest.
Die Vorrichtung von 4 erlaubt also Transport opportunistischer Daten (Daten deren Durchsatz über die Zeit nicht garantiert ist) über einen MPEG2 Videostrom-Übertragungskanal nur, wenn das gegebene Referenzqualitätsniveau durch alle MPEG2 Videokodierer erreicht wird.
Tatsächlich hat jeder Videokodierer A1, A2, ..., An einen ihm über seinen parametrischen Bildqualität-Baustein D1, D2, ..., Dn zugeordneten Qualitätszielwert. Dieser Referenzfestwert kann von einen Kodierer zum anderen unterschiedlich sein, was bedeutet, dass einige Kodierer wahrscheinlich ihren maximalen Qualitätsendstand (und deshalb maximalen Durchsatz) vor anderen erreichen. Die gemäß der Erfindung vorgeschlagene Vorrichtung ermöglicht in vorteilhafter Weise, den Kanaldurchsatz den Kodierern, die ihre maximale Qualität nicht erreicht haben, vorrangig zur Verfügung zu stellen, bevor das Einsetzen von Leerpaketen durch den Multiplexer 51 zugelassen wird.
Die Beispiele der Anwendung des Verfahrens der Kodierungsqualitätsüberwachung durch Verwendung parametrischer Modelle, die in diesem Dokument vorgestellt wurden, bedeuten nicht die einzig möglichen Fälle der Nutzung. Der Inhalt der FIGs bilden einen integralen Teil der Beschreibung.

Claims

Verfahren zur Überwachung der Qualität von Videodaten, die der Kodierung und Dekodierung unterliegen sollen, das es ermöglicht, eine vordefinierte Qualität der Videodaten nach Dekodierung beizubehalten, dadurch gekennzeichnet, dass: – Information, die die Komplexität von zu kodierenden Videodaten darstellt, von wenigsten einem Kodierer (A1, A2, ..., An) empfangen wird, – für jedes zu kodierende Video-Daten-Wort wird ein Referenz-Quantisierungswert (Q_ref) als eine Funktion der genannten Komplexität errechnet, – für jedes zu kodierende Video-Daten-Wort wird ein Referenz-Durchsatz (D_ref) als eine Funktion des Referenz-Quantisierungswertes (Q_ref) und des Wertes der vordefinierten Qualität berechnet und zu dem genannten Kodierer übertragen, was diesem Kodierer erlaubt, jedes Video-Daten-Wort so zu kodieren, dass nach der Dekodierung Videodaten mit der vordefinierten Qualität erhalten werden.
Verfahren entsprechend Anspruch 1 dadurch gekennzeichnet, dass die Komplexität der Videodaten gemessen wird, durch Ausführen einerseits einer Analyse des Kodierungsaufwands
der durch eine Diskrete Kosinus-Transformation, Quantisierung und Kodierung des Typs variabler Länge, und andererseits durch eine für die Erzeugung von kodierten Videodaten notwendige Analyse des Syntaxaufwands (Csyn_i) erhalten wird.
Verfahren entsprechend Anspruch 2, dadurch gekennzeichnet, dass die Videodaten, die möglicherweise im räumlichen Modus sind, Daten die als Intra-Typ-Daten bekannt sind oder Daten im Zeitbereichsmodus, Videodaten, die als Inter-Typ-Daten bekannt und möglicherweise entweder bidirektional oder vorhergesagt sind, die Aufwandsanalyse im Falle der Videodaten des Intra- und Inter-Typs in der Durchführung einer nachfolgenden räumlichen Inhaltsanalyse, im Falle der Inter-Typ-Daten aus einer Analyse im Zeitbereich besteht.
Verfahren entsprechend einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass, wenn Videodaten nach der Kodierung über einen Übertragungskanal (54) mit fester Bandbreite übertragen werden, der am Ausgang des Kodierers (A1, A2, ..., An) verwendete Durchsatz der Minimalwert zwischen dem berechneten Referenzdurchsatz (D_ref) und dem Durchsatz des Übertragungskanals (D_channel) ist.
Verfahren entsprechend Anspruch 4, dadurch gekennzeichnet, dass, wenn der Referenzdurchsatz (D_ref) kleiner als der Durchsatz (D_channel) des Übertragungskanals (54) ist, Daten, als opportunistische Daten bekannt, in den Übertragungskanal eingesetzt werden, der Durchsatz der opportunistischen Daten höchstens gleich dem Durchsatz des Übertragungskanals (D_channel) minus dem Referenzdurchsatz (D_ref) ist.
Verfahren entsprechend einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass, wenn Information, die die Komplexität von zu kodierenden Videodaten darstellt, von wenigstens zwei Kodierern (A1, A2, ... An) empfangen wird, und beabsichtigt wird, die Datenausgabe von den verschiedenen Kodierern über denselben Übertragungskanal (54) zu übertragen, wird für jeden Kodierer eine Zielbitrate (Di) berechnet, die einen Bruchteil des Kanaldurchsatzes repräsentiert, die Summe der Durchsätze Di dem Durchsatz des Kanals (D_channel) gleich ist, und – wenn die Summe der Referenzdurchsätze größer als der Kanaldurchsatz ist, der Kanaldurchsatz (D_channel) zwischen den verschiedenen Kodierern durch Zuordnung ihrer Zielbitraten (Di), die kleiner als ihre Referenzdurchsätze (D_ref) sind, aufgeteilt wird, – wenn die Summe der Referenzdurchsätze kleiner als oder gleich dem Kanaldurchsatz ist, jedem Kodierer sein Referenzdurchsatz (D_ref) zugeordnet wird.
Verfahren entsprechend Anspruch 6, dadurch gekennzeichnet, dass, wenn die Summe der Referenzdurchsätze (D_ref) kleiner als der Durchsatz (D_channel) des Übertragungskanals (54) ist, Daten, die als opportunistische Daten bekannt sind, in den Übertragungskanal eingesetzt werden, der Durchsatz dieser opportunistischen Daten höchstens gleich dem Durchsatz des Übertragungskanals (54) minus der Summe der Referenzdurchsätze (D_ref) ist.
Vorrichtung zur Überwachung der Qualität von Videodaten, die Kodierung und Dekodierung unterliegen sollen, die es ermöglicht, eine vordefinierte konstante Qualität der Daten nach der Dekodierung beizubehalten, dadurch gekennzeichnet, dass sie umfasst: – Einrichtungen zum Empfang von Information von wenigstens einem Kodierer, die die Komplexität der zu kodierenden Daten repräsentiert, – Einrichtungen zur Berechnung eines Referenz-Quantisierungwertes (Q_ref) für jedes zu kodierende Datenwort als Funktion der genannten Komplexität, – Einrichtungen zur Berechnung und Übertragung eines Referenzdurchsatzes (D_ref) zu diesem Kodierer für jedes zu kodierende Datenwort, der als Funktion des Referenz-Quantisierungswertes (Q_ref) und des Wertes der vordefinierten konstanten Qualität berechnet wird, der diesem Kodierer erlaubt, jedes Datenwort so zu kodieren, dass Daten mit der vordefinierten Qualität nach der Dekodierung erhalten werden.
System zur Kodierung von Videodaten, dadurch gekennzeichnet, dass es wenigstens einen Kodierer (A1, A2, ... An), eine Vorrichtung zur Überwachung der Qualität von Videodaten entsprechend Anspruch 8, einen Multiplexer (51), und eine Einrichtung (53) zum Einsetzen von als opportunistische Daten bekannte Daten umfasst, um die kodierten Videodaten und die opportunistischen Daten auf demselben Übertragungskanal (54) zu übertragen.