DE10200901B4

DE10200901B4 - Effiziente Codierung von Videosignalen für skalierbare Simul-cast-Speicherung und -Übertragung sowie zugehöriger Codec

Info

Publication number: DE10200901B4
Application number: DE10200901A
Authority: DE
Inventors: Klaus Dr. Illgner; Juergen Dr. Pandel
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2001-09-14
Filing date: 2002-01-11
Publication date: 2004-09-16
Anticipated expiration: 2022-01-12
Also published as: DE10200901A1

Abstract

Verfahren zur skalierbaren Videocodierung, bei dem ein Eingangssignal mit Videobildinformation je einer Mehrzahl (i) von Encodern (EC_i) zugeführt wird, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation (T) transformiert wird und die Encoder (EC_i) das transformierte Videosignal unter Verwendung von unterschiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen (0,1,2,..., i) mit unterschiedlicher Qualität (Q_i) quantisieren, dadurch gekennzeichnet, dass das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist und die Encoder (EC_i) untereinander derart verkoppelt sind, dass anstelle einer Entropiecodierung von quantisierten Transformationskoeffizienten (L_i) zumindest teilweise quantisierte Differenzsignale (ΔX_i) von Transformationskoeffizienten einer Entropiecodierung unterzogen werden und als Ausgangssignale (D_i) mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen dienen.

Description

Effiziente Codierung von Videosignalen für skalierbare Simulcast-Speicherung und -Übertragung sowie zugehöriger Codec Die Erfindung bezieht sich auf ein Verfahren zur skalierbaren Videocodierung, bei dem ein Eingangssignal mit Videobildinformation je einer Mehrzahl von Encodern zugeführt wird, wobei die Encoder das Videosignal auf unterschiedlichen Auflösungsebenen mit unterschiedlicher Qualität quantisieren, sowie auf eine korrespondierende Vorrichtung.

Für viele Anwendungen sind heutzutage Videosignale in unterschiedlichen Qualitätsstufen bereitzustellen, denn in immer mehr Anwendungen ist es erforderlich, codierte Videosequenzen so aufzubereiten, dass diese mit Geräten sehr unterschiedlicher Leistungsfähigkeit decodiert werden können. Beispiele dafür sind:

– Digitales TV in mehreren Qualitätsstufen für unterschiedliche Empfänger (Heim-TV-Geräte, PC, Organizer, multimediafähige Mobilfunkendgeräte)
– Individuelle Videodienste für unterschiedliche Endgeräte und Zugangsnetze (Breitband-Kabel, xDSL, ISDN, UMTS)
– Pay-TV und andere Videodienste für unterschiedliche Gebührenklassen
– Verteildienste für Videoinhalte auf unterschiedlichen Endgeräten und Netzen.

Anwendungsszenarien sind im Besonderen mobile Endgeräte, auf denen Bildsequenzen, die eigentlich für Desktop-Applikationen codiert wurden, wiedergebbar sein sollen. Auch Videokonferenzen zwischen Teilnehmern mit Desktop und mobilen Endgeräten erfordern eine geschickte Anpassung. Hierbei ist die Information, dass ein Teilnehmer ein mobiler Teilnehmer ist, dem Sender / Initiator nicht notwendigerweise bekannt.

Darüber hinaus ist es bei schwankender Netzgüte (Bandbreite, Fehlerrate etc.) hilfreich, mehrere Datenraten für Videoanwendungen bereitzustellen, damit im Fehlerfall die Qualität nur graduell abnimmt und wenigstens eine Mindestqualität eingehalten werden kann. Aus technischer Sicht muss in einem solchen Szenario deshalb eine schnelle Adaption der generierten bzw. übertragenen Bitrate an sehr unterschiedliche Übertragungsbandbreiten möglich sein (z.B. Übertragung im Festnetz im Gegensatz zu drahtloser Übertragung).

Ein zunehmend wichtiger werdendes Szenario stellen sogenannte Streaming-Applikationen dar (sowohl im Festnetz als auch im drahtlosen Netz). Hierbei stellt ein Service-Provider (der auch eine private Einzelperson sein kann) Videomaterial zum Abruf bereit. Der Client fordert die komprimierten Videodaten an, während gleichzeitig das decodierte Bildmaterial dargestellt wird. Auch hierbei muss der Provider sehr unterschiedlichen Kundenanforderungen Rechnung tragen.

Prinzipiell erfordern solche Problemstellungen skalierbare Codierverfahren. Senderseitig (serverseitig) wird nur ein einziger Bitstrom generiert, aus dem aber Bildsequenzen geringerer Qualität und / oder Auflösung decodiert werden können. Damit kann der Client (Empfänger) für Streaming-Applikationen entscheiden, welche Auflösungsqualität er empfangen möchte. Im Fall variierender Terminaleigenschaften decodiert der Client nur den relevanten Teil, der darstellbar ist. Im Bereich mobiler Applikationen mit zeitlich stark schwankenden Kanaleigenschaften ergibt sich die Möglichkeit einer sehr schnellen Adaption des Senders, bzw. eine elegante Schnittstelle für UEP (unequal error protection) Grundsätzlich kann zwischen SNR (signal noise ratio), örtlicher und zeitlicher Skalierbarkeit unterschieden werden. Allen Verfahren gemeinsam ist, dass durch Variation bestimmter Codierparameter die gleiche Bildsequenz bei verschiedenen Bitraten codiert wird. Im Fall der SNR-Skalierung werden durch Variation der Quantisierung unterschiedliche Qualitätsstufen und Bitraten erzielt. Örtliche Skalierbarkeit beschreibt Verfahren, die die Bildsequenz mit unterschiedlichen Ortsauflösungen (Bildgrößen) codieren. Eine zeitliche Skalierbarkeit schließlich stellt die Bildsequenzen mit unterschiedlichen Bildfrequenzen zur Verfügung. Es sei darauf hingewiesen, dass durchaus beliebige Kombinationen der drei Arten möglich sind.

Bisher erfolgt die Bereitstellung der Videoinhalte dadurch, dass entweder die Videodaten in einem skalierbaren Format codiert werden oder dass für jede Qualitätsstufe ein eigener Datenstrom bereitgehalten wird (Simulstore) bzw. ausgesendet wird (Simulcast).

Eine sogenannte Simulcast-Codierung, bei der die gewünschten Bitströme mit unterschiedlich parametrisierten parallelen und unabhängig voneinander arbeitenden Codecs generiert werden, erreichen eine bessere Qualität bei gleicher Bitrate. Dies ist um so bemerkenswerter, als dass im Fall der Simulcast-Codierung eine nicht unerhebliche Redundanz zwischen den einzelnen Bitströmen erhalten bleibt.

Dieses Verfahren geht nämlich sehr verschwenderisch mit Netzressourcen um. Werden z.B, drei Qualitätsstufen benötigt, die Datenraten von 48kbit/s, 64kbit/s und 128kbit/s entsprechen, so beträgt die erforderliche Netzkapazität bei gleichzeitiger Übertragung aller Ströme 240 kbit/s. Außerdem ist die erforderliche Speicherkapazität für die unterschiedlichen Ströme wesentlich größer. Deutlich effizienter sind deshalb skalierbare Verfahren.

Skalierbare Videocodierverfahren wurden in der wissenschaftlichen Literatur bereits vielfach untersucht, allerdings häufig mit einer Ausrichtung auf bestehende oder in der Entwick lung befindliche Standards (MPEG-2, MPEG-4, H.263, H.26L). Beispiele hierzu finden sich in:

– ITU-T Rec. H.263 "Video Coding for low bit rate communication", Annex 0: "Temporal, SNR, and spatial scalability".
– ISO/IEC JTC1/5C29/WG11 "Generic coding of moving pictures and associated audio", ISO/IEC 13818-2 Draft International Standard.

Auch wenn die Verfahren Eingang in die Standards gefunden haben, so finden diese Verfahren bislang keine breite Anwendung, da deren Performance (erzielbares peak Signal to noise ratio (PSNR) bei gegebener Bitrate) sehr unbefriedigend ist.

Hierbei wird bei niedriger Datenrate im Basislager eine Mindestqualität bereitgestellt, mit dem Empfang und Decodierung der Enhancement-Layer kann die Bildqualität stufenweise verbessert werden. Besonders effizient ist in diesem Zusammenhang ein Verfahren zur optimalen SNR-Skalierbarkeit wie es von der Anmelderin in der deutschen Patentanmeldung 10121259.3 vorgeschlagen worden ist. Weitere Verfahren existieren zur feingranularen Skalierbarkeit, die zwar die Möglichkeit zu einer feinstufigen Einstellung der Qualität bieten, jedoch ist allen diesen bekannten Verfahren zueigen, dass diese noch relativ ineffizient bzgl. der Kompressionseigenschaften sind.

Aus der Druckschrift US 5 414 469 ist ein Verfahren zur skalierbaren Videocodierung bekannt, bei dem ein Eingangssignal mit Videobildinformation einer Mehrzahl von Encodern zugeführt wird, wobei die Encoder das Videosignal auf unterschiedlichen Auflösungsebenen mit unterschiedlicher Qualität quantisieren.

Die Druckschrift DE 197 58 252 A1 betrifft eine skalierbare Codiervorrichtung, mit der auf unterschiedlichen Auflösungsstufen codiert werden kann, wobei mittels einer verbesserten Energiekompensation bzw. inversen Kompensation eine gute Bildqualität erreicht wird.

Aufgabe der vorliegenden Erfindung ist es daher, eine effizientere Codierung von Videosignalen für skalierbare Simulcast-Speicherung und -übertragung zu schaffen. Eine weitere Aufgabe besteht in der effizienten Deodierung solcher Signale.

Gemäß der Erfindung wird diese Aufgabe durch ein Verfahren zur skalierbaren Videocodierung gelöst, bei dem ein Eingangssignal mit Videobildinformation je einer Mehrzahl von Encodern zugeführt wird, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation transformiert wird und die Encoder das transformierte Videosignal unter Verwendung von unterschiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen mit unterschiedlicher Qualität quantisieren, wobei das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist und die Encoder untereinander derart verkoppelt sind, dass anstelle einer Entropiecodierung von quantisierten Transformationskoeffizienten zumindest teilweise quantisierte Differenzsignale von Transformationskoeffizienten einer Entropiecodierung unterzogen werden und als Ausgangssignale mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen dienen.

Dies lässt auf besonders vorteilhafte Weise erreichen, indem jeweils eine Quantisierung und eine Entropiecodierung der Differenz aus einem Transformationssignal vor der zugeordneten Quantisierung und einem Transformationssignal einer niedrigeren Qualitätsstufe nach zugeordneter Quantisierung und inverser Quantisierung erfolgt.

Nach einer weiteren vorteilhaften Ausgestaltung arbeiten die Encoder synchronisiert. Zur Synchronisierung arbeitet vorzugsweise ein Encoder als Master, dem die übrigen Encoder als Slaves folgen, indem für den Master-Encoder ein optimaler Codiermodus ermittelt wird, der auf die Slave-Encoder übertragen wird.

Weitere Vorteile ergeben sich, wenn in jedem Encoder eine Bewegungskompensation durchgeführt wird aufgrund von Bewegungsvektoren, die durch eine Bewegungsschätzung ermittelt werden. Vorzugsweise findet eine Bewegungsschätzung auf der höchsten Qualitätsstufe statt.

Dabei hat es sich als vorteilhaft erwiesen, wenn zur Bewegungskompensation auf allen Auflösungsebenen dieselben geschätzten Bewegungsvektoren verwendet werden.

Weitere Vorteile ergeben sich, wenn die Bewegungsschätzung beim Master-Encoder stattfindet und für diesen optimale Bewegungsvektoren ermittelt werden, die im Rahmen der Synchronisierung auf die Slave-Encoder übertragen werden.

Dabei besteht ein großer Vorteil des Verfahrens nach der vorliegenden Erfindung in der Möglichkeit, eine Auswahl des Master-Encoders anwendungsbezogen anhand der besten Codierparameter vorzunehmen.

Eine Decodierung von auf diese Weise codierten Videosignalen erfolgt vorzugsweise, indem die codierten Eingangssignale mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen jeweils einer separaten Entropiedecodierung und inversen Quantisierung unterzogen werden, worauf die jeweils erhaltenen Signale verknüpft werden und das resultierende Gesamtsignal einer gemeinsamen inversen Transformation unterzogen wird.

Eine besonders vorteilhafte Kombination von erfindungsgemäßer Codierung und Decodierung erfolgt mit einem Verfahren zur skalierbaren Videocodierung und Videodecodierung, bei dem ein Eingangssignal mit Videobildinformation je einer Mehrzahl von Encodern zugeführt wird, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation transformiert wird und die Encoder das Videosignal unter Verwendung von unterschiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen mit unterschiedlicher Qualität quantisieren und das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist, wobei die Encoder untereinander derart verkoppelt sind, dass jeweils eine Quantisierung und eine Entropiecodierung der Differenz aus einem Transformationssignal vor der zugeordneten Quantisierung und einem Transformationssignal einer niedrigeren Qualitätsstufe (nach zugeordneter Quantisierung und inverser Quantisierung erfolgt, wobei die resultierenden Signale als Ausgangssignale mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen dienen, die zur Videodecodierung jeweils einer separaten Entropiedecodierung und inversen Quantisierung unterzogen werden, worauf die jeweils erhaltenen Signale verknüpft werden und das resultierende Gesamtsignal einer gemeinsamen inversen Transformation unterzogen wird.

Besonders effektiv erfolgt die Decodierung, wenn die Verknüpfung der durch jeweils eine separate Entropiedecodierung und inverse Quantisierung erhaltenen Signale durch Summierung erfolgt.

Die Aufgabe der Erfindung wird ferner gelöst durch eine Vorrichtung zur skalierbaren Videocodierung mit einer Mehrzahl von Encodern, denen jeweils ein Eingangssignal mit Videobildinformation zugeführt wird, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation transformierbar ist und das Videosignal unter Verwendung von un terschhiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen mit unterschiedlicher Qualität quantisierbar ist, wobei das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist und die Encoder untereinander derart verkoppelt sind, dass zumindest teilweise quantisierte Differenzsignale von Transformationskoeffizienten Entropie-codierbar sind und als Ausgangssignale mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen ausgebbar sind.

Eine vorteilhafte Ausprägung einer solchen Vorrichtung realisiert die Verkopplung der Encoder untereinander derart, dass jeweils eine Quantisierung und eine Entropiecodierung der Differenz aus einem Transformationssignal vor der zugeordneten Quantisierung und einem Transformationssignal einer niedrigeren Qualitätsstufe nach zugeordneter Quantisierung und inverser Quantisierung durchführbar ist.

Die Encoder arbeiten vorzugsweise synchronisiert, z.B. indem ein Encoder als Master dient, dem die übrigen Encoder als Slaves folgen, wobei ein für den Master-Encoder optimaler Codiermodus auf die Slave-Encoder übertragbar ist.

Nach einer weiteren vorteilhaften Ausführungsform der Erfindung weist jeder Encoder einen Bildspeicher zur Durchführung einer Bewegungskompensation auf, der durch mit einem Mittel zur Bewegungsschätzung ermittelte Bewegungsvektoren ansteuerbar ist.

Eine korrespondierende erfindungsgemäße Vorrichtung zur Decodierung von Videosignalen, insbesondere von mit einer Vor- Vorrichtung zur Videocodierung gemäß der Erfindung codierten Videosignalen, zeichnet sich dadurch aus, dass jeweils separate Entropiedecodierer und inverse Quantisierer für codierte Eingangssignale mit auf unterschiedlichen Auflösungsebenen quantisierten Videosignalen vorgesehen sind, deren Ausgangssignale verknüpft sind und eine gemeinsame Einheit zur inversen Transformation des verknüpften Gesamtsignals vorgesehen ist.

Ein entsprechender Codec gemäß der Erfindung zur skalierbaren Videocodierung und Videodecodierung eine Mehrzahl von Encodern, denen jeweils Videobildinformation als Eingangssignal dient, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation transformierbar ist, und das transformierte Videosignal unter Verwendung von unterschiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen mit unterschiedlicher Qualität quantisierbar ist, wobei das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist und die Encoder untereinander derart verkoppelt sind, dass jeweils eine Quantisierung (Q_i) und eine Entropiecodierung der Differenz aus einem Transformationssignal vor der zugeordneten Quantisierung und einem Transformationssignal einer niedrigeren Qualitätsstufe nach zugeordneter Quantisierung und inverser Quantisierung durchführbar ist, wobei daraus resultierende Signale als Ausgangssignale mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen ausgebbar sind und wobei zur Decodierung jeweils separate Entropiedecodierer und inverse Quantisierer für codierte Signale mit auf unterschiedlichen Auflösungsebenen quantisierten Videosignalen vorgesehen sind, deren Ausgangssignale verknüpft sind und eine gemeinsame Einheit zur inversen Transformation des verknüpften Gesamtsignals vorgesehen ist.

Wesentliche Vorteile der Erfindung ergeben sich somit aus den folgenden Maßnahmen:

– Verkopplung von mehreren Videoencodern für die Entropiecodierung der quantisierten Transformationskoeffizienten
- Anwendung von eingebetteten Quantisierern
– Verwendung eines einfachen Decoders für mehrere Qualitätsstufen
– Synchronisation von mehreren Encodern nach dem Master-Slave-Prinzip
- Anwendungsspezifische Auswahl des Master-Encoders

Insbesondere die Synchronisation und Verkopplung von mehreren Videoencodern führt zu einer erheblichen Reduktion der Gesamtdatenrate.

Weitere Vorteile und Details der Erfindung ergeben sich anhand von im Folgenden beschriebenen vorteilhaften Ausführungsbeispielen und in Verbindung mit den Figuren. Dabei sind Elemente mit gleicher Funktionalität mit den gleichen Bezugszeichen gekennzeichnet. Es zeigt jeweils in Prinzipdarstellung:
1 ein vereinfachtes Blockschaltbild eines hybriden Video-Encoders und -Decoders nach dem Stand der Technik,
2 ein Blockschaltbild einer erfindungsgemäßen Vorrichtung (Codec) aus drei Encodern und Decodern und
3 eine Prinzipskizze zur Synchronisierung mehrerer Encoder gemäß der Erfindung.
Bevor näher auf das Ausführungsbeispiel eingegangen wird, sei hier noch kurz erwähnt, was unter dem Ausdruck Codec zu verstehen ist: Ein „Codec", in der Literatur auch als Coder/Decoder oder als Kompressions- und Dekompressionsalgorithmus bezeichnet, codiert (synonym komprimiert) und decodiert (synonym dekomprimiert) verschiedene Arten von Daten. Solche Codierung/Decodierung ist besonders im Zusammenhang mit Daten notwendig, die ansonsten sehr viel Speicherplatz oder Transmissionsbandbreite beanspruchen würden, wie zum Beispiel Video- und Sounddateien. Allgemein gebräuchliche Codecs sind solche die digitale oder digitalisierte analoge Videosignale in komprimierte Videodateien (z.B. MPEG) oder digitalisierte analoge oder digitale Soundsignale in Digitalsound (z.B. MP3, RealAudio) umwandeln. Grundsätzlich können Codecs in Echtzeit (streaming files oder Conferencing)oder auf Grundlage von Speicherdateien verwendet werden.
Das im Folgenden detailliert dargestellte Verfahren gemäß der Erfindung lehnt sich an ein Verfahren zur optimalen SNR-Skalierbarkeit an, kann jedoch auch auf andere existierende Codierschemata angewendet werden. Unterschiede beziehen sich im wesentlichen auf die Gestaltung der Quantisierer. Der Vorteil gegenüber den herkömmlichen Simulcastverfahren ist eine deutliche Reduktion der erforderlichen Datenrate durch Verkopplung der Entropiecodierung der Transformationskoeffizienten.
Dieser Vorteil gilt insbesondere dann, wenn die Quantisierer wie bei der optimalen SNR-Skalierbarkeit in der deutschen Patentanmeldung 10121259.3 vorgeschlagen ineinander eingebettet sind. Prinzipiell könnten einige Codierschemata auch ohne Modifizierung der Quantisierer eingesetzt werden, jedoch ergibt sich dann nicht mehr unbedingt eine deutliche Reduktion der Datenrate.
Das Verfahren zeichnet sich dadurch aus, dass es auf dem hybriden Coderkonzept aufbaut, und damit grundsätzlich kompatibel zu existierenden Standards zur Videocodierung ist. Der oft gemachte Einwurf, dass neue Verfahren nicht kompatibel zu existierenden Verfahren sind, trifft hier nicht zu.
Die Darstellung gemäß 1 zeigt ein vereinfachtes Blockschaltbild eines hybriden Videocoders und -decoders.
Beim herkömmlichen Simulcastverfahren mit n Qualitätsstufen werden n solche Coder mit entsprechenden Quantisierungsparametern bzw. anderweitigen Parametern benötigt. In 1 bedeuten:
T: Transformationseinheit (z.B. DCT, Integer-Transformation)
IT: Einheit zur Durchführung der inversen Transformation
Q: Quantisierer
IQ: Einheit zur Durchführung der inversen Quantisierung
EC: Entropiecoder
ED: Entropiedecoder
Sp: Bildspeicher
MV: Bewegungsvektoren
MS: Bewegungsschätzer.
Das Grundprinzip des hybriden Coderkonzepts besteht in der Codierung eines Prädiktionsfehlersignals, welches sich aus der Differenz zwischen Eingangssignal und (quantisierter) bewegungskompensierter Rekonstruktion des vorherigen Bildes ergibt. Im Bezug auf die Berechnung der Prädiktion gibt es sehr viele Varianten, denen allen die zeitliche Prädiktion gemeinsam ist.
Darüber hinaus erfolgt die Codierung des Prädiktionsfehlers vielfach nach Ausführung einer Transformation zur Dekorrelation (Ausnutzen örtlicher statistischer Abhängigkeiten). Um die für eine Videoübertragung erforderlichen Kompressionsraten zu erzielen, werden entweder die Intensitäten des Prädiktionsfehlersignals direkt im Ortsbereich oder aber die Transformationskoeffizienten quantisiert und anschließend über eine Entropiecodierung verlustlos komprimiert, sowie auf ein binäres Signal abgebildet.
Die Darstellung nach 1 zeigt in diesem Zusammenhang auf der linken Seite der gestrichelten Linie einen solchen Encoder, auf der rechten Seite den zugehörigen Decoder. Dem Encoder eingangsseitig beaufschlagte Videodaten durchlaufen eine Transformation T und eine Quantisierung Q. Dieses Signal wird zum einen einem Entropiecodierer EC zugeführt, der einen komprimierten Videodatenstrom bereitstellt. Zum anderen erfolgt Encoder intern eine inverse Quantisierung IQ und eine anschließende inverse Transformation IT. Dieses Signal gelangt in einen Bildspeicher Sp, dessen Ausgang einmal auf den Eingang rückgekoppelt ist, zum anderen negativ auf den Eingang der Transformation T gelangt.
Der Bildspeicher Sp steuert einen Bewegungsschätzer MS, der seinerseits eingangsseitig mit den Videoeingangsdaten beaufschlagt wird und Bewegungsvektoren MV bereitstellt zur Ansteuerung des Bildspeichers SP im Encoder. Außerdem werden diese Bewegungsvektoren auch zum Decoder übertragen und dienen dort ebenfalls zur Ansteuerung eines decoderseitigen Bildspeichers Sp.
Decoderseitig erfolgt zunächst eine Entropiedecodierung ED der komprimierten Videodaten, anschließend eine inverse Quantisierung IQ und eine inverse Transformation IT. Die so ermittelten decodierten Videodaten stellen den Ausgang des Decoders dar und werden außerdem dem decoderseitigen Bildspeicher Sp zugeführt, dessen Ausgang ebenfalls auf den Eingang des Speicher zurückgeführt ist.
Die Darstellung nach 2 zeigt nun eine neue Anordnung aus drei Encodern und Decodern, deren Signale miteinander verknüpft sind. Die drei Encoder, die auf der linken Seite des Blockschaltbildes übereinander angeordnet sind, erzeugen drei Datenströme D1, D2 und D3, die zum Decoder übertragen werden.
Encoder 1 codiert die Videodaten in einer niedrigen Qualitätsstufe, Encoder 2 in mittlerer Qualitätsstufe und Encoder 3 in hoher Qualitätsstufe.
Die Signale in 2 bedeuten:
X: Eingangsbildsignal
X_i: Transformationssignal vor der Quantisierung, i = 1;2;3
L_i: Repräsentant des quantisierten Transformationssignals, i = 1;2;3
X_i': Transformationssignal nach Quantisierung und inverser Quantisierung, i = 1;2;3
ΔX_i: Differenz aus X_i und X_i _-1' mit i = 2;3
ΔX_i': Signal nach Quantisierung und inverser Quantisierung von ΔX₂ mit i = 2;3
X_Di: Summe der Signale ΔX_i' und X_Di _-1, i = 2;3
Das Eingangsbildsignal X wird allen drei Encodern zugeleitet. In jedem Encoder erfolgt eine Transformation T, woraus X_i als Transformationssignal vor der Quantisierung Q_i erhalten wird. Aus der Quantisierung erhält man Li, welches nur bei Encoder 1 (niedrige Qualitätsstufe) direkt einer Entropiecodierung EC₁ zugeführt wird, aus der der erste komprimierte Datenstrom D₁ resultiert.
Im übrigen erfolgt für Encoder 1 eine Rückführung von Li über eine inverse Quantisierung IQ₁ und inverse Transformation IT und einen Bildspeicher Sp auf den Eingang von Encoder 1 wie in 1 gezeigt. Eine solche negative Rückkopplung erfolgt auch bei den weiteren Encodern.
Das ausgangsseitige Signal X₁' der inversen Quantisierung IQ₁ von Encoder 1 dient nun aber einer Verknüpfung mit dem Transfarmationssignal vor der Quantisierung X₂ von Encoder 2. Das Signal X₁' wird negativ mit X₂ verknüpft zu ΔX₂ als der Differenz aus X_i und X_i _-1' für i = 2. Anders als bei Encoder 1 erfolgt eine Entropiecodierung dieses Differenzsignales ΔX₂ nach vorheriger Quantisierung Q₂ zum komprimierten Ausgangssignal D₂. Für den dritten Encoder erfolgt die Codierung analog zum Encoder 2, wobei auf die entsprechenden Signale von Encoder 2 zugegriffen wird.
Decoderseitig (rechte Seite in 2) wird nun der Datenstrom D₁ einer Entropiedecodierung ED₁ und einer darauffolgenden inversen Quantisierung IQ₁ unterzogen, woraus ein Signal X_D1 wiedergewonnen wird.
Für die Encoder 2 und 3 erfolgt ebenfalls jeweils eine Entropiedecodierung ED_i und einer darauffolgenden inversen Quanti sierung IQ_i für i = 2 oder i = 3. Daraus erhält man jeweils ΔX_i' als Signal nach Quantisierung und inverser Quantisierung von ΔX_i. Das Signal ΔX₂' wird zu X_D ₁ addiert, woraus X_D2 resultiert, welches seinerseits mit dem Signal ΔX₃' addiert das Signal X_D3 erhält. Decoderseitig erfolgt nun besonders einfach und damit sehr effektiv eine inverse Transformation ausschließlich des Signals X_D ₃, welches das decodierte Ausgangssignal ergibt. Dieses durchläuft im Fall einer Bewegungskompensation einen decoderseitigen Bildspeicher Sp, indem es diesem zusätzlich als Eingangssignal dient, dessen Ausgang dem Signal X_D3 hinzuaddiert wird.
Aus 2 ist ersichtlich, dass X_D1 = X₁' gilt; ferner lässt sich im Folgenden zeigen, dass X_Di = Xi', i = 2;3 gilt. In den folgenden Gleichungen bedeutet die rechteckige Klammer angewandt auf eine gebrochene Zahl die Schneideoperation auf die nächst niedrige ganze Zahl, also z.B. [2,9] = 2 und [–2,1] = –3.
Hierbei ist Q_i ganzzahlig und stellt die Stufenhöhe des jeweiligen Quantisierers dar und α_i eine quantisiererabhängige Konstante mit 0 ≤ α_i < 1.
Mit der Vorraussetzung, dass
N = Menge der natürlichen Zahlen, folgt:
Daraus folgt ΔX2' = X2' – X1'
Daraus lässt sich nun wie folgt bestimmen: XD2 = ΔX2' + XD1 = X2'
Analog dazu ergibt sich auch, dass X_D3 = X₃' gilt.
Aufgrund dieser Eigenschaften ist es möglich, mit einem einfachen Decoder aus dem Empfang des Datenstroms D₁ das Videosignal der untersten Qualitätsstufe zu codieren, beim Empfang der Datenströme D₁ und D₂ wird das Videosignal der mittleren Qualitätsstufe codiert und Empfang der Datenströme D₁, D₂ und D₃ wird das Videosignal der oberen Qualitätsstufe codiert.
Bemerkenswert ist, dass der Decoder nur eine Einheit zur Durchführung der inversen Transformation IT und nur einen Bildspeicher SP benötigt. Lediglich Entropiedecodierung ED_i und inverse Quantisierung IQ_i müssen für jeden Datenstrom separat durchgeführt werden.
Der Vorteil der Datenratenersparnis ergibt sich nun daraus, dass nicht mehr wie bei dem herkömmlichen Simulcastverfahren die quantisierten Transformationskoeffizienten X₁, die durch „Level" L repräsentiert werden, einer Entropiecodierung unterzogen werden, sondern statt dessen die quantisierten Difterenzsignale ΔX_i, die eine geringere Entropie aufweisen als die Level Li.
Die Datenratenersparnis kommt vor allem dann zur Wirkung, wenn alle Encoder synchronisiert die gleichen Codiermodi (z.B. Prädiktionsmodi bei der Intra-Codierung, Makroblockzerlegung bei der Inter-Codierung) und die gleichen Bewegungsvektoren verwenden. Für eine effiziente Codierung werden diese vielfach nach einem Rate-Distortion-Kriterium ausgewählt. Ohne Synchronisierung ergeben sich aber bei unterschiedlichen Qualitätsstufen auch unterschiedliche Codiermodi und Bewegungsvektoren.
Dies wird dadurch vermieden, dass die Encoder nach einem sogenannten „Master-Slave-Prinzip" arbeiten, wie es in der 3 dargestellt ist. Hierbei wird von den drei Encodern ein „MasterEncoder" ME bestimmt und werden bei diesem die optimalen Codiermodi und Bewegungsvektoren ermittelt. Diese Codiermodi und Bewegungsvektoren werden dann auf die übrigen Encoder, die „Slave-Encoder" SE, übertragen. Der Nachteil, dass die Slave-Encoder nun suboptimal arbeiten, wird durch den Vorteil der höheren Datenratenersparnis durch die Synchronisierung mehr als ausgeglichen.
Ein weiterer Vorteil ergibt sich aus der freien Auswahl des Master-Encoders. Die besten Codierparameter können anwendungsbezogen entweder bei niedriger, mittlerer oder hoher Datenrate ausgewählt werden.
Das erfindungsgemäße Verfahren ist kompatibel mit anwendungsspezifischen Videostandards, wie zum Beispiel MPEG2, MPEG-4 oder H.263 (Quantisierung und Codierung der DCTKoeffizienten des Prädiktionsfehlersignals ) oder aber auf den Videostandard H.26L (Quantisierung und Codierung der ICTKoeffizienten (Integer-Cosine-Transform) des Prädiktionsfehlersignals.

SNR: signal to noise ratio
PSNR: peak signal to noise ratio
UEP: unequal error protection
VLC: variable length code
MPEG: moving picture experts group
ME: motion estimation unit
MC: motion compensation
DCT: diskrete Cosinus-Transformation
ICT: Integer Cosine Transform

Claims

Verfahren zur skalierbaren Videocodierung, bei dem ein Eingangssignal mit Videobildinformation je einer Mehrzahl (i) von Encodern (EC_i) zugeführt wird, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation (T) transformiert wird und die Encoder (EC_i) das transformierte Videosignal unter Verwendung von unterschiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen (0,1,2,..., i) mit unterschiedlicher Qualität (Q_i) quantisieren, dadurch gekennzeichnet, dass das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist und die Encoder (EC_i) untereinander derart verkoppelt sind, dass anstelle einer Entropiecodierung von quantisierten Transformationskoeffizienten (L_i) zumindest teilweise quantisierte Differenzsignale (ΔX_i) von Transformationskoeffizienten einer Entropiecodierung unterzogen werden und als Ausgangssignale (D_i) mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen dienen.
Verfahren zur skalierbaren Videocodierung nach Anspruch 1, dadurch gekennzeichnet, dass jeweils eine Quantisierung (Q_i) und eine Entropiecodierung (EC_i) der Differenz (ΔX_i) aus einem Transformationssignal (X_i) vor der zugeordneten Quantisierung (Q_i) und einem Transformationssignal (X_i _-1') einer niedrigeren Qualitätsstufe (i – 1) nach zugeordneter Quantisierung (Q_i _-1) und inverser Quantisierung (IQ_i _-1) erfolgt.
Verfahren zur skalierbaren Videocodierung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Encoder (EC_i) synchronisiert arbeiten.
Verfahren zur skalierbaren Videocodierung nach Anspruch 3, dadurch gekennzeichnet, dass zur Synchronisierung ein Encoder als Master (ME) arbeitet, dem die übrigen Encoder als Slaves folgen, indem für den Master-Encoder (ME) ein optimaler Codiermodus ermittelt wird, der auf die Slave-Encoder übertragen wird.
Verfahren zur skalierbaren Videocodierung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in jedem Encoder (EC_i) eine Bewegungskompensation durchgeführt wird aufgrund von Bewegungsvektoren (MV), die durch eine Bewegungsschätzung ermittelt werden.
Verfahren zur skalierbaren Videocodierung nach Anspruch 5, dadurch gekennzeichnet, dass die Bewegungsschätzung auf der höchsten Qualitätsstufe stattfindet.
Verfahren zur skalierbaren Videocodierung nach Anspruch 5 dadurch gekennzeichnet, dass zur Bewegungskompensation auf allen Auflösungsebenen dieselben geschätzten Bewegungsvektoren (MV) verwendet werden.
Verfahren zur skalierbaren Videocodierung nach Anspruch 4 und 5, dadurch gekennzeichnet, dass die Bewegungsschätzung beim Master-Encoder (ME) stattfindet und für diesen (ME) optimale Bewegungsvektoren (MV) ermittelt werden, die im Rahmen der Synchronisierung auf die Slave-Encoder (SE) übertragen werden.
Verfahren zur skalierbaren Videocodierung nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass eine Auswahl des Master-Encoders (ME) anwendungsbezogen anhand der besten Codierparameter erfolgt.
Verfahren zur Decodierung von nach einem der vorangehenden Ansprüche codierten Videosignalen, dadurch gekennzeichnet, dass die codierten Eingangssignale (D_i) mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen jeweils einer separaten Entropiedecodierung (ED_i) und inversen Quantisierung (IQ_i) unterzogen werden, worauf die jeweils erhaltenen Signale (X_Di) verknüpft werden und das resultierende Gesamtsignal (X_D ₃) einer gemeinsamen inversen Transformation (IT) unterzogen wird.
Verfahren zur skalierbaren Videocodierung und Videodecodierung, wobei eine Videocodierung nach einem der Ansprüche 1 bis 9 und eine Videodecodierung nach Anspruch 10 erfolgt.
Verfahren zur skalierbaren Videocodierung und Videodecodierung, bei dem ein Eingangssignal mit Videobildinformation je einer Mehrzahl (i) von Encodern (EC_i) zugeführt wird, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation (T) transformiert wird und die Encoder (EC_i) das Videosignal unter Verwendung von unterschiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen (0,1,2,..., i) mit unterschiedlicher Qualität quantisieren und das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist, wobei die Encoder untereinander derart verkoppelt sind, dass jeweils eine Quantisierung (Q_i) und eine Entropiecodierung (EC_i) der Differenz (ΔX_i) aus einem Transformationssignal (X_i) vor der zugeordneten Quantisierung (Q_i) und einem Transformationssignal (X_i _-1') einer niedrigeren Qualitätsstufe (i – 1) nach zugeordneter Quantisierung (Q_i _-1) und inverser Quantisierung (IQ_i _-1) erfolgt, wobei die resultierenden Signale als Ausgangssignale (Di) mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen dienen, die zur Videodecodierung jeweils einer separaten Entropiedecodierung (ED_i) und inversen Quantisierung (IQ_i) unterzogen werden, worauf die jeweils er haltenen Signale (X_Di) verknüpft werden und das resultierende Gesamtsignal (X_D ₃) einer gemeinsamen inversen Transformation (IT) unterzogen wird.
Verfahren zur Decodierung nach einem der vorangehenden Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Verknüpfung der durch jeweils eine separate Entropiedecodierung (ED_i) und inverse Quantisierung (IQ_i) erhaltenen Signale (X_Di) durch Summierung (+) erfolgt.
Vorrichtung zur skalierbaren Videocodierung mit einer Mehrzahl (i) von Encodern (EC_i), denen jeweils ein Eingangssignal mit Videobildinformation zugeführt wird, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation (T) transformierbar ist und das Videosignal unter Verwendung von unterschhiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen (0,1,2,..., i) mit unterschiedlicher Qualität quantisierbar ist, dadurch gekennzeichnet, dass das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist und die Encoder (EC_i) untereinander derart verkoppelt sind, dass zumindest teilweise quantisierte Differenzsignale (ΔX_i) von Transformationskoeffizienten Entropie-codierbar sind und als Ausgangssignale (D_i) mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen ausgebbar sind.
Vorrichtung zur skalierbaren Videocodierung nach Anspruch dadurch gekennzeichnet, dass die Verkopplung der Encoder (EC_i) untereinander derart ist, dass jeweils eine Quantisierung (Q_i) und eine Entropiecodierung (EC_i) der Differenz (ΔX_i) aus einem Transformationssignal (X_i) vor der zugeordneten Quantisierung (Q_i) und einem Transformationssignal (X_i _-1') einer niedrigeren Qualitätsstufe (i – 1) nach zugeordneter Quantisierung (Q_i _-1) und inverser Quantisierung (IQ_i _-1) durchführbar ist.
Vorrichtung zur skalierbaren Videocodierung nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass die Encoder (EC_i) synchronisiert arbeiten.
Vorrichtung zur skalierbaren Videocodierung nach Anspruch dadurch gekennzeichnet, dass ein Encoder als Master (ME) dient, dem die übrigen Encoder als Slaves folgen, indem ein für den Master-Encoder (ME) optimaler Codiermodus auf die Slave-Encoder (SE) übertragbar ist.
Vorrichtung zur skalierbaren Videocodierung nach einem der vorangehenden Ansprüche 14 bis 17, dadurch gekennzeichnet, dass jeder Encoder (EC_i) einen Bildspeicher (Sp) zur Durchführung einer Bewegungskompensation aufweist, der durch mit einem Mittel zur Bewegungsschätzung ermittelte Bewegungsvektoren (MV) ansteuerbar ist.
Vorrichtung zur Decodierung von Videosignalen, insbesondere von mit einer Vorrichtung zur Videocodierung nach einem der vorangehenden Ansprüche 14 bis 18 codierten Videosignalen, dadurch gekennzeichnet, dass jeweils separate Entropiedecodierer (ED_i) und inverse Quantisierer (IQ_i) für codierte Eingangssignale (D_i) mit auf unterschiedlichen Auflösungsebenen quantisierten Videosignalen vorgesehen sind, deren Ausgangssignale (X_Di) verknüpft sind und eine gemeinsame Einheit zur inversen Transformation (IT) des verknüpften Gesamtsignals (X_D ₃) vorgesehen ist.
Codec zur skalierbaren Videocodierung und Videodecodierung mit einer Mehrzahl (i) von Encodern (EC_i), denen jeweils Videobildinformation als Eingangssignal dient, wobei jedes einem Encoder zugeführte Videosignal mit der gleichen Transformation (T) transformierbar ist, und das transformierte Videosignal unter Verwendung von unterschiedlichen Quantisierungsstufenhöhen auf unterschiedlichen Auflösungsebenen (0,1,2,..., i) mit unterschiedlicher Qualität quantisierbar ist, dadurch gekennzeichnet, dass das Verhältnis der Quantisierungsstufenhöhe einer Auflösungsebene zur Quantisierungsstufenhöhe der nächsthöheren Auflösungsebene eine natürliche Zahl ist und die Encoder (EC_i) untereinander derart verkoppelt sind, dass jeweils eine Quantisierung (Q_i) und eine Entropiecodierung (EC_i) der Differenz (ΔX_i) aus einem Transformationssignal (X_i) vor der zugeordneten Quantisierung (Q_i) und einem Transformationssignal (X_i _-1') einer niedrigeren Qualitätsstufe (i – 1) nach zugeordneter Quantisierung (Q_i _-1) und inverser Quantisierung (IQ_i _-1) durchführbar ist, wobei daraus resultierende Signale als Ausgangssignale (D_i) mit auf den unterschiedlichen Auflösungsebenen quantisierten Videosignalen ausgebbar sind und wobei zur Decodierung jeweils separate Entropiedecodierer (ED_i) und inverse Quantisierer (IQ_i) für codierte Signale (D_i) mit auf unterschiedlichen Auflösungsebenen quantisierten Videosignalen vorgesehen sind, deren Ausgangssignale (X_Di) verknüpft sind und eine gemeinsame Einheit zur inversen Transformation (IT) des verknüpften Gesamtsignals (X_D3) vorgesehen ist.