SKALIERBARES VERFAHREN ZUR BILDENCODIERUNG EINER FOLGE VON ORIGINALBILDERN, SOWI E DAZUGEHÖRIGES BILDDECODIERVERFAHREN, ENCODIERVORRICHTUNG UND DECODIERVORRICHTU NG
Beschreibung
Verfahren zur Bildencodierung einer Folge von Originalbil- dern, sowie dazugehöriges Bilddecodierverfahren, Encodiervor- 5 richtung und Decodiervorrichtung
Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Anspruchs 1 und ein Bilddecodierverfahren gemäß dem Ober¬ begriff des Anspruchs 8. Ferner betrifft die Erfindung auch 10 eine Encodiervorrichtung gemäß dem Oberbegriff des Anspruchs, sowie eine Decodiervorrichtung gemäß dem Oberbegriff des An¬ spruchs 10.
Gemäß [1] nutzen Videocodierverfahren zur effizienten Codie- 15 rung einer Folge von Bildern spezifische Signaleigenschaften aus. Hierbei werden örtliche und zeitliche Abhängigkeiten der einzelnen Bilder bzw. der Bildpunkte dieser Bilder ausge¬ nutzt. Je besser ein Bild— bzw. Videocodierverfahren in der Lage ist, diese Abhängigkeiten zwischen den einzelnen Bildern 20 bzw. Bildpunkten auszunutzen, umso größer ist im Allgemeinen ein erreichbarer Kompressionsfaktor.
Man unterscheidet bei den heutigen Techniken zur Videocodie¬ rung grundsätzlich hybride Codierverfahren, wie z.B. die 25 Standards IXU-T H.263 oder ITU-T H.264 [2,3], und so genannte dreidimensionale Frequenzcodierungsansätze. Obwohl beide Ver¬ fahren versuchen, das Videosignal, das aus der Folge von Bil¬ dern besteht, sowohl örtlich als auch zeitlich zu codieren, bedient man sich bei hybriden Codierverfahren zunächst einer 30 bewegungskompensierten Prädiktion in zeitlicher Richtung und anschließend einer zweidimensionalen Transformation eines er¬ zeugten Differenzbildes, wie z.B. mit Hilfe einer zweidimen¬ sionalen diskreten Cosinus - Transformation (DCT - Discret Cosinus Transformation) , um damit eine örtliche Korrelation 35 zwischen benachbarten Bildpunkten innerhalb des Differenzbil¬ des zu entfernen.
Bei den dreidimensionalen Frequenzcodierungsansätzen, wie z.B. der bewegungskompensierten, zeitlich gefilterten Teil¬ bandcodierung, wird im Gegensatz zu dem hybriden Codierver¬ fahren keine zeitliche Prädiktion, sondern eine „echte" Transformation in Richtung der Zeitachse durchgeführt, um so¬ mit die zeitliche Korrelation aufeinanderfolgender Bilder auszunutzen- Bei einer solchen Teilbandcodierung wird die Folge von Bildern vor der örtlichen zweidimensionalen Dekor¬ relation in mehrere „zeitliche" Frequenzbänder aufgeschlüs— seit, wie z.B. bei zwei Frequenzbändern in ein Hoch- und ein Tieffrequenzband für die zeitlichen hoch- und tieffrequenten Bildanteile. Bei der spektralen Zerlegung ist die Verteilung der in diesen Frequenzbändern auftretenden Frequenzen stark von der Größe der im Videosignal auftretenden Bewegung abhän- giζf- Sofern das betrachtete Videosignal keine sich bewegenden oder veränderten Elemente aufweist, sind alle hochfrequenten „Zeitspektralanteile" gleich Null und die gesamte Energie konzentriert sich auf das Tieffrequenzband. Im Normalfall wird jedoch in einer Folge von Bildern stets eine zeitliche Bildänderung zu sehen sein, wie z.B. eine lokale Objektver— Schiebung, eine Objektgrößenänderung, oder ein Szenenwechsel. Dies führt zu einer Energieverteilung auf mehrere Spektralko¬ effizienten, wobei auch hochfrequente Anteile entstehen.
Zur Reduktion der Spektralanteile im zeitlichen Hochfrequenz¬ band und somit zur Konzentration der Energie auf das zeitli¬ che Tieffrequenzband, wird vor der zeitlichen Filterung des Videosignals in mehrere „zeitliche" Frequenzbänder eine Bewe¬ gungsschätzung und Bewegungskompensation der zeitlich zu fil- ternden Bilder durchgeführt.
Nach [4] kann die bewegungskompensierte, zeitlich gefilterte Teilbandcodierung auch zur Erstellung eines skalierbaren Vi¬ deodatenstroms eingesetzt werden. Beispielsweise wird dadurch eine zeitliche, eine qualitative oder auch eine örtliche Ska¬ lierbarkeit ermöglicht. Ferner wird in [4] Kapitel 3.2.4 eine kombinierte Skalierung vorgestellt. Hierbei werden mit Hilfe
des hybriden Codierverfahrens zwei verschiedene Basisqualitä¬ ten (LO, Ll) erzielt. Zur Erreichung von verbesserten Bild¬ qualitäten werden zusätzlich skalierte Videodatenströme hin¬ zugenommen, wie beispielsweise L2, L3, L4 und/oder L5. Diese zusätzlichen skalierten Videodatenströme (L2, ..., L5) werden in [4] mit Hilfe einer bewegungskompensierten, zeitlich ge¬ filterten Teilbandcodierung erzeugt. Somit ist bekannt, dass mit Hilfe eines ersten Codierverfahrens nach einer bewegungs— kompensierten, prädiktiven Codierung und einem zweiten Co- dierverfahren nach einer bewegungskompensierten, zeitlich ge¬ filterten Teilbandcodierung ein skalierbarer Videodatenstrom erzeugt werden kann.
Die der Erfindung zugrunde liegende Aufgabe ist ein Verfahren zur Bilden— und Bilddecodierung, eine Encodier- sowie eine Decodiervorrichtung anzugeben, welche eine Bilden- und Bild¬ decodierung einer Folge von Originalbildern mit einem bewe¬ gungskompensierten, zeitlich gefilterten Teilbandcodierver— fahren unter Zuhilfenahme eines bewegungskompensierten, prä- diktiven Codierverfahrens in einfacher und effizienter Weise ermöglicht.
Diese Aufgabe wird ausgehend von dem Bildencodierverfahren gemäß dem Oberbegriff des Anspruchs 1 durch dessen kennzeich— nenden Merkmale sowie ausgehend von dem Bilddecodierverfahren gemäß dem Oberbegriff des Anspruchs 8 durch dessen kennzeich¬ nenden Merkmale gelöst. Des Weiteren wird diese Aufgabe durch die Encodiervorrichtung gemäß dem Oberbegriff des Anspruchs 9 durch dessen kennzeichnende Merkmale sowie ausgehend von der Decodiervorrichtung gemäß dem Oberbegriff des Anspruchs 10 durch dessen kennzeichnende Merkmale gelöst.
Bei dem Verfahren zur Bildencodierung einer Folge von Origi¬ nalbildern wird aus der Folge von Originalbildern mit Hilfe eines ersten Codierverfahrens nach einer bewegungskompensier¬ ten, prädiktiven Codierung eine Folge von decodierten Bildern erzeugt, vor der Bildencodierung wird durch ein zweites Co—
dierverfahren nach einer bewegungskompensierten, zeitlich ge¬ filterten Teilbandcodierung ein Startbild einer zu encodie- renden Bildgruppe von aufeinanderfolgenden Originalbildern anhand einer ermittelten Codiereigenschaft eines zum Erzeugen eines Ausgangsbildes einer niedrigen Auflösungsebene dieser zu encodierenden Bildgruppe verwendeten, decodierten Bildes festgelegt, wobei bei der Bildencodierung aus den aufeinan¬ derfolgenden Originalbildern der zu encodierenden Bildgruppe und aus mindestens einem decodierten Bild in jeder Auflö- sungsebene mindestens ein Ausgangsbild generiert wird.
Durch das erfindungsgemäße Verfahren zur Bildencodierung wer¬ den bei der Codierung der Originalbilder durch das zweite Co¬ dierverfahren die ermittelten Codiereigenschaften der deco- dierten Bilder, die durch das erste Codierverfahren erzeugt werden, berücksichtigt. Hierdurch verbessert sich für das zweite Codierverfahren die Kompressionseigenschaft, wie bei¬ spielsweise die Kompressionsrate oder die Bildqualität bei gleich bleibender Kompressionsrate.
Ferner wird durch geeignete Wahl des Startbildes für die Bil¬ dencodierung durch das zweite Codierverfahren die Fehleran¬ fälligkeit (Fehlerdrift) einer durch das zweite Codierverfah¬ ren erzeugten Bildinformation reduziert und somit die Bild— qualität erhöht.
Des Weiteren ermöglicht das erfindungsgemäße Verfahren einen wahlfreien Zugriff auf einzelne Bilder, die nach dem ersten und/oder zweiten Codierverfahren erzeugt worden sind.
Vorzugsweise wird das Startbild aufgrund des verwendeten, de— codierten Bildes festgelegt, wenn die Codiereigenschaftser- mittelung ergibt, dass mindestens ein Bildblock dieses ver¬ wendeten, decodierten Bildes INTRA-codiert wurde. Da ein INTRA-codierter Bildblock oftmals in höherer Bildqualität en- codiert wird und im INTRA-codierten Bildblock keine Fehler¬ drift auftritt, wird somit für mindestens einen Bildteil des
Ausgangsbildes der niedrigen Auflösungsebene eine verringerte Signalenergie erzielt und hierdurch eine verbesserte Kompres¬ sionseigenschaft ermöglicht. Eine Fehlerdrift tritt nicht auf, da bei der INTRA-Codierung keine Prädiktion aus Vorgän- gerbildern stattfindet und somit keine Fehler übernommen wer¬ den können.
Alternativ wird das Startbild aufgrund des verwendeten, deco¬ dierten Bildes festgelegt, wenn die Codiereigenschaftsermit- telung ergibt, dass eine festgelegte Blockanzahl an Bildblö¬ cken dieses verwendeten, decodierten Bildes INTRA-codiert wurde. Hiermit wird eine Steigerung der Kompressionseffizienz des zweiten Codierverfahrens erreicht, da mehrere Bildteile des Ausgangsbildes der niedrigen Auflösungsebene eine geringe Signalenergie aufweisen und deswegen effizient encodiert wer¬ den können.
Alternativ wird das Startbild aufgrund des verwendeten, deco— dierten Bildes festgelegt, wenn die Codiereigenschaftsermit- telung ergibt, dass alle Bildblöcke dieses verwendeten, deco¬ dierten Bildes INTRA-codiert werden. Hierdurch wird eine gro¬ ße Steigerung der Kompressionseffizienz des zweiten Codier— Verfahrens erreicht, da alle Bildteile des Ausgangsbildes der niedrigen Auflösungsebene eine besonders geringe Signalener- gie aufweisen und sehr effizient komprimiert werden können.
Vorzugsweise wird eine Anzahl zu encodierender, aufeinander¬ folgender Originalbilder der Bildgruppe in Abhängigkeit von der ermittelten Codiereigenschaft eingestellt. Hiermit wird erreicht, dass die Anzahl der aufeinanderfolgenden Original¬ bilder der Bildgruppe derart eingestellt werden kann, dass dasjenige decodierte Bild zur Erstellung eines Differenzbil¬ des für das Ausgangsbild der niedrigen Auflösungsebene zuge¬ ordnet werden kann, welches eine sehr geringe zu encodierende Signalenergie ergibt.
Wird weiterhin in jeder Auflösungsebene (Rl, R2) mindestens ein Zwischenbild (Zl, Z2, Z3) erzeugt und die Zwischenbilder und das Ausgangsbild der niedrigen Auflösungsebene kompri¬ miert, so wird eine Reduktion des Datenvolumens der Zwischen- bilder und des Ausgangsbildes der niedrigen Auflösungsebene erreicht. Wird zusätzlich gemäß einer Wavelet-basierten Transformation komprimiert, so wird dadurch eine besonders effiziente Reduktion des Datenvolumens der Zwischenbilder und des Ausgangsbildes der niedrigen Auflösungsebene erzielt.
Die Erfindung betrifft weiterhin ein Bilddecodierverfahren zum Decodieren von mindestens einem durch das Verfahren zur Bildencodierung codierten Bildes. Somit wird erreicht, dass sowohl die encodierten Bilder des ersten Codierverfahrens als auch die Zwischenbilder und das Ausgangsbild der niedrigen Auflösungsebene des zweiten Codierverfahrens, die gemäß dem Verfahren zur Bildencodierung erzeugt wurden, decodiert wer¬ den können.
Ferner betrifft die Erfindung eine Encodiervorrichtung mit Mitteln zur Bildencodierung einer Folge von Originalbildern. Hierdurch wird ermöglicht, dass das Verfahren zur Bildenco¬ dierung in einem Gerät, wie beispielsweise einem Mobiltele— fon, durchgeführt werden kann.
Des Weiteren umfasst die Erfindung auch eine Decodiervorrich- tung mit Mitteln zum Durchführen des Bilddecodierverfahrens. Hierdurch kann das Bilddecodierverfahren in einem Gerät, wie z.B. einem Mobiltelefon implementiert, ausgeführt werden.
Weitere Einzelheiten sowie Vorteile der Erfindung werden an¬ hand der Figuren 1 bis 5 erläutert. Im Einzelnen zeigen:
Figur 1 in schematischer Darstellung eine Encodierung einer Folge von Originalbildern, die mit einem drsten Co— dierverfahren nach einer bewegungskompensierten, pradiktiven Codierung komprimiert werden und die
mit einem zweiten Codierverfahren nach einer bewe— gungskompensierten, zeitlich gefilterten Teilband- codierung unter Berücksichtigung der decodierten Bilder des ersten Codierverfahrens encodiert wer- den;
Figur 2 in detaillierter Darstellung die Erstellung eines Zwischenbildes und eines Ausgangsbildes mittels des zweiten Codierverfahrens, die in mehreren Verarbei— tungsschritten innerhalb der ersten Auflösungsebene aus zwei Ξingangsbildern generiert werden, wobei bei der Erstellung ein decodiertes Bild des ersten Codierverfahrens berücksichtigt wird;
Figur 3 in schematischer Darstellung die Verarbeitungs¬ schritte innerhalb der niedrigen Auflösungsebene, wobei unter Verwendung von zwei Eingangsbildern und zwei decodierten Bildern ein Zwischenbild und ein Ausgangsbild erzeugt wird;
Figur 4 in schematischer Darstellung eine Encodiervorrich- tung, eine Decodiervorrichtung und ein Übertra— gungsmedium zum Durchführen des erfindungsgemäßen Verfahrens;
Figur 5 in schematischer Darstellung die Kompression einer Folge von Originalbildern mit einem ersten und ei¬ nem zweiten Codierverfahren, wobei durch das zweite Codierverfahren mehrere Bildgruppen mit einer je¬ weils unterschiedlichen Anzahl an zu encodierenden Originalbilder komprimiert werden.
Elemente mit gleicher Funktion und Wirkungsweise sind in den Figuren 1 bis 5 mit denselben Bezugszeichen versehen.
In Fig.l ist ein Ausführungsbeispiel des erfindungemäßen Ver¬ fahrens zu sehen. Hierbei soll eine Folge von Originalbildern
Ol, ...,ON unter Verwendung eines ersten Codierverfahrens CVl und eines zweiten Codierverfahrens CV2 komprimiert werden. Diese Originalbilder Ol, .--, ON wurden beispielsweise von einer Kamera K erzeugt und werden im Farbformat mit einer Helligkeitskomponente Y, und zwei Crominanzkomponenten CR, CB in einer Bildgröße mit 640x480 Bildpunkten bereitgestellt. Ferner können die Originalbilder Ol, ..., ON vor deren Enco- dierung einer Bildvorverarbeitung, wie z.B. einer Rauschun¬ terdrückung oder Kantenschärfung, unterzogen werden.
Zunächst führt das erste Codierverfahren CVl eine bewegungs- kompensierte, prädiktive Codierung der Originalbilder Ol, ..., ON durch. Aus [5] sind derartige bewegungskompensierte, prädiktive Codierverfahren bekannt, wie 'bspw. der Standard ITU-T H.263. Hiermit können aus den Originalbildern Ol, ..., ON encodierte Bilder Bl, ...,BM unter Verwendung eines INTRA- Codiermodus und/oder INTER-Codiermodus erzeugt werden. Der INTRA—Codiermodus encodiert einzelne Bildblöcke des jeweili¬ gen Originalbildes Ol, ...,ON ohne Berücksichtigung anderer Originalbilder Ol, ...ON. Hingegen werden bei dem INTER— Codiermodus einzelne Bildblöcke des jeweiligen Originalbildes Ol, ..., ON unter Berücksichtigung eines oder mehrerer be¬ reits encodierter Bilder Bl, .... BN komprimiert. Zusätzlich ist es bei dem INTER—Codiermodus vorteilhaft vor der Codie— rung eine BewegungsSchätzung des jeweils zu encodierenden Bildblocks des Orignalbildes Ol, ...,ON durchzuführen und dann erst nach einer Bewegungskompensation diesen Bildblock zu encodieren. Verfahren zur Bewegungsschätzung bzw. Bewe¬ gungskompensation sind aus [5] bekannt. Ferner kann die An— zahl M der encodierten Bilder Bl, ..., BM von der Anzahl N der Originalbilder Ol, •.., ON abweichen, da beispielsweise nicht alle Originalbilder Ol, ..., ON encodiert werden.
In einem nächsten Schritt werden aus den encodierten Bildern Bl,..., BM mit Hilfe des ersten Codierverfahrens CVl eine Folge von decodierten Bildern Dl,...DM erstellt. Ferner kann für jedes decodierte Bild Dl, ..., DM eine eigene Decodier—
liste erstellt werden, die angibt, welche Bildblöcke des je¬ weiligen decodierten Bildes Dl, ..., DM mit dem INTRA- Codiermodus und welche mit dem INTER-Codiermodus encodiert worden sind. Diese decodierten Bilder Dl, ..., DM werden in den nachfolgenden Verarbeitungsschritten von dem zweiten Co¬ dierverfahren CV2 berücksichtigt. Für das Ausführungsbeispiel nach Fig. 1 wurden diejenigen decodierten Bilder Dl, ....,DM bei denen alle Bildblöcke mit dem INTRA—Codiermodus generiert wurden mit "I" und diejenigen, bei denen mindestens ein BiId- block mit Hilfe des INTER-Codiermodus encodiert wurde mit ei¬ nem "P" markiert.
In einem nachfolgenden Schritt werden alle aufeinanderfolgen¬ den Originalbildern Ol, ..., ON einer jeweiligen Bildgruppe GOP mit Hilfe des zweiten Codierverfahrens CV2 encodiert. Im vorliegenden Ausführungsbeispiel sind drei verschiedene Bild¬ gruppen GOPl, GOP2, GOP3 zu sehen. Hierbei ist die Anzahl der zu encodierenden Originalbilder der zweiten Bildgruppe GOP2 zu vier gewählt worden. Die Anzahl zu encodierender Original— bilder pro Bildgruppe GOP kann variieren, z.B. werden zuerst zwei, dann vier und dann acht Originalbilder in der jeweili¬ gen Bildgruppe GOPl, GOP2, GOP3 encodiert. So ist beispiels¬ weise das erste zu encodierende Originalbild der zweiten Bildgruppe GOP2 das dritte Originalbild O3. Das jeweils erste Originalbild einer jeweiligen Bildgruppe GOP wird im Folgen¬ den als Startbild BSP bezeichnet.
Im Rahmen dieser Erfindung ist unter einer bewegungskompen- sierten, zeitlich gefilterten Teilbandcodierung ein Codier— verfahren zu verstehen, bei dem in mehreren Auflösungsebenen aus jeweils mindestens zwei Eingangsbildern, jeweils mindes¬ tens ein Ausgangsbild erzeugt wird. Zusätzlich können noch Zwischenbilder erstellt werden. Das jeweilige Zwischenbild repräsentiert die bewegungskompensierten Anteile der dazuge— hörigen Eingangsbilder eines ersten Teilbands. Das jeweilige Ausgangsbild umfasst die bewegungskompensierten Anteile der dazugehörigen Eingangsbilder eines zweiten Teilbands . Das
erste Teilband umfasst beispielsweise die hochfrequenten und das zweite Xeilband die tieffrequenten Anteile. In jeder niedrigeren Auflösungsebene werden mindestens zwei Ausgangs¬ bilder der höheren Auflösungsebene zu den Eingangsbildern.
Das in Fig. 1 abgebildete zweite Codierverfahren CV2 besteht innerhalb der zweiten Bildgruppe GOP2 aus zwei Auflösungsebe¬ nen Rl, R2. In der ersten Auflösungsebene Rl werden aus je¬ weils zwei Eingangsbildern El und E2, E3 und E4 und den zwei dazugehörigen decodierten Bildern D4, D6 jeweils ein Zwi¬ schenbild Zl, Z2 und jeweils ein Ausgangsbild Al, A2 erzeugt. Die zwei Ausgangsbilder Al, A2 werden als Eingangsbilder E5, E6 der nächsten Auflösungsebene R2 verwendet. In der zweiten Auflösungsebene R2, die in diesem Ausführungsbeispiel der niedrigen Auflösungsebene entspricht, werden aus den Ein¬ gangsbildern E5, E6 zusammen mit den decodierten Bildern D3, D5 ein drittes Zwischenbild Z3 und ein drittes Ausgangsbild A3 erzeugt wird. In diesem Ausführungsbeispiel repräsentiert die niedrige Auflösungsebene R2 zugleich eine niedrigste Auf- lösungsebene. Unter der niedrigsten Auflösungsebene ist die¬ jenige Auflösungsebene zu verstehen, die innerhalb der Bild¬ gruppe GOP lediglich ein Ausgangsbild generiert. Mit Hilfe von Fig. 2 und 3 wird die Funktionsweise der jeweiligen Auf¬ lösungsebenen Rl, R2 exemplarisch näher erläutert.
In Fig. 2 sind zwei Eingangsbilder El, E2 zu sehen, die den Originalbildern O3 bzw. 04 entsprechen. Das zweite Eingangs¬ bild E2 wird beispielsweise in mehrere Bildblöcke Ql, ..., Q9 unterteilt. Diese Bildblöcke Ql, --., Q9, die beispielsweise den aus [5] bekannten Makroblöcken entsprechen, können 16x16 Bildpunkte umfassen. Zunächst führt das zweite Codierverfah¬ ren CV2 für mindestens einen Bildblock Ql, ..., Q9 des zwei¬ ten Eingangsbildes E2, z.B. für den Bildblock Q5, eine Bewe¬ gungsschätzung auf dem ersten Eingangsbild El durch. Mögliche Strategien zur Durchführung der Bewegungsschätzung sind aus [5] bekannt. Falls ein passender Bildbereich im ersten Ein¬ gangbild El gefunden wurde, wird dieser gefundene Bildbereich
nach einer Bewegungskompensation MC mit dem Bilciblock Q5 des zweiten Eingangsbildes E2 zeitlich hochpassgefiltert, bei¬ spielsweise durch Subtraktion der jeweiligen Bildpunkte. Die gefundenen Bewegungsvektoren werden in einer ersten Bewe- gungsvektorliste MLl zusammengefasst.
Wird für einen Bildblock Ql, ..-, Q9 keine gute Bewegungs¬ schätzung gefunden, so kann für diesen Bildblock Ql, ..., Q9 zur zeitlichen Tiefpassfilterung ein entsprechender Bildblock Rl, ..., R.9 aus dem zum zweiten Eingangsbild E2 gehörenden decodierten Bild D4 herangezogen werden. Bspw. ist für den Bildblock Q6 kein passender Bildbereich im ersten Eingangs¬ bild El gefunden worden, so dass der Bildblock R6 des vierten decodierten Bildes D4 mit dem Bildblock Q6 des zweiten Ein- gangsbild E2 gefiltert wird.
Somit entsteht- durch die zeitliche Hochpassfilterung ein ers¬ tes Zwischenbild Zl. Durch die zusätzliche Verwendung des vierten decodierten Bildes D4 bei der Erstellung des ersten Zwischenbildes Zl wird erreicht, dass das erste Zwischenbild Zl weniger Signalenergie aufweist, und somit durch ein nach¬ folgendes Kompressionsverfahren, wie bspw. einer Wavelet- basierten Transformation, eine höhere Kompressionsrate bzw. bei gleich bleibender Kompressionsrate eine höhere Bildquali- tat erzielt werden kann.
In einem nachfolgenden Schritt wird bildblockweise das erste Ausgangsbild Al erzeugt. Hierzu werden die jeweiligen Bild— blocke des ersten Zwischenbildes Zl, die mit Hilfe des ersten Eingangsbildes El erzeugt worden sind, unter Verwendung einer inversen Bewegungskompensation IMC(MLl), die die Bewegungs¬ vektoren der ersten Bewegungsvektorliste MLl berücksichtigt, mit dem ersten Eingangsbild El zeitlich tiefpass-gefiltert. Die zeitliche Tiefpassfilterung kann durch Addition der je— weiligen Bildpunkte des invers-bewegungskompensierten Bild¬ blockes des ersten Zwischenbildes Zl und Bildblocks des ers¬ ten Eingangsbildes El ausgeführt werden. Das erste Ausgangs-
bild Al enthält die „zeitlichen" Tiefpassanteile der Ein¬ gangsbilder El, E2. Das zweite Ausgangsbild A2 wird gleicher¬ maßen aus den Eingangsbildern E3 und E4 erzeugt. Hierbei wird eine zweite Bewegungsvektorliste ML2 generiert.
Im vorliegenden Ausführungsbeispiel wurde die Vorgehensweise zur Durchführung des erfindungsgemäßen Verfahrens anhand von Bildern mit 3x3 Bildblöcke erläutert. Im Allgemeinen kann die Zahl der Bildblöcke beliebig sein, wie z.B. 4x4, 8x9 oder 11x9 sein. Zudem können auch die Anzahl der Bildblöcke der decodierten Bilder und der Eingangsbilder unterschiedlich sein.
Mit Hilfe von Fig. 3 werden im Folgenden die einzelnen Verar- beitungsschritte der zweiten Auflösungsebene R2, die der niedrigen Auflösungsebene entspricht, näher erläutert. Mit Hilfe des fünften und sechsten Eingangsbildes E5, E6, die dem ersten und zweiten Ausgangsbild Al, A2 der vorausgegangenen Auflösungsebene Rl entsprechen, und unter Verwendung des zum sechsten Eingangsbild E6 gehörenden decodierten Bildes D5 wird nach einer BewegungsSchätzung und Bewegungskompensation MC(ML3) das dritte Zwischenbild Z3 erzeugt. Hierbei wird eine dritte Bewegungsvektorliste ML3 generiert. Ferner wird nach einer inversen Bewegungskompensation IMC (ML3) und unter Be- rücksichtigung des dritten Eingangsbildes E3 das vorläufige dritte Ausgangsbild A3V erstellt. Das dritte Zwischenbild Z3 umfasst die hochfrequenten Anteile der zeitlich gefilterten Eingangsbilder E5, E6. Ferner beinhaltet das vorläufige drit¬ te Ausgangsbild A3V die Tiefpassanteile der zeitlich gefil— terten Eingangsbilder E5, E6. Werden die Auflösungsebenen Rl, R2 gemeinsam betrachtet so repräsentiert das vorläufige drit¬ te Ausgangsbild A3V die „zeitlichen" Tiefpassanteile der zweiten Bildgruppe GOP2 von aufeinanderfolgenden Originalbil¬ der O3, 04, O5, O6. In einem zusätzlichen Bearbeitungsschritt wird durch Prädiktion, wie z.B. bildpunktweise Differenzbil¬ dung, des vorläufigen dritten Ausgangsbildes A3V und des da-
zugehörenden dritten decodierten Bildes D3 das dritte Aus¬ gangsbild A3 erzeugt.
Dieses dritte Ausgangsbild A3 und die Zwischenbilder Zl, Z2, Z3 können vor dem Übertragen zu einer Decodiervorrichtung DV komprimiert werden, wie bspw. mittels einer Wavelet- Transformation.
Gemäß des Ausführungsbeispiels nach Fig. 1 ist die Zuordnung des Startbildes BSP für die Bildencodierung gemäß dem zweiten Codierverfahren CV2 derart gewählt worden, dass dieses dem dritten Originalbild O3 entspricht. Da die Anzahl der zu en- codierenden Originalbilder O3, - - -, O6 der zweiten Bildgruppe GOP2 in dem vorliegen Ausführungsbeispiel zu vier gewählt wurde, werden die Originalbilder O3, 04, O5, O6 gemeinsam en- codiert. Nach deren Kompression können im Folgenden die nächsten vier Originalbilder beginnend mit dem siebten Origi¬ nalbild O7 gemäß dem zweiten Codierverfahren CV2 komprimiert werden. Dies kann bis zum Ende der zu encodierenden Folge von Originalbildern Ol,...., ON fortgesetzt werden. Jedoch kann das zweite Codierverfahren CV2 auch mehr oder weniger aufein¬ anderfolgende Originalbilder Ol, ..., ON in eine Bildgruppe GOP zum Encodieren zusammenfassen.
Nach dem erfindungsgemäßen Verfahren wird vor der Bildenco¬ dierung durch das zweite Codierverfahren CV2 nach einer bewe— gungskompensierten, zeitlich- gefilterten Teilbandcodierung das Startbild BSP einer zu encodierenden Bildgruppe GOP von aufeinanderfolgenden Originalbildern Ol, ..., ON anhand einer ermittelten Codiereigenschaft eines zum Erzeugen eines Aus¬ gangsbildes A3 der niedrigen Auflösungsebene R2 dieser zu en¬ codierenden Bildgruppe GOP verwendeten, decodierten Bildes D3 festlegt. Da die Bildqualität des Ausgangsbildes der niedri¬ gen Auflösungsebene, im Ausführungsbeispiel ist dies das dritte Ausgangsbild A3 der zweiten Auflösungsebene R2, vom dazugehörigen decodierten Bild abhängt, wie z.B. dem dritten decodierten Bild D3, ist die Bildqualität des dazugehörigen
decodierten Bildes von erheblicher Bedeutung. Die Bildquali¬ tät des dazugehörigen decodierten Bildes hängt im Wesentli¬ chen von der Codiereigenschaft ab, die dieses decodierte Bild bei seiner Erstellung durch das erste Codierverfahren CVl un- terworfen war. Somit wird durch die Wahl des Startbildes BSP der Bildgruppe GOP, wie z.B. der zweiten Bildgruppe GOP2, in Abhängigkeit von der Codiereigenschaft des zum Ausgangsbild der niedrigen Auflösungsebene verwendeten, decodierten Bildes die Bildqualität des Ausgangsbildes der niedrigen Auflösungs- stufe erheblich beeinflusst. Bei einer optimalen Wahl des Startbildes BSP für die Bildgruppe GOP wird beispielsweise für das dritte Ausgangsbild A3 ein Bild mit niedriger Signal¬ energie generiert, das sehr effizient komprimiert werden kann.
Die Codiereigenschaft kann durch Auswertung der zum jeweili¬ gen decodierten Bild gehörenden Decodierliste ermittelt wer¬ den. Ferner kann die Codiereigenschaft auch durch Analyse des zum verwendeten, decodierten Bild gehörenden encodierten BiI- des gewonnen werden. So kann beispielsweise durch Analyse des ersten encodieren Bildes Bl ermittelt werden, welche Bildblö¬ cke MBI im ersten decodierten Bild Dl mittels des INTRA- bzw. des INTER—Codiermodus komprimiert wurden.
Zusätzlich wird das Startbild BSP aufgrund des verwendeten, decodierten Bildes, z.B. D3, festgelegt, wenn die Codierei- genschaftsermittlung ergibt, dass mindestens ein Bildblock MBI dieses verwendeten, decodierten Bildes D3 INTRA—codiert wurde. Unter einem Bildblock MBI ist beispielsweise eine Bildregion aus 16x16 Bildpunkten zu verstehen. Da der INTRA- codierte Bildblock MBI bspw. einer geringeren Quantisierung unterliegt als für den Fall, dass dieser Bildblock MBI INTER- codiert worden wäre, ergibt sich eine höhere Bildqualität für den Bildblock MPI des verwendeten, decodierten Bildes D3 als bei einer INTER-Codierung. Somit kann für das dritte Aus¬ gangsbild A3 ein Differenzbild mit geringerer Signalenergie gewonnen werden, welches z.B. durch eine nachgeschaltete Wa-
velet—Kompression sehr effizient komprimiert werden kann. Ferner ist die Verwendung eines INTRA-codierten Bildblocks MBI auch vorteilhaft, da bspw. auftretende Decodierfehler in¬ nerhalb der Folge von encodierten Bildern Bl, ..., BM nicht durch einen INTRA-codierten Bildblock MBI aus einem vorherge¬ henden encodierten Bild Bl, .••, BM übernommen werden und somit ein Bildfehler auch im dazugehörigen decodierten Bild Dl, ..., DM nicht auftritt.
Ferner kann das Startbild BSP aufgrund des verwendeten, deco¬ dierten Bildes D3 festgelegt werden, wenn die Codiereigen- schaftsermittlung ergibt, dass eine festgelegte Blockanzahl AM an Bildblöcken MPI dieses verwendeten, decodierten Bildes D3 INTRA-codiert wurde. Stehen beispielsweise mehrere mögli- che Startbilder BSP zur Verfügung, so wird durch diese Vari¬ ante des erfindungsgemäßen Verfahrens dasjenige Startbild BSP für die Encodierung der Bildgruppe GOP durch das zweite Co— dierverfahren CV2 gewählt, bei dem die vorgebbare Mindestan¬ zahl AM an INTRA—codierten Bildblöcken MBI des zum dazugehö- rigen decodierten Bildes Dl, ..., DM gefunden werden kann. Dies soll am folgenden Beispiel erläutert werden. Das Start¬ bild BSP soll so gewählt werden, dass das zum dritten Aus¬ gangsbild A3 verwendete, decodierte Bild mindestens 20 Bild¬ blöcke MBI umfasst, die mittels des INTRA—Codiermodus kompri- miert wurden. Als Startbild BSP kann das dritte oder vierte Originalbild O3, O4 gewählt werden. Die zum dritten und vier¬ ten Originalbild O3, O4 dazugehörigen decodierten Bilder sind die dritten und vierten decodierten Bilder D3, D4. Im dritten decodierten Bild D3 waren 25 INTRA-codierte Bildblöcke MBI und im vierten decodierten Bild D4 waren 19 INTRA-codierte Bildblöcke MBI vorhanden. Somit wird als Startbild BSP der zweiten Bildgruppe GOP2 zur Encodierung der Folge von Origi¬ nalbildern Ol, •-., ON das dritte Originalbild 03 ausgewählt.
In einer möglichen weiteren Variante des erfindungsgemäßen Verfahrens wird das Startbild BSP aufgrund des verwendeten, decodierten Bildes D3 festgelegt, wenn die Codiereigen-
schaftsermittlung ergibt, dass alle Bildblöcke MBI dieses verwendeten, decodierten Bildes D3 INTRA-codiert wurden. Dies ist vorteilhaft, da somit für das gesamte dritte Ausgangsbild A3 ein geringes Differenzsignal mit einer geringen Signal— energie gefunden werden kann. Hierbei fällt der Startpunkt mit einem mit „I" markierten decodierten Bild Dl, ..., DM zu- sammen.
Ferner kann es notwendig sein, bei der Bestimmung des Start- bildes BSP nicht nur die Codiereigenschaft Kl zu berücksich¬ tigen, sondern auch eine Maximalanzahl an aufeinanderfolgen¬ den Originalbilder Ol, .-., ON, wobei diese Maximalanzahl beispielsweise nicht überschritten werden darf. Beispielswei¬ se soll aufgrund der Codiereigenschaftsermittlung das Start- bild BSP der nächsten zu encodierenden Bildgruppe, z.B. GOP2, so gewählt werden, dass eine aktuell zu encodierende Bild¬ gruppe, z.B. GOPl, zehn Originalbilder umfassen soll. Die Ma¬ ximalanzahl pro Bildgruppe ist jedoch auf sechs Originalbil— der begrenzt. Somit wird beispielsweise die aktuell zu enco- dierende Bildgruppe GOPl in zwei Teilgruppen aufgeteilt, so dass zunächst sechs und danach vier Originalbilder in einer jeweiligen Bildgruppe encodiert werden.
In einer Variante des erfindungsgemäßen Verfahrens kann eine Anzahl zu encodierender, aufeinanderfolgender Originalbilder Ol, ..., ON der Bildgruppe GOP in Abhängigkeit der ermitteln¬ den Codiereigenschaft Kl eingestellt werden. Dies wird mit Hilfe von Fig. 5 näher erläutert, wobei aufgrund der ermit¬ telten Codiereigenschaft Kl als Startbild BSP immer diejeni- • gen Originalbilder Ol, ..., ON verwendet werden, bei denen alle Bildblöcke MPI der dazugehörenden decodierten Bilder Dl, ..., DM iNTRA-codiert wurden. Diese decodierten Bilder Dl, ..., DM sind mit einem „I" gekennzeichnet. Zunächst wird als Startbild BSP der ersten Bildgruppe GOPl für die Encodierung der Originalbilder Ol, ...., ON das erste Originalbild Ol be¬ nutzt. Hierbei werden das Ausgangsbild All und das Zwischen¬ bild ZIl generiert. Die Encodierung nach dem zweiten Codier-
verfahren CV2 wird bereits nach dem zweiten Originalbild 02 abgebrochen. Denn mit dem dritten Originalbild O3 steht ein mit „I" markiertes decodiertes Bild D3 zur Verfügung, und so¬ mit zeigt die Codiereigenschaft Kl an, dass hier ein neues Startbild BSP für die zweite Bildgruppe GOP2 gesetzt werden soll. Nach der zweiten Bildgruppe GOP2 wird die dritte Bild¬ gruppe GOP3 encodiert, wobei beispielsweise das Ausgangsbild A21 erstellt wird. Somit umfasst die erste Bildgruppe GOPl zwei und die zweite Bildgruppe GOP2 vier Originalbilder, die durch das zweite Codierverfahren CV2 encodiert werden.
In dem Ausführungsbeispiel wurde speziell auf die Encodierung der Originalbilder O3, 04, O5 und O6 eingegangen. Das erste und das zweite Codierverfahren CVl, CV2 erstellen hierbei mehrere encodierte Bildinformationen. Hierbei umfassen die encodierten Bildinformationen beispielsweise die Zwischenbil¬ der Zl, ..., Z3, das drittes Ausgangsbild A3, die encodierten Bilder B3, B4, B5, B6, und die Bewegungsvektorlisten MLl, ML2, ML3. Daneben fallen noch weitere Informationen bei der Encodierung an, wie beispielsweise Bewegungsvektoren im ers¬ ten Encodierverfahren. Zur Encodierung der gesamten Folge von Originalbildern Ol, ..., ON fallen gemäß des ersten und zwei¬ ten Codierverfahrens CVl, CV2 eine Vielzahl von encodierten Bildinformationen an, die in analoger Weise zum Ausführungs- beispiel erzeugt werden.
Fig. 4 zeigt eine Encodiervorrichtung EV, eine Decodiervor— richtung DV und ein Übertragungsmedium UEM zum Übertragen von Informationen von der Encodiervorrichtung EV zur Decodiervor- richtung DV. Die Encodiervorrichtung EV umfasst ein erstes Videoencodiermodul' VEl mit dessen Hilfe eine Folge von Origi— nalbildern Ol,...., ON nach dem ersten Codierverfahren CVl in eine Folge von encodierten Bildern Bl, ..., BM und daraus ei¬ ne Folge decodierten Bildern Dl, ...., DM erzeugt wird. Fer- ner umfasst die Encodiervorrichtung EV ein zweites Videoenco¬ diermodul VE2 zur Durchführung der Encodierung einer Folge von Originalbildern Ol, ..., ON nach dem zweiten Codierver—
fahren CV2 unter Berücksichtigung der decodierten Bilder Dl, ..., DM in Zwischenbilder Zl, Z2, Z3, in Ausgangsbilder Al, A2, A3 und zum Erzeugen mehrerer Bewegungsvektorlisten MLl, ..., ML3. Ferner verfügt die Encodiervorrichtung EV über eine erste Speichereinrichtung Sl, welche verschiedene Bilder, wie z.B. die Originalbilder Ol, ..., ON, zur Bearbeitung organi¬ siert speichert. Zusätzlich beinhaltet die Encodiervorrich¬ tung EV eine Sendeeinheit SE zum Übertragen encodierter Bild¬ informationen, wie z.B. die encodierten Bilder Bl, ..., BM. Die Sendeeinheit SE, die erste Speichereinrichtung Sl, das erste Videoencodiermodul VEl und das zweite Videoencodiermo- dul VE2 sind über ein erstes Verbindungsnetzwerk VNl zum Aus¬ tausch von Daten und Steuerinformationen miteinander verbun¬ den.
Die Decodiervorrichtung DV verfügt über ein erstes Videodeco— diermodul VDl zum Decodieren der encodierten Bilder Bl, ...., BM, die gemäß dem ersten Codierverfahren CVl erstellt wurden. Daneben verfügt die Decodiervorrichtung DV über ein zweites videodecodiermodul VD2 zum Decodieren der durch das zweite Codierverfahren CV2 erstellen komprimierten Bilder, wie z.B. den Zwischenbildern Zl, Z2, Z3 und/oder dem dritten Ausgangs- bild A3. Daneben werden auch die Bewegungsvektorlisten MLl, ...., ML3 zur Rekonstruktion der Originalbilder O3, 04, O5, O6 verwendet. Des Weiteren umfasst die Decodiervorrichtung DV eine Empfangseinheit EE, mit der die encodierten Bildinforma— tionen wie z.B. die encodierten Bilder Bl, ...., BM empfangen werden und in einer zweiten Speichereinrichtung S2 zur Weiterbearbeitung abgelegt werden. Schließlich beinhaltet die Decodiervorrichtung DV auch das zweite Speichermodul S2, in¬ dem verschiedene Informationen und Daten, wie bspw. die Bewe— gungsvektorlisten MLl, ...., ML3 gespeichert werden. Die Emp¬ fangseinheit EE, die zweite Speichereinrichtung S2, das erste Videodecodiermodul VDl und das zweite Videodecodiermodul VD2 sind über ein zweites Verbindungsnetzwerk VN2 zum Austausch von Daten und Steuerinformationen miteinander verbunden.
Das Übertragungsmedium DEM dient zur Übermittlung der enco- dierten Bildinformationen von der Encodiervorrichtung EV zur Decodiervorrichtung DV.
Die Encodiervorrichtung EV und/oder die Decodiervorrichtung DV können in einem Mobilfunkgerät nach GSM Standard (GSM - Global System for Mobile Communications) oder UMTS-Standard (UMTS— Universal Mobile Telecommunications Systems) als auch in einer Computereinheit, die möglicherweise in einem tragba- ren Gerät integriert ist, untergebracht sein. Zur Übermitt¬ lung der encodierten Bildinformationen zwischen der Encodier¬ vorrichtung EV und der Decodiervorrichtung DV kann bspw. ein drahtloses Funknetz, wie z.B. nach dem GSM Standard, als auch ein drahtgebundenes Übertragungsmedium, wie z.B. ein IP- basiertes Netzwerk (IP- Internet Protokoll) oder ISDN (ISDN - Integrated Services Digital Network) benutzt werden.
Neben der Möglichkeit die encodierten Bildinformationen von der Encodiervorrichtung EV zur Decodiervorrichtung DV zu sen- den, kann es in der Praxis zweckmäßig sein, die encodierten Bildinformationen auf einem Speichermedium wie z.B. einer CD (CD- Compact Disk) oder einem Video-Server, zur späteren Be¬ nutzung zu speichern.
Ferner umfasst die Erfindung auch ein Bilddecodierverfahren, bei dem das Verfahren zur Bildencodierung einer Folge von Originalbildern Ol, ..., ON decodierbar ist. Beispielsweise wird zunächst durch das erste Videodecodiermodul VDl die Fol¬ ge von encodierten Bildern Bl, ..-, BM in eine Folge von de- codierten Bildern die Dl, ..., DM decodiert. Anschließend ge¬ neriert das zweite Videodecodiermodul VD2 unter Verwendung der Zwischenbilder Zl, Z2, Z3 und des dritten Ausgangsbildes A3 sowie unter Zuhilfenahme der Bewegungsvektorlisten MLl, ..., ML3 und der decodierten Bilder Dl, ...., DM eine Folge rekonstruierten Bildern Rl, ... RM der Folge von Originalbil¬ dern Ol, ..., ON.
In einer möglichen Variante werden die rekonstruierten Bilder Rl7 ..., RN, die durch das zweite videodecodiermodul VD2 ge¬ neriert wurden, an ein Ausgabemedium DD, Jospw. einem Monitor wiedergeben. Alternativ oder zusätzlich können auch die deco- dierten Bilder Dl, ..., DM, erzeugt durch das erste videode¬ codiermodul VDl, auf dem Monitor wiedergeben werden. Bei¬ spielsweise umfassen die decodierten Bilder Dl, ..., DM ledig¬ lich eine reduzierte Bildqualität, wohingegen die rekon¬ struierten Bilder Rl, ...., RM eine hochqualitative Bildqua— lität repräsentieren. Somit kann bspw. durch den Nutzer aus¬ gewählt werden, ob eine Folge von Bildern in einer niedrigen oder in einer hohen Bildqualität an dem Ausgabemedium, wieder¬ gegeben werden soll.
Literaturverzeichnis
[1] K. Hanke, RWTH-Aachen, http:/www.ient.rwth-aachen.cie/ forschung/pdf/3D-videocodierung.pdf
[2] Videocodierstandard ITU-T H.263, „Videocoding for Low Bitrate Communication", 02/1998
[3] VideocodierStandard ITU-T H.264, „Advanced Video Coding for Generic Audio Visual Services"1", 05/2003
[4] H.Schwarz, D.Marpe und T.Wigand, Fraunhofer Institut für Telekommunikation, Heinrich Herz Institut, "Sca- lable Extension of H.264/AVC", ISO/IEC JTC1/SC29/WG11, MPEG04/M10569/S03, März 2004.
[5] S.Jun, S. Huifang, "Image and Video Compression for Multimedia Engineering", CRC-Press, 2000