DE10046807C2 - Verfahren und Vorrichtung zur Bildkompression - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bildkom­ pression, wie es beispielsweise in Video- oder TV-Codierern bzw. -Decodierern mit bewegungskompensierter Prädiktion ein­ setzbar ist, sowie eine entsprechende Vorrichtung zur Bild­ kompression.

Zukünftige digitale TV-Decodierer sollen neben dem CCIR- oder PAL-Bildformat auch hochauflösende Signale, sogenannte HDTV- Signale ("High Density Television"), empfangen und in redu­ zierter Größe auf gewöhnlichen Bildschirmen wiedergeben kön­ nen. Ein Problem bei der Decodierung von hochauflösenden Vi­ deosignalen ist der enorme Speicherbedarf für den großforma­ tigen internen Bildspeicher.

Ein entscheidender Bestandteil heutiger Videocodierstandards, wie beispielsweise die Standards der H.26- oder MPEG-Familie, ist die sogenannte bewegungskompensierte Prädiktion. Dabei wird von dem Codierer und dem Decodierer jeweils das Vorgän­ gerbild als Referenzbild gespeichert, und es werden aus­ schließlich die Differenzen zum Nachfolgebild übertragen, um den Codierumfang zu reduzieren. Zusätzlich werden entspre­ chend der Bildbewegung Blöcke, welche beispielsweise jeweils 16 × 16 Bildpunkte (Pixel) umfassen, aus dem Vorgängerbild ver­ schoben, um eine möglichst gute Prädiktion des Nachfolgebilds zu gewährleisten.

Bei der Decodierung von HDTV-Signalen, die auf gewöhnlichen Bildschirmen wiedergegeben werden sollen, wird aus Kosten­ gründen angestrebt, nicht einen Referenzbildspeicher zum Speichern der einzelnen Bildpunkte im HDTV-Format zu verwen­ den, sondern lediglich einen Referenzbildspeicher mit einem reduzierten Speichervolumen. Insbesondere soll ein Referenz­ bildspeicher verwendet werden, der lediglich zum Speichern der Bilddaten im herkömmlichen SDTV-Format geeignet ist und demzufolge lediglich ein Viertel der zum Speichern von HDTV- Bilddaten erforderlichen Speicherkapazität aufweist. Hierzu sind verschiedene Varianten zur Komprimierung der in dem Re­ ferenzbildspeicher zu speichernden Referenzbilder bekannt, welche nachfolgend näher anhand Fig. 4 erläutert werden sol­ len.

In Fig. 4 ist der grundsätzliche Aufbau eines TV- oder Vide­ odecodierers mit bewegungskompensierter Prädiktion darge­ stellt, wie er beispielsweise in digitalen TV-Geräten zum Einsatz kommt. Wie bereits zuvor erwähnt worden ist, werden bei Anwendung der bewegungskompensierten Prädiktion lediglich die Differenzen zwischen zwei aufeinanderfolgenden Bildern übertragen. Bei der in Fig. 4 gezeigten Anordnung werden die in codierter Form empfangenen Differenzwerte zunächst einem Varible Länge-Decodierer 8 zugeführt, um die Differenzwerte in Codeworte einheitlicher Bitlänge umzusetzen. Diese Code­ worte werden anschließend einem Block 9 zur Durchführung ei­ ner inversen Quantisierung bzw. einem Block 10 zur Durchfüh­ rung einer inversen diskreten Cosinustransformation (IDCT) zugeführt. Um das tatsächliche Bild zu erhalten, werden die Differenzwerte zu den Werten der einzelnen Bildpunkte eines in einem Referenzbildspeicher 5 gespeicherten Referenzbilds, welches insbesondere dem vorhergehenden Bild entspricht, ad­ diert. Umgekehrt werden die somit erhaltenen Bildpunktwerte des augenblicklichen Bilds, wie in Fig. 4 gezeigt, wieder in dem Referenzbildspeicher 5 gespeichert, um das augenblickli­ che Bild als neues Referenzbild zu speichern.

Da der Referenzbildspeicher 5 aus Kostengründen lediglich zum Speichern von Bilddaten im herkömmlichen SDTV-Format ausges­ taltet ist, müssen die nach dem in Fig. 4 gezeigten Addierer vorliegenden Bilddaten bzw. das entsprechende HDTV-Bild komp­ rimiert werden. Um dies zu erzielen, kann das jeweilige Bild von einer Einheit 1 beispielsweise mit dem Faktor ¼ unterab­ getastet werden, so dass der Speicheraufwand zum Speichern des auf diese Weise komprimierten HDTV-Bilds reduziert wird. Die aus dem Referenzbildspeicher 5 ausgelesenen Bilddaten müssen dann entsprechend von einer Einheit 6 dekomprimiert werden, um wieder das ursprüngliche HDTV-Format zu erhalten.

In der Regel erfolgt die Verarbeitung jedes Bilds blockweise, wobei beispielsweise jeder Block 16 × 16 Bildpunkte umfassen kann. Um eine möglichst gute Prädiktion des Nachfolgebilds zu gewährleisten, werden entsprechend der Bildbewegung Blöcke gegenüber dem Vorgängerbild verschoben. Aus diesem Grund wer­ den die aus dem Referenzbildspeicher 5 ausgelesenen Bilddaten der einzelnen Blöcke einer Einheit 7 zur Durchführung der Be­ wegungskompensation sowie zur Durchführung einer entsprechen­ den Interpolation zugeführt. Das Prinzip der bewegungskompen­ sierten Prädiktion ist im Prinzip allgemein bekannt, so dass an dieser Stelle nicht näher darauf eingegangen werden muss.

Am Ausgang des in Fig. 4 gezeigten Videodecodierers befindet sich ein Schalter 11, mit dem zwischen einer HDTV- und einer SDTV-Bildwiedergabe umgeschaltet werden kann. Wie bereits zu­ vor erläutert worden ist, sind die Bilddaten am Ausgang des in Fig. 4 gezeigten Addierers (nach Durchführung der zuvor erläuterten bewegungskompensierten Prädiktion) im HDTV-Format vorhanden. Mit Hilfe eines Unterabtasters 12, welcher die Bilddaten bzw. die entsprechenden Bildpunkte gemäß dem Faktor ¼ unterabtastet, kann jedoch daraus das gewünschte SDTV- Format erhalten werden.

Mit Hilfe der von der Einheit 1 durchgeführten Unterabtastung des HDTV-Bilds, wie es beispielsweise in H. Sun, "Hierarchi­ cal Decoder for MPEG Compressed Video Data", IEEE Trans. Con­ sumer Electronics, Vol. 39, No. 3, 1993, Seiten 559-564 be­ schrieben ist, kann zwar der zum Speichern des Referenzbilds in dem Referenzbildspeicher 5 erforderliche Speicheraufwand reduziert werden, auf Grund der verringerten Auflösung ver­ schlechtert sich jedoch die Bildqualität. An Stelle dieser Unterabtastung im Ortsbereich kann von der Einheit 1 auch ei­ ne Unterabtastung im Frequenzbereich durchgeführt werden, wie sie beispielsweise in A. W. Jonson, T. Sikora, T. K. Tan and K. N. Ngan, "Filters for Drift Reduction in Frequency Sca­ lable Coding Schemes", ELECTRONIC LETTERS, 17. März 1994, Vol. 30, No. 6, Seiten 471-472 beschrieben ist. Ein derarti­ ges Unterabtastverfahren ist jedoch für detaillierte Bild­ strukturen wenig geeignet.

Aus "Digital Image Compression Techniques", Majid Rabbani und Paul W. Jones, SPIE - The International Society for Optical Engineering, 1999, Seiten 192, 193 und 199-202 ist es be­ kannt, zu komprimierende Bildbereiche in mehrere Schichten zu unterteilen. Die Bildpunkte jeder Schicht werden ausschließ­ lich durch Unterabtastung bzw. Mittelwertbildung von Bild­ punkten der in der Schichtensequenz unmittelbar vorangegange­ nen Schicht ermittelt. Auf diese Weise wird der ursprüngli­ che, zu komprimierende Bildbereich von Schicht zu Schicht in seiner Größe reduziert, wobei sich zudem die Bildauflösung von Schicht zu Schicht verschlechtert.

Aus Patent Abstracts of Japan, JP 10257502 A, 25. September 1998 ist darüber hinaus bekannt, die Bildpunktwerte von hoch auflösenden Halbbildern auf Grundlage entsprechender Bilder niedriger Auflösung zu prädizieren und die Differenzwerte zwischen den prädizierten Bildpunktwerten und den tatsächli­ chen Bildpunktwerten zu codieren.

Der vorliegenden Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren sowie eine entsprechende Vorrichtung zur Bild­ kompression bereitzustellen, wobei auch nach Durchführung der Bildkompression eine zufriedenstellende Bildqualität gewähr­ leistet ist. Insbesondere soll die vorliegende Erfindung zum Einsatz in Videocodierern bzw. Videodecodierern mit bewe­ gungskompensierter Prädiktion geeignet sein und eine deutli­ che Reduzierung des hierzu benötigten Referenzbildspeichers ermöglichen, um im HDTV-Format vorliegende Bilder bzw. die entsprechenden Bilddaten beispielsweise im SDTV-Format ab­ speichern zu können.

Die oben genannte Aufgabe wird erfindungsgemäß durch ein Ver­ fahren mit den Merkmalen des Anspruches 1 bzw. einer Vorrich­ tung mit den Merkmalen des Anspruches 22 gelöst. Die Unteran­ sprüche definieren jeweils bevorzugte und vorteilhafte Aus­ führungsformen der vorliegenden Erfindung.

Erfindungsgemäß wird vorgeschlagen, einen zu komprimierenden Bildbereich, welcher beispielsweise einem Block mit 16 × 16 Bildpunkten entsprechen kann, in mindestens zwei Schichten zu unterteilen, welche verschiedenen Unterabtastmustern entspre­ chen. Diese Unterteilung entspricht einer mehrstufigen Auflö­ sungspyramide. Die Bildpunkte der zweiten Schicht werden da­ bei aus den in dem zu komprimierenden Bildbereich dazu be­ nachbarten bereits ermittelten und insbesondere codierten Bildpunkten der ersten Schicht prädiziert, wobei hierzu für jeden Bildpunkt der zweiten Schicht beispielsweise der Mit­ telwert aus den entsprechenden vier benachbarten Bildpunkten der ersten Schicht gebildet werden kann. Die Differenz zwi­ schen dem exakten tatsächlichen Bildpunktwert und dem auf diese Weise erhaltenen prädizierten Bildpunktwert, d. h. der Prädiktionsfehler, wird codiert und kann - beispielsweise bei Anwendung der bewegungskompensierten Prädiktion - in einem Referenzbildspeicher gespeichert werden.

Dieses Verfahren kann im Prinzip auf eine beliebige Anzahl von Schichten erweitert werden, wobei die Bildpunkte jeder nachfolgenden Schicht aus den in dem zu komprimierenden Bild­ bereich benachbarten und bereits ermittelten Bildpunkten der vorangegangenen Schichten prädiziert werden können. Zur Co­ dierung der Prädiktionsfehler eignet sich jeweils bevorzugt eine Huffmancodierung mit Lauflängencodierung der Nullen. Je­ de Schicht oder Stufe dieses somit gebildeten hierarchischen Schichtenmodells kann unabhängig quantisiert werden, wobei vorzugsweise für jede nachfolgende Schicht oder Stufe eine gröbere Quantisierung als für die vorhergehende Schicht ge­ wählt wird, um eine Fehlerfortpflanzung in die nachfolgernden Schichten zu vermeiden.

Als besonders vorteilhaft hat sich die Unterteilung des zu komprimierenden Bildbereichs gemäß einer 3-stufigen Auflö­ sungspyramide herausgestellt, wobei die erste Schicht bei­ spielsweise durch Unterabtastung des zu komprimierenden Bild­ bereichs mit dem Faktor ¼ erhalten und der für jeden Bild­ punkt dieser ersten Schicht ermittelte Prädiktionsfehler vor­ zugsweise nicht quantisiert wird, um eine Fehlerfortpflanzung in die nachfolgenden Schichten zu vermeiden. Auch die Bild­ punkte der zweiten Schicht können durch eine Unterabtastung des ursprünglichen Bildbereichs beispielsweise gemäß dem Fak­ tor ¼ erhalten werden. Für die Prädiktionsfehler der Bild­ punkte dieser zweiten Schicht ist es vorteilhaft, die Quanti­ sierung derart zu wählen, dass in dem Referenzbildspeicher gerade die Prädiktionsfehler der ersten und zweiten Schicht komplett gespeichert werden können. Die hierzu optimale Quan­ tisierung lässt sich durch Testcodierungen bestimmen. Die schließlich verbleibenden Bildpunkte der dritten Schicht wer­ den, um Datenrate einzusparen, nicht codiert, sondern beim Decodieren ausschließlich auf Grundlage der bereits codierten Bildpunkte der ersten und zweiten Schicht prädiziert. Experi­ mente haben gezeigt, dass die Speicherung der Bildpunkte bzw. der entsprechenden Prädiktionsfehler der ersten beiden Schichten bereits eine sehr gute Bildqualität ermöglicht.

Wie bereits zuvor erwähnt worden ist, kann als zu komprimie­ render Bildbereich jeweils ein Block mit 16 × 16 Bildpunkten (Pixel) verwendet werden. Stattdessen kann die vorliegende Erfindung jedoch auch auf mehrere beispielsweise in einer Bildzeile benachbart angeordnete Blöcke angewendet werden, um somit Differenzen bei Helligkeit- oder Kontrastsprüngen in dem Bild besser ausgleichen zu können. Besonders gute Ergeb­ nisse konnten für Blockgruppen erzielt werden, welche einem Viertel einer Bildzeile entsprechen.

Wie ebenfalls bereits erwähnt worden ist, kann die Prädiktion jeweils durch Mittelwertbildung erfolgen. Stattdessen ist je­ doch beispielsweise auch die Verwendung des Medians der ent­ sprechenden Nachbarbildpunkte möglich. Ebenso ist es vorteil­ haft, wenn eine Umschaltmöglichkeit zwischen einer sogenann­ ten "interlaced"-Codierung und einer progressiven Codierung vorgesehen ist, da die "interlaced"-Codierung für TV-Bilder und die progressive Codierung für Kinofilmbilder vorteilhaft ist.

Mit Hilfe der vorliegenden Erfindung wird ein spezielles Co­ dier- bzw. Komprimierverfahren vorgeschlagen, wobei es sich insbesondere um ein skalierbares Komprimierverfahren handelt, welches auch als skalierbares DPCM-Verfahren ("Difference Pulse Code Modulation") bezeichnet werden kann, und zur Re­ konstruktion der ursprünglichen Bildinformation mit ausrei­ chend guter Auflösung geeignet ist.

Die vorliegende Erfindung eignet sich insbesondere zum Ein­ satz in Videocodierern oder Videodecodierern, wie beispiels­ Weise MPEG-2-Codierern/Decodierern, bei denen die sogenannte bewegungskompensierte Prädiktion zur Anwendung kommt. Des Weiteren ist die vorliegende Erfindung insbesondere zum Ein­ satz in Geräten geeignet, welche zum Empfang von hochauflö­ senden Bildern ausgestaltet sind und die Bilder jedoch mit verringerter Auflösung auf einem herkömmlichen Bildschirm in reduzierter Größe darstellen sollen (beispielsweise digitale TV-Geräte, Set-Top-Boxen für digitale TV-Geräte, Video- Mobiltelefone oder dergleichen). Selbstverständlich ist die vorliegende Erfindung jedoch allgemein überall dort einsetz­ bar, wo eine hochqualitative Bildkomprimierung gewünscht wird.

Die vorliegende Erfindung wird nachfolgend näher unter Bezug­ nahme auf die beigefügte Zeichnung anhand bevorzugter Ausfüh­ rungsbeispiele erläutert.

Fig. 1 zeigt die Aufteilung eines zu komprimierenden Bildbe­ reichs in mehrere Schichten gemäß einem bevorzugten Ausfüh­ rungsbeispiel der vorliegenden Erfindung,

Fig. 2 zeigt eine Darstellung zur Verdeutlichung der Anwen­ dung der vorliegenden Erfindung auf mehrere benachbarte Blö­ cke in einer Bildzeile,

Fig. 3 zeigt ein vereinfachtes Blockschaltbild eines erfin­ dungsgemäßen Videodecodierers mit bewegungskompensierter Prä­ diktion, und

Fig. 4 zeigt ein vereinfachtes Blockschaltbild eines Video­ decodierers gemäß dem Stand der Technik mit bewegungskompen­ sierter Prädiktion.

Erfindungsgemäß wird ein spezielles Komprimier- bzw. Codier­ verfahren angewendet, welches das zu komprimierende Bild um einen bestimmten Faktor, beispielsweise um den Faktor 4, komprimiert und bei der Dekomprimierung beliebigen Zugriff auf bestimmte Bildbereiche erlaubt. Die Erfindung wird nach­ folgend am Beispiel eines Videodecodierers mit bewegungskom­ pensierter Prädiktion, insbesondere am Beispiel eines DCT- Hybridecodierers gemäß dem MPEG-2-Standard, erläutert, wobei die vorliegende Erfindung jedoch ebenso auf andere prädiktive Codier- bzw. Decodierverfahren und Kompressionsfaktoren sowie andere Anwendungsbereiche anwendbar ist.

Gemäß dem Komprimierverfahren der vorliegenden Erfindung wird vorgeschlagen, dass zu komprimierende Bild in mehrere Berei­ che, beispielsweise in Blöcke mit jeweils 16 × 16 Bildpunkten, zu unterteilen, welche unabhängig voneinander jeweils um den gleichen Faktor, beispielsweise um den Faktor 4, komprimiert werden. Die Bildbereiche werden in mehrere Schichten, welche verschiedenen Abtastmustern des jeweiligen Bildbereichs ent­ sprechen, unterteilt, wobei die Bildpunkte einer nachfolgen­ den Schicht jeweils aus dem bereits codierten Bildpunkten der vorangegangenen Schichten prädiziert und die Differenz zwi­ schen dem exakten und prädizierten Bildpunktwert, d. h. der Prädiktionsfehler, codiert und gespeichert wird. Dies soll nachfolgend näher unter Bezugnahme auf Fig. 1 erläutert wer­ den.

In Fig. 1 ist ein Bildbereich in Form eines Blocks mit 16 × 16 Bildpunkten dargestellt, welcher komprimiert werden soll. Dieser Bildbereich wird in drei Schichten unterteilt, welche verschiedenen Abtastmustern entsprechen. Diese Unterteilung entspricht einer 3-stufigen Auflösungspyramide. Wie aus Fig. 1 ersichtlich ist, werden die Werte der Bildpunkte 13 der ersten Schicht jeweils aus dem bereits vorliegenden Bild­ punktwerten von Nachbarbildpunkten derselben Schicht prädi­ ziert, d. h. abgeschätzt. Die Differenz zwischen dem exakten und prädizierten Bildpunktwert, d. h. der Prädiktionsfehler, wird jeweils codiert und kann beispielsweise in dem in Fig. 3 gezeigten Referenzbildspeicher 5 abgespeichert werden. All­ gemein ist zu bemerken, dass in Fig. 3 die den in Fig. 4 gezeigten Komponenten entsprechenden Komponenten mit densel­ ben Bezugszeichen versehen sind und bezüglich dieser Kompo­ nenten zur Vermeidung einer wiederholten Beschreibung auf die obige Beschreibung zu Fig. 4 verwiesen wird.

Zur Codierung des Prädiktionsfehlers eignet sich bevorzugt eine Huffmancodierung mit Lauflängencodierung der Nullen. Die für die Huffmancodierung verwendeten Huffmantabellen sind speziell an die Statistik von detailreichen Bildinhalten an­ zupassen, da diese am fehleranfälligsten sind.

Wie zudem aus Fig. 1 ersichtlich ist, werden die Werte der Bildpunkte 14 der zweiten Schicht aus den somit bereits in codierter Form vorliegenden Nachbarbildpunkten 13 der ersten Schicht ermittelt. Auch bezüglich der Bildpunkte 14 der zwei­ ten Schicht wird jeweils die Differenz zwischen dem exakten Bildpunktwert und dem prädizierten Bildpunktwert, d. h. der Prädiktionsfehler, ermittelt, codiert und abgespeichert.

Das zuvor beschriebene Verfahren lässt sich im Prinzip auf eine beliebige Anzahl von Schichten erweitern, wobei jeweils die Bildpunkte einer Schicht aus den bereits codierten Nach­ barbildpunkten der vorangegangenen Schicht bzw. der vorange­ gangenen Schichten prädiziert und der Prädiktionsfehler co­ diert wird. Dabei ist es vorteilhaft, die codierten Diffe­ renzwerte jeweils in quantisierter Form auszugeben, wobei für jede Schicht eine schichtspezifische Quantisierung derart ge­ wählt wird, dass zur Vermeidung von Fehlerfortpflanzungen für die unteren Schichten, d. h. für die früher verarbeitenden Schichten, eine feinere Quantisierung als für die oberen Schichten, d. h. die nachfolgenden Schichten, gewählt wird.

Bei dem in Fig. 1 gezeigten Ausführungsbeispiel wird jeder Bildpunktwert aus vier Nachbarbildpunkten prädiziert. Zur Be­ schleunigung des Verfahrens kann jedoch auch zur Prädiktion eines Bildpunkts eine davon abweichende Anzahl von Nachbar­ bildpunkten, beispielsweise zwei Nachbarbildpunkte, gewählt werden. Diese Variante würde die Kompressionseffizienz nur geringfügig senken.

Des Weiteren können als Prädiktoren jeweils die Mittelwerte der Nachbarbildpunkte dienen. Ebenso ist jedoch auch denkbar, den Median anzuwenden, wobei die Nachbarbildpunkte, aus denen der jeweilige Bildpunkt prädiziert werden soll, nach ihrem Wert geordnet und für den zu prädizierenden Bildpunkt der mittlere Wert in der Reihe der somit geordneten Nachbarbild­ punkte gewählt wird.

Wie bereits zuvor erwähnt worden ist, werden die einzelnen Schichten getrennt voneinander verarbeitet, d. h. prädiziert, codiert und quantisiert. Dabei ist es vorteilhaft, die Codie­ rung Schicht für Schicht solange durchzuführen, bis der vor­ gegebene Gesamtkompressionsfaktor erreicht ist, d. h. der zur Verfügung stehende Speicherplatz des Referenzbildspeichers 5 gefüllt ist. Die nachfolgenden noch zu verarbeitenden Bild­ punkte bzw. Symbole werden nicht gespeichert, sondern bei der Decodierung, welche von der in Fig. 3 gezeigten Dekompressi­ onseinheit 6 wahrgenommen wird, lediglich aus den in dem Re­ ferenzbildspeicher 5 gespeicherten codierten Bildpunkt- bzw. Prädiktionsfehlerwerten prädiziert. Dabei ist es vorteilhaft, die Codierung und Quantisierung der ersten und zweiten Schicht derart zu wählen, dass unter Berücksichtigung des noch zur Verfügung stehenden Speicherplatzes des Referenz­ bildspeichers 5 auch die zweite Schicht noch codiert werden kann. Um dies zu erreichen, kann für die erste Schicht auf eine Quantisierung verzichtet werden, um Fehlerfortpflanzung in die nachfolgenden Schichten zu vermeiden. Das Quantisie­ rungsintervall für die zweite Schicht wird schließlich so ge­ wählt, dass die zweite Schicht noch codiert wird. Die hierzu erforderliche optimale Quantisierung lässt sich durch Varia­ tion und Testcodierungen bestimmen. Nach Codierung und Quan­ tisierung der ersten und zweiten Schicht ist der Referenz­ bildspeicher 5 gefüllt. Um Datenrate zu sparen, werden die Bildpunkte 15 der dritten Schicht somit nicht codiert, son­ dern beim Decodieren ausschließlich auf Grundlage der in dem Referenzbildspeicher 5 gespeicherten Werte der Nachbarbild­ punkte der vorangegangenen Schichten prädiziert. Experimente haben gezeigt, dass die Codierung und Speicherung der Bild­ punkte 13, 14 der ersten beiden Schichten bereits eine sehr gute Bildqualität ermöglicht.

Wie in Fig. 3 gezeigt ist, ist zur Durchführung des zuvor beschriebenen Verfahrens die Kompressionseinheit 1, welche zur Kompression des gewünschten Bildbereichs vorgesehen ist, mit einer Einheit 2 auszustatten, welche den zu komprimieren­ den Bildbereich in die einzelnen Schichten unterteilt und für die einzelnen Schichten die Prädiktion der Bildpunktwerte aus den entsprechenden Nachbarbildpunkten vornimmt und für jeden prädizierten Bildpunkt den Prädiktionsfehler ausgibt. Des Weiteren umfasst die Kompressionseinheit 1 eine Quantisie­ rungseinheit 3, welche die zuvor erwähnte schichtenspezifi­ sche Quantisierung der Prädiktionsfehler der einzelnen Bild­ punkte durchführt. Schließlich umfasst die Kompressionsein­ heit 1 auch eine Codiereinheit 4 zur Codierung der quanti­ sierten Prädiktionsfehler, wobei insbesondere eine Huffmanco­ dierung mit Lauflängencodierung der Nullen durchgeführt wird. Die somit quantisierten Codesymbole werden in dem Referenz­ bildspeicher 5 gespeichert. Die dem Referenzbildspeicher 5 nachgeschaltete Dekompressionseinheit 6 ist entsprechend der Kompressionseinheit 1 aufgebaut und umfasst demzufolge eine Dequantisierungseinheit, eine Deprädiktionseinheit und eine Decodierungseinheit. Von der Dekompressionseinheit 6 werden somit die Bilddaten im ursprünglichen Bildformat, beispiels­ weise im HDTV-Format, gewonnen und der Bewegungskompensati­ onseinheit 7 zugeführt.

Bei der vorhergehenden Beschreibung wurde davon ausgegangen, dass von der Kompressionseinheit 1 jeweils einzelne Blöcke mit 16 × 16 Bildpunkten verarbeitet werden. Die mittlere Bild­ qualität wird jedoch umso besser, je größer die Codierberei­ che gewählt werden, da innerhalb von Codierbereichen die Da­ tenrate ausgeglichen werden kann. Wählt man die Codierberei­ che zu groß, wird jedoch Speicherplatz für die uncodierte Speicherung verschwendet. Als optimale Lösung empfiehlt es sich, für den Codierbereich eine Makroblockzeile mit mehreren benachbarten Blöcken zu wählen, welche einer viertel bis ei­ ner ganzen Bildzeile entsprechen können. Eine derartige Mak­ roblockzeile ist in Fig. 2 dargestellt. Das zuvor beschrie­ bene erfindungsgemäße Verfahren wird somit auf die gesamte Makroblockzeile als Einheit angewendet, d. h. die gesamte Mak­ roblockzeile wird in die 3 Schichten unterteilt, welche wie zuvor beschrieben verarbeitet werden. Mit diesem Ansatz kön­ nen detailreiche Bildbereiche, welche in Fig. 2 durch den Buchstaben "A" angedeutet sind, mit einer höheren Datenrate, welche in homogenen Bildbereichen eingespart werden kann, verarbeitet werden.

Bei dem in Fig. 1 gezeigten Ausführungsbeispiel wird davon ausgegangen, dass die einzelnen Zeilen eines zu verarbeiten­ den Bildbereichs nacheinander, d. h. progressiv, verarbeitet werden. Diese Vorgangsweise ist beispielsweise für Kinofilm­ bilder geeignet, welche progressiv codiert werden. TV-Bilder werden hingegen in der Regel "interlaced" codiert, d. h. es werden beispielsweise zuerst die Zeilen mit gerader Zeilen­ nummer verarbeitet, ehe die Zeilen mit ungerader Zeilennummer verarbeitet werden. Auch bei Anwendung der vorliegenden Er­ findung kann eine entsprechende "interlaced"-Verarbeitung vorgesehen sein, d. h. die Zeilen gerader Zeilennummer und die Zeilen ungerader Zeilennummer werden voneinander getrennt verarbeitet. Besonders vorteilhaft ist es, wenn die in Fig. 3 gezeigte Anordnung derart ausgestaltet ist, dass zwischen einer "interlaced"-Codierung und einer progressiven Codierung umgeschaltet werden kann, um abhängig von der jeweils verwen­ deten Bildquelle die am besten geeignete Verarbeitungs- bzw. Codierart auszuwählen.

Dabei kann auch der am besten geeignete Komprimiermodus auto­ matisch dadurch ermittelt werden, dass für jeden zu verarbei­ tenden Block bzw. für jede zu verarbeitende Makroblockzeile sowohl eine "interlaced"-Codierung als auch eine progressive Codierung durchgeführt und anschließend automatisch der ef­ fektivste Komprimiermodus tatsächlich realisiert wird.

Im Rahmen der vorliegenden Erfindung wird somit ein fein gra­ nular skalierbares Komprimier- bzw. Codierschema vorgeschla­ gen, welches an einer beliebigen Stelle des zu komprimieren­ den Bitstroms abgebrochen werden kann und dennoch ein realis­ tisches, wenn auch in der Auflösung reduziertes Bild ausgibt.

Claims (26)

1. Verfahren zur Bildkompression, wobei mindestens ein zu komprimierender Bildbereich mit meh­ reren durch entsprechende Bildpunktwerte beschriebenen Bild­ punkten (13-15) vorliegt, dadurch gekennzeichnet,
dass der zu komprimierende Bildbereich in mindestens eine erste und eine zweite Schicht unterteilt wird, wobei die ers­ te und die zweite Schicht unterschiedlichen Abtastmustern des zu komprimierenden Bildbereichs entsprechen, und
dass für jeden Bildpunkt (14) der zweiten Schicht aus Bild­ punktwerten von zu dem jeweiligen Bildpunkt in dem Bildbe­ reich benachbarten Bildpunkten (13) der ersten Schicht ein prädizierter Bildpunktwert ermittelt und der Differenzwert zwischen dem prädizierten Bildpunktwert und dem tatsächlichen Bildpunktwert des jeweiligen Bildpunkts zur weiteren Verar­ beitung ausgegeben wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Bildpunkte (13) der ersten Schicht aus in dem Bildbereich benachbarten Bildpunkten der ersten Schicht ein prädizierter Bildpunktwert ermittelt und der Differenzwert zwischen dem prädizierten Bildpunktwert und dem tatsächlichen Bildpunktwert des jeweiligen Bildpunkts (13) zur weiteren Verarbeitung ausgegeben wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die für die Bildpunkte (13) der ersten Schicht ermittel­ ten Differenzwerte unquantisiert zur weiteren Verarbeitung ausgegeben werden.

4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die für die Bildpunkte (13, 14) der ersten und zweiten Schicht ermittelten Differenzwerte codiert werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Schicht durch Unterabtastung des zu komprimie­ renden Bildbereichs mit dem Faktor ¼ gewonnen wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Schicht durch Unterabtastung des zu kompri­ mierenden Bildbereichs mit dem Faktor ¼ gewonnen wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die für die Bildpunkte (14) der zweiten Schicht ermit­ telten Differenzwerte quantisiert werden, ehe sie zur weite­ ren Verarbeitung ausgegeben werden.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
dass der zu komprimierende Bildbereich in die erste und die zweite sowie eine dritte Schicht unterteilt wird, wobei die erste, zweite und die dritte Schicht unterschiedlichen Ab­ tastmustern des Bildbereichs entsprechen, und
dass für jeden Bildpunkt (15) der dritten Schicht aus Bild­ punktwerten von zu dem jeweiligen Bildpunkt in dem Bildbe­ reich benachbarten Bildpunkten (13, 14) der ersten und zwei­ ten Schicht ein prädizierter Bildpunktwert ermittelt und zur weiteren Verarbeitung ausgegeben wird.

9. Verfahren nach Anspruch 2 und Anspruch 8, dadurch gekennzeichnet, dass für jeden Bildpunkt (15) der dritten Schicht aus den Differenzwerten, welche für von zu dem jeweiligen Bildpunkt (15) in dem Bildbereich benachbarten Bildpunkten (13, 14) der ersten und zweiten Schicht ermittelt worden sind, der prädi­ zierte Bildpunktwert ermittelt und zur weiteren Verarbeitung ausgegeben wird.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
dass der zu komprimierende Bildbereich in mehrere Schichten unterteilt wird, welche unterschiedlichen Abtastmustern ctes Bildbereichs entsprechen und eine bestimmte Schichtsequenz bilden, und
dass für jeden Bildpunkt einer Schicht aus Bildpunktwerten von zu dem jeweiligen Bildpunkt in dem Bildbereich benachbar­ ten Bildpunkten von in der Schichtsequenz vorangegangener Schichten ein prädizierter Bildpunktwert ermittelt und der Differenzwert zwischen dem prädizierten Bildpunktwert und dem tatsächlichen Bildpunktwert des jeweiligen Bildpunkts zur weiteren Verarbeitung ausgegeben wird.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass für jede Schicht eine Quantisierung der für die entspre­ chenden Bildpunkte (13-15) dieser Schicht ermittelten Dif­ ferenzwerte durchgeführt wird, wobei die Quantisierung je­ weils gröber als für die in der Schichtsequenz vorangegange­ nen Schichten ist.

12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass der für einen Bildpunkt (13-15) ermittelte Differenz­ wert in codierter Form zur weiteren Verarbeitung ausgegeben wird.

13. Verfahren nach Anspruch 4 oder 12, dadurch gekennzeichnet, dass als Codierung eine Huffmancodierung, insbesondere eine Huffmancodierung mit Lauflängencodierung der Nullen, durchge­ führt wird.

14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung des prädizierten Bildpunktwerts eines Bildpunkts jeweils zwei oder vier zu dem jeweiligen Bildpunkt in dem zu komprimierenden Bildbereich benachbart angeordnete Bildpunkte verwendet werden.

15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der prädizierte Bildpunktwert durch Mittelwert- oder Me­ dianbildung der entsprechenden benachbarten Bildpunkte ermit­ telt wird.

16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bildbereich jeweils ein Bildbereich mit 16 × 16 Bild­ punkten verwendet wird.

17. Verfahren nach einem der Ansprüche 1-15, dadurch gekennzeichnet, dass als Bildbereich jeweils eine Gruppe von mehreren in ei­ ner Bildzeile eines zu komprimierenden Bilds nebeneinander angeordneten Bildblöcken verwendet wird.

18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Gruppe von nebeneinander angeordneten Bildblöcken einer viertel bis einer ganzen Bildzeile des zu komprimieren­ den Bilds entspricht.

19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zu komprimierende Bildbereich gemäß dem Bildkompres­ sionsverfahren progressiv und/oder interlaced verarbeitet wird.

20. Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass in Abhängigkeit von der Bildquelle des zu komprimieren­ den Bildbereichs zwischen einer progressiven Verarbeitung und einer interlaced-Verarbeitung umgeschaltet wird.

21. Verfahren nach Anspruch 19 oder 20, dadurch gekennzeichnet, dass für den zu komprimierenden Bildbereich sowohl eine pro­ gressive Verarbeitung als auch eine interlaced-Verarbeitung durchgeführt und anschließend die effektivere Verarbeitungs­ art ausgewählt wird.

22. Vorrichtung zur Bildkompression,
wobei ein digitales Bildsignal vorliegt, welches für mindes­ tens einen mehrere Bildpunkte umfassenden zu komprimierenden Bildbereich entsprechende Bildpunktwerte beschreibt, dadurch gekennzeichnet,
dass das digitale Bildsignal Unterabtastmitteln (2) zur Un­ terteilung des zu komprimierenden Bildbereichs in mindestens eine erste und zweite Schicht, welche unterschiedlichen Ab­ tastmustern des zu komprimierenden Bildbereichs entsprechen, zugeführt ist, und
das Prädiktionsmittel (2) vorgesehen sind, um für jeden Bild­ punkt (14) der zweiten Schicht aus Bildpunktwerten von zu dem jeweiligen Bildpunkt in dem zu komprimierenden Bildbereich benachbarten Bildpunkten der ersten Schicht einen prädizier­ ten Bildpunktwert zu ermitteln und den Differenzwert zwischen dem prädizierten Bildpunktwert und dem tatsächlichen Bild­ punktwert des jeweiligen Bildpunkts zur weiteren Verarbeitung auszugeben.

23. Vorrichtung nach Anspruch 22, dadurch gekennzeichnet, das Codiermittel (3) zur Codierung der von dem Prädiktions­ mitteln (2) ausgegebenen Differenzwerte vorgesehen sind.

24. Vorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass die Codiermittel (3) zur Durchführung einer Huffmannco­ dierung, insbesondere einer Huffmanncodierung mit Lauflängen­ codierung der Nullen, der von den Prädiktionsmitteln (2) ausgegebenen Differenzwerte ausgestaltet sind.

25. Vorrichtung nach einem der Ansprüche 22-24, dadurch gekennzeichnet, dass Quantisierungsmittel (4) zur Quantisierung der von den Prädiktionsmitteln (2) ausgegebenen Differenzwerte vorgesehen sind.

26. Vorrichtung nach einem der Ansprüche 22-25, dadurch gekennzeichnet, dass die Vorrichtung zur Durchführung des Verfahrens nach ei­ nem der Ansprüche 1-21 ausgestaltet ist.