DE19734542C2 - Verfahren zur Wavelet-basierten Bildkompression - Google Patents

Description

Die Erfindung bezieht sich auf ein Verfahren der im Ober­ begriff der Patentansprüche 1 und 2 näher bezeichneten Art. Ein derartiges Verfahren ist z. B. von Michael L. Hilton, Björn D. Jawerth und Ayan Sengupta in "Compressing Still and Moving Images with Wavelets" in Multimedia Systems, Vol. 2, No. 3, beschrieben.

Das generische Kodierungsschema für Einzel- oder Standbil­ der, in das die in dieser Arbeit vorgestellten Methoden eingebettet sind, besteht im wesentlichen aus drei von­ einander getrennten Teilprozessen:

• 1. [1] Transformation: Sie hat die Aufgabe, die Bilddaten (im Ortsraum) durch einen Basiswechsel in eine Darstellung zu überführen, die eine weitgehende Dekorrelation und Energie­ konzentration des Bildes beinhaltet.
• 2. [2] Quantisierung: Sie steuert den Informationsverlust und sollte in ihrer Wirkungsweise so beschaffen sein, die frequenzabhängige Sensibilität des menschlichen visuellen Systems zu berücksichtigen.
• 3. [3] Kodierung: Sie eliminiert - im besten Fall unter Berück­ sichtigung etwaiger Korrelationen - redundante Information in der quantisierten Koeffizientenmatrix.

Als gängige Arten der Kodierung werden vor allem die kon­ textabhängige und Lauflängen-Kodierung beachtet.

Das allgemeine in sich widersprüchliche Problem der bekannten Verfahren zur Bildkompression besteht darin, einerseits letztlich möglichst geringe Datenmengen zu speichern und andererseits eine hohe Qualität der rekonstruierten Bilder zu sichern.

Der Erfindung liegt die Aufgabe zugrunde, den Kodierungen bekannter Art eine neue Form der Präkodierung voranzu­ stellen, welche diese Widersprüche weitgehend überwindet.

Diese Aufgabe wird für kontextabhängige Kodierung mit den im Kennzeichen des Patentanspruchs 1, und für lauflängen­ kodierte Verfahren mit den im Kennzeichen des Patentan­ spruch 2 aufgeführten Verfahrensschritten gelöst.

Die Erfindung wird anhand der nachfolgenden Ausführungs­ beispiele näher erläutert. In den zugehörigen Zeichnungen zeigen die:

Fig. 1: eine schematische Darstellung einer 2-stufigen Wavelet-Zerlegung,

Fig. 2: Raster-Scan Modi für die verschiedenen Teilbandtypen,

Fig. 3: eine Kombination von Lauflängen- und Zerotree- Kodierung,

Fig. 4: einen 8-Pixel-Kontext zur Kodierung der Signifikanzmatrix,

Fig. 5: ein zweistufiges Template zur Kodierung der Signifikanzmatrix und

Fig. 6: einen Intraband-Kontext zur Kodierung der Betragsinformation.

Um die technische Beschreibung der hier eingeführten Methoden zu vereinfachen, wird der Prozeß der Kodierung den in zwei weitgehend voneinander unabhängige Teilprozesse unterteilt:

• 1. [3a] Präkodierung: Sie zerlegt das zweidimensionale Objekt der quantisierten Koeffizientenmatrix entsprechend der Struktur, die durch die Transformation dem Äquivalent des Ausgangsbildes aufgeprägt wurde, in Ketten von Symbolen. Diese Symbole repräsentieren typischerweise Aggregate von gleichen Merkmalen des Quantisiererausgangssignals und stellen - wie weiter unten detailliert ausgeführt wird - zugleich eine Entflechtung und Verdichtung der Information dar.
• 2. [3b] Entropiecodierung: Sie erzeugt für die in der Präco­ dierung entstandenen Symbolketten auf Grund der ungleich­ mäßsigen Verteilung der Symbole eine Folge von Codesymbolen, deren mittlere Länge - zumindest im theoretischen Grenzfall - die Entropie der Symbolkette approximiert.

Ausgangspunkt des Kompressionsschemas ist die Zerlegung eines Bildsignals in Teilbänder unterschiedlicher Phasenraumlokali­ sierung durch kaskadierte zeilen- und spaltenweise Anwendung eines QMF-Filterpaars.

Für ein Bild χ der Größe N = N₁.N₂ wird auf jeder Stufe l ≦ L (mit maximaler Zerlegungstiefe) eine Zerlegung in maximal 4^l verschiedene Teilbänder W_l,k der Dimension 4^-l N₁.N₂ vorgenommen (0 ≦ l < 4^l). Die so erzeugte Teilbandzerlegung bildet in ihrer Gesamtheit eine quaternär baumstrukturierte Darstellung, aus der durch Auswahl eines die Wurzel (des Baumes) umfassenden Teilbaumes eine spezifische Wavelet-Packet-Transformation (WPT) charakterisiert und determiniert werden kann.

Ohne auf die mathematischen Details der WPT einzugehen, kann also im Hinblick auf die Schnittstelle zur Quanti­ sierung davon ausgegangen werden, daß das Ausgangsbild mittels einer WPT durch eine Matrix von Koeffizienten zusammen mit einer Quadtree-Struktur vollständig charak­ terisiert ist. Eine ausgezeichnete Vertreterin der Familie von WPTen ist die sogenannte Wavelet-Transformation (WT) mit ihrer logarithmischen Baumstruktur. Fig. 1 zeigt die Teilbänder einer 2-stufigen Wavelet-Zerlegung. (Man beachte die Indizierungskonvention für die Teilbänder.)

Eine statistische Analyse der Teilbänder zeigt, daß die Verteilungsfunktionen, mit Ausnahme der des Tiefpaßbandes, die Charakteristik einer verallgemeinerten Gauß-Verteilung mit Mittelwert bei Null und relativ geringer Varianz besitzen. Durch Einsatz eines Totzonen-Quantisierers wird das Auftreten des Null-Symbols zu einem dominanten Ereignis, das überwiegend dort lokalisiert ist, wo im korrespondierenden Bereich des Originalbildes flache und glatte Strukturen zu finden sind. Umgekehrt entsprechen den kontrastreichen Region des Bildes Cluster von relativ energiereichen Koeffizienten, so daß insgesamt eine Partitionierung der Koeffizienten in solche, die zu Null und solche, die nicht zu Null quantisiert wurden, sinnvoll erscheint.

Aus dem Teil der quantisierten Koeffizientenmatrix, der zum Teilband korrespondiert, entsteht im Ergebnis der Partitio­ nierung eine binärwertige sogenannte Signifikanzmatrix und eine Liste von signifikanten Koeffizienten, die durch eine festzu­ legende Zuordnungsvorschrift aus der Koeffizientenmatrix erzeugt wird.

Da die Signifikanzmatrix als ein zweipegeliges Bild interpretiert werden kann, können nun im Prinzip alle Standardmethoden zur verlustlosen Kodierung solcher Bildtypen zum Einsatz kommen.

Im folgenden wird zunächst eine Methode zur Kodierung von vorgestellt, die einen guten Kompromiß zwischen Komplexität und Leistungsfähigkeit darstellt und eine einfache Erwei­ terung zur Einbeziehung bandübergreifender Strukturen erlaubt.

Eine häufig benutzte Technik zur Aggregation von insigni­ fikanten Koeffizienten ist die Lauflängencodierung. Zur Kodierung der Signifikanzmatrix χ bietet es sich an, auf beiden Pegeln Lauflängen zu bilden; d. h. durch Definition einer Abtastvorschrift wird χ auf eine alternierende Folge von "weißen" (χ(x, y) = 0) und "'schwarzen" (χ(x, y) ≠ 0) Läufen abgebildet.

Kritisch ist hier die Abtastreihenfolge der zweidimensionalen Matrix χ und die Entropiecodierung der Lauflängen. Grundsätzlich sollte die Reihenfolge, in der die Zustände "aufgesammelt" werden in einer Orientierung erfolgen, die eine größtmögliche Konstanz der Zustände impliziert. Hier hat sich der spaltenweise Raster-Scan für das horizontal hoch- und vertikal tiefpaßgefilterte Teilband mit W_l,k mit k modulo 4 = 1 und der zeilenweise Raster-Scan für alle übrigen Bänder bewährt (Fig. 2).

Die beiden Typen von Lauflängen sollten wegen ihrer unterschiedlichen Verteilung einer getrennten Entropiecodierung unterzogen werden. Grundsätzlich ist dabei aber dem Umstand Rechnung zu tragen, daß viele relativ kurze Lauflängen einigen wenigen langen Lauflängen gegenüberstehen und die Verteilung nicht stationär ist.

Es empfiehlt sich daher der Einsatz einer adaptiven arith­ metischen Kodierung mit einem Escape-Modus, auf den für übermäßig lange und selten zu kodierende Läufe zurückge­ griffen wird. Alternativ kann statt des Escape-Modus auch ein Abschneidemechanismus verwendet werden, um die Alphabetlänge für die Lauflängen und damit die Lernphase des adaptiven, arithmetischen Kodierers von vorneherein zu limitieren.

Wenn auch die Lauflängencodierung bei bandübergreifender Aggregation im Verhältnis zu ihrer relativ geringen Komplexität schon eine beachtliche Effektivität aufweist, bietet sie doch Raum für einige Verbesserungsmaßnahmen:

Analysiert man die Effektivität der Lauflängencodierung im Zusammenspiel mit der nachgeschalteten adaptiven arith­ metischen Kodierung bandweise, so ist ein erheblicher Leistungsverlust zu den hochfrequenten Teilbändern hin zu beobachten. Die Ursache hierfür ist vor allen Dingen in dem vermehrten Auftreten von z. T. sehr langen Null-Lauflängen zu suchen, die wiederum darauf zurückzuführen sind, daß die Signifikanzmatrix dort sehr "ausgedünnt" ist. Die Fig. 3 zeigt die Signifikanzmatrix einer vierstufigen Wavelet- Zerlegung für ein Testbild, wobei das Grauwertäquivalent des Tiefpasses durch geeignete Skalierung eingeblendet wurde. Auffallend ist eine gewisse Skaleninvarianz der Strukturen, die sich jedoch einer direkten Kontrolle entzieht.

Hier ist es günstig, diese selbstähnlichen Strukturen auf eine indirekte Weise mit bandübergreifenden Datenstrukturen zu nutzen. Diese Methode beruht auf der Aggregation insignifikanter Koeffizienten, also Null-Zuständen der Signi­ fikanzmatrix mittels sogenannter Zerotrees. Ein Zerotree faßt die einer gewissen örtlichen Auflösung und Teilbandorientierung zuzuordnenden, insignifikanten Waveletkoeffizienten zusammen, wie aus der Fig. 3 erkennbar ist. Diese Datenstruktur ist zunächst im besonderem Maße auf die logarithmische Baumstruktur der Wavelet-Zerlegung zugeschnitten; sie läßt sich jedoch unter einigen einschränkenden Voraussetzungen auch auf beliebige Teilbandzerlegungen verallgemeinern, worauf hier aus Übersicht­ lichkeitsgründen verzichtet werden muß.

Mit dem Zerotree-Instrumentarium läßt sich der oben angespro­ chene Mangel der Lauflängencodierung beheben. Wie in Fig. 3 angedeutet, müssen in den hochfrequenten Bändern W_l,k (k = 1, 2, 3) nur noch solche Nullen der Signifikanzmatrix χ^(l,k) mit Lauf­ längen kodiert werden, die nicht Bestandteil eines Zerotrees sind. Solche sogenannten "isolierten" Nullen können dort über die schon kodierten Null-Zustände hinweg aggregiert werden und ermöglichen so eine effektivere Kodierung.

Der Preis, der dafür zu zahlen ist, besteht nun aber darin, daß in den mittel- und niederfrequenten Bändern zusätzlich zu den Null- und Eins-Zuständen Zerotree-Ereignisse kodiert werden müssen. Statt der binärwertigen Signifikanzmatrix müsste nun eine ternäre Zustandsmatrix kodiert werden. Es zeigt sich aber, daß das Auftreten von Zerotrees zumindest in mittelfrequenten Bändern relativ häufig ist und zudem lokale Zusammenhänge aufweist, so daß sich eine Aggregation der Zerotrees mittels Lauflängen anbietet.

Zu diesem Zweck wird auf den Bändern W_l,k (l ≠ 1) nach einer Zerotreeanalyse eine modifizierte Partitionierung in Zerotree- und Nicht-Zerotree-Zustände durchgeführt, die auf eine sogenannte Zerotree(ZT)-Signifikanzmatrix und eine Liste, bestehend aus signifikanten Koeffizienten und isolierten Nullen, führt.

Die ZT-Signifikanzmatrix kann nun, wie oben dargestellt, mit einer zweipegeligen Lauflängencodierung bearbeitet werden, wobei jedoch berücksichtigt werden muß, daß Eins-Zustände, die Teil eines Zerotrees mit Wurzel in einem Band, mithin Nullen sind, die schon kodiert wurden, zu überspringen sind.

Bei der Kontextmodellierung der Signifikanzmatrix wird eine Methode zur Kodierung der gewöhnlichen oder ZT-Signifikanz­ matrix angewendet, die eine wesentliche Schwäche der Lauf­ längencodierung beseitigt. Als eindimensionale Objekte sind die Lauflängen auch nur geeignet, statistische Bindungen in einer Dimension auszunutzen. Wenn auch die Korrelationen entlang der oben beschriebenen Raster-Scan-Orientierungen besonders hoch sind, so kann mit einem Ansatz, der Zustände von χ bzw. in einen zweidimensionalen Kontext stellt, doch noch ein zusätzlicher Kodiergewinn erzielt werden.

Wesentlich für den Erfolg dieser vom JBIG-Standard inspi­ rierten Methode ist die Modellierung geeigneter Muster von Kontexten, sogenannter Templates. Ein Template ist dabei durch eine Folge von vorausgegangen, schon kodierten Matrixeinträgen definiert, wie etwa in dem 8-Pixel-Kontext in Fig. 4.

Der gepunktete Kreis gibt die Position des aktuell zu ko­ dierenden Zustands an, während die schwarzen Kreise das Template bilden und die grauen Kreise die Zustände markie­ ren, die noch nicht kodiert wurden und gemäß dem Kausali­ tätsprinzip auch nicht Bestandteil des Kontexts sein können.

Die 8 Pixel ergeben zusammen 2⁸ verschiedene Kontexte, in die ein zu kodierender binärer Zustand gesetzt und mit einem binären arithmetischen Kodierer entsprechend der aktuellen Wahrscheinlichkeitsverteilung des Kontexts kodiert werden kann.

Bei der Auswahl geeigneter Templates sind in erster Linie die Grösse und Orientierung des Teilbandes W_l,k bzw. der sie reprä­ sentierenden Signifikanzmatrix χ^(l,k) oder ^(l,k) zu berücksich­ tigen. Für "kleine" Bänder sind Templates mit 2-4 Pixeln, für grössere auch bis zu 16-Pixel-Templates geeignet. Hier gilt es einen Kompromiß zwischen der Lernphase des adaptiven arith­ metischen Kodierers für die verschiedenen Kontexte einerseits und einer maximalen Ausbeute der zweidimensionalen lokalen Korrelation andererseits zu erzielen.

Dabei ist die Größe des Templates so zu wählen, daß die Anzahl der zu kodierenden Zustände ausreicht, jeden Kontext mit einer hinreichend großen Anzahl von Ereignissen zu füllen. Hierbei bietet sich eine Technik an, die mit Hilfe eines zweistufigen Kodierungsprozesses eine relativ effektive Reduzierung der Lernphasen-Kosten ermöglicht. Sie operiert im wesentlichen mit 2D-Templates, die als Untermenge ein Kern- Template enthalten, wie in Fig. 5 dargestellt. Die dort schwarz eingefärbten Pixel bilden den Kern, der solange zur Kontextbildung herangezogen wird, bis eine gewisse Anzahl von Zuständen in dem vollen Kontext (schwarze plus dunkelgraue Pixel) ermittelt wurden.

Der Entwurf geeigneter zweistufiger Templates zur Kodierung der Signifikanzmatrix sollte im wesentlichen durch die Größe und Orientierung des zu kodierenden Bandes bestimmt werden. Ad-hoc-Ansätze lieferten hier zunächst einen Satz von suboptimal gestalteten Templates. Zur Ausnutzung der Interband-Korrelation sollten die Templates noch mit Zuständen der Signifikanzmatrix aus dem korrespondierenden Teilband des Eltern-Bandes zu einem 3D-Template erweitert werden.

Nach Separierung der Vorzeicheninformation lassen sich die Beträge der signifikanten Koeffizienten mit Hilfe der schon kodierten Signifikanzinformation in einem Kontext kodieren, der die unmittelbar benachbarten Koeffizienten beinhaltet.

Die Fig. 6 zeigt die 8 Nachbarkoeffizienten (schwarz und grau) eines zur Kodierung anstehenden Koeffizienten. Die Summe der Signifikanzzustände der 4 schwarz eingefärbten Koeffizienten bilden dabei einen Kontext mit 5 verschiedenen Zuständen {0, ...., 4}.

Integriert man die Zustände 0 und 1 und erweitert den Kon­ text noch um einen Zustand, der eine Kombination der 4 grau markierten Diagonalnachbarn repräsentiert, so ergibt sich folgender Kontext κ(x, y) zur Kodierung des Koeffizienten mit den Koordinaten (x, y):

κ(x, y) = χ(l, k) (x - 1, y) + χ(l, k) (x, y - 1)
+ χ(l, k) (x, y + 1) + χ(l, k) (x + 1, y + 1)
+ ((χ(l, k) (x - 1, y - 1) ∨ χ(l, k) (x + 1, y + 1))
∧ (χ(l, k) (x + 1, y - 1) ∨ χ(l, k) (x - 1, y + 1))

(Bemerkung: Die Operatoren ∨ und ∧ in der Gleichung bezeichnen die logische Oder- bzw. Und-Verknüpfung.)

Claims (2)

1. Verfahren zur Wavelet-basierten Bildkompression, bei dem der Bildkodierungsalgorithmus nach der Zerlegung in Teilfrequenzbänder durch Transformation, anschließende Quantisierung und abschließender Huffman- bzw. arithme­ tischer Kodierung gebildet wird, dadurch gekennzeichnet, daß für die höherfrequen­ ten Teilbänder zwischen der Quantisierung und der ab­ schließenden Kodierung eine Praekodierung durchgeführt wird, bei der

• 1. a eine Partitionierung dieser Teilbänder durch Separie­ rung der Signifikanz- und Vorzeicheninformationen in
  • 1. a₁ Signifikanz-Matrix,
  • 2. a₂ Betrags-Matrix und
  • 3. a₃ Vorzeichen-Matrix
  durchgeführt wird,
• 2. b eine Zwischenbearbeitung der Signifikanz- und Betrags- Matrix ermöglicht wird und
• 3. c₁ die Signifikanz-Matrix kontextabhängig kodiert wird, wobei die Kontexte aus Zuständen innerhalb des Teil­ bandes (intrabandartig) und bandübergreifend aus Zuständen der Signifikanz-Matrizen bereits kodierter Teilbänder (interbandartig) gebildet werden,
• 4. c₂ die Betrags-Matrix kontextabhängig kodiert wird, wobei die Kontexte aus Zuständen der Signifikanz-Matrix gebildet werden,
• 5. c₃ die Vorzeichen-Matrix kontextabhängig kodiert wird, wobei die Kontexte aus Zuständen der Signifikanz-Matrix und der Betrags-Matrix gebildet werden.

2. Verfahren zur Wavelet-basierten Bildkompression, bei dem der Bildkodierungsalgorithmus nach der Zerlegung in Teilfrequenzbänder durch Transformation, anschließende Quantisierung und abschließender Huffman- bzw. arithmetischer Kodierung gebildet wird, dadurch gekennzeichnet, daß für die/alle höherfrequenten Teilbänder zwischen der Quantisierung und der abschließenden Kodierung eine Praekodierung durchgeführt wird, bei der

• 1. a eine Partitionierung dieser Teilbänder durch Separie­ rung der Signifikanz- und Vorzeicheninformationen in
  • 1. a₁ Signifikanz-Matrix,
  • 2. a₂ Betrags-Matrix und
  • 3. a₃ Vorzeichen-Matrix
  durchgeführt wird,
• 2. b₁ eine Zerotree-Analyse und Markierung der zerotree- Wurzeln in der Signifikanz-Matrix und
• 3. b₂ eine Modifizierung der Betrags-Matrix durch Hinzunahme isolierter Nullkoeffizienten durchgeführt wird, und
• 4. c₁ die Zerotree-Matrix mit zwei getrennten Modellen lauflängen-kodiert wird,
• 5. c₂ die Betrags-Matrix kontextabhängig kodiert wird, wobei die Kontexte aus Zuständen der Signifikanz-Matrix gebildet werden,
• 6. c₃ die Vorzeichen-Matrix mit einem Modell der Läufe der Vorzeichen-Konstanz lauflängen-kodiert wird.