DE60009898T2

DE60009898T2 - Hierarchische bildkodierung mit variabler transformation

Info

Publication number: DE60009898T2
Application number: DE60009898T
Authority: DE
Inventors: Patrick Lechat; Nathalie Laurent-Chatenet
Original assignee: Telediffusion de France ets Public de Diffusion; France Telecom SA
Current assignee: Telediffusion de France ets Public de Diffusion; Orange SA
Priority date: 1999-05-26
Filing date: 2000-05-22
Publication date: 2005-03-17
Anticipated expiration: 2020-05-23
Also published as: ES2219341T3; FR2794329A1; WO2000074387A1; EP1181826A1; US7003169B1; DE60009898D1; FR2794329B1; EP1181826B1

Description

Die Erfindung betrifft das Kodieren unbewegter oder bewegter Bilder. Genauer betrifft die Erfindung die Kompressionstechniken von Bildern oder von Bilderfolgen auf der Grundlage der Anwendung umkehrbarer mathematischer Transformationen.
Es ist eine große Zahl von Kompressionstechniken von Bildern bekannt, deren Zweck das Reduzieren der für die Darstellung eines Bildes oder einer Folge bewegter Bilder erforderlichen Datenmenge ist. So sollen insbesondere die Durchsätze digitaler Signale reduziert werden, zum Zweck des Sendens und/oder des Speicherns derselben auf Datenträgern.
Die Erfindung ist insbesondere aber nicht ausschließlich auf das Senden von Bildsignalen mit geringem Durchsatz anwendbar, sowie auf Übertragungen ohne Durchsatzgarantie, wie die nach dem IP-Protokoll („Internet Protocol") Durchgeführten.
Unter den vielen bekannten Bildspeicherverfahren kann man insbesondere die ISO-JPEG- und ISO-MPEG-Techniken hervorheben, aus denen eine Norm hervorgegangen ist. Diese Kodierungsverfahren beruhen insbesondere auf der Anwendung von Transformierten, die ein effektives Eliminieren von Redundanz in einem Bild ermöglichen.
Die hauptsächlich bei der Kompression von Bildern eingesetzten Transformationen sind:

– die Karhunen-Loève-Transformation (KLT);
– die diskrete Fourier-Transformation (DFT);
– die diskrete Cosinus-Transformation (DCT);
– die Walsh-Hadamard-Transformation (WHT).

Um diesen verschiedenen Nachteilen entgegen zu wirken, wurde in der Patentbeschreibung derselben Anmelderin wie dieser, FR-A-278421, ein anderer Ansatz vorgeschlagen, unter der Überschrift „Kodierungsverfahren für unbewegte oder bewegte Bilder, mit Reduzierung und Anpassung des Durchsatzes".
Zweck dieser Technik ist das Bereitstellen eines Kodierungsverfahrens eines digitalen Bildes, das einen für das Bild repräsentativen binären Zug erzeugen soll, wobei die Länge des binären Zuges eine Funktion der gewünschten Darstellung ist. Dieses Verfahren umfasst die folgenden Schritte:

– Definieren einer hierarchischen Vernetzung über einen Bereich des zu kodierenden Bildes, die eine Vielzahl verschachtelter Vernetzungen umfasst, wobei die Knoten der Vernetzungsmaschen Pixel des besagten Bildes sein können;
– Optimieren der Luminanz, der Chrominanz und der Positionen für jede Vernetzungsebene;
– Feststellen einer Luminanzabweichung zwischen dem zu kodierenden Bild und einem interpolierten Bild, das aus den Knoten der verschachtelten Vernetzung erhalten wird, welcher die betrachtete Masche angehört, für jede Masche der hierarchischen Vernetzung und,
– Einfügen im binären Zug der (vorteilhafterweise im Verhältnis zur vorhergehenden hierarchischen Ebene differentiell kodierten) Werte für Position, Luminanz und Chrominanz der Knoten der Maschen, bei denen der Luminanzabstand einen Schwellenwert überschreitet.

Es sei darauf hingewiesen, dass diese Technik sich nicht auf Luminanz- und Chrominanzsignale beschränkt, sondern auf jedes Farbmodell anwendbar ist. Nach dieser Technik, und wie in 1 dargestellt, wird am Ende des Vernetzungsschrittes eine mit der hierarchischen Vernetzung 12 zusammenhängende quaternäre Baumstruktur 11 errichtet, mit dem Zweck, die Werte (Farben und Positionen) der Maschenknoten zu manipulieren. Der Baum weist die gleiche Zahl von Knoten wie die Zahl der Dreiecke in der entsprechenden Vernetzungsebene auf. Jeder Knoten 13 des Baumes steht im Zusammenhang mit einem einzigen Dreieck 14 der hierarchischen Vernetzung 12.
Nachdem der Baum 11 errichtet ist, werden die Daten des Baumes gewählt, die in dem für das zu sendende und/oder zu speichernde Bild repräsentativen binären Zug eingefügt werden sollen. Diese Wahl hängt von der gewünschten Qualität ab.
Zum Ausführen dieser Wahl wird für jedes Dreieck eine Luminanzabweichung zwischen dem zu kodierenden Bild und dem auf der Grundlage der Knoten der verschachtelten Vernetzung, dem die betrachtete Masche gehört, interpolierten Bild berechnet. Diese Abweichung wird dann für jedes Dreieck mit einem Abweichungsschwellenwert verglichen. Dieser Abweichungsschwellenwert ist eine Funktion der gewünschten Darstellungsqualität.
Es wird sodann in den Binärzug der Teil des Baumes eingefügt, der die Dreiecke betrifft, deren Luminanzabweichung größer als der Abweichungsschwellenwert ist. Diese Wahl der Knoten des Baumes nach Tiefenabläufe ist in 2 dargestellt. Es werden nur die oberhalb der Grenze 21 liegenden Knoten behalten.
Der Abweichungsschwellenwert ermöglicht somit das Senden der mit dem Bilde zusammenhängenden Daten, welche Funktion der örtlichen Qualität dieser verschiedenen Dreieckseinteilungen sind. Über einen strukturierten Teil wirkt die Datenübertragung nämlich bis zur letzten Vernetzungsebene (feinste Vernetzung) während sich herausstellt, dass für die glätteren Teile eine grobe Ebene ausreicht.
Diese Technik wird ebenfalls durch WANG sowie im Dokument „USE OF TWO-DIMENSIONAL DEFORMABLE MESH STRUCTURES FOR VIDEO CODING" (XP000641037) beschrieben. Diese Unterlage schlägt in der Tat ein Verfahren zum Erzeugen einer rechteckigen hierarchischen Vernetzung vor. Ein Fehlerschwellenwert ermöglicht die Entscheidung darüber, ob die hierarchische Aufteilung für eine gegebene Masche weitergeführt werden muss oder nicht.
Um eine ausreichende Qualität zu erreichen, muss, wenn ein Teil des Bildes stark strukturiert ist, eine große Zahl von Ebenen vorgesehen werden. In diesem Falle ist die Leistung der hierarchischen Kodierung schwach. Anders gesagt ist die hierarchische Kodierung für relativ einfache Bilder gut geeignet, aber nicht für Bilder mit stark strukturierten Teilen.
In der Praxis kommt es nicht selten vor, dass mindestens ein Teil eines Bildes stark strukturiert ist. Dies begrenzt selbstverständlich das praktische Interesse der oben beschriebenen hierarchischen Kodierung.
Die Erfindung soll insbesondere diesen verschiedenen Nachteilen des Standes der Technik entgegenwirken.
Genauer gesagt besteht ein Zweck der Erfindung im Bereitstellen eines Verfahrens zur Bildkodierung, das die Vorteile der hier genannten hierarchischen Kodierung nutzt, ohne deren Nachteile vorzuweisen.
Insbesondere bezweckt die Erfindung das Bereitstellen eines Kodierungsverfahrens, das auch dann leistungsfähig ist, wenn das zu bearbeitende Bild stark strukturierte Teile aufweist.
Ein weiterer Zweck der Erfindung besteht selbstverständlich darin, dass die Änderungen der oben beschriebenen Technik der hierarchischen Kodierung deren Leistungsfähigkeit nicht ändern, wenn das zu bearbeitende Bild oder Teilbild nur gering strukturiert ist.
Ferner soll die Erfindung ein Kodierungsverfahren bereitstellen, das einfach anzuwenden ist, und insbesondere keine manuelle Intervention benötigt (beispielsweise, um die strukturierten Bereiche zu wählen).
Allgemeiner bezweckt die Erfindung das Bereitstellen eines Kodierungsverfahrens für Bilder, das ein gutes Verhältnis zwischen der Menge der zu sendenden und/oder zu speichernden Daten und der Qualität der Bildwiederherstellung bietet.
Ein weiterer Zweck der Erfindung ist das Bereitstellen eines entsprechenden Dekodierungsverfahrens, das eine einfache und preiswerte Wiederherstellung von Bildern (bezüglich Verarbeitungszeit, Speicherkapazität usw.) ermöglicht.
Ebenfalls soll die Erfindung ein Dekodierungsverfahren bereitstellen, das eine gute Qualität der „Skalierbarkeit" bzw. „Abstufungsfähigkeit" aufweist (d.h., die eine schnelle Wiederherstellung eines groben Bildes ermöglicht, mit nachfolgender Verfeinerung bis zu einem gewünschten Feinheitsgrad).
Diese Ziele -sowie andere, die im Nachhinein deutlicher werden, erreicht die Erfindung mit Hilfe eines Kodierungsverfahrens eines zu kodierenden Bildes, das die folgenden Schritte umfasst:

– Definition einer hierarchischen Vernetzung, die mindestens zwei verschachtelte Vernetzungsebenen aufweist, welche von durch Knoten definierte Maschen gebildet werden (welche Pixel des zu kodierenden Bildes sein können);
– Bestimmung für jede Masche einer Fehlerinformation zwischen dem zu kodierenden Bild und einem interpolierten Bild, das aus den Knoten von Maschen erhalten wird, die der Vernetzungsebene der betrachteten Masche angehören;
– Anhalten der Verfeinerung von Maschen, die eine unterhalb eines vorgegebenen ersten Schwellenwertes liegende Fehlerinformation aufweisen,
– Anwendung einer für die Maschen, welche eine oberhalb eines vorgegebenen zweiten Schwellenwertes liegende Fehlerinformation aufweisen, spezifischen Kodierung;
– Fortführung der Verfeinerung der Maschen, die eine oberhalb des vorgegebenen ersten Schwellenwertes und unterhalb des vorgegebenen zweiten Schwellenwertes liegende Fehlerinformation aufweisen.

So benutzt man nach der Erfindung selektiv zwei verschiedene Kodierungsmodalitäten. Die hierarchische Kodierung, oder Kodierung mit verschachtelten Vernetzungen, ist die Haupt- oder Grundkodierung, aber wird nicht systematisch verwendet: für die Bildteile, die dies benötigen, wird eine effektivere Kodierung benutzt.
Die Entscheidung zum Benutzen dieser spezifischen Kodierung wird durch Vergleich mit einem Schwellenwert getroffen. Genauer gesagt werden jedem bei der Vernetzung betrachteten Knoten drei Möglichkeiten geboten: Abbruch der Verfeinerung oder der Unterteilung der Maschen (da die für das entsprechende Teilbild erzielte Qualität ausreichend ist), Übergang zur nachfolgenden hierarchischen Ebene unter Beibehaltung derselben hierarchischen Kodierung oder Benutzung einer anderen Kodierung (insbesondere einer den stark strukturierten Teilen besser angepassten Kodierung).
Es sei darauf hingewiesen, dass man mehrere verschiedene Typen spezifischer Kodierungen (oder eine selbe Kodierung mit verschiedenen Parametern) verwenden kann, um die Wahl der Kodierung noch genauer den Eigenschaften des Teilbildes anzupassen.
Nach einer bevorzugten Ausführung der Erfindung, setzt die spezifische Kodierung. mindestens eine umkehrbare Transformation ein (beispielsweise eine DCT). Diese Technik erweist sich nämlich als gut geeignet zum Kodieren strukturierter Bildteile.
Vorteilhafterweise sind die Maschen Dreiecke (die man durch regelmäßiges oder dem Bild angepassten Unterteilen erreicht). Es sei darauf hingewiesen, dass die Verwendung einer Transformation wie eine DCT auf Dreiecke an sich eine Neuigkeit darstellt.
So umfasst die spezifische Kodierung die folgenden Schritte:

– Assoziierung einer für das zu kodierende Dreieck repräsentativen quadratischen Matrix zu jedem dieser zu kodierenden Dreiecke, mit Hilfe einer ersten umkehrbaren Transformation;
– Anwendung einer zweiten umkehrbaren Dekorrelierungstransformation auf jede der quadratischen Matrizen, wobei transformierte Matrizen entstehen.

Bevorzugterweise umfasst der Assoziierungsschritt einer quadratischen Matrix die folgenden Schritte:

– Verfeinerungstransformation eines Quellendreiecks in ein Referenzdreieck genanntes, gleichschenkliges rechtwinkliges Dreieck;
– Erzeugung einer quadratischen Matrix, deren unterer Teil die repräsentativen Daten des gleichschenkligen rechtwinkligen Dreiecks umfasst;
– Symmetrisierung der quadratischen Matrix.

Die zweite Transformation kann insbesondere der die folgenden Transformationen umfassenden Gruppe angehören:

Vorteilhafterweise umfasst die spezifische Kodierung einen Schritt zum Quantifizieren und zum Kodieren der Daten des unteren Teils der transformierten Matrix. In gleicher Weise setzt die Hauptkodierung, welche die hierarchische Kodierung anwendet, eine Quantifizierung und eine angepasste Kodierung ein.
Nach einer bevorzugten Ausführung kann mindestens einer der folgenden Parameter geändert werden:

– der erste Schwellenwert;
– der zweite Schwellenwert;
– die Struktur der verschachtelten Vernetzung;
– ein Skalenfaktor a, der die Expansion oder die Kompression der quadratischen Matrix im räumlichen Bereich ermöglicht;
– die Quantifizierungsart;
– der Quantifizierungsschritt.

Vorteilhafterweise entspricht die Fehlerinformation einer Luminanzabweichung, die einen quadratischen Fehler oder einen Absolutfehler zwischen einem Quellendreieck und dem entsprechenden angenäherten Dreieck darstellt.
Demnach wird für jede Masche vorteilhafterweise die folgende Wahl getroffen:

– wenn die Fehlerinformation unterhalb des ersten Schwellenwertes liegt, so wird die hierarchische Division für die betrachtete Masche unterbrochen;
– wenn die Fehlerinformation oberhalb des ersten aber unterhalb des zweiten Schwellenwertes liegt, so wird die hierarchische Division weitergeführt;
– wenn die Luminanzabweichung oberhalb des zweiten Schwellenwertes liegt, so wird die spezifische Kodierung angewandt.

Die Anpassung auf eine andere Signalkomponente als die Chrominanz erfolgt direkt.
Bevorzugterweise sind, für alle anderen Vernetzungsebenen außer der ersten, die für das Kodieren berücksichtigte Daten quantifizierte Differentialwerte, die jeweils der quantifizierten Differenz zwischen einem für den für die betrachtete hierarchische Ebene des zu kodierenden Bildes optimierten Wert und einem ausgehend von der Vernetzung der darunter liegenden hierarchischen Ebene interpolierten Wert entsprechen.
Damit kann die Menge der zu kodierenden Informationen stark verringert werden.
Vorteilhafterweise umfasst das Verfahren nach der Erfindung einen vorhergehenden Optimierungsschritt der Position der Knoten einer jeden der Vernetzungen, der ein vorgegebenes Fehlerkriterium minimiert.
Anders gesagt, ist die Aufteilung dem Bildinhalt angepasst.
Bevorzugterweise umfasst das Verfahren einen Definitionsschritt eines quaternären Unterteilungsbaumes, der das Identifizieren der die spezifische Kodierung verwendenden Maschen sowie der Maschen ermöglicht, deren Inhalt ausgehend von den diese Maschen definierenden Knoten interpoliert wird.
Vorteilhafterweise wird ebenfalls ein Anpassungsschritt der Vernetzung mit dem Bildinhalt vorgesehen, wobei Umkehrungen der Diagonalen der von allen nebeneinander liegenden Dreieckspaaren gebildeten Rechtecke eingesetzt werden.
Die Erfindung betrifft ebenfalls das Dekodierungsverfahren der nach dem oben beschriebenen Kodierungsverfahren kodierten Daten. Ein derartiges Dekodierungsverfahren umfasst insbesondere die folgenden Schritte:

– vorhergehendes Dekodieren der nach dem die hierarchische Vernetzung anwendenden Verfahren kodierten Daten, welche die Beschreibung einer Ausgangsdarstellung ermöglicht;
– zusätzliches Dekodieren der mit Hilfe der spezifischen Kodierung kodierten Daten, welches die Verfeinerung der Ausgangsdarstellung ermöglicht.

So kann das Bild in fortschreitender Weise im Laufe des Empfangs und der _ Dekodierung mit fortschreitender Verfeinerung aufgebaut werden (zuerst von aufeinander folgenden hierarchischen Ebenen und dann von den zusätzlichen Daten der spezifischen Kodierung ausgehend). So ist es möglich, die Qualität der Wiederherstellung des Bildes den verfügbaren Mitteln anzupassen (Übertragungsdurchsatz und Verarbeitungskapazität des Terminals) oder gar mehrere Qualitätsebenen der Dekodierung zu definieren (wobei eine vereinfachte Fassung nicht über die zusätzliche Dekodierung verfügen muss).
Wenn die spezifische Kodierung eine auf die Dreiecke angewandte DCT, wie oben beschrieben, einsetzt, so umfasst die zweite Zusatzdekodierung die folgenden Wiederherstellungsschritte:

– Anwendung einer Umkehrtransformation auf die zweite umkehrbare Dekorrerlierungstransformation auf die transformierten Matrizen, wobei die wiederhergestellten quadratischen Matrizen erzeugt werden;
– Assoziieren eines entsprechenden wiederhergestellten Dreiecks zu einer jeden wiederhergestellten Matrix, mit Hilfe einer affinen Umkehrtransformation der ersten umkehrbaren Transformation;
– Wiederherstellung der erwähnten Minimalaufteilung, ausgehend von den wiederhergestellten Dreiecken.

Vorteilhafterweise werden die quadratischen Matrizen ausgehend von den Daten eines empfangenen Binärzuges wiederhergestellt, wobei die dekodierten Daten dieses Binärzuges die Koeffizienten des wiederherzustellenden Dreiecks sind, welche den unteren Teil der Matrix bilden.
Bevorzugterweise stellt die vorhergehende Dekodierung das Lesen in dem empfangenen Binärzug von mindestens einer der Informationen aus der Gruppe sicher, die Folgendes umfasst:

– die Zahl der Ebenen der Hierarchie;
– die Identifizierung der für jedes Dreieck verwendeten Kodiertechnik;
– die Reihenfolge der Differentialwerte der mit den Knoten der besagten hierarchischen Vernetzung assoziierten Komponenten;
– die Identifizierung der Bögen, über welche eine Umkehrung der Diagonalen erfolgt.

Weitere Eigenschaften und Vorteile der Erfindung erscheinen deutlicher beim Lesen der nachfolgenden Beschreibung einer bevorzugten Ausführung, die lediglich als Veranschaulichung ohne beschränkende Wirkung vorgestellt wird sowie beim Betrachten der beigefügten Figuren, wobei:
– die 1 und 2 das allgemeine Prinzip des Kodierungsverfahrens zeigen, das Gegenstand der in der Einleitung diskutierten Patentanmeldung FR-A-278421 ist, wobei genauer Folgendes dargestellt wird:
1: Beziehung zwischen einer verschachtelten Vernetzung und einem Quaternärbaum;
2: ein Beispiel der Auswahl der Knoten des Baumes aus 1;
3 ein Organigramm des allgemeinen Prinzips des Verfahrens der Erfindung zeigt;
4, die in Anhang 1 kommentiert wird, die Bestimmung der in den Binärzug nach Quantifizierung einzuführende Differentialwerte zeigt, wobei dieser Binärzug beim Einsatz der hierarchischen Kodierung gesendet oder gespeichert wird;
5, die in Anhang 2 kommentiert wird, eine Optimierungsoperation der Position der Knoten einer Vernetzungsebene und ihre Übertragung zur oberen Vernetzungsebene zeigt;
– die 6A und 6B, die in Anhang 3 kommentiert werden, jeweils einen Fall zeigen, bei dem die Umkehr der Diagonale ausgeschlossen bzw. einen Fall, bei dem diese Umkehr möglich ist;
7 ein vereinfachtes Organigramm einer Ausführung der spezifischen Kodierung nach der Erfindung zeigt, die auf dem Einsatz einer DCT beruht;
8 das Prinzip des zweiten und des dritten Schrittes des Verfahrens der 7 zeigt;
9 ein genauerer Auszug aus 8 ist;
– die 10 und 11 zwei Quantifizierungsmodi zeigen, die beim Verfahren der 7 zum Einsatz kommen können;
12 den Zickzackverlauf des Kodierungsschrittes des Verfahrens der 7 zeigt;
13 ein vereinfachtes Organigramm zeigt, das die Wahl der durchzuführenden Bearbeitung darstellt, wenn man in assoziierter Weise das Verfahren der Erfindung und eine hierarchische Kodierung einsetzt.
1. Grundprinzip der Erfindung
Die Erfindung betrifft demnach eine Verbesserung der Technik der verschachtelten Vernetzungen (oder der hierarchischen Kodierung), wie in der Einleitung beschrieben. Nach der vorliegenden Erfindung ist nämlich der Einsatz eines zweiten Typs der Kodierung für die Teile des Bildes vorgesehen, für welche die besagte Technik der verschachtelten Vernetzungen sich als ungünstig erweist.
Wie vorher erläutert, wird zuerst, nach dieser Technik der verschachtelten Vernetzungen, eine hierarchische Vernetzung über den Bereich des zu kodierenden Bildes definiert, die eine Vielzahl von verschachtelten Vernetzungen umfasst. Diese Vernetzung erhält man beispielsweise durch regelmäßiges und sukzessives Unterteilen der Maschen der groben Vernetzung. Vorteilhafterweise wird die Position der die Maschen definierenden Knoten als Funktion des Bildinhaltes angepasst.
Nach der Technik der verschachtelten Vernetzungen setzt man sich auf eine Vernetzungsebene n (die sich zwischen der ersten und der letzten Vernetzungsebene befindet), man berechnet das mittels der Technik der hierarchischen Vernetzung interpolierte Bild und man leitet ein Fehlerbild ab, das der Luminanzabweichung zwischen dem ursprünglichen und dem interpolierten Bild entspricht.
Es wird dann der den n ersten Vernetzungsebenen entsprechende Baum konstruiert, dann wird die Luminanzabweichung zwischen jedem Dreieck der Vernetzung und dem Fehlerbild berechnet und ein Abweichungsschwellenwert S wird gewählt. Das Kriterium der Luminanzabweichung über einem Dreieck T entspricht dem folgenden quadratischen Fehler:
wobei I das Fehlerbild zwischen dem interpolierten und dem Originalbild auf dem Dreieck T ist.
Nach der vorliegenden Erfindung wird dann für jeden Knoten bestimmt, ob das Annäherungsverfahren angehalten wird, ob die Unterteilung der Vernetzung durch affine Interpolierung mit der Technik der hierarchischen Vernetzung weitergeht oder ob eine andere Kodierungstechnik einzusetzen ist, die vorteilhafterweise eine auf einer reversiblen Transformation basierende Technik ist, wie nachfolgend beschrieben.
3 zeigt die allgemeine Arbeitsweise der Erfindung. Man beginnt mit der hierarchischen Kodierung 31 auf der ersten Hierarchieebene. Ein bestimmtes Beispiel der Anwendung ist unten im Detail erläutert (§ 2).
Für jedes betrachtete Dreieck wird eine Entscheidung 32 für das Weiterführen des Verfahrens getroffen:

– Unterbrechung 33 der Kodierung;
– Übergang 34 zur nachfolgenden hierarchischen Ebene;
– Einsatz einer anderen Art von Kodierung 35.

Absatz 3 stellt eine Einsatzform einer Kodierung 35 vor, bei der eine auf Dreiecke angewandte DCT-Transformation zum Einsatz kommt. Absatz 4 gibt eine detaillierte Erläuterung eines Beispiels für einen Entscheidungsmechanismus 32 wieder.
2. Erläuterungen zur Technik der „verschachtelten Vernetzungen"
Es werden einige vorteilhafte Aspekte für den Einsatz des Schrittes 32 erläutert. Die allgemeinen Prinzipien dieser Technik wurden bereits in der Einleitung beschrieben, mit Bezug auf die 1 und 2.
2.1 Variabler Abweichungsschwellenwert
Es wird vorteilhafterweise vorgesehen, dass der Abweichungsschwellenwert im Verlauf des Verfahrens abnimmt, um eine Möglichkeit der Abstufung der Kodierung zu ermöglichen.
Somit wird auf jeder hierarchischen Ebene der Schritt der Schwellenwertbildung mehrere Male wiederholt, wobei die Abweichungsschwellenwerte immer geringer werden, um bei jeder Wiederholung eine Gruppe zusätzlicher Bits zu erzeugen, welche die Darstellungsqualität verbessern.
Um einen binären Endzug zu konstruieren, der frei von Redundanzen ist, wird die Anwendung einer Referenztabelle vorgesehen, in der einem jeden Knoten des Baums ein Wert 0 oder 1 assoziiert wird, der angibt, ob die Werte des besagten Knotens bereits in die Bitzüge eingefügt wurden. Nimmt demnach der Abweichungsschwellenwert ab, wird festgestellt, dass das beabsichtigte Einfügen von Knotenwerten in den Bitzug noch nicht erfolgt ist. Dadurch wird es möglich, dass nur der der Abnahme des Abweichungsschwellenwertes entsprechende zusätzliche Teil des Baums in den Bitzug eingefügt wird.
Somit kann man die Entscheidung treffen, nur den ersten Teil des Binärzuges zu nutzen, der mit dem höchsten Abweichungsschwellenwert erzielt wurde, wenn keine hohe Darstellungsqualität benötigt wird. Um eine höhere Darstellungsqualität zu erzielen, muss ein größerer Teil des Binärzuges genutzt werden.
2.2 Quantifizierung und Kompression
Es wird ebenfalls vorteilhafterweise vorgesehen, die Werte der Knotenpunkte vor dem Einfügen in den Binärzug zu quantifizieren und zu komprimieren, um die Größe des Binärzuges zu begrenzen. Es wird bevorzugterweise eine nicht gleichmäßige Quantifizierung gewählt. Sie kann sich beispielsweise auf die statistische Verteilung der Luminanzwerte (bzw. der Chrominanz- und der Positionswerte) stützen.
Am Ende des Quantifizierungsschrittes werden die quantifizierten differentiellen Werte einer Datenkompression unterzogen, mit dem Zweck der Längenbegrenzung des Binärzuges. Vorteilhafterweise erfolgt die Kompression mittels einer adaptiven arithmetischen Kodiereinheit, die im vorliegenden Fall gute Kompressionsraten aufweist.
Da die statistischen Verteilungen der Luminanz-, Chrominanz- und Positionswerte untereinander verschieden sind, werden diese Werte bevorzugterweise getrennt voneinander kodiert. So wird die adaptive arithmetische Kodiereinheit für eine getrennte Verarbeitung dieser drei Arten von Werten ausgelegt.
2.3 Differentielle Kodierung
Um die Größe des Binärzuges zu- reduzieren, wird nach einer Verbesserung vorgesehen, nicht die genauen Luminanz-, Chrominanz- und Positionswerte der Knotenpunkte der Maschen von verschachtelten Vernetzungen in den Binärzug einzufügen, sondern Differentialwerte, mit Ausnahme der Werte für die Grundvernetzung. Jeder Differentialwert stellt die Differenz zwischen dem optimierten Wert der betrachteten hierarchischen Ebene des zu kodierenden Bildes und eines interpolierten Wertes dar, der auf der Grundlage der genauen Werte erreicht wurde, welche den benachbarten Knotenpunkten der verschachtelten Vernetzung der niedrigeren hierarchischen Ebene entspricht.
Ein Beispiel für die Bestimmung von Differentialwerten wird im Anhang 1 besprochen.
2.4 Dem Inhalt des Bildes angepasste Vernetzung
Die vorher gewählte Vernetzungsstruktur ist nach ihrer Konstruktion regelmäßig. Sie kann somit manchmal unangepasst für die Darstellung eines Bildes erscheinen, welches inhaltliche Unregelmäßigkeiten aufweist und bei dem insbesondere gleichmäßige Bereiche mit stärker strukturierten Bereichen, die eine höhere Dichte von Knotenpunkten benötigen, durcheinander liegen. Eine Optimierung der Position der Vernetzungsknotenpunkte ermöglicht das Verschieben der Konzentration an Vernetzungsknotenpunkte zu den Bereichen hin, die es benötigen.
Nach einer bevorzugten Ausführung wird ebenfalls eine Anpassung der Vernetzung (Position und Werte Y, U, V der Knotenpunkte) zum Inhalt des Bildes vorgesehen, um dessen Kodierungspotential am besten zu nutzen. Diese Anpassung kann auf drei Ebenen erfolgen:

Optimierung der Position der Vernetzungsknotenpunkte: die Position der Knoten wird als Funktion ihrer Effektivität bei der örtlichen Darstellung des Bildes geändert;
– Optimierung der Luminanz- und Chrominanzwerte der Vernetzungsknotenpunkte: die Werte Y, U, V werden so optimiert, dass sie das ursprüngliche Bild am besten darstellen;
– Optimierung der Vernetzungstopologie: die Vernetzungstopologie wird mittels einer Umkehrung der Diagonale so optimiert, dass die Fähigkeit der Vernetzung, das Bild örtlich darzustellen, noch weiter verbessert wird.

Eine solche Optimierung macht sich visuell durch eine Annäherung der Knotenpunkte der Vernetzung zu den physischen Umrissen der Bildgegenstände am unmittelbarsten visuell bemerkbar. Eine derartige Technik wird beispielsweise in der Patentschrift FR-98 12 525 vorgestellt, die im Namen derselben Anmelderin wie das vorliegende Patent angemeldet wurde.
Dieser Vorgang erfolgt Ebene für Ebene, beginnend mit der Ebene, die der Grundvernetzung (Ebene 0) entspricht. Das Ergebnis der Optimierung bei der Ebene n wird dann an die Ebene n+1 weitergeleitet, und die Position der zusätzlichen Knotenpunkte der Ebene n+1 erhält man auf der Grundlage der neuen Position der Knotenpunkte der Ebene n. Diese Optimierung der Position bei jeder Ebene und die Weiterleitung an die verschiedenen Ebenen des Baumes sind in 5 dargestellt und werden in Anhang 2 erläutert.
2.5 Umkehrung der Diagonale
Gemäß einer letzten Verbesserung kann ebenfalls die Verbesserung der Vernetzungstopologie vorgesehen werden. Es kann nämlich vorkommen, dass die örtliche Struktur der Vernetzung den Besonderheiten des Bildes nicht angepasst ist. Obwohl es möglich wäre, die Vernetzung bis zum Erhalt einer angepassten hierarchischen Vernetzung zu verfeinern, erweist sich manchmal eine Umkehrung der Diagonale als der einfachere Weg.
Diese Umkehrung der Diagonale erfolgt bei der letzten Vernetzungsebene und besteht im Umkehren der Diagonale in den von zwei benachbarten Dreiecken der besagten Vernetzungsebene gebildeten konvexen Vierecken, wenn die derart geänderte Vernetzung eine bessere Qualität der Wiederherstellung des Bildes bietet.
Dieser Vorgang der Umkehrung der Diagonale wird in Anhang 3, unter Einbeziehung der 6A und 6B, vorgestellt.
2.6.1 Problem der stark strukturierten Gebiete
Trotz dieser verschiedenen Verbesserungen stellt man fest, dass die Effektivität dieser Technik nicht ausreicht, um gewisse Bildteile zu verarbeiten, insbesondere, wenn sie sehr stark strukturiert sind.
3. Kodierung durch an eine Dreiecksaufteilung angepasste DCT
Die Erfindung schlägt demnach für Bildteile, die dieses benötigen, die Anwendung einer Transformation vor, beispielsweise eine DCT-Transformation, die einer Dreiecksaufteilung angepasst sein muss. Die Auswahl dieser Teilbereiche wird in Absatz 4 erläutert.
3.1 Prinzip
7 zeigt ein allgemeines Organigramm, welches das entsprechende Verfahren veranschaulicht.
Die Verarbeitung mit Knoten nach der Erfindung ist demnach:

– Definition 71, über den Bereich des zu kodierenden Bildes, einer Dreiecksaufteilung, die über den Bereich des zu kodierenden Bildteiles dem Inhalt angepasst werden kann;
– Bestimmung, für jedes Element der erzielten Aufteilung, der Transformationen, die es ermöglichen, einem jeden Dreieckselement ein Referenzdreieck (72) und dann ein Viereck (d.h., eine Matrix) zu assoziieren (73);
– Ausführung einer DCT 74 auf jeder dieser Matrizen;
– Anwendung eines Quantifizierungsverfahrens 75 und eines Kodierverfahrens 76, die denen der aktuellen Normen identisch sein können.

Die Aufteilung 71 kann selbstverständlich dem Inhalt des Bildes angepasst sein, beispielsweise durch Anwendung der im Absatz 2.4 beschriebenen Operationen.
3.2. Reversible Transformationen
3.2.1 Affine Transformation in ein gleichschenkliges Dreieck
Der zweite und der dritte Schritt 72 und 73 des Verfahrens der Erfindung sind in 8 dargestellt.
Für jedes Dreieckselement 81 der Aufteilung wird die affine Transformation 82 bestimmt, die es ermöglicht, einem jeden beliebigen Dreieck 81 ein gleichschenkliges Referenzdreieck 83 zu assoziieren. Das Referenzdreieck wird dann in ein Quadrat, genauer eine quadratische Matrix 84, durch Symmetrisierung 85, umgewandelt.
Genauer gesagt besteht die erste Transformation 82 im Bestimmen der affinen Transformation, die den Übergang von einem beliebigen Dreieck 81 zum Referenzdreieck 83 ermöglicht, wie in 9 dargestellt.
Die umkehrbare affine Transformation F, für welche die Beziehung P; = F(Q_i) mit P_i = (x_i, y_i) und Q_i = (X_i, Y_i) gilt, wird folgendermaßen geschrieben:
Diese affine Transformation ist umkehrbar, weil die Determinante der Matrix (bis auf das Vorzeichen) gleich 2A ist (wobei A die Fläche des beliebigen Dreiecks 81 darstellt), Wert der als nicht null gilt. Diese affine inverse Transformation wird demnach folgendermaßen geschrieben:
3.2.2. DCT
Bezeichnet man mit I(x, y) die Luminanz des Pixels mit den Koordinaten (x, y) und nimmt man an, dass das zu kodierende Bild in Blöcken der Größe M × N aufgeteilt wurde, so produziert die Anwendung einer Block orientierten Transformation a(x, y, m, n) ein Bild F mit:
weil I(x,y) = I(x,y), aufgrund der Symmetrisierung 85.
Ausgehend von der Transformation a(x, y, m, n) kann eine inverse Transformation b(x, y, m, n) definiert werden, um das Ursprungsbild I wiederherzustellen:
Die DCT erhält man mit Hilfe des Ansatzes:
wobei:
Die zweite Transformation 73, 86 besteht darin, die in jedem Dreieck mit der Fläche A enthaltene Information in den unteren Teil einer quadratischen Matrix G mit
Zeilen zu transponieren, wobei E den gesamten Oberteil des in Klammern befindlichen Wertes und α ∈ R⁺,^* einen Skalenfaktor darstellt, der auf die visuelle Darstellung des Bildes durch Ausführung einer Expansion (α > 1) oder einer Kompression (α < 1) im Raumbereich einwirkt.
Nach den Gleichungen (1) und (3) gilt: F(m,n) = F(n,m)
Nach der Symmetrisierung von G erzeugt seine Transformation 74 nach Gleichung (1) eine ebenfalls symmetrische Matrix N.
Aus diesem Grunde und weil die im unteren Teil einer jeden Matrix G enthaltenen Informationen dem oberen Teil 75 identisch sind, kann die Verwendung der blockbasierenden Transformation DCT 74 eingesetzt werden, wie beispielsweise in MPEG oder JPEG.
Nach der Transformation 74 werden nur die unteren Teile der Matrizen H quantifiziert 75 und kodiert 76.
3.3 Optimierung der Kodierung
Um die Leistungen der Kodierungskosten 76 zu optimieren, können zwei Aktionsmittel angewandt werden, beispielsweise als Funktion der Richtigkeit der den betrachteten Dreiecken unterliegenden Struktur, nämlich:

– der Skalenfaktor a (man nimmt dann a < 1);
– die Wahl der Quantifizierung und insbesondere die Amplitude der gewählten Quantifizierungsschritte.

3.3.1 Quantifizierung
sUnter den möglichen Quantifizierungen 75 kann man insbesondere die folgenden anwenden:

– eine gleichmäßige Quantifizierung;
– eine Quantifizierung mit Zickzackverlauf;
– eine Quantifizierung durch Verwendung einer im voraus nach einem psycho-visuellen Kriterium bewerteten Wichtungsmatrix.

Die Quantifizierung mit Zickzackverlauf besteht im Initialisieren des Quantifizierungsprozesses bei einem Wert von Q⁰ _AC, der im Laufe des Weges, bei jedem Ansteigen, um den Wert Δ_AC inkrementiert wird, wie durch den Pfeil 101 in 10 gezeigt.
Ein Beispiel einer im voraus nach einem psycho-visuellen Kriterium bewerteten Wichtungsmatrix ist die in 11 gezeigte Standard-JPEG Matrix QM oder MPEG4. Da die Matrizen G und QM verschiedene Größen aufweisen können, wird die Matrix QM interpoliert, wobei sie auf die Größe von G reduziert wird, wie bei JPEG. Es ist dann möglich, einen Qualitätsfaktor qf zu definieren, der als Multiplikator der Matrix QM wirkt.
3.3.2 Kodierung
Die effektive Kodierung 76 erfolgt beispielsweise durch eine Kodierung des Typs RLE (Run Length Encode), die auch entropisch ist, über den in 12 dargestellten Zickzackverlauf 121.
4. Kombinierung der zwei Kodiertechniken
Nach der Erfindung kann der Einsatz der zwei oben beschriebenen Kodiertechniken auf dem in 13 gezeigten Verfahren beruhen. Ist für die gegebene Ebene n die Luminanzabweichung eines Dreiecks T der Vernetzung:
– 131: kleiner als die Schwellenwertabweichung: der über dieses Dreieck interpolierte Teil des Bildes besitzt eine ordnungemäße optische Qualität und der Vorgang wird angehalten (132);
– 133: größer als die Schwellenwertabweichung aber kleiner als k × S, mit k ≥ 1: das Annäherungsverfahren geht weiter mit der Technik der hierarchischen Vernetzung (134), wobei der interpolierte Teil des Bildes einem Bild mittlerer Strukturierung entspricht;
– 135: größer als k × S, mit k ≥ 1: das Dreieck wird durch eine auf das Dreieck des Fehlerbildes (136) angewandte DCT bearbeitet.
Diese Wahl wird folgendermaßen gerechtfertigt. Es ist bekannt, dass:
so dass man Folgendes erhält:
daraus folgt:
Man stellt demnach fest, dass der Koeffizient F(m, n) gegen Null strebt, wenn die Luminanzabweichung gegen Null strebt. Ein schwacher quadratischer Fehler bringt Koeffizienten AC schwacher Amplitude nach Transformation, die große Chancen haben, nach der Quantifizierung annulliert zu werden.
So erweist es sich als vernünftiger, auf derartige Maschen eine im Vergleich zu einer DCT-Transformation kostengünstigere affine Interpolation durchzuführen.
Das Gesamtverfahren besteht somit im Behandeln eines Bildteiles nach der Technik der hierarchischen Vernetzung und im Behandeln der stark strukturierten Teile dieses Bildes mittels einer DCT nach der vorliegenden Erfindung, wobei diese DCT auf Dreiecke des entsprechenden Fehlerbildes angewandt wird.
Es wird demnach hier auf den strukturierten Teil des Fehlerbildes eine DCT auf die Dreiecke angewandt, die eine starke Luminanzabweichung aufweisen.
Es muss darauf hingewiesen werden, dass die Technik auf Grundlage einer Transformation nur ein Beispiel ist. Die Erfindung kann eine Vielzahl anderer komplementärer Kodiertechniken verwenden, wie beispielsweise:

– auf Fraktalzerlegung basierende Methoden: das Kompressionsprinzip von Bildern nach Graustufen durch die Methode der IFS, auch Fraktalkompression genannt, beruht auf dem Ausdruck des Bildinhaltes mittels dieses eigenen Inhaltes. Dies kann als Selbstquantifizierung des Bildes angesehen werden. Die Formalisierung dieser Methode beruht insbesondere auf den Arbeiten von Hutchinson in 1981 und von Bradley, Demko und anderen Forschern des Georgia Institute of Technology zwischen 1985 und 1988. Der erste automatische Algorithmus, der diese Ideen auf die Kompression von Bildern anwendet, wurde von Jacquin in 1989 vorgeschlagen. Verbesserungen dieser Technik werden in der Patentschrift FR-A-2788651, mit der Überschrift „Verfahren und Vorrichtung zum Kodieren auf der Grundlage von IFS-Schemata, mit oszillierenden Zusammenfügungsfunktionen, Kodierungsverfahren, Zusammenfügungsfunktion, Datenträger und entsprechende Anwendungen" vorgeschlagen.
– Die sogenannten „matching pursuit"-Methoden (auch Anpassungsverfolgungen genannt), die insbesondere in dem in „IEEE Transactions on circuits and systems for video technology" veröffentlichten Artikel von Ralf Neff und Avideh Zakhor mit der Überschrift „Very Low Bit Rate Video Coding based on Matching Pursuits" beschrieben werden. Die Kodierung des Restes durch „matching pursuit" ist eine iterative Methode, die ein Wörterbuch mit redundanten Funktionen verwendet. Bei jeder Iteration wird die Funktion gesucht, die den beim vorhergehenden Schritt erhaltenen Rest am besten beschreibt. Somit wird das Bild über eine Folge von Atomen zerlegt, die es optimal darstellt.
– Die SADCT („Shape Adaptive DTC"), die beispielsweise durch T.Sikora und B. Makai in „Shape Adaptive DCT for generic Coding" (IEEE Transactions on Circuits and Systems for Video Technology, 5(1) Seiten 59 – 62, Februar 1995) beschrieben wurden.

Es kann ebenfalls vorgesehen werden, dass mehrere dieser Techniken verfügbar sind, wobei die Wahl einer dieser Techniken beim Entscheidungsschritt als Funktion vorgegebener Kriterien erfolgt.
5. Dekodieren
Die Erfindung betrifft ebenfalls das Dekodieren von nach dem oben beschriebenen Verfahren kodierten Daten. Dieses Dekodierverfahren wird unmittelbar von den Kodierungsschritten abgeleitet.
So beruht das Dekodieren auf dem Empfang eines Binärzuges, der Folgendes umfasst:

– die Beschreibung einer aus der vorherigen Kodierung stammenden Ausgangsdarstellung des Bildes (die einer vorherigen symmetrischen Dekodierung unterworfen wird);
– die nach DCT-Transformation quantifizierten und kodierten Werte, welche mit den gewählten Dreiecken assoziiert sind.

Die Wichtungskoeffizienten der Matrizen können im Binärzug übertragen werden. Sie sind bevorzugterweise jedoch dem Decoder bekannt.
Das Dekodieren der quantifizierten und nach DCT-Transformation kodierten Werte umfasst insbesondere die folgenden Schritte:

– Erzeugen einer quadratischen symmetrischen Matrix, deren unterer Teil die im binären Zug gelesenen dekodierten Koeffizienten des darzustellenden Dreiecks umfasst;
– die inverse DCT-Transformation der so erzeugten Matrix;
– die affine Transformation des mit dem unteren Teil der Matrix assoziierten gleichschenkligen, rechtwinkligen Dreiecks, in Richtung auf das darzustellende Dreieck.

Die entsprechende Dekodierung sichert insbesondere das Lesen der folgenden Angaben im empfangenen Binärzug:

– die Zahl der Ebenen der Hierarchie;
– der Identifikation der für jedes Dreieck angewandten Kodierungstechnik;
– der Reihenfolge der Differentialwerte der mit den Knoten der besagten hierarchischen Vernetzung assoziierten Komponenten;
– der Identifikation der Bögen, über welche eine Umkehrung der Diagonalen erfolgt.

ANHANG 1
Ein Beispiel für die Bestimmung von differentiellen Werten ist in 4 dargestellt. Es wird ein Dreieck der Ebene 0 betrachtet, wobei die Luminanzwerte der Knotenpunkte A, B, C jeweils 210, 150 und 132 betragen. Dieses Dreieck wird in vier identische Dreiecke der Ebene 1 unterteilt, wobei drei neue Knotenpunkte E, F und G erscheinen, die sich jeweils in der Mitte der Seiten AB, AC und BC des Dreiecks der Ebene 0 befinden. Die Luminanzwerte der Knotenpunkte E, F und G in dem zu kodierenden Bild betragen dann jeweils 182, 170 und 143. Berechnet man die Luminanzwerte der Knotenpunkte E, F, G durch Interpolation der Werte der benachbarten Knotenpunkte, so erhält man die Werte 180, 171 und 141. Die in den Binärzug eingeführten Werte sind dann +2, –1 und +2, entsprechend der Differenz zwischen den exakten Werten und den interpolierten Werten. Diese Werte werden jedoch vorher quantifiziert, um die Zahl der möglichen Werte zu begrenzen und somit die Leistung der nachfolgenden Datenkompression zu verbessern.
Um andererseits Quantifizierungsfehler nicht zu kumulieren, erfolgt die Berechnung der differentiellen Werte auf der Grundlage der auf der unteren Ebene quantifizierten Werte.
ANHANG2
Die Positionsoptimierung erfolgt durch Minimieren eines der Luminanzabweichung zwischen dem zu kodierenden Bild und dem interpolierten Bild entsprechenden Kriteriums E. Für die Berechnung von E werden Punkte q aus
mit den Koordinaten x, y, z und mit z = y (Luminanzkomponente) betrachtet. Das Kriterium E wird folgendermaßen definiert:
wo F eine Anzeigefunktion ist, deren Wert 1 ist, wenn q zwischen der von den Punkten q des Ausgangsbildes gebildeten Fläche und der von den Punkten q des interpolierten Bildes gebildeten Fläche liegt und ansonsten 0 beträgt.
Die Minimierung des Abstandes E erfolgt mittels eines Gradientenabnahmealgorithmus mit adaptiven Schritten. Es geht in der Tat darum, den Vektor X der Punkte aus
zu finden, bei denen E den kleinsten Wert aufweist, d.h.: ∇E(X) = 0
Das entspricht dem Lösen des folgenden Systems nicht linearer Gleichungen:
Dieses System lässt sich direkt durch die Newton'sche Methode lösen, wobei es jedoch vorkommt, dass die Methode nicht konvergiert, wenn der Ausgangspunkt der Iterationen zu weit entfernt von der Lösung liegt. So ist es vorteilhafter, Iterationsverfahren anzuwenden, die zum Erzeugen einer Folge von Zwischenpositionen q₁, q₂ ... führen, welche auf ein örtliches Optimum von E hin konvergieren.
Diese Art von Iterationsverfahren läuft folgendermaßen ab: zum Bestimmen der optimalen Position des Knotens S₀, wird von seiner Ausgangslage q_s ausgegangen und der Gradient von E an diesem Punkt berechnet. Da ∇E( q_s0 ) die Richtung der größten Zunahme von E zeigt, wird der Knoten um eine Menge α₀ in die Gegenrichtung verschoben, wobei die neue Position des Knotens So die folgende ist:
Das so wiederholte Verfahren erzeugt die Zwischenpositionen q₂, q₃.... q_k die derart sind, dass:
Es wird vorteilhafterweise ein adaptiver Schritt α_k gewählt, um die Konvergenz zu beschleunigen. Die Methode der Gradientenabnahme mit adaptiven Schritten besteht im Verringern (bzw. Vergrößern) des Schrittes α_k, wenn die Abweichung E zunimmt (bzw. abnimmt), wobei ein Größenzwang beim Schritt eingehalten wird, der dazu führt, dass αk ∈ [α_min, α_max]. Die Endposition q_n = q_s0 erhält man, wenn die Differenz zwischen zwei aufeinander folgende Abweichungen E kleiner ist, als eine minimale Schwellenwertabweichung. Es wird in ähnlicher Weise die optimale Position der anderen Knotenpunkte der Vernetzung berechnet.
Wie bereits gesehen, wird die Abweichung E mit Bezug auf das reelle Bild berechnet. Nach einer verbesserten Version, wird die Abweichung E für jede Vernetzungsebene mit Bezug auf ein spezifisches Referenzbild I berechnet, das Ähnlichkeiten bezüglich des Frequenzinhaltes mit der betrachteten Vernetzungsebene aufweist. Demnach, und da die Grundvernetzung (Ebene 0) nur den Niederfrequenzaspekt eines Bildes darstellt, besitzt das zum Optimieren der Positionen der Knotenpunkte dieser Vernetzungsebene benutzte Referenzbild ebenfalls einen Niederfrequenzinhalt. Dieses Referenzbild wird durch Filtern des reellen Bildes erhalten.
In ähnlicher Weise wird einer jeden Vernetzungsebene ein Referenzbild assoziiert, dessen Frequenzinhalt der betrachteten Vernetzung angepasst ist. Das mit der höchsten Vernetzungsebene assoziierte Bild entspricht dem reellen Bild (ohne Filterung). Um diese Referenzbilder zu erzeugen, wird eine Annäherung der Halbband-Tiefpassfilter unendlicher Impulsantwort benutzt
wobei L ein Unterabtastungsfaktor ist.
Es wird demnach bei jeder Vernetzungsebene ein verschiedenes Referenzbild benutzt, um den Wert E zu berechnen.
Das Optimieren der mit den Vernetzungsknoten assoziierten Luminanz- und Chrominanzwerte bildet eine weitere mögliche Verbesserung des Verfahrens der Erfindung.
Die Optimierung der Werte Y, U, V erfolgt über eine Methode der minimalen Quadraten und besteht im Minimieren eines Kriteriums E', das über den Bereich des Bildes Ω folgendermaßen definiert ist:

wobei – S_n ein Knotenpunkt mit dem Index n der mehrfachen Vernetzung ist,
– M die Gesamtzahl der Knotenpunkte der mehrfachen Vernetzung ist,
– I(x,y) den Luminanzwert (bzw. den Chrominanzwert U oder V) des Pixels mit den Koordinaten (x, y) des zu kodierenden Bildes darstellt,
–
die mit dem Knotenpunkt S_n assoziierte Interpolationsfunktion ist,
– v(S_n) der optimierte, mit dem Knotenpunkt S_n assoziierte Luminanzwert (bzw. Chrominanzwert) ist.

Wird die Ableitung dieses Ausdrucks gebildet, so erhält man die optimierten Werte durch Lösen des folgenden linearen Systems von M Gleichungen:
Dank der kompakten Stütze der Funktionen
, lässt sich dieses Gleichungssystem auch wie folgt ausdrücken:

wo:
– supp (S_m) die Dreiecke oder Maschen bezeichnet, deren Scheitelpunkt S_m ist und
– ver(e) die Scheitelpunkte des Dreiecks e bezeichnet.

Das Lösen dieses Gleichungssystems entspricht dem Lösen eines Matrixsystems des Typs: AX=B

wo:
– A eine symmetrische positiv definierte Matrix ist,
– X die Spaltenmatrix der optimierten Werte v(S_m) mit m∈[1..M] ist, und
– B eine Spaltenmatrix der Werte des rechten Terms des Systems (1) ist.

Da A eine symmetrische positiv definierte Matrix ist, besitzt sie eine einmalige Faktorierung A = LDL^T, wobei L eine unter der Einheitsdiagonale befindliche Dreiecksmatrix und D eine diagonale Matrix bezeichnet, deren Diagonalkoeffizienten alle streng positiv sind. Die Konditionierung der Matrix A liegt außerdem in der Nähe des Einheitswertes.
Die Bestimmung der Koeffizienten L und D kann durch Identifizieren der im unteren Dreiecksteil dieser Matrix befindlichen Koeffizienten erfolgen:
Ferner gilt:
Die Terme der Matrix X der optimierten Werte werden dann mit Hilfe der folgenden Formel bestimmt:
Nach einer verbesserten Ausführung kann die Verwendung der Profiltechnik zum Lösen des Systems AX = B angesetzt werden, um die Größe des Speichers beim Faktorieren von A zu verringern. Die Profiltechnik ersetzt die klassische Darstellung einer Matrix in Form einer Tabelle M × M durch die Darstellung in Form zweier Vektoren. Da in der Tat die Matrix A hohl ist (sie enthält viele Nullen), ist ihre klassische Darstellung ungeeignet.
ANHANG 3
Dieses Umkehren der Diagonale betrifft nur konvexe Vierecke. 6A zeigt ein Beispiel eines nicht konvexen Vierecks, für welches das Umkehren der Diagonale nicht zulässig ist.
Eine Umkehrung der Diagonale an einem von zwei Dreiecken T1 und T2 gebildeten konvexen Viereck Q ist in 6B dargestellt. Der Vorgang besteht im Umkehren der den beiden Dreiecken T1 und T2 gemeinsamen Grat darstellenden Diagonale. Dann umfasst das Viereck Q nach der Umkehr zwei neue Dreiecke T'1 und T'2.
Der Optimierungsvorgang der Topologie umfasst somit die folgenden Schritte:

– es wird die Luminanzabweichung E über jedes konvexes Viereck Q berechnet, das von zwei nebeneinander liegenden Dreiecken T1, T2 der höchsten Vernetzungsebene gebildet wird, wobei diese Luminanzabweichung der Summe der Summen der Luminanzabweichungen aus T1 und T2 gleicht, E(Q) = E(T1) + E(T2);
– es wird die Diagonale umgekehrt, welche den Grat darstellt, der den zwei Dreiecken T1 und T2 gemeinsam ist, so dass zwei neue Dreiecke T'1 und T'2 gebildet werden;
– es werden die Luminanzabweichungen der neuen Dreiecke T'1 und T'2 berechnet und diese werden dann addiert, E(Q) = E(T'1) + E(T'2) und,
– es werden die zwei Dreiecke in der Vernetzung behalten, bei denen die Summe der Luminanzabweichungen am geringsten ist.

Claims

Kodierungsverfahren eines zu kodierenden Bildes, das die folgenden Schritte umfasst: – Definition einer hierarchischen Vernetzung, die mindestens zwei verschachtelte Vernetzungsebenen aufweist, welche von durch Knoten definierte Maschen gebildet werden; – Bestimmung für jede Masche einer Fehlerinformation zwischen dem zu kodierenden Bild und einem interpolierten Bild, das aus den Knoten von Maschen erhalten wird, die der Vernetzungsebene der betrachteten Masche angehören; – Anhalten (33) der Verfeinerung von Maschen, die eine unterhalb eines vorgegebenen ersten Schwellenwertes liegende Fehlerinformation aufweisen, dadurch gekennzeichnet, dass es ebenfalls die folgenden Schritte umfasst: – Einsatz einer für die Maschen, welche eine oberhalb eines vorgegebenen zweiten Schwellenwertes liegenden Fehlerinformation aufweisen, spezifischen Kodierung (35); – Fortführung (34) der Verfeinerung der Maschen, die eine oberhalb des vorgegebenen ersten Schwellenwertes und unterhalb des vorgegebenen zweiten Schwellenwertes liegende Fehlerinformation aufweisen.
Kodierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die spezifische Kodierung mindestens eine umkehrbare Transformation (72, 74) einsetzt.
Kodierungsverfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass es sich bei den Maschen um Dreiecke (81) handelt.
Kodierungsverfahren nach den Ansprüchen 2 und 3, dadurch gekennzeichnet, dass die spezifische Kodierung die folgenden Schritte umfasst: – Assoziierung einer für das zu kodierende Dreieck repräsentativen quadratischen Matrix (84) zu jedem dieser zu kodierenden Dreiecke (81) mit Hilfe einer ersten umkehrbaren Transformation (72); – Anwendung einer zweiten umkehrbaren Dekorrelierungstransformation (74) auf jede der quadratischen Matrizen (84), wobei transformierte Matrizen entstehen.
Kodierungsverfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Assoziierungsschritt einer quadratischen Matrix die folgenden Schritte umfasst: – Verfeinerungstransformation (82) eines Quellendreiecks (81) in ein Referenzdreieck genanntes, gleichschenkliges rechtwinkliges Dreieck (83). – Erzeugung (86) einer quadratischen Matrix, deren unterer Teil die repräsentativen Daten des gleichschenkligen rechtwinkligen Dreiecks umfasst; – Symmetrisierung (85) der quadratischen Matrix.
Kodierungsverfahren nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die zweite Transformation (74) der die folgenden Transformationen umfassenden Gruppe angehört: – die Karhunen-Loève-Transformation (KLT); – die diskrete Fourier-Transformation (DFT); – die diskrete Cosinus-Transformation (DCT); – die Walsh-Hadamard-Transformation (WHT).
Kodierungsverfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die spezifische Kodierung einen Schritt zum Quantifizieren (75) und zum Kodieren der Daten des unteren Teils der transformierten Matrix umfasst.
Kodierungsverfahren (76) nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass mindestens einer der folgenden Parameter geändert werden kann: – der erste Schwellenwert; – der zweite Schwellenwert; – die Struktur der verschachtelten Vernetzung; – ein Skalenfaktor a, der das Dehnen oder das Zusammendrücken der quadratischen Matrix im räumlichen Bereich ermöglicht; – die Quantifizierungsart; – der Quantifizierungsschritt.
Kodierungsverfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Fehlerinformation einer Luminanzabweichung entspricht, die einen quadratischen Fehler oder einen Absolutfehler zwischen einem Quellendreieck und dem entsprechenden angenäherten Dreieck darstellen.
Kodierungsverfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass für jede Masche die folgende Wahl getroffen wird: – wenn die Fehlerinformation unterhalb des ersten Schwellenwertes liegt, so wird die hierarchische Division für die betrachtete Masche unterbrochen (132); – wenn die Fehlerinformation oberhalb des ersten aber unterhalb des zweiten Schwellenwertes liegt, so wird die hierarchische Division weitergeführt (134); – wenn die Luminanzabweichung oberhalb des zweiten Schwellenwertes liegt, so wird die spezifische Kodierung angewandt (135).
Kodierungsverfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass für alle anderen Vernetzungsebenen außer der ersten, die für das Kodieren berücksichtigten Daten quantifizierte Differentialwerte sind, die jeweils der quantifizierten Differenz zwischen einem für den für die betrachtete hierarchische Ebene des zu kodierenden Bildes optimierten Wert und einem ausgehend von der Vernetzung der darunter liegenden hierarchischen Ebene interpolierten Wert entsprechen.
Kodierungsverfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass es einen Optimierungsschritt der Position der Knoten einer jeden der Vernetzungen umfasst, der ein vorgegebenes Fehlerkriterium minimiert.
Kodierungsverfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass es einen Definitionsschritt eines quaternären Unterteilungsbaumes umfasst, der das Identifizieren der die spezifische Kodierung verwendenden Maschen sowie der Maschen ermöglicht, deren Inhalt ausgehend von den diese Maschen definierenden Knoten interpoliert wird.
Kodierungsverfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass es einen Anpassungsschritt der Vernetzung mit dem Bildinhalt umfasst, wobei Umkehrungen der Diagonalen der von allen nebeneinander liegenden Dreieckspaare gebildeten Rechtecke eingesetzt werden.
Dekodierungsverfahren eines Bildes, welches nach einem die folgenden Schritte umfassenden Verfahren kodiert wurde: – Definition einer hierarchischen Vernetzung, die mindestens zwei verschachtelte Vernetzungsebenen aufweist, welche von durch Knoten definierten Maschen gebildet werden; – Bestimmung für jede Masche einer Fehlerinformation zwischen dem zu kodierenden Bild und einem interpolierten Bild, das aus den Knoten von Maschen erhalten wird, die der Vernetzungsebene der betrachteten Masche angehören; – Anhalten der Verfeinerung von Maschen, die eine unterhalb eines vorgegebenen ersten Schwellenwertes liegende Fehlerinformation aufweisen, – Einsatz einer für die Maschen, welche eine oberhalb eines vorgegebenen zweiten Schwellenwertes liegende Fehlerinformation aufweisen, spezifischen Kodierung; – Fortführung der Verfeinerung der Maschen, die eine oberhalb des vorgegebenen ersten Schwellenwertes und unterhalb des vorgegebenen zweiten Schwellenwertes liegende Fehlerinformation aufweisen; dadurch gekennzeichnet, dass es die folgenden Schritte umfasst: – vorhergehendes Dekodieren der nach dem die hierarchische Vernetzung anwendenden Verfahren kodierten Daten, welche die Beschreibung einer Ausgangsdarstellung ermöglicht; – zusätzliches Dekodieren der mit Hilfe der spezifischen Kodierung kodierten Daten, welches die Verfeinerung der Ausgangsdarstellung ermöglicht.
Dekodierungsverfahren nach Anspruch 15, dadurch gekennzeichnet, dass – der zusätzliche Dekodierungsschritt optional ist.
Dekodierungsverfahren nach einem der Ansprüche 15 oder 16, dadurch gekennzeichnet, dass die spezifische Kodierung die folgenden Schritte aufweist: – Assoziierung einer für jedes der zu verarbeitenden Quellendreiecke repräsentativen quadratischen Matrix zu jedem dieser Quellendreiecke, mit Hilfe einer ersten umkehrbaren Transformation; – Anwendung einer zweiten umkehrbaren Dekorrelierungstransformation auf jede der quadratischen Matrizen, wobei transformierte Matrizen entstehen, dadurch gekennzeichnet, dass die zweite Zusatzdekodierung die folgenden Wiederherstellungsschritte umfasst: a) Anwendung einer Umkehrtransformation auf die zweite umkehrbare Dekorrerlierungstransformation auf die transformierten Matrizen, wobei die wiederhergestellten quadratischen Matrizen erzeugt werden; b) Assoziieren eines entsprechenden wiederhergestellten Dreiecks zu einer jeden wiederhergestellten Matrix, mit Hilfe einer affinen Umkehrtransformation der ersten umkehrbaren Transformation; c) Wiederherstellung der erwähnten Minimalaufteilung, ausgehend von den wiederhergestellten Dreiecken.
Dekodierungsverfahren nach Anspruch 17, dadurch gekennzeichnet, dass die quadratischen Matrizen ausgehend von den Daten eines empfangenen Binärzuges wiederhergestellt werden, wobei die dekodierten Daten dieses Binärzuges die Koeffizienten des wiederherzustellenden Dreiecks sind, welche den unteren Teil der Matrix bilden.
Dekodierungsverfahren nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass die vorhergehende Dekodierung das Lesen in dem empfangenen Binärzug von mindestens einer der Informationen aus der Gruppe sicherstellt, die folgendes umfassen: – die Zahl der Ebenen der Hierarchie; – die Identifizierung der für jedes Dreieck verwendeten Kodiertechnik; – die Reihenfolge der Differentialwerte der mit den Knoten der besagten hierarchischen Vernetzung assoziierten Komponenten; – die Identifizierung der Bögen, über welche eine Umkehrung der Diagonalen erfolgt.