DE60001563T2 - Verfahren zur kodierung/dekodierung von bildern - Google Patents
Verfahren zur kodierung/dekodierung von bildernInfo
- Publication number
- DE60001563T2 DE60001563T2 DE60001563T DE60001563T DE60001563T2 DE 60001563 T2 DE60001563 T2 DE 60001563T2 DE 60001563 T DE60001563 T DE 60001563T DE 60001563 T DE60001563 T DE 60001563T DE 60001563 T2 DE60001563 T2 DE 60001563T2
- Authority
- DE
- Germany
- Prior art keywords
- coding
- image
- triangle
- transformation
- images according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 147
- 230000009466 transformation Effects 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000011002 quantification Methods 0.000 claims description 31
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 13
- 238000000844 transformation Methods 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 10
- 230000002441 reversible effect Effects 0.000 claims description 9
- 238000005192 partition Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000013459 approach Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/97—Matching pursuit coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
- Die Erfindung betrifft die Kodierung feststehender oder animierter Bilder. Genauer betrifft die Erfindung Techniken zum Komprimieren von Bildern oder von Bildfolgen auf der Grundlage von umkehrbaren mathematischen Transformationen.
- Es sind sehr viele Kompressionstechniken für Bilder bekannt, um die Zahl der zur Darstellung eines Bildes oder einer Folge animierter Bilder erforderlichen Daten zu verringern. Damit soll insbesondere der Durchsatz von Digitalsignalen beim Senden und/oder beim Speichern auf einen Datenträger verringert werden.
- Die Erfindung betrifft insbesondere aber nicht ausschließlich das Senden von Bildsignalen mit geringem Durchsatz sowie das Senden ohne Durchsatzgarantie, wie dies nach dem IP-Ftrotokoll ("Internet Protocol") der Fall ist.
- Unter den vielen bekannten Bildkodierungsverfahren kann man insbesondere Techniken wie ISO-JPEG und ISO-MPEG hervorheben, aus denen sich eine Norm ergeben hat. Diese Kodierverfahren beruhen insbesondere auf der Anwendung von Transformierten, die das effektive Eliminieren von Redundanz in einem Bild ermöglichen.
- Fig. 1 veranschaulicht das allgemeine Prinzip eines Kodierverfahrens durch Transformierte.
- Das zu kodierende Bild 11 wird zuerst in eine Menge rechteckiger Blöcke 12 unterteilt, die sich nicht gegenseitig bedecken und die gleiche Größe aufweisen, auf welche eine umkehrbare Transformation 13 angewandt wird. Diese Transformation erzeugt einen transformierten Block 14, der aus einer Menge transformierter Koeffizienten besteht, die weniger korreliert sind, als die Koeffizienten des Ausgangsblocks 12.
- Diese Koeffizienten erfahren dann eine Quantifizierung 15, gefolgt von einer Kodierung 16, bevor sie über den Kanal gesendet (17) oder gespeichert werden.
- Bei I(x, y) die Helligkeit des Pixels mit den Koordinaten (x, y). Nimmt man an, dass das zu kodierende Bild 11 in Blöcke 12 der Größe M · N unterteilt wurde, so erzeugt die Anwendung einer blockorientierten Transformation 13 a(x, y, m, n) ein Bild F mit:
- F(m, n) = I(x, y)a(x, y, m, n) (1)
- wobei m [0, M - 1] und n [0, N - 1].
- Ausgehend von der Transformation a(x, y, m, n) lässt sich eine inverse Transformation b(x, y, m, n) definieren, um das Ausgangsbild I wiederherzustellen:
- I(x, y) = F(m, n)b(x, y, m, n) (2)
- Die hauptsächlich zum Komprimieren von Bildern genutzten Transformationen sind:
- - die Karhunen Loève Transformation (KLT),
- - die diskrete Fourier Transformation (DFT),
- - die diskrete Kosinustransformation (DCT) und
- - die Walsh-Hadamard Transformation (WHT).
- Es ist wichtig zu bemerken, dass die alleine angewandte Transformationsoperation 13 keine Kompression des Bildes sicherstellt, da ihr alleiniger Zweck das Dekorrelieren der Ausgangsdaten und das Konzentrieren des Hauptanteils der Energie in einer geringen Zahl von transformierten Koeffizienten ist. Da die Gesamtenergie erhalten bleibt, enthalten die meisten transformierten Koeffizienten nur sehr wenig Energie, so dass erst die Quantifizierung 15 und die Kodierung 16 dieser Koeffizienten die Kompression ermöglichen.
- Eine Transformation guter Qualität muss eine effektive Dekorrelierung gewährleisten, unabhängig von den behandelten Bilder sein und schnelle Algorithmen umfassen, die ein effektives Ausführen ermöglichen.
- Die KLT-Technik ist die leistungsfähigste Technik zum Dekorrelieren eines Signals. Leider hängt sie von den manipulierten Bildern ab (weil die Signalstatistiken berechnet werden müssen, um die Transformierte daraus abzuleiten). Es gibt demnach keine schnellen Algorithmen, die eine effektive Durchführung ermöglichen, was die Anwendung einschränkt.
- Für typische Bilder jedoch, bei denen es eine starke Korrelierung zwischen den Pixeln gibt, liegt die Leistung der DCT sehr nahe bei derjenigen der KLT. Ferner verfügt die DCT über eine Vielzahl schneller Algorithmen, die eine effektive Durchführung ermöglichen. Ferner hängt sie nicht von den manipulierten Bildern ab. Zuletzt führt sie weniger Deformationen zwischen den Blöcken als die DFT ein.
- Betrachtet man Gleichung (1), so erhält man die DCT durch den Ansatz:
- wobei:
- Verschiedene Kompressionsnormen benutzen einen auf der DCT beruhenden Ansatz, beispielsweise JPEG für feststehende Bilder. H261 und H263 für Videofolgen mit Hinblick auf die Anwendung von Bildtelefon- und von Videokonferenz-Anwendungen, welche Bilder im CIF- (Common Intermediate Format) und im QCIF-Format (Quarter CIF) und zuletzt MPEG (1, 2 und 4) für Videofolgen mit beliebigem Inhalt nutzen, mit Hinblick auf Anwendungen von der Art des Digitalfernsehens.
- Diese klassische Technik weist jedoch mehrere Einschränkungen auf, die insbesondere darauf beruhen, dass die Verarbeitung den Inhalt des Ausgangsbildes nicht berücksichtigt. In der Tat beruht das Aufteilen des Bildes auf ein regelmäßiges und systematisches Zerschneiden in Quadrate, wodurch Blockeffekte erzeugt werden und wobei scharfe Übergänge zwischen verschiedenen Bildzonen nicht aufgenommen werden.
- Andererseits sind Techniken, bei denen Transformationen angewandt werden, schlecht geeignet für geometrische Manipulationen (Zoomen, Drehungen oder geometrische Verwefungen ("Warping"), ...), die klassischerweise angewandt werden, um den Ausgleich einer Bewegung zwischen zwei aufeinanderfolgenden Bildern im Rahmen animierter Bildfolgen (MPEG) festzulegen oder um natürliche Bilder in synthetische Szenen zu integrieren.
- Hauptziel der Erfindung ist es, diese Nachteile des Standes der Technik zu beheben.
- Genauer gesagt besteht ein Zweck der Erfindung im Bereitstellen eines Kodierverfahrens für feststehende oder animierte Bilder, basierend auf der Anwendung einer umkehrbaren Transformation, die selbst auf einer anderen, auf Dreiecke aufbauenden Aufteilung basiert. Es sei darauf hingewiesen, dass das alleinige Formulieren dieses Zwecks eine erfinderische Tätigkeit darstellt. In der Tat setzen heute die wichtigsten Ansätze durch Transformierte eine Aufteilung in viereckige Blöcke voraus oder eine Zerlegung in Bereiche beliebiger Form, die aber nicht die Anwendungsflexibilität einer Vernetzungsaufteilung bieten.
- Ein besonderer Zweck der Erfindung besteht im Bereitstellen eines solchen Verfahrens, wobei die Aufteilung in Dreiecken dem semantischen Inhalt des Bildes oder der Bildfolge angepasst ist.
- Ein weiterer Zweck der Erfindung ist selbstverständlich das Bereitstellen eines Kodierverfahrens, das ein gutes Preis/Kodierungsqualität-Verhältnis liefert (d. h., für das Verhältnis Bildwiederherstellung/Menge der zu sendenden oder zu speichernden Daten).
- Die Erfindung bezweckt ebenfalls das Bereitstellen eines relativ einfach anzuwendenden Kodierverfahrens, das insbesondere keine große Zahl zusätzlicher komplexer Operationen, verglichen mit den bekannten Techniken, erfordern soll.
- Ein zusätzlicher Zweck der Erfindung bei einer besonderen Ausführung ist das Bereitstellen eines Kodierverfahrens, das selektiv über Bildteile zusätzlich zu einem anderen Ansatz einsetzbar ist.
- Noch ein Ziel der Erfindung ist das Bereitstellen eines entsprechenden Kodierverfahrens, das eine einfache und kostengünstige Bildwiederherstellung (bezüglich der Verarbeitungszeit, der Speicherkapazität usw.) ermöglicht.
- Diese Ziele sowie andere, die im Nachhinein deutlicher erscheinen werden, erreicht die Erfindung mit Hilfe eines Verfahrens zum Kodieren von Bildern, das für einen Bereich, der mindestens einem Bildabschnitt entspricht, die folgenden Schritte umfasst:
- - Definition einer minimalen, den erwähnten Bereich abdeckenden Dreiecksaufteilung;
- - Assoziieren einer Rechteckmatrix zu jedem der oben erwähnten Quellendreiecke, die für dieses Quellendreieck repräsentativ ist, mit Hilfe einer ersten umkehrbaren Transformation;
- - Anwenden einer zweiten umkehrbaren Dekorrelierungstransformation auf jede der Rechteckmatrizen, wobei transformierte Matrizen entstehen.
- So ermöglicht die Erfindung das Anwenden einer umkehrbaren Transformationstechnik auf Bilder, die nicht nach Quadraten zerlegt sind, sondern nach Dreiecken, wobei diese beliebige Formen aufweisen können (sowohl nach Größe als auch nach Orientierung) und untereinander verschieden sein können. Sie können insbesondere dem Bildinhalt angepasst werden.
- Somit ist es möglich, die Vorteile der auf Transformationen aufbauenden Techniken sowie der Techniken zu kumulieren, bei denen nach Dreiecken zerlegt wird, ohne Notwendigkeit umfangreicher zusätzlicher Bearbeitungsschritte im Vergleich zu Transformationen an quadratischen Blöcken.
- Vorteilhafterweise umfasst der Assoziierungsschritt einer Quadratmatrix die folgenden Schritte:
- - die affine Transformation eines Quellendreiecks in ein Referenzdreieck genanntes, gleichschenkliges rechtwinkliges Dreieck;
- - Erzeugen einer Quadratmatrix, deren unterer Teil die repräsentativen Daten des erwähnten gleichschenkligen rechtwinkligen Dreiecks enthält;
- - Symmetrisieren der erwähnten Quadratmatrix.
- Diese Operationen sowie die Umkehroperationen sind nämlich sehr einfach anzuwenden.
- Nach einer bevorzugten Ausführung der Erfindung erhält man die erwähnte Quadratmatrix mit Hilfe einer bilinearen Interpolierung.
- Vorteilhafterweise wendet der Schritt zum Erzeugen einer Quadratmatrix einen Skalenfaktor α an, der ein räumliches Strecken oder Komprimieren ermöglicht. Somit lässt sich die Zahl der zum Kodieren des Bildes als Funktion der Erfordernisse und/oder der verfügbaren Ressourcen erforderlichen Daten einfach anpassen.
- In diesem Falle kann die erwähnte Rechteckmatrix E(α · ) Zeilen aufweisen, wobei E die Funktion darstellt, die den gesamten oberen Teil liefert und A die Fläche des gleichschenkligen rechtwinkligen Dreiecks ist.
- Die erwähnte zweite Transformation kann insbesondere der Gruppe der für das Gebiet üblichen Transformationen angehören, beispielsweise:
- - die Karhunen-Loève Transformation (KLT);
- - die diskrete Fourier Transformation (DFT);
- - die diskrete Cosinustransformation (DCT);
- - die Walsh-Hadamard Transformation (WHT).
- Wie später gezeigt wird, scheint derzeit die DCT, die am besten geeignete Transformation zu sein.
- Bevorzugterweise umfasst das Verfahren zum Kodieren von Bildern nach der Erfindung einen Quantifizierungs- und einen Kodierungsschritt der Daten aus dem unteren Teil der erwähnten transformierten Matrix. Es können die meisten Quantifizierungs- und Kodierungstechniken verwendet werden.
- Insbesondere kann die erwähnte Quantifizierung vorteilhafterweise der Gruppe angehören, die folgendes umfasst:
- - eine gleichmäßige Quantifizierung;
- - eine Quantifizierung mit Zickzack-Wegstrecke, wobei jeder Quantifizierungsschritt im Verlauf der erwähnten Wegstrecke inkrementiert wird;
- - eine Quantifizierung, die auf mindestens einer für das verarbeitete Bild im Voraus geschätzten oder optimierten Wichtungsmatrix beruht.
- Andererseits umfasst die Kodierung bevorzugterweise einen RLE- ("Run Length Encoding": Kodierung nach Folgenlänge) und entropischen Kodierungsschritt der quantifizierten Daten.
- Vorteilhafterweise ist das Verfahren nach der Erfindung parametrisierbar. Insbesondere kann vorgesehen werden, dass der erwähnte Skalenfaktor α, die Quantifizierungsart und/oder der Quantifizierungsschritt für ein jedes der erwähnten Dreiecke und/oder für ein jedes der erwähnten Bildabschnitte, geändert werden können.
- Das beschriebene Verfahren ist anwendbar, unabhängig von der Methode zum Feststellen des zu behandelnden Dreiecks. Nach einer vorteilhaften Ausführung, erhält man die Aufteilung in Dreiecke nach einer Methode, die den Inhalt des Bildes oder des Bildabschnitts berücksichtigt.
- Anders ausgedrückt, stimmen die Scheitelpunkte und die Seiten der Dreiecke soweit wie möglich mit Übergängen im betrachteten Bild überein.
- Insbesondere gehört die Methode vorteilhafterweise der folgenden Gruppe an:
- - die Methoden, die eine DCT anwenden.
- - die auf Fraktalaufteilung basierende Methoden;
- - die "matching pursuit" (oder Methoden zum Verfolgen von Paarbildungen) genannten Methoden;
- - die Methoden, die eine SADCT ("Shape Adaptive DCT", Formenanpassungs-DCT) anwenden.
- Das oben beschriebene Verfahren lässt sich selbstverständlich auf ein vollständiges Bild (oder auf eine vollständige Bildfolge) anwenden. Nach einer vorteilhaften Ausführung, lässt es sich ebenfalls auf Bildabschnitte anwenden, deren Gefüge einen Darstellungsfehler aufweist, der größer als ein gegebener Schwellenwert ist. Dieser Darstellungsfehler kann insbesondere einer Abweichung der Helligkeit zwischen dem erwähnten Quellendreieck und dem Dreieck nach seiner Wiederherstellung entsprechen.
- In diesem Falle wird das Kodierverfahren bevorzugterweise auf ein Fehlerbild angewandt, das der Differenz zwischen einem Quellenbild und einem angenäherten Bild entspricht, welches durch Anwendung eines vorausgehenden, andersartigen Kodierverfahrens erhalten wird.
- Das erwähnte vorausgehende Kodierungsverfahren kann insbesondere ein Annäherungsverfahren durch Verfeinerung sein, das eine hierarchische Vernetzung anwendet, auf der Grundlage derer ein quaternärer Baum aufgebaut werden kann, der dieselbe Zahl von Ebenen wie die in der hierarchischen Vernetzung vorhandenen aufweist, wobei jede dieser Ebenen dieselbe Zahl von Knoten wie die Zahl der Dreiecke in der entsprechenden Vernetzungsebene aufweist. In diesem Falle wird vorteilhafterweise für die Knoten, die einem vorgegebenen Kriterium entsprechen, die vorausgehende Kodierung durch eine Kodierung auf der Grundlage von Transformierten wie die oben beschriebenen ersetzt.
- Dieses vorgegebene Kriterium kann bei einer vorteilhaften Ausführung auf der Helligkeitsabweichung zwischen dem Dreieck des angenäherten Bildes und dem des Quellenbildes beruhen.
- In diesem Falle ist die Verarbeitung eines jeden Knotens (wobei bekannt ist, dass ein Knoten einem Dreieck auf einer gegebenen Ebene des Baums entspricht) wie folgt:
- - es wird eine Abweichung der Helligkeit zwischen dem zu kodierenden Bild und dem auf der Grundlage der verschachtelten Vernetzungsknoten, zu welchem der betrachtete Knoten gehört, interpolierten Bild berechnet;
- - die erwähnte Helligkeitsabweichung wird mit einer Schwellenabweichung verglichen;
- - es wird die folgende Wahl getroffen:
- -- wenn die erwähnte Helligkeitsabweichung kleiner als der Abweichungsschwellenwert ist, so wird das Annäherungsverfahren durch Verfeinerung der hierarchischen Vernetzung für den 'betrachteten Knoten unterbrochen;
- -- wenn die erwähnte Helligkeitsabweichung größer als die erwähnte Schwellenwertabweichung aber kleiner als ein zweiter Schwellenwert ist, so wird das eine hierarchische Vernetzung anwendende Verfahren weiter angewandt;
- -- wenn die erwähnte Helligkeitsabweichung größer ist als der zweite Schwellenwert, so wird das bereits beschriebene Kodierungsverfahren angewandt.
- Nach einer besonderen Ausführung der Erfindung beträgt der zweite Schwellenwert k · S, wobei:
- k: eine reelle Zahl größer oder gleich 1 ist;
- S: der reelle Wert ist, der proportional zur mittleren Helligkeitsabweichung ist.
- Bevorzugterweise stellt diese Helligkeitsabweichung einen quadratischen Fehler oder einen Absolutfehler zwischen dem besagten Quellendreieck und dem entsprechenden angenäherten Dreieck dar.
- Die Erfindung betrifft ebenfalls die Dekodiereinheiten und das Dekodieren der nach dem oben erläuterten Verfahren kodierten Bilder. Das Dekodierverfahren der repräsentativen Daten eines nach dem Kodierverfahren der Erfindung kodierten Bildes umfasst insbesondere die folgenden Wiederherstellungsschritte eines angenäherten Ausgangsbildes:
- a) Anwenden einer zur zweiten umkehrbaren Transformation inversen Transformation auf die transformierten Matrizen, wobei die rekonstruierten Rechteckmatrizen erzeugt werden;
- b) Assoziieren eines entsprechenden wiederhergestellten Dreiecks zu einer jeden der erwähnten wiederhergestellten Rechteckmatrizen mit Hilfe einer affinen Umkehrtransformation der erwähnten ersten umkehrbaren Transformation;
- c) Wiederherstellen der erwähnten minimalen Aufteilung, ausgehend von den wiederhergestellten Dreiecken.
- Anders ausgedrückt, beruht die Wiederherstellung der kodierten Bilder insbesondere auf der Anwendung von Transformationen, welche die Umkehrung der beim Kodieren angewandten Transformationen sind.
- Insbesondere können die erwähnten Rechteckmatrizen aus den Daten eines empfangenen binären Datenstroms wiederhergestellt werden, deren dekodierte Daten die Koeffizienten des wiederherzustellenden Dreiecks sind, wobei diese Daten den unteren Teil der erwähnten Matrix bilden.
- Wurde eine vorhergehende Kodierung, wie oben beschrieben, angewandt, so werden die Schritte a), b) und c) selbstverständlich auf dem entsprechenden Teil des empfangenen binären Datenstroms angewandt, wobei der andere Teil des binären Datenstroms nach einer anderen Methode kodiert und dekodiert wurde.
- Wenn insbesondere der binäre Datenstrom einerseits Daten, die nach einer vorgegebenen Methode kodiert wurden, und andererseits Daten umfasst, die mit Hilfe der erwähnten umkehrbaren Transformationen kodiert wurden, so umfasst das Dekodierverfahren:
- - eine vorausgehende Dekodierung der nach einem vorausgehenden Verfahren kodierten Daten, die das Beschreiben einer Ausgangsdarstellung ermöglichen;
- - eine zusätzliche Dekodierung (décodage complémentaire) der erwähnten kodierten Daten mit Hilfe der erwähnten umkehrbaren Transformationen, welche die Schritte a), b) und c) anwenden, mit denen die Ausgangsdarstellung verfeinert werden kann.
- Bevorzugterweise und aufgrund der Tatsache, dass die vorausgehende Kodierung eine hierarchische Kodierung verwendet, ermöglicht die erwähnte vorhergehende Dekodierung das Lesen im empfangenen binären Datenstrom von mindestens einer der Informationen aus der Gruppe, die folgendes umfasst:
- - die Zahl der hierarchischen Ebenen;
- - das Identifizieren der für ein jedes Dreieck angewandten Kodiertechnik;
- - die Reihenfolge der mit den Knoten der erwähnten hierarchischen Vernetzung assoziierten differentiellen Werte;
- - das Identifizieren der Bögen, über welche eine Umkehrung der Diagonalen durchgeführt wird.
- Weitere Eigenschaften und Vorteile der Erfindung werden deutlicher beim Lesen der nachfolgenden Beschreibung einer bevorzugten Ausführung, die als Beispiel zur Veranschaulichung und ohne einschränkende Wirkung vorgestellt wird, sowie der beigefügten Figuren, wobei:
- - die bereits in der Präambel besprochene Fig. 1 die bekannte Technik einer Kodierung durch Anwendung einer Transformation zeigt;
- - Fig. 2 ein vereinfachtes Flussdiagramm des Verfahrens der Erfindung zeigt;
- - Fig. 3 das Prinzip der zweiten und dritten Schrille des Verfahrens der Fig. 2 zeigt;
- - Fig. 4 ein genauerer Auszug der Fig. 3 ist, der dem zweiten Schritt des Verfahrens der Fig. 1 entspricht;
- - die Fig. 5 und 6 zwei Quantifizierungsmodi vorstellen, die im Verfahren der Fig. 2 anwendbar sind;
- - Fig. 7 die Zickzack-Wegstrecke des Kodierschritts des Verfahrens der Fig. 2 darstellt;
- - Fig. 8 den Zusammenhang zwischen der verschachtelten Vernetzung und dem quaternären Baum in einem hierarchischen Kodierungsverfahren zeigt;
- - Fig. 9 ein Beispiel für die Wahl der Knoten des Baums der Fig. 8 ist, an denen das Verfahren der Fig. 2 angewandt werden soll;
- - Fig. 10 ein vereinfachtes Flussdiagramm ist, das die Wahl der auszuführenden Verarbeitung veranschaulicht, wenn das Verfahren der Erfindung und eine hierarchische Kodierung miteinander assoziiert verwendet werden.
- Die Erfindung schlägt demnach die Anwendung einer Transformation vor, beispielsweise einer DCT-Transformation, die einer Einteilung nach Dreiecken angepasst ist. Fig. 2 ist ein allgemeines Flussdiagramm, welches das entsprechende Verfahren verdeutlicht.
- Die Verarbeitung mit Knoten nach der Erfindung ist demnach:
- - Definition 21 einer Dreiecksaufteilung, die über den Bereich des zu kodierenden Bildes (oder des zu kodierenden Teils bzw. der zu kodierenden Teile des Bildes) dem Inhalt angepasst werden kann;
- - Feststellung für ein jedes Element der erhaltenen Aufteilung der Transformationen, mit denen einem jeden Dreieckselement ein Referenzdreieck 22 und dann ein Quadrat bzw. Rechteck (d. h. eine Matrix) 23 zugeordnet werden kann;
- - Ausführung einer DCT 24 an jeder dieser Matrizen;
- - Anwendung eines Quantifizierungsverfahrens 25 und eines Kodierungsverfahrens 26, die mit den aktuellen Standards identisch sein können.
- Nach dem ersten Schritt 21 des Verfahrens der Erfindung wird zuerst auf dem Bereich des Bildes eine Aufteilung nach Dreiecken definiert. Im allgemeinen ist diese Dreiecksaufteilung anfänglich regelmäßig (obwohl sie auch unregelmäßig sein kann). Wenn sie regelmäßig ist, kann sie demnach manchmal ungeeignet zur Darstellung eines Bildes erscheinen, das inhaltliche Ungleichheiten aufweist und/oder in dem gleichmäßige Bereiche und Bereiche größerer Strukturdichte vermischt sind, die eine hohe Dichte von Knoten erfordern.
- Vorteilhafterweise umfasst demnach dieser Schritt 21 eine Optimierung der Lage der die Dreiecke bildenden Vernetzungsknoten, um die Konzentrationen von Vernetzungsknoten zu den Bereichen hin zu verschieben, welche dieses benötigen. Eine solche Technik wird beispielsweise im Patent FR-98 12 525 beschrieben, das von denselben Anmeldern wie die des vorliegenden Patentes angemeldet wurde.
- Der unmittelbarste sichtbare Effekt diese Optimierung besteht in der Annäherung der Vernetzungsknoten an die physischen Konturen des Bildgegenstandes.
- Die zweiten und dritten Schritte 22 und 23 des Verfahrens der Erfindung sind in Fig. 3 dargestellt.
- Für jedes Dreieckselement 31 der Aufteilung wird die affine Transformation 32 festgelegt, mit der einem beliebigen Dreieck 31 ein gleichschenkliges Referenzdreieck 33 zugeordnet wird. Das Referenzdreieck wird dann durch Symmetrisierung 35 in ein Quadrat bzw. Rechteck umgewandelt, genauer in eine quadratische bzw. rechteckige Matrix 34.
- Genauer gesagt besteht die erste Transformation 32 im Festlegen der affinen Transformation, die den Übergang von einem beliebigen Dreieck 31 zum Referenzdreieck 33 ermöglicht, wie in Fig. 4 dargetellt.
- Die umkehrbare affine Transformation F, für welche P&sub1; = F(Qi), wobei P&sub1; = (x&sub1;, y&sub1;) und Qi = (Xi, Yi), wird folgendermaßen geschrieben:
- Diese affine Transformation ist umkehrbar, weil die Determinante der Matrix (bis auf das Vorzeichen) gleich 2A ist (wobei A die Fläche des beliebigen Dreiecks 31 darstellt), welches als ungleich null angenommen wird. Diese affine inverse Transformation wird demnach wie folgt geschrieben:
- Die zweite Transformation 23, 36 besteht darin, die in einem jeden Dreieck mit der Fläche A enthaltene Information in den unteren Teil einer quadratischen bzw. rechteckigen Matrix G mit E(α · ) Zeilen zu transponieren, wobei E den oberen ganzen Teil des in Klammern stehenden Wertes und a R&spplus; ist. Dabei stellt * einen Skalenfaktor dar, der auf die sichtbare Darstellung des Bildes wirkt, indem er eine Expansion (α > 1) oder eine Kompression (α < 1) im räumlichen Bereich bewirkt.
- Nach den Gleichungen (1) und (2) gilt:
- F(m, n) = F(n, m)
- weil, aufgrund der Symmetrisierung 35, I(x, y) = I(x, y).
- Nach der Symmetrisierung von G erzeugt seine Transformation 24 nach Gleichung (1) eine ebenfalls symmetrische Matrix H.
- Aufgrund dieser Tatsache, und da die im unteren Teil einer jeden Matrix G enthaltenen Informationen mit denen im oberen Teil (25) identisch sind, kann die auf einem Block basierende Transformation DCT 24 verwendet werden, wie beispielsweise in MPEG oder JPEG.
- Nach der Transformation 24 werden nur die unteren Teile der Matrizen H quantifiziert (25) und kodiert (26).
- Um die Leistungsfähigkeiten der Kodierungskosten 26 zu optimieren, können zwei Aktionsmittel zur Anwendung kommen, die beispielsweise als Funktion der Stichhaltigkeit der den betrachteten Dreiecken unterliegenden Textur moduliert werden, nämlich:
- - der Skalenfaktor α (man nimmt dann α < 1);
- - die Wahl der Quantifizierung und insbesondere die angewandte Sclhrittweite.
- Unter den möglichen Quantifizierungen 25 kann man insbesondere die folgenden verwenden:
- - eine gleichmäßige Quantifizierung;
- - eine Quantifizierung mit Zickzack-Wegstrecke;
- - eine Quantifizierung durch Anwendung einer nach einem psycho-visuellen Kriterium im voraus bewerteten Wichtungsmatrix.
- Die Quantifizierung mit Zickzack-Wegstrecke besteht im Initialisieren des Quantifizierungsverfahrens auf einen Wert Q&sup0;AC, der im Laufe der Wegstrecke bei jedem Anstieg um einen Wert ΔAC inkrementiert wird, wie durch den Pfeil 51 in Fig. 5 dargestellt.
- Ein Beispiel einer nach einem psycho-visuellen Kriterium im voraus bewerteten Wichtungsmatrix ist die Matrix QM nach der JPEG Norm, die in Fig. 6 gezeigt wird. Man kann ebenfalls die Matrix nach der MPEG4 Norm berücksichtigen. Da die Matrizen G und QM verschiedene Größen aufweisen können, wird die Matrix QM interpoliert, wobei sie auf die Größe der Matrix G, wie für JPEG, zurückgeführt wird. Es ist dann möglich, einen Qualitätsfaktor qf zu definieren, der als Multiplikator für die Matrix QM wirkt. Man kann auch eine optimierte Wichtungsmatrix für das verarbeitete Bild einsetzen.
- Die effektive Kodierung 26 wird beispielsweise dadurch ausgeführt, dass eine Kodierung des Typs RLE (Run Length Encoding), die auch entropisch ist, auf dem in Fig. 7 dargestellten Zickzack-Wegpfad 71 angewandt wird.
- Es wird deutlich, dass das oben beschriebene Verfahren alleine für vollständige Bilder angewandt werden kann.
- Das Verfahren ist auch vorteilhafterweise auf Bildteile anwendbar, als Zusatz zu einem anderen Kodierungsansatz. Es kann insbesondere vorteilhafterweise selektiv auf besondere Bildteile angewandt werden, insbesondere auf Teile mit sehr hoher Dichte an Strukturdetails.
- So erscheint das Verfahren der Erfindung besonders gut auf die Technik angepasst zu sein, die in der Patentanmeldung FR-98 12 525 mit der Überschrift "Kodierverfahren für feststehende oder animierte Bilder, mit Reduzierung und Anpassung auf die Darstellung von Struktureinzelheiten" derselben Anmelder wie diejenigen dieses Patentes, beschrieben wird.
- Bevor gezeigt wird, wie das Verfahren der Erfindung zum Einsatz kommen kann, wird kurz das Prinzip des in der Patentanmeldung FR-98 12 525 beschriebenen Verfahrens ins Gedächtnis gerufen.
- Ziel dieser Technik ist ein Kodierverfahren eines digitalen Bildes, mit dem Zweck der Herstellung eines für dieses Bild repräsentativen Binärzuges, wobei die Länge des Binärzuges eine Funktion der gewünschten Darstellung ist. Das Verfahren wendet die folgenden Schritte an:
- - Definition einer hierarchischen Vernetzung mit einer Vielzahl verschachtelter Vernetzungen auf einem Bildbereich, wobei die Netzknoten dieser Vernetzung Pixel des besagten Bildes sein können;
- - Optimieren der Bildhelligkeit, der Farbinformation und der Positionen über jeder Vernetzungsebene;
- - Feststellen, für jede Masche der erwähnten hierarchischen Vernetzung, einer Abweichung der Bildhelligkeit zwischen dem zu kodierenden Bild und einem interpolierten Bild, das auf der Grundlage der verschachtelten Vernetzung gewonnen wird, welcher der betrachteten Masche angehört und
- - Einführen der Positions-, der Bildhelligkeit- und der Farbinformationswerte (die vorteilhafterweise differentiell im Verhältnis zur vorhergehenden hierarchischen Ebene kodiert sind) der Knoten der Maschen, deren Bildhelligkeitsabweichung größer als eine Schwellenwertabweichung ist, in dem binären Strom.
- Es sei darauf hingewiesen, dass diese Technik nicht auf Bildhelligkeitssignale oder auf Signale der Farbinformation beschränkt, sondern auf jedes Farbmodell anwendbar ist.
- Das Verfahren der vorliegenden Erfindung kann vorteilhafterweise bei der Berechnung dieser Schwellenwertabweichung mitwirken.
- In der Tat wird, nach dem vergangenen Stand der Technik und wie in Fig. 8 dargestellt, am Ende des Vernetzungsschrittes eine Quaternärbaumstruktur 81 aufgebaut, die mit der hierarchischen Vernetzung 82 assoziiert ist, um die Werte (Farben und Positionen) der Maschenknoten zu manipulieren. Der Baum 81 weist die gleich Zahl von Knoten wie die Zahl der Dreiecke in der entsprechenden Vernetzungsebene auf. Jeder Knoten 83 des Baumes steht in Beziehung zu einem alleinigen Dreieck 84 der hierarchischen Vernetzung 82.
- Nachdem der Baum 81 aufgebaut ist, sind die in den für das Bild repräsentativen binären Strom einzufügende Daten des Baumes festzulegen. Diese Festlegung hängt von der gewünschten Qualität ab.
- Um diese Feststellung durchzuführen, wird vorgesehen, für jedes Dreieck eine Bildhelligkeitsabweichung zwischen dem zu kodierenden Bild und dem interpolierten Bild zu berechnen, ausgehend von den Knoten der verschachtelten Vernetzung zu der die betrachtete Masche gehört. Diese Abweichung wird dann mit einer Schwellenwertabweichung für ein jedes Dreieck verglichen. Der Wert der Schwellenwertabweichung ist eine Funktion der gewünschten Darstellungsqualität.
- Danach wird in den binären Strom der Teil des Baumes eingefügt, der sich auf die Dreiecke bezieht, deren Bildhelligkeitsabweichung größer ist. Diese Auswahl der Knoten des Baumes durch Abgehen in der Tiefe ist in Fig. 9 dargestellt. Es werden nur die Knoten beibehalten, die sich oberhalb der Grenze 91 befinden.
- Somit ermöglicht die Grenzwertabweichung das Übertragen der Bilddaten, die eine Funktion der örtlichen Qualität dieser verschiedenen Dreiecksaufteilungen sind. In der Tat erfolgt die Datenübertragung für einen Teil mit hoher Dichte an Strukturdetails bis zur letzten Vernetzungsebene (feinste Vernetzung), während für glättere Bildteile eine grobe Ebene ausreichend ist.
- Nach der vorliegenden Erfindung kann man vorteilhafterweise beide Ansätze miteinander vermischen, d. h., die affine, symmetrisierte und DCT-transformierte Übertragung (der Kürze halber im nachhinein DCT genannt) mit der soeben beschriebenen Technik der verschachtelten Vernetzungen.
- In der Tat wird nach dieser Technik der verschachtelten Vernetzungen zu aller erst auf den zu kodierenden Bildbereich eine hierarchische Vernetzung definiert, die eine Vielzahl von verschachtelten Vernetzungen umfasst. Die Knoten dieser Vernetzungen sind Pixel des zu kodierenden Bildes. Diese Vernetzung erhält man beispielsweise durch regelmäßige und aufeinanderfolgende Teilungen der groben Vernetzungsmaschen.
- Nach der vorliegenden Erfindung stellt man sich auf eine Vernetzungsebene n (die sich zwischen der ersten und der letzten Vernetzungsebene befindet) ein, berechnet man das interpolierte Bild durch die Technik der hierarchischen Vernetzung und leitet man ein Fehlerbild ab, welches der Bildhelligkeitsabweichung zwischen dem Ausgangsbild und dem interpolierten Bild entspricht.
- Danach wird der den n ersten Vernetzungsebenen entsprechende Baum aufgebaut und die Bildhelligkeitsabweichung für jedes Dreieck der Vernetzung des Fehlerbildes berechnet, wonach dann eine Schwellenwertabweichung S gewählt wird. Das Kriterium für die Bildleuchtdichtenabweichung über ein Dreieck T entspricht dem folgenden quadratischen Fehler:
- ET = (IInterp(x, y) - IOrig(x, y))² = I²(x, y)
- wobei I das Fehlerbild zwischen dem interpolierten und dem Ausgangsbild über dem Dreieck T ist.
- Nach der vorliegenden Erfindung werden dann die Knoten des Baumes festgelegt, der es ermöglichen soll festzustellen, ob das Annäherungsverfahren angehalten, ob die Unterteilung der Vernetzung durch affine Interpolation mit Hilfe der Technik der hierarchischen Vernetzung weitergeführt oder ob die DCT nach der vorher beschriebenen Technik verwendet werden soll. Dazu kann man das in der Fig. 10 dargestellte Verfahren anwenden. Ist für die gegebene Ebene n die Bildhelligkeitsabweichung eines Dreiecks T der Vernetzung:
- - 101: kleiner als die Schwellenwertabweichung: die Sichtqualität des über diesem Dreieck interpolierten Bildteils ist korrekt und das Verfahren wird angehalten (102)
- - 103: größer als die Schwellenwertabweichung aber kleiner als k · S, mit k ≥ 1: das Annäherungsverfahren geht mit der Technik der hierarchischen Vernetzung weiter (104), wobei das interpolierte Bildteil einem Bild mit mittlerer Strukturdichte entspricht;
- - 105: größer als k · S mit k ≥ 1: das Dreieck wird mittels einer auf das Dreieck des Fehlerbildes angewandten DCT behandelt (106).
- Diese Wahl wird folgendermaßen gerechtfertigt. Es ist bekannt dass:
- F(m, n) ≤ I(x, y)a(x, y, m, n) nach (1)
- Daher gilt:
- F(m, n) ≤ 2 · I(x, y)
- so dass:
- Man stellt demnach fest, dass der Koeffizient F(m, n) gegen Null läuft, wenn die Bildhelligkeitsabweichung gegen Null läuft. Ein geringer quadratischer Fehler erbringt Koeffizienten AC nach einer Transformierten geringer Amplitude, die mit hoher Wahrscheinlichkeit nach der Quantifizierung annulliert werden.
- Somit erweist es sich als sinnvoller, eine kostengünstigere affine Interpolation als eine DCT-Transformation an derartigen Maschen durchzuführen.
- Das Gesamtverfahren besteht demnach im Behandeln eines Bildteils durch die Technik der hierarchischen Vernetzung und im Behandeln der Teile mit hoher Strukturdichte dieses Bildes mit Hilfe einer DCT nach der vorliegenden Erfindung, die auf Dreiecke des entsprechenden Fehlerbildes angewandt wird.
- Es wird demnach in diesem Falle an dem Bildteil mit hoher Strukturdichte eine DCT an den Dreiecken angewandt, die eine starke Bildhelligkeitsabweichung aufweisen.
- Ferner ist die Technik der hierarchischen Vernetzung nur ein Beispiel. Die eine DCT auf Dreiecke anwendende Technik der Erfindung kann für jede andere Technik angewandt werden, bei der Dreiecke angewandt werden, so beispielsweise:
- - auf der fraktalen Zerlegung basierende Methoden: das Prinzip der Bildkompression nach Grautönen durch die Methode der IFS, auch fraktale Kompression genannt, beruht auf dem Ausdruck des Bildinhaltes mit Hilfe gerade dieses Inhaltes.
- Dieses Prinzip kann als Selbstquantifizierung des Bildes angesehen werden. Die Formalisierung dieser Methode ergibt sich insbesondere aus den Arbeiten von Hutchison in 1981 und von Bradley, Demko und anderen Forschern des Georgia Institue of Technology zwischen 1985 und 1988. Der erste automatische Algorithmus, der diese Ideen auf die Kompression von Bildern anwendet, wurde 1989 von Jacquin vorgeschlagen. Verbesserungen dieser Technik werden in der Patentschrift FR-99 00656 mit der Überschrift "Kodierverfahren und -vorrichtung auf der Grundlage von IFS-Schemata, mit schwingenden Zusammenfügungsfunktionen, mit entsprechendem Kodierverfahren, entsprechender Zusammenfügungsfunktion, entsprechendem Datenträger und entsprechenden Anwendungen", vorgeschlagen,
- - "matching pursuit" genannte (auch Paarbildungsmethoden genannte) Methoden, die insbesondere im Artikel von Ralph Neif und Avideh Zakhor mit der Überschrift "Very Low Bite Rate Video Coding based on Matching Pursuits", veröffentlicht in IEEE Transactions on circuits and systems for video technology beschrieben sind.
- Die Kodierung (des Überschusses) durch Matching Pursuit ist eine iterative Methode, die ein Wörterbuch redundanter Funktionen benutzt. Bei jeder Iteration sucht man die Funktion, die den beim vorhergehenden Schritt verbleibenden Überschuss am besten darstellt. Somit wird das Bild über eine Atomfolge zerlegt, die es optimal darstellt;
- - die SADCT ("Shape Adaptive DCT"), zum Beispiel von T. Sikora und B. Makai in "Shape Adaptive DCT for generic Coding" (IEEE Transactions on Circuits and Systems for Video Technology, 5(1), Seiten 59-62, Februar 1995) beschrieben.
- Die Erfindung betrifft ebenfalls das Dekodieren von Daten, die nach dem oben beschriebenen Kodierverfahren kodiert wurden. Dieses Dekodierverfahren wird direkt aus den Kodierschritten abgeleitet.
- Wurde demnach eine vorhergehende Kodierung, insbesondere des hierarchischen Typs angewandt, so beruht die Dekodierung auf dem Empfang eines binären Stroms, der folgendes umfasst:
- - die Beschreibung einer Ausgangsdarstellung des Bildes, ausgehend von der vorhergehenden Kodierung (die einer symmetrischen vorhergehenden Dekodierung unterworfen wird);
- - die mit den gewählten Dreiecken assoziierten, nach einer DCT- Transformation quantifizierten und kodierten Werte.
- Die Wichtungskoeffizienten der Matrizen können im binären Strom übertragen werden. Bevorzugterweise sind sie jedoch dem Decoder bekannt.
- Das Dekodieren der nach der DCT-Transformation quantifizierten und kodierten Werte umfasst insbesondere die folgenden Schritte:
- - Erzeugen einer symmetrischen quadratischen Matrix, deren unterer Teil die aus dem binären Strom gelesene dekodierte Koeffizienten des darzustellenden Dreiecks umfasst;
- - die Umkehr-DCT-Transformation der so erzeugten Matrix;
- - die affine Transformation des mit dem unteren Teil der Matrix assoziierten gleichschenkligen rechtwinkligen Dreiecks zu dem darzustellenden Dreieck.
- Beruht die vorhergehende Kodierung auf einer hierarchischen Vernetzung, so sichert die entsprechende Dekodierung insbesondere das Lesen im empfangenen binären Strom:
- - der Zahl der hierarchischen Ebenen;
- - der Identifizierung der für jedes Dreieck angewandten Kodiertechnik;
- - der Folge der Differentialwerte der mit den Knoten der besagten hierarchischen Vernetzung assoziierten Komponenten.
Claims (24)
1. Verfahren zum Kodieren von Bildern, dadurch gekennzeichnet, dass es für
einen Bereich, der mindestens einem Bildabschnitt entspricht, die folgenden Schritte
umfasst:
- Definition (21) einer minimalen, den erwähnten Bereich abdeckenden
Dreiecksaufteilung;
- Assoziieren einer Rechteckmatrix (34) zu jedem der oben erwähnten
Quellendreiecke, die für dieses Quellendreieck (31) repräsentativ ist, mit Hilfe
einer ersten umkehrbaren Transformation (22, 23);
- Anwenden (24) einer zweiten umkehrbaren Dekorrelierungstransformation auf
jede der Rechteckmatrizen, wobei transformierte Matrizen entstehen.
2. Verfahren zum Kodieren von Bildern nach Anspruch 1, dadurch
gekennzeichnet, dass der Assoziierungsschritt einer Rechteckmatrix die folgenden
Schritte umfasst:
- affine Transformation (32) eines Quellendreiecks (31) in ein Referenzdreieck
genanntes, gleichschenkliges rechtwinkliges Dreieck (33);
- Erzeugen (36) einer Rechteckmatrix (34), deren unterer Teil die repräsentativen
Daten des erwähnten gleichschenkligen rechtwinkligen Dreieck (33) enthält;
- Symmetrisieren (35) der erwähnten Rechteckmatrix.
3. Verfahren zum Kodieren von Bildern nach Anspruch 2, dadurch
gekennzeichnet, dass der Schritt (36) zum Erzeugen einer Rechteckmatrix einen
Skalenfaktor α anwendet, der ein räumliches Strecken oder Komprimieren
ermöglicht.
4. Verfahren zum Kodieren von Bildern nach Anspruch 3, dadurch
gekennzeichnet, dass die erwähnte Rechteckmatrix E(α · ) Zeilen aufweist,
wobei E den gesamten oberen Teil darstellt und A die Fläche des gleichschenkligen
rechtwinkligen Dreiecks ist.
5. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet, dass die zweite Transformation der Gruppe angehört, die
folgendes umfasst:
- die Karhunen-Loève Transformation (KLT);
- die diskrete Fourier Transformation (DFT);
- die diskrete Cosinustransformation (DCT);
- die Walsh-Hadamard Transformation (WHT).
6. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet, dass es einen Quantifizierungs- (25) und einen
Datenkodierungsschritt (26) der Daten aus dem unteren Teil der transformierten
Matrix umfasst.
7. Verfahren zum Kodieren von Bildern nach Anspruch 6, dadurch
gekennzeichnet, dass die Quantifizierung (25) der Gruppe angehört, die folgendes
umfasst:
- eine gleichmäßige Quantifizierung (quantification uniforme);
- eine Quantifizierung mit Zickzack-Wegstrecke, wobei jeder
Quantifizierungsschritt im Verlauf der erwähnten Wegstrecke inkrementiert wird;
- eine Quantifizierung, die auf mindestens einer für das verarbeitete Bild im Voraus
geschätzten oder optimierten Wichtungsmatrix beruht.
8. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 4 bis 7,
dadurch gekennzeichnet, dass der erwähnte Skalenfaktor α, die Quantifizierungsart
und/oder der Quantifizierungsschritt für ein jedes der erwähnten Dreiecke und/oder
für jeden der erwähnten Bildabschnitte, geändert werden können.
9. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 6 bis 8,
dadurch gekennzeichnet, dass es einen lauflängenkodierten (RLE) und
entropischen Kodierungsschritt (26) der quantifizierten Daten umfasst.
10. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass die Dreiecksaufteilung nach einer Methode erfolgt,
die den Inhalt des Bildes oder des Bildabschnitts berücksichtigt.
11. Verfahren zum Kodieren von Bildern nach Anspruch 10, dadurch
gekennzeichnet, dass die Methode der Gruppe angehört, die folgendes umfasst:
- die auf Fraktalaufteilung basierende Methoden;
- die "matching pursuit" genannten Methoden;
- die Methoden, die eine SADCT anwendern;
- die Methoden, die eine DCT anwenden.
12. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 1 bis 11,
dadurch gekennzeichnet, dass es auf Bildabschnitte angewandt wird (106), deren
Textur einen Darstellungsfehler aufweist, der größer als ein gegebener
Schwellenwert (103) ist.
13. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 1 bis 12,
dadurch gekennzeichnet, dass der erwähnte Darstellungsfehler einer Abweichung
der Helligkeit (luminance) zwischen dem erwähnten Quellendreieck und dem
Dreieck nach seiner Wiederherstellung entspricht.
14. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 1 bis 13,
dadurch gekennzeichnet, dass es auf ein Fehlerbild angewandt wird, das der
Differenz zwischen einem Quellenbild und einem angenäherten- Bild entspricht,
welches durch Anwendung eines vorausgehenden verschiedenen Kodierverfahrens
erhalten wird.
15. Verfahren zum Kodieren von Bildern nach Anspruch 14, dadurch
gekennzeichnet, dass das erwähnte vorausgehende Kodierungsverfahren ein
Annäherungsverfahren durch Verfeinerung ist, das eine hierarchische Vernetzung
anwendet, auf der Grundlage derer ein quaternärer Baum aufgebaut werden kann,
der dieselbe Zahl von Ebenen wie die der hierarchischen Vernetzung aufweist,
wobei jede dieser Ebenen dieselbe Zahl von Knoten wie die Zahl der Dreiecke in
der entsprechenden Vernetzungsebene aufweist und dadurch, dass für die Knoten,
die einem vorgegebenen Kriterium (103) entsprechen, die vorausgehende
Kodierung durch eine Kodierung nach einem der Ansprüche 1 bis 11 ersetzt wird.
16. Verfahren zum Kodieren von Bildern nach Anspruch 15, dadurch
gekennzeichnet, dass das vorgegebene Kriterium auf der Helligkeitsabweichung
zwischen dem Dreieck des angenäherten Bildes und dem des Quellenbildes beruht.
17. Verfahren zum Kodieren von Bildern nach Anspruch 16, dadurch
gekennzeichnet, dass für jeden Knoten:
- die Berechnung der Abweichung der Helligkeit zwischen dem zu kodierenden
Bild und dem auf der Grundlage der verschachtelten Vernetzungsknoten
(sommets du maillage), zu welchem der betrachtete Knoten gehört,
interpoliertem Bild, erfolgt;
- die erwähnte Helligkeitsabweichung mit einer Schwellenabweichung verglichen
wird;
- die folgende Wahl getroffen wird:
- wenn die erwähnte Helligkeitsabweichung kleiner als der
Abweichungsschwellenwert ist, so wird das Annäherungsverfahren durch
Verfeinerung der hierarchischen Vernetzung für den betrachteten Knoten
unterbrochen;
- wenn die erwähnte Helligkeitsabweichung größer als die erwähnte
Schwellenwertabweichung, aber kleiner als ein zweiter Schwellenwert ist, so wird
das eine hierarchische Vernetzung anwendende Verfahren (106) fortgesetzt
(104);
- wenn die erwähnte Helligkeitsabweichung größer ist als der zweite
Schwellenwert, so wird das Kodierungsverfahren nach einem der Ansprüche 1
bis 11 angewandt.
18. Verfahren zum Kodieren von Bildern nach Anspruch 17, dadurch
gekennzeichnet, dass der zweite Schwellenwert k · S beträgt, wobei:
k: eine reelle Zahl größer oder gleich 1 ist;
S: der reelle Wert ist, der proportional zur mittleren
Helligkeitsabweichung ist.
19. Verfahren zum Kodieren von Bildern nach einem der Ansprüche 16 bis 18,
dadurch gekennzeichnet, dass die erwähnte Helligkeitsabweichung ein
quadratischer Fehler oder ein Absolutfehler zwischen dem erwähnten
Quellendreieck und dem entsprechenden angenäherten Dreieck ist.
20. Verfahren zum Dekodieren von Daten, die ein Bild repräsentieren, das nach
einem Verfahren kodiert wurde, welches für einen Bereich, der mindestens einem
Bildabschnitt entspricht, die folgenden Schritte umfasst
- Definition einer minimalen, den erwähnten Bereich abdeckenden
Dreiecksaufteilung;
- Assoziieren einer Rechteckmatrix zu jedem der Quellendreiecke, die für dieses
Quellendreieck repräsentativ ist, mit Hilfe einer ersten umkehrbaren
Transformation;
- Anwenden einer zweiten umkehrbaren Dekorrelierungstransformation auf jede
der Rechteckmatrizen, wobei transformierte Matrizen entstehen,
dadurch gekennzeichnet, dass es die folgenden Wiederherstellungsschritte eines
angenäherten Ausgangsbildes umfasst:
a) Anwenden einer zur zweiten umkehrbaren Dekorrelierungstransformation
inversen Transformation auf die transformierten Matrizen, wobei die
rekonstruierten Rechteckmatrizen erzeugt werden;
b) Assoziieren eines entsprechenden wiederhergestellten Dreiecks zu einer jeden
der erwähnten wiederhergestellten Rechteckmatrizen mit Hilfe einer affinen
Umkehrtransformation der erwähnten ersten umkehrbaren Transformation;
c) Wiederherstellen der erwähnten minimalen Aufteilung, ausgehend von den
wiederhergestellten Dreiecken.
21. Dekodierverfahren nach Anspruch 20, dadurch gekennzeichnet, dass die
erwähnten Rechteckmatrizen aus den Daten eines empfangenen binären
Datenstrom wiederhergestellt werden, deren dekodierte Daten die Koeffizienten des
wiederherzustellenden Dreiecks sind, wobei diese Daten den unteren Teil der
erwähnten Matrix bilden.
22. Dekodierverfahren nach einem der Ansprüche 20 und 22, dadurch
gekennzeichnet, dass die Schritte a), b) und c) nur auf einen Teil des empfangenen
binären Datenstroms angewendet werden, wobei der andere Teil des binären
Datenstroms nach einem anderen Verfahren kodiert und dekodiert wird.
23. Dekodierverfahren nach Anspruch 22, dadurch gekennzeichnet, dass der
erwähnte binäre Datenstrom einerseits die nach einem im voraus festgelegten
Kodierverfahren kodierten Daten und andererseits Daten umfasst, die mil. Hilfe der
erwähnten umkehrbaren Transformationen kodiert wurden, wobei dieses
Dekodierverfahren folgendes umfasst:
- eine vorausgehende Dekodierung der nach einem vorausgehenden Verfahren
kodierten Daten, die das Beschreiben einer Ausgangsdarstellung ermöglichen;
- eine komplementäre Dekodierung (décodage complémentaire) der erwähnten
kodierten Daten mit Hilfe der erwähnten umkehrbaren Transformationen, welche
die Schritte a), b) und c) anwenden, mit denen die Ausgangsdarstellung
verfeinert werden kann.
24. Dekodierverfahren nach einem der Ansprüche 22 und 23, dadurch
gekennzeichnet, dass die vorausgehende Kodierung eine hierarchische Kodierung
anwendet, und dass die erwähnte vorhergehende Dekodierung das Lesen im
empfangenen binären Datenstrom von mindestens einer der Informationen aus der
Gruppe zulässt, die Folgendes umfasst:
- die Zahl der hierarchischen Ebenen;
- das Identifizieren der für ein jedes Dreieck angewandten Kodiertechnik;
- die Reihenfolge der mit den Knoten der erwähnten hierarchischen Vernetzung
assoziierten differentiellen Werte;
- das Identifizieren der Bögen, über welche eine Umkehrung der Diagonalen
durchgeführt wird.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9906813A FR2794269B1 (fr) | 1999-05-26 | 1999-05-26 | Procede de codage d'images, a partition triangulaire et transformation reversible, et procede de decodage correspondant |
PCT/FR2000/001414 WO2000073997A1 (fr) | 1999-05-26 | 2000-05-24 | Procede de codage/decodage d'images |
Publications (2)
Publication Number | Publication Date |
---|---|
DE60001563D1 DE60001563D1 (de) | 2003-04-10 |
DE60001563T2 true DE60001563T2 (de) | 2003-12-24 |
Family
ID=9546155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE60001563T Expired - Lifetime DE60001563T2 (de) | 1999-05-26 | 2000-05-24 | Verfahren zur kodierung/dekodierung von bildern |
Country Status (5)
Country | Link |
---|---|
US (1) | US6999629B1 (de) |
EP (1) | EP1181668B1 (de) |
DE (1) | DE60001563T2 (de) |
FR (1) | FR2794269B1 (de) |
WO (1) | WO2000073997A1 (de) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2820255A1 (fr) * | 2001-01-26 | 2002-08-02 | France Telecom | Procedes de codage et de decodage d'images, dispositifs, systemes, signaux et applications correspondants |
ATE376699T1 (de) * | 2004-01-06 | 2007-11-15 | Nxp Bv | Verfahren zur wiedergabe graphischer objekte |
US7634139B2 (en) * | 2004-03-16 | 2009-12-15 | Sony Corporation | System and method for efficiently performing a pattern matching procedure |
JP5080406B2 (ja) * | 2008-09-05 | 2012-11-21 | 株式会社エヌ・ティ・ティ・ドコモ | 配信装置、端末装置及びシステム並びに方法 |
JP5112229B2 (ja) * | 2008-09-05 | 2013-01-09 | 株式会社エヌ・ティ・ティ・ドコモ | 配信装置、端末装置及びシステム並びに方法 |
JP5854612B2 (ja) * | 2011-02-18 | 2016-02-09 | ソニー株式会社 | 画像処理装置および方法 |
FR2999005B1 (fr) * | 2012-11-30 | 2022-06-10 | Thales Sa | Procede de rendu d'un terrain stocke dans une base de donnees massive |
IT201600095893A1 (it) * | 2016-09-23 | 2018-03-23 | Pikkart Srl | Metodo per implementare realta' aumentata |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
US6144773A (en) * | 1996-02-27 | 2000-11-07 | Interval Research Corporation | Wavelet-based data compression |
KR100215450B1 (ko) * | 1996-05-17 | 1999-08-16 | 윤종용 | 불규칙메쉬들을 이용한 대상물 지향 화상표현방법및그장치 |
US6047088A (en) * | 1996-12-16 | 2000-04-04 | Sharp Laboratories Of America, Inc. | 2D mesh geometry and motion vector compression |
FR2784211B1 (fr) * | 1998-10-02 | 2000-12-15 | France Telecom | Procede de codage d'images fixes ou animees avec reduction et adaptation du debit |
US6738520B1 (en) * | 2000-06-19 | 2004-05-18 | Intel Corporation | Method of compressing an image |
-
1999
- 1999-05-26 FR FR9906813A patent/FR2794269B1/fr not_active Expired - Fee Related
-
2000
- 2000-05-24 DE DE60001563T patent/DE60001563T2/de not_active Expired - Lifetime
- 2000-05-24 US US09/980,107 patent/US6999629B1/en not_active Expired - Fee Related
- 2000-05-24 EP EP00931344A patent/EP1181668B1/de not_active Expired - Lifetime
- 2000-05-24 WO PCT/FR2000/001414 patent/WO2000073997A1/fr active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
FR2794269A1 (fr) | 2000-12-01 |
FR2794269B1 (fr) | 2001-08-17 |
DE60001563D1 (de) | 2003-04-10 |
EP1181668B1 (de) | 2003-03-05 |
WO2000073997A1 (fr) | 2000-12-07 |
US6999629B1 (en) | 2006-02-14 |
EP1181668A1 (de) | 2002-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69623330T2 (de) | Merkmalbasiertes videokompressionsverfahren | |
DE69322351T2 (de) | Verbesserte Dekomprimierung von Standard ADCT-komprimierten Bildern | |
DE69723550T2 (de) | Kodierung und dekodierung von grafischen symbolen | |
DE69309529T2 (de) | Verfahren und Vorrichtung für die räumliche Filterung von blocktransformationsdekodierten digitalen Bildern | |
DE69420662T2 (de) | Blocktransformationskodierer für willkürlich geformte Bildsegmente | |
DE69831961T2 (de) | Bildobjekterzeugungsverfahren für objektbasierte kodierungssysteme unter verwendung von masken und gerundeten mittelwerten | |
EP0817496B1 (de) | Verfahren und Anordnung zur Reduktion von Blockartefakten in codierten Bildern | |
DE69028160T2 (de) | Verfahren zur Teilung des Bewegungsfeldes eines Bildes zum Kodieren eines Videobildes | |
DE19704439C2 (de) | Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien | |
DE69722495T2 (de) | Adaptives Abtastverfahren für Wavelet-Videokodierung | |
DE602004001993T2 (de) | Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression | |
DE69907917T2 (de) | Selektive verfeinerung der maschen | |
DE19541457C1 (de) | Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz | |
EP0421186A2 (de) | Verfahren zur Codierung beliebig geformter Bildsegmente | |
EP0956539B1 (de) | Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes | |
DE69904843T2 (de) | Kompression- und kodierungsverfahren eines 3d maschennetzwerks | |
DE60001563T2 (de) | Verfahren zur kodierung/dekodierung von bildern | |
DE69214405T2 (de) | Verfahren und Einrichtung zur Restitution von Textursignalen | |
EP0742673A2 (de) | Verfahren zur Bilddatenreduktion mittels fraktaler Bildcodierung sowie Encoder und Decoder zur Durchführung des Verfahrens | |
WO1998034406A1 (de) | Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes | |
EP1101196B1 (de) | Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten | |
DE60009898T2 (de) | Hierarchische bildkodierung mit variabler transformation | |
EP1110407B1 (de) | Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines gesamtbewegungsvektors | |
DE60310128T2 (de) | Verfahren zur wavelet-bildcodierung und entsprechendes decodierungsverfahren | |
EP0981910B1 (de) | Verfahren und vorrichtung zur codierung eines digitalisierten bildes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition |