DE69619097T2 - Bereichbasiertes strukturkodierungs- und dekodierungsverfahren sowie zugehörige systeme - Google Patents

Bereichbasiertes strukturkodierungs- und dekodierungsverfahren sowie zugehörige systeme

Info

Publication number
DE69619097T2
DE69619097T2 DE69619097T DE69619097T DE69619097T2 DE 69619097 T2 DE69619097 T2 DE 69619097T2 DE 69619097 T DE69619097 T DE 69619097T DE 69619097 T DE69619097 T DE 69619097T DE 69619097 T2 DE69619097 T2 DE 69619097T2
Authority
DE
Germany
Prior art keywords
regions
decoding
image
images
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69619097T
Other languages
English (en)
Other versions
DE69619097D1 (de
Inventor
Regine Askenatzis
Lionel Bouchard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE69619097D1 publication Critical patent/DE69619097D1/de
Publication of DE69619097T2 publication Critical patent/DE69619097T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Codieren von Bildern einer Bildsequenz, wobei dieses Verfahren für jedes Bild die nachfolgenden Verfahrensschritte umfasst:
  • - (A) das Segmentieren des genannten Bildes in strukturmäßig und/oder bewegungsmäßig homogene Regionen;
  • . (B) das Codieren der Konturen der genannten Regionen;
  • . (C) das Codieren der Strukturen der genannten Regionen.
  • Sie bezieht sich ebenfalls auf ein entsprechendes Decodierungsverfahren und auf Systeme zum Implementieren der genannten Codierungs- und Decodierungsverfahren.
  • Die Erfindung findet Anwendung im Bereich der Videocodierung mit sehr niedriger Bitrate und ist insbesondere interessant in Bezug auf die Codierungsnorm MPEG4, wobei neue Wege gegangen werden in der Kommunikation, im Zugriff auf und Manipulation von digitalen audiovisuellen Daten.
  • Relativ wenig neue Techniken sind verfügbar zum Durchführen einer bereichbasierten Strukturcodierung. Eine Polynomannäherung auf orthogonaler Basis ermöglicht eine Annäherung eines Graupegels oder einer Farbfunktion innerhalb Regionen, aber nur die niedrigen Frequenzen werden gesucht. Um die hohen Frequenzen zu erhalten, wurden Techniken, die blockbasierten Schemen zugeordnet waren, an den Fall von Regionen angepasst und dies ergab gute Resultate, aber bei sehr niedrigen Bitraten erscheinen störende Blockeffekte.
  • Vor etwa fünfzehn Jahren wurde ein neues mathematisches Werkzeug zum Analysieren und zum Synthetisieren von Signalen vorgeschlagen, insbesondere wenn solche Signale Tönen oder Bildern entsprechen. Dieses Werkzeug, das als "Wavelet transform" bezeichnet wird und beispielsweise in der Zeitschrift "Pour Lautsprecher Science", September 1987, Seiten 28-37, "L'analyse par ondelettes" von Y. Meyer, S. Jaffard und O. Rioul beschrieben ist, ermöglicht es, jedes beliebige Signal als Überlagerung von kleinen Wellen darzustellen. Die kleinen Wellen sind Funktionen, erzeugt aus einer einzigen Welle durch Dehnung und Übersetzung und ermöglicht es, das betreffende Signal in verschiedene Pegel auseinander zu nehmen (wobei jeder Pegel weiter auseinander genommen wird, wobei die Auflösung an diesen Pegel angepasst wird).
  • Dieses wichtige mathematische Werkzeug wird in vielen technischen Bereichen angewandt und insbesondere bei der Bildkompression. Die Kommunikation "Image coding using wavelet transform", "IEEE Transactions on Image Processing", Heft 1, Nr. 2, April 1992, Seiten 205-220, beschreibt solche Anwendungen. Wie es sich zeigen wird, werden Bilder nicht auf eine isotrope Art und Weise verarbeitet.
  • Deswegen ist es eine erste Aufgabe der vorliegenden Erfindung ein neues bereichbasiertes Strukturcodierungsverfahren zu schaffen, basiert auf einer Welligkeitszerlegung eines Bildes, aber auf eine effizientere Art und Weise als bei den bisher bekannten Verfahren.
  • Dazu bezieht sich die vorliegende Erfindung auf ein Codierungsverfahren der eingangs beschriebenen Art, wobei der genannte Verfahrensschritt der Strukturcodierung eine Welligkeitszerlegung des segmentierten Bildes umfasst, wobei dieser Verfahrensschritt die nachfolgenden Vorgänge umfasst, durchgeführt für jeden der jeweiligen aufeinander folgenden Zerlegungspegel entsprechend einer gleichen Anzahl Wiederholungen:
  • - (a) einen ersten Vorgang, vorgesehen zum aus der vorhergehenden Tiefpassband-Segmentierungsmaske Aufbauen einer abwärts abgetasteten Tiefpass- und einer abwärts abgetasteten Hochpass-Segmentierungsmaske, wobei die Tiefpassband- Segmentierungsmaske der ersten Wiederholung das ursprünglich segmentierte Bild selber ist;
  • - (b) einen zweiten Vorgang, vorgesehen zum detailliert Wiedergeben des Tiefpassbandbildes längs der Grenzen der Regionen;
  • - (c) einen dritten Filter- und Abwärtsabtastvorgang, vorgesehen zum Filtern und Abwärtsabtasten der Regionen, aus den auf diese Weise definierten Masken und der detailliert wiedergegebenen Signale, herrührend aus dem Detailwiedergabevorgang.
  • Ein derartiges Verfahren bietet den Vorteil, dass eine schärfere Analyse geschaffen wird als bei den bekannten Techniken: die Transformation ist isotrop, da keine Richtung bevorzugt wird und die räumliche Korrelation zwischen Pixeln in der Nähe mehr berücksichtigt wird.
  • Das Dokument: "A multiresolution nonrectangular wavelet representation for two-dimensional signals", "Signal Processing", Heft 32, Nr. 3, Juni 1993, Seiten 343-355 beschreibt tatsächlich eine Welligkeitzerlegungdurch digitale Filterbanken, aber nicht, wie in dem vorliegenden Fall, eine zweidimensionale Quincunx- Welligkeitstransformation, wobei ein Skalierungsfaktor gleich 42 (die Anzahl Auflösungspegel ist deswegen doppelt) verwendet wird und wobei jedes Bild π/4 gedreht wird.
  • Es ist nun u. a. eine andere Aufgabe der vorliegenden Erfindung ein Codierungssystem zu schaffen zum Implementieren dieses Verfahrens.
  • Dazu bezieht sich die Erfindung auf ein System zum Codieren von Bildern einer Bildsequenz, wobei dieses System die nachfolgenden Elemente umfasst:
  • - Segmentierungsmittel zum in jedem nachfolgenden Bild Definieren von Regionen, die in Termen von Struktur und/oder Bewegung homogen sind;
  • - Kontur- und Strukturcodierungsmittel zum Codieren der Konturen bzw. der Strukturen der Regionen jedes nachfolgenden Bildes;
  • wobei die genannten Strukturcodierungsmittel für eine Welligkeitzerlegung jedes segmentierten Bildes entsprechend mehreren aufeinander folgenden Pegeln die nachfolgenden Elemente umfassen: einen Prozessor, der auf iterative Weise die nachfolgenden Vorgänge durchführt:
  • . (a) das aus der vorhergehenden Tiefpassbandsegmentierungsmaske Aufbauen einer abwärts abgetasteten Tiefpass- und einer abwärts abgetasteten Hochpass- Segmentierungsmaske, wobei die Tiefpassband-Segmentierungsmaske der ersten Wiederholung das ursprünglich segmentierte Bild selber ist;
  • . (b) das detaillierte Wiedergeben des Tiefpassbandbildes längs der Grenzen der Regionen;
  • . (c) das aus den auf diese Weise definierten Masken und den dargestellten Signalen, die aus dem detaillierten Darstellungsvorgang herrühren, Filtern und Abwärtsabtasten der Regionen;
  • wobei jede Wiederholung je einem Zerlegungspegel entspricht.
  • Es ist eine weitere Aufgabe der vorliegenden Erfindung ein Verfahren zu schaffen, geeignet zum Decodieren von Signalen, die entsprechend dem genannten Codierungsverfahren codiert worden sind, und ein entsprechendes Decodierungssystem zu schaffen.
  • In dieser Hinsicht bezieht sich die vorliegende Erfindung ebenfalls auf ein Verfahren zum Decodieren von Signalen, die zu Bildern gehören, die mit Hilfe eines Verfahrens, wie angegeben, codiert worden sind, wobei dieses Decodierungsverfahren die nachfolgenden Verfahrensschritte umfasst:
  • - (A) das Decodieren der codierten Signale entsprechend den Konturen der Regionen;
  • - (B) das Decodieren der codierten Signale entsprechend den Strukturen der Regionen;
  • - (C) das Rekonstruieren der Bilder entsprechend den Bildern der ursprünglichen Sequenz;
  • wobei der genannte Schritt zum Decodieren der codierten Signale entsprechend den Strukturen der Regionen die nachfolgenden Vorgänge umfasst, durchgeführt für jeden der jeweiligen aufeinander folgenden Pegel der Rekonstruktion entsprechend einer gleichen Anzahl Iterationen:
  • . (a) das Aufbauen abwärts abgetasteter Segmentierungsmasken;
  • . (b) das detaillierte Wiedergeben der Regionen längs deren Grenzen;
  • . (c) das Aufwärtsabtasten und Filtern.
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
  • Fig. 1 und 2 eine Darstellung des Prinzips eines Analysenprozesses bzw. eines Synthesenprozesses, wenn ein eindimensionales Eingangssignal mit Hilfe eines Welligkeitstransformation verarbeitet wird,
  • Fig. 3 eine Darstellung, wie eine Bildzerlegung mit Hilfe einer dyadischen zweidimensionalen Transformation Teilbilder mit unterschiedlicher Auflösung und Orientierung schafft,
  • Fig. 4 eine Darstellung von Abtastgittern auf verschiedenen Zerlegungspegeln im Falle der sog. zweidimensionalen Quincunx-Welligkeitstransformation,
  • Fig. 5 und 6 je eine schematische Darstellung der Vorgänge, durchgeführt zur Bildzerlegung (an der Analysenseite) und zur Bildrekonstruktion (an der Synthesenseite),
  • Fig. 7 eine Darstellung der Zerlegung der Segmentierungsmaske im Falle der bereichbasierten Quincunx-Welligkeitstransformation,
  • Fig. 8 eine Darstellung der detaillierten Darstellung der Grenzen eines Region, wodurch es möglich ist, die Rekonstruktionsfehler längs der Bildgrenzen zu minimieren,
  • Fig. 9 die Koppelfähigkeit von Pixeln entweder an ein Quincunx-Gitter oder an ein rechteckiges Gitter,
  • Fig. 10 eine Darstellung eines Beispiels der Berechnung einer zusätzlichen Schicht im Falle eines rechteckigen Gitters.
  • Im Grunde liegt den Welligkeitstechniken eine Raum-/Frequenzzerlegung von Bildern zugrunde. Eine Welligkeitstransformation ermöglicht es, dass ein Eingangssignal durch einen Satz von Teilbandsignalen beschrieben wird, die je das Eingangssignal mit einer bestimmten Auflösung und in einem bestimmten Frequenzbereich darstellen. Die Fig. 1 und 2 zeigen Filterbanken für Welligkeitsanalyse und - synthese, wobei der Analysenprozess vor der Übertragung und der Synthesenprozess nach der Übertragung dargestellt wird, in dem herkömmlichen Fall eines eindimensionalen Eingangssignals MS, verarbeitet durch eine Welligkeitstransformation.
  • Während des Analysenschrittes, durchgeführt auf der Übertragungsseite (oder Speicherseite) können die Annäherung AP(m, MS) des Signals MS bei einer Auflösung 2-m und die entsprechenden Resteinzelheiten RD(m, MS) durch Filterung der vorhergehenden Annäherung AP(m-1, MS) dieses Signals (mit der Auflösung 2-1)) mit einem Tiefrassfilter 11 bzw. einem Hochpassfilter 12, und dadurch, dass durch zugeordnete Unterabtastschaltungen 13 und 14 ein Abtastwert durch zwei geteilt wird, erhalten werden. Der gleiche Filterprozess wird auf AP(m, MS) angewandt, durch ein Tiefpassfilter 15, ein Hochpassfilter 16 und zugeordnete Unterabtastschaltungen 17 und 18, damit die nachfolgende Annäherung erhalten wird: AP(m+1, MS) und das entsprechende Signal RD(m+1, MS) usw. Alle erhaltenen Signale werden danach zur Übertragung einem Übertragungskanal 100 zugeführt.
  • Während des Synthesenschrittes, durchgeführt auf der Empfangsseite, kann die Annäherung AP(m, MS) mit der Auflösung 2-m durch Interpolation um einen Faktor zwei (in Aufwärtsabtastschaltungen 21 und 22) der Signale AP(m+1, MS) und RD(m+1, MS), durch Filterung dieser Signale mit Hilfe von Tiefpassfiltern und Hochpassfiltern 23 bzw. 24 und zum Schluss durch Addierung der resultierenden Signale in einem Addierer 25 rekonstruiert werden. Auf gleiche Weise wird AP(m-1, MS) erhalten, und zwar dank den Aufwärtsabtastschaltungen 26 und 27, einem Tiefpassfilter 28, einem Hochpassfilter 29 und einem Addierer 30, usw.
  • Wenn es sich um Bilder als Eingangssignale handelt, wurde bereits vorgeschlagen, die oben beschriebene eindimensionale Welligkeitstransformation für Bilder anzuwenden. Eine derartige Annäherung, die als dyadische zweidimensionale Welligkeitstransformation bezeichnet wird, benutzt trennbare eindimensionale Filter, die auf die Reihen und die Zeilen der Bilder angewandt werden. Wie in Fig. 3 dargestellt, die eine Bildzerlegung mit Hilfe der genannten dyadischen Transformation darstellt, schafft ein erster Tiefpassfilterungsvorgang (FLPF) und ein erster Hochpassfiltervorgang (FHPF) des Bildes I&sub1; (beispielsweise eines quadratischen Bildes) und eine nachfolgende Unterabtastung an den Reihen des genannten Bildes zwei rechteckige Bilder I2L und I2H mlt halben Zeilen. Eine zweite Tiefpassfilterung (SLPF(L) und SLPF(H)) dieser Bilder I2L und IZH und eine nachfolgende Unterabtastung an den Zeilen schaffen vier quadratische Bilder I3LL, I3LH, I3HL und I3HH mit halben Zeilen und halben Reihen, wobei es sich um ein Tiefpassbild, ein Bild mit vertikalen Einzelheiten, ein Bild mit horizontalen Einzelheiten und ein Bild mit diagonalen Einzelheiten handelt.
  • Wenn man bedenkt, dass diese Annäherung nicht gestattet, dass das Bild in einer isotropen Art und Weise verarbeitet wird, da die Filter selektiv für die horizontale und vertikale Orientierung sind, wird vorgeschlagen, zweidimensionale nicht trennbare Tief und Hochpassfilter zu verwenden. Diese Annäherung, die als zweidimensionale Quincunx-Welligkeitstransformation bezeichnet wird, benutzt einen Skalierungsfaktor J2 (während dies 2 ist bei dem dyadischen Verfahren) und ermöglicht es, dass die Genauigkeit der Analyse verbessert wird, da die Anzahl Auflösungspegel zweimal größer ist. Wie in Fig. 4 dargestellt, wobei Abtastgitter mit unterschiedlichen Zerlegungspegeln sichtbar sind, werden die Unterbandbilder auf Quincunx-Abtastgittern definiert. Das Tiefrassfilter L und das Hochpassfilter H werden mit dem Bild gefaltet, wobei die Mitte auf Pixeln verschoben werden, die durch Kreuze (bzw. Kreise) angegeben sind. Von einem rechteckigen Gitter (entsprechend beispielsweise dem Pegel j, d. h. der Annäherung AP(j, BS) des Signals, das nun als zweidimensionales Signal oder BS bezeichnet wird), zu einem Quincunx-Gitter werden das Tiefpassfilter L und das Hochpassfilter H auf ein verschobenes Abtastgitter angewandt und, von einem Quincunx-Gitter zu einem rechteckigen Gitter werden dieselben Filter (nach einer Drehung um π/4) auf ein rechteckiges Abtastgitter angewandt. Das Filtern und das Unterabtasten erfolgen im Wesentlichen simultan, damit Rechenzeit eingespart wird.
  • Nach der vorliegenden Erfindung wird diese verbesserte Annäherung auf bereichbasierte Schemen angewandt und die Fig. 5 und 6 zeigen schematisch die Vorgänge, die danach an der Analysenseite (oder der Übertragungs-, oder aber der Speicherseite) bzw. an der Synthesen- oder Empfangsseite durchgeführt werden.
  • Vor der Beschreibung des Analysen- und Synthesenprozesses soll bemerkt werden, dass ein bereichbasiertes Codierungsverfahren drei Hauptschritte umfassen wird. Erstens spaltet ein Segmentierungsschritt jedes ursprüngliche Bild in einem Satz angrenzender Gegenstände, die in Termen von Struktur und/oder Bewegung homogen sind. Danach werden die Konturen der Regionen codiert, und zwar unter Anwendung beispielsweise von Techniken, wie eines Kettencodierungsverfahrens, beschrieben in der Kommunikation: "Spiral image compression by an unrestricted chain coding method", "V. International Conference on Image Processing and its Applications", 4. - 6. Juli 1995, P.J. Nicholl und R.J. Millar, Seiten 564-568. Zum Schluss wird die Farbe der Regionen codiert (Strukturcodierung).
  • Dieser Strukturcodierungsschritt umfasst eine Zerlegung des segmentierten Bildes entsprechend drei aufeinander folgenden Vorgängen (Fig. 5), die an der Analysenseite auf jedem Zerlegungspegel (L" in den genannten Figuren) durchgeführt werden.
  • Zunächst werden, da der Welligkeitstransformation eine Vielfachauflösungsanalyse zugrunde liegt, auf jedem Auflösungspegel zwei Segmentierungsmasken aufgebaut, und zwar entsprechend den Tiefpass- und den Hochpassteilbändern. Für diesen Vorgang des Aufbauens von abwärts abgetasteten Segmentierungsmasken (oder BDSM) zwei Tiefpass- und Hochpasssegmentierungsmasken aus der vorhergehenden Tiefpassbandsegmentierungsmaske gebildet (bei der ersten Wiederholung der Zerlegung ist diese Tiefpassbandsegmentierung die ursprüngliche Segmentierungsmaske selber und das Tiefpassbandbild ist das ursprüngliche zu codierende Bild).
  • Die Regionen, sollen unabhängig voneinander verarbeitet werden, das Filtern und das Abwärtsabtasten des Bildes wird danach unabhängig in jeder Region durchgeführt, was bedeutet, dass die Grenzen jeder Region auf eine effiziente Weise verlängert werden sollen zum Minimieren der Rekonstruktionsfehler an den Bildrändern. Für diesen zweiten Vorgang (Erweiterung der Regionen an den Grenzen, oder ERAB), wird das Tiefpassbandbild an den Grenzen jeder Region erweitert.
  • Entsprechend dem dritten Vorgang, ausgehend von den erweiterten Signalen und Masken, werden die Regionen gefiltert und abwärts abgetastet (FADS), damit zwei neue Tief und Hochpassteilbänder erhalten werden.
  • Was den ganzen Prozess an der Synthesenseite (Fig. 6) anbelangt, werden drei aufeinanderfolgende Vorgänge BDSM, ERAB, USAF auf gleiche Art und Weise auf jedem Pegel durchgeführt, wobei nur der dritte Vorgang (Aufwärtsabtastung und Filterung, oder USAF) anders ist, da dies auf Aufwärtsabtastungs- und Filtervorgängen beruht, durchgeführt von der gröbsten Auflösung zu der Anfangsauflösung.
  • Die Art der Durchführung des Vorgangs BDSM des Aufbauens der Hochpass- und der Tiefpasssegmentierungsmasken ist die Folgende. Um diese Masken auf jedem Zerlegungspegel aufzubauen ist es notwendig, jede Segmentierungsmaske (einschließlich der ursprünglichen Segmentierungsmaske des ursprünglichen Bildes) oder Elternmasken in zwei Segmentierungsmasken (oder Kindermasken) aufzuspalten, und zwar entsprechend den Tiefpass- und Hochpassteilbändern. Fig. 7 zeigt:
  • - auf dem Zerlegungspegel n = 0, die Segmentierungsmaske des ursprünglichen Bildes;
  • - auf dem Zerlegungspegel n = 1/2, die Segmentierungsmasken (Quincunx-Gitter QG) der Tiefpass- und der Hochpassbänder;
  • - auf dem Zerlegungspegel n = 1, die Segmentierungsmasken (quadratische Gitter SG) der Tiefpass- und der Hochpassbänder (von dem Zerlegungspegel n -1/2 zu dem Zerlegungspegel n, ist die durchgeführte Transformation gleichwertig zu einer Drehung π/4 plus einer Verbreiterung von 2).
  • Die Art und Weise der Durchführung des Vorgangs ERAB der Erweiterung der Regionen an ihren Grenzen ist die Folgende. Wenn die Aufteilung der Segmentierungsmaske einmal erreicht worden ist, werden die Filterung und die Abwärtsabtastung unabhängig in jeder Region durchgeführt. Zum Minimieren der Rekonstruktionsfehler an den Rändern der Regionen wird die Ausdehnung der Grenzen implementiert, wie dies in Fig. 8 dargestellt ist, die eine Region R zeigt und eine derartige Erweiterung mit N hinzu addierten Schichten um die Region (wobei N die halbe Größe des Filters ist). Der gleiche Prozess wird wiederholt zum Aufbauen jeder Schicht: bei jeder Wiederholung werden die Größe der Pixel der zusätzlichen Schicht als die Mittelwerte deren Nachbarpixel, die zu der Region gehören, berechnet. Wie in Fig. 9 dargestellt, ist die Verbindbarkeit 4 Nachbarn, wie das Gitter auch sein mag (Quincunx-Gitter QG oder Rechteck-Gitter RG). Fig. 10 zeigt die Berechnung einer zusätzlichen Schicht im Falle eines rechteckigen Gitters: in dem linken Bild stellen die Buchstaben die Pixelwerte der Anfangsregion dar und die Kreise entsprechen den Pixeln der zusätzlichen Schicht, während in dem rechten Bild die Werte der Pixel der zusätzlichen Schicht berechnet worden sind.
  • Die vorliegende Erfindung beschränkt sich nicht auf dieses Codierungsverfahren, von dem Abwandlungen oder Verbesserungen im Rahmen der vorliegenden Erfindung hergeleitet werden können. So dürfte es beispielsweise einleuchten, dass dieses Codierungsverfahren in vielerlei Weisen implementiert werden kann, wie mit Hilfe verdrahteter elektronischer Module, oder vorzugsweise in Form eines Codierungssystems mit einem Prozessor oder einem Mikroprozessor, der die Leistung von Reihen von Instruktionen entsprechend den oben in Bezug auf das Codierungsverfahren und innerhalb der genannten elektronischen Modulen durchgeführten beschriebenen Vorgängen gewährleistet.
  • Es dürfte einleuchten, dass die Erfindung sich ebenfalls auf ein Verfahren zum Decodieren von Signalen bezieht, die Bildern einer Sequenz entsprechen, die durch Durchführung des oben beschriebenen Verfahrens codiert worden sind. Dieses Decodierungsverfahren umfasst entsprechend den Segmentierungs- und Codierungsschritten, zwei Decodierungsschritte zum Decodieren der codierten Signale entsprechend den Konturen bzw. den Strukturen der Regionen der genannten Bilder und einen Rekonstruktionsschritt zum Wiederherstellen von Bildern entsprechend den ursprünglichen Bildern. Dieses Decodierungsverfahren kann, wie das Codierungsverfahren verschiedenartig implementiert werden und insbesondere mit Hilfe eines Decodierungssystems mit einem Prozessor oder einem Mikroprozessor, der die Instruktionen durchführt, die den oben beschriebenen Schritten entsprechen.

Claims (4)

1. Verfahren zum Codieren von Bildern einer Bildsequenz, wobei dieses Verfahren für jedes Bild die nachfolgenden Verfahrensschritte umfasst:
- (A) das Segmentieren des genannten Bildes in strukturmäßig und/oder bewegungsmäßig homogene Regionen;
. (B) das Codieren der Konturen der genannten Regionen;
. (C) das Codieren der Strukturen der genannten Regionen;
wobei der genannte Verfahrensschritt der Strukturcodierung eine Welligkeitszerlegung des segmentierten Bildes umfasst, wobei dieser Verfahrensschritt die nachfolgenden Vorgänge umfasst, durchgeführt für jeden der jeweiligen aufeinander folgenden Zerlegungspegel entsprechend einer gleichen Anzahl Wiederholungen:
- (a) einen ersten Vorgang (BDSM), vorgesehen zum aus der vorhergehenden Tiefpassband-Segmentierungsmaske Aufbauen einer abwärts abgetasteten Tiefpass- und einer abwärts abgetasteten Hochpass-Segmentierungsmaske, wobei die Tiefpassband-Segmentierungsmaske der ersten Wiederholung das ursprünglich segmentierte Bild selber ist;
- (b) einen zweiten Vorgang (ERAB), vorgesehen zum detailliert Wiedergeben des Tiefpassbandbildes längs der Grenzen der Regionen;
- (c) einen dritten Filter- und Abwärtsabtastvorgang (FADS), vorgesehen zum Filtern und Abwärtsabtasten der Regionen, aus den auf diese Weise definierten Masken und der detailliert wiedergegebenen Signale, herrührend aus dem Detailwiedergabevorgang.
2. System zum Codieren von Bildern einer Bildsequenz, wobei dieses System die nachfolgenden Elemente umfasst:
- Segmentierungsmittel zum in jedem nachfolgenden Bild Definieren von Regionen, die in Termen von Struktur und/oder Bewegung homogen sind;
- Kontur- und Strukturcodierungsmittel zum Codieren der Konturen bzw. der Strukturen der Regionen jedes nachfolgenden Bildes; wobei die genannten Strukturcodierungsmittel für eine Welligkeitszerlegung jedes segmentierten Bildes entsprechend mehreren aufeinander folgenden Pegeln die nachfolgenden Elemente umfassen: einen Prozessor, der auf iterative Weise die nachfolgenden Vorgänge durchführt:
. (a) das aus der vorhergehenden Tiefpassbandsegmentierungsmaske Aufbauen einer abwärts abgetasteten Tiefpass- und einer abwärts abgetasteten Hochpass-Segmentierungsmaske, wobei die Tiefpassband-Segmentierungsmaske der ersten Wiederholung das ursprünglich segmentierte Bild selber ist;
. (b) das detaillierte Wiedergeben des Tiefpassbandbildes längs der Grenzen der Regionen;
. (c) das aus den auf diese Weise definierten Masken und den dargestellten Signalen, die aus dem detaillierten Darstellungsvorgang herrühren, Filtern und Abwärtsabtasten der Regionen;
wobei jede Wiederholung je einem Zerlegungspegel entspricht.
3. Verfahren zum Decodieren von Signalen, die zu Bildern gehören, die mit Hilfe eines Verfahrens, wie angegeben, codiert worden sind, wobei dieses Decodierungsverfahren die nachfolgenden Verfahrensschritte umfasst:
- (A) das Decodieren der codierten Signale entsprechend den Konturen der Regionen;
- (B) das Decodieren der codierten Signale entsprechend den Strukturen der Regionen;
- (C) das Rekonstruieren der Bilder entsprechend den Bildern der ursprünglichen Sequenz;
wobei der genannte Schritt zum Decodieren der codierten Signale entsprechend den Strukturen der Regionen die nachfolgenden Vorgänge umfasst, durchgeführt für jeden der jeweiligen aufeinander folgenden Pegel der Rekonstruktion entsprechend einer gleichen Anzahl Iterationen:
. (a) das Aufbauen abwärts abgetasteter Segmentierungsmasken;
. (b) das detaillierte Wiedergeben der Regionen längs deren Grenzen;
. (c) das Aufwärtsabtasten und Filtern.
4. System zum Decodieren codierter Signale entsprechend Bildern einer Sequenz, die in einem Codierungssystem nach Anspruch 2 codiert worden sind, wobei das genannte Decodierungssystem die nachfolgenden Elemente umfasst:
- Decodierungsmittel zum Decodieren der codierten Signale entsprechend den Konturen der Regionen;
- Decodierungsmittel zum Decodieren der codierten Signale entsprechend den Strukturen der Regionen;
- Rekonstruktionsmittel zum Wiederherstellen der Bilder entsprechend den ursprünglichen Bildern;
wobei die genannten Rekonstruktionsmittel die nachfolgenden Elemente umfassen: zum Rekonstruieren einen Prozessor, der auf iterative Art und Weise die nachfolgenden Vorgänge durchführt: das Aufbauen von Segmentierungsmasken, das Erweitern der Regionen an ihren Grenzen, das Aufwärtsabtasten und das Filtern.
DE69619097T 1995-10-18 1996-10-11 Bereichbasiertes strukturkodierungs- und dekodierungsverfahren sowie zugehörige systeme Expired - Fee Related DE69619097T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP95402325 1995-10-18
PCT/IB1996/001077 WO1997015145A1 (en) 1995-10-18 1996-10-11 Region-based texture coding and decoding method, and corresponding systems

Publications (2)

Publication Number Publication Date
DE69619097D1 DE69619097D1 (de) 2002-03-21
DE69619097T2 true DE69619097T2 (de) 2002-09-05

Family

ID=8221537

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69619097T Expired - Fee Related DE69619097T2 (de) 1995-10-18 1996-10-11 Bereichbasiertes strukturkodierungs- und dekodierungsverfahren sowie zugehörige systeme

Country Status (8)

Country Link
US (1) US5898798A (de)
EP (1) EP0797894B1 (de)
JP (1) JP3836145B2 (de)
KR (1) KR100455490B1 (de)
CN (1) CN1108700C (de)
DE (1) DE69619097T2 (de)
MY (1) MY132212A (de)
WO (1) WO1997015145A1 (de)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0185646B1 (ko) * 1996-01-06 1999-05-01 김광호 영상압축장치의 영상압축데이터량 조정회로 및 그 방법
US6421464B1 (en) * 1998-12-16 2002-07-16 Fastvdo Llc Fast lapped image transforms using lifting steps
KR20000060518A (ko) * 1999-03-16 2000-10-16 구자홍 영상 압축 방법
FR2795274A1 (fr) * 1999-06-15 2000-12-22 Canon Res Ct France Sa Codage et decodage de signal numerique, avec decomposition et sous bandes de frequence et segmentation
EP1079625A3 (de) * 1999-06-15 2003-03-12 Canon Research Centre France S.A. Datensignalcodierung, -decodierung und -übertragung, mit Aufteilung in Frequenzteilbänder und Segmentierung
US6513004B1 (en) * 1999-11-24 2003-01-28 Matsushita Electric Industrial Co., Ltd. Optimized local feature extraction for automatic speech recognition
US6795577B2 (en) * 1999-12-03 2004-09-21 Canon Research Centre France S.A. Digital signal analysis, with hierarchical segmentation
FR2817698B1 (fr) * 2000-12-05 2003-03-07 Canon Kk Procede et dispositif de traitement d'un ensemble de donnees representatives de grandeurs physiques
US6836569B2 (en) 2001-04-13 2004-12-28 Erwan Le Pennec Method and apparatus for processing or compressing n-dimensional signals by foveal filtering along trajectories
DE10214927B4 (de) * 2002-04-04 2004-02-26 Siemens Ag Verfahren zum Aufteilen eines optischen Datensignals in n elektrische Datensignale mit niedrigerer Bitrate
US7181086B2 (en) * 2002-06-06 2007-02-20 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
US7689056B2 (en) * 2003-03-12 2010-03-30 The University Of Houston System Frame multi-resolution analysis in any number of dimensions
US20080075377A1 (en) * 2003-07-29 2008-03-27 Topiwala Pankaj N Fast lapped image transforms using lifting steps
US7418144B2 (en) * 2004-03-03 2008-08-26 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Curved wavelet transform for image and video compression
FR2887711A1 (fr) 2005-06-23 2006-12-29 Thomson Licensing Sa Procede de codage et decodage hierarchique
CN102640498B (zh) * 2009-12-04 2015-04-29 汤姆森特许公司 通过纹理图案自适应分区块变换进行图像编解码的方法和设备
EP2583460A1 (de) * 2010-06-15 2013-04-24 Thomson Licensing Verfahren zur codierung und decodierung eines videobildes
WO2015139762A1 (en) * 2014-03-20 2015-09-24 Huawei Technologies Co., Ltd. An apparatus and a method for associating a video block partitioning pattern to a video coding block
IL262845B (en) * 2016-05-16 2022-08-01 Numeri Ltd A new pyramid algorithm for video compression and analysis

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204920A (en) * 1990-01-12 1993-04-20 U.S. Philips Corporation Method and apparatus for region and texture coding
GB2243512A (en) * 1990-04-23 1991-10-30 Philips Electronic Associated Bandwidth reduction of picture signals; predictive encoding of edge map signals
US5101446A (en) * 1990-05-31 1992-03-31 Aware, Inc. Method and apparatus for coding an image
GB2253318B (en) * 1991-02-27 1994-07-20 Stc Plc Image processing
IL107658A0 (en) * 1993-11-18 1994-07-31 State Of Israel Ministy Of Def A system for compaction and reconstruction of wavelet data
CA2180240A1 (en) * 1994-01-14 1995-07-20 Charles K. Chui Boundary-spline-wavelet compression for video images
CN1127562A (zh) * 1994-04-22 1996-07-24 索尼公司 视频信号编码方法及设备和视频信号译码设备
US5671294A (en) * 1994-09-15 1997-09-23 The United States Of America As Represented By The Secretary Of The Navy System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination

Also Published As

Publication number Publication date
KR100455490B1 (ko) 2005-01-13
CN1108700C (zh) 2003-05-14
KR987001185A (ko) 1998-04-30
WO1997015145A1 (en) 1997-04-24
US5898798A (en) 1999-04-27
CN1217124A (zh) 1999-05-19
EP0797894A1 (de) 1997-10-01
DE69619097D1 (de) 2002-03-21
JPH11500293A (ja) 1999-01-06
MY132212A (en) 2007-09-28
JP3836145B2 (ja) 2006-10-18
EP0797894B1 (de) 2002-02-06

Similar Documents

Publication Publication Date Title
DE69619097T2 (de) Bereichbasiertes strukturkodierungs- und dekodierungsverfahren sowie zugehörige systeme
EP0346766B1 (de) Verfahren zur Reduktion von "Blocking"-Artefakten bei Videoszenen-Codierung mittels Diskreter Cosinus Transformation (DCT) bei niedriger Datenrate
DE69206847T2 (de) Bildverarbeitungsverfahren
DE602004004379T2 (de) Verfahren und einrichtungen zur codierung und decodierung einer bildsequenz mittels bewegungs-/texturzerlegung und wavelet-codierung
DE69723550T2 (de) Kodierung und dekodierung von grafischen symbolen
DE69633129T2 (de) Waveletbaum-bildcoder mit überlappenden bildblöcken
DE69622518T2 (de) Verfahren und Vorrichtung zur Nachbearbeitung von Bildern
DE69811328T2 (de) Verfahren für die Kodierung von Wavelet-Koeffizienten
DE69634962T2 (de) Extrapolation von Pixelwerten eines in einem Block enthaltenen Videoobjektes
DE69406306T2 (de) Verfahren zur bildskalierung und zum filtern mit diskreter cosinustransformation
DE3889948T2 (de) Koder und Dekoder mit einer Unter-Nyquist-Abtastung.
DE69421690T2 (de) Geraet und verfahren zur datenkompression
DE69525127T2 (de) Gerät und Verfahren zur Kodierung und Dekodierung von Bildern unter Verwendung einer Kantensynthese und einer Wavelet-Rücktransformation
DE69421837T2 (de) Videokoder und -dekoder
DE19815861A1 (de) Verfahren und Vorrichtung für eine auf Blöcken basierende Bildverarbeitung
DE19819198A1 (de) Reversible DCT für verlustfreie/verlustbehaftete Kompression
DE69818751T2 (de) Dekompression von interpolierten Bildern
WO1987002210A1 (en) Process for correcting transmission errors
DE19744407C1 (de) Verfahren zur mehrdimensionalen, diskreten Wavelet-Transformation und Transformationseinheit zur Durchführung des Verfahrens
DE69723325T2 (de) Verfahren und Vorrichtung zur Codierung und Decodierung von Bildern
EP0985317B1 (de) Verfahren zur codierung und decodierung eines digitalisierten bildes
DE3423484C2 (de) Analysatoranordnung zur Verarbeitung eines Originalsignals und Anordnung zur Synthese von N+1 Mengen von Abtastwerten
DE69918980T2 (de) Videokompression mit speicherreduktion, farbrotation und kombinierter signal- und blockrandfilterung
DE60119660T2 (de) Verfahren zur Verarbeitung von Videodateien
DE69430738T2 (de) Kompatible teilbandkodierung/dekodierung von fernsehbildern

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee