DE60203850T2 - System und Verfahren zum Verarbeiten von Bildern mit aufgelöster Mosaikstruk- tur, um durch Farb-Aliasing hervorgerufenen Artefakte zu verringern. - Google Patents

System und Verfahren zum Verarbeiten von Bildern mit aufgelöster Mosaikstruk- tur, um durch Farb-Aliasing hervorgerufenen Artefakte zu verringern. Download PDF

Info

Publication number
DE60203850T2
DE60203850T2 DE60203850T DE60203850T DE60203850T2 DE 60203850 T2 DE60203850 T2 DE 60203850T2 DE 60203850 T DE60203850 T DE 60203850T DE 60203850 T DE60203850 T DE 60203850T DE 60203850 T2 DE60203850 T2 DE 60203850T2
Authority
DE
Germany
Prior art keywords
color plane
green
red
blue
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60203850T
Other languages
English (en)
Other versions
DE60203850D1 (de
Inventor
Ramakrishna Kakarala
Izhak Baharav
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptina Imaging Corp
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Publication of DE60203850D1 publication Critical patent/DE60203850D1/de
Application granted granted Critical
Publication of DE60203850T2 publication Critical patent/DE60203850T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

  • HINTERGRUND DER ERFINDUNG
  • Technisches Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft im allgemeinen das Verarbeiten von digitalen Bildern und insbesondere die Verringerung von durch Farb-Aliasing hervorgerufenen Artefakten in dekomprimierten digitalen Bildern.
  • Beschreibung verwandten Stands der Technik
  • Das Auflösen der Mosaikstruktur (demosaicing) betrifft den Prozeß des Interpolierens von Farben eines digitalen Bildes, das mittels eines Bildsensors erstellt wurde, der mit einer Farbfiltergruppierung (color filter array, CFA) ausgestattet ist. Eine solche CFA ist in der US Patentschrift Nr. 3,971,065 von Bayer beschrieben, die im weiteren als "Bayer" bezeichnet wird. Bei der Bayer-CFA erkennt jedes Pixel nur eine Farbe: Rot, Grün oder Blau. Um alle drei Primärfarben für ein einzelnes Pixel zu erhalten, ist es notwendig, die Farben von benachbarten Pixeln zu interpolieren. Dieser Prozeß der Interpolation wird als Auflösen der Mosaikstruktur (demosaicing) bezeichnet. Bilder mit aufgelöster Mosaikstruktur zeigen wegen der inhärenten Unterabtastung der Farben eines Bildersensors, der mit einem CFA ausgestattet ist, häufig durch Farb-Aliasing hervorgerufene Artefakte (Störung).
  • Wegen der großen Menge an Speicherplatz, der zum Speichern von Bildern mit aufgelöster Mosaikstruktur notwendig ist, verwenden viele Anwendungen Bildkompressionstechniken, die das Bild mit aufgelöster Mosaikstruktur mit weniger Daten wiedergeben, um Speicheraufwand einzusparen oder um Übertragungszeit zu verringern. Je größer der Kompressionsgrad ist, desto ungenauer wird das dekomprimierte Bild. Eine Kompression kann mittels verlustloser oder mittels einer verlustbehafteter Technik, beispielsweise JPEG (Joint Photographic Expert Group), durchgeführt werden. Eine Abhandlung über die JPEG-Technik ist der Veröffentlichung "JPEG: Still Image Data Compression Standard", von W. Pennebaker und J. Mitchell, Van Nostrand Reinhold, New York, 1993, zu entnehmen.
  • Frühere Verfahren zum Reduzieren des Farb-Aliasings wurden für JPEG-Bildkompressionsverfahren ausgelegt, die auf diskreter Kosinustransformation basieren (vgl. Pennebaker und Mitchell. Wenn jedoch das Bild mit aufgelöster Mosaikstruktur mittels Wellenabbildungen bzw. Wellenformen (wavelets) komprimiert wird, wie es beispielsweise in dem JPEG 2000-Standard vorgesehen ist, der in der Norm ISO/IEC 15444-1:2000, Coding of Still Pictures: JPEG 2000, Teil 1, behandelt wird, sind die Verfahren zum Verringern des Farb-Aliasings mittels diskreter Kosinustransformation nicht zur Verwendung mit einer wellenformbasierten (wavelet-based) Kompression geeignet.
  • ABRISS DER ERFINDUNG
  • Es wird ein System und ein Verfahren vorgesehen, um ein Bild mit aufgelöster Mosaikstruktur mittels Algorithmen zur Verringerung der durch Farb-Aliasing hervorgerufenen Artefakte (color aliasing artifact reduction, CAAR) zu verarbeiten, um die durch Farb-Aliasing hervorgerufene Artefakte zu verringern. Der CAAR-Algorithmus berechnet die L-gradige wellentransformierte (L-level wavelet transform) für die Farbebenen R, G und B mit aufgelöster Mosaikstruktur. Daraufhin schätzt der CAAR-Algorithmus für jede Pixelstelle den korrekten Farbwert für diejenigen Farben, welche nicht mit dieser Pixelstelle zugeordnet sind. Um beispielsweise den jeweiligen Grün-Wert an Orten roter Pixel zu ermitteln, führt der CAAR-Algorithmus eine inverse Wellen-Transformation (inverse wavelet transform) durch, indem das grüne Näherungs-Signal und die roten Detail-Signale verwendet werden. Dieser Prozeß wird für jede Farbe wiederholt (beispielsweise Grün-Werte an Orten blauer Pixel, Rot-Werte an Orten grüner Pixel usw.). Ferner führt der CAAR-Algorithmus eine inverse Wellentransformation für jede Farbebene selbst durch, so daß die Pixelwerte der Farbe, die mit jeder Pixelstelle zugeordnet sind, nicht verschlechtert werden. Daraufhin wird die inverse Wellentransformierte jeder Farbebene für jeden geschätzten Farbwert für diese Farbebene mit der inversen Wellentransformierten kombiniert, um korrelierte R-, G- und B-Farbebenen zu erzeugen. Diese R-, G- und B-Farbebenen können später mittels eines wellenformbasierten (wavelet-based) Bildkompressionsverfahrens, beispielsweise mittels des JPEG 2000-Standards, komprimiert werden.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die offenbarte Erfindung wird mit Bezug auf die beigefügten Zeichnungen beschrieben, die wichtige beispielhafte Ausführungen der Erfindung darstellen und die Teil der Beschreibung bilden, wobei die Figuren im einzelnen darstellen:
  • 1 ist ein Blockdiagramm, das ein System darstellt, welches den Algorithmus zum Verringern der durch Farb-Aliasing hervorgerufenen Artefakte (CAAR-Algorithmus) gemäß der Erfindung verwendet;
  • 2 ist ein Flußdiagramm, das die Schritte zum Implementieren des CAAR-Algorithmus innerhalb des in 1 dargestellten Systems zeigt;
  • 3A ist ein Blockdiagramm, das den erfindungsgemäßen CAAR-Algorithmus darstellt;
  • 3B ist ein Flußdiagramm, das beispielhafte Schritte des erfindungsgemäßen CAAR-Algorithmus darstellt;
  • 4 ist ein Flußdiagramm, das den Kombinationsschritt des CAAR-Algorithmus darstellt, der in 3 der Zeichnungen gezeigt ist;
  • 5 ist ein Blockdiagramm, das den JPEG 2000-Standard für wellenformbasierte Bildkompression darstellt;
  • 6 ist ein Flußdiagramm, das die Schritte darstellt, die mit dem JPEG 2000-Standard von 5 verknüpft sind; und
  • 7A und 7B zeigen den Prozeß des Interpolierens von Werten, um die Ursache von Aliasing bei komprimierten Signalen zu demonstrieren.
  • DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE DER ERFINDUNG
  • Es werden zahlreiche erfinderische Lehren der vorliegenden Anmeldung unter jeweiliger Bezugnahme auf Ausführungsbeispiele beschrieben. Es ist jedoch ersichtlich, daß diese Ausführungen nur wenige Beispiele der zahlreichen vorteilhaften Verwendungen der hier dargestellten erfinderischen Lehren vorsehen. Im allgemeinen beschränken die in der Beschreibung der vorliegenden Anmeldung vorgesehenen Darstellungen die zahlreichen beanspruchten Erfindungen nicht notwendigerweise. Ferner können sich einige Darstellungen auf einige erfinderische Merkmale beziehen, auf andere wiederum nicht.
  • Die 1 zeigt ein digitales Bildsystem 10, welches den Algorithmus zur Verringerung der durch Farb-Aliasing hervorgerufenen Artefakte (color aliasing artifact reduction, CAAR) 40 gemäß der vorliegenden Erfindung implementiert. Das digitale Bildsystem kann jede digitale Bildvorrichtung sein, beispielsweise eine digitale Kamera, eine Videokamera, eine medizinische bildgebende Einrichtung, usw. Das digitale Bildsystem 10 kann ferner ein Computersystem sein, beispielsweise ein Personal-Computer oder ein Server, in dem ein Speicher vorgesehen ist, um komprimierte Bilddaten zu speichern. Der CAAR-Algorithmus 40 kann Teil einer Bildverarbeitungssoftware sein, die auf einem solchem Personal-Computer oder Server läuft.
  • Das digitale Bildsystem 10 umfaßt einen digitalen Bildsensor 20, beispielsweise einen CMOS-Sensorchip oder einen CCD-Sensorchip, um Rohdaten 25, welche die ursprünglichen roten, blauen und grünen Pixelwerte enthalten, für die Logik zum Auflösen der Mosaikstruktur (demosaicing logic) 30 vorzusehen, die die Pixelwerte interpoliert, um an jeder Pixelstelle einen Rot-, einen Grün- und einen Blau-Wert zu erhalten. Das Ergebnis des Auflösens der Mosaikstruktur sind drei Farbebenen (R, G und B), die jeweils Originalwerte und interpolierte Werte enthalten. Für eine vollständigere Betrachtung des Auflösens der Mosaikstruktur (demosaicing) wird auf das Patent US 5,838,818 von Herley verwiesen. Es ist ersichtlich, daß anstatt Rot, Grün und Blau andere Farbräume, beispielsweise Gelb, Zyan und Magenta, verwendet werden können.
  • Die sich ergebenden Farbebenen 35 werden an den CAAR-Algorithmus 40 weitergeleitet, der korrelierte Farbebenen (R', G' und B') 45 erzeugt (die korrelierten Farbebenen sind im weite ren detaillierter in Verbindung mit den 3A, 3B und 4 beschrieben). Wenn danach die korrelierten Farbebenen 45 mittels eines wellenformbasierten (wavelet-based) Kompressionsverfahrens komprimiert werden sollen, werden die korrelierten Farbebenen 45 an einen wellenformbasierten Komprimierer 50 weitergeleitet, beispielsweise an einen, der den JPEG 2000-Standard anwendet, um die korrelierten Farbebenen 45 zu einem komprimierten Bild zu komprimieren. Dieses komprimierte Bild 55 kann in einem Speicher 60 gespeichert werden, bis es angezeigt oder verarbeitet wird. Um das komprimierte Bild 55 auf einer Ausgabevorrichtung 80 (beispielsweise ein Computerbildschirm oder Drucker) anzuzeigen oder zu verarbeiten, wird das komprimierte Bild zunächst mittels eines wellenformbasierten Bild-Dekomprimierers 70 dekomprimiert, welcher die verlustbehafteten korrelierten Farbebenen (R'', G'' und B'') mittels inverser Wellentransformation rekonstruiert. Die verlustbehafteten korrelierten Farbebenen 75 werden an die Ausgabevorrichtung 80 ausgegeben.
  • Wie oben bemerkt, liegt die Ursache für das in einem dekomprimierten Bild vorliegende Aliasing an der Unterabtastung des ursprünglichen Signals. Der CAAR-Algorithmus 40 verringert die Erkennbarkeit von Aliasing in einem Bild, indem geeignete Annahmen hinsichtlich des ursprünglichen unterabgetasteten Signals getroffen werden und indem das unterabgetastete Signal modifiziert wird, um diesen Annahmen gerecht zu werden. Eine dieser Annahmen ist die bekannte Annahme der Detailkorrelation (beispielsweise sind feine Details in den Rot-, Grün- und Blau-Farbebenen bis zu einem gewissen Grad an Auflösung hochgradig korreliert). Diese Annahme bedeutet, daß, falls sich eine Änderung in einer Farbebene ergibt, beispielsweise in der Grün-Ebene, diese Änderung dann auch an der gleichen Stelle in der Rot- und in der Blau-Ebene auftritt.
  • Wie beispielsweise in 7A dargestellt, soll von einem Signal "X" ausgegangen werden, das die folgenden Abtastwerte hat: 2, 1, –4, 3, 4, 1, 6, 3 –2, 1, 0 und 3. Es soll ferner davon ausgegangen werden, daß "X" Abtastwerte von zwei Farben umfaßt, die A und B genannt werden, wobei nur eine Farbe bei einem Durchgang abgetastet wird, und daß die Abtastung der Farben wie folgt ausgeführt wird: A B A B A B A B A B A B. Daher sind die Farbabtastwerte für A gleich 2, –4, 4, 6, –2 und 0, und die Farbabtastwerte für B sind 1, 3, 1, 3, 1, 3. Um die A- und B-Farbwerte für alle Abtaststellen zu vervollständigen, kann das Signal X interpoliert werden, um die zwischen jedem Paar fehlenden Werte zu ermitteln, indem der Durchschnitt des linken und des rechten Nachbars verwendet wird. Die sich ergebenen fehlenden A-Werte sind: –1, 0, 5, 2, –1 und –1. Daher wurde der erste interpolierte Wert (–1) am Ende des fehlenden A-Werts verwendet, um die gesamten A-Werte auszufüllen, da das Interpolieren der Werte keinen vollständigen Satz an A-Werten erzeugt (d.h. statt der benötigten 12 würden nur 11 A-Werte erzeugt werden). Die sich ergebenden fehlenden B-Werte sind: 2, 2, 2, 2, 2 und 2. Hier wurde der letzte interpolierte Wert am Anfang der fehlenden B-Werte verwendet, um alle B-Werte auszufüllen. Wie in der 7B dargestellt, ergeben sich nach Zusammenfügen aller A-Werte die folgenden A-Farbwerte: 2, –1, –4, 0, 4, 5, 6, 2 –2, –1, 0 und –1. Nach Zusammenfügen aller B-Werte ergeben sich die B-Farbwerte zu: 2, 1, 2, 3, 2, 1, 2, 3, 2, 1,2 und 3.
  • Aus dem Obenstehenden ergibt sich, daß die resultierenden B-Farbwerte regelmäßig und periodisch sind, während die A-Werte diese Merkmale nicht aufweisen. Für die Gültigkeit der Annahme der Detailkorrelation sollten sowohl A als auch B periodisch sein oder sowohl A als auch B nicht periodisch sein. Da A nicht periodisch ist und B periodisch ist, hat das Signal "X" die Annahme der Detailkorrelation verletzt, wodurch Aliasing auftritt.
  • Um die Sichtbarkeit von Aliasing in "X" zu verringern, nimmt der CAAR-Algorithmus 40 an, daß die Abtastwerte A und B verschiedenen Orten des ursprünglichen Signals entnommen sind und versucht, die zwei Farben zu korrelieren (beispielsweise, indem die Daten zweier Farben gemischt werden). Daher wird an jeder Abtaststelle der Originalwert (entweder ein A- oder ein B-Wert) beibehalten, jedoch werden die interpolierten Werte modifiziert, um die zwei interpolierten Signale (A fehlt und B fehlt) hinsichtlich der Details ähnlicher zu machen (beide periodisch oder beide nicht periodisch).
  • Beispielsweise können die sich ergebenden korrelierten A-Werte nach Anwenden des CAAR-Algorithmus 40 wie folgt sein: 2, 0, –4, –1.5, 4, 4, 6, 4.5, –2, –2, 0 und 1.5, und die sich ergebenden korrelierten B-Werte können wie folgt sein: 3, 1, 0.5, 3, 1, 1, 4.5, 3, 1, 1, 3.5 und 3. Es ist leicht ersichtlich, daß die Regelmäßigkeit der B-Werte durch den CAAR-Algorithmus 40 aufgebrochen wurde, um B so zu gestalten, daß es A mehr ähnelt. Allerdings wurden die ursprünglichen A-Werte und die ursprünglichen B-Werte beibehalten.
  • Daher hat der CAAR-Algorithmus 40 zur Folge, daß die Korrelation von Details erhöht wird, wodurch die Sichtbarkeit von Aliasing verringert wird. Um dies an einem Bild anzuwenden, verursacht der CAAR-Algorithmus 40 eine "Vergrauung" (graying) der Details in den inter polierten Werten (beispielsweise indem die Farbebenen stärker korreliert werden), ohne die ursprünglichen Abtastwerte zu zerstören.
  • Um die Annahme der Detailkorrelation für ein Bild anzunehmen, dessen Mosaikstruktur aufgelöst wurde bzw. das vormals als Mosaik vorgesehen war (demosaiced image), muß eine Darstellung in Mehrfachauflösung für jede Farbebene (R, G und B) erzeugt werden. Da die Farbebenen an jedem Pixel interpolierte Farben enthalten, kann jede Farbebene als ein Bild betrachtet werden. Eine Darstellung in Mehrfachauflösung eines Bildes ergibt sich, indem seine Wellentransformierte berechnet wird.
  • Eine Wellentransformierte erzeugt eine Darstellung eines Signals als Näherungs- und Detail-Koeffizienten. Als Beispiel soll angenommen werden, daß ein Signal "Z" die folgende Zahlenfolge umfaßt: 10, 1, 23, –2, 0, 1, 0 und 4. Um die Näherungs-Koeffizienten "A" zu berechnen, wird eine erste Zahlenfolge "A" erzeugt, welche die Summe jedes Paars von "Z" enthält. Um die Detail-Koeffizienten "D" zu berechnen, wird eine zweite Zahlenfolge "D" erzeugt, welche die paarweisen Differenzen jedes einzelnen Paars von "Z" enthält. Daher umfaßt "A" die folgenden Zahlen: 11, 21, 1 und 4, und "D" umfaßt die folgenden Zahlen: 9, 25, –1 und –4. Es ist ersichtlich, daß "Z" äquivalent durch "A" und "D" dargestellt ist, da "A" und "D" aus "Z" berechnet sind, und "Z" aus "A" und "D" berechnet werden kann.
  • Tatsächlich werden die Näherungs-Koeffizienten "A" als gewichtete Summe erzeugt und die Detail-Koeffizienten "D" werden als eine weitere gewichtete Summe erzeugt, die jeweils verschiedene Gewichtungen aufweisen. Wenn beispielsweise X(k) das k-te Element von X ist, dann gelten für jedes m, wobei m geradzahlig ist, die Näherungs-Koeffizienten: A(m) = h(0)x(m) + h(–1)x(m – 1) + h(–2)x(m – 2) + ... h(–N)x(m – N); h(1)x(m + 1) + h(2)x(m + 2) + ... h(N)x(m + N) Gleichung 1
  • In gleicher Weise ergeben sich für jedes n, wobei n geradzahlig ist, die Detail-Koeffizienten: D(n) = g(0)x(n) + g(–1)x(n – 1) + g(–2)x(n – 2) + ...g(–N)x(n – N); g(1)x(n + 1) + g(2)x(n + 2) + ... g(N)x(n + N) Gleichung 2
  • Die Gewichtungen h(–N), ... h(–2), h(–1), h(1), h(2) ... h(N) für die Näherungs-Koeffizienten und die Gewichtungen g(–N), ..., g(–2), g(–1), g(0), g(1), g(2) ... g(N) für die Detail-Koeffizienten werden als Wellenform-Tiefpaßfilterkoeffizienten (wavelet lowpass filter coefficients) bezeichnet.
  • Eine zweidimensionale Wellen-Transformierte eines Bildes (Signals) wird errechnet, indem die Näherungs- und Detail-Zerlegung für jede Pixelzeile des Bildes und daraufhin für jede Spalte des Ergebnisses durchgeführt werden. Nach der Zerlegung erzeugt die Transformation vier Signale, die jeweils ein Viertel der Größe des Originalsignals haben und die jeweils aus einer Anzahl von Koeffizienten bestehen. Das erste Signal ist ein Näherungs-Signal des ursprünglichen Signals (das als Näherungs-Signal bezeichnet wird), das zweite Signal ist ein Horizontal-Näherungs- und Vertikal-Detail-Signal (das als vertikales Kantensignal bezeichnet wird), das dritte Signal ist ein Vertikal-Näherungs- und Horizontal-Detail-Signal (das als horizontales Kantensignal bezeichnet wird) und das vierte Signal ist ein Vertikal- und Horizontal-Detail-Signal (das als Diagonal-Kantensignal bezeichnet wird). Beispielsweise sei eine einstufige Wellen-Transformierte eines Signals gegeben durch:
  • Figure 00080001
  • In diesem Fall bezeichnet X 0 / a das Näherungssignal für X, X 0 / h bezeichnet das Horizontal-Kantensignal, X 0 / ν bezeichnet das Vertikal-Kantensignal und X 0 / d bezeichnet das Diagonal-Kantensignal. Die Kantensignale werden zusammengefaßt als "Detail"-Signale von X bezeichnet.
  • Um eine Mehrfachauflösungs-Darstellung des ursprünglichen Signals "X" zu erhalten, wird die Wellen-Transformation "L"-mal iteriert. Bei jeder Iteration bezieht sich die Wellentransformation nur auf das Näherungssignal "A", das in der vorhergehenden Iteration berechnet wurde. Daher wird jedesmal, wenn der Prozeß wiederholt wird, die Näherung "Anew" basierend auf der vorangegangenen Näherung "Aprevious" berechnet, und die Detailsignale "D" werden basierend auf der vorangehenden Näherung "Aprevious" berechnet. Daher ergibt sich eine L-gradige Wellentransformation zu:
  • Figure 00080002
  • Bei der Anwendung des obenstehenden Farbebenen (R, G, und B) ergibt sich die L-gradige Wellen-Transformierte der Rot-, Grün- und Blau-Ebenen des Bildes mit aufgelöster Mosaikstruktur wie folgt:
  • Figure 00090001
  • Durch Anwenden der Annahme der Detailkorrelation auf die oben genannten Wellen-Transformierten der Rot-, Grün- und Blau-Ebenen ergibt sich schließlich, daß für eine bestimmte Wahl von L die entsprechenden Detailsignale R 1 / x, G 1 / x, B 1 / x, für alle 1 ≤ L und x = h, ν, d sehr ähnlich, wenn auch nicht identisch sind.
  • Die 2 zeigt die Schritte zum Implementieren des CAAR-Algorithmus innerhalb des digitalen Systems (welches in 1 dargestellt ist). Es werden Rohbilddaten mit ursprünglichen Rot-, Blau- und Grün-Pixelwerten bei dem digitalen Bildsystem empfangen (Schritt 200), wo die Rot-, Blau- und Grün-Werte interpoliert werden, um für jede Pixelstelle alle drei Farben vorzusehen (Schritt 210). Der CAAR-Algorithmus wird auf diese drei Farbebenen angewandt (Schritt 220), um die korrelierten Farbebenen (R', G' und B') zu erzeugen.
  • Wie oben dargestellt, halten die korrelierten Farbebenen (R', G' und B') an der Annahme der Detailkorrelation fest, um Aliasing-Artefakte in dem endgültigen dekomprimierten Bild zu verringern. Diese korrelierten Farbebenen (R', G' und B') können einer wellenformbasierten Bildkompression unterzogen werden, um das komprimierte Bild zu erzeugen (Schritt 230). Der Prozeß der wellenformbasierten Bildkompression ist im weiteren mit Bezug auf die 5 und 6 detailliert beschrieben. Wie oben ferner mit Bezug auf die 1 dargestellt ist, wird dieses komprimierte Bild typischerweise in einem Speicher gespeichert (Schritt 240), bis das komprimierte Bild dekomprimiert wird (Schritt 250), um das Bild darzustellen oder zu verarbeiten (Schritt 260). Da die Detail-Koeffizienten vor der Kompression korreliert wurden, ist der sich durch Kompression und Dekompression ergebende Verlust (Aliasing-Artefakte) des Bildes weniger sichtbar, als ohne CAAR-Algorithmus.
  • Im folgenden wird auf die 3A der Zeichnung Bezug genommen, in der der CAAR-Algorithmus 40 detaillierter dargelegt ist. Wie oben in Verbindung mit den 1 und 2 behandelt wird, werden die sich ergebenden Farbebenen (R, G und B) 35, die jeweils die ursprünglichen und die interpolierten Werte enthalten, an den CAAR-Algorithmus 40 übertragen, wenn die Rohbilddaten 25, welche die ursprünglichen Rot-, Blau- und Grün-Pixelwerte enthalten, an die Logik zum Auflösen der Mosaikstruktur (demosaicing logic) übertragen werden. Anfänglich berechnet der CAAR-Algorithmus 40 die L-gradige Wellentransformierte (wie oben beschrieben) für die Farbebenen (R, G und B) 35 mit aufgelöster Mosaikstruktur, indem die jeweiligen Wellentransformations-Einrichtungen verwendet werden. Das Ergebnis der L-gradigen Wellentransformation für jede Farbebene ist das Näherungs-Signal und die Detail-Signale (Kantensignal), wie oben hinsichtlich der Gleichungen 5 bis 7 betrachtet und dargestellt ist. Die Näherungs-Signale sind als Ra, Ga und Ba dargestellt, wobei die Detail-Signale als Rd, Gd und Bd bezeichnet sind. Die Folge des Erhöhens von L in dem CAAR-Algorithmus 40 ist die Erhöhung des Grads an Korrelation für Farb-Aliasing. Der Grund dafür ist, daß mit steigendem L mehr Signalkomponenten von anderen Farbebenen abgeleitet werden, wodurch die Korrelation in den Farbebenen des Ausgangsbildes erhöht wird. Der Nachteil des Erhöhens von L ist der Verlust an Farbe (d.h. mit steigendem L verringert sich die Sättigung des Bildes).
  • Danach schätzt der CAAR-Algorithmus 40 den richtigen Farbwert für jede Pixelstelle hinsichtlich der Farben, die nicht dieser Pixelstelle zugeordnet sind, indem inverse Wellentransformations-Einrichtungen 44 verwendet werden. Um beispielsweise den Grün-Wert an Stellen von roten Pixeln zu ermitteln, führt der CAAR-Algorithmus eine inverse Wellentransformation unter Verwendung der grünen Näherungs-Signale und der roten Detail-Signale durch. Dieser Prozeß wird für jede Farbe wiederholt (beispielsweise Grün-Werte an Stellen von blauen Pixeln, Rot-Werte an Stellen von grünen Pixeln usw.). Ferner führt der CAAR-Algorithmus in jeder Farbebene selbst eine inverse Wellentransformation durch, so daß die Pixelwerte der Farbe, die jeder Pixelstelle zugeordnet sind, nicht beeinträchtigt werden. Daher werden für jede Farbebene drei getrennte Wellentransformationen von jeweiligen inversen Wellentransformations-Einrichtungen 44 durchgeführt. Dieser Prozeß ist im weiteren mit Bezug auf die 3B genauer erklärt.
  • Danach kombiniert ein jeweiliger Kombinierer 46 für jede Farbebene die inverse Wellentransformierte für diese Farbebene mit der inversen Wellen-Transformierten für jeden geschätzten Farbwert für diese Farbebene, um korrelierte R'-, G'- und B'-Farbebenen 45 zu erzeugen. Der Kombinationsprozeß ist unter Bezugnahme auf 4 im weiteren genauer beschrieben.
  • Im weiteren wird auf die 3B der Zeichnungen Bezug genommen, in der beispielhafte Schritte zum Implementieren des CAAR-Algorithmus beschrieben sind. Wenn der CAAR-Algorithmus die Farbebenen mit aufgelöster Mosaikstruktur empfängt, berechnet der CAAR-Algorithmus die L-gradige Wellentransformation (wie oben beschrieben) für jede vormals in Mosaik vorgesehene Farbebene (Schritt 300). Danach schätzt der CAAR-Algorithmus an jeder Pixelstelle den richtigen Farbwert für die Farben, die mit dieser Pixelstelle nicht zugeordnet sind, sowie für die Farbe, die mit der Pixelstelle zugeordnet ist, indem inverse Wellentransformationen ausgeführt werden (Schritt 310).
  • Beispielsweise wird der korrekte Grün-Wert an Stellen für rote Pixel durch die folgende Formel geschätzt:
  • Figure 00110001
  • Hier steht Gr für den Grün-Wert an roten Pixelstellen und
    Figure 00110002
    steht für die inverse Wellentransformation. Es ist zu beachten, daß die Grün-Näherung des L-ten Grades G L / a mit von der Rot-Ebene stammenden Detail-Signalen verwendet wird, um die Grün-Werte an den roten Pixelstellen zu schätzen. In gleicher Weise wird der Grün-Wert an blauen Pixelstellen mit der folgenden Formel geschätzt:
  • Figure 00110003
  • Die Grün-Werte an den grünen Pixelstellen werden nicht beeinträchtigt (d.h. die inverse Wellen-Transformation wir auf das grüne Näherungs-Signal und auf die grünen Detail-Signale angewandt). Die sich ergebenden Farbebenen sind Grün, Grün/Blau und Grün/Rot. Damit ist das Verarbeiten der Grün-Ebene abgeschlossen. Das Verarbeiten der Rot- und der Blau-Farbebene gleicht dieser Verarbeitung. In jedem Fall wird das Näherungs-Signal von der zu schätzenden Farbe genommen, und die Detail-(Kanten)-Signale werden von der Farbe der Pixelstelle verwendet.
  • Sobald die geschätzten Farbebenen ermittelt wurden (Schritt 320), wird die inverse Wellen-Transformierte jeder Farbebene mit der inversen Wellen-Transformierten jedes geschätzten Farbwerts für diese Farbebene kombiniert, um korrelierte R'-, G'- und B'-Farbebenen zu erzeugen (Schritt 330). Bezugnehmend auf die 4 ist im weiteren ein Beispiel für einen Kombinationsprozeß beschrieben. Diese korrelierten R', G'- und B'-Farbebenen 45 werden mittels eines wellenformbasierten Bildkompressionsverfahrens, beispielsweise der JPEG 2000-Standard, komprimiert.
  • Im folgenden wird auf die 4 der Zeichnungen Bezug genommen, um den CAAR-Algorithmus, der in der 3A gezeigt ist, ausführlicher zu beschreiben. Zum Zwecke der Vereinfachung wird jede der sich ergebenden Matrizen, die von den inversen Wellentransformations-Einrichtungen einer bestimmten Farbebene erzeugt wurde, getrennt als x-, y- und z-Matrize dargestellt. Es ist ersichtlich, daß eine dieser Matrizen die inverse Wellentransformierte der Farbebene selbst ist, und die anderen zwei Matrizen die inversen Wellentransformierten der geschätzten Farbebene an den anderen Pixelstellen darstellen. Es ist ebenfalls ersichtlich, daß das Flußdiagramm von 4 sich auf jede einzelne Farbebene (R, G und B) bezieht. Beispielsweise bezugnehmend auf die 3A nimmt der Kombinierer 46, der die rote korrelierte Farbebene R' erzeugt, als Eingabe drei Matrizen, die von den drei inversen Wellentransformations-Einrichtungen 44 stammen, welche der roten Farbebene zugeordnet sind. Die x-, y- und z-Matrizen der 4 sind diese drei Eingangsmatrizen.
  • Wie aus der 4 ersichtlich ist, nimmt der Kombinierer 46 drei Eingangsmatrizen (x, y und z) und wählt aus jeder Matrix Werte, um eine Ausgangsmatrix 45 zu bilden (die entweder R', B' oder G' ist) (Schritt 330). In 4 ist ein solches Auswahlverfahren dargestellt. Es sollte jedoch beachtet werden, daß anstatt des speziellen dargestellten Auswahlverfahrens andere Auswahlverfahren (d.h. Auswählen von Werten aus jeder Matrix) eingesetzt werden können. Beispielsweise kann die oberste Zeile der Ausgangsmatrix 45 anstatt der Form y, x, y, x die Form x, z, y, z oder die Form y, x, y, z haben.
  • Ungeachtet des verwendeten Auswahlverfahrens ist ersichtlich, daß der Kombinierer 46 die Originalwerte beibehält und nur die interpolierten Werte auswählt, um die Ausgangsmatrix zu bilden.
  • Wie beispielsweise in der 3A dargestellt, ist in den ursprünglichen Daten 25 der Pixelwert der oberen linken Ecke ein Grün-Wert. Daher ist der Pixelwert der oberen linken Ecke der Ausgangsmatrix (G') 45 der Grün-Wert der oberen linken Ecke der inversen Wellentransformierten des grünen Näherungs-Signals und des grünen Detail-Signals. In gleicher Weise ist die untere linke Ecke der ursprünglichen Daten 25 ein blauer Pixelwert. Daher ist die untere linke Ecke der Ausgangsmatrix (G') der Wert der unteren linken Ecke entweder der inversen Wellentransformierten des grünen Näherungs-Signals mit den blauen Detail-Signalen oder der inversen Wellentransformierten des grünen Näherungs-Signals mit den roten Detail-Signalen entnommen.
  • Der CAAR-Algorithmus 40 ist so gestaltet, daß er aus der Verwendung von Wellenformen (wavelets), die für die Kompression in dem JPEG 2000-Standard verwendet werden, Nutzen zieht. Wenn insbesondere die JPEG-2000-Kompression im verlustbehafteten Modus für ein mit CAAR verarbeitetes Bild verwendet wird, werden die Aliasing-Artefakte in größerem Maß reduziert als bei der Verwendung von CAAR alleine. Dies kann wie folgt nachvollzogen werden. Beim JPEG-2000-Standard werden Bilder komprimiert, indem die RGB-Komponenten in die C1C2C3-Farbebene umgewandelt werden. In den meisten Fällen, in denen die JPEG-2000-Komprimierung im verlustbehaftetem Modus betrieben wird, werden die Näherungs-Koeffizienten in den C2- und C3-Ebenen mit noch geringerer Genauigkeit beibehalten als die der C1-Ebene. Stark komprimierte Bilder (mit Komprimierungsgraden von 25:1 oder stärker) sind typischerweise verschwommen, da die Detail-Koeffizienten in C1, C2 und C3 grob quantisiert sind, wohingegen die Näherungs-Koeffizienten mit größerer Genauigkeit wiedergegeben werden.
  • Nun soll der Fall eines Bildes A mit aufgelöster Mosaikstruktur betrachtet werden, das mit dem CAAR-Algorithmus verarbeitet wurde, wodurch sich ein neues Bild B ergab. Wenn JPEG-2000 verwendet wird, um sowohl A als auch B mit dem gleichen Kompressionsgrad zu komprimieren, geht der Verlust beim Komprimieren des Bildes A typischerweise zu Lasten der Detail-Koeffizienten in den C1-, C2- und C3-Ebenen, wohingegen der Verlust beim Komprimieren des Bildes B deutlich anderer Art ist. Da der CAAR-Algorithmus Detail-Koeffizienten von verschiedenen Ebenen zusammenmischt, haben die Detail-Koeffizienten in den drei Farbebenen in B eine höhere Korrelation als die des Bildes A. Dadurch ergibt sich eine geringere Farbsättigung, wodurch sich Werte für die C2- und C3-Detail-Koeffizienten des Bildes B ergeben, die weniger signifikant sind als im Vergleich zu den C2- und C3- Detail-Koeffizienten des Bildes A. Daher ergibt sich in den C2-, C3-Detail-Koeffizienten von B weniger Verlust als in denen von A, und ein vergleichsweise stärkerer Verlust in den C2-, C3-Näherungs-Koeffizienten von B als in denen von A. Daher ergibt sich nach der Dekompression ein "Glättungs"-Effekt in den wiederhergestellten C2-, C3-Ebenen, wodurch das Farb-Aliasing verringert wird. Jedoch ist die "Glättung" nicht das gleiche wie ein einfaches lineares versatzinvariantes Filtern. Statt dessen ähnelt diese der Schrumpfung von Wellen-Koeffizienten, die dazu neigt, das Bild in gleichförmigen Bereichen zu glätten, während die Kanten zwischen den Bereichen unberührt bleiben.
  • Die 5 zeigt eine beispielhafte wellenformbasierte Bildkompressions-Einrichtung 50. Die korrelierten Farbebenen (R', B' und G') 45 werden zunächst von einer Farbraum-Transformationseinrichtung 65 in verschiedene Farbräume (C1, C2 und C3) 45a transformiert. Es ist ersichtlich, daß die C1-, C2-, C3-Farbräume dem YCrCb-Farbraum ähneln, obwohl sie zu diesem nicht äquivalent sind. Es ist ferner ersichtlich, daß andere Farbraumtransformationen anwendbar sind, abhängig von dem einzelnen Typ der verwendeten wellenformbasierten Bildkompression. Ferner kann die Transformation vom RGB-Farbraum in den C1-, C2-, C3-Farbraum entweder umkehrbar oder nicht umkehrbar sein, abhängig von der verwendeten Wellenform (wavelet). Es existieren zwei Wellenformen: die "5-3" (oder geradzahlige Wellenform) oder die "9-7" (oder Daubechies-Wellenform). Wenn die 5-3-Wellendarstellung verwendet wird, muß eine umkehrbare Farbtransformation verwendet werden, wohingegen eine nicht umkehrbare Farbtransformation verwendet werden muß, wenn die 9-7-Wellendarstellung verwendet wird.
  • Für das Komprimieren jeder einzelnen Farbebene (C1, C2 und C3) 45a wird jeweils ein getrennter JPEG-2000-Codierer verwendet. Jeder JPEG-2000-Codierer 50 umfaßt eine Wellentransformations-Einrichtung 52, einen Quantisierer 54 und einen Entropie-Codierer 56. Die Wellentransformations-Einrichtung 52 berechnet für die Farbebenen C1, C2 und C3 45a die L-gradige Wellentransformation (wie oben beschrieben), entweder umkehrbar oder nicht umkehrbar. Die Transformmations-Koeffizienten werden von der Quantisierungslogik 54 quantisiert und von dem Entropie-Codierer 56 entropiecodiert. Der Quantisierer 54 verringert die Präzision der Koeffizienten, während der Entropie-Codierer 56 die Koeffizienten in Codeblöcke unterteilt, die mittels arithmetischen Codierens unabhängig codiert werden.
  • Die 6 zeigt beispielhafte Schritte zum Komprimieren von codierten Farbebenen. Wenn die korrelierten Farbebenen (R', B' und G') von dem CAAR-Algorithmus erzeugt sind (Schritt 600), können diese korrelierten Farbebenen durch ein wellenformbasiertes Bildkompressionsverfahren, beispielsweise JPEG-2000, komprimiert werden, um das komprimierte Bild in dem Speicher von 1 zu speichern. Vor dem Komprimieren jeder korrelierten Farbebene werden die korrelierten Farbebenen (R', B' und G') in verschiedene Farbräume (C1, C2 und C3), transformiert (Schritt 610), wie oben beschrieben ist.
  • Um die C1-, C2- und C3-Farbgebenden zu komprimieren, wird die L-gradige Wellentransformierte, entweder umkehrbar oder nicht umkehrbar, für jede Farbebene C1, C2 und C3 berechnet (Schritt 620). Danach werden die Transformations-Koeffizienten quantisiert (Schritt 630), um die Koeffizienten in ihrer Präzision zu reduzieren, sowie entropiecodiert (Schritt 640), wodurch die Koeffizienten in Codeblöcke unterteilt werden, die mittels arithmetischen Codierens unabhängig codiert werden.
  • Für den Fachmann ist ersichtlich, daß die in der vorliegenden Anmeldung beschriebenen erfinderischen Konzepte über eine breite Spanne von Anwendungen modifiziert oder verändert werden können. Dementsprechend soll der Umfang des beanspruchten Gegenstands auf keine der hier betrachteten spezifischen beispielhaften Lehren beschränkt sein, sondern ist durch die folgenden Ansprüche definiert.

Claims (20)

  1. Digitales Bildsystem (10) zum Verarbeiten eines (demosaiced) digitalen Bildes mit aufgelöster Mosaikstruktur, um durch Farb-Aliasing hervorgerufene Artefakte zu verringern, wobei das digitale Bild Farbebenen (35) mit aufgelöster Mosaikstruktur aufweist, und das System (10) umfaßt: eine Wellentransformations-Einrichtung (42), um eine entsprechende Wellentransformierte jeder Farbebene (35) des digitalen Bildes mit aufgelöster Mosaikstruktur zu berechnen, wobei jede Wellentransformierte ein Näherungssignal und Detailsignale umfaßt; eine Gruppe inverser Wellentransformations-Einrichtungen (44) für jede Farbebene (35), um erste inverse Detail-Wellentransformierte zu berechnen, indem das Näherungssignal einer zugeordneten Farbebene (35) der entsprechenden Gruppe inverser Wellentransformations-Einrichtungen und Detailsignale einer ersten anderen Farbebene (35) verwendet werden; um zweite inverse Detail-Wellentransformierte zu berechnen, indem das Näherungssignal der zugehörigen Farbebene (35) und die Detailsignale einer zweiten anderen Farbebene verwendet werden; und um inverse Näherungs-Wellentransformierte zu berechnen, indem das Näherungssignal und die Detailsignale der zugeordneten Farbebene (35) verwendet werden; und einen Kombinierer (46) für jede Farbebene (35), der mit der entsprechenden Gruppe inverser Wellentransformations-Einrichtungen (44) verbunden ist, um jede inverse Näherungs-Wellentransformation mit den entsprechenden ersten und zweiten inversen Detail-Wellentransformationen zu kombinieren, um korrelierte Farbebenen (45) der Farbebenen (35) zu erzeugen.
  2. System nach Anspruch 1, wobei jede inverse Näherungs-Wellentransformierte und jede erste und zweite inverse Detail-Wellentransformierte als Eingangsmatrizen dargestellt sind, wobei jeder Kombinierer (46) Werte aus den entsprechenden Matrizen auswählt, um eine Ausgangsmatrix zu erzeugen, die der zugeordneten korrelierten Farbebene (45) entspricht, wobei die Ausgangsmatrix Originalwerte der zugehörigen Farbebene (35) beibehält und modifizierte interpolierte Werte der zugeordneten Farbebene (35) umfaßt.
  3. Verfahren nach Anspruch 1 oder 2, das ferner umfaßt: ein wellenformbasierter Bildkomprimierer (50), um die korrelierten Farbebenen (45) von dem Kombinierer (46) zu empfangen und die korrelierten Farbebenen (45) mittels eines wellenformbasierten Bildkompressionsverfahrens zu komprimieren, um ein komprimiertes Bild (55) zu erzeugen.
  4. System nach Anspruch 3, wobei der wellenformbasierte Bildkomprimierer (50) ein JPEG-2000-Bildkomprimierer ist.
  5. System nach Anspruch 3 oder 4, das ferner umfaßt: ein wellenformbasierter Bilddekomprimierer (70), um das komprimierte Bild (55) zu empfangen und verlustbehaftete korrelierte Farbebenen (45) durch Dekomprimieren der komprimierten Bilder (55) zu erzeugen.
  6. System nach einem der vorangegangenen Ansprüche, wobei die Wellentransformations-Einrichtung (42) einen Transformierer für rote Wellen zum Erzeugen eines roten Näherungssignals und roter Detailsignale, einen Transformierer für grüne Wellen zum Erzeugen eines grünen Näherungssignals und grüner Detailsignale, und einen Transformierer für blaue Wellen zum Erzeugen eines blauen Näherungssignals und blauer Detailsignale umfaßt.
  7. System nach Anspruch 6, wobei eine erste Untergruppe der Gruppe inverser Wellentransformations-Einrichtungen (44) einen inversen Rot/Blau-Wellentransformierer umfaßt, der von dem Rot-Wellentransformierer das rote Näherungssignal und die blauen Detailsignale von dem Blau-Wellentransformierer empfängt, und eine Rot/Blau-Farbebene erzeugt; einen inversen Grün/Blau-Wellentransformierer umfaßt, der von dem Grün-Wellentransformierer das grüne Näherungssignal und von dem Blau-Wellentransformierer die blauen Detailsignale empfängt und eine Grün/Blau-Farbebene erzeugt; und einen inversen Blau/Rot-Wellentransformierer umfaßt, der von dem Blau-Wellentransformierer die blauen Näherungssignale und von dem Rot- Wellentransformierer die roten Detailsignale empfängt und eine Blau/Rot-Farbebene erzeugt.
  8. System nach Anspruch 7, wobei eine zweite Untergruppe der Gruppe von inversen Wellentransformations-Einrichtungern (44) einen inversen Rot/Grün-Wellentransformierer umfaßt, der von dem Rot-Wellentransformierer das rote Näherungssignal und von dem Grün-Wellentransformierer die grünen Detailsignale empfängt und eine Rot/Grün-Farbebene erzeugt; einen inversen Rot/Grün-Wellentransformierer umfaßt, der von dem Grün-Wellentransformierer das grüne Näherungssignal und von dem Rot-Wellentransformierer die roten Detailsignale empfängt und eine Grün/Rot-Farbebene erzeugt; und einen inversen Blau/Grün-Wellentransformierer umfaßt, der von dem Blau-Wellentransformierer das blaue Näherungssignal und von dem Grün-Wellentransformierer die grünen Detailsignale empfängt und eine Blau/Grün-Farbebene erzeugt.
  9. System nach Anspruch 8, wobei eine dritte Untergruppe der Gruppe inverser Wellentransformations-Einrichtungen (44) einen inversen Rot-Wellentransformierer umfaßt, der von dem Rot-Wellentransformierer das rote Näherungssignal und die roten Detailsignale empfängt, und die rote Farbebene wiedergibt; einen inversen Grün-Wellentransformierer umfaßt, der von dem Grün-Wellentransformierer das grüne Näherungssignal und die grünen Detailsignale empfängt und die grüne Farbebene wiedergibt; und einen inversen Blau-Wellentransformierer umfaßt, der von dem Blau-Wellentransformierer das blaue Näherungssignal und die blauen Detailsignale empfängt und die blaue Farbebene wiedergibt.
  10. System nach Anspruch 9, wobei der Kombinierer (46) einen Rot-Kombinierer umfaßt, der die Rot/Blau-Farbebene, die Rot/Grün-Farbebene und die Rot-Farbebene kombiniert, um die rote korrelierte Farbebene zu erzeugen; einen Grün-Kombinierer umfaßt, der die Grün/Rot-Farbebene, die Grün/Blau-Farbebene und die Grün-Farbebene kombiniert, um die grüne korrelierte Farbebene zu erzeugen; und einen Blau-Kombinierer umfaßt, der die Blau/Rot-Farbebene, die Blau/Grün-Farbebene und die Blau-Farbebene kombiniert, um die blaue korrelierte Farbebene zu erzeugen.
  11. Verfahren zum Verarbeiten eines (demosaiced) digitalen Bildes mit aufgelöster Mosaikstruktur, um durch Farb-Aliasing hervorgerufene Artefakte zu verringern, wobei das digitale Bild Farbebenen mit aufgelöster Mosaikstruktur aufweist und das Verfahren umfaßt: Berechnen einer Wellentransformierten für jede Farbebene des digitalen Bildes mit aufgelöster Mosaikstruktur, wobei jede Wellentransformierte ein Näherungssignal und Detailsignale umfaßt (Schritt 310); Berechnen von ersten inversen Detail-Wellentransformierten für jede Farbebene mittels des Näherungssignals einer zugehörigen Farbebene der Farbebenen und mittels der Detailsignale von einer ersten anderen Farbebene (Schritt 320); Berechnen von zweiten inversen Detail-Wellentransformierten für jede Farbebene mittels des Näherungssignals der zugehörigen Farbebene und mittels der Detailsignale einer dritten anderen Farbebene (Schritt 320); Berechnen von inversen Näherungs-Wellentransformierten für jede Farbebene mittels des Näherungssignals und der Detailsignale der zugehörigen Farbebene (Schritt 320); und Kombinieren jeder inversen Näherungs-Wellentransformierten mit den jeweiligen ersten und zweiten inversen Detail-Wellentransformierten für jede Farbebene, um aus den Farbebenen korrelierte Farbebenen zu erzeugen (Schritt 330).
  12. Verfahren nach Anspruch 11, wobei jede inverse Näherungs-Wellentransformierte und jede erste und zweite inverse Detail-Wellentransformierte als Eingangsmatrix dargestellt werden, wobei das Kombinieren (Schritt 330) ferner umfaßt: Auswählen von Werten aus den jeweiligen Eingangsmatrizen für jede Farbebene, um eine Ausgangsmatrix zu erzeugen, die der zugehörigen korrelierten Farbebene entspricht, wobei die Ausgangsmatrix Originalwerte der zugehörigen Farbebene beibehält und modifizierte interpolierte Werte der zugehörigen Farbebene umfaßt.
  13. Verfahren nach Anspruch 11 oder 12, das ferner umfaßt: Komprimieren der korrelierten Farbebenen mittels eines wellenformbasierten Bildkompressionsverfahrens (Schritt 230).
  14. Verfahren nach Anspruch 13, wobei das Komprimieren (Schritt 230) ferner umfaßt: Komprimieren der korrelierten Farbebenen mittels eines JPEG-2000-Bildkomprimierers.
  15. Verfahren nach Anspruch 14, wobei das Komprimieren (Schritt 230) ferner umfaßt: Transformieren der korrelierten Farbebenen in verschiedene Farbraum-Farbebenen (Schritt 610); Berechnen einer Wellentransformierten für jede der verschiedenen Farbraum-Farbebenen (Schritt 620); Quantisieren der Koeffizienten der Wellentransformierten für jede der verschiedenen Farbraum-Farbebenen (Schritt 630); und Entropiecodieren der Koeffizienten der Wellentransformierten für jede der verschiedenen Farbraum-Farbebenen (Schritt 640).
  16. Verfahren nach einem der Ansprüche 11 bis 15, wobei das Berechnen der Wellentransformierten (Schritt 620) ferner umfaßt: Erzeugen eines Rot-Näherungssignals und von Rot-Detailsignalen; Erzeugen eines Grün-Näherungssignals und von Grün-Detailsignalen; und Erzeugen eines Blau-Näherungssignals und von Blau-Detailsignalen.
  17. Verfahren nach Anspruch 16, wobei das Berechnen der ersten inversen Detail-Wellentransformierten (Schritt 320) ferner umfaßt: Erzeugen einer Rot/Blau-Farbebene mittels des Rot-Näherungssignals und der Blau-Detailsignale; Erzeugen einer Grün/Blau-Farbebene mittels des Grün-Näherungssignals und der Blau-Detailsignale; Erzeugen einer Blau/Rot-Farbebene mittels des Blau-Näherungssignals und der Rot-Detailsignale.
  18. Verfahren nach Anspruch 16 oder 17, wobei das Berechnen der zweiten inversen Detail-Wellentransformierten (Schritt 320) ferner umfaßt: Erzeugen einer Rot/Grün-Farbebene mittels des Rot-Näherungssignals und der Grün-Detailsignale; Erzeugen einer Grün/Rot-Farbebene mittels des Grün-Näherungssignals und der Rot-Detailsignale; und Erzeugen einer Blau/Grün-Farbebene mittels des Blau-Näherungssignals und der Grün-Detailsignale.
  19. Verfahren nach einem der Ansprüche 16, 17 oder 18, wobei das Berechnen der inversen Näherungs-Wellentransformierten (Schritt 320) ferner umfaßt: Wiedergeben der Rot-Farbebene mittels des Rot-Näherungssignals und der Rot-Detailsignale; Wiedergeben der Grün-Farbebene mittels des Grün-Näherungssignals und der Grün-Detailsignale; und Wiedergeben der Blau-Farbebene mittels des Blau-Näherungssignals und der Blau-Detailsignale.
  20. Verfahren nach einem der Ansprüche 16, 17, 18 oder 19, wobei das Kombinieren (Schritt 330) ferner umfaßt: Kombinieren der Rot/Blau-Farbebene, der Rot/Grün-Farbebene und der Rot-Farbebene, um die korrelierte Rot-Farbebene zu erzeugen; Kombinieren der Grün/Rot-Farbebene, der Grün/Blau-Farbebene und der Grün-Farbebene, um die korrelierte Grün-Farbebene zu erzeugen; und Kombinieren der Blau/Rot-Farbebene, der Blau/Grün-Farbebene und der Blau-Farbebene, um die korrelierte Blau-Farbebene zu erzeugen.
DE60203850T 2001-06-19 2002-02-15 System und Verfahren zum Verarbeiten von Bildern mit aufgelöster Mosaikstruk- tur, um durch Farb-Aliasing hervorgerufenen Artefakte zu verringern. Expired - Lifetime DE60203850T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/885,389 US6819801B2 (en) 2001-06-19 2001-06-19 System and method for processing demosaiced images to reduce color aliasing artifacts
US885389 2001-06-19

Publications (2)

Publication Number Publication Date
DE60203850D1 DE60203850D1 (de) 2005-06-02
DE60203850T2 true DE60203850T2 (de) 2006-01-26

Family

ID=25386795

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60203850T Expired - Lifetime DE60203850T2 (de) 2001-06-19 2002-02-15 System und Verfahren zum Verarbeiten von Bildern mit aufgelöster Mosaikstruk- tur, um durch Farb-Aliasing hervorgerufenen Artefakte zu verringern.

Country Status (4)

Country Link
US (1) US6819801B2 (de)
EP (1) EP1271928B1 (de)
JP (1) JP3908095B2 (de)
DE (1) DE60203850T2 (de)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155066B2 (en) * 2001-05-31 2006-12-26 Agilent Technologies, Inc. System and method for demosaicing raw data images with compression considerations
US20030188659A1 (en) * 2002-04-05 2003-10-09 Canadian Bank Note Company Limited Method and apparatus for reproducing a color image based on monochrome images derived therefrom
US7120305B2 (en) * 2002-04-16 2006-10-10 Ricoh, Co., Ltd. Adaptive nonlinear image enlargement using wavelet transform coefficients
US7158685B2 (en) * 2002-06-28 2007-01-02 Microsoft Corporation Demosaicing graphical content
US9171577B1 (en) 2003-04-25 2015-10-27 Gopro, Inc. Encoding and decoding selectively retrievable representations of video content
US7768500B2 (en) * 2003-06-16 2010-08-03 Humanscale Corporation Ergonomic pointing device
US7937088B2 (en) * 2004-03-26 2011-05-03 Qualcomm Incorporated Routing communications in an ad hoc network
US7557799B2 (en) 2004-06-17 2009-07-07 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System for determining pointer position, movement, and angle
EP1615168A1 (de) * 2004-07-09 2006-01-11 STMicroelectronics S.r.l. Farbinterpolation im DWT-Bereich
US20070014331A1 (en) * 2005-07-12 2007-01-18 John Eldon Ultra-wideband communications system and method
US20070014332A1 (en) * 2005-07-12 2007-01-18 John Santhoff Ultra-wideband communications system and method
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US8014597B1 (en) * 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data
DE102006028735B4 (de) * 2006-06-20 2009-04-09 Sci-Worx Gmbh Einrichtung zur Interpolation und Filterung von digitalen Bilddaten
US9516346B2 (en) * 2009-09-01 2016-12-06 Manipal Institute Of Technology Image processing system and method
US8687086B1 (en) 2012-03-30 2014-04-01 Gopro, Inc. On-chip image sensor data compression
DE102013000301A1 (de) 2013-01-10 2014-07-10 Basler Ag Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
KR102144329B1 (ko) * 2013-12-31 2020-08-13 엘지디스플레이 주식회사 유기 발광 디스플레이 장치와 이의 구동 방법
JP6702792B2 (ja) * 2016-05-02 2020-06-03 キヤノン株式会社 画像処理装置およびその制御方法
CN106131517A (zh) * 2016-06-24 2016-11-16 南京理工大学 一种彩色图像获取方法
FR3078852B1 (fr) * 2018-03-07 2020-04-03 Centre National De La Recherche Scientifique (Cnrs) Procede de reconstruction d'une image couleur acquise par un capteur recouvert d'une mosaique de filtres couleurs

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5065229A (en) * 1989-07-24 1991-11-12 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5778106A (en) 1996-03-14 1998-07-07 Polaroid Corporation Electronic camera with reduced color artifacts
US5838818A (en) 1997-06-18 1998-11-17 Hewlett-Packard Company Artifact reduction compression method and apparatus for mosaiced images
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing
US6625305B1 (en) 1999-08-16 2003-09-23 Hewlett-Packard Development Company, L.P. Image demosaicing method
WO2001026359A1 (en) 1999-10-05 2001-04-12 Sony Electronics Inc. Demosaicing using wavelet filtering for digital imaging device

Also Published As

Publication number Publication date
JP3908095B2 (ja) 2007-04-25
EP1271928A3 (de) 2004-04-21
DE60203850D1 (de) 2005-06-02
EP1271928A2 (de) 2003-01-02
US6819801B2 (en) 2004-11-16
US20020191854A1 (en) 2002-12-19
EP1271928B1 (de) 2005-04-27
JP2003046786A (ja) 2003-02-14

Similar Documents

Publication Publication Date Title
DE60203850T2 (de) System und Verfahren zum Verarbeiten von Bildern mit aufgelöster Mosaikstruk- tur, um durch Farb-Aliasing hervorgerufenen Artefakte zu verringern.
DE19983253B4 (de) Die Kompression von Farbbildern auf der Grundlage einer zweidimensionalen diskreten Wavelet-Transformation, die ein scheinbar verlustloses Bild hervorbringt
DE69230922T2 (de) Videosignalkodierer mit Blockvertauschungstechnik
DE69324090T2 (de) Intraframefilter für Bildkompressionssysteme
DE69631108T2 (de) Nachfilterung zur Entfernung von Artefakten in DCT-codierten Bildern
DE69228893T2 (de) Vorrichtung und Verfahren zur Datenmischung und -entmischung
DE69321896T2 (de) Gerät und Verfahren zur Verarbeitung von digitalen Bildsignalen
DE69120661T2 (de) Bildkompression mit farbinterpolation für ein bildaufnahmesystem mit nur einem bildaufnehmer
DE69322351T2 (de) Verbesserte Dekomprimierung von Standard ADCT-komprimierten Bildern
DE69323354T2 (de) System zur Kodierung eines hochauflösenden Videosignals mit farbempfindlicher Quantisierung
DE69919641T2 (de) Adaptive Videokompromierung mit variabler Quantisierung
EP0309669B1 (de) Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
DE69228442T2 (de) Verfahren und vorrichtung zur bilddatenkompression durch luminanz/chrominanz-kodierung
DE69723550T2 (de) Kodierung und dekodierung von grafischen symbolen
DE69324743T2 (de) Vorrichtung und Verfahren zur Bildsignalkodierung
DE69223560T2 (de) Einrichtung zur Verminderung von Quantisierungsstörungen in einem Zwischenbild-Hybrid-Kodierungssystem mit Bewegungskompensation
DE69213511T2 (de) Kodiervorrichtung zum Kodieren eines digitalen Bildsignals
DE69325097T2 (de) Digitaler video-signalverarbeitungsprozessor mit einem vorprozessor der non-interlace-scan-videosignale aus interlace-scan-videosignalen erzeugt und entsprechendes dekompressions- und nachverarbeitungsvorrichtung
DE69226160T2 (de) Vorrichtung zur Kompressionskodierung von Videosignalen
DE69523439T2 (de) Verfahren und Vorrichtung zur Bildsignalkodierung mit einer Klassifizieranlage
DE69722495T2 (de) Adaptives Abtastverfahren für Wavelet-Videokodierung
DE60114651T2 (de) Verfahren zur Kompression von im Farbfilteranordnungsformat (CFA) aufgenommenen digitalen Bildern
DE69428034T2 (de) Bildsignalkodierung und -dekodierung
DE69818751T2 (de) Dekompression von interpolierten Bildern
DE60119904T2 (de) Vorrichtung und Verfahren zur Entfernung des Mosaikeffekts in Rohbilddaten im Hinblick auf die Datenkompression

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: AVAGO TECHNOLOGIES SENSOR IP (SINGAPORE) PTE. LTD.

8327 Change in the person/name/address of the patent owner

Owner name: MICRON TECHNOLOGY, INC., BOISE, ID., US

8327 Change in the person/name/address of the patent owner

Owner name: APTINA IMAGING CORP., GRAND CAYMAN, CAYMAN ISL, KY