DE60211870T2

DE60211870T2 - System und verfahren zur asymmetrischen entfernung des mosaikeffektes in rohbilddaten unter verwendung eines farbunterschiedausgleichs

Info

Publication number: DE60211870T2
Application number: DE60211870T
Authority: DE
Inventors: Truong-Thao Fort Lee NGUYEN
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2001-03-20
Filing date: 2002-03-20
Publication date: 2006-11-02
Anticipated expiration: 2022-03-21
Also published as: EP1371014B1; WO2002075654A2; WO2002075654A3; EP1371014A2; JP4184802B2; DE60211870D1; JP2004534429A; US20020167602A1

Description

GEBIET DER ERFINDUNG
Die Erfindung bezieht sich allgemein auf das Gebiet der Bildverarbeitung und insbesondere auf ein System und Verfahren zum Entmosaikisieren von Rohdatenbildern (mosaikartigen Bildern).
HINTERGRUND DER ERFINDUNG
Farbdigitalkameras werden auf dem Verbrauchermarkt immer allgegenwärtiger, was teilweise auf progressive Preisreduzierungen zurückzuführen ist. Farbdigitalkameras verwenden üblicherweise einen einzigen optischen Sensor, entweder einen CCD-Sensor (CCD = charge coupled device, ladungsgekoppelte Vorrichtung) oder einen CMOS-Sensor (CMOS = complementary metal oxide semiconductor, komplementärer Metall-Oxid-Halbleiter), um eine interessierende Szene digital zu erfassen. Sowohl CCD- als auch CMOS-Sensoren sind lediglich beleuchtungsempfindlich. Folglich können diese Sensoren nicht zwischen verschiedenen Farben unterscheiden. Um eine Farbunterscheidung zu erzielen, wird eine Farbfiltertechnik angewendet, um Licht in Bezug auf Primärfarben, üblicherweise Rot, Grün und Blau, aufzuspalten bzw. zu trennen.
Eine übliche Filtertechnik verwendet ein Farbfilterarray (CFA – color-filter array), das dem Sensor überlagert wird, um Farben von einfallendem Licht in einem Bayer-Muster zu trennen. Ein Bayer-Muster ist ein periodisches Muster mit einer Periode von zwei verschiedenen Farbpixeln in jeder Dimension (vertikal und horizontal). In der horizontalen Richtung umfasst eine einzige Periode entweder ein grünes Pixel und ein rotes Pixel oder ein blaues Pixel und ein grünes Pixel. In der vertikalen Richtung umfasst eine einzige Periode entweder ein grünes Pixel und ein blaues Pixel oder ein rotes Pixel und ein grünes Pixel. Somit beträgt die Anzahl von grünen Pixeln das Doppelte der Anzahl von roten oder blauen Pixeln. Der Grund für die Ungleichheit bezüglich der Anzahl von grünen Pixeln liegt darin, dass das menschliche Auge für diese drei Farben nicht gleichermaßen empfindsam ist. Folglich werden mehr grüne Pixel benötigt, um ein Farbbild einer Szene zu erzeugen, das als „Echtfarben"-Bild wahrgenommen wird.
Auf Grund des CFA ist das durch den Sensor erfasste Bild somit ein mosaikartiges Bild, das auch als „Rohdaten"-Bild bezeichnet wird, wobei jedes Pixel des mosaikartigen Bildes lediglich den Intensitätswert für Rot, Grün oder Blau enthält. Das mosaikartige Bild kann anschließend entmosaikisiert werden, um ein Farbbild zu erzeugen, indem die fehlenden Farbwerte für jedes Pixel des mosaikartigen Bildes geschätzt werden. Die fehlenden Farbwerte eines Pixels werden geschätzt, indem entsprechende Farbinformationen von umgebenden Pixeln verwendet werden.
Obwohl es eine Anzahl herkömmlicher Entmosaikisierungsverfahren gibt, um ein mosaikartiges Bild in ein Farbbild („entmosaikisiertes" Bild) umzuwandeln, ist das grundlegendste Entmosaikisierungsverfahren das Bilineare-Interpolation-Verfahren. Das Bilineare-Interpolation-Verfahren beinhaltet ein Mitteln der Farbwerte benachbarter Pixel eines gegebenen Pixels, um die fehlenden Farbwerte für dieses gegebene Pixel zu schätzen. Wenn beispielsweise einem gegebenen Pixel ein Farbwert für Rot fehlt, werden die roten Farbwerte von Pixeln, die neben dem gegebenen Pixel liegen, gemittelt, um den roten Farbwert für dieses gegebene Pixel zu schätzen. Auf diese Weise können die fehlenden Farbwerte für jedes Pixel eines mosaikartigen Bildes geschätzt werden, um das mosaikartige Bild in ein Farbbild umzuwandeln.
Eine Schwierigkeit bei dem Bilineare-Interpolation-Verfahren besteht darin, dass die resultierenden Farbbilder anfällig für farbige Artefakte entlang Strukturkanten der Bilder sind. Eine bekannte interessante Entmosaikisierungstechnik, die das Vorhandensein von farbigen Artefakten angeht, verwendet einen Adaptive-Interpolation-Prozess, um einen oder mehr fehlende Farbwerte zu schätzen. Gemäß der bekannten Entmosaikisierungstechnik werden zunächst ein erster und ein zweiter Klassifizierer berechnet, um eine bevorzugte Interpolation auszuwählen, die arithmetische Mittelwerte und angenäherte skalierte Laplace-Terme zweiter Ordnung für die vordefinierten Farbwerte umfasst. Der erste und der zweite Klassifizierer können entweder horizontale und vertikale Klassifizierer oder diagonale Klassifizierer mit positiver Neigung und diagonale Klassifizierer mit negativer Neigung sein. Die Klassifizierer umfassen verschiedene Farbwerte nahe gelegener Pixel entlang einer Achse, d.h. die horizontale, vertikale Diagonale mit positiver Neigung oder mit negativer Neigung. Die beiden Klassifizierer werden anschließend miteinander verglichen, um die bevorzugte Interpolation auszuwählen.
Obwohl die bekannte Entmosaikisierungstechnik der adaptiven Interpolation zu entmosaikisierten Farbbildern mit verringerten farbigen Artefakten entlang Strukturkanten führt, besteht trotzdem ein Bedarf an einem System und Verfahren zum effizienten Entmosaikisieren von eingegebenen mosaikartigen Bildern, um andere Arten von Artefakten wie z.B. ein Farb-Aliasing- und nicht-farbige „reißverschlussartige" Artefakte entlang Strukturkanten zu verringern.
Die EP 0632663 offenbart eine Vorrichtung und ein Verfahren zum adaptiven Interpolieren eines Vollfarbbildes. Die hochfrequenten Informationen für die „fehlenden grünen" Pixel (d.h. die roten und blauen Pixelpositionen) werden interpoliert, um die Luminanzwiedergabe zu verbessern. Die Farbunterschiedsinformationen werden mittels bilinearer Verfahren an den Hochfrequenzpositionen interpoliert, um die andere Farbe des Farbfilterarrays zu erzeugen. „Fehlendes-Grün"-Pixel werden je nach dem Gradienten, der zwischen den grünen Pixelpositionen in der vertikalen und horizontalen Richtung um das „Fehlendes-Grün"-Pixel vorliegt, entweder horizontal, vertikal oder zweidimensional auf adaptive Weise interpoliert. Die adaptive Interpolation interpoliert die Werte von entweder zwei oder vier „realen" grünen Pixeln, um bei einem „Fehlendes-Grün"-Pixel einen grünen Wert zu erzeugen. Rot- und Blau-Chrominanz wird durch Bezugnahme auf Farbunterschiede (R-G, B-G) von Positionen in der Nachbarschaft der interpolierten Pixel auf bilineare Weise interpoliert. Die Farbunterschiede werden anschließend mit der Luminanz für die interpolierten Pixel summiert, um Rot und Blau zu erhalten.
Kimmel, R „Demosaicing: Image Reconstruction from Color CCD Samples", IEEE Transactions on Image Processing, IEEE Inc New York, US, Vol. 8, Nr. 9, September 1999, Seiten 1221–1228, XP002237072, ISSN: 1057–7149 offenbart einen Nichtlineare-Rekonstruktion-Algorithmus. Der Algorithmus beginnt damit, dass Grün an fehlenden Punkten interpoliert wird. Anschließend wird drei Mal eine Schleife durchgeführt. Während jeder Iteration der Schleife werden rote Werte interpoliert, und grüne Werte werden korrigiert.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein System und Verfahren zum Entmosaikisieren von Rohdaten-Bildern („mosaikartigen" Bildern) verwendet ein asymmetrisches Interpolationsschema, um Farbdiskontinuitäten bei den resultierenden entmosaikisierten Bildern unter Verwendung von Diskontinuitäten einer ausgewählten Farbkomponente der mosaikartigen Bilder auszugleichen. Man geht davon aus, dass Diskontinuitäten der ausgewählten Farbkomponente gleich Diskontinuitäten der anderen verbleibenden Farbkomponenten sind. Somit wird ein Farbdiskontinuitätsausgleich dadurch erzielt, dass die Diskontinuitäten der verbleibenden Farbkomponenten mit den Diskontinuitäten der ausgewählten Farbkomponente gleichgesetzt werden. Das asymmetrische Interpolationsschema ermöglicht, dass das System und Verfahren Farb-Aliasing- und nicht-farbige „reißverschlussartige" Artefakte entlang Strukturkanten der resultierenden entmosaikisierten Bilder sowie farbige Artefakte verringern.
Gemäß einem ersten Aspekt der vorliegenden Erfindung ist ein Verfahren zum Entmosaikisieren eines mosaikartigen Bildes gemäß Anspruch 1 vorgesehen.
Bei einem Ausführungsbeispiel kann der Schritt des Interpolierens der ersten Farbwerte ein adaptives Interpolieren der ersten Farbwerte unter Verwendung einer Interpolationstechnik umfassen, die aus zumindest einer ersten Interpolationstechnik und einer zweiten Interpolationstechnik ausgewählt ist. Die Auswahl der Interpolationstechnik kann ein Bestimmen von Variationen der ersten und der zweiten Farbwerte entlang zumindest einer ersten Richtung und einer zweiten Richtung, z.B. einer horizontalen Richtung und einer vertikalen Richtung, umfassen.
Die Farbdiskontinuitätsausgleichswerte werden abgeleitet, indem die gemittelten ersten Farbwerte von den interpolierten ersten Farbwerten subtrahiert werden. Die gemittelten ersten Farbwerte werden abgeleitet, indem die interpolierten ersten Farbwerte bezüglich Pixelpositionen des mosaikartigen Bildes, die den zweiten Farbwerten des mosaikartigen Bildes entsprechen, unterabgetastet werden, um unterabgetastete Werte abzuleiten, und indem die unterabgetasteten Werte gemittelt werden, um die gemittelten ersten Farbwerte zu erzeugen. Der Schritt des Interpolierens der zweiten Farbwerte umfasst ein Mitteln der zweiten Farbwerte des mosaikartigen Bildes, um gemittelte zweite Farbwerte abzuleiten, und ein Summieren der Farbdiskontinuitätswerte und der gemittelten zweiten Farbwerte, um die zweiten interpolierten Werte abzuleiten.
Das Verfahren kann ferner einen Schritt des selektiven Kompensierens einer Intensitäts-Fehlanpassung zwischen einem ersten Typ der ersten Farbwerte und einen zweiten Typ der ersten Farbwerte umfassen. Bei einem Ausführungsbeispiel umfasst die selektive Kompensation ein Glätten der ersten Farbwerte des mosaikartigen Bildes, wenn der Gradient und die Krümmung der ersten Farbwerte unter einer Schwelle liegen. Das Verfahren kann auch einen Schritt des Scharfstellens des entmosaikisierten Bildes umfassen, indem lediglich die ersten interpolierten Werte bearbeitet werden.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung ist ein System zum Entmosaikisieren eines mosaikartigen Bildes gemäß Anspruch 3 vorgesehen.
Bei einem Ausführungsbeispiel umfasst der erste Interpolator einen adaptiven Interpolator, der dazu konfiguriert ist, die ersten Farbwerte unter Verwendung einer Interpolationstechnik, die aus zumindest einer ersten Interpolationstechnik und einer zweiten Interpolationstechnik ausgewählt ist, auf adaptive Weise zu interpolieren. Bei einem Ausführungsbeispiel umfasst der adaptive Interpolator einen Gradientenrichtungsdetektor, der dahingehend konfiguriert ist, Variationen der ersten und der zweiten Farbwerte entlang zumindest einer ersten Richtung und einer zweiten Richtung, z.B. einer horizontalen Richtung und einer vertikalen Richtung, zu ermitteln.
Die Farbdiskontinuitätsausgleichwerte können abgeleitet werden, indem die gemittelten ersten Farbwerte von den interpolierten ersten Farbwerten subtrahiert werden. Die Unterabtasteinheit ist dahingehend konfiguriert, die interpolierten ersten Farbwerte bezüglich Pixelpositionen des mosaikartigen Bildes, die den zweiten Farbwerten des mosaikartigen Bildes entsprechen, unterabzutasten, um unterabgetastete Werte abzuleiten. Die Mittelungseinheit ist dahingehend konfiguriert, die unterabgetasteten Werte zu mitteln, um die gemittelten ersten Farbwerte zu erzeugen. Der zweite Interpolator umfasst eine Mittelungseinheit, die dazu konfiguriert ist, die zweiten Farbwerte des mosaikartigen Bildes zu mitteln, um gemittelte zweite Farbwerte abzuleiten, und eine Summiereinheit, die dazu konfiguriert ist, die Farbdiskontinuitätsausgleichwerte von den gemittelten zweiten Farbwerten zu summieren, um die zweiten interpolierten Werte abzuleiten.
Das System kann ferner einen Intensitätsfehlanpassungskompensator umfassen, der dazu konfiguriert ist, selektiv eine Intensitätsfehlanpassung zwischen einem ersten Typ der ersten Farbwerte und einem zweiten Typ der ersten Farbwerte zu kompensieren. Bei einem Ausführungsbeispiel kann der Intensitätsfehlanpassungskompensator dazu konfiguriert sein, die ersten Farbwerte des mosaikartigen Bildes zu glätten, wenn der Gradient und die Krümmung der ersten Farbwerte unter einer Schwelle liegen. Das System kann auch eine Bildschärfungseinrichtung umfassen, die dazu konfiguriert ist, das entmosaikisierte Bild zu schärfen bzw. scharf zu machen, indem sie lediglich die ersten interpolierten Werte bearbeitet.
Andere Aspekte und Vorteile der vorliegenden Erfindung ergeben sich aus der folgenden ausführlichen Beschreibung, die in Verbindung mit den beiliegenden Zeichnungen zu sehen ist, die auf beispielhafte Weise die Prinzipien der Erfindung veranschaulichen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm eines Bildverarbeitungssystems gemäß der vorliegenden Erfindung.
2A veranschaulicht das Bayer-Muster von erfassten Intensitätswerten in einem mosaikartigen Bild.
2B veranschaulicht die verschiedenen Farbebenen eines mit einem Bayer-Muster versehenen mosaikartigen Bildes.
3 ist ein Blockdiagramm einer Entmosaikisierungseinheit des Systems der 1.
4 ist ein Blockdiagramm eines G1-G2-Fehlanpassungskompensators der Entmosaikisierungseinheit der 3.
5 ist ein Blockdiagramm eines adaptiven Interpolators der Entmosaikisierungseinheit.
6 ist ein Prozessflussdiagramm, das die Funktionsweise eines G-Pfadmoduls des Entmosaikisierens veranschaulicht.
7 ist ein Prozessflussdiagramm, das die Funktionsweise eines G-Verarbeitungsblocks eines Farbpfadmoduls der Entmosaikisierungseinheit veranschaulicht.
8 ist ein Prozessflussdiagramm, das die Funktionsweise eines R-Verarbeitungsblocks des Farbpfadmoduls der Entmosaikisierungseinheit veranschaulicht.
9 ist ein Blockdiagramm eines G-Pfadmoduls mit Fähigkeiten einer adaptiven Interpolation und einer Bildschärfung, gemäß einem alternativen Ausführungsbeispiel.
10 ist ein Blockdiagramm eines G-Pfadmoduls mit G1-G2-Fehlanpassungskompensations- und Adaptive-Interpolation-Fähigkeiten gemäß einem alternativen Ausführungsbeispiel der Erfindung.
11 ist ein Blockdiagramm eines G-Pfadmoduls mit G1-G2-Fehlanpassungskompensations-, Adaptive-Interpolation- und Bildschärfungsfähigkeiten gemäß einem alternativen Ausführungsbeispiel.
12 ist ein Blockdiagramm eines G-Verarbeitungsblocks eines Farbpfadmoduls gemäß einem alternativen Ausführungsbeispiel der Erfindung.
13 ist ein Blockdiagramm eines G-Verarbeitungsblocks eines Farbpfadmoduls gemäß einem vereinfachten alternativen Ausführungsbeispiel der Erfindung.
AUSFÜHRLICHE BESCHREIBUNG
Unter Bezugnahme auf 1 ist ein Bildverarbeitungssystem 100 gemäß der vorliegenden Erfindung gezeigt. Das Bildverarbeitungssystem arbeitet dahingehend, eine interessierende Szene als mosaikartiges oder Rohdatenbild digital zu erfassen. Das mosaikartige Bild wird anschließend entmosaikisiert und zur Speicherung durch das System anschließend komprimiert. Das Bildverarbeitungssystem verwendet einen Entmosaikisierungsprozess auf der Basis einer bilinearen Interpolation, der Farb-Aliasing- und nicht-farbige „reißverschlussartige" Artefakte entlang Strukturkanten sowie farbige Artefakte verringert.
Das Bildverarbeitungssystem 100 umfasst eine Bilderfassungseinheit 102, eine Entmosaikisierungseinheit 104, eine Komprimierungseinheit 106 und eine Speicherungseinheit 108. Die Bilderfassungseinheit umfasst einen Sensor und ein Farbfilterarray (CFA). Der Sensor kann ein CCD-Sensor (CCD = ladungsgekoppelte Vorrichtung), ein CMOS-Sensor (CMOS = Komplementär-Metall-Oxid-Halbleiter) oder eine andere Art eines lichtempfindlichen Sensors sein. Bei einem exemplarischen Ausführungsbeispiel umfasst das CFA Rot(R)-, Grün(G)- und Blau(B)-Filter, die in einem Bayer-Filtermuster ange ordnet sind. Jedoch kann das CFA Filter anderer Farben umfassen, die in einem anderen Filtermuster angeordnet sind. Das CFA arbeitet dahingehend, dass es lediglich einem Licht einer bestimmten Farbe ermöglicht, zu jedem lichtempfindlichen Element des Sensors transmittiert zu werden. Somit ist ein digitales Bild, das durch die Bilderfassungseinheit erfasst wird, ein mosaikartiges Bild, das aus einzelfarbigen Pixeln zusammengesetzt ist, die in einem Farbmuster gemäß dem Filtermuster des CFA angeordnet sind. Folglich weist jedes Pixel des mosaikartigen Bildes einen Intensitätswert für lediglich eine einzige Farbe, z.B. R, G oder B, auf.
Bei dem exemplarischen Ausführungsbeispiel sind die einzelfarbigen Pixel der mosaikartigen Bilder, die durch die Bilderfassungseinheit 102 erfasst werden, auf Grund der Konfiguration des CFA der Bilderfassungseinheit in einem Bayer-Muster angeordnet. Ein Abschnitt eines mosaikartigen Bildes in einem Bayer-Muster ist in 2A veranschaulicht. Da jedes Pixel des mosaikartigen Bildes einen Intensitätswert für lediglich eine einzige Farbe aufweist, fehlen jedem Pixel Intensitätswerte für die anderen zwei Farben, die benötigt werden, um ein Farb- oder entmosaikisiertes Bild zu erzeugen. Wie in 2A gezeigt ist, werden die G-farbigen Pixel des mosaikartigen Bildes als entweder G1 oder G2 identifiziert. Somit kann das mosaikartige Bild ^der 2A in Bezug auf vier Farbkomponenten, R, G1, G2 und B, unterteilt werden. Diese Unterteilungen eines mosaikartigen Bildes werden hierin manchmal als G1-Ebene 202, G2-Ebene 204, R-Ebene 206 und B-Ebene 208 bezeichnet. Die G1- und die G2-Ebene werden hierin kollektiv als die G-Ebene bezeichnet. Bei manchen Sensoren können die lichtempfindlichen Elemente, die G-Intensitätswerte an G1-Positionen erfassen, ein anderes Ansprechverhalten aufweisen als die lichtempfindlichen Elemente, die G-Intensitätswerte an G2-Positionen erfassen. Somit können die Intensitätswerte an G1- und G2-Positionen auf Grund von Unterschieden des Ansprechverhaltens der lichtempfindlichen Elemente künstliche Variationen aufweisen. Diese künstli chen Variationen werden hierin als „G1-G2-Fehlanpassung" bezeichnet.
Die Entmosaikisierungseinheit 104 des Bildverarbeitungssystems 100 arbeitet dahingehend, ein eingegebenes mosaikartiges Bild zu entmosaikisieren, so dass jedes Pixel des resultierenden entmosaikisierten Bildes Intensitätswerte für alle drei Primärfarben, z.B. R, G und B, aufweist, um ein Farb- oder entmosaikisiertes Bild zu erzeugen. Die Entmosaikisierungseinheit schätzt die fehlenden Intensitätswerte für jedes Pixel des eingegebenen mosaikartigen Bildes, indem sie verfügbare Intensitätswerte von umgebenden Pixeln verwendet. Die Entmosaikisierungseinheit kann auch eine Bildschärfung und eine G1-G2-Fehlanpassungskompensation durchführen. Die Funktionsweise der Entmosaikisierungseinheit wird nachfolgend ausführlich beschrieben.
Die Komprimierungseinheit 104 des Bildverarbeitungssystems 100 fungiert dahingehend, ein entmosaikisiertes Bild, das durch die Entmosaikisierungseinheit 104 erzeugt wurde, zu einer komprimierten Bilddatei zu komprimieren. Beispielsweise kann die Komprimierungseinheit ein entmosaikisiertes Bild unter Verwendung eines Komprimierungsschemas auf DCT-Basis, z.B. des JPEG-Komprimierungsschemas, komprimieren. Obwohl die Komprimierungseinheit und Entmosaikisierungseinheit in 1 als getrennte Komponenten des Bildverarbeitungssystems veranschaulicht sind, können diese Komponenten in einen anwendungsspezifischen integrierten Chip (ASIC – application specific integrated chip) integriert sein. Alternativ dazu können die Komprimierungseinheit und die Entmosaikisierungseinheit als Softwareprogramm verkörpert sein, das die Funktionen dieser Einheiten, wenn sie durch einen (nicht gezeigten) Prozessor ausgeführt werden, durchführt.
Die Speicherungseinheit 108 des Bildverarbeitungssystems 100 liefert ein Medium, um komprimierte Bilddateien aus der Komprimierungseinheit 106 zu speichern. Die Speicherungs einheit kann ein herkömmlicher Speicherungsspeicher, z.B. ein DRAM, sein. Alternativ dazu kann die Speicherungseinheit ein Laufwerk sein, das eine Schnittstelle mit einem entnehmbaren Speicherungsmedium, z.B. einer standardmäßigen Computer-Floppy-Disk, bildet.
Die Bilderfassungseinheit 102, die Entmosaikisierungseinheit 104, die Komprimierungseinheit 106 und die Speicherungseinheit 108 des Systems 100 können in einer einzigen Vorrichtung, z.B. einer Digitalkamera, enthalten sein. Alternativ dazu kann die Bilderfassungseinheit in einer separaten Vorrichtung enthalten sein. Bei diesem alternativen Ausführungsbeispiel können die Funktionen der Entmosaikisierungseinheit, der Komprimierungseinheit und der Speicherungseinheit durch einen Computer ausgeführt werden.
Unter Bezugnahme auf 3 ist ein Blockdiagramm gezeigt, das die Komponenten der Entmosaikisierungseinheit 104 veranschaulicht. Wie in 3 veranschaulicht ist, umfasst die Entmosaikisierungseinheit einen Farbseparator 302, ein G-Pfadmodul 304 und ein Farbpfadmodul 306. Der Farbseparator empfängt ein Beobachtungsfenster eines eingegebenen mosaikartigen Bildes und trennt anschließend die Intensitätswerte in dem Beobachtungsfenster in Bezug auf die Farbe. Somit werden die Intensitätswerte in Bezug auf R, G und B getrennt. Die R- und B-Intensitätswerte werden an das Farbpfadmodul transmittiert, wohingegen die G-Intensitätswerte sowohl an das G-Pfadmodul als auch das Farbpfadmodul transmittiert werden. Obwohl dies nicht in 3 veranschaulicht ist, werden die R- und B-Intensitätswerte ebenfalls an das G-Pfadmodul transmittiert, wie unter Bezugnahme auf 5 beschrieben wird. Das G-Pfadmodul interpoliert die G-Intensitätswerte des Beobachtungsfensters, um für jedes Pixel in dem Beobachtungsfenster des eingegebenen mosaikartigen Bildes interpolierte G-Intensitätswerte („G'-Werte") zu erzeugen, während das Farbpfadmodul die R- und B-Intensitätswerte interpoliert, um für jedes Pixel in dem Beobachtungsfenster interpolierte R- und B-Intensitätswerte („R'- und B'-Werte") zu erzeugen. Folglich weist jedes Pixel in dem Beobachtungsfenster R-, G- und B-Werte auf, um ein entmosaikisiertes Fenster zu erzeugen, das dem anfänglichen Beobachtungsfenster entspricht. Wenn alle Beobachtungsfenster des eingegebenen mosaikartigen Bildes verarbeitet werden, wird ein vollständiges entmosaikisiertes Bild erzeugt. Bei dem exemplarischen Ausführungsbeispiel kompensiert das G-Pfadmodul auch eine G1-G2-Fehlanpassung und schärft das resultierende entmosaikisierte Bild, indem es ein gegebenes Beobachtungsfenster eines eingegebenen mosaikartigen Bildes in Bezug auf lediglich G-Intensitätswerte schärft bzw. scharf stellt. Zusätzlich liefert das Farbpfadmodul einen Farbdiskontinuitätsausgleich, indem es Informationen berücksichtigt, die durch die G-Intensitätswerte geliefert werden. Farbdiskontinuitätsausgleich ist ein Prozess, bei dem eine räumliche Diskontinuität einer bestimmten Farbe in einem mosaikartigen Bild geschätzt wird, indem die Diskontinuität einer anderen Farbe an derselben Stelle des Bildes analysiert wird.
Farbdiskontinuitätsausgleich wird durch die Entmosaikisierungseinheit 104 geliefert, indem angenommen wird, dass lokale Farbdiskontinuitäten in Bildern für jede Farbkomponente dieselben sind. Das heißt, dass Änderungen von lokalen Intensitätswerten für R-, G- und B-Intensitätswerte dieselben sind. Diese Annahme kann wie folgt ausgedrückt werden: ΔR = ΔG = ΔB. (1)
Wenn die lokale Farbdiskontinuität von G-Intensitätswerten als in einem Bild überall vorhanden betrachtet wird, kann die lokale Farbdiskontinuität von R- und B-Intensitätswerten bezüglich der Farbdiskontinuität von G-Intensitätswerten ausgedrückt werden. Die lokale Farbdiskontinuität von R kann dann wie folgt ausgedrückt werden: ΔR = ΔG, (2) wobei ΔR = R – R₀ und ΔG = G – G₀. Bei der obigen Gleichung sind R₀ und G₀ die lokalen Mittelwerte verfügbarer R- bzw. G-Intensitätswerte. Desgleichen kann die lokale Farbdiskontinuität von B wie folgt ausgedrückt werden: ΔB = ΔG, (3)wobei ΔB = B – B₀. Bei der Gleichung (3) ist B₀ der lokale Mittelwert von verfügbaren B-Intensitätswerten. Die Gleichungen (2) und (3) können dazu verwendet werden, R- und B-Intensitätswerte, die die Farbkontinuität von G ausgleichen, zu schätzen. Das heißt, dass die Gleichung (2) wie folgt umgeschrieben werden kann: R = R0 + ΔG (4) und
die Gleichung (3) wie folgt umgeschrieben werden kann: B = B0 + ΔG. (5)
Man beachte, dass die Gleichungen (4) und (5) implizieren, dass jeder Farbwert, der aus dem ursprünglichen mosaikartigen Bild zur Verfügung steht, unberührt bleibt, da ΔG gleich ΔR und ΔB ist. Gleichung (4) kann weiter wie folgt umgeschrieben werden: R = G + CR0, (6)wobei C_R0 = R₀ – G₀. In der Gleichung (6) wird R als gleichwertig mit G, plus eine gewisse Farbversatzkorrektur, C_R0, betrachtet. Diese Farbversatzkorrektur ist genau gleich der Differenz zwischen den lokalen Mittelwerten von G und R. Desgleichen kann Gleichung (5) wie folgt umgeschrieben werden: B = G + CB0, wobei C_B0 = B₀ – G₀.
In der Praxis erzeugt die Verwendung der Gleichungen (6) und (7) für einen Entmosaikisierungsprozess Farb-„Reißverschluss"-Artefakte entlang Strukturkanten von entmosaikisierten Bildern. Die Farbversatzkorrekturterme werden erhalten, indem die lokalen Mittelwerte von G und R sowie die lokalen Mittelwerte von G und B verglichen werden. Jedoch werden die verglichenen Mittelwerte nicht aus denselben Pixelpositionen extrahiert. Somit führt die auf den Gleichungen (6) und (7) beruhende Farbversatzkorrektur zu einer Vergleichsdiskrepanz, vor allem bei Vorliegen eines Gradienten einer hohen Intensität, z.B. an einer Strukturkante. Wenn jedoch G-Werte an allen Pixelpositionen verfügbar sind, können die lokalen Mittelwerte von G an beliebigen Pixelpositionen berechnet werden. Um die höchste Genauigkeit bei der Berechnung von C_R0 zu erhalten, sollten die G-Werte aus R-Positionen extrahiert werden. Desgleichen sollten die G-Werte bei der Berechnung von C_B0 aus B-Positionen extrahiert werden. Somit können die Gleichungen (6) und (7) wie folgt modifiziert werden: R = R0 + ΔGR, (8)wobei ΔG_R = G – G_R0, und B = B0 + ΔGB, (9)wobei ΔG_B = G – G_B0.
Bei den obigen Gleichungen bezeichnen G_R0 und G_B0 G-Mittelwerte, die ausgehend von R-Positionen bzw. B-Positionen berechnet werden. Die Terme ΔG_R und ΔG_B der Gleichungen (8) und (9) stellen Farbdiskontinuitätsausgleichswerte dar, um Farbdiskontinuitäten der R- und B-Werte mit den G-Werten auszugleichen.
Das G-Pfadmodul 304 der Entmosaikisierungseinheit 104 bearbeitet die G-Intensitätswerte, um die G-Intensitätswerte auf unabhängige Weise zu interpolieren und um die G- Intensitätswerte an allen Pixelpositionen zur Verfügung zu stellen. Das Farbpfadmodul 306 der Entmosaikisierungseinheit verwendet die Gleichungen (8) und (9), um interpolierte R- und B-Intensitätswerte zu erzeugen, um ein entmosaikisiertes Bild zu erzeugen, bei dem ein Farbdiskontinuitätsausgleich durchgeführt wurde.
Wie in 3 gezeigt ist, umfasst das G-Pfadmodul 304 der Entmosaikisierungseinheit 104 einen G1-G2-Fehlanpassungskompensator 308, einen adaptiven Interpolator 310 und eine Bildschärfungseinrichtung 312. Der G1-G2-Fehlanpassungskompensator bearbeitet selektiv glatte Intensitätswertunterschiede an G1- und G2-Pixeln, die durch eine G1-G2-Fehlanpassung bewirkt werden, in Regionen eines eingegebenen mosaikartigen Bildes, wenn Niedrige-Intensität-Variationen vorliegen. Wie in 4 gezeigt ist, umfasst der G1-G2-Fehlanpassungskompensator einen Pixelweise-Gradient-und-Krümmungsgröße-Detektor 402, eine G1-G2-Glättungseinheit 404 und einen Selektor 406. Der Pixelweise-Gradient-und-Krümmungsgröße-Detektor arbeitet dahingehend, ein Signal zu erzeugen, um anzugeben, ob ein gegebenes Beobachtungsfenster eines eingegebenen mosaikartigen Bildes eine Region einer niedrigen Intensität in Bezug auf G-Intensitätswerte ist. Die G1-G2-Glättungseinheit führt unter Verwendung der folgenden Maske eine Faltung durch, um die G-Intensitätswerte des gegebenen Beobachtungsfensters zu glätten.
Die Verwendung der obigen Maske besteht darin, jede G1-Eingabe durch den Mittelpunktwert zwischen der betrachteten Eingabe und dem Mittelwert der vier G2-Nachbarwerte zu ersetzen. Dasselbe gilt für jede G2-Eingabe in Bezug auf ihre G1-Nachbarn.
Das Signal. von dem Pixelweise-Gradient-und-Krümmungsgröße-Detektor 402 und die G1-G2-geglätteten G-Intensitätswerte von der G1-G2-Glättungseinheit 404 werden durch den Selektor 406 empfangen. Der Selektor empfängt auch die ursprünglichen G-Intensitätswerte des aktuellen Beobachtungsfensters des eingegebenen mosaikartigen Bildes. Je nach dem Signal von dem Pixelweise-Gradient-und-Krümmungsgröße-Detektor überträgt der Selektor entweder die G1-G2-geglätteten G-Intensitätswerte oder die ursprünglichen G-Intensitätswerte zur weiteren Verarbeitung.
Wie in 4 gezeigt ist, umfasst der Pixelweise-Gradient-und-Krümmungsgröße-Detektor 402 ein horizontales Gradientenfilter 408, ein horizontales Krümmungsfilter 410, ein vertikales Gradientenfilter 412, ein vertikales Krümmungsfilter 414 und einen Variationsgrößenanalysator 416. Die Ausgaben der Filter 408–414 werden in den Variationsgrößenanalysator eingespeist. Die Ausgabe des Variationsgrößenanalysators wird in den Selektor 406 eingespeist. Das horizontale Gradientenfilter und das horizontale Krümmungsfilter 408 und 410 verwenden die folgenden Masken, um einen Horizontalgradientenvariationswert und einen Horizontalkrümmungsvariationswert für die G-Intensitätswerte des Beobachtungsfensters des eingegebenen mosaikartigen Bildes abzuleiten.
Das vertikale Gradientenfilter und das vertikale Krümmungsfilter 412 und 414 verwenden die folgenden Masken, um einen Vertikalgradientenvariationswert und einen Vertikalkrümmungsvariationswert für die G-Intensitätswerte des gegebenen Beobachtungsfensters abzuleiten.
Der Variationsgrößenanalysator 416 empfängt die Variationswerte von den horizontalen und vertikalen Filtern 408–414 und wählt den höchsten Variationswert aus, der als die maximale Intensitätsvariationsgröße des aktuellen Beobachtungsfensters identifiziert wird. Die maximale Intensitätsvariationsgröße wird anschließend mit einer vordefinierten Schwelle verglichen, um zu bestimmen, ob die G1-G2-Fehlanpassungskompensation notwendig ist. Wenn die maximale Intensitätsvariationsgröße die vordefinierte Schwelle übersteigt, wird an den Selektor 406 ein Signal übertragen, so dass die G1-G2-geglätteten G-Intensitätswerte ausgewählt werden. Andernfalls sendet der Variationsgrößenanalysator ein anderes Signal, so dass die ursprünglichen G-Intensitätswerte des aktuellen Beobachtungsfensters durch den Selektor ausgewählt werden.
Unter erneuter Bezugnahme auf 3 ist der adaptive Interpolator 310 des G-Pfadmoduls 304 dahingehend positioniert, die G-Intensitätswerte des aktuellen Beobachtungsfensters des eingegebenen mosaikartigen Bildes von dem G1-G2-Fehlanpassungskompensator 308 zu empfangen. Der adaptive Interpolator arbeitet dahingehend, selektiv eine horizontale Interpolation oder eine vertikale Interpolation anzuwenden, je nach den Intensitätsvariationen in dem Beobachtungsfenster des eingegebenen mosaikartigen Bildes, um die fehlenden G-Intensitätswerte für R- und B-Pixelpositionen des Fensters zu schätzen. Die zugrunde liegende Idee des adaptiven Interpolators besteht darin, die horizontale Interpolation durchzuführen, wenn die Bildintensitätsvariation als lokal vertikal erfasst wurde, oder die vertikale In terpolation durchzuführen, wenn die Bildvariation als lokal horizontal erfasst wurde.
Wie in 5 gezeigt ist, umfasst der adaptive Interpolator 310 eine Horizontalinterpolationseinheit 502, eine Vertikalinterpolationseinheit 504, einen Pixelweise-Gradient-Richtung-Detektor 506 und einen Selektor 508. Die Horizontalinterpolationseinheit und die Vertikalinterpolationseinheit führen an den G-Intensitätswerten von dem G1-G2-Fehlanpassungskompensator 308 unter Verwendung der folgenden Masken eine Horizontalinterpolation bzw. Vertikalinterpolation durch.
Der Pixelweise-Gradient-Richtung-Detektor 506 des adaptiven Interpolators 310 bestimmt, ob die Ergebnisse der Horizontalinterpolation oder die Ergebnisse der Vertikalinterpolation als die interpolierten G-Intensitätswerte ausgewählt werden sollten. Der Pixelweise-Gradient-Richtung-Detektor umfasst ein Horizontal-G-Variation-Filter 510, ein Horizontal-Nicht-G-Variation-Filter 512, ein Vertikal-G-Variation-Filter 514 und Vertikal-Nicht-G-Variation-Filter 516. Die G-Variation-Filter 510 und 514 bearbeiten die G-Intensitätswerte des aktuellen Beobachtungsfensters des eingegebenen mosaikartigen Bildes, während die Nicht-G-Variation-Filter 512 und 516 die R- und B-Intensitätswerte bearbeiten. Die Variationsfilter 510–516 verwenden die folgende Maske, um Horizontal- und Vertikalvariationswerte bezüglich der G-Intensitätswerte oder der Nicht-G-Intensitätswerte für das aktuelle Beobachtungsfenster des eingegebenen mosaikartigen Bildes abzuleiten.
Der Pixelweise-Gradient-Richtung-Detektor 506 umfasst ferner Absolutwerteinheiten 518, 520, 522 und 524, Summiereinheiten 526 und 528 und einen Variationsanalysator 530. Jede Absolutwerteinheit empfängt den Variationswert von einem der Variationsfilter 510–516 und nimmt anschließend den Absolutwert, um einen positiven Variationswert abzuleiten, der anschließend an eine der Summiereinheiten 526 und 528 übertragen wird. Die Summiereinheit 526 addiert die positiven Variationswerte von den Absolutwerteinheiten 518 und 520, um einen Horizontalvariationswert abzuleiten, wohingegen die Summiereinheit 528 die positiven Variationswerte von den Absolutwerteinheiten 522 und 524 addiert, um einen Vertikalvariationswert abzuleiten. Der Horizontal- und der Vertikalwert werden anschließend durch den Variationsanalysator ausgewertet. Der Variationsanalysator bestimmt, ob der Horizontalwert größer ist als der Vertikalwert. Falls dem so ist, sendet der Variationsanalysator ein Signal, um den Selektor 508 anzuleiten, die Ergebnisse der Horizontalinterpolation zu übertragen. Falls dem nicht so ist, sendet der Variationsanalysator ein anderes Signal, um den Selektor anzuleiten, die Ergebnisse der Vertikalinterpolation zu übertragen.
Der durch den Pixelweise-Gradient-Richtung-Detektor 506 abgeleitete Horizontalwert und Vertikalwert umfassen Krümmungs- und Gradienteninformationen. An einer G-Position eines eingegebenen mosaikartigen Bildes lauten die Koeffizienten der Horizontalmaske, die an der Faltung von G-Intensitätswerten beteiligt sind, [1 0 –2 0 1), wohingegen die Koeffizienten der Horizontalmaske, die an der Faltung von Nicht-G-Intensitätswerten, d.h. R- und B- Intensitätswerten, beteiligt sind, [0 –1 0 1 0] lauten. Somit wird an einer G-Position die Krümmung durch die G-Intensitätswerte gegeben, und der Gradient wird durch die Nicht-G-Intensitätswerte gegeben. Im Gegensatz dazu wird an einer Nicht-G-Position die Krümmung durch die Nicht-G-Intensitätswerte gegeben, und der Gradient wird durch die G-Intensitätswerte gegeben. Jedoch beeinflusst diese abwechselnde Rolle der G-Intensitätswerte und der Nicht-G-Intensitätswerte nicht die Erfassung der dominanten Bildvariationsrichtung, da lediglich die Summe des Gradienten und der Krümmung benötigt wird. Dieselbe Überlegung gilt für den Vertikalvariationswert.
Unter erneuter Bezugnahme auf 3 ist die Bildschärfungseinrichtung 312 des G-Pfadmoduls 304 dahingehend positioniert, die interpolierten G-Intensitätswerte von dem adaptiven Interpolator 310 zu empfangen. Die Bildschärfungseinrichtung arbeitet dahingehend, die Gesamtbildqualität zu verbessern, indem sie die folgende Schärfungsmaske lediglich an die G-Intensitätswerte des aktuellen Beobachtungsfensters des mosaikartigen Bildes anlegt.
Die Gesamtfunktionsweise des G-Pfadmoduls 304 der Entmosaikisierungseinheit 104 ist unter Bezugnahme auf 6 beschrieben. Bei Schritt 602 werden die G-Intensitätswerte in einem Beobachtungsfenster eines eingegebenen mosaikartigen Bildes durch das G-Pfadmodul empfangen. Als Nächstes wird bei Schritt 604 eine Glättung von G1- und G2-Intensitätsunterschieden an den empfangenen G-Intensitätswerten seitens der G1-G2-Glättungseinheit des G1-G2-Fehlanpassungskompensators 308 durchgeführt, um G1-G2-kompensierte Intensitätswerte abzuleiten. Bei Schritt 606 wird die maximale Intensitätsvariationsgröße des Beobachtungsfensters durch den Variationsgrößenanalysator 416 des G1-G2-Fehlanpassungskompensators aus den Variationswerten ermittelt, die durch das horizontale Gradientenfilter 408, das horizontale Krümmungsfilter 410, das vertikale Gradientenfilter 412 und das vertikale Krümmungsfilter 414 des G1-G2-Fehlanpassungskompensators erzeugt werden. Bei Schritt 608 wird eine Bestimmung durchgeführt, ob die maximale Intensitätsvariationsgröße größer ist als eine vordefinierte Schwelle. Falls dem so ist, wird bestimmt, dass das aktuelle Beobachtungsfenster eine Region einer Hohe-Intensität-Variation ist, wo keine G1-G2-Fehlanpassungskompensation (Glättung von G1- und G2-Intensitätsunterschieden) durchgeführt werden sollte. Somit geht der Prozess zu Schritt 610 über, bei dem die ursprünglichen G-Intensitätswerte zur weiteren Verarbeitung übertragen werden. Wenn die maximale Intensitätsvariationsgröße jedoch nicht größer ist als die Schwelle, wird bestimmt, dass das aktuelle Beobachtungsfenster eine Region einer Niedrige-Intensität-Variation ist, in der eine G1-G2-Fehlanpassungskompensation durchgeführt werden sollte. Somit geht der Prozess zu Schritt 612 über, bei dem die G1-G2-kompensierten Intensitätswerte zur weiteren Verarbeitung übertragen werden.
Als Nächstes wird bei Schritt 614 eine Horizontalinterpolation durch die Horizontalinterpolationseinheit 502 des adaptiven Interpolators 310 durchgeführt. Desgleichen wird bei Schritt 616 eine Vertikalinterpolation durch die Vertikalinterpolationseinheit 504 des adaptiven Interpolators durchgeführt. Als Nächstes wird bei Schritt 618 ein Horizontalvariationswert durch das Horizontal-G-Variation-Filter 510, das Horizontal-Nicht-G-Variation-Filter .512, die Absolutwerteinheiten 518 und 520 und die Summiereinheit 526 des adaptiven Interpolators berechnet. Zusätzlich wird ein Vertikalvariationswert durch das ein Vertikal-G-Variation-Filter 514, das ein Vertikal-Nicht-G-Variation-Filter 516, die Absolutwerteinheiten 522 und 524 und die Summiereinheit 528 des adaptiven Interpolators berechnet. Die Schritte 614, 616 und 618 werden vorzugsweise parallel durchgeführt. Bei Schritt 620 wird eine Bestimmung durchgeführt, ob der Horizontalvariationswert größer ist als der Vertikalvariationswert. Falls dem so ist, werden die Ergebnisse der Horizontalinterpolation zur weiteren Verarbeitung bei Schritt 622 übertragen. Falls dem nicht so ist, werden die Ergebnisse der Vertikalinterpolation zur weiteren Verarbeitung bei Schritt 624 übertragen. Als Nächstes wird bei Schritt 626 seitens der Bildschärfungseinrichtung 312 des G-Pfadmoduls 304 eine Bildschärfung durchgeführt, indem eine Schärfungsmaske an die interpolierten G-Intensitätswerte angelegt wird.
Bei dem exemplarischen Ausführungsbeispiel umfasst das G-Pfadmodul 304 der Entmosaikisierungseinheit 104 sowohl den G1-G2-Fehlanpassungskompensator 308 als auch die Bildschärfungseinrichtung 312. Jedoch kann eine oder können beide dieser Komponenten des G-Pfadmoduls von dem G-Pfadmodul entfernt werden. Wenn beispielsweise eine G1-G2-Fehlanpassung kein signifikanter Faktor für mosaikartige Bilder ist, die durch die Bilderfassungseinheit 102 des Systems 100 erzeugt werden, mag der G1-G2-Fehlanpassungskompensator eventuell nicht in dem G-Pfadmodul enthalten sein. Somit sind der G1-G2-Fehlanpassungskompensator und die Bildschärfungseinrichtung optionale Komponenten des G-Pfadmoduls.
Die Ausgabe des G-Pfadmoduls 304 der Entmosaikisierungseinheit 104 ist ein Satz von abschließenden interpolierten G-Intensitätswerten („G'-Werten"). Wie nachfolgend beschrieben wird, sind die Ausgaben des Farbpfadmoduls 306 ein Satz von abschließenden interpolierten R-Intensitätswerten („R'-Werten") und ein Satz von abschließenden interpolierten B-Intensitätswerten („B'-Werten"). Diese Intensitätswerte stellen Farbkomponenten eines entmosaikisierten Farbbildes dar. Unter Verwendung der Gleichungen (8) und (9) umfassen die R'- und B'-Werte des durch das Farbpfadmodul erzeugten entmosaikisierten Bildes Farbdiskontinuitätsausgleichskomponenten, die einen Diskontinuitätsausgleich der R- und B- Komponenten des entmosaikisierten Bildes bezüglich der G-Komponente des Bildes liefern.
Wie in 3 gezeigt ist, umfasst das Farbpfadmodul 306 der Entmosaikisierungseinheit 104 einen R-Verarbeitungsblock 314, einen G-Verarbeitungsblock 316 und einen B-Verarbeitungsblock 318. Jeder dieser Blöcke arbeitet auf lediglich einer der Farbebenen des aktuellen Beobachtungsfensters des eingegebenen mosaikartigen Bildes. Beispielsweise arbeitet der R-Verarbeitungsblock lediglich auf der R-Ebene des Beobachtungsfensters. Wie jedoch nachfolgend beschrieben wird, werden Ergebnisse von dem G-Verarbeitungsblock seitens des R- und des B-Verarbeitungsblockes verwendet, um eine Farbkorrelation zwischen den verschiedenen Farbebenen zum Zweck eines Farbdiskontinuitätsausgleichs zu bewirken. Somit wird der G-Verarbeitungsblock des Farbpfadmoduls zuerst beschrieben.
Der G-Verarbeitungsblock 316 des Farbpfadmoduls 306 umfasst einen adaptiven Interpolator 320, eine R-Unterabtasteinheit 322, eine B-Unterabtasteinheit 324 und Interpolations- und Mittelungsfilter 326 und 328. Der adaptive Interpolator 320 ist identisch mit dem adaptiven Interpolator 310 des G-Pfadmoduls 304. Somit arbeitet der adaptive Interpolator 320 des G-Verarbeitungsblocks an den G-Intensitätswerten eines Beobachtungsfensters eines eingegebenen mosaikartigen Bildes, um die G-Intensitätswerte auf adaptive Weise zu interpolieren, um fehlende G-Intensitätswerte für die R-Positionen und B-Positionen des Beobachtungsfensters abzuleiten. Die R-Unterabtasteinheit arbeitet dahingehend, die interpolierten G-Intensitätswerte („G₀-Werte") von dem adaptiven Interpolator 320 in Bezug auf R-Positionen des Beobachtungsfensters unterabzutasten. Das heißt, dass die G₀-Werte an R-Positionen des Beobachtungsfensters des eingegebenen mosaikartigen Bildes unterabgetastet werden, um R-unterabgetastete G₀-Werte abzuleiten. Desgleichen unterabtastet die B-Unterabtasteinheit die G₀-Werte in Bezug auf B-Positionen des Beobachtungsfensters, um B- unterabgetastete G₀-Werte abzuleiten. Das Interpolations- und Mittelungsfilter 326 interpoliert und mittelt anschließend die R-unterabgetasteten G₀-Werte unter Verwendung der folgenden Mittelungsmaske.
Desgleichen interpoliert und mittelt das Interpolations- und Mittelungsfilter 328 die B-unterabgetasteten G₀-Werte unter Verwendung derselben Mittelungsmaske. Von den Interpolations- und Mittelungsfiltern 326 und 328 werden die R-unterabgetasteten und interpolierten G₀-Werte („G_R0-Werte") an den R-Verarbeitungsblock 314 gesendet, wohingegen die B-unterabgetasteten und interpolierten G₀-Werte („G_B0-Werte") an den B-Verarbeitungsblock 318 gesendet werden.
Die Funktionsweise des G-Verarbeitungsblocks 316 des Farbpfadmoduls 306 wird unter Bezugnahme auf 7 beschrieben. Bei Schritt 702 werden die G-Intensitätswerte in einem Beobachtungsfenster eines eingegebenen mosaikartigen Bildes durch den adaptiven Interpolator 320 des G-Verarbeitungsblocks empfangen. Als Nächstes wird bei Schritt 704 seitens des adaptiven Interpolators 320 eine adaptive Interpolation an den G-Intensitätswerten durchgeführt. Die Ergebnisse der adaptiven Interpolation werden entweder von einer Horizontalinterpolation oder einer Vertikalinterpolation abgeleitet, je nach den Horizontal- und Vertikalvariationswerten, die den G-Intensitätswerten des aktuellen Beobachtungsfensters zugeordnet sind. Dann unterteilt sich der Prozess in zwei parallele Pfade, wie in 7 veranschaulicht ist. Der erste Pfad umfasst Schritte 706, 708 und 710. Bei Schritt 706 werden die G₀-Werte in Bezug auf R-Positionen des Beobachtungsfensters seitens der R-Unterabtasteinheit 322 des G-Verarbeitungsblocks unterabge tastet. Die R-unterabgetasteten G₀-Werte werden anschließend bei Schritt 708 durch das Interpolations- und Mittelungsfilter 326 interpoliert und gemittelt, um G_R0-Werte abzuleiten. Als Nächstes werden bei Schritt 710 die G_R0-Werte an den R-Verarbeitungsblock 314 übertragen. Der zweite Pfad umfasst Schritte 712, 714 und 716. Bei Schritt 712 werden die G₀-Werte in Bezug auf B-Positionen durch die B-Unterabtasteinheit 324 unterabgetastet. Die B-unterabgetasteten G₀-Werte werden anschließend bei Schritt 714 durch das Interpolations- und Mittelungsfilter 328 interpoliert und gemittelt, um G_B0-Werte abzuleiten. Als Nächstes werden bei Schritt 716 die G_B0-Werte an den B-Verarbeitungsblock 318 übertragen. Die Schritte 706–710 werden vorzugsweise parallel zu den Schritten 712–716 durchgeführt.
Der R-Verarbeitungsblock 314 des Farbpfadmoduls 314 umfasst ein Interpolations- und Mittelungsfilter 330, eine Subtraktionseinheit 332 und eine Summiereinheit 334. Das Interpolations- und Mittelungsfilter 330 interpoliert und mittelt die R-Intensitätswerte des aktuellen Beobachtungsfensters des eingegebenen mosaikartigen Bildes unter Verwendung derselben Mittelungsmaske wie die Interpolations- und Mittelungsfilter 326 und 328 des G-Verarbeitungsblocks 316. Die Subtraktionseinheit empfängt anschließend die gemittelten R-Werte („R₀-Werte") sowie die G_R0-Werte von dem Interpolations- und Mittelungsfilter 326 des G-Verarbeitungsblocks. Für jedes Pixel des Beobachtungsfensters subtrahiert die Subtraktionseinheit den G_R0-Wert von dem entsprechenden R₀-Wert, um einen subtrahierten Wert („R₀-G_R0-Wert") abzuleiten. Die Summiereinheit empfängt dann die R₀-G_R0-Werte von der Subtraktionseinheit sowie die G'-Werte von dem G-Pfadmodul 304. Für jedes Pixel des Beobachtungsfensters addiert die Summiereinheit den R₀-G_R0-Wert und den entsprechenden G'-Wert, um einen abschließenden interpolierten R-Intensitätswert („R'-Wert") abzuleiten. Diese R'-Werte stellen die R-Komponente des entmosaikisierten Bildes dar.
Die Funktionsweise des R-Verarbeitungsblocks 314 des Farbpfadmoduls 306 wird unter Bezugnahme auf 8 beschrieben. Bei Schritt 802 werden die R-Intensitätswerte in einem Beobachtungsfenster eines eingegebenen mosaikartigen Bildes durch das Interpolations- und Mittelungsfilter 330 des R-Verarbeitungsblocks empfangen. Als Nächstes werden die R-Intensitätswerte bei Schritt 804 durch das Interpolations- und Mittelungsfilter 330 interpoliert und gemittelt. Bei Schritt 806 werden die R0-Werte durch die G_R0-Werte durch die Subtraktionseinheit 332 für den R-Verarbeitungsblock von dem Interpolations- und Mittelungsfilter 326 des G-Verarbeitungsblocks 316 subtrahiert. Als Nächstes werden die R₀-G_R0-Werte von der Subtraktionseinheit bei Schritt 808 zu den G'-Werten von dem G-Pfadmodul 304 durch die Summiereinheit 334 addiert, um die R'-Werte des Beobachtungsfensters abzuleiten. Die R'-Werte werden anschließend bei Schritt 810 aus dem R-Verarbeitungsblock ausgegeben.
Ähnlich dem R-Verarbeitungsblock 314 umfasst der B-Verarbeitungsblock 318 des Farbpfadmoduls 306 ein Interpolations- und Mittelungsfilter 336, eine Subtraktionseinheit 338 und eine Summiereinheit 340. Das Interpolations- und Mittelungsfilter 336 interpoliert und mittelt die B-Intensitätswerte in einem gegebenen Beobachtungsfenster eines eingegebenen mosaikartigen Bildes unter Verwendung derselben Mittelungsmaske wie das Interpolations- und Mittelungsfilter 330 des R-Verarbeitungsblocks. Die Subtraktionseinheit 338 empfängt dann die gemittelten B-Werte („B₀-Werte") sowie die G_B0-Werte von der Mittelungseinheit 328 des G-Verarbeitungsblocks 316. Für jedes Pixel des Beobachtungsfensters subtrahiert die Subtraktionseinheit 338 den G_B0-Wert von dem entsprechenden B₀-Wert, um einen subtrahierten Wert („B₀-G_B0-Wert") abzuleiten. Dann empfängt die Summiereinheit 340 die R₀-G_B0-Werte von der Subtraktionseinheit sowie die G'-Werte von dem G-Pfadmodul 304. Für jedes Pixel des Beobachtungsfensters addiert die Summiereinheit 340 den R₀-G_B0-Wert und den entsprechenden G'-Wert, um einen abschließenden B-interpolierten Wert („B'-Wert") abzulei ten. Diese B'-Werte stellen die B-Komponente des entmosaikisierten Bildes dar. Die Funktionsweise des B-Verarbeitungsblocks ist ähnlich der Funktionsweise des R-Verarbeitungsblocks und wird somit hierin nicht beschrieben.
Aus der obigen Beschreibung des Farbpfadmoduls 306 ist ersichtlich, dass der G-Verarbeitungsblock 316 und die Subtraktions- und Summiereinheiten 332, 334, 338 und 340 der R- und 8-Verarbeitungsblöcke 314 und 318 dahingehend arbeiten, bei Farbdiskontinuitätsausgleichswerten, d.h. ΔG_R und ΔG_B der Gleichungen (8) und (9), bezüglich der R₀- und B₀-Werte eines eingegebenen mosaikartigen Bildes eine Rolle zu spielen, um R'- und B'-Werte zu erzeugen, die zu einem entmosaikisierten Bild mit ausgeglichenen Farbdiskontinuitäten führen. Die Farbdiskontinuitätsausgleichswerte für die R-Komponente des eingegebenen mosaikartigen Bildes werden zu den R₀-Werten hinzuaddiert, indem zuerst G_R0-Werte, die durch den G-Verarbeitungsblock erzeugt werden, von den R₀-Werten subtrahiert werden und indem anschließend die G'-Werte, die aus dem G-Pfadmodul 304 erzeugt werden, addiert werden. Desgleichen werden die Farbdiskontinuitätsausgleichswerte für die B-Komponente des eingegebenen mosaikartigen Bildes zu den B₀-Werten hinzuaddiert, indem zuerst G_B0-Werte, die durch den G-Verarbeitungsblock erzeugt werden, von den R₀-Werten subtrahiert werden und indem anschließend die G'-Werte, die aus dem G-Pfadmodul 304 erzeugt werden, addiert werden.
Bei einer ASIC-Implementierung sowie bei anderen Arten von Implementierungen mit einer begrenzten Speicherkapazität lautet ein gewünschtes Merkmal der Entmosaikisierungseinheit 104, dass alle notwendigen Faltungen während einer einzigen Stufe der Bildverarbeitung parallel durchgeführt werden. Mehrere Faltungsstufen erfordern üblicherweise dazwischen liegende Zeilenpuffer, was die Kosten des Systems erhöht. Ein weiteres gewünschtes Merkmal besteht darin, dass die Entmosaikisierungseinheit an Faltungsfenstern ei ner geringen Größe arbeitet. Die Größe des Faltungsfensters bestimmt die Anzahl von Zeilenpuffern, die benötigt werden. Somit wird ein kleineres Faltungsfenster gewünscht, um die Anzahl von Zeilenpuffern zu verringern. Ein weiteres gewünschtes Merkmal ist die Verwendung von Mittelungsmasken, die größer sind als 3 × 3. Eine Verwendung von Mittelungsmasken der Größe 3 × 3 erzeugt unbefriedigende entmosaikisierte Bilder in Bezug auf Farb-Aliasing. Somit sollte die Größe der Masken zumindest 5 × 5 betragen. Nachstehend finden sich alternative Ausführungsbeispiele des G-Pfadmoduls 304 und des G-Verarbeitungsblocks 316 des Farbpfadmoduls 306, die die Verwirklichung der oben beschriebenen Merkmale ermöglichen.
Bei 9 ist ein G-Pfadmodul 902 mit Adaptive-Interpolation- und Bildschärfungsfähigkeiten gezeigt. Das G-Pfadmodul 902 ist funktionell äquivalent zu dem G-Pfadmodul 304 der 3, das lediglich den adaptiven Interpolator 310 und die Bildschärfungseinrichtung 312 umfasst. Wie in 9 gezeigt ist, umfasst das G-Pfadmodul 902 die Horizontalinterpolationseinheit 502, die Vertikalinterpolationseinheit 504, den Pixelweise-Gradient-Richtung-Detektor 506 und den Selektor 508. Diese Komponenten 502–508 des G-Pfadmoduls 902 sind dieselben Komponenten, die bei dem adaptiven Interpolator 310 der 3 zu finden sind, die in 5 gezeigt sind. Die Komponenten 502–508 arbeiten dahingehend, die Ergebnisse der Horizontalinterpolation oder die Ergebnisse der Vertikalinterpolation, je nach der Bestimmung des Pixelweise-Gradient-Richtung-Detektors 508, zu übertragen.
Das G-Pfadmodul 902 der 9 umfasst ferner ein Horizontaldifferenzierungsfilter 904, ein Vertikaldifferenzierungsfilter 906, einen Selektor 908 und eine Summiereinheit 910. Diese Komponenten 904–910 des G-Pfadmoduls arbeiten dahingehend, die durch die Bildschärfungseinrichtung 312 des G-Pfadmoduls 304 der 3 durchgeführte Bildschärfung anzunähern. Die Funktionsweise des adaptiven Interpolators 310 und der Bildschärfungseinrichtung 312 des G-Pfadmoduls 304 der 3 kann als Anlegen einer Horizontal- oder Vertikalinterpolationsmaske an die gegebenen G-Intensitätswerte und als ein anschließendes Anlegen einer Schärfungsmaske angesehen werden. Der Schärfungsvorgang kann als Hinzufügen einer unterschiedlichen Komponente zu den nicht-interpolierten Intensitätswerten interpretiert werden. Somit kann die kombinierte Interpolations- und Schärfungsmaske wie folgt unterteilt werden.
Somit arbeiten die Komponenten 904–910 des G-Pfadmoduls 902 dahingehend, die entsprechende Differentialkomponente selektiv zu den interpolierten G-Intensitätswerten zu addie ren. Die Horizontal- und Vertikaldifferenzierungsfilter 904 und 906 arbeiten unabhängig an den G-Intensitätswerten in dem gegebenen Beobachtungsfenster des eingegebenen mosaikartigen Bildes unter Verwendung der Horizontal- bzw. der Vertikaldifferentialmaske. Der Selektor 908 überträgt entweder die Ergebnisse der Vertikalschärfung oder die Ergebnisse der Horizontalschärfung, je nach der Bestimmung des Pixelweise-Gradient-Richtung-Detektors 506. Bei einem Szenario werden die Ergebnisse der Horizontalinterpolation und der Horizontalschärfung durch die Summiereinheit 910 kombiniert, um die G'-Werte zu erzeugen. Bei einem anderen Szenario werden die Ergebnisse der Vertikalinterpolation und der Vertikalschärfung durch die Summiereinheit 910 kombiniert, um die G'-Werte zu erzeugen. Jedoch liefert die durch das G-Pfadmodul 902 der 9 gelieferte Interpolation und Schärfung allgemein nicht dieselben G'-Werte, die durch ein äquivalentes G-Pfadmodul der 3 erzeugt werden, das lediglich den adaptiven Interpolator 310 und die Bildschärfungseinrichtung 312 umfasst, die nacheinander die adaptive Interpolation und die Bildschärfung durchführen würden. Für das G-Pfadmodul 902 der 9 werden die Ausgabewerte der Schärfungsfaltung von den ursprünglichen G-Intensitätswerten abgeleitet, wohingegen die Ausgabewerte der Schärfungsfaltung für das äquivalente G-Pfadmodul der 3 entweder von den horizontalinterpolierten G-Intensitätswerten oder den vertikalinterpolierten G-Intensitätswerten abgeleitet werden. Jedoch erzeugt dieser Unterschied keine bedeutenden Artefakte in dem entmosaikisierten Bild.
Bei 10 ist ein G-Pfadmodul 1002 mit G1-G2-Fehlanpassungskompensations- und Adaptive-Interpolation-Fähigkeiten gezeigt. Das G-Pfadmodul 1002 ist funktionell äquivalent zu dem G-Pfadmodul 304 der 3, das lediglich den G1-G2-Fehlanpassungskompensator 308 und den adaptiven Interpolator 310 umfasst. Wie in 10 gezeigt ist, umfasst das G-Pfadmodul 1002 die Horizontalinterpolationseinheit 502, die Vertikalinterpolationseinheit 504, den Pixel weise-Gradient-Richtung-Detektor 506 und den Selektor 508. Diese Komponenten 502–508 des G-Pfadmoduls 1002 sind dieselben Komponenten, die bei dem adaptiven Interpolator 310 der 3 zu finden sind, die in 5 gezeigt sind. Die Komponenten 502–508 arbeiten dahingehend, die Ergebnisse der Horizontalinterpolation oder die Ergebnisse der Vertikalinterpolation zu übertragen, je nach der Bestimmung des Pixelweise-Gradient-Richtung-Detektors 508.
Das G-Pfadmodul 1002 der 10 umfasst ferner ein Glättungs- und Horizontalinterpolationsfilter 1004, ein Glättungs- und Vertikalinterpolationsfilter 1006, einen Selektor 1008, einen Zweitstufenselektor 1010 und den Pixelweise-Gradient-und-Krümmungsgröße-Detektor 402. Die Filter 1004 und 1006 führen in einem einstufigen Prozess sowohl eine adaptive Interpolation als auch eine G1-G2-Fehlanpassungskompensation durch. Die Filter 1004 und 1006 arbeiten unter Verwendung der folgenden Masken an den G-Intensitätswerten.
Der Selektor 1008 überträgt die Ergebnisse entweder der Horizontalinterpolation und der G1-G2-Glättung oder der Vertikalinterpolation und der G1-G2-Glättung an den Zweitstufenselektor, je nach der Bestimmung durch den Pixelweise-Gradient-Richtung-Detektor. Der Zweitstufenselektor empfängt ferner die Ergebnisse entweder der Horizontalinterpolation oder der Vertikalinterpolation von dem Selektor 508. Der Zweitstufenselektor überträgt die Ausgabewerte von dem Selektor 508 oder die Ausgabewerte von dem Selektor 1008 zur weiteren Verarbeitung, je nach der Bestimmung, die durch den Pixelweise-Gradient-und-Krümmungsgröße-Detektor getroffen wurde.
Ähnlich dem G-Pfadmodul 902 der 9 liefert das G-Pfadmodul 1002 der 10 allgemein nicht dieselben G'-Werte, die durch ein äquivalentes G-Pfadmodul der 3 erzeugt werden, das lediglich den G1-G2-Fehlanpassungskompensator 308 und den adaptiven Interpolator 310 umfasst, die nacheinander die G1-G2-Glättung und die adaptive Interpolation durchführen würden. Jedoch erzeugt dieser Unterschied wiederum keine bedeutenden Artefakte in dem entmosaikisierten Bild.
Bei 11 ist ein G-Pfadmodul 1102 mit G1-G2-Fehlanpassungskompensations-, Adaptive-Interpolation- und Schärfungseigenschaften gezeigt. Das G-Pfadmodul 1102 ist funktionell äquivalent zu dem G-Pfadmodul 304 der 3. Wie in 11 gezeigt ist, umfasst das G-Pfadmodul 1102 alle Komponenten des G-Pfadmoduls 902 der 9 und des G-Pfadmoduls 1002 der 10. Die in dem gestrichelten Kästchen 1104 enthaltenen Komponenten sind all die Komponenten des G-Pfadmoduls 1002 der 10. Diese Komponenten 502–508 und 1004–1010 erzeugen die G-Intensitätswerte, die das Ergebnis einer G1-G2-Glättung und der adaptiven Interpolation sind. Das G-Pfadmodul 1002 der 11 umfasst ferner das Horizontaldifferenzierungsfilter 904, das Vertikaldifferenzierungsfilter 906, den Selektor 908 und die Summiereinheit 910. Diese Komponenten 904–910 erzeugen die Horizontal- und Vertikalschärfungs-Differentialkomponentenwerte. Die G-Intensitätswerte von dem Zweitstufenselektor 1010 werden durch die Summiereinheit entweder zu den Horizontaldifferentialkomponentenwerten oder den Vertikaldifferentialkomponentenwerten von dem Selektor 908 hinzuaddiert, je nach der Bestimmung des Pixelweise-Gradient-Richtung-Detektors. Um zu gewährleisten, dass G1-G2-Fehlanpassungen die Berechnung der Differentialkomponentenwerte nicht verfälschen, werden die folgenden Differentialmasken seitens der Horizontal- und Vertikaldifferenzierungsfilter 904 und 906 verwendet.
Diese Masken sind dazu entworfen, entweder die G1-Werte oder die G2-Werte lediglich zu „lesen". Allgemein führen G1-G2-Fehlanpassungen zu einem Versatz zwischen den lokalen Mittelwerten von G1 bzw. G2. Jedoch tragen G1-G2-Fehlanpassungen wenig zu den Diskrepanzen zwischen ihren jeweiligen Variationen bei. Folglich sind die Ausgaben derartiger Masken allgemein unempfindlich für G1-G2-Fehlanpassungen.
Bei 12 ist Ein G-Verarbeitungsblock 1202 für das Farbpfadmodul 306 der 3 gemäß einem alternativen Ausführungsbeispiel der Erfindung (zur ASIC-Implementierung) gezeigt. Der G-Verarbeitungsblock 1202 ist funktionell äquivalent zu dem G-Verarbeitungsblock 316 des Farbpfadmoduls 306 der 3. Wie in 12 gezeigt ist, umfasst der G-Verarbeitungsblock 1202 einen G1-G2-Separator 1204, der die G-Intensitätswerte in G1- und G2-Werte trennt. Der G-Verarbeitungsblock 1202 umfasst ferner ein Horizontalinterpolations- und Mittelungsfilter 1206, ein Vertikalinterpolations- und Mittelungsfilter 1210, den Pixelweise-Gradient-Richtung-Detektor 506 und einen Selektor 1214. Diese Komponenten arbeiten dahingehend, G_R0-Werte für ein gegebenes Beobachtungsfenster eines eingegebenen mosaikartigen Bildes zu erzeugen. Der G-Verarbeitungsblock umfasst ferner ein Horizontalinterpolations- und Mittelungsfilter 1212, ein Vertikalinterpolations- und Mittelungsfilter 1208 und einen Selektor 1216. Diese Komponenten arbeiten zusammen mit dem Pixelweise-Gradient-Richtung-Detektor 506 da hingehend, G_B0-Werte für das aktuelle Beobachtungsfenster zu erzeugen.
Das Horizontalinterpolations- und Mittelungsfilter 1206 verwendet die folgende Maske an den G1-Werten, um „Horizontale-Komponente"-G_R0-Werte zu erzeugen, die an die G_R0-Werte, die durch den G-Verarbeitungsblock 316 des Farbpfadmoduls der 3 erzeugt werden, angenähert sind, wenn die Horizontalinterpolation angewendet wurde.
wobei die Mittelungsmaske wie folgt lautet:
Somit ist die durch das Horizontalinterpolations- und Mittelungsfilter 1206 verwendete Maske eine 7 × 7-Maske, wie folgt:
Mit anderen Worten stellen die durch das Horizontalinterpolations- und Mittelungsfilter 1206 erzeugten „Horizontalkomponenten"-G_R0-Werte die G_R0-Werte dar, die durch den adaptiven Interpolator 320, die R-Unterabtasteinheit 322 und das Interpolations- und Mittelungsfilter 326 des G-Verarbeitungsblocks 316 der 3 erzeugt werden, wenn die Ausgaben des adaptiven Interpolators 320 die Ergebnisse der Horizontalinterpolation sind.
Das Vertikalinterpolations- und Mittelungsfilter 1210 verwendet die folgende Maske an den G2-Werten, um „Vertikalkomponenten"-G_R0-Werte zu erzeugen, die den G_R0-Werten angenähert sind, die durch den G-Verarbeitungsblock 316 der 3 erzeugt werden, wenn die Vertikalinterpolation angewendet wurde.
wobei die Mittelungsmaske dieselbe Maske ist, die durch das Horizontalinterpolations- und Mittelungsfilter 1206 verwendet wird. Somit ist die durch das Vertikal- und Mittelungsfilter 1210 verwendete Maske eine 7 × 7-Maske, wie folgt:
Mit anderen Worten stellen die durch das Vertikalinterpolations- und Mittelungsfilter 1210 erzeugten „Vertikalkomponenten"-G_R0-Werte die G_R0-Werte dar, die durch den adaptiven Interpolator 320, die R-Unterabtasteinheit 322 und das Interpolations- und Mittelungsfilter 326 des G-Verarbeitungsblocks der 3 erzeugt werden, wenn die Ausgaben des adaptiven Interpolators 320 die Ergebnisse der Vertikalinterpolation sind.
Das Horizontalinterpolations- und Mittelungsfilter 1212 verwendet dieselbe Maske wie das Horizontalinterpolations- und Mittelungsfilter 1206, um „Horizontalkomponenten"-G_B0-Werte zu erzeugen, die an die G_B0-Werte angenähert sind, die durch den G-Verarbeitungsblock 316 der 3 erzeugt werden, wenn die Horizontalinterpolation angewendet wurde. Desgleichen verwendet das Vertikalinterpolations- und Mittelungsfilter 1210 dieselbe Maske wie das Vertikalinterpolations- und Mittelungsfilter 1208, um „Vertikalkomponenten"-G_B0-Werte zu erzeugen, die an die G_B0-Werte angenähert sind, die durch den G-Verarbeitungsblock 316 der 3 erzeugt werden, wenn die Vertikalinterpolation angewendet wurde.
Im Betrieb empfängt der G1-G2-Separator 1204 die G-Intensitätswerte in einem gegebenen Beobachtungsfenster eines eingegebenen mosaikartigen Bildes. Der G1-G2-Separator überträgt die G1-Werte der G-Intensitätswerte an die Filter 1206 und 1208. Zusätzlich überträgt der G1-G2-Separator die G2-Werte der G-Intensitätswerte an die Filter 1210 und 1212. Das Horizontalinterpolations- und Mittelungsfilter 1206 erzeugt G_R0-Werte, die horizontalinterpolierte Komponenten umfassen, wohingegen das Vertikalinterpolations- und Mittelungsfilter 1210 G_R0-Werte erzeugt, die vertikalinterpolierte Komponenten umfassen. Diese G_R0-Werte werden durch den Selektor 1214 empfangen. Anschließend überträgt der Selektor entweder die G_R0-Werte von dem Horizontalinterpolations- und Mittelungsfilter 1206 oder die G_R0-Werte von dem Vertikalinterpolations- und Mittelungsfilter 1210, je nach der Bestimmung des Pixelweise-Gradient-Richtung-Detektors 506.
Im Parallelbetrieb zu den Filtern 1206 und 1210 erzeugt das Horizontalinterpolations- und Mittelungsfilter 1212 G_B0-Werte, die horizontalinterpolierte Komponenten umfassen, wohingegen das Vertikalinterpolations- und Mittelungsfilter 1208 G_B0-Werte erzeugt, die vertikalinterpolierte Komponen ten umfassen. Diese G_B0-Werte werden durch den Selektor 1216 empfangen. Der Selektor überträgt anschließend entweder die G_B0-Werte von dem Horizontalinterpolations- und Mittelungsfilter 1212 oder die G_B0-Werte von dem Vertikalinterpolations- und Mittelungsfilter 1208, je nach der Bestimmung des Pixelweise-Gradient-Richtung-Detektors 506.
Bei 13 ist ein G-Verarbeitungsblock 1302 gezeigt, der eine stärker vereinfachte Konfiguration aufweist als der G-Verarbeitungsblock 1202 der 12. Die durch die Filter 1206–1212 des G-Verarbeitungsblocks 1202 der 12 verwendeten 7 × 7-Masken sind ähnlich der ursprünglichen 5 × 5-Mittelungsmaske. Das heißt, dass der zentrale 5 × 5-Abschnitt der 7 × 7-Masken, die durch die Filter 1206–1212 verwendet werden, ähnlich der ursprünglichen 5 × 5-Mittelungsmaske ist. Somit nähert sich der G-Verarbeitungsblock 1302 der 13 durch die ursprünglichen 5 × 5-Mittelungsmasken an beide dieser 7 × 7-Masken an. Wie in 13 gezeigt ist, umfasst der G-Verarbeitungsblock 1302 den G1-G2-Separator 1204, die Selektoren 1214 und 1216 und den Pixelweise-Gradient-Richtung-Detektor 506, die auch in dem G-Verarbeitungsmodul 1202 der 12 zu finden sind. Die einzigen Unterschiede zwischen den G-Verarbeitungsmodulen der 12 und 13 bestehen darin, dass die Filter 1206 und 1208 des G-Verarbeitungsmoduls 1202 durch ein Interpolations- und Mittelungsfilter 1304 ersetzt sind und die Filter 1210 und 1212 des G-Verarbeitungsmoduls 1202 durch ein Interpolations- und Mittelungsfilter 1306 ersetzt sind. Das Interpolations- und Mittelungsfilter 1304 arbeitet an den G1-Werten eines gegebenen Beobachtungsfensters eines eingegebenen mosaikartigen Bildes, wohingegen das Interpolations- und Mittelungsfilter 1306 an den G2-Werten arbeitet. Diese Interpolations- und Mittelungsfilter verwenden beide die ursprüngliche 5 × 5-Mittelungsmaske. Die Ausgabewerte des Interpolations- und Mittelungsfilters 1304 stellen sowohl die „Horizontalkomponenten"-G_R0-Werte als auch die „Vertikalkomponenten"-G_B0-Werte dar. Desgleichen stellen die Ausgabewerte des Interpolations- und Mittelungsfilters 1306 so wohl die „Horizontalkomponenten"-G_B0-Werte als auch die „Vertikalkomponenten"-G_R0-Werte dar. Je nach der Bestimmung des Pixelweise-Gradient-Richtung-Detektors 506 übertragen die Selektoren 1214 und 1216 entweder die „Horizontalkomponenten"-G_R0- und -G_B0-Werte oder die „Vertikalkomponenten"-G_R0- und -G_B0-Werte.
Wie zuvor angegeben wurde, liefert die Entmosaikisierungseinheit 104 einen Farbdiskontinuitätsausgleich, indem sie folgende Anforderung durchsetzt: ΔR = ΔG = ΔB. Wenn jedoch nach einer Entmosaikisierung eine starke Farbkorrektur angewendet wird, ist die Qualität des resultierenden Bildes vermindert. Unter einer Farbkorrektur des Typs:
wobei M eine 3 × 3-Matrix ist, wird die zu beobachtende Farbdiskontinuität durch eine Linearität (ΔR', ΔG' oder ΔB') bewirkt, wobei
Jedoch erfüllen ΔR', ΔG' und ΔB' allgemein nicht das Erfordernis, dass ΔR' = ΔG' = ΔB', was zu Artefakten führen kann. Somit kann der Farbdiskontinuitätsausgleich dahingehend modifiziert werden, das Erfordernis ΔR' = ΔG' = ΔB' zu erfüllen.
Zum Zweck eines Farbdiskontinuitätsausgleichs ohne Farbkorrekturüberlegungen wird die Farbdiskontinuität durch ΔG bei einem feststehenden Pixel an einer G-Position gegeben. Der Ausgleich wird erzielt, indem die Gleichungen ΔR = ΔG und ΔB = ΔG zum Entmosaikisieren durchgesetzt werden. Diese Glei chungen werden modifiziert, um die folgenden Gleichungen abzuleiten, die allgemeiner sind. ΔR = a·ΔG (12)und ΔB = b·ΔG, (13)wobei a und b feststehende Konstanten sind. Für eine gegebene Farbkorrekturmatrix M liegt ein Paar eindeutiger Konstanten (a, b) vor, so dass die obigen Gleichungen Folgendes implizieren: ΔR' = ΔG' (14)und ΔB' = ΔG'. (15)
Zusätzlich weist das Paar von Konstanten einen eindeutigen Ausdruck in Bezug auf die Koeffizienten von M auf. Wenn die Koeffizienten von M wie folgt gekennzeichnet sind:
kann man anhand von linearer Algebra zeigen, dass die eindeutige Lösung bei (a, b) die folgenden Ausdrücke aufweist. a = –(bg·gb – bb·gg – bg·rb + gg·rb + bb·rg – gb·rg)/D, (17)und b = –(br·gg – bg·gr – br·rb + gr·rb + bb·rr – gg·rr)/D, (18) wobei D = br·gb – bb·gr – br·rb + gr·rb + bb·rr – gb·rr. (19)
Somit kann der obige Ausdruck dazu verwendet werden, einen Farbdiskontinuitätsausgleich zu liefern, wenn auf das Entmosaikisieren eine starke Farbkorrektur folgt. In dem Fall, in dem das Pixel an einer R-Position befindlich ist, werden die folgenden Gleichungen angewendet. ΔG = 1/a·ΔR (20) und ΔB = b/a·ΔR. (21)
Desgleichen werden an einer B-Position die folgenden Gleichungen angewendet. ΔR = a/b·ΔB (22)und ΔG = 1/b·ΔB. (23)
Dieser „farbkorrekturkompensierte" Ausgleich gilt für einen Entmosaikisierungsprozess, der die Gleichungen (6) und (7) verwendet, die lauten: R = G + C_R0 und B = G + C_B0, wobei C_R0 = R₀ – G₀ und C_B0 = B₀ – G₀. Für einen Entmosaikisierungsprozess, der die Gleichungen (8) und (9) verwendet, die lauten: R = R₀ + ΔG_R und B = B₀ + ΔG_B, wobei ΔG_R = G – G_R0 und ΔG_B = G – G_B0, muss der Farbdiskontinuitätsausgleich jedoch weiter modifiziert werden, um die Erfordernisse ΔR = ΔG_R und ΔB = ΔG_B, wobei ΔG_R und ΔG_B nicht unbedingt gleich sein müssen, zu erfüllen. Da es für die G-Farbdiskontinuität zwei Werte gibt, kann die Transformation einer Farbdiskontinuität, wie sie durch den Ausdruck (11) definiert ist, nicht verwendet werden. Somit wird ein anderer Lösungsansatz verwendet, um die Erfordernisse von ΔR = ΔG_R und ΔB = ΔG_B zu erfüllen.
Für eine gegebene Pixelposition wird angenommen, dass ΔG_R und ΔG_B berechnet wurden. Das Ziel besteht darin, ΔR und ΔB zu finden, so dass ΔR' = ΔG'R (24)und ΔB' = ΔG'B (25)wobei
und
Um eine Lösung zu finden, werden die folgenden Gleichungen verwendet, die sogar noch allgemeiner sind als die Gleichungen (12) und (13). ΔR = a·ΔGR + b·ΔGB (28)und ΔB = c·ΔGR + d·ΔGB, (29) wobei die Koeffizienten (a, b, c, d) feststehende Konstanten sind. Wiederum kann durch lineare Algebra gezeigt werden, dass durch die Annahme, dass
die Operationen (28) und (29) die Gleichungen (24) und (25) erfüllen.
Somit werden für jede Pixelposition die folgenden Gleichungen verwendet. R = R0 + a·ΔGR + b·ΔGB (30) B = B0 + c·ΔGR + d·ΔGB (31)
Die obigen Gleichungen werden unter Verwendung der Gleichungen (28) und (29) von den Gleichungen (8) und (9) abgeleitet.

Claims

Ein Verfahren zum Entmosaikisieren eines mosaikartigen Bildes unter Verwendung einer Mittelungsmaske, wobei das mosaikartige Bild erste (G) und zweite (R) Farbwerte aufweist, um ein entmosaikisiertes Bild abzuleiten, wobei das entmosaikisierte Bild interpolierte erste Werte (G₀; G') und korrigierte zweite Werte (R') aufweist, wobei das Verfahren folgende Schritte umfasst: Interpolieren (310; 320; 704) der ersten Farbwerte (G), um die interpolierten ersten Werte (G₀; G') abzuleiten; Interpolieren (330; 804) der zweiten Farbwerte (R) unter Verwendung der Mittelungsmaske, um gemittelte zweite Werte (R₀) abzuleiten; und Ableiten, für jeden gemittelten zweiten Wert (R₀), des korrigierten zweiten Wertes (R') durch folgende Schritte: Unterabtasten (322; 706) aller interpolierten ersten Werte (G₀) in der Mittelungsmaske, die dem zweiten Wert (R) zugeordnet sind; Mitteln (326; 708) der unterabgetasteten interpolierten ersten Werte unter Verwendung der Mittelungsmaske, um einen Farbdiskontinuitätsausgleichswert (G_R0) abzuleiten; und Summieren (332, 334; 806, 808) des gemittelten zweiten Werts (R₀), der Negativzahl des Farbdiskontinuitätsausgleichswerts (G_R0) und des inter polierten ersten Werts (G₀), der dem gemittelten zweiten Wert (R₀) zugeordnet ist, um den korrigierten zweiten Wert (R') zu ergeben.
Das Verfahren gemäß Anspruch 1, bei dem der Schritt des Interpolierens (310; 320; 704) der ersten Farbwerte (G) ein adaptives Interpolieren (310) der ersten Farbwerte (G) unter Verwendung einer Interpolationstechnik umfasst, die aus zumindest einer ersten Interpolationstechnik und einer zweiten Interpolationstechnik ausgewählt ist.
Ein System zum Entmosaikisieren eines mosaikartigen Bildes unter Verwendung einer Mittelungsmaske, wobei das mosaikartige Bild erste (G) und zweite (R) Farbwerte aufweist, um ein entmosaikisiertes Bild abzuleiten, wobei das entmosaikisierte Bild interpolierte erste Werte (G₀; G') und korrigierte zweite Werte (R') aufweist, wobei das System folgende Merkmale aufweist: ein erstes Interpolationsmodul (310; 320) zum Interpolieren der ersten Farbwerte (G), um die interpolierten ersten Werte (G₀; G') abzuleiten; ein zweites Interpolationsmodul (330; 804) zum Interpolieren der zweiten Farbwerte (R) unter Verwendung der Mittelungsmaske, um gemittelte zweite Werte (R₀) abzuleiten; und ein Farbdiskontinuitätsausgleichsmodul (322, 326, 332, 334) zum Ableiten eines korrigierten zweiten Werts (R') für jeden gemittelten zweiten Wert (R₀), das folgende Merkmale aufweist: ein Unterabtastmodul (322) zum Unterabtasten aller interpolierten ersten Werte (G₀) in der Mittelungsmaske, die dem zweiten Wert (R) zugeordnet sind; ein Mittelungsmodul (326) zum Mitteln der unterabgetasteten interpolierten ersten Werte unter Verwendung der Mittelungsmaske, um einen Farbdiskontinuitätsausgleichswert (G_R0) abzuleiten; und eine Recheneinheit (332, 334) zum Summieren des gemittelten zweiten Werts (R₀), der Negativzahl des Farbdiskontinuitätsausgleichswerts (G_R0) und des interpolierten ersten Werts (G₀), der dem gemittelten zweiten Wert (R₀) zugeordnet ist, um den korrigierten zweiten Wert (R') zu ergeben.
Ein System gemäß Anspruch 3, bei dem das erste Interpolationsmodul (310; 320) einen adaptiven Interpolator (310; 320) umfasst, der dazu konfiguriert ist, die ersten Farbwerte (G) unter Verwendung einer Interpolationstechnik, die aus zumindest einer ersten Interpolationstechnik und einer zweiten Interpolationstechnik ausgewählt ist, auf adaptive Weise zu interpolieren.