DE69628867T2

DE69628867T2 - Adaptive Farbebeneninterpolation in einer elektronischen Einfachsensorfarbkamera

Info

Publication number: DE69628867T2
Application number: DE69628867T
Authority: DE
Inventors: Jr. John F. Rochester Hamilton; Jr. James E. Rochester Adams
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1995-03-17
Filing date: 1996-03-04
Publication date: 2004-06-03
Anticipated expiration: 2016-03-05
Also published as: JPH08298669A; DE69628867D1; EP0732859A2; EP0732859B1; US5629734A; EP0732859A3; JP3510037B2

Description

Querverweis zu ähnlichen Anmeldungen
Bezug wird auf die ebenfalls dem Anmelder zugewiesene U.S. Anmeldung Seriennummer 08/407,436, eingereicht am 17. März 1995 für James E. Adams, Jr. und John F. Hamilton, Jr., genommen, die hiermit gleichzeitig eingereicht wird und die nunmehr als US-5,506,619 veröffentlicht ist.
Gebiet der Erfindung
Die Erfindung bezieht sich auf das Gebiet der elektronischen Bildgebung (electronic imaging) und ist insbesondere für elektronische Festbildgebung mittels eines elektronischen Aufnahmegerätes bzw. Still-Camera mit einem einzelnen Farbsensor und Speicher geeignet.
Hintergrund der Erfindung
Bei elektronischer Farbbildgebung, ist es wünschenswert, gleichzeitig Bilddaten in drei Farbebenen, normalerweise rot, grün und blau, zu erfassen. Wenn die drei Farbebenen kombiniert werden, ist es möglich, hochqualitative Farbbilder zu erzeugen. Die Erfassung dieser drei Sätze von Bilddaten kann auf einer Vielzahl von Wegen erfolgen. In der elektronischen Fotografie wird dieses manchmal mittels einer einzelnen zweidimensionalen Anordnung von Sensoren, die von einem Muster aus roten, grünen und blauen Filtern abgedeckt ist, erreicht. Dieser Sensortyp ist auch als Farbfiltermatrix oder CFA (co-lor filter array) bekannt. Unten sind die roten (R), grünen (G) und blauen (B) Pixel in ihrer üblichen Anordnung in einem CFA-Sensor dargestellt.
Wenn ein Farbbild mittels einer CFA erfasst wird, ist es nötig, die Rot-, Grün- und Blauwerte zu interpolieren, so dass es eine Schätzung für alle drei Farbwerte für jede Sensorstelle gibt. Nach Ausführung der Interpolation hat jedes Bildelement, oder Pixel, drei Farbwerte, und kann mittels einer Vielzahl von bekannten Bildverarbeitungstechniken, je nach Anforderungen des Systems, verarbeitet werden. Einige Beispiele für die Notwendigkeit der Verarbeitung sind Bildschärfenerhöhung, Farbkorrekturen oder Rasterung (half toning).
Im Folgenden wird gezeigt, wie rote, grüne und blaue Pixel in einer Farbfiltermatrix angeordnet werden können. Für eine detaillierte Beschreibung wird auf das U.S. Patent Nr. 3,971,065 bei Bayer verwiesen.
Weiterhin wird auf das Dokument EP-A-0 632 663 aufmerksam gemacht, das eine Vorrichtung und Verfahren für eine adaptive Interpolation offenbart, die auf ein digitalisiertes Bildsignal angewendet wird, das von einem Bildsensor mit Farbfotoplätzen, die eine Vielzahl von Farbwerten, jedoch nur eine Farbe pro Fotoplatz, generiert, erhalten wird. Ein digitaler Prozessor erhält Gradientenwerte aus den Differenzen zwischen Luminanzwerten in senkrechter und horizontaler Bildrichtungen. Die Gradientwerte werden mit einem programmierbaren Schwellenwert verglichen, um eine der Richtungen als die bevorzugte Orientierung für die Interpolation des zusätzlichen Luminanzwertes auszuwählen. Die Interpolation wird dann an Werten ausgeführt, die mit der bevorzugten Orientierung übereinstimmen.
Weiterhin wird auf das Dokument Patent Abstracts of Japan, Vol. 018, Nr. 546 (P-1814), 18. Oktober 1994, und JP 06-195457 aufmerksam gemacht, die eine Schaltung zum Eliminieren der Kantenbetonung in eine unnötige Richtung offenbaren. Für die Detektierung des Vorliegens einer Kantenbetonung wird der Laplace-Operator für vier Richtungen berechnet.
Gemäß der vorliegenden Erfindung wird eine Vorrichtung zur Verarbeitung eines digitalisierten Bildsignales erhalten von einem Bildsensor gemäß An spruch 1 vorgesehen. Bevorzugte Ausführungsbeispiele der Erfindung werden in den Unteransprüchen offenbart.
Zusammenfassung der Erfindung
Das Ziel dieser Erfindung ist es, eine verbesserte Vorrichtung zur Schätzung der fehlenden Pixelwerte in einer CFA vorzusehen.
Das Ziel wird erreicht, mittels einer Vorrichtung zur Verarbeitung eines digitalisierten Bildsignals, das von einem Bildsensor erhalten wird, und zwar mit Farbfotoplätzen (color photosites), die in Zeilen und Spalten ausgerichtet sind, und mindestens drei verschiedene Farbwerte, jedoch nur ein Farbwert für jede Fotoplatzstelle generieren, wobei Folgendes vorgesehen ist: Mittel zum Interpolieren von Farbwerten für jede Fotoplatzstelle aufweist, so dass sie drei verschiedene Farbwerte besitzt, wobei die Interpolationsmittel Folgendes aufweisen:
Mittel zum Speichern des digitalisierten Bildsignals; und einen Prozessor, der zusammen mit den Speichermitteln operiert, und zwar zum Generieren eines geeigneten Farbwertes, der an einer Fotoplatzstelle fehlt, und zwar durch die Interpolation eines zusätzlichen Farbwertes für solche Fotoplatzstellen aus Farbwerten von Farben, die sich von der Farbe des fehlenden Farbwertes unterscheiden, und zwar an nahegelegenen Fotoplatzstellen, wobei der Prozessor Folgendes beinhaltet:
Mittel ansprechend auf das digitale Bildsignal zum Erhalt von Laplacian-Werten zweiter Ordnung und Gradientwerten in mindestens zwei Bildrichtungen aus nahegelegenen Fotoplätzen der gleichen Spalte und Zeile; Mittel zum Addieren der Laplacian-Werte zweiter Ordnung und der Gradientwerte um einen Klassifizierer zu definieren und zur Auswahl einer bevorzugten Orientierung für die Interpolation des fehlenden Farbwerts basierend auf einem Klassifizierer; und
Mittel ansprechend auf die Laplace-Werte zweiter Ordnung zum Interpolieren des fehlenden Farbwerts aus nahegelegenen mehreren Farbwerten, ausgewählt in Übereinstimmung mit der bevorzugten Orientierung.
Die Vorteile der Erfindung sind (1) ein reicherer Satz von Nachbarschaftsklassifikationen liefert die benötigten Freiheitsgrade um schwierige Bildelemente, wie z. B. spiegelnde bzw. glänzende Highlights, die die vorherigen Ansätze weniger zufriedenstellend gehandhabt haben, auf geeignete Weise zu rekonstruieren; und (2) eine Recheneffizienz hinsichtlich der Anforderungen an Ausführungszeit und Speicherplatz.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm einer elektronischen Still-Kamera, die Interpolationsverarbeitung gemäß der Erfindung verwendet;
2 ist ein Blockdiagramm der Logik der Interpolationsverarbeitungstechnik, die in Verbindung mit der Erfindung verwendet wird;
3 ist ein detailliertes Blockdiagramm der Logik des Interpolationsluminanzabschnittes der 2; und
4 ist ein detaillierteres Blockdiagramm des Chrominanzabschnittes der 2.
5 und 6 zeigen logische Blockdiagramme für die Interpolationsprozesse gemäß der vorliegenden Erfindung.
Detaillierte Beschreibung der Erfindung
Da elektronische Kameras mit Einzelsensor, die Farbfilteranordnungen bzw. Matrizen verwenden bekannt sind, wird sich die vorliegende Erfindung insbesondere auf Elemente richten, die einen Teil der Vorrichtung und des Verfahrens gemäß der vorliegenden Erfindung bilden, oder direkt mit diesen zusammenwirken. Elemente, die nicht explizit hierin gezeigt oder beschrieben sind, können von denen auf dem Fachgebiet bekannten Elementen ausgewählt werden.
Anfänglich Bezug nehmend auf 1 und 2 ist eine elektronische Still-Kamera bzw. Standbildaufnahmegerät im Allgemeinen in einen Eingabeab schnitt 2 und einen Interpolations- und Aufnahmeabschnitt 4 unterteilt. Der Eingabeabschnitt 2 beinhaltet einen Belichtungsabschnitt 10 um Bildlicht von einem Gegenstand (nicht dargestellt) in Richtung eines Bildsensors 12 zu lenken. Obwohl dies nicht dargestellt ist, beinhaltet der Belichtungsabschnitt 10 herkömmliche Optiken zum Lenken des Bildlichtes durch eine Blende, die eine optische Blende bzw. Durchlass reguliert, sowie einen Verschluss, der die Belichtungszeit reguliert. Der Bildsensor 12, der eine zweidimensionale Anordnung von Fotoplätzen (photosites) entsprechend den Bildelementen des Bildes beinhaltet, ist eine herkömmliche ladungsgekoppelte Vorrichtung (CCD (charged coupled device)) unter Verwendung von entweder bekannten Interlinientransfer- oder Rahmentransfertechniken. Der Bildsensor 12 wird durch eine Farbfiltermatrix (CFA (color filter array)) 13, bekannt als die Bayer-Anordnung, abgedeckt, die in dem U.S. Patent Nr. 3,971,065 beschrieben ist. In der Bayer-Geometrie deckt jede Farbe einen Fotoplatz, oder Bildelement (Pixel) des Sensors ab. Insbesondere sind die Chrominanzfarben (Rot und Blau) in einem Damenbrett- bzw. Schachbrettmuster von Luminanzfarben (Grün) verstreut. Der Bildsensor 12 wird Bildlicht ausgesetzt, so dass analoge Bildladungsinformation in jeweiligen Fotoplätzen generiert wird. Die Ladungsinformation wird an eine Ausgabediode 14 angelegt, die die Ladungsinformation in analoge Bildsignale entsprechend den jeweiligen Bildelementen konvertiert. Die analogen Bildsignale werden an einen A/D-Wandler 16 angelegt, der ein digitales Bildsignal von dem analogen Eingabesignal für jedes Bildelement generiert. Die digitalen Signale werden an einen Bildpuffer 18 angelegt, was ein Speicher mit wahlfreiem Zugriff (RAM (random access memory)) mit einer Speicherkapazität für eine Vielzahl von Standbildern sein kann.
Ein Steuerprozessor 20 steuert im Allgemeinen den Eingabeabschnitt 2 der Kamera durch Initiieren und Steuern der Belichtung (durch Betrieb der Blende und des Verschlusses (nicht dargestellt) in dem Belichtungsabschnitt 10), durch Generierung der horizontalen und senkrechten Taktung, die benötigt wird, um den Bildsensor 12 zu betreiben und zur Taktung der Bildinformation hiervon, und durch Freigabe des A/D-Wandlers 16 zusammen mit dem Bildpuffer 18 für jedes Signalsegment in Beziehung zu einem Bildelement (der Steuerprozessor 20 würde normalerweise einen Mikroprozessor, der mit einer Systemtimingschaltung gekoppelt ist, beinhalten). Sobald eine bestimmte Anzahl von Digitalbildsignalen in dem Bildpuffer 18 akkumuliert wurde, werden die gespeicherten Signale an einen Digitalsignalprozessor 22 angelegt, der die Durchlassverarbeitungsrate für den Interpolations- und Aufnahmeabschnitt 4 der Kamera steuert. Der Digitalsignalprozessor 22 legt einen Interpolationsalgorithmus auf die Digitalbildsignale an, und sendet die interpolierten Signale zu einer herkömmlichen, entfernbaren Speicherkarte 24 über einen Verbinder 26.
Da die Interpolation und die zugehörige Verarbeitung normalerweise über mehrere Schritte auftritt, werden die Zwischenergebnisse des Verarbeitungsalgorithmusses in einem Verarbeitungspuffer 28 gespeichert (der Verarbeitungspuffer 28 kann ebenfalls als ein Teil des Speicherraumes des Bildpuffers 18 konfiguriert werden). Die Anzahl der Bildsignale, die in dem Bildpuffer 18 benötigt werden, bevor die digitale Verarbeitung beginnen kann, hängt von dem Typ der Verarbeitung ab, d. h. für den Beginn einer Nachbarschaftsinterpolation (neighborhood interpolation) muss ein Block von Signalen, die zumindest einen Teil der Bildsignale, die einen Videoframe aufweisen, beinhalten, zur Verfügung stehen. Dementsprechend kann in den meisten Umständen die Interpolation beginnen, sobald der erforderliche Block von Bildelementen in dem Puffer 18 vorliegt.
Der Eingabeabschnitt 2 operiert mit einer Rate, die dem normalen Betrieb der Kamera während der Interpolation entspricht, die mehr Zeit in Anspruch nehmen kann, und wobei die Rate von der Eingaberate relativ abgekoppelt sein kann. Der Belichtungsabschnitt 10 belichtet den Bildsensor 12 mit Bildlicht eine Zeitperiode lang, die von den Belichtungsanforderungen abhängt, und zwar z. B. eine Zeitperiode zwischen 1/1000 Sekunde und mehreren Sekunden. Die Bildladung wird dann von den Fotoplätzen in dem Bildsensor 12 abgetastet (swept), in ein digitales Format konvertiert, und in den Bildpuffer 18 geschrieben. Die Antriebssignale, die von dem Steuerprozessor 20 an den Bildsensor 12, den A/D-Wandler 16 und den Puffer 18 geliefert werden, wer den demgemäß generiert, um solch einen Transfer zu erreichen. Die Verarbeitungsdurchlassrate des Interpolations- und Aufnahmeabschnittes 4 wird durch die Geschwindigkeit des Digitalsignalprozessors 22 bestimmt.
Eine wünschenswerte Folge dieser Architektur ist es, dass der Verarbeitungsalgorithmus, der in dem Interpolations- und Aufnahmeabschnitt eingesetzt wird, hinsichtlich der Qualitätsbearbeitung des Bildes im Gegensatz zur Durchlassgeschwindigkeit ausgewählt werden kann. Dies kann natürlich eine Verzögerung zwischen aufeinander folgenden Bildern zur Folge haben, was den Benutzer beeinträchtigen kann, in Abhängigkeit der Zeit zwischen fotografischen Ereignissen. Dies ist ein Problem, da es auf dem Gebiet der elektronischen Bildgebung bekannt und anerkannt ist, dass eine digitale Still-Kamera eine kontinuierliche Aufnahmemöglichkeit für eine sukzessive Sequenz von Bildern vorsehen sollte. Aus diesem Grund sieht der Bildpuffer 18, gezeigt in der 1, eine Speicherung einer Vielzahl von Bildern vor, um es effektiv zu ermöglichen, eine Serie von Bildern mit Videoraten "zu stapeln" bzw. „stack up". Die Größe des Puffers wird so eingerichtet, dass genug aufeinander folgende Bilder aufgenommen werden können, um die meisten Bildaufnahmesituationen abzudecken.
Ein Betriebsanzeigefeld 30 ist mit dem Steuerprozessor 20 verbunden, um Information, die für den Betrieb der Kamera nützlich ist, anzuzeigen. Solche Information kann typische fotografische Daten, wie z. B. Verschlussgeschwindigkeit, Blende, Belichtungsbias, Farbbalance (Auto, Tungsten, Fluoreszenz, Tageslicht), Gebiet/Rahmen, geringe Batterieleistung, schlechtes Licht, Belichtungsmodi (Blende bevorzugt, Verschluss bevorzugt), usw. beinhalten. Weiterhin werden andere Informationen, die für den Kameratyp spezifisch sind, angezeigt. Z. B. würde die entnehmbare Speicherkarte 24 normalerweise ein Inhaltsverzeichnis beinhalten, das den Beginn und das Ende eines jeden gespeicherten Bildes kennzeichnet. Dies würde auf dem Anzeigefeld 30 entweder (oder beides) die Anzahl der gespeicherten Bilder oder die Anzahl der verbleibenden Bildspeicherplätze oder der geschätzten verbleibenden Bildspeicherplätze anzeigen.
Der digitale Signalprozessor 22 interpoliert jedes Standvideobild, das in dem Bildpuffer 18 gespeichert ist, gemäß der Interpolationstechnik, die in der 2 gezeigt ist. Die Interpolation von fehlenden Datenwerten an jeder Pixelstelle folgt der Sequenz, die in 2 gezeigt ist; d. h. zuerst wird die Hochfrequenzinformation für die „fehlenden grünen" Pixel (d. h. die roten und blauen Pixelstellen) interpoliert, um die Luminanzwiedergabe zu verbessern und, zweitens, die Farbdifferenzinformation wird an den Hochfrequenzstellen durch bilineare Verfahren interpoliert um die anderen Farben des CFA-Musters zu generieren. In der Implementierung, die in der 2 gezeigt ist, wird eine adaptive Interpolationstechnik in dem Luminanzabschnitt 36 zur Optimierung der Performance des Systems für Bilder mit horizontalen und vertikalen Kanten verwendet. „Fehlende grüne" Pixel werden adaptiv entweder horizontal, vertikal oder zweidimensional interpoliert, und zwar in Abhängigkeit von dem Gradienten festgestellt zwischen den Chrominanz-(rot und blau)-Pixelstellen in den vertikalen und horizontalen Richtungen um den „fehlenden grünen" Pixel herum.
Der erste Schritt zum adaptiven Interpolieren der „fehlenden, grünen" Pixel ist es, ein Interpolationsverfahren auszuwählen. Die Details für diesen Prozess sind in dem Block 40 der 3 dargestellt. Der Prozess beginnt mit der Berechnung von zwei zusammengesetzten Pixelklassifiziererwerten (composite pixel classifier values) (Block 50), und zwar eine für die horizontale Richtung und eine für die senkrechte. Der Ausdruck „Pixelklassifizierer" bezeichnet einen Wert, der berechnet wird, um eine Entscheidung über die weitere Verarbeitung der Pixelinformation zu treffen. Der Ausdruck "zusammengesetzt" bezeichnet die Abhängigkeit des Wertes von einer Vielzahl von Farbebenen. In diesem Fall wird der absolute Wert des Laplace-Operators der grünen Ebene zu dem absoluten Wert des Gradienten der roten oder blauen Ebene addiert, und zwar in Abhängigkeit davon, welches die entsprechende Farbe in der Bayer-Farbfiltermatrix war.
Die zwei Klassifiziererwerte werden dann verglichen (Block 52) und hinsichtlich einer Gleichwertigkeit getestet. In dem wahrscheinlichen Fall, dass ein Wert kleiner als der andere ist, wird das Interpolationsverfahren entsprechend dem kleineren Wert ausgewählt (Block 54). Wenn die Werte gleich sind, dann wird das vorgegebene Interpolationsverfahren ausgewählt (Block 56). In beiden Fällen ist Block 40 fertig.
Der grüne (Luma) Interpolationsschritt (Block 44) hat zwei Teile, wie in der 4 dargestellt. Der erste Block (Block 80) mittelt die zwei Luminanz-(Grün)-Werte gemäß dem ausgewählten Interpolationsverfahren. Der zweite Teil (Block 82) addiert einen Korrekturfaktor basierend auf entweder roten oder grünen benachbarten Werten, und zwar in Abhängigkeit davon, ob der in Frage stehende Pixel durch einen roten oder blauen Filter in der Bayer-Farbfiltermatrix abgedeckt war. Die Rot/Blau-(Chroma)-Interpolation fährt auf ähnliche Art und Weise wie die oben beschriebene Grün-(Luma)-Interpolation fort. Die Details dieses Prozesses sind im Block 46 der 5 gezeigt. Der Prozess beginnt mit Berechnen von zwei zusammengesetzten Pixelklassifiziererwerten (Block 60) und zwar einen für die negative Diagonalrichtung und einen für die positive Diagonalrichtung. Der Ausdruck „negativ diagonal" bezeichnet die Linie mit Steigung –1 (die die obere Linke mit der unteren Rechten verbindet). Der Ausdruck „positiv diagonal" bezeichnet die Linie mit der Steigung +1 (die die untere Linke mit der oberen Rechten verbindet). Wiederum werden die zusammengesetzten Klassifizierer durch Addieren des absoluten Wertes des Laplace-Operators in der grünen Ebene zu dem absoluten Wert des Gradienten in entweder der roten oder blauen Ebene aufgefunden, und zwar in Abhängigkeit davon, welche Farbe interpoliert wird.
Die zwei Klassifizierennrerte werden dann verglichen (Block 62) und auf Gleichwertigkeit getestet. In dem wahrscheinlichen Fall dass ein Wert größer ist als der andere wird das Interpolationsverfahren entsprechend dem kleineren Wert ausgewählt (Block 64). Wenn die Werte gleich sind, dann wird das vorgegebene Interpolationsverfahren ausgewählt (Block 66). In beiden Fällen ist Block 46 fertig.
Der Rot/Blau-(Chroma)-Interpolationsschritt (Block 48) hat zwei Teile, wie in der 6 gezeigt. In dem ersten Teil (Block 70) werden zwei Chrominanzwerte (entweder rot oder blau), und zwar in Abhängigkeit von der Pixelposition, in der Bayer-Farbfiltermatrix gemäß dem ausgewählten Interpolationsverfahren gemittelt. Der zweite Teil (Block 72) addiert einen Korrekturfaktor basierend auf grünen benachbarten Werten.
Im Folgenden wird eine detaillierte Beschreibung des Betriebes des Digitalsignalprozessors für ein spezifisches Beispiel unter Verwendung der Bayermatrix gegeben.
Interpolation der Grün-Ebene
Der erste Durchlauf der Interpolation besetzt vollständig die grüne Farbebene. Die Bayer-Farbfiltermatrix wird angenommen. Die folgende Nachbarschaft (neighborhood) wird betrachtet.
Gx ist ein grüner Pixel und Ax ist entweder ein roter Pixel oder ein blauer Pixel. (Alle Ax Pixel werden für die gesamte Nachbarschaft dieselbe Farbe haben.) Aus Gründen der Einfachheit wird der Ausdruck „Chroma" im Folgenden mit der Bedeutung von entweder Rot oder Blau verwendet. Die folgenden Klassifizieren werden gebildet. DH = I– A3 + 2A5 – A71 + IG4 – G61 DV = I– A1 + 2A5 – A91 + IG2 – G81
Diese Klassifizierer bestehen aus Laplacian-Operatorausdrücken zweiter Ordnung für die Chroma-Daten und Gradienten der Grün-Daten. Somit fühlen diese Klassifizierer Information hinsichtlich hoher Orts- bzw. Raumfrequenzen ab, die in der Pixelnachbarschaft in den horizontalen (DH) und vertikalen (DV) Richtungen vorliegen.
Es werden dann drei Prädiktoren gebildet. G5H =(G4 + G6)/2 + (–A3 + 2A5 – A7/4 G5V = (G2 + G8)/2 + (–A1 + 2A5 – A9)/4 G5A = (G2 + G4 + G6 + G8)/4 + (–A1 – A3 + 4A5 – A7 – A9)/8
Diese Prädiktoren setzen sich zusammen aus arithmetischen Mitteln für die Grün-Daten und auf geeignete Weise skalierten Laplace-Operatorausdrücken zweiter Ordnung für die Chroma-Daten. G5H wird verwendet, wenn die bevorzugte Orientierung für die Interpolation in horizontaler Richtung innerhalb der Pixelnachbarschaft liegt. Ähnlich wird G5V verwendet, wenn die bevorzugte Orientierung für die Interpolation in senkrechter Richtung liegt. G5A wird verwendet, wenn es keine klare Bevorzugung einer Orientierung für die Interpolation gibt.
Der gesamte Grün-Interpolationsprozess kann nun wie es unten folgt ausgedrückt werden.
Der Schlüssel zu diesem Prozess liegt darin, dass beide, die Grün- und die Chroma-Daten ein Minimum in der Information der hohen Raumfrequenzen (minimum of high spatial frequency Information) für eine gegebene Orientierung anzeigen muss, damit diese als bevorzugte Orientierung für die Interpolation ausgewählt wird. Wenn ein großer Betrag von Information von hoher Raumfrequenz in entweder den Grün-Daten oder den Chroma-Daten für eine gegebene Orientierung vorliegt, wird dies den Wert des entsprechenden Klassifizierers aufblähen bzw. überhöhen. Dies wiederum reduziert die Wahrscheinlichkeit dafür, dass die Orientierung als die bevorzugte Orientierung für die Interpolation ausgewählt wird.
In der Praxis kann der Grün-Interpolationsprozess wie unten hinsichtlich der Recheneffizienz vereinfacht werden.
Diese Vereinfachung wird dadurch erreicht, dass die horizontale Richtung als die Default- bzw. Vorgabevorzugsorientierung für die Interpolation definiert wird, wenn beide, die horizontalen und vertikalen Klassifizierer gleich sind. Die Anzahl der Ereignisse in einem typischen Bild, wo die horizontalen und senkrechten Klassifizierer gleich sind, ist so gering, dass diese Vereinfachung im Allgemeinen einen vernachlässigbaren Einfluss auf die Bildqualität des schlussendlich rekonstruierten Bildes hat.
Rot- und Blau-(Chroma)-Interpolation
Der zweite Durchlauf der Interpolation bevölkert die roten und blauen Farbebenen. In dem U.S. Patent Nr. 4,642,678 erteilt am 10. Februar 1987, Cok, ist die unten zusammengefasste Chroma-Interpolation offenbart. Die folgende Nachbarschaft wird betrachet.
Gx ist ein grüner Pixel, Ax ist entweder ein roter oder blauer Pixel und C5 ist das entgegengesetzte Farbpixel zu Ax (d. h. wenn Ax rot ist, dann ist C5 blau und umgekehrt). Anzumerken ist, dass alle Gx Pixel, G1 bis G9, als bekannt und zusammenfallend mit allen entsprechenden Ax und C5 Pixeln angenommen werden.
Es gibt drei Fälle. Fall 1 ist derjenige, bei dem die nächsten Nachbarn zu Ax in derselben Spalte sind. Der folgende Prädiktor wird verwendet. (A4 wird als Beispiel verwendet.) A4 = (A1 + A7)/2 + (–G1 + 2G4 – G7/2
Fall 2 liegt dann vor, wenn die nächsten Nachbarn zu Ax in derselben Zeile liegen. Der folgende Prädiktor wird verwendet. (A2 wird als Beispiel verwendet). A2 = (A1 + A3)/2 + (-G1 + 2G2 – G3)/2
Fall 3 wird verwendet, wenn der nächste Nachbar zu Ax die vier Ecken sind. Der folgende Prädiktor wird verwendet. (A5 wird als ein Beispiel verwendet). A5 = (A1 + A3 + A7 + A9)/4 + (–G1 – G3 + 4G5 – G7 – G9)/4
Es wird eine Verbesserung für den Fall 3 beschrieben. Die folgenden zwei Klassifizierer werden gebildet. DN = I– G1 + 2G5 – G91 + IA1 – A91 DP = I – G3 + 2G5 – G71 + IA3 – A71
Diese Klassifizierer bestehen aus Laplace-Operatorausdrücken zweiter Ordnung für die Gründaten und Gradienten für die Chromadaten. Somit fühlen diese Klassifizierer die Information der hohen räumlichen Frequenz in der Pi xelnachbarschaft in den negativ diagonalen (DN) und positiv diagonalen (DP) Richtungen ab.
Es werden dann drei Prädiktoren gebildet. A5N = (A1 + A9)/2 +(–G1 + 2G5 – G9)/2 A5P = (A3 + A7)/2 + (–G3 + 2G5 – G7)/2 A5A =(A1 + A3 + A7 + A9)/4 +(–G1 – G3 + 4G5 – G7 – G9)/4
Diese Prädiktoren setzen sich aus arithmetischen Mitteln für die Chromadaten und auf geeignete Weise skalierten Laplace-Operatorausdrücken zweiter Ordnung für die Grün-Daten zusammen. A5N wird verwendet, wenn die bevorzugte Orientierung für die Interpolation in die Negativdiagonalrichtung innerhalb der Pixelnachbarschaft liegt. Ähnlich A5P soll verwendet werden, wenn die bevorzugte Orientierung für die Interpolation in die positiv diagonale Richtung ist. A5A wird verwendet, wenn es keine klare Präferenz für die Orientierung der Interpolation gibt.
Der gesamte Fall 3 Chroma-Interpolationsprozess kann nun wie folgt ausgedrückt werden.
In diesem Prozess müssen beide, die Grün- und die Chromadaten, ein Minimum in der Information der hohen Raumfrequenz bzw. räumlichen Frequenz (high spatial frequency information) für eine gegebene Orientierung andeuten, um sie als bevorzugte Orientierung für die Interpolation auszuwählen. Wenn es einen großen Betrag in der Information der hohen Raumfrequenz in entweder den Grün-Daten oder den Chroma-Daten für eine gegebene Orientierung gibt, wird dies den Wert des entsprechenden Klassifizierers überhöhen. Dies wiederum reduziert die Wahrscheinlichkeit dafür, dass die Orientierung als die bevorzugte Orientierung für die Interpolation ausgewählt wird.
In der Praxis kann der Fall 3 Chroma-Interpolationsprozess wie unten hinsichtlich einer Berechnungseffizienz vereinfacht werden.
Diese Vereinfachung wird durch das Definieren der negativen Diagonalrichtung die Vorgabevorzugsorientierung für die Interpolation, wenn beide negativ und positiv diagonalen Klassifizierer gleich sind, erreicht. Die Anzahl der Ereignisse in einem typischen Bild, bei dem die negativ und positiv diagonalen Klassifizierer gleich sind, ist so gering, dass die Vereinfachung im Allgemeinen einen vernachlässigbaren Einfluss auf die Bildqualität des abschließend rekonstruierten Bildes hat.
Andere Merkmale der Erfindung sind unten angeführt. Die Vorrichtung, wobei dann, wenn die bevorzugte Orientierung senkrecht ist, der Farbplatz grün ist, und der fehlende Farbwert rot ist, benachbarte senkrechte Rotfarbwerte Bemittelt werden und senkrechte Grünfarbwerte inklusive des grünen Farbplatzwertes den Korrekturwert vorsehen.
Die Vorrichtung, wobei dann wenn die bevorzugte Orientierung senkrecht ist, ein Farbplatz grün ist, und der fehlende Farbwert rot ist, benachbarte senkrechte Blaufarbwerte Bemittelt werden, und senkrechte Grünfarbwerte inklusive des Grünfarbplatzwertes den Korrekturwert vorsehen.
Die Vorrichtung, wobei dann wenn die bevorzugte Orientierung positiv diagonal ist, ein Farbplatz grün ist, und der fehlende Farbwert rot ist, benachbarte positiv diagonale Rotfarbwerte gemittelt werden und positiv diagonale Grünfarbwerte inklusive des Grünfarbplatzwertes den Korrekturwert vorsehen.
Die Vorrichtung, wobei dann wenn die bevorzugte Orientierung positiv diagonal ist, ein Farbplatz grün ist, und der fehlende Farbwert blau ist, benachbarte positiv diagonale Blaufarbwerte gemittelt werden und positiv diagonale Grünfarbwerte inklusive des Grünfarbplatzwertes den Korrekturwert vorsehen.
Die Erfindung wurde im Detail unter Bezugnahme auf bestimmte bevorzugte Ausführungsbeispiele hiervon beschrieben. Es ist jedoch zu verstehen, dass Variationen und Modifikationen innerhalb des Rahmens der Erfindung durchgeführt werden können.

2: Eingabeabschnitt
4: Aufnahmeabschnitt
10: Belichtungsabschnitt
12: Bildsensor
13: Farbfiltermatrix
14: Ausgabediode
16: A/D-Wandler
18: Bildpuffer
20: Steuerprozessor
22: Digitalsignalprozessor
24: entnehmbare Speicherkarte
26: Verbinder
28: Verarbeitungspuffer
30: Anzeigefeld
36: Luminanzabschnitt
38: Chromaabschnitt
40: Auswahl der besten Luma-Interpolation
44: Interpolieren der fehlenden Luma-Werte
46: Auswahl der besten Chroma-Interpolation
48: Interpolieren der fehlenden Chroma-Werte
50: Berechnen von horizontalen und senkrechten zusammengesetzten
52: Klassifiziererwerten
54: Klassifizierertest
56: Auswahl des Interpolationsverfahrens entsprechend dem kleinsten Wert
60: Auswahl des Vorgabeverfahrens für die Interpolation
62: Block
64: Block
66: Block
70: Block
72: Mittel der Rot/Blau-Werte
80: Addieren des Grün-Korrekturfaktors
82: Block

Claims

Eine Vorrichtung zur Verarbeitung eines digitalisierten Bildsignals, erhalten von einem Bildsensor (12) mit in Zeilen und Spalten angeordneten Farbfotoplätzen (photosites), die mindestens drei gesonderte Farbwerte erzeugen, aber nur einen Farbwert für jede Fotoplatzstelle, wobei Folgendes vorgesehen ist: Mittel zum Interpolieren der Farbwerte von jeder Fotoplatzstelle, so dass sie je drei unterschiedliche Farbwerte aufweist, wobei die Interpolationsmittel Folgendes aufweisen: Mittel zur Speicherung (18, 28) des digitalisierten Bildsignals; und einen Prozessor (22), der zusammen mit den Speichermitteln arbeitet, um einen entsprechenden Farbwert zu erzeugen, der an einer Fotoplatzstelle fehlt und zwar durch die Interpolation eines zusätzlichen Farbwerts für derartige Fotoplatzstellen aus Farbwerten von unterschiedlichen Farben als der fehlende Farbwert und zwar an nahegelegenen Fotoplatzstellen, wobei der Prozessor (22) Folgendes aufweist: auf das digitale Bildsignal ansprechende Mittel zum Erhalt von Laplacian-Werten zweiter Ordnung und Gradientenwerten in mindestens zwei Bildrichtungen von nahegelegenen Fotoplätzen der gleichen Spalte und Zeile; Mittel zum Addieren der Laplacian-Werte zweiter Ordnung und der Gradientwerte, um einen Klassifizierer zu definieren und um eine bevorzugte Orientierung für die Interpolation des fehlenden Farbwertes basierend auf einem Klassifizieren auszuwählen; und Mittel ansprechend auf die Laplacian-Werte zweiter Ordnung zur Interpolation des fehlenden Farbwerts aus nahegelegenen, mehreren Farbwerten, ausgewählt in Übereinstimmung mit der bevorzugten Orientierung.
Vorrichtung nach Anspruch 1, wobei die Fotoplätze rote, grüne und blaue Farbfotoplätze aufweisen, und zwar ausgerichtet in Zeilen und Spalten, wobei die Mittel zur Interpolation des fehlenden Farbwerts geeignet sind, um benachbarte Farbwerte der gleichen Farbe zu mitteln und zu korrigieren, und zwar durch benachbarte Farbwerte eines unterschiedlichen Farbwertes.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung horizontal ist, ein Farbplatz rot ist und der fehlende Farbwert grün ist, und wobei die benachbarten horizontalen grünen Farbwerte gemittelt werden und die horizontalen roten Farbwerte einschließlich des roten Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung horizontal ist, ein Farbplatz blau ist und der fehlende Farbwert grün ist, und wobei die benachbarten horizontalen grünen Farbwerte gemittelt werden und horizontale blaue Farbwerte einschließlich des blauen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung horizontal ist, ein Farbplatz grün ist und der fehlende Farbwert rot ist, und wobei die benachbarten horizontalen roten Farbwerte gemittelt werden und horizontale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte: Orientierung horizontal ist, ein Farbplatz grün ist und der fehlende Farbwert blau ist, und wobei die benachbarten horizontalen blauen Farbwerte gemittelt werden und horizontale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung negativ diagonal ist, ein Farbplatz grün ist und der fehlende Farbwert rot ist, und wobei die benachbarten negativen diagonalen roten Farbwerte gemittelt werden und negative diagonale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung negativ diagonal ist, ein Farbplatz grün ist und der fehlende Farbwert blau ist, und wobei die benachbarten negativen diagonalen blauen Farbwerte gemittelt werden und negative diagonale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung vertikal ist, ein Farbplatz rot ist und der fehlende Farbwert grün ist, und wobei die benachbarten vertikalen grünen Farbwerte gemittelt werden und vertikale rote Farbwerte einschließlich des roten Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung vertikal ist, ein Farbplatz blau ist und der fehlende Farbwert grün ist, und wobei die benachbarten vertikalen grünen Farbwerte gemittelt werden und vertikale blaue Farbwerte einschließlich des blauen Farbplatzwertes den Korrekturwert vorsehen.