DE112013004198T5

DE112013004198T5 - Bildverarbeitungsvorrichtung, Verfahren, Programm, Aufzeichnungsmedium und Bildaufnahmevorrichtung

Info

Publication number: DE112013004198T5
Application number: DE112013004198.7T
Authority: DE
Inventors: c/o FUJIFILM Corporation Tanaka Seiji
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2012-08-27
Filing date: 2013-08-21
Publication date: 2015-05-07
Also published as: JPWO2014034486A1; US9363493B2; CN104584542A; JP5755814B2; CN104584542B; US20150172615A1; WO2014034486A1

Abstract

Die Berechnung von GR- und GB-Farbverhältnissen in einer lokalen Fläche verwendet einen gewichteten Durchschnittswertfilter mit Gewichtungskoeffizienten, bei denen das Verhältnis von Gesamtsummen von Gewichtungskoeffizienten für G- und R-Pixel 1:1 ist, sowie gewichtete Durchschnittswertfilter mit Gewichtungskoeffizienten, bei denen das Verhältnis einer Gesamtsumme von Gewichtungskoeffizienten für G- und B-Pixel 1:1 ist, an Pixellinien in einer horizontalen Richtung und einer vertikalen Richtung in einem Kernel. Es werden dann R- und B-Pixelwerte berechnet, indem der Pixelwert eines zu verarbeitenden Pixels mit dem G-Pixelwert an der Pixelposition, die einem Demosaikprozess unterworfen wird, und dem Farbverhältnis interpoliert wird.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, ein Verfahren, ein Programm und ein Aufzeichnungsmedium, und eine Bildaufnahmevorrichtung, und insbesondere eine Technik zum Reduzieren des Auftretens von Farbmoiré (engl. color moire).
Stand der Technik
In einer Bildaufnahmevorrichtung, die ein Einzelelement-Farbbild-Aufnahmeelement enthält, ist ein ausgegebenes Bild des Farbbild-Aufnahmeelements ein RAW-Bild (Mosaikbild). Es wird daher ein Mehrfachkanal-Bild durch eine simultane Verarbeitung erfasst (alternativ als ein Demosaikprozess (engl. demosaic process) bezeichnet; im Folgenden soll dies gelten), die fehlende Pixel mit Umgebungspixeln interpoliert.
PTL 1 beschreibt, dass ein Interpolationsprozess unter einer Annahme durchgeführt wird, dass Farbverhältnisse von Rot (R), Grün (G) und Blau (B) im Wesentlichen in einer lokalen Fläche bzw. einem lokalen Bereich während eines Demosaikprozesses konstant gehalten werden. Zum Beispiel werden Niederfrequenzkomponenten mR', mG und mB' von R-, G- und B-Signalen für 7×7-Pixeleingangs-Pixeleinheiten erfasst, die, als zentrales Pixel, ein Pixel verwenden, das einem Demosaikprozess unterworfen wird. Die Pixelwerte von R- und B-Pixeln an einem G-Pixel in diesem Fall, bei dem das zu verarbeitende Pixel das G-Pixel ist, werden als R = (mR'/mG)g und B = (mB'/mG)g auf Grundlage des Pixelwerts g des G-Pixels und von Farbverhältnissen in einem lokalen Bereich ((mR'/mG, mB'/mG) geschätzt.
Die Niederfrequenzkomponenten mR', mG und mB' von R-, G- und B-Signalen für 7×7-Pixeleingangs-Pixeleinheiten werden über eine Berechnung eines gewichteten Durchschnittswerts durch eine Faltungsoperation zwischen einem RGB-Signal in 7×7-Pixeleingangs-Pixeleinheiten und Gewichtungskoeffizienten erfasst, wobei hohe Gewichtungskoeffizienten dem Zentrum zugewiesen werden (24 und 26 in PTL1).
Liste des Stands der Technik

PTL1: Japanische Patentanmeldung mit der Veröffentlichungsnummer 2011-182354

Zusammenfassung der Erfindung
Technisches Problem
Die in PTL1 beschriebene Erfindung betrifft einen Demosaikprozess für ein Mosaikbild mit einer RGBW-Anordnung, erfasst aus einem Bildaufnahmeelement, das weiße (W) Pixel zusätzlich zu den RGB-Pixeln aufweist. Die in PTL1 beschriebene Erfindung reduziert kein Verfärben (Farbmoiré), das verursacht wird durch ein Aliasing von Hochfrequenzsignalen, die Reproduktionsbänder der jeweiligen Farben übersteigen, und von Abweichungen in der Phase zwischen den Farben.
Bei Auftreten eines vertikal gestreiften Musters oder eines horizontal gestreiften Musters (Hochfrequenz-Signalbild) auf einem Bildaufnahmeelement, unterliegt die Berechnung der RGB-Farbverhältnisse (R/G und B/G) in einem lokalen Bereich bzw. einer lokalen Fläche, die die in PTL1 beschriebenen gewichteten Koeffizienten verwendet, nicht der Annahme, dass die RGB-Farbverhältnisse in einer lokalen Fläche im Wesentlichen konstant bleiben. Ein Demosaikprozess auf Grundlage der Farbverhältnisse führt zu dem Problem des Auftretens von Farbmoirés.
Die vorliegende Erfindung ist angesichts derartiger Situationen erfolgt, und hat die Bereitstellung einer Bildverarbeitungsvorrichtung, eines Verfahrens, eines Programms und eines Aufzeichnungsmediums, sowie einer Bildaufnahmevorrichtung zur Aufgabe, die das Auftreten von Farbmoirés über eine einfache Bildverarbeitung reduzieren kann.
Lösung des Problems
Um die oben stehende Aufgabe zu lösen, umfasst eine Ausführungsform der vorliegenden Erfindung: ein Bilderfassungsmittel, konfiguriert zum Erfassen eines Mosaikbilds, das von einem Bildaufnahmeelement erfasst wird, das mit Farbfiltern gemäß einer vorbestimmten Farbfilteranordnung bereitgestellt ist und der Farbfilteranordnung entspricht, wobei die Farbfilter erste Filter entsprechend zumindest einer ersten Farbe enthalten, und zweite Filter, entsprechend zumindest zweier zweiter Farben, die ein geringeres Beitragsverhältnis zum Erfassen eines Helligkeitssignals als die erste Farbe aufweisen, wobei die Farbfilter an einer Vielzahl von Pixeln platziert sind, die photoelektrische Wandlerelemente enthalten, die in einer ersten Richtung und einer zweiten Richtung, die senkrecht zu der ersten Richtung ist, angeordnet sind; ein Betriebsmittel, konfiguriert zum Berechnen eines Produkt-Summen-Betriebswerts für die erste Farbe und eines Produkt-Summen-Betriebswerts für jede Farbe unter den zweiten Farben, auf Grundlage erster Gewichtungskoeffizienten und zweiter Gewichtungskoeffizienten und auf einem Pixelwert von einem Pixel der ersten Farbe und einem Pixelwert von einem Pixel von jeder Farbe der zweiten Farben in einer lokalen Fläche, die aus dem Mosaikbild extrahiert wird, und entsprechend einer vorbestimmten Kernel-Größe, wobei das Betriebsmittel erste Gewichtungskoeffizienten aufweist, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen und der ersten Farbe in der vorbestimmten Kernel-Größe zu entsprechen, und wobei die zweiten Gewichtungskoeffizienten konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, wobei die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten derart konfiguriert sind, dass ein Verhältnis zwischen einer Gesamtsumme der ersten Gewichtungskoeffizienten und einer Gesamtsumme der zweiten Gewichtungskoeffizienten an Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist; und ein Bildverarbeitungsmittel, konfiguriert zum Berechnen eines Pixelwerts von jeder Farbe der zweiten Farben an einer Pixelposition von jedem Pixel, das in der lokalen Fläche zu verarbeiten ist, auf Grundlage des Pixelwerts der ersten Farbe an der Pixelposition, und dem Produkt-Summen-Betriebswert für die erste Farbe und dem Produkt-Summen-Betriebswert für jede Farbe unter den zweiten Farben, berechnet durch das Betriebsmittel.
Gemäß einer Ausführungsform der vorliegenden Erfindung berechnet das Betriebsmittel zur Erfassung einer Farbinformation an der lokalen Fläche in dem Mosaikbild den Produkt-Summen-Betriebswert für die erste Farbe und den Produkt-Summen-Betriebswert für die zweite Farbe auf der Grundlage der ersten Gewichtungskoeffizienten, die entsprechend der ersten Farbe konfiguriert sind, und der zweiten Gewichtungskoeffizienten, die entsprechend der zweiten Farbe konfiguriert sind, in der vorbestimmten Kernel-Größe, sowie den Pixelwerten des Pixels der ersten Farbe und den Pixelwerten der Pixel der zweiten Farbe in der lokalen Fläche entsprechend der Kernel-Größe, die aus dem Mosaikbild extrahiert werden. Die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten sind hier derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der ersten Gewichtungskoeffizienten und der Gesamtsumme der zweiten Gewichtungskoeffizienten an den Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist. D. h., dass das Verhältnis zwischen der Gesamtsumme der ersten Gewichtungskoeffizienten und der Gesamtsumme der zweiten Gewichtungskoeffizienten an den Pixellinien in der ersten Richtung und der zweiten Richtung als 1:1 konfiguriert ist, wodurch eine Farbbeziehung des resultierenden Produkts des ersten Gewichtungskoeffizienten und des zweiten Gewichtungskoeffizienten von einem Abweichen gehindert wird, selbst dann, wenn irgendeine Frequenzeingabe in der ersten Richtung oder der zweiten Richtung erfolgt. Folglich kann eine korrekte Farbinformation (erste und zweite Produkt-Summen-Betriebswerte) in der lokalen Fläche berechnet werden. Das Bildverarbeitungsmittel berechnet den Pixelwert von jeder Farbe der zweiten Farben an der Pixelposition, auf Grundlage des Pixelwerts der ersten Farbe an der Pixelposition von jedem in der lokalen Fläche zu berechnenden Pixel, und den Produkt-Summen-Betriebswerten für die erste Farbe und jeder Farbe unter den zweiten Farben, und eine korrekte Farbinformation wird in der lokalen Fläche berechnet. Folglich kann ein Demosaikprozess genau durchgeführt werden, und das Auftreten eines Farbmoirés (Falschfarben) kann reduziert werden.
In einer Bildverarbeitungsvorrichtung gemäß einer anderen Ausführungsform der vorliegenden Erfindung enthält das Mosaikbild zumindest eine Gruppe zweier Paare von Pixeln für jede Farbe der zweiten Farbe in der lokalen Fläche entsprechend der Kernel-Größe, wobei die Gruppe die erste Farbe an einem Paar diagonaler Positionen enthält, und eine Farbe unter den zweiten Farben an einem anderen Paar diagonaler Positionen in zumindest einem eines beliebigen Vierecks, das Seiten parallel zu der ersten Richtung und der zweiten Richtung aufweist. Gemäß einer derartigen Anordnung der ersten und zweiten Pixel kann das Verhältnis zwischen der Gesamtsumme der ersten Gewichtungskoeffizienten und der Gesamtsumme der zweiten Gewichtungskoeffizienten an den Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe zu 1:1 gemacht werden.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält das Mosaikbild ein grundlegendes Anordnungsmuster entsprechend M×N Pixeln (M ≥ 3, N ≥ 3) in der ersten Richtung und der zweiten Richtung, und das grundlegende Anordnungsmuster in der ersten Richtung und der zweiten Richtung wiederholt angeordnet ist. Für den Fall eines Mosaikbilds mit zumindest drei Farben ist es erforderlich, dass die Pixelgröße des zugrunde liegenden Anordnungsmusters zumindest 3×3 Pixel ist, um das Verhältnis zwischen der Gesamtsumme der ersten Gewichtungskoeffizienten und der Gesamtsumme der zweiten Gewichtungskoeffizienten zu 1:1 zu machen.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält das Mosaikbild eine Pixellinie, die nicht alle der zweiten Farben enthält, an den Pixellinien in der ersten Richtung und der zweiten Richtung. Selbst dann, wenn einige Pixellinien unter den Pixellinien in der ersten Richtung und der zweiten Richtung nicht alle die zweiten Farben enthalten, kann das Verhältnis zwischen der Gesamtsumme der ersten Gewichtungskoeffizienten und der Gesamtsumme der zweiten Gewichtungskoeffizienten an den Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe zu 1:1 gemacht werden. Die vorliegende Erfindung wirkt ebenso an einem derartigen Mosaikbild.
Eine Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält ferner ein Steuermittel, konfiguriert zum wiederholten Betreiben des Betriebsmittels und des Bildverarbeitungsmittels, während die lokale Fläche um Einheiten von Objektpixeln, die zu verarbeiten sind, bezüglich des Mosaikbilds verschoben wird.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält das Mosaikbild bevorzugt G-Pixel entsprechend einer grünen (G) Farbe, der ersten Farbe zugehörend, sowie R-Pixel und B-Pixel entsprechend einer roten (R) bzw. blauen (B) Farbe, zu den zweiten Farben gehöhrend, wobei dann, wenn Produkt-Summen-Betriebswerte von Pixelwerten der R-, G- und B-Pixel, berechnet durch das Betriebsmittel bezüglich der individuellen Farben, als Rf, Gf bzw. Bf definiert sind, und wenn ein zu verarbeitendes Objektpixel ein G-Pixel ist, das Bildverarbeitungsmittel Farbverhältnisse (Rf/Gf) und (Bf/Gf) berechnet, wobei es sich um Verhältnisse zwischen dem Produkt-Summen-Betriebswert der G-Pixel und den entsprechenden Produkt-Summen-Betriebswerten der R-Pixel und der B-Pixel handelt, und Pixelwerte der R- und B-Pixel an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbverhältnisse (Rf/Gf) und (Bf/Gf) und dem Pixelwert des zu verarbeitenden G-Pixels.
Das Verhältnis von Produkt-Summen-Betriebswerten von R-Pixeln und G-Pixeln (Rf, Gf) und das Verhältnis von Produkt-Summen-Betriebswerten von B-Pixeln und G-Pixeln (Bf, Gf) in der lokalen Fläche stellen das GR-Farbverhältnis und das GB-Farbverhältnis der ursprünglichen Farben in der lokalen Fläche dar. Es kann eine genaue Schätzung durchgeführt werden, indem die R- und B-Pixelwerte an der Pixelposition des zu verarbeitenden B-Pixels auf Grundalge der Farbverhältnisse interpoliert werden.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält das Mosaikbild bevorzugt G-Pixel entsprechend einer grünen (G) Farbe, der ersten Farbe zugehörend, und R-Pixel und B-Pixel entsprechend einer roten (R) bzw. blauen (B) Farbe, den zweiten Farben zugehöhrend, wobei dann, wenn Produkt-Summen-Betriebswerte von Pixelwerten der R-, G- und B-Pixel, die durch das Betriebsmittel bezüglich der individuellen Farben berechnet werden, als Rf, Gf bzw. Bf definiert werden, und wenn ein zu verarbeitendes Objektpixel ein R-Pixel ist, das Bildverarbeitungsmittel ein Farbverhältnis (Bf/Gf) berechnet, wobei es sich um ein Verhältnis zwischen dem Produkt-Summen-Betriebswert der G-Pixel und dem Produkt-Summen-Betriebswert der B-Pixel handelt, und einen Pixelwert eines B-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage des berechneten Farbverhältnisses (Bf/Gf) und einem Pixelwert von einem G-Pixel, der für die Position des zu verarbeitenden Pixels berechnet wird, und wenn ein zu verarbeitendes Objektpixel ein B-Pixel ist, das Bildverarbeitungsmittel ein Farbverhältnis (Rf/Gf) berechnet, wobei es sich um ein Verhältnis zwischen dem Produkt-Summen-Betriebswert der G-Pixel und dem Produkt-Summen-Betriebswert der R-Pixel handelt, und einen Pixelwert eines R-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage des berechneten Farbverhältnisses (Rf/Gf) und dem Pixelwert des G-Pixels, der für die Position des zu verarbeitenden Pixels berechnet wird.
Der B-Pixelwert an dem R-Pixel, und der R-Pixelwert an dem B-Pixel werden berechnet, unter Verwendung des G-Pixelwerts an dem R-Pixel und dem G-Pixelwert an dem B-Pixel, die vorab berechnet wurden, und einem Interpolieren der Pixelwerte mit den Farbverhältnissen.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält das Mosaikbild bevorzugt G-Pixel entsprechend einer grünen (G) Farbe, der ersten Farbe zugehöhrend, und R-Pixel und B-Pixel, entsprechend einer roten (R) bzw. blauen (B) Farbe, den zweiten Farben zugehörend, wobei dann, wenn gewichtete Durchschnittswerte, die erfasst werden durch Dividieren von Produkt-Summen-Betriebswerten von Pixelwerten der R-, G- und B-Pixel, berechnet durch das Betriebsmittel, durch die Gesamtsumme der Gewichtungskoeffizienten bezüglich der individuellen Farben, als Rf', Gf' bzw. Bf' definiert werden, und wenn ein zu verarbeitendes Objektpixel ein G-Pixel ist, das Bildverarbeitungsmittel Farbdifferenzen (Rf' – Gf') und (Bf' – Gf') berechnet, wobei es sich um Differenzen zwischen dem gewichteten Durchschnittswert der G-Pixel und der jeweiligen gewichteten Durchschnittswerte der R-Pixel und der B-Pixel handelt, und Pixelwerte der R- und B-Pixel an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbdifferenzen (Rf' – Gf') und (Bf' – Gf') und dem Pixelwert des zu verarbeitenden G-Pixels.
Die Differenzen zwischen den gewichteten Durchschnittswerten (Rf', Gf' und Bf') für individuelle Farben in der lokalen Fläche stellen RGB-Differenzen (Farbdifferenz) von ursprünglichen Farben in der lokalen Fläche dar. Die R- und B-Pixelwerte können genau auf Grundlage der Farbdifferenzen und dem Pixelwert des zu verarbeitenden G-Pixels geschätzt werden.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält das Mosaikbild bevorzugt G-Pixel entsprechend einer grünen (G) Farbe, der ersten Farbe zugehörend, und R-Pixel und B-Pixel entsprechend einer roten (R) bzw. blauen (B) Farbe, den zweiten Farben zugehörend, wobei dann, wenn gewichtete Durchschnittswerte, die erfasst werden durch ein Dividieren von Produkt-Summen-Betriebswerten von Pixelwerten der R-, G- und B-Pixel, berechnet durch das Betriebsmittel bezüglich der individuellen Farben, durch eine Gesamtsumme von Gewichtungskoeffizienten, als Rf', Gf' bzw. Bf' definiert werden, und wenn ein zu verarbeitendes Objektpixel ein R-Pixel ist, das Bildverarbeitungsmittel eine Farbdifferenz (Bf' – Gf') berechnet, wobei es sich um eine Differenz zwischen dem gewichteten Durchschnittswert der G-Pixel und dem gewichteten Durchschnittswert der B-Pixel handelt, und einen Pixelwert eines B-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbdifferenz (Bf' – Gf') und einem Pixelwert eines G-Pixels, der für die Position des zu verarbeitenden Pixels berechnet wird, und wenn ein zu verarbeitendes Objektpixel ein B-Pixel ist, das Bildverarbeitungsmittel eine Farbdifferenz (Rf' – Gf') berechnet, wobei es sich um eine Differenz zwischen dem gewichteten Durchschnittswert der G-Pixel und dem gewichteten Durchschnittswert der R-Pixel handelt, und einen Pixelwert eines R-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbdifferenz (Rf' – Gf') und dem Pixelwert des G-Pixels, der für die Position des zu verarbeitenden Pixels berechnet wird.
Der B-Pixelwert an dem R-Pixel, und der R-Pixelwert an dem B-Pixel werden berechnet, unter Verwendung des G-Pixelwerts an dem R-Pixel und dem G-Pixelwert an dem B-Pixel, die vorab berechnet wurden, und einem Interpolieren der Pixelwerte mit den Farbdifferenzen.
Eine Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält ferner bevorzugt ein Richtungsbestimmungsmittel, konfiguriert zum Bestimmen einer Helligkeitskorrelationsrichtung unter der ersten Richtung, der zweiten Richtung, einer dritten Richtung und einer vierten Richtung, wobei die dritte Richtung und die vierte Richtung von der ersten Richtung und der zweiten Richtung geneigt ist, auf Grundlage von Pixelwerten von Pixeln der ersten Farbe, benachbart zu dem zu verarbeitenden Pixel in dem Mosaikbild, wobei dann, wenn das Pixel an der Position des zu verarbeitenden Pixels ein R-Pixel oder ein B-Pixel ist, das Bildverarbeitungsmittel einen Pixelwert eines G-Pixels für die Position des Pixels berechnet, unter Verwendung von Pixelwerten von G-Pixeln, die sich in der Korrelationsrichtung befinden, die durch das Richtungsbestimmungsmittel bestimmt wird.
Der G-Pixelwert an dem R-Pixel und der G-Pixelwert an dem B-Pixel können genau unter Verwendung der Pixelwerte von G-Pixeln geschätzt werden, die sich in der Korrelationsrichtung befinden, die über die oben stehende Richtungsbestimmung erfasst wird, und das Auftreten von Falschfarben in einer Hochfrequenzkomponente kann reduziert werden.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ist bevorzugt zumindest ein Pixel der ersten Farbe in dem Mosaikbild an jeder von Pixellinien in der ersten, zweiten, dritten und vierten Richtung angeordnet. Gemäß dieser Anordnung befinden sich Pixel der ersten Farbe notwendigerweise in der Helligkeitskorrelationsrichtung, selbst dann, wenn die Helligkeitskorrelationsrichtung sich an einer der ersten, zweiten, dritten und vierten Richtung befindet. Der G-Pixelwert an dem R-Pixel und der G-Pixelwert an dem B-Pixel können folglich genau unter Verwendung der Pixelwerte von G-Pixeln, die sich an der Korrelationsrichtung befindet, berechnet werden.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung erfasst das Richtungsbestimmungsmittel Pixelwerte von Pixeln einer ersten gleichen Farbe, die in der ersten Richtung, der zweiten Richtung, der dritten Richtung und der vierten Richtung zu dem zu verarbeitenden Pixel in dem Mosaikbild benachbart sind, und die Helligkeitskorrelationsrichtung auf Grundlage von Differenzwerten von Pixelwerten benachbarter Pixel einer gleichen Farbe bestimmt.
Die Helligkeitskorrelationsrichtung wird auf Grundlage des Differenzwerts der Pixelwerte der Pixel der gleichen ersten Farbe bestimmt, die in jeder der ersten, zweiten, dritten und vierten Richtung benachbart sind. Die Korrelationsrichtung kann daher unter den vier Richtungen bei dem minimalen Pixelintervall bestimmt werden.
In einer Bildverarbeitungsvorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung berechnet das Richtungsbestimmungsmittel bevorzugt mehrere absoluten Differenzwerte von Pixelwerten benachbarter Pixel der gleichen Farbe in der individuellen ersten Richtung, der zweiten Richtung, der dritten Richtung und der vierten Richtung, und, als die Korrelationsrichtung, eine Richtung mit einer minimalen Gesamtsumme oder einem minimalen Durchschnittswert der absoluten Differenzwerte in den jeweiligen Richtungen bestimmt. Der Durchschnittswert der mehrfachen absoluten Differenzwerte wird in jeder Richtung berechnet. Die Korrelationsrichtung kann daher genau bestimmt werden.
Eine Bildaufnahmevorrichtung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält die oben stehende Bildverarbeitungsvorrichtung.
Ein Bildverarbeitungsverfahren gemäß einer weiteren Ausführungsform der vorliegenden Erfindung enthält: einen Bilderfassungsschritt zum Erfassen eines Mosaikbilds, das von einem Bildaufnahmeelement erfasst wird, das bereitgestellt ist mit Farbfiltern entsprechend einer vorbestimmten Farbfilteranordnung und der Farbfilteranordnung entspricht, wobei die Farbfilter erste Filter entsprechend zumindest einer ersten Farbe enthalten, und zweite Filter entsprechend zumindest zweier zweiter Farben mit einem geringeren Beitragsverhältnis zum Erfassen eines Helligkeitssignals als die erste Farbe, wobei die Farbfilter an einer Vielzahl von Pixeln platziert sind, die photoelektrische Wandlerelemente enthalten, die in einer ersten Richtung und einer zweiten Richtung senkrecht zu der ersten Richtung angeordnet sind; einen Betriebsschritt zum Berechnen eines Produkt-Summen-Betriebswerts für die erste Farbe und eines Produkt-Summen-Betriebswerts für jede Farbe unter den zweiten Farben, auf Grundlage von ersten Gewichtungskoeffizienten und zweiten Gewichtungskoeffizienten und einem Pixelwert von einem Pixel der ersten Farbe und einem Pixelwert von einem Pixel von jeder Farbe der zweiten Farben in einer lokalen Fläche, die extrahiert wird aus dem Mosaikbild und entsprechend einer vorbestimmten Kernel-Größe, wobei der Betriebsschritt eine Berechnung unter Verwendung der ersten Gewichtungskoeffizienten durchführt, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen und der ersten Farbe in der vorbestimmten Kernel-Größe zu entsprechen, und wobei die zweiten Gewichtungskoeffizienten konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, wobei die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten derart konfiguriert sind, dass ein Verhältnis zwischen einer Gesamtsumme der ersten Gewichtungskoeffizienten und einer Gesamtsumme der zweiten Gewichtungskoeffizienten an Pixellinien der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist; und einen Bildverarbeitungsschritt zum Berechnen eines Pixelwerts von jeder Farbe der zweiten Farben an einer Pixelposition von jedem zu verarbeitenden Pixel in der lokalen Fläche, auf Grundalge des Pixelwerts der ersten Farbe an der Pixelposition, und dem Produkt-Summen-Betriebswert für die erste Farbe und dem Produkt-Summen-Betriebswert für jede Farbe unter den zweiten Farben, berechnet durch den Betriebsschritt, wobei das Verfahren wiederholt Prozesse durch den Betriebsschritt und den Bildverarbeitungsschritt verarbeitet, während die lokale Fläche um Einheiten von Objektpixeln verschoben wird, die mit Bezug auf das Mosaikbild verarbeitet werden.
Ein Bildverarbeitungsprogramm gemäß einer weiteren Ausführungsform bewirkt, dass ein Computer ausführt: eine Bilderfassungsfunktion zum Erfassen eines Mosaikbilds, das von einem Bildaufnahmeelement erfasst wird, das bereitgestellt ist mit Farbfiltern gemäß einer vorbestimmten Farbfilteranordnung und der Farbfilteranordnung entspricht, wobei die Farbfilter erste Filter entsprechend zumindest einer ersten Farbe enthalten, und zweite Filter entsprechend zumindest zweier zweiter Farben mit einem geringeren Beitragsverhältnis zum Erfassen eines Helligkeitssignals als die erste Farbe, wobei die Farbfilter an einer Vielzahl von Pixeln platziert sind, die photoelektrische Wandlerelemente enthalten, die in einer ersten Richtung und einer zweiten Richtung senkrecht zu der ersten Richtung angeordnet sind; einer Betriebsfunktion zum Berechnen eines Produkt-Summen-Betriebswerts für die erste Farbe und eines Produkt-Summen-Betriebswerts für jede Farbe unter den zweiten Farben auf Grundlage erster Gewichtungskoeffizienten und zweiter Gewichtungskoeffizienten und auf einem Pixelwert von einem Pixel der ersten Farbe und einem Pixelwert von einem Pixel von jeder Farbe der zweiten Farbe in einer lokalen Fläche, die aus dem Mosaikbild extrahiert wird, und entsprechend einer vorbestimmten Kernel-Größe, wobei die Betriebsfunktion eine Berechnung unter Verwendung der ersten Gewichtungskoeffizienten durchführt, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, und der zweiten Gewichtungskoeffizienten, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, wobei die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten derart konfiguriert sind, dass ein Verhältnis zwischen einer Gesamtsumme der ersten Gewichtungskoeffizienten und einer Gesamtsumme der zweiten Gewichtungskoeffizienten an Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist; und eine Bildverarbeitungsfunktion zum Berechnen eines Pixelwerts von jeder Farbe der zweiten Farben an einer Pixelposition von jedem in der lokalen Fläche zu verarbeitenden Pixel, auf Grundlage des Pixelwerts der ersten Farbe an der Pixelposition, und dem Produkt-Summen-Betriebswert für die erste Farbe und dem Produkt-Summen-Betriebswert für jede Farbe unter den zweiten Farben, berechnet durch die Betriebsfunktion.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Erfindung kann die Farbinformation (der Produkt-Summen-Betriebswert der ersten Farbpixel und der Produkt-Summen-Betriebswert der zweiten Farbpixel) in der lokalen Fläche bzw. dem lokalen Bereich in dem Mosaikbild ohne nachteilige Hochfrequenzeffekte genau berechnet werden. Diese Berechnung kann den Demosaikprozess genau durchführen, und das Auftreten eines Farbmoirés (Falschfarben) reduzieren.
Kurze Beschreibung der Zeichnungen
1 ist eine Perspektivansicht zur Darstellung einer Ausführungsform einer Bildaufnahmevorrichtung gemäß der vorliegenden Erfindung.
2 ist eine Rückansicht der in 1 dargestellten Bildaufnahmevorrichtung.
3 ist ein Blockdiagramm zur Darstellung einer Ausführungsform einer internen Konfiguration der in 1 dargestellten Bildaufnahmevorrichtung.
4 ist ein Diagramm zur Darstellung einer Farbfilteranordnung von Farbfiltern, die in einem Bildaufnahmeelement in einer ersten Ausführungsform bereitgestellt sind.
5A ist eine erste Ausführungsform eines gewichteten Durchschnittswertfilters, der in dem Bildaufnahmeelement der ersten Ausführungsform angewendet wird.
5B ist die erste Ausführungsform eines gewichteten Durchschnittswertfilters, der im Bildaufnahmeelement der ersten Ausführungsform verwendet wird.
6 ist ein Diagramm, das verwendet wird zur Darstellung einer Bestimmungsrichtung einer Helligkeitskorrelationsrichtung.
7A ist eine Ausführungsform eines anderen gewichteten Durchschnittswertfilters, der für das Bildaufnahmeelement der ersten Ausführungsform angewendet wird.
7B ist eine Ausführungsform eines anderen gewichteten Durchschnittswertfilters, der für das Bildaufnahmeelement der ersten Ausführungsform angewendet wird.
8 ist eine zweite Ausführungsform eines gewichteten Durchschnittswertfilters, der für das Bildaufnahmeelement der ersten Ausführungsform angewendet wird.
9A ist ein Diagramm, das verwendet wird zum Darstellen eines Verfahrens zum Bestimmen von Gewichtungskoeffizienten der gewichteten Durchschnittswertfilter der in den 5A und 5B dargestellten ersten Ausführungsform.
9B ist ein Diagramm, das verwendet wird zum Darstellen eines Verfahrens zum Bestimmen von Gewichtungskoeffizienten der gewichteten Durchschnittswertfilter der in den 5A und 5B dargestellten ersten Ausführungsform.
10 ist ein Diagramm, das verwendet wird zum Darstellen eines Verfahrens zum Bestimmen von Gewichtungskoeffizienten des gewichteten Durchschnittswertfilters der in 8 dargestellten zweiten Ausführungsform.
11A ist ein Diagramm zur Darstellung einer zweiten Ausführungsform eines Bildaufnahmeelements und eines gewichteten Durchschnittswertfilters einer dazu angewendeten dritten Ausführungsform.
11B ist ein Diagramm zur Darstellung der zweiten Ausführungsform des Bildaufnahmeelements und des gewichteten Durchschnittswertfilters der dritten Ausführungsform, der dafür angewendet wird.
12A ist ein Diagramm zur Darstellung einer dritten Ausführungsform eines Bildaufnahmeelements und eines gewichteten Durchschnittswertfilters einer vierten Ausführungsform, der dafür angewendet wird.
12B ist ein Diagramm zur Darstellung der dritten Ausführungsform des Bildaufnahmeelements und des gewichteten Durchschnittswertfilters der vierten Ausführungsform, der dafür angewendet wird.
13 ist ein Diagramm zur Darstellung einer vierten Ausführungsform eines Bildaufnahmeelements.
14 ist ein Diagramm zur Darstellung eines Zustands, bei dem ein elementares bzw. grundlegendes (engl. basic) Anordnungsmuster, das in 13 dargestellt ist, in 3×3-Pixel A-Anordnungen und B-Anordnungen geviertelt wird.
15A ist ein Diagramm zur Darstellung einer Ausführungsform eines gewichteten Durchschnittswertfilters, der verwendet wird für einen Demosaikprozess für ein Mosaikbild, das erfasst wird von dem Bildaufnahmeelement der in 13 dargestellten vierten Ausführungsform.
15B ist ein Diagramm zur Darstellung der Ausführungsform des gewichteten Durchschnittswertfilters, der verwendet wird für den Demosaikprozess für das Mosaikbild, das aufgenommen wird von dem Bildaufnahmeelement der in 13 dargestellten vierten Ausführungsform.
16 ist ein Diagramm zur Darstellung einer fünften Ausführungsform eines Bildaufnahmeelements.
17A ist ein Diagramm zur Darstellung einer Ausführungsform eines gewichteten Durchschnittswertfilters, der verwendet wird für einen Demosaikprozess für ein Mosaikbild, das aufgenommen wird von dem Bildaufnahmeelement der in 16 dargestellten fünften Ausführungsform.
17B ist ein Diagramm zur Darstellung der Ausführungsform des gewichteten Durchschnittswertfilters, der verwendet wird für den Demosaikprozess für das Mosaikbild, das aufgenommen wird von dem Bildaufnahmeelement der in 16 dargestellten fünften Ausführungsform.
18 ist ein Diagramm zur Darstellung einer spektralen Empfindlichkeitscharakteristik von Photodioden, an denen R-Filter, G-Filter, B-Filter und W-Filter angeordnet sind.
19 ist ein Diagramm zur Darstellung einer sechsten Ausführungsform eines Bildaufnahmeelements.
20 ist eine äußere Ansicht eines Smartphones, wobei es sich um eine andere Ausführungsform einer Bildaufnahmevorrichtung handelt.
21 ist ein Blockdiagramm zur Darstellung einer Konfiguration eines Hauptteils des Smartphones.
Beschreibung der Ausführungsformen
Im Folgenden werden Ausführungsformen einer Bildverarbeitungsvorrichtung, eines Verfahrens, eines Programms und eines Aufzeichnungsmediums, und eine Bildaufnahmevorrichtung gemäß der vorliegenden Erfindung detailliert mit Bezug auf die begleitenden Zeichnungen erläutert.
Bildaufnahmevorrichtung
1 und 2 sind eine Perspektivansicht bzw. eine Rückansicht zur Darstellung einer Ausführungsform einer Bildaufnahmevorrichtung gemäß der vorliegenden Erfindung. Bei dieser Bildaufnahmevorrichtung 10 handelt es sich um eine Digitalkamera, die bewirkt, dass ein Bildaufnahmeelement Licht empfängt, das durch eine Linse hindurch getreten ist, das Licht in ein digitales Signal wandelt, und das Signal in einem Aufzeichnungsmedium aufzeichnet.
Wie in 1 dargestellt, enthält die Bildaufnahmevorrichtung 10 eine Bildgebungslinse (optisches Bildgebungssystem) 12, eine Blitzlichteinheit 1 und dergleichen an der vorderen Oberfläche, und enthält ferner eine Verschluss- bzw. Blendenfreigabeschaltfläche 2, einen Netz-/Modenschalter 3, ein Modenauswahlmittel 4 und dergleichen an der oberen Oberfläche. Darüber hinaus sind, wie in 2 dargestellt, ein Flüssigkristallmonitor 30 für eine 3D-Anzeige, eine Zoom-Schaltfläche 5, eine Kreuzschaltfläche 6, eine MENÜ/OK-Schaltfläche 7, eine Playback- bzw. Wiedergabeschaltfläche 8, eine BACK-Schaltfläche 9 und dergleichen an der Rückoberfläche der Kamera angeordnet.
Die Bildgebungslinse 12 enthält eine zusammenschiebbare Zoom-Linse. Das Bildgebungselement 12 wird aus einem Kamera-Hauptkörper heraus verschoben, indem ein Modus bzw. eine Betriebsart der Kamera über den Netz-/Modenschalter 3 in einen Bildgebungsmodus eingestellt wird. Die Blitzlichteinheit 1 beleuchtet einen Hauptgegenstand mit einem Blitzlicht.
Die Verschluss- bzw. Blendenfreigabeschaltfläche 2 enthält einen zweistufigen Hubschalter (engl. stroke switch), der als „halb betätigter” und „vollständig betätigter” Zustand bezeichnet wird. Die Bildaufnahmevorrichtung 10 betreibt ein automatisches Belichtungsanpassen (AE)/automatisches Fokussieren (AF) durch einen „halb betätigten” Betrieb der Verschluss- bzw. Blendenfreigabeschaltfläche 2 während der Ansteuerung in dem Bildgebungsmodus, und nimmt durch einen „vollständig betätigten” Betrieb der Schaltfläche ein Bild auf. Während der Ansteuerung in dem Bildgebungsmodus nimmt die Bildaufnahmevorrichtung 10 ein Bild durch eine „vollständige Betätigung” der Verschluss- bzw. Blendenfreigabeschaltfläche 2 auf.
Der Freigabeschalter ist nicht auf den Modus des zweistufigen Hubschalters mit halb betätigten und vollständig betätigten Zuständen beschränkt. Jeder einzelne Betrieb kann alternativ ein S1 AN-Signal oder ein S2 AN-Signal ausgeben. Jeweilige Schalter können zur Ausgabe des S1 AN-Signals und des S2 AN-Signals bereitgestellt sein.
In einem Modus der Herausgabe einer Betriebsanweisung über ein Berührungsfeld oder dergleichen kann die Betriebsanweisung durch Berühren einer Fläche ausgegeben werden, die der Betriebsanweisung entspricht, die an dem Berührungsfeld angezeigt ist, und dient als ein derartiges Betriebsmittel. In der vorliegenden Erfindung ist der Modus des Betriebsmittels nicht darauf beschränkt. Jeder Modus eines Betriebsmittels kann angewendet werden, das einen Bildgebungsbereitstellungsprozess oder einen Bildgebungsprozess anweist. Betriebsanweisungen auf einem einzelnen Element eines Betriebsmittels können sequentiell den Bildgebungsbereitstellungsprozess und den Bildgebungsprozess durchführen.
Der Netz-/Modenschalter 3 weist sowohl eine Funktion als auch einen Strom- bzw. Netzschalter zum An- und Ausschalten des Stroms der Bildaufnahmevorrichtung 10 als auch eine Funktion als ein Modus- bzw. Betriebsmodenschalter zum Einstellen des Modus der Bildaufnahmevorrichtung 10 auf. Der Netz-/Modenschalter 3 ist zwischen einer „AUS-Position”, einer „Wiedergabe-Position” und einer „Bildgebungs-Position” verschiebbar angeordnet. Der Strom der Bildaufnahmevorrichtung 10 wird durch Verschieben des Netz-/Modenschalters 3 zum Anpassen der Position auf die „Wiedergabe-Position” oder die „Bildgebungs-Position” eingeschaltet. Der Strom der Bildaufnahmevorrichtung 10 wird durch Anpassen der Position auf die „AUS-Position” ausgeschaltet. Der Modus wird auf den „Wiedergabe-Modus” durch Verschieben des Netz-/Modenschalter 3 zum Anpassen der Position auf die „Wiedergabe-Position” eingestellt. Der Modus wird auf den „Bildgebungsmodus” durch Anpassen der Position auf die „Bildgebungs-Position” eingestellt.
Das Modenauswahlmittel 4 arbeitet als ein Bildgebungsmodus-Einstellmittel zum Einstellen des Bildgebungsmodus der Bildaufnahmevorrichtung 10. Gemäß der Einstellposition des Modenauswahlmittels wird der Bildgebungsmodus der Bildaufnahmevorrichtung 10 auf verschiedene Modi eingestellt. Bei den Bildgebungsmodi handelt es sich zum Beispiel um einen „Ruhebild-Aufnahmemodus” zum Aufnehmen eines Ruhebilds bzw. Standbilds, einen „Bewegungsbild-Aufnahmemodus” zum Aufnehmen eines bewegten Bilds und dergleichen.
Der Flüssigkristallmonitor 30 zeigt ein Live-Ansichtsbild (engl. through image) in dem Bildgebungsmodus an, zeigt ein Ruhebild oder ein bewegtes Bild in dem Wiedergabemodus an. Der Flüssigkristallmonitor 30 zeigt einen Menübildschirm und dergleichen an, wodurch dieser als ein Teil einer graphischen Nutzerschnittstelle (GUI) arbeitet.
Die Zoom-Schaltfläche 5 arbeitet als ein Zoom-Anweisungsmittel zum Anweisen eines Zoomens, und enthält eine Tele-Schaltfläche 5T zum Anweisen eines Zoomens zu einer Teleskopseite und einer Weiten-Schaltfläche 5W zum Anweisen eines Zoomens in Richtung der Weitwinkelseite. In dem Bildgebungsmodus ändert die Bildaufnahmevorrichtung 10 die Fokuslänge der Bildgebungslinse 12 gemäß einem Betrieb an der Tele-Schaltfläche 5T und der Weiten-Schaltfläche 5W. In dem Wiedergabemodus führen Operationen an der Tele-Schaltfläche 5T und der Weiten-Schaltfläche 5W zu einer Vergrößerung und Reduzierung eines Bilds, das wiedergegeben wird.
Die Kreuz-Schaltfläche 6 ist eine Betriebseinheit zum Empfangen von Anweisungen in vielen Richtungen, wobei es sich um vertikale und horizontale Richtungen handelt. Die Kreuz-Schaltfläche 6 arbeitet als eine Schaltfläche (Cursor-Bewegungsbetriebsmittel) zum Auswählen eines Elements aus einem Menübildschirm, und von Anweisungen zum Auswählen verschiedener Einstellelemente von jedem Menü. Eine Links- /Rechts-Taste arbeitet als eine Rahmeneinspeisungs-(Vorwärtsrichtungs-/Rückwärtsrichtungseinspeisungs-)Schaltfläche in dem Wiedergabemodus.
Die MENÜ/OK-Schaltfläche 7 ist eine Betriebstaste, die sowohl eine Funktion als eine Menü-Schaltfläche zum Ausgegeben einer Anweisung zum Anzeigen eines Menüs auf einem Bildschirm des Flüssigkristallmonitors 30 als auch eine Funktion als eine OK-Schaltfläche zum Ausgeben einer Anweisung zum Bestimmen und Ausführen von Auswahlinhalten auf.
Die Wiedergabeschaltfläche 8 ist eine Schaltfläche zum Schalten des Modus in dem Wiedergabemodus für eine Anzeige, auf dem Flüssigkristallmonitor 30, eines Ruhebilds oder eines bewegten Bilds, das aufgenommen und aufgezeichnet wurde.
Die BACK-Schaltfläche 9 arbeitet als eine Schaltfläche zum Kennzeichnen einer Löschung eines Eingabebetriebs und Rückkehr in den vorhergehenden Betriebszustand.
Interne Konfiguration der Bildaufnahmevorrichtung
3 ist ein Blockdiagramm zur Darstellung einer Ausführungsform einer internen Konfiguration der Bildaufnahmevorrichtung 10.
Über die Bildgebungslinse 12 wird ein Bild eines Gegenstands aufgenommen, wird ein optisches Bild, das ein Gegenstandsbild darstellt, an einer Lichtempfangsoberfläche eines Bildaufnahmeelements 14 (ein Bildaufnahmeelement einer ersten Ausführungsform) ausgebildet.
Das Bildaufnahmeelement 14 ist ein Einzelelement-Farbbild-Aufnahmeelement, das mehrere Pixel (nicht dargestellt) enthält, die photoelektrische Wandlungselemente enthält, die zweidimensional in einer horizontalen Richtung (erste Richtung) und einer vertikalen Richtung (zweite Richtung) angeordnet sind, sowie Farbfilter, die eine vorbestimmte Farbfilteranordnung aufweisen, die an den Lichtempfangsoberflächen der jeweiligen Pixel angeordnet sind. Die Farbfilteranordnung des Bildaufnahmeelements 14 wird später detailliert erläutert.
Das an dem Bildaufnahmeelement 14 ausgebildete Gegenstandsbild wird durch das photoelektrische Wandlungselement in Signalladungen gewandelt, gemäß der Größe des einfallenden Lichts. Die Signalladungen, die in den jeweiligen photoelektrischen Wandlungselementen akkumuliert werden, werden sequentiell als Spannungssignale (Bildsignal) gemäß den Signalladungen von dem Bildaufnahmeelement 14 ausgelesen, auf Grundlage von Treiberpulsen, die von einem Treiber 20 gemäß einer Anweisung von einem Steuermittel 22 geliefert werden. Die von dem Bildaufnahmeelement 14 ausgelesenen Bildsignale sind R-, G- und B-Signale, die ein RGB-Mosaikbild entsprechend der Farbfilteranordnung des Bildaufnahmeelements 14 darstellen. Das Bildaufnahmeelement 14 ist nicht auf einen CCD-(engl. Charge Coupled Device)Bildsensor beschränkt. Alternativ kann dieses Element von einem anderen Typ eines Bildsensors, wie zum Beispiel ein CMOS (engl. Complementary Metal Oxide Semiconductor) oder einem XY-Adressentyp-Sensor sein.
Das von dem Bildaufnahmeelement 14 ausgelesene Bildsignal wird in einen Bildaufnahmeprozess 16 eingegeben. Der Bildaufnahmeprozess 16 enthält eine korrelierte Doppelabtastungsschaltung (engl. double sampling circuit bzw. CDS) zum Entfernen von Reset-Rauschen (engl. reset noise), das in dem Bildsignal enthalten ist, sowie eine AGC-(engl. Automatic Gain Control)Schaltung zum Verstärken des Bildsignals zum Steuern eines bestimmten Größenegels, und einen A/D-Wandler. Der Bildaufnahmeprozess 16 verwendet einen korrelierten Doppelabtastungsprozess für das eingegebene Bildsignal, während dieses Bild verstärkt wird, und gibt anschließend RAW-Daten aus, wobei es sich um das gewandelte digitale Bildsignal handelt, an einen Bildprozessor 18 aus.
Der Bildprozessor 18 enthält eine Weiß-Abgleichs-Korrekturschaltung, eine Gamma-Korrekturschaltung, eine Demosaik-Verarbeitungsschaltung (Verarbeitungsschaltung zum Berechnen einer Farbinformation bezüglich allen der R, G und B an jeder Pixelposition aus dem RGB-Mosaikbild gemäß der Farbfilteranordnung des Einzelelement-Bildaufnahmeelements 14), eine Helligkeits- und Farbdifferenz-Signalerzeugungsschaltung, eine Konturkorrektur-Schaltung und eine Farbkorrekturschaltung. Der Bildprozessor 18 verwendet eine erforderliche Signalverarbeitung für die RAW-Daten an dem Mosaikbild, das von dem Bildaufnahmeprozessor 16 eingegeben wird, gemäß der Anweisung von einem Steuermittel 22 erzeugt ein RGB-Pixelsignal mit der gesamten RGB-Farbinformation an jedem Pixel, und erzeugt ferner Bilddaten (YUV-Daten), einschließlich Helligkeitsdaten (Y-Daten) und Farbdifferenzdaten (Cr- und Cb-Daten) auf Grundlage des Signals.
Bezüglich der Bilddaten, die in dem Bildprozessor 18 erzeugt werden, verwendet eine Kompressions-/Expansionsverarbeitungsschaltung einen Kompressionsprozess in Übereinstimmung mit den JPEG-(engl. Joint Photographic Experts Group)Standards für ein Ruhebild, und verwendet ein Kompressionsbild in Übereinstimmung mit den MPEG2-(engl. Moving Picture Experts Group)Standards für ein bewegtes Bild. Die dem Kompressionsprozess unterliegenden Bilddaten werden in einem Aufzeichnungsmedium (Speicherkarte) aufgezeichnet oder an einen Flüssigkristallmonitor 30 (2) ausgegeben und daran angezeigt.
Erste Ausführungsform des Bildaufnahmeelements
4 ist ein Diagramm zur Darstellung einer ersten Ausführungsform des Bildaufnahmeelements 14 und zeigt insbesondere eine Farbfilteranordnung, die an der Lichtempfangsoberfläche des Bildaufnahmeelements 14 angeordnet ist.
Die Farbfilteranordnung des Bildaufnahmeelements 14 enthält ein zugrunde liegendes Anordnungsmuster P (Muster, das durch einen dicken Rahmen angezeigt ist), entsprechend M×N (3×3) Pixeln. In der Farbfilteranordnung wird das zugrunde liegende Muster P wiederholt in der horizontalen Richtung (H) und der vertikalen Richtung (V) angeordnet. D. h., dass in dieser Farbfilteranordnung Filter (R-Filter, G-Filter und B-Filter) einer ersten Farbe (Grün (G)) und zumindest zweiter Farben (Rot (R) und Blau (B)) gemäß einem vorbestimmten Zyklus angeordnet sind. Da die R-Filter, G-Filter und B-Filter somit gemäß dem vorbestimmten Zyklus angeordnet sind, kann eine Bildverarbeitung von RGB RAW-Daten (Mosaikbild), ausgelesen von dem Bildaufnahmeelement 14 oder dergleichen gemäß dem sich wiederholenden Muster durchgeführt werden.
Wie in 4 dargestellt, ist die Anzahl von Pixeln der R-Pixel, G-Pixel und B-Pixel entsprechend den R-Filtern, G-Filtern und B-Filtern in den grundlegenden 3×3-Pixelanordnungsmustern P gleich zwei Pixel, fünf Pixel bzw. zwei Pixel. Die zugewiesene Anzahl von G-Pixeln ist größer als sowohl die zugewiesene Anzahl von R-Pixeln und B-Pixeln. D. h., dass im Vergleich mit den R-Pixeln und den B-Pixeln das Verhältnis der Anzahl von G-Pixeln mit einem hohen Beitragsverhältnis zum Erfassen eines Helligkeitssignals höher ist als sowohl das Verhältnis der Anzahl von Pixeln der R-Pixel und B-Pixel.
In der Farbfilteranordnung (Mosaikbild) der ersten Ausführungsform, die in 4 dargestellt ist, enthalten Pixellinien in der horizontalen Richtung und der vertikalen Richtung Pixellinien mit allen R-, G- und B-Pixeln, und Pixellinien, die nicht alle R-, G- und B-Pixel enthalten (Pixellinien mit nur G- und R-Pixeln, und Pixellinien mit nur G- und B-Pixeln) in einer gemischten Art und Weise.
Erste Ausführungsform eines gewichteten Durchschnittswertfilters
Ein gewichteter Durchschnittswertfilter, der in der Demosaik-Prozessschaltung des Bildprozessors 18 (Betriebsmittel und Bildverarbeitungsmittel) verwendet wird, wird nun erläutert.
Die 5A und 5B sind Diagramme, die jeweils einen gewichteten Durchschnittswertfilter einer ersten Ausführungsform darstellen, und betrifft Gewichtungskoeffizienten des gewichteten Durchschnittswertfilters, der für Pixel ausgebildet ist, die dem Demosaikprozess unterworfen werden (Pixel G3, das in 4 dargestellt ist).
Die in den 5A und 5B dargestellten gewichteten Durchschnittswertfilter weisen die gleiche Kernel-Größe wie die Größe des zugrunde liegenden Anordnungsmusters P auf. Die 5A zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und R in einem Kernel entsprechend einer lokalen Fläche. 5B zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und B in dem Kernel entsprechend der lokalen Fläche. Die Gewichtungskoeffizienten des gewichteten Durchschnittswertfilters der ersten Ausführungsform sind „1” und „0”.
In dem in 5A dargestellten gewichteten Durchschnittswertfilter sind die Gewichtungskoeffizienten derart konfiguriert, dass das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für R-Pixel in den Pixellinien i der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für R-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
In dem in dem in 5B dargestellten gewichteten Durchschnittswertfilter sind die Gewichtungskoeffizienten vergleichbar derart konfiguriert, dass das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für B-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und den Gewichtungskoeffizienten (Gesamtsumme) für B-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
Demosaikprozess
Im Folgenden wird ein Verfahren zum Anwenden des Demosaikprozesses für ein RGB-Demosaikbild durch die Demosaikschaltung des Bildprozessors 18 beschrieben.
Wie in 4 dargestellt, extrahiert die Demosaikschaltung eine lokale 3×3-Pixelfläche (entsprechend der Größe des zugrunde liegenden Anordnungsmusters P in diesem Beispiel) aus dem Mosaikbild, das von dem Bildaufnahmeelement 14 erfasst wird (4 stellt nicht nur die Farbfilteranordnung dar, sondern auch das Mosaikbild, das von dem Bildaufnahmeelement gelesen und erfasst wird). Die Demosaikschaltung berechnet einen Produkt-Summen-Betriebswert für jede Farbe der G- und R-Farben auf der Grundlage des Pixelwerts von jedem Pixel in der lokalen Fläche und der Gewichtungskoeffizienten des gewichteten Durchschnittswertfilters, der in 5A dargestellt ist. D. h., dass der Produkt-Summen-Betriebswert für jede Farbe durch Multiplizieren des Pixelwerts von jedem Pixel in der lokalen Fläche und des Gewichtskoeffizienten des gewichteten Durchschnittswertfilters an der entsprechenden Pixelposition erfasst wird, und multiplizierte Resultate für jede Farbe der G- und R-Farben akkumuliert werden. Gleichermaßen wird ein Produkt-Summen-Betriebswert für jede Farbe der G- und R-Farben auf der Basis des Pixelwerts von jedem Pixel in der lokalen Fläche und der Gewichtungskoeffizienten des in 5B dargestellten gewichteten Durchschnittswertfilters berechnet.
Das Verhältnis (Farbverhältnis) des Produkt-Summen-Betriebswerts von jeder Farbe der G- und R-Farben von jedem gewichteten Durchschnittswert der G- und R-Farben wird als nächstes berechnet, wie oben beschrieben, sowie der Produkt-Summen-Betriebswert von jeder Farbe der G- und B-Farben von jedem gewichteten Durchschnittswert von G- und B-Farben.
Das Pixel im Zentrum der lokalen 3×3-Pixelfläche (Pixel G3 im Zentrum des in 4 dargestellten dicken Rahmens) wird dann als ein Pixel angenommen, das dem Demosaikprozess unterworfen wird, und die R- und B-Pixelwerte an der Pixelposition des zu verarbeitenden Pixels G3 wird auf Grundlage des berechneten Farbverhältnisses und dem Pixelwert des G3 berechnet.
Insbesondere sind die Produkt-Summen-Betriebswerte für die jeweilig berechneten RGB-Farben als Rf, Gf und Bf definiert. Der Pixelwert des Pixels G3, das dem Demosaikprozess unterworfen wird, ist als G definiert. In diesem Fall werden die Pixelwerte von R und B für R- und B-Farben an den zu verarbeitenden Pixelpositionen durch die folgenden Gleichungen berechnet. R = G × (Rf/Gf) (1) B = G × (Bf/Gf) (2)
In dem in den 5A und 5B dargestellten gewichteten Durchschnittswertfilter sind die Gewichtungskoeffizienten derart konfiguriert, dass das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für R-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für R-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist. Selbst dann, wenn eine Hochfrequenzeingabe in der horizontalen Richtung oder der vertikalen Richtung erfolgt, kann die Demosaikprozess-Schaltung korrekte Farbverhältnisse in der lokalen Fläche berechnen, ohne eine Abweichung der Beziehung zwischen Farbverhältnissen ((Rf/Gf), (Bf/Gf)) dieser Resultate, die durch die Gewichtungskoeffizienten multipliziert werden. Als ein Ergebnis kann der Demosaikprozess genau bzw. akkurat auf Grundlage der berechneten Farbverhältnisse durchgeführt werden.
Im Folgenden wird der Demosaikprozess im Fall des Verschiebens der lokalen Fläche beschrieben, die von dem Mosaikbild extrahiert wird, um ein Pixel in der horizontalen Richtung.
6 stellt den Fall des Verschiebens der lokalen Fläche (angezeigt durch den dicken Rahmen), die in 4 dargestellt ist, um ein Pixel in der horizontalen Richtung (rechte Seite) dar. In diesem Fall ist das Pixel (das zentrale Pixel in der lokalen Fläche), das dem Demosaikprozess unterworfen wird, ein Pixel R2 im Zentrum des in 6 dargestellten dicken Rahmens, und die Demosaikprozess-Schaltung berechnet die G- und B-Pixelwerte an der Pixelposition des Pixels R2.
Verfahren zum Berechnen von G-Pixelwerten
Wie in 6 dargestellt, werden G-Pixel unter 2×2 Pixeln benachbart zu dem Pixel R2 im Zentrum der lokalen Fläche, das durch den dicken Rahmen angezeigt ist, aufgenommen und die Pixelwerte der G-Pixel werden als G2, G3, G4 und G5 definiert. In diesem Fall berechnet ein Richtungsbestimmungsmittel, das in der Demosaik-Prozessschaltung enthalten ist, absolute Differenzwerte in den jeweiligen Richtungen.
D. h., dass der absolute Differenzwert in der horizontalen Richtung (|G2 – G3| + |G4 – G5|)/2 ist, der absolute Differenzwert in der vertikalen Richtung (|G2 – G4| + |G3 – G5|)/2 ist, der absolute Differenzwert in der Richtung nach oben rechts |G3 – G4| ist, und der absolute Differenzwert in der Richtung nach unten rechts |G2 – G5| ist.
Das Richtungsbestimmungsmittel bestimmt, dass die Korrelation (Korrelationsrichtung) des G-Pixels in einer Richtung mit dem minimalen absoluten Differenzwert unter diesen vier absoluten Differenzwerten ist.
Da die Korrelationsrichtung auf Grundlage des G-Pixels unter 2×2 Pixeln, die benachbart zueinander sind, wie oben beschrieben bestimmt wird, kann die Korrelationsrichtung bei dem minimalen Pixelintervall bestimmt werden. D. h., dass die Korrelationsrichtung ohne nachteilige Hochfrequenzeffekte genau bestimmt werden kann.
Nachdem die Korrelationsrichtung an dem Pixel bestimmt wird, das dem Demosaikprozess unterliegt, verwendet die Demosaik-Prozessschaltung die Pixelwerte der G-Pixel, die sich in der bestimmten Korrelationsrichtung befinden, beim Berechnen des Pixelwerts einer anderen Farbe (G in diesem Fall) an der Pixelposition, die dem Demosaikprozess unterworfen wird.
Wie in 6 dargestellt, befinden sich G-Pixel an allen Pixellinien in der horizontalen Richtung (erste Richtung), der vertikalen Richtung (zweite Richtung), der diagonalen Richtung nach oben rechts (dritte Richtung) und der diagonalen Richtung nach unten rechts (vierte Richtung). Entsprechend verwendet die Demosaik-Prozessschaltung den Pixelwert von einem G-Pixel, das sich benachbart in der Korrelationsrichtung des zu verarbeitenden Pixels befindet, oder einen interpolierten Wert der Pixelwerte von G-Pixeln, als den Pixelwert des G-Pixels an der zu verarbeitenden Pixelposition.
Der B-Pixelwert an der Pixelposition des Pixels R2 wird unterdessen auf Grundlage des G-Pixelwerts an der Pixelposition des Pixels R2, der wie oben erläutert berechnet wurde, und dem Farbverhältnis (Bf/Gf) in der lokalen Fläche berechnet.
Wie in 7A dargestellt, wird das Farbverhältnis (Bf/Gf) in der lokalen 3×3 Pixelfläche unter Verwendung eines in 7B dargestellten gewichteten Durchschnittswertfilters berechnet. In diesem gewichteten Durchschnittswertfilter sind die Gewichtungskoeffizienten, wie für die gewichteten Durchschnittswertfilter, die in 5A und 5B dargestellt sind, derart konfiguriert, dass das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für B-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und den Gewichtungskoeffizienten (Gesamtsumme) für B-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
Die Produkt-Summen-Betriebswerte der Pixelwerte der G- und B-Pixel bezüglich der individuellen Farben in der lokalen Fläche sind hier als Gf bzw. Bf definiert, und der G-Pixelwert, der für die Pixelposition des Pixels R2 berechnet wird, ist als G' definiert. Der B-Pixelwert B an der Pixelposition des Pixels R2 wird durch die folgende Gleichung berechnet. B = G' × (Bf/Gf) (3)
Für den Fall, dass das zu verarbeitende Pixel ein B-Pixel ist, und die G- und R-Pixelwerte an den Pixelpositionen berechnet werden, wird der Prozess, wie oben erläutert, durchgeführt. D. h., dass der G-Pixelwert auf Grundlage der G-Pixelwerte in der Korrelationsrichtung berechnet wird, die durch das Richtungsbestimmungsmittel bestimmt wird. Der R-Pixelwert wird auf Grundlage der berechneten G-Pixelwerte und dem Farbverhältnis (Rf/Gf) in der lokalen Fläche berechnet. Das Farbverhältnis (Rf/Gf) wird über den gewichteten Durchschnittswertfilter berechnet, der die Gewichtungskoeffizienten aufweist, die derart konfiguriert sind, dass das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für R-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen den Gewichtungskoeffizienten (Gesamtsumme) für G-Pixel und die Gewichtungskoeffizienten (Gesamtsumme) für R-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
Die Produkt-Summen-Betriebswerte der Pixelwerte der G- und R-Pixel bezüglich der individuellen Farben in der lokalen Fläche sind als Gf bzw. Rf definiert, und der G-Pixelwert, der für die Pixelposition des Pixels B (B1 oder B2) berechnet wird, ist als G' definiert. Der R-Pixelwert R an der Pixelposition des Pixels B wird durch die folgende Gleichung berechnet. R = G' × (Rf/Gf) (4)
Wie oben beschrieben, wird der Demosaikprozess sequentiell durchgeführt, während die lokale Fläche bei jedem Mal bezüglich des Mosaikbilds um ein Pixel verschoben wird.
Wie in 4 dargestellt, enthält das zugrunde liegende Anordnungsmuster P des Mosaikbilds in dieser Ausführungsform neun Pixel, d. h., fünf G-Pixel (G1 bis G5), zwei R-Pixel (R1 und R2) und zwei B-Pixel (B1 und B2), die unterschiedliche Positionsbeziehungen mit Umgebungsfarben aufweisen. Folglich wird ein unterschiedlicher gewichteter Durchschnittswertfilter zum Berechnen der Farbverhältnisse ((Rf/Gf)(Bf/Gf)) für jedes Pixel der fünf G-Pixel bereitgestellt. Ferner wird ein unterschiedlicher gewichteter Durchschnittswertfilter zum Berechnen des Farbverhältnisses (Bf/Gf) für jedes Pixel der zwei R-Pixel, und ein anderer unterschiedlicher gewichtetet Durchschnittswertfilter zum Berechnen des Farbverhältnisses (Rf/Gf) für jedes Pixel der zwei B-Pixel bereitgestellt.
Die Demosaik-Prozessschaltung wählt den gewichteten Durchschnittswertfilter, der zum Berechnen des Farbverhältnisses verwendet wird, gemäß dem zu verarbeitenden Pixel unter den neun Pixeln in dem zugrunde liegenden Anordnungsmuster, und berechnet die R- und B-Pixelwerte an den zu verarbeitenden Pixelpositionen unter Verwendung des ausgewählten gewichteten Durchschnittswertfilters gemäß den oben stehenden Gleichungen (1) bis (4).
Zweite Ausführungsform eines gewichteten Durchschnittswertfilters
Bei einem (a) Abschnitt der 8 und einem (b) Abschnitt der 8 handelt es sich um Diagramme, die jeweils einen gewichteten Durchschnittswertfilter einer zweiten Ausführungsform darstellen, und betrifft Gewichtungskoeffizienten des gewichteten Durchschnittswertfilters, der für Pixel ausgebildet ist, die dem Demosaikprozess unterworfen werden (Pixel G3, das in 4 dargestellt ist).
Die gewichteten Durchschnittswertfilter, die in dem (a) Abschnitt und dem (b) Abschnitt der 8 dargestellt sind, weisen eine 5×5-Pixel-Kernel-Größe auf, die größer ist als die Größe des grundlegenden 3×3-Pixel-Anordnungsmusters P. Der (a) Abschnitt der 8 stellt einen gewichteten D Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und R in einem Kernel entsprechend einer lokalen Fläche von 5×5-Pixeln dar. Der (b) Abschnitt von 8 stellt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und B in einem Kernel entsprechend einer lokalen Fläche von 5×5 Pixeln dar.
In dem gewichteten Durchschnittswertfilter, der in dem (a) Abschnitt von 8 dargestellt ist, sind die Gewichtungskoeffizienten derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und die Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
Gleichermaßen sind die Gewichtungskoeffizienten in dem gewichteten Durchschnittswertfilter, der in dem (b) Abschnitt von 8 dargestellt ist, derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
Jede der Gesamtsummen der Gewichtungskoeffizienten für G-Pixel und R-Pixel des gewichteten Durchschnittswertfilters, der in dem (a) Abschnitt von 8 dargestellt ist, ist zehn. Wenn ein Hochfrequenz-Vertikal-Streifenbild aufgenommen wird, das in einem (c) Abschnitt von 8 dargestellt ist, ist jede der Gesamtsummen der Gewichtungskoeffizienten für G-Pixel und R-Pixel in weißen Abschnitten, die zu der Produkt-Summen-Operation beitragen, gleich drei. Wenn ein Hochfrequenz-Horizontal-Streifenbild aufgenommen wird, das in einem (d) Abschnitt von 8 dargestellt ist, ist jede der Gesamtsummen der Gewichtungskoeffizienten für G-Pixel und R-Pixel in weißen Abschnitten, die zu der Produkt-Summen-Operation beitragen, gleich sieben.
D. h., dass selbst dann, wenn eine Hochfrequenzeingabe in der horizontalen Richtung oder der vertikalen Richtung erfolgt, korrekte Farbverhältnisse in der lokalen Fläche berechnet werden können, ohne eine Abweichung der Beziehung zwischen Farbverhältnissen ((Rf/Gf), (Bf/Gv)) dieser Resultate, die durch die Gewichtungskoeffizienten multipliziert werden.
Verfahren zum Bestimmen von Gewichtungskoeffizienten
In den Fällen, bei denen beliebige Vierecke mit Kanten parallel in der horizontalen Richtung und der vertikalen Richtung in der lokalen Fläche entsprechend der 3×3-Pixel-Kernel-Größe eingestellt sind, die in den 5A und 5B dargestellt sind, werden die Vierecke nach einem Viereck gesucht, das eine Gruppe von zwei Paaren von Pixeln aufweist, wobei ein Paar diagonaler Ecken G-Pixel aufweist, und das andere Paar diagonaler Ecken die R-Pixel der gleichen Farbe oder die B-Pixel der gleichen Farbe aufweist.
9A zeigt ein Viereck, das Pixel G1 und G2 an einem Paar diagonaler Positionen des Vierecks aufweist, und Pixel R1 und R2 an dem anderen Paar diagonaler Positionen. 9B zeigt ein Viereck, das Pixel G1 und G5 an einem Paar diagonaler Positionen des Vierecks aufweist, und Pixel B1 und B2 an dem anderen Paar diagonaler Positionen.
Ein Gewichtungskoeffizient, der den identischen Wert aufweist, ist als Gewichtungskoeffizient an den zwei Paaren diagonaler Positionen von jedem dieser Vierecke zugewiesen. Bezüglich der Gewichtungskoeffizienten, die in den 5A und 5B dargestellt sind, wird jedem der zwei Paare diagonaler Positionen des Vierecks „1” zugewiesen, und jeder der anderen Positionen in dem Kernel „0” zugewiesen.
Der Kernel erfordert zumindest ein Viereck, das G-Pixel an einem Paar diagonaler Ecken und R-Pixel an dem anderen Paar diagonaler Ecken aufweist, und zumindest ein Viereck, das G-Pixel an einem Paar diagonaler Ecken und B-Pixel an dem anderen Paar diagonaler Ecken aufweist. Der gewichtete Durchschnittswertfilter kann daher mit Gewichtungskoeffizienten konfiguriert sein, bei denen das Verhältnis der Gesamtsummen von Gewichtungskoeffizienten für G-Pixel und R-Pixel an Pixellinien in der horizontalen Richtung und der vertikalen Richtung, für die Gewichtungskoeffizienten (außer „0”) zugewiesen sind, 1:1 ist. Der g gewichtete Durchschnittswertfilter kann ferner mit Gewichtungskoeffizienten konfiguriert sein, bei denen das Verhältnis von Gesamtsummen der Gewichtungskoeffizienten für G-Pixel und B-Pixel an den Pixellinien in der horizontalen Richtung und der vertikalen Richtung 1:1 ist.
Der Kernel erfordert zumindest ein Viereck, das G-Pixel an einem Paar diagonaler Ecken und R-Pixel an dem anderen Paar diagonaler Ecken aufweist, und zumindest ein Viereck, das G-Pixel an einem Paar diagonaler Ecken und B-Pixel an dem anderen Paar diagonaler Ecken aufweist. Die Pixelgröße des grundlegenden Anordnungsmusters des Mosaikbilds muss folglich zumindest 3×3 Pixel sein.
Die Gewichtungskoeffizienten des gewichteten Durchschnittswertfilters, der in dem (a) Abschnitt von 8 dargestellt ist, kann unter Verwendung der oben stehenden Vierecke wie folgt erlangt werden.
Wie in 10 dargestellt, wird ein 5×5 Kernel für zumindest ein Viereck gesucht, das G-Pixel an einem Paar diagonaler Ecken und ein R-Pixel an dem anderen Paar diagonaler Ecken aufweist. In dem in 10 dargestellten Beispiel werden fünf Vierecke verwendet. Den Positionen diagonaler Ecken der fünf Vierecke wird ein Gewichtungskoeffizient von „1” zugewiesen. Den anderen Positionen wird ein Gewichtungskoeffizient von „0” zugewiesen. Positionen, an denen diagonale Ecken miteinander überlappen, werden die Überlappungsnummern (1 × Überlappungsnummer) zugewiesen.
Eine derartige Definition der Gewichtungskoeffizienten in dem gewichteten Durchschnittswertfilter kann zu Gewichtungskoeffizienten führen, bei denen das Verhältnis der Gesamtsummen der Gewichtungskoeffizienten für G-Pixel und R-Pixel an den Pixellinien in der horizontalen Richtung und der vertikalen Richtung, für die die Gewichtungskoeffizienten (außer „0”) zugewiesen sind, 1:1 ist. Eine derartige Definition kann ferner Gewichtungskoeffizienten erzielen, bei denen das Verhältnis der Gesamtsummen von Gewichtungskoeffizienten für G-Pixel und B-Pixel an den Pixellinien in der horizontalen Richtung und der vertikalen Richtung 1:1 ist.
Zweite Ausführungsform eines Bildaufnahmeelements und gewichteter Durchschnittswertfilter einer dritten Ausführungsform
Die 11A und 11B sind Diagramme zur Darstellung einer zweiten Ausführungsform des Bildaufnahmeelements 14 und eines gewichteten Durchschnittswertfilters einer dritten Ausführungsform, die dafür angewendet wird.
Die Farbfilteranordnung des Bildaufnahmeelements der zweiten Ausführungsform enthält ein zugrunde liegendes Anordnungsmuster entsprechend M×N (4×4) Pixeln. Dieses zugrunde liegende Anordnungsmuster P ist wiederholt in der horizontalen Richtung (H) und der vertikalen Richtung (V) angeordnet.
Wie in den 11A und 11B dargestellt, ist die Anzahl von Pixeln von R-Pixeln, G-Pixeln und B-Pixeln entsprechend den R-Filterns, G-Filtern und B-Filtern in dem zugrunde liegenden 4×4-Pixelanordnungsmuster drei Pixel, zehn Pixel bzw. drei Pixel. Die zugewiesene Anzahl von G-Pixeln ist größer als sowohl die zugewiesene Anzahl von R-Pixeln als auch B-Pixeln. D. h., dass im Vergleich mit den R-Pixeln und den B-Pixeln das Verhältnis der Anzahl von G-Pixeln mit einem hohen Beitragsverhältnis zum Erfassen eines Helligkeitssignals höher ist als sowohl das Verhältnis der Anzahl von Pixeln der R-Pixel als auch der B-Pixel.
In der Farbfilteranordnung (Mosaikbild) der zweiten Ausführungsform enthalten Pixellinien in der horizontalen Richtung und der vertikalen Richtung Pixellinien, die alle R-, G- und B-Pixel enthalten, als auch Pixellinien, die nicht alle R-, G- und B-Pixel enthalten (Pixellinien, die nur G- und R-Pixel enthalten, und Pixellinien, die nur G- und B-Pixel enthalten), in einer gemischten Art und Weise.
Die gewichteten Durchschnittswertfilter der dritten Ausführungsform, die in den 11A und 11B dargestellt sind, weisen die gleiche Kernel-Größe wie die Größe eines zugrunde liegenden 4×4-Pixelanordnungsmusters auf. 11A zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und R in einem Kernel entsprechend einer lokalen Fläche. 11B zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und B in dem Kernel entsprechend der lokalen Fläche.
Die Gewichtungskoeffizienten in dem in 11A dargestellten gewichteten Durchschnittswertfilter sind derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der vertikalen Richtung und dem Kernel 1:1 ist.
In dem in der 11B dargestellten gewichteten Durchschnittswertfilter sind die Gewichtungskoeffizienten gleichermaßen derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der vertikalen Richtung und dem Kernel 1:1 ist.
Die Verwendung des gewichteten Durchschnittswertfilters erlaubt eine genaue Berechnung des Farbverhältnisses ((Rf/Gf), (Bf/Gf)) in der lokalen Fläche ohne nachteilige Hochfrequenzeffekte.
Wie in den 11A und 11B dargestellt, befinden sich G-Pixel an allen Pixellinien in der horizontalen Richtung, der vertikalen Richtung, der diagonalen Richtung nach oben rechts und der diagonalen Richtung nach unten rechts. Die Demosaik-Prozessschaltung kann entsprechend den Pixelwert von einem G-Pixel verwenden, das sich benachbart in der Korrelationsrichtung zu dem zu verarbeitenden Pixel befindet, oder einen interpolierten Wert der Pixelwerte von G-Pixeln, als den Pixelwert des G-Pixels an der zu verarbeitenden Pixelposition. Die in den 11A und 11B dargestellten Mosaikbilder enthalten keine G-Pixel von 2×2 Pixeln, die in 6 dargestellt sind, sondern enthält Pixel, die in der horizontalen Richtung, der vertikalen Richtung, der diagonalen Richtung nach oben rechts und der diagonalen Richtung nach unten rechts in dem zugrunde liegenden Anordnungsmuster benachbart sind. Das Richtungsbestimmungsmittel kann entsprechend die Korrelationsrichtung an dem minimalen Pixelintervall auf der Grundlage dieser G-Pixel bestimmen.
Dritte Ausführungsform eines Bildaufnahmeelements und eines gewichteten Durchschnittswertfilters
Die 12A und 12B sind Diagramme zur Darstellung einer dritten Ausführungsform des Bildaufnahmeelements 14 und eines gewichteten Durchschnittswertfilters einer vierten Ausführungsform, die dafür angewendet wird.
Die Farbfilteranordnung des Bildaufnahmeelements der dritten Ausführungsform enthält ein zugrunde liegendes Anordnungsmuster entsprechend M×N (5×5) Pixeln. In der Farbfilteranordnung ist das zugrunde liegende Muster P wiederholt in der horizontalen Richtung (H) und der vertikalen Richtung (V) angeordnet.
Wie in den 12A und 12B dargestellt, ist die Anzahl von Pixeln der R-Pixel, G-Pixel und B-Pixel entsprechend den R-Filtern, G-Filtern und B-Filtern in dem zugrunde liegenden 5×5-Pixelanordnungsmuster vier Pixel, 17 Pixel bzw. vier Pixel. Die zugewiesene Anzahl von G-Pixeln ist größer als sowohl die zugewiesene Anzahl der R-Pixel und B-Pixel. D. h., dass im Vergleich mit den R-Pixeln und den B-Pixeln das Verhältnis der Anzahl von G-Pixeln mit einem hohen Beitragsverhältnis zum Erfassen eines Helligkeitssignals größer ist als sowohl das Verhältnis der Anzahl von Pixeln der R-Pixel als auch der B-Pixel.
In der Farbfilteranordnung (Mosaikbild) der dritten Ausführungsform enthalten Pixellinien in der horizontalen Richtung und der vertikalen Richtung Pixellinien mit allen der R-, G- und B-Pixel, als auch Pixellinien, die nicht alle der R-, G- und B-Pixel enthalten (Pixellinien, die nur G- und R-Pixel enthalten, und Pixellinien, die nur G- und B-Pixel enthalten), in einer gemischten Art und Weise. Die gewichteten Durchschnittswertfilter der vierten Ausführungsform, die in den 12A und 12B dargestellt sind, weisen die gleiche Kernel-Größe wie die Größe eines zugrunde liegenden 5×5-Pixelanordnungsmuster auf. 12A zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und R in einem Kernel entsprechend einer lokalen Fläche. 12B zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und B in dem Kernel entsprechend der lokalen Fläche.
Die Gewichtungskoeffizienten in dem gewichteten Durchschnittswertfilter, der in 12A dargestellt ist, sind derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
In dem in der 12B dargestellten gewichteten Durchschnittswertfilter sind die Gewichtungskoeffizienten gleichermaßen derart konfiguriert, dass das Verhältnis in der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
Die Verwendung des gewichteten Durchschnittswertfilters ermöglicht die genaue Berechnung des Farbverhältnisses ((Rf/Gf), (Bf/Gf)) in der lokalen Fläche, ohne nachteilige Hochfrequenzeffekte.
Wie in den 12A und 12B dargestellt, befinden sich G-Pixel an allen Pixellinien in der horizontalen Richtung, der vertikalen Richtung, der diagonalen Richtung nach oben rechts und der diagonalen Richtung nach unten rechts. Die Demosaik-Prozessschaltung kann entsprechend den Pixelwert von einem G-Pixel verwenden, das sich benachbart in der Korrelationsrichtung zu dem zu verarbeitenden Pixel befindet, oder einen interpolierten Wert der Pixelwerte von G-Pixeln, als den Pixelwert des G-Pixels an der zu verarbeitenden Pixelposition. Die in den 12A und 12B dargestellten Mosaikbilder enthalten G-Pixel von 2×2 Pixeln, wie in 6 dargestellt. Die Bilder enthalten ferner nicht nur diese Pixel, sondern auch G-Pixel benachbart in der horizontalen Richtung, der vertikalen Richtung, der diagonalen Richtung nach oben rechts und der diagonalen Richtung nach unten rechts. Das Richtungsbestimmungsmittel kann entsprechend die Korrelationsrichtung an dem minimalen Pixelintervall auf der Grundlage dieser G-Pixel bestimmen.
Vierte Ausführungsform eines Bildaufnahmeelements
13 ist ein Diagramm zur Darstellung einer vierten Ausführungsform des Bildaufnahmeelements 14, und zeigt insbesondere eine Farbfilteranordnung, die an der Lichtempfangsoberfläche des Bildaufnahmeelements 14 angeordnet ist.
Die Farbfilteranordnung des Bildaufnahmeelements 14 enthält ein zugrunde liegendes Anordnungsmuster P (Muster, das durch einen dicken Rahmen angezeigt ist) entsprechend M×N (6×6) Pixeln. In der Farbfilteranordnung wird das zugrunde liegende Muster P in der horizontalen Richtung (H) und der vertikalen Richtung (V) wiederholt angeordnet.
In der in 13 dargestellten Farbfilteranordnung (Mosaikbild), sind Pixel aller R-, G- und B-Farben jeder von Linien in der horizontalen Richtung und der vertikalen Richtung angeordnet.
14 ist ein Diagramm zur Darstellung eines Zustands, in dem ein zugrunde liegendes Anordnungsmuster P, das in 13 dargestellt ist, in vier geteilt wird, jeweils 3×3 Pixel enthaltend.
Wie in 14 dargestellt, kann das zugrunde liegende Anordnungsmuster P auch als eine Anordnung angesehen werden, bei der 3×3-Pixel-A-Anordnungen, eingeschlossen durch Rahmen mit durchgezogener Linie, und 3×3-Pixel B-Anordnungen, eingeschlossen durch Rahmen mit gestrichelter Linie, abwechselnd in der horizontalen und vertikalen Richtung angeordnet sind.
In jeder der A-Anordnung und der B-Anordnung sind die G-Pixel, wobei es sich um Helligkeits-Pixel handelt, an den vier Ecken und dem Zentrum angeordnet, und daher an beiden diagonalen Linien angeordnet. In der A-Anordnung sind R-Pixel in der horizontalen Richtung angeordnet und sind B-Pixel in der vertikalen Richtung angeordnet, mit dem G-Pixel eingeschoben im Zentrum. In der B-Anordnung sind unterdessen B-Pixel in der horizontalen Richtung angeordnet und sind R-Pixel in der vertikalen Richtung angeordnet, wobei das G-Pixel im Zentrum dazwischen eingeschoben ist. D. h., dass zwischen der A-Anordnung und der B-Anordnung die Positionsbeziehungen der R-Pixel und der B-Pixel miteinander ersetzt werden, jedoch die anderen Positionen gleich sind.
Die Anzahl von Pixeln der R-Pixel, G-Pixel und B-Pixel in dem zugrunde liegenden Anordnungsmuster sind acht Pixel, 20 Pixel bzw. acht Pixel. D. h., dass die Verhältnisse der Anzahl von Pixeln der RGB-Pixel 2:5:2 ist. Das Verhältnis der Anzahl von G-Pixeln ist höher als sowohl die Verhältnisse der Anzahl von R-Pixeln als auch der B-Pixel.
Die 15A und 15B sind Diagramme zur Darstellung einer Ausführungsform eines gewichteten Durchschnittswertfilters, der für einen Demosaikprozess für ein Mosaikbild verwendet wird, das von dem Bildaufnahmeelement der in 13 dargestellten vierten Ausführungsform erfasst wird, und zeigt insbesondere Filterkoeffizienten des gewichteten Durchschnittswertfilters.
Wie in den 15A und 15B dargestellt, weist jeder gewichtete Durchschnittswertfilter eine 9×9-Kernel-Größe auf, und hat zugewiesene Filterkoeffizienten, die in den Diagrammen dargestellt sind.
D. h., dass die Gewichtungskoeffizienten der gewichteten Durchschnittswertfilter, der in 15A dargestellt ist, derart konfiguriert sind, dass dann, wenn die A-Anordnung des Mosaikbilds im Zentrum des 9×9-Kernels angeordnet ist, und dann die Gewichtungskoeffizienten für jede Farbe der G- und R-Farbe entsprechend der Farbe von jedem Pixel in dem Kernel (lokale Fläche) extrahiert werden, um die Gesamtsumme der Gewichtungskoeffizienten zu erfassen, das Verhältnis der Gesamtsummen der Gewichtungskoeffizienten für die sich wiederholenden Farben von G und R an jeder der Pixellinien in der horizontalen Richtung und der vertikalen Richtung 1:1 ist.
Die Gewichtungskoeffizienten des gewichteten Durchschnittswertfilters, der in der 15B dargestellt ist, sind gleichermaßen derart konfiguriert, dass das Verhältnis der Gesamtsummen der Gewichtungskoeffizienten für die jeweiligen Farben von G und B an jeder der Pixellinien in der horizontalen Richtung und der vertikalen Richtung 1:1 ist.
Zum Beispiel sind in 15A die Gewichtungskoeffizienten in der oberen Reihe 0, 0, 1, 1, 4, 1, 1, 0 und 0. Wenn die Gesamtsumme für sowohl G als auch R in einer separaten Art und Weise erfasst wird, ist R = 4 und G = 0 + 1 + 1 + 1 + 1 + 0 = 4. Es wird verstanden, dass die Beziehung 4:1 = 1:1 gilt. Alle Reihen und Spalten (Pixellinien in der horizontalen und vertikalen Richtung) enthalten Gewichtungskoeffizienten, die diese Beziehung erfüllen.
Auf Grundlage eines Vergleichs von Gewichtungskoeffizienten in jeder Fläche, die in eine 3×3 Größe unterteilt ist, werden dem gewichteten Durchschnittswertfilter Gewichte zugewiesen, um einen hohen Gewichtungskoeffizienten im Zentrum der 3×3 Pixel aufzuweisen, sowie nächst höhere Gewichtungskoeffizienten, die oberhalb, unterhalb, links und rechts das Zentrum einschließend angeordnet sind, und die geringsten Filterkoeffizienten an den vier 3×3 Pixelecken.
Die Verwendung des in 15A dargestellten gewichteten Durchschnittswertfilters erlaubt eine genaue Berechnung des Farbverhältnisses (Rf/Gf) in der lokalen Fläche des 9×9-Pixels, ohne nachteilige Hochfrequenzeffekte. Die Verwendung des in 15B dargestellten gewichteten Durchschnittswertfilters ermöglicht gleichermaßen keine genaue Berechnung des Farbverhältnisses (Bf/Gf) in der lokalen Fläche, ohne nachteilige Hochfrequenzeffekte. Die 3×3 Pixel (Pixel in den dicken Rahmen, die in den 15A und 15B dargestellt sind) im Zentrum der lokalen Fläche des 9×9-Pixels werden als Pixel verwendet, die dem Demosaikprozess unterworfen werden, und die R- und B-Pixelwerte in jeder Pixelposition werden auf Grundlage des G-Pixelwerts an der Pixelposition von jedem Pixel und dem berechneten Farbverhältnis berechnet. Wenn das zu verarbeitende Pixel ein R-Pixel oder ein B-Pixel ist, wird der G-Pixelwert auf der Grundlage der G-Pixelwerte in der Korrelationsrichtung berechnet, die durch ein Richtungsbestimmungsmittel bestimmt wird.
Nachdem der Demosaikprozess zum Berechnen von RGB-Pixelwerten für alle 3×3 Pixel im Zentrum der lokalen Fläche der 9×9-Pixel beendet ist, wird der gleiche Prozess, wie oben erläutert, durchgeführt, während die lokale Fläche, die aus dem Mosaikbild extrahiert wird, bei jedem Mal um 3×3 Pixel verschoben.
Nachdem die lokale Fläche der 9×9-Pixel um drei Pixel in der horizontalen Richtung oder der vertikalen Richtung von jedem der in den 15A und 15B dargestellten Zustände verschoben ist, ist die 3×3-Pixel-B-Anordnung im Zentrum der lokalen Fläche des verschobenen 9×9-Pixels positioniert (siehe 14). In diesem Fall kann das Farbverhältnis (Rf/Gf) zwischen G und R unter Verwendung des in 15B dargestellten gewichteten Durchschnittswertfilters berechnet werden. Das Farbverhältnis (Bf/Gf) zwischen G und B kann darüber hinaus unter Verwendung des in 15A dargestellten gewichteten Durchschnittswertfilters berechnet werden.
In dieser Ausführungsform werden 3×3 Pixel als Pixel verwendet, die dem Demosaikprozess unterworfen werden, und die lokale Fläche wird um jeweils 3×3 Pixel verschoben. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Ein Pixel kann zum Beispiel als ein Pixel verwendet werden, das dem Demosaikprozess unterworfen wird, und die lokale Fläche kann um jedes Pixel verschoben werden. In diesem Fall müssen viele gewichtete Durchschnittswertfilter in Übereinstimmung mit den Arten der zu verarbeitenden Pixel bereitgestellt werden.
Fünfte Ausführungsform eines Bildaufnahmeelements
16 ist ein Diagramm zur Darstellung einer fünften Ausführungsform eines Bildaufnahmeelements 14, und zeigt insbesondere eine Farbfilteranordnung, die an der Lichtempfangsoberfläche des Bildaufnahmeelements 14 angeordnet ist.
Eine in 16 dargestellte Farbfilteranordnung (Mosaikbild) ist eine Variation der in 13 dargestellten vierten Ausführungsform. Die in 16 dargestellte Farbfilteranordnung unterscheidet sich darin, dass W-Pixel mit transparenten (W) Filtern angeordnet sind, anstelle der oberen linken G-Pixel in der A-Anordnung und dem unteren linken G-Pixel in der B-Anordnung, wie in 14 dargestellt.
Wie in 16 dargestellt, ist die Anzahl von Pixeln der R-Pixel, G-Pixel, B-Pixel und W-Pixel entsprechend den R-Filtern, G-Filtern, B-Filtern und W-Filtern in dem zugrunde liegenden 6×6 Pixel-Anordnungsmuster P gleich acht Pixel, 16 Pixel, acht Pixel bzw. vier Pixel. Die zugewiesene Anzahl von Helligkeitspixeln (G-Pixel und W-Pixel) ist größer als sowohl die zugewiesene Anzahl von R-Pixeln als auch von B-Pixeln. D. h., dass im Vergleich mit den R-Pixeln und den B-Pixeln das Verhältnis der Anzahl von G-Pixeln und W-Pixeln, die ein hohes Beitragsverhältnis zum Erfassen eines Helligkeitssignals aufweisen, höher ist als sowohl das Verhältnis der Anzahl von Pixeln der R-Pixel als auch der B-Pixel.
Die 17A und 17B sind Diagramme zur Darstellung einer Ausführungsform eines gewichteten Durchschnittswertfilters, der verwendet wird für einen Demosaikprozess für ein Mosaikbild, das erfasst wird von dem Bildaufnahmeelement der in 16 dargestellten fünften Ausführungsform, und zeigt insbesondere Filterkoeffizienten des gewichteten Durchschnittswertfilters.
Wie in den 17A und 17B dargestellt, weisen die gewichteten Durchschnittswertfilter die gleiche Kernel-Größe wie die Größe eines zugrunde liegenden 6×6-Pixel-Anordnungsmusters P auf. 17A zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und R in einem Kernel entsprechend einer lokalen Fläche. 17B zeigt einen gewichteten Durchschnittswertfilter zum Berechnen des Farbverhältnisses zwischen G und B in dem Kernel entsprechend der lokalen Fläche.
Die Gewichtungskoeffizienten in dem gewichteten Durchschnittswertfilter, der in 17A dargestellt ist, sind derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für R-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
In dem gewichteten Durchschnittswertfilter, der in der 17B dargestellt ist, sind die Gewichtungskoeffizienten gleichermaßen derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist.
Die Verwendung des gewichteten Durchschnittswertfilters ermöglicht eine genaue Berechnung der Farbverhältnisse ((Rf/Gf), (Bf/Gf)) in der lokalen Fläche, ohne nachteilige Hochfrequenzeffekte. Das zugrunde liegende Anordnungsmuster P enthält G-Pixel, die benachbart sind in der horizontalen Richtung, der vertikalen Richtung, der diagonalen Richtung nach oben rechts und der diagonalen Richtung nach unten rechts. Das Richtungsbestimmungsmittel kann entsprechend die Korrelationsrichtung der benachbarten Helligkeit des Pixels, das dem Demosaikprozess unterworfen wird, bei dem minimalen Pixelintervall auf Grundlage dieser G-Pixel bestimmen.
Spektrale Empfindlichkeitscharakteristik der R-, G-, B- und N-Pixel
18 ist ein Diagramm zur Darstellung eines Beispiels einer spektralen Empfindlichkeitscharakteristik von Photodioden (R-, G-, B- und W-Pixel), an denen R-Filter, G-Filter, B-Filter und W-Filter angeordnet sind.
Wie in 18 dargestellt, ist die spektrale Empfindlichkeitscharakteristik des W-Pixels, das bereitgestellt ist mit dem W-Filter, eine spektrale Empfindlichkeitscharakteristik, zu der spektrale Empfindlichkeitscharakteristika der R-, G- und B-Pixel hinzugefügt sind. Der Wellenlängenbereich der Empfindlichkeit enthält die Wellenlängenbereiche der R-, G- und B-Pixel.
Ein Spitzenwert der Lichtdurchlässigkeit bzw. Transmittanz der W-Filter (Spitzenwert der Empfindlichkeit des W-Pixels) reicht von 480 nm bis 570 nm, die jeweils eingeschlossen sind. Die Lichtdurchlässigkeit bzw. Transmittanz des W-Filters ist höher als sowohl die Transmittanz des R- als auch des B-Filters in einem Bereich von 500 nm bis 560 nm, die jeweils eingeschlossen sind.
Im Übrigen weist das Bildsignal der G-Pixel ein höheres Beitragsverhältnis während der Erzeugung des Helligkeitssignals auf, als Bildsignale der R-Pixel und der B-Pixel. Insbesondere erzeugt der Bildprozessor 18 ein Y-Signal für jedes Pixel auf Grundlage des RGB-Pixelsignals, einschließlich einer Farbinformation bezüglich RGB gemäß der folgenden Gleichung (5). Y = 0,3 R + 0,59 G + 0,11 B (5)
Gemäß dieser Gleichung (5) ist das Beitragsverhältnis der G-Farbe bei 59%. Die G-Farbe weist somit ein höheres Beitragsverhältnis als die R-Farbe (Beitragsverhältnis von 30%) und die B-Farbe (Beitragsverhältnis von 11%) auf. Die G-Farbe ist daher eine Farbe, die unter den drei Primärfarben am meisten zu dem Helligkeitssignal beiträgt.
Das Bildsignal des W-Pixels kann, so wie es ist, als ein Helligkeitssignal angesehen werden. Im Fall des Bildaufnahmeelements der obigen Ausführungsform, die G-Pixel und W-Pixel in einer gemischten Art und Weise enthält, wird das Helligkeitssignal jedoch durch ein Mischen des Helligkeitssignals, das durch die Gleichung (5) berechnet wird, und des Bildsignals (Helligkeitssignal) des W-Pixels bei einem bestimmten Verhältnis erzeugt. Das Bildsignal des W-Pixels ist vergleichbarer zu dem Helligkeitssignal als das Bildsignal des G-Pixels, und daher vergleichbarer zu dem Helligkeitssignal als sowohl die Bildsignale des R-Pixels und des B-Pixels, wobei es sich um eine Selbstverständlichkeit handelt. Das gemischte Helligkeitssignal wird zum Beispiel durch die folgende Gleichung (6) berechnet. Y = 0,5 W + 0,5 (0,3 R + 0,59 G + 0,11 B) (6)
D. h., dass jedes der Helligkeitspixel (G-Pixel und W-Pixel) entsprechend erster Farben, wobei es sich um eine oder mehrere Farben der vorliegenden Erfindung handelt, ein Beitragsverhältnis zum Erfassen des Helligkeitssignals von 50% oder mehr aufweist. Jedes der Pixel (R-Pixel und B-Pixel) entsprechend zweiter Farben, wobei es sich um zwei oder mehr Farben außer den ersten Farben handelt, weist ein Beitragsverhältnis zum Erfassen des Helligkeitssignals geringer als 50% auf. 50% ist hier ein Wert, der definiert ist, um die ersten Farben und die zweiten Farben bezüglich des Beitragsverhältnisses voneinander zu unterscheiden, und ist ein Wert, der derart definiert ist, dass eine Farbe mit einem relativ höheren Beitragsverhältnis zum Erfassen des Helligkeitssignals, als die R-Farbe, B-Farbe usw. aufweisen, als die „erste Farbe” klassifiziert ist.
Sechste Ausführungsform eines Bildaufnahmeelements
19 ist ein Diagramm zur Darstellung einer sechsten Ausführungsform des Bildaufnahmeelements 14 und zeigt insbesondere eine Farbfilteranordnung, die an der Lichtempfangsoberfläche des Bildaufnahmeelements 14 angeordnet ist.
Die Farbfilteranordnung (Mosaikbild), die in 19 dargestellt ist, entspricht einer Anordnung, die durch Drehen der Farbfilteranordnung der in 4 dargestellten ersten Ausführungsform um 45° erreicht wird.
Im Fall des Bildaufnahmeelements, bei dem mehrere Pixel in einem geneigten Gitter angeordnet sind, ist das reproduzierbare Band in der horizontalen und vertikalen Richtung √2 mal so groß wie das des Bildaufnahmeelements mit einer quadratischen Gitteranordnung. Eine derartige Konfiguration stimmt mit einer Charakteristik überein, bei der die Frequenzcharakteristik des menschlichen Sehens in der horizontalen und vertikalen Richtung höher ist als jene in geneigten Richtungen. Es trifft somit zu, dass diese Konfiguration visuell vorteilhaft ist.
Im Fall des Bildaufnahmeelements in der sechsten Ausführungsform, bei der die mehrfachen Pixel in einem geneigten Gitter angeordnet sind, entspricht die Diagonalrichtung nach oben rechts einer Richtung zwischen der ersten Richtung und der zweiten Richtung der vorliegenden Erfindung, und die Diagonalrichtung nach unten rechts entspricht der anderen Richtung zwischen einer dritten Richtung und einer vierten Richtung der vorliegenden Erfindung.
Der Demosaikprozess gemäß der vorliegenden Erfindung kann ebenfalls geeignet für die in 19 dargestellte Farbfilteranordnung (Mosaikbild) angewendet werden.
Andere Ausführungsform des Demosaikprozesses
In der oben stehenden Ausführungsform werden die R- und B-Pixelwerte an jeder Pixelposition auf Grundlage der Farbverhältnisse ((Rf/Gf), (Bf/Gf)) aus G und R, und G und B berechnet, sowie dem G-Pixelwert an der Pixelposition, die in der lokalen Fläche zu verarbeiten ist. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Die R- und B-Pixelwerte an jeder Pixelposition können zum Beispiel auf Grundlage der Farbdifferenzen zwischen G und R und G und B, sowie dem G-Pixelwert an der zu verarbeitenden Pixelposition berechnet werden.
Insbesondere wird der gewichtete Durchschnittswert durch den gewichteten Durchschnittswertfilter berechnet, der jeden der Produkt-Summen-Operationswerte (Rf, Gf und Bf) von G und R, und G und B, durch die Gesamtsumme der Gewichtungskoeffizienten in der lokalen Fläche dividiert. Diese gewichteten Durchschnittswerte sind als Rf', Gf' und Bf' definiert. Das Pixel, das dem Demosaikprozess unterworfen wird, ist ein G-Pixel. Der diesbezügliche Pixelwert ist als G definiert. In diesem Fall werden die Pixelwerte von R und B für R- und B-Farben an der zu verarbeitenden Pixelposition durch die folgenden Gleichungen berechnet. R = G + (Rf' – Gf') (7) B = G + (Bf' – Gf') (8)
Wenn das Pixel, das dem Demosaikprozess unterworfen wird, ein R-Pixel oder ein B-Pixel ist, wird der Pixelwert von einem G-Pixel, das sich benachbart in der Korrelationsrichtung zu dem zu verarbeitenden Pixel befindet, oder ein interpolierter Wert der Pixelwerte von G-Pixeln als der G-Pixelwert an der zu verarbeitenden Pixelposition berechnet. Der berechnete G-Pixelwert ist als G' definiert. In diesem Fall wird jeder der Pixelwerte B und R für B- und R-Farben an der Pixelposition des R-Pixels oder des B-Pixels durch die folgende Gleichung berechnet. B = G' + (Bf' – Gf') (9) R = G' + (Rf' – Gf') (10)
In dem gewichteten Durchschnittswertfilter gemäß der vorliegenden Erfindung sind die Gewichtungskoeffizienten derart konfiguriert, dass das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der horizontalen Richtung in dem Kernel 1:1 ist, und das Verhältnis zwischen der Gesamtsumme der Gewichtungskoeffizienten für G-Pixel und der Gesamtsumme der Gewichtungskoeffizienten für B-Pixel an den Pixellinien in der vertikalen Richtung in dem Kernel 1:1 ist. Selbst dann, wenn eine Hochfrequenzeingabe in der horizontalen Richtung oder der vertikalen Richtung erfolgt, können entsprechend korrekte Farbunterschiede in der lokalen Fläche bzw. dem lokalen Bereich berechnet werden, ohne eine Abweichung der Beziehung des Differenzwerts (Bf' – Gf') zwischen G- und B- gewichteten Durchschnittswerten, die unter Verwendung der Gewichtungskoeffizienten erfasst werden. Die G- und B-Farbdifferenz (Rf' – Gf') in der lokalen Fläche kann gleichermaßen korrekt berechnet werden. Eine genaue Berechnung kann durch Interpolation der R- und B-Pixelwerte an der zu verarbeitenden Pixelposition auf Grundlage der Farbdifferenz durchgeführt werden.
Eine andere Ausführungsform der Bildaufnahmevorrichtung 10 kann zum Beispiel ein Mobiltelefon sein, das eine Kamerafunktion aufweist, ein Smartphone, ein PDA (engl. Personal Digital Assistant) oder eine mobile Spielmaschine. Im Folgenden wird das Beispiel eines Smartphones verwendet, und detailliert mit Bezug auf die Zeichnungen erläutert.
Konfiguration des Smartphones
20 stellt ein Smartphone 500 dar, wobei es sich um eine andere Ausführungsform der Bildaufnahmevorrichtung 10 handelt. Das in 20 dargestellte Smartphone 500 weist ein Gehäuse mit einer flachen Form 502 auf, und enthält eine Anzeige-Eingabeeinheit 520, in dem ein Anzeigefeld 521 als eine Anzeigeeinheit und ein Bedienungsfeld 522 als eine Eingabeeinheit an einer Oberfläche des Gehäuses 502 integriert sind. Das Gehäuse 502 enthält darüber hinaus einen Lautsprecher 531, ein Mikrophon 532, eine Betriebseinheit 540 und eine Kameraeinheit 541. Es wird vermerkt, dass die Konfiguration des Gehäuses 502 nicht darauf beschränkt ist. Alternativ kann zum Beispiel eine Konfiguration eingesetzt werden, bei der die Anzeigeeinheit und die Eingabeeinheit unabhängig voneinander sind, oder es kann eine Konfiguration eingesetzt werden, die eine Zusammenklapp-Struktur oder einen Aufschiebe-Mechanismus (engl. sliding mechanism) aufweist.
21 ist ein Blockdiagramm zur Darstellung einer Konfiguration des Smartphones 500, das in 20 dargestellt ist. Wie in 21 dargestellt, enthält das Smartphone 500 eine Drahtlos-Kommunikationseinheit 510, eine Anzeige-Eingabeeinheit 520, eine Telefon-Kommunikationseinheit 530, die Betriebseinheit 540, die Kameraeinheit 541, eine Speichereinheit 550, eine externe Eingabe- und Ausgabeeinheit 560, eine GPS-(engl. Global Positioning System)Empfangseinheit 570, eine Bewegungssensoreinheit 580, eine Stromquelleneinheit 590 und eine Hauptsteuereinheit 501. Das Smartphone 500 weist darüber hinaus eine drahtlose Kommunikationsfunktion zum Durchführen einer drahtlosen Mobilkommunikation über eine Basisstationsvorrichtung BS und ein mobiles Kommunikationsnetz NW auf.
Die Drahtlos-Kommunikationseinheit 510 führt eine drahtlose Kommunikation mit der Basisstationsvorrichtung BS, die in dem mobilen Kommunikationsnetz NW untergebracht ist, gemäß Anweisungen von der Hauptsteuereinheit 501 durch. Über die Verwendung der drahtlosen Kommunikation werden verschiedene Arten von Daten, wie zum Beispiel Audiodaten und Bilddaten, und E-Mail-Daten und dergleichen übertragen und empfangen, und Web-Daten und Stream-Daten werden empfangen.
Die Anzeige-Eingabeeinheit 520 ist ein sogenanntes Berührungsfeld, das durch die Hauptsteuereinheit 501 gesteuert wird, um Bilder (Ruhebilder und bewegte Bilder) und Zeicheninformation und dergleichen anzuzeigen und dem Nutzer eine Information visuell zu übertragen, und erfasst einen Nutzerbetrieb, der ansprechend auf die angezeigte Information erfolgt. Die Anzeige-Eingabeeinheit 520 enthält das Anzeigefeld 521 und das Bedienungsfeld 522. Zum Betrachten erzeugter 3D-Bilder ist das Anzeigefeld 521 bevorzugt ein 3D-Anzeigefeld.
Das Anzeigefeld 521 ist ein LCD (engl. Liquid Crystal Display), ein OELD (engl. Organic Electro-Luminescence Display) oder dergleichen, das als Anzeigevorrichtung verwendet wird. Das Bedienungsfeld 522 ist eine Vorrichtung, die an einem Anzeigebildschirm des Anzeigefelds 521 in einer Art und Weise angeordnet ist, die es erlaubt, ein angezeigtes Bild zu betrachten, und wird durch einen Finger des Nutzers oder einen Stift betrieben und erfasst eine oder mehrere Koordinaten. Wenn die Vorrichtung durch den Finger des Nutzers oder den Stift bedient wird, wird ein Erfassungssignal, das durch die Betriebseinheit erzeugt wird, an die Hauptsteuereinheit 501 ausgegeben. Die Hauptsteuereinheit 501 erfasst daraufhin eine Betriebsposition (Koordinaten) an dem Anzeigefeld 521 auf Grundlage des empfangenen Erfassungssignals.
Wie in 20 dargestellt, sind das Anzeigefeld 521 und das Bedienungsfeld 522 des Smartphones 500 zur Konfiguration der Anzeige-Eingabeeinheit 520 integriert, und derart angeordnet, dass das Bedienungsfeld 522 das Anzeigefeld 521 vollständig abdeckt. Im Fall der Verwendung dieser Anordnung kann das Bedienungsfeld 522 eine Funktion zum Erfassen einer Nutzeroperation auch in einem Bereich außerhalb des Anzeigefelds 521 aufweisen. Mit anderen Worten kann das Bedienungsfeld 522 einen Erfassungsbereich bzw. eine Erfassungsfläche für einen Überlappungsabschnitt enthalten, der mit dem Anzeigefeld 521 (im Folgenden als ein Anzeigebereich bezeichnet) überlappt, sowie einen anderen Erfassungsbereich für einen peripheren Abschnitt, der nicht mit dem Anzeigefeld 521 überlappt (im Folgenden als Nicht-Anzeigebereich bezeichnet).
Die Größe des Anzeigebereichs und die Größe des Anzeigefelds 521 können vollständig miteinander übereinstimmen. Alternativ ist es nicht erforderlich, beide Flächen bzw. Bereiche abzugleichen. Das Bedienungsfeld 522 kann darüber hinaus zwei Abtastflächen bzw. Abtastbereiche enthalten, wobei es sich um einen peripheren Abschnitt und einen inneren Abschnitt außer dem peripheren Abschnitt handelt. Die Breite des peripheren Abschnitts ist darüber hinaus geeignet gemäß der Größe des Gehäuses 502 ausgebildet. Ein Positionserfassungsmechanismus, der in dem Bedienungsfeld 522 eingesetzt werden kann, kann einer von einem Matrixschaltermechanismus, einem Widerstandsfilmmechanismus, einem Oberflächenwellenmechanismus, einem Infrarotmechanismus, einem elektromagnetischen Induktionsmechanismus, einem Kapazitätsmechanismus und dergleichen sein. Jeder dieser Mechanismen bzw. Maßnahmen kann eingesetzt werden.
Die Telefonkommunikationseinheit 530 enthält den Lautsprecher 531 und das Mikrophon 532. Die Telefonkommunikationseinheit 530 wandelt ein Audiosignal des Nutzers, das über das Mikrophon 532 eingegeben wird, in Audio-Daten, die in der Hauptsteuereinheit 501 verarbeitet werden können und gibt die Daten an die Hauptsteuereinheit 501 aus, und decodiert die Audio-Daten, die durch die Drahtlos-Kommunikationseinheit 510 oder die externe Eingabe- und Ausgabeeinheit 560 empfangen werden, und gibt die Daten von dem Lautsprecher 531 aus. Wie in 20 dargestellt, kann der Lautsprecher 531 zum Beispiel an der gleichen Oberfläche wie die Oberfläche montiert werden, an der die Anzeige-Eingabeeinheit 520 angeordnet ist. Das Mikrophon 532 kann an der Seitenoberfläche des Gehäuses 502 montiert werden.
Die Betriebseinheit 540 ist eine Hardware-Taste, die Tastenschalter und dergleichen verwendet, und empfängt eine Anweisung von dem Nutzer. Wie in 20 dargestellt, ist die Betriebseinheit 540 zum Beispiel unterhalb oder an einer unteren Seite der Anzeige-Einheit an dem Gehäuse 502 des Smartphones 500 montiert bzw. angebracht. Bei dieser Betriebseinheit handelt es sich um einen Druckknopfschalter, der durch ein Herabdrücken durch einen Finger oder dergleichen eingeschaltet wird, und durch den Widerstand einer Feder oder dergleichen ausgeschaltet wird, wenn der Finger entfernt wird.
Die Speichereinheit 550 speichert ein Steuerprogramm und Steuerdaten für die Hauptsteuereinheit 501, sowie Adressendaten, die mit den Namen und Telefonnummern von anderen Kommunikationsparteien assoziiert sind, Daten bezüglich gesendeter und empfangener E-Mails, Web-Daten, die durch einen Webbrowser heruntergeladen werden, sowie heruntergeladene Content-Daten, und speichert Stream-Daten temporär. Die Speichereinheit 550 enthält eine interne Speichereinheit 551, die in dem Smartphone eingebettet ist, sowie eine externe Speichereinheit 552 mit einem abtrennbaren externen Speicherslot. Es wird vermerkt, dass die interne Speichereinheit 551 und die externe Speichereinheit 552, die die Speichereinheit 550 konfigurieren, unter Verwendung eines beliebigen Speichermediums erreicht werden, wie zum Beispiel einem Flash-Speichertyp, einem Festplattentyp, einem Multimediakarten-Mikrotyp und kartenartigen Speichern (zum Beispiel Mikro-SD-(registrierte Marke)Speicher usw.), einem RAM (engl. Random Access Memory) und einem ROM (engl. Read Only Memory).
Die externe Eingabe- und Ausgabeeinheit 560 dient als eine Schnittstelle mit allen externen Vorrichtungen, die mit dem Smartphone 500 verbunden sind, und dient für eine direkte oder indirekte Verbindung mit einer externen Vorrichtung über eine Kommunikation oder dergleichen (zum Beispiel Universal Serial Bus (USB), IEEE 1394 (The Institute of Electrical and Electronics Engineers, Inc.), usw.) oder einem Netz (zum Beispiel das Internet, drahtloses LAN, Bluetooth (registrierte Marke), RFID (engl. Radio Frequency Identiciation), Infrarotkommunikation (Infrared Data Association: IrDA) (registrierte Marke), UWB (engl. Ultra Wideband)(registrierte Marke), ZigBee (registrierte Marke), usw.).
Die externen Vorrichtungen, die mit dem Smartphone 500 verbunden sind, sind zum Beispiel verdrahtete und drahtlose Headsets, verdrahtete und drahtlose externe Ladegeräte, verdrahtete und drahtlose Datenports, eine Speicherkarte, die mit einem Card-Socket verbunden ist, eine SIM-(engl. Subscriber Identity Module Card)/UIM-(engl. User Identity Module Card) Karte einer externen Audio-Video-Vorrichtung, die mit einem Audio-Video-I/O-(engl. Input/Output)Anschluss verbunden ist, eine drahtlos verbundene externe Audio-Video-Vorrichtung, Smartphones, die verdrahtet und drahtlos verbunden sind, Personalcomputer, die verdrahtet und drahtlos verbunden sind, PDAs, die verdrahtet und drahtlos verbunden sind, und Personalcomputer und Telefonhörer, die verdrahtet und drahtlos verbunden sind. Die externe Eingabe- und Ausgabeeinheit kann Daten übertragen, die von einer derartigen externen Vorrichtung gesendet werden, an jedes Konfigurationselement in dem Smartphone 500, und erlaubt, dass Daten in dem Smartphone 500 an die externe Vorrichtung übertragen werden.
Die GPS-Empfangseinheit 570 empfängt GPS-Signale, die von GPS-Satelliten ST1 bis STn übertragen werden, gemäß einer Anweisung durch die Hauptsteuereinheit 501, führt einen Positionsbetriebsprozess auf Grundlage der empfangenen GPS-Signale aus, und erfasst die Position des Smartphones 500, die den Breitengrad, Längengrad und Höhengrad enthält. Wenn eine Positionsinformation aus der Drahtlos-Kommunikationseinheit 510 oder der externen Eingabe- und Ausgabeeinheit 560 (zum Beispiel ein drahtloses LAN) erfasst werden kann, kann die GPS-Empfangseinheit 570 die Position unter Verwendung der Positionsinformation erfassen.
Die Bewegungssensoreinheit 580 enthält zum Beispiel einen Dreiachsen-Beschleunigungssensor und dergleichen, und erfasst eine physikalische Bewegung des Smartphones 500 gemäß der Anweisung durch die Hauptsteuereinheit 501. Über die Erfassung der physikalischen Bewegung des Smartphones 500 wird die Bewegungsrichtung und Beschleunigung des Smartphones 500 erfasst. Das Detektionsergebnis wird an die Hauptsteuereinheit 501 ausgegeben.
Die Stromquelleneinheit 590 liefert Strom, der in einer (nicht dargestellten) Batterie gespeichert ist, an jede Einheit des Smartphones 500 gemäß der Anweisung durch die Hauptsteuereinheit 501.
Die Hauptsteuereinheit 501 enthält einen Mikroprozessor, arbeitet gemäß einem Steuerprogramm und Steuerdaten, die in der Steuereinheit 550 gespeichert sind, und führt eine integrale Steuerung jeder Einheit des Smartphones 500 durch. Die Hauptsteuereinheit 501 weist eine Mobilkommunikationsfunktion zum Steuern jeder Einheit des Kommunikationssystems und eine Anwendungsverarbeitungsfunktion zum Durchführen einer Audiokommunikation und einer Datenkommunikation über die Drahtlos-Kommunikationseinheit 510 auf.
Die Anwendungsverarbeitungsfunktion kann durch die Hauptsteuereinheit 501 erreicht werden, die gemäß der Anwendungssoftware arbeitet, die in der Speichereinheit 550 gespeichert ist. Die Anwendungsverarbeitungsfunktion ist zum Beispiel eine Infrarotkommunikationsfunktion zum Steuern der externen Eingabe- und Ausgabeeinheit 560, um eine Datenkommunikation mit einer gegenüberliegenden Vorrichtung durchzuführen, eine E-Mail-Funktion zum Übertragen und Empfangen von E-Mails, und eine Web-Browser-Funktion zum Browsen von Webseiten.
Die Hauptsteuereinheit 501 weist eine Bildverarbeitungsfunktion zum Anzeigen von Videodaten an der Anzeige-Eingabeeinheit 520 auf Grundlage von Bilddaten (Daten bezüglich eines Ruhebilds oder eines bewegten Bilds) auf, wie zum Beispiel empfangene Daten oder heruntergeladene Stream-Daten. Die Bildverarbeitungsfunktion ist eine Funktion, bei der die Hauptsteuereinheit 501 einen Prozess zum Entwickeln von RAW-Daten durchführt, der den Demosaikprozess gemäß der vorliegenden Erfindung enthält, und bewirkt, dass eine Speichereinheit 550 ein Bild als ein Verarbeitungsresultat speichert oder das Bild an der Anzeige-Eingabeeinheit 520 anzeigt.
Die Hauptsteuereinheit 501 führt darüber hinaus eine Anzeigesteuerung für das Anzeigefeld 521 durch, sowie eine Betriebserfassungssteuerung, die Nutzer-Operationen über die Betriebseinheit 540 und das Bedienungsfeld 522 erfasst bzw. detektiert.
Gemäß der Ausführung der Anzeigesteuerung zeigt die Hauptsteuereinheit 501 Software-Tasten an, wie zum Beispiel einen Icon zum Aktivieren einer Anwendungs-Software, sowie Rollbalken, und zeigt ferner ein Fenster an, um eine E-Mail zu erzeugen. Es wird vermerkt, dass die Rollbalken-Software-Tasten zum Akzeptieren einer Anweisung zur Bewegung eines angezeigten Teils von einem Bild sind, das groß ist und in dem Anzeigebereich an dem Anzeigefeld 521 nicht untergebracht werden kann.
Über die Ausführung der Betriebserfassungssteuerung erfasst die Hauptsteuereinheit 501 eine Nutzer-Operation über die Betriebseinheit 540, akzeptiert eine Operation an dem Icon und eine Eingabe eines Zeichenstrings in ein Eingabefeld in dem Fenster über das Bedienungsfeld 522, und akzeptiert eine Anforderung zum Scrollen des angezeigten Bilds über die Rollbalken.
Die Hauptsteuereinheit 501 weist darüber hinaus eine Berührungsfeld-Steuerfunktion auf, um zu bestimmen, ob die Betriebsposition an dem Bedienungsfeld 522 in dem Überlappungsabschnitt (Anzeigebereich), der mit dem Anzeigefeld 521 überlappt, oder dem anderen peripheren Bereich ist, der nicht mit dem Anzeigefeld 521 (Nicht-Anzeigebereich) überlappt, sowie zum Steuern des Abtastbereichs des Bedienungsfelds 522 und der Anzeigeposition der Software-Tasten.
Die Hauptsteuereinheit 501 kann eine Gesten-Operation an dem Bedienungsfeld 522 erfassen, und eine voreingestellte Funktion ansprechend auf die erfasste Gesten-Operation ausführen. Die Gesten-Operation ist nicht auf eine herkömmliche einfache Berührungsoperation beschränkt, sondern bedeutet das Zeichnen einer Trajektorie durch einen Finger, ein simultanes Zuweisen mehrerer Punkte, und ein Zeichnen einer Trajektorie aus zumindest einem der mehrfachen Positionen über eine Kombination dieser Operationen.
Die Kameraeinheit 541 ist eine digitale Kamera, die ein Bild elektronisch aufnimmt, unter Verwendung eines Bildaufnahmeelements, wie zum Beispiel einen CMOS (engl. Complementary Metal Oxide Semiconductor) oder einer CCD (engl. Charge-Coupled Device), und weist eine Funktion auf, die äquivalent zu der Funktion ist, die in dem Blockdiagramm der 3 dargestellt ist. Die Kameraeinheit 541 wandelt Bilddaten, die durch ein Bildgeben erfasst werden, beispielsweise in komprimierte Bilddaten, wie zum Beispiel JPEG (engl. Joint Photographic coding Experts Group), zeichnet die Daten in der Speichereinheit 550 auf, und gibt die Daten über die externe Eingabe- und Ausgabeeinheit 560 und die Drahtlos-Kommunikationseinheit 510 über eine Steuerung durch die Hauptsteuereinheit 501 aus. In dem in 20 dargestellten Smartphone 500 ist die Kameraeinheit 541 an der gleichen Oberfläche wie die der Anzeige-Eingabeeinheit 520 montiert. Die Montageposition der Kameraeinheit 541 ist jedoch nicht darauf beschränkt. Diese Einheit kann alternativ an der Rückseite der Anzeige-Eingabeeinheit 520 montiert werden oder mehrere Kameraeinheiten 541 können montiert sein. Für den Fall, dass mehrere Kameraeinheiten 541 montiert sind, kann eine Kamera 541, die zur Bildgebung verwendet wird, geschaltet werden, um nur ein Bild aufzunehmen oder die mehrfachen Kameraeinheiten 541 können simultan zur Aufnahme von Bildern verwendet werden.
Die Kameraeinheit 541 kann für verschiedene Funktionen des Smartphones 500 verwendet werden. Ein Bild, das durch die Kameraeinheit 541 erfasst wird, kann zum Beispiel an dem Anzeigefeld 521 angezeigt werden. Als eine Eingabeoperation an dem Bedienungsfeld 522 kann ein Bild aus der Kameraeinheit 541 verwendet werden. Wenn die GPS-Empfangseinheit 570 die Position erfasst, kann auf das Bild aus der Kameraeinheit 541 verwiesen werden und kann die Position erfasst werden. Auf das Bild aus der Kameraeinheit 541 kann darüber hinaus verwiesen werden, und die optische Achsenrichtung der Kameraeinheit 541 des Smartphones 500 kann ohne Verwendung eines Dreiachsen-Beschleunigungs-Sensors oder zusammen mit der Verwendung des Dreiachsen-Beschleunigungs-Sensors erfasst werden und die gegenwärtige Nutzerumgebung kann erfasst werden. Darüber hinaus kann das Bild aus der Kameraeinheit 541 in der Anwendungs-Software verwendet werden.
Anderes
In dieser Ausführungsform wurde die Bildaufnahmevorrichtung erläutert.
Die vorliegende Erfindung ist alternativ für eine Bildverarbeitungsvorrichtung anwendbar, wie zum Beispiel ein Personalcomputer, der ein Mosaikbild von einer Bildaufnahmevorrichtung erlangt, die zum Aufzeichnen von RAW-Daten (Mosaikbild) in der Lage ist, und wendet an dem Mosaikbild verschiedene Arten einer Bildverarbeitung („RAW-Entwicklung”) an, einschließlich des Demosaikprozesses gemäß der vorliegenden Erfindung. Die vorliegende Erfindung enthält eine RAW-Entwicklungs-Software (Bildverarbeitungsprogramm), das in einem Universal-Personalcomputer installiert ist, um somit zu bewirken, dass der Personalcomputer als die Bildverarbeitungsvorrichtung arbeitet, und darüber hinaus ein permanentes Aufzeichnungsmedium zum Speichern der RAW-Entwicklungssoftware.
Die vorliegende Erfindung ist nicht nur auf das Mosaikbild dieser Ausführungsform anwendbar, sondern darüber hinaus auf verschiedene Objekte. D. h., dass die vorliegende Erfindung für jedes Mosaikbild anwendbar ist, für das Gewichtungskoeffizienten gemäß der vorliegenden Erfindung zugewiesen sind.
Die vorliegende Erfindung schätzt darüber hinaus die Farben (Farbverhältnisse und Farbdifferenzen) in der lokalen Fläche bzw. dem lokalen Bereich genau, und führt den Demosaikprozess durch. Das Auftreten eines Farbmoirés und von Falschfarben kann somit reduziert werden. Diese Reduzierung kann einen optischen Tiefpassfilter zum Reduzieren des Auftretens des Farbmoirés und dergleichen in der Bildaufnahmevorrichtung überflüssig machen. Selbst in dem Fall der Anwendung des optischen Tiefpassfilters kann der Filter alternativ eine schwache Funktion zum Abschneiden der Hochfrequenzkomponenten aufweisen, um das Auftreten des Farbmoirés und dergleichen zu verhindern, und kann daher verhindern, dass die Auflösung verschlechtert wird.
In den oben stehenden Ausführungsformen wurde der Demosaikprozess für ein RGB- oder RGBW-Mosaikbild erläutert. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt, und ist auch für ein Mosaikbild aus vier Farben anwendbar, bei denen es sich um drei RGB-Primärfarben und eine andere Farbe (zum Beispiel Smaragdfarben (E)) handelt.
Die vorliegende Erfindung ist für ein Komplementärfarben-Mosaikbild der vier Farben anwendbar, die Komplementärfarben der RGB-Primärfarben enthalten, d. h. (C) Cyan, M (Magenta) und Y (Gelb) und ferner G enthält.
Darüber hinaus ist die vorliegende Erfindung nicht auf die oben stehenden Ausführungsformen beschränkt, und verschiedene Modifikationen können im Umfang vorgenommen werden, ohne von dem Umfang der vorliegenden Erfindung abzuweichen.
Liste der Bezugszeichen

10 Bildaufnahmevorrichtung, 12 optisches Bildgebungssystem (Bildgebungslinse), 14 Bildaufnahmeelement, 16 Bildaufnahmeprozessor, 18 Bildprozessor, 20 Treiber, 22 Steuerung

Claims

Bildverarbeitungsvorrichtung, umfassend: Bilderfassungsmittel, konfiguriert zum Erfassen eines Mosaikbilds, das von einem Bildaufnahmeelement erfasst wird, das mit Farbfiltern gemäß einer vorbestimmten Farbfilteranordnung bereitgestellt ist und der Farbfilteranordnung entspricht, wobei die Farbfilter erste Filter entsprechend zumindest einer ersten Farbe enthalten, und zweite Filter, entsprechend zumindest zweier zweiter Farben, die ein geringeres Beitragsverhältnis zum Erfassen eines Helligkeitssignals als die erste Farbe aufweisen, wobei die Farbfilter an einer Vielzahl von Pixeln platziert sind, die photoelektrische Wandlerelemente enthalten, die in einer ersten Richtung und einer zweiten Richtung, die senkrecht zu der ersten Richtung ist, angeordnet sind; Betriebsmittel, konfiguriert zum Berechnen eines Produkt-Summen-Betriebswerts für die erste Farbe und eines Produkt-Summen-Betriebswerts für jede Farbe unter den zweiten Farben, auf Grundlage erster Gewichtungskoeffizienten und zweiter Gewichtungskoeffizienten und auf einem Pixelwert von einem Pixel der ersten Farbe und einem Pixelwert von einem Pixel von jeder Farbe der zweiten Farben in einer lokalen Fläche, die aus dem Mosaikbild extrahiert wird, und entsprechend einer vorbestimmten Kernel-Größe, wobei das Betriebsmittel erste Gewichtungskoeffizienten aufweist, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen und der ersten Farbe in der vorbestimmten Kernel-Größe zu entsprechen, und wobei die zweiten Gewichtungskoeffizienten konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, wobei die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten derart konfiguriert sind, dass ein Verhältnis zwischen einer Gesamtsumme der ersten Gewichtungskoeffizienten und einer Gesamtsumme der zweiten Gewichtungskoeffizienten an Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist; und Bildverarbeitungsmittel, konfiguriert zum Berechnen eines Pixelwerts von jeder Farbe der zweiten Farben an einer Pixelposition von jedem Pixel, das in der lokalen Fläche zu verarbeiten ist, auf Grundlage des Pixelwerts der ersten Farbe an der Pixelposition, und dem Produkt-Summen-Betriebswert für die erste Farbe und dem Produkt-Summen-Betriebswert für jede Farbe unter den zweiten Farben, berechnet durch das Betriebsmittel.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei das Mosaikbild zumindest eine Gruppe zweier Paare von Pixeln für jede Farbe der zweiten Farbe in der lokalen Fläche entsprechend der Kernel-Größe enthält, wobei die Gruppe die erste Farbe an einem Paar diagonaler Positionen enthält, und eine Farbe unter den zweiten Farben an einem anderen Paar diagonaler Positionen in zumindest einem eines beliebigen Vierecks, das Seiten parallel zu der ersten Richtung und der zweiten Richtung aufweist.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei das Mosaikbild ein grundlegendes Anordnungsmuster entsprechend M×N Pixeln (M ≥ 3, N ≥ 3) in der ersten Richtung und der zweiten Richtung enthält, und das grundlegende Anordnungsmuster in der ersten Richtung und der zweiten Richtung wiederholt angeordnet ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei das Mosaikbild eine Pixellinie enthält, die nicht alle der zweiten Farben enthält, an den Pixellinien in der ersten Richtung und der zweiten Richtung.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, ferner umfassend: Steuermittel, konfiguriert zum wiederholten Betreiben des Betriebsmittels und des Bildverarbeitungsmittels, während die lokale Fläche um Einheiten von Objektpixeln, die zu verarbeiten sind, bezüglich des Mosaikbilds verschoben wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei das Mosaikbild G-Pixel entsprechend einer grünen (G) Farbe enthält, der ersten Farbe zugehörend, sowie R-Pixel und B-Pixel entsprechend einer roten (R) bzw. blauen (B) Farbe, zu den zweiten Farben gehöhrend, wobei dann, wenn Produkt-Summen-Betriebswerte von Pixelwerten der R-, G- und B-Pixel, berechnet durch das Betriebsmittel bezüglich der individuellen Farben, als Rf, Gf bzw. Bf definiert sind, und wenn ein zu verarbeitendes Objektpixel ein G-Pixel ist, das Bildverarbeitungsmittel Farbverhältnisse (Rf/Gf) und (Bf/Gf) berechnet, wobei es sich um Verhältnisse zwischen dem Produkt-Summen-Betriebswert der G-Pixel und den entsprechenden Produkt-Summen-Betriebswerten der R-Pixel und der B-Pixel handelt, und Pixelwerte der R- und B-Pixel an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbverhältnisse (Rf/Gf) und (Bf/Gf) und dem Pixelwert des zu verarbeitenden G-Pixels.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei das Mosaikbild G-Pixel entsprechend einer grünen (G) Farbe enthält, der ersten Farbe zugehörend, und R-Pixel und B-Pixel entsprechend einer roten (R) bzw. blauen (B) Farbe, den zweiten Farben zugehöhrend, wobei dann, wenn Produkt-Summen-Betriebswerte von Pixelwerten der R-, G- und B-Pixel, die durch das Betriebsmittel bezüglich der individuellen Farben berechnet werden, als Rf, Gf bzw. Bf definiert werden, und wenn ein zu verarbeitendes Objektpixel ein R-Pixel ist, das Bildverarbeitungsmittel ein Farbverhältnis (Bf/Gf) berechnet, wobei es sich um ein Verhältnis zwischen dem Produkt-Summen-Betriebswert der G-Pixel und dem Produkt-Summen-Betriebswert der B-Pixel handelt, und einen Pixelwert eines B-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage des berechneten Farbverhältnisses (Bf/Gf) und einem Pixelwert von einem G-Pixel, der für die Position des zu verarbeitenden Pixels berechnet wird, und wenn ein zu verarbeitendes Objektpixel ein B-Pixel ist, das Bildverarbeitungsmittel ein Farbverhältnis (Rf/Gf) berechnet, wobei es sich um ein Verhältnis zwischen dem Produkt-Summen-Betriebswert der G-Pixel und dem Produkt-Summen-Betriebswert der R-Pixel handelt, und einen Pixelwert eines R-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage des berechneten Farbverhältnisses (Rf/Gf) und dem Pixelwert des G-Pixels, der für die Position des zu verarbeitenden Pixels berechnet wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei das Mosaikbild G-Pixel entsprechend einer grünen (G) Farbe enthält, der ersten Farbe zugehöhrend, und R-Pixel und B-Pixel, entsprechend einer roten (R) bzw. blauen (B) Farbe, den zweiten Farben zugehörend, wobei dann, wenn gewichtete Durchschnittswerte, die erfasst werden durch Dividieren von Produkt-Summen-Betriebswerten von Pixelwerten der R-, G- und B-Pixel, berechnet durch das Betriebsmittel, durch die Gesamtsumme der Gewichtungskoeffizienten bezüglich der individuellen Farben, als Rf', Gf' bzw. Bf' definiert werden, und wenn ein zu verarbeitendes Objektpixel ein G-Pixel ist, das Bildverarbeitungsmittel Farbdifferenzen (Rf' – Gf') und (Bf' – Gf'q) berechnet, wobei es sich um Differenzen zwischen dem gewichteten Durchschnittswert der G-Pixel und der jeweiligen gewichteten Durchschnittswerte der R-Pixel und der B-Pixel handelt, und Pixelwerte der R- und B-Pixel an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbdifferenzen (Rf' – Gf') und (Bf' – Gf') und dem Pixelwert des zu verarbeitenden G-Pixels.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5 und 8, wobei das Mosaikbild G-Pixel entsprechend einer grünen (G) Farbe enthält, der ersten Farbe zugehörend, und R-Pixel und B-Pixel entsprechend einer roten (R) bzw. blauen (B) Farbe, den zweiten Farben zugehörend, wobei dann, wenn gewichtete Durchschnittswerte, die erfasst werden durch ein Dividieren von Produkt-Summen-Betriebswerten von Pixelwerten der R-, G- und B-Pixel, berechnet durch das Betriebsmittel bezüglich der individuellen Farben, durch eine Gesamtsumme von Gewichtungskoeffizienten, als Rf', Gf' bzw. Bf' definiert werden, und wenn ein zu verarbeitendes Objektpixel ein R-Pixel ist, das Bildverarbeitungsmittel eine Farbdifferenz (Bf' – Gf') berechnet, wobei es sich um eine Differenz zwischen dem gewichteten Durchschnittswert der G-Pixel und dem gewichteten Durchschnittswert der B-Pixel handelt, und einen Pixelwert eines B-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbdifferenz (Bf' – Gf') und einem Pixelwert eines G-Pixels, der für die Position des zu verarbeitenden Pixels berechnet wird, und wenn ein zu verarbeitendes Objektpixel ein B-Pixel ist, das Bildverarbeitungsmittel eine Farbdifferenz (Rf' – Gf') berechnet, wobei es sich um eine Differenz zwischen dem gewichteten Durchschnittswert der G-Pixel und dem gewichteten Durchschnittswert der R-Pixel handelt, und einen Pixelwert eines R-Pixels an einer Position des zu verarbeitenden Pixels berechnet, auf Grundlage der berechneten Farbdifferenz (Rf' – Gf') und dem Pixelwert des G-Pixels, der für die Position des zu verarbeitenden Pixels berechnet wird.
Bildverarbeitungsvorrichtung nach Anspruch 7 oder 9, ferner umfassend: Richtungsbestimmungsmittel, konfiguriert zum Bestimmen einer Helligkeitskorrelationsrichtung unter der ersten Richtung, der zweiten Richtung, einer dritten Richtung und einer vierten Richtung, wobei die dritte Richtung und die vierte Richtung von der ersten Richtung und der zweiten Richtung geneigt ist, auf Grundlage von Pixelwerten von Pixeln der ersten Farbe, benachbart zu dem zu verarbeitenden Pixel in dem Mosaikbild, wobei dann, wenn das Pixel an der Position des zu verarbeitenden Pixels ein R-Pixel oder ein B-Pixel ist, das Bildverarbeitungsmittel einen Pixelwert eines G-Pixels für die Position des Pixels berechnet, unter Verwendung von Pixelwerten von G-Pixeln, die sich in der Korrelationsrichtung befinden, die durch das Richtungsbestimmungsmittel bestimmt wird.
Bildverarbeitungsvorrichtung nach Anspruch 10, wobei zumindest ein Pixel der ersten Farbe in dem Mosaikbild an jeder Pixellinie in der ersten Richtung, der zweiten Richtung, der dritten Richtung und der vierten Richtung angeordnet ist.
Bildverarbeitungsvorrichtung nach Anspruch 10 oder 11, wobei das Richtungsbestimmungsmittel Pixelwerte von Pixeln einer ersten gleichen Farbe erfasst, die in der ersten Richtung, der zweiten Richtung, der dritten Richtung und der vierten Richtung zu dem zu verarbeitenden Pixel in dem Mosaikbild benachbart sind, und die Helligkeitskorrelationsrichtung auf Grundlage von Differenzwerten von Pixelwerten benachbarter Pixel einer gleichen Farbe bestimmt.
Bildverarbeitungsvorrichtung nach Anspruch 12, wobei das Richtungsbestimmungsmittel mehrere absolute Differenzwerte von Pixelwerten benachbarter Pixel der gleichen Farbe in der individuellen ersten Richtung, der zweiten Richtung, der dritten Richtung und der vierten Richtung berechnet, und, als die Korrelationsrichtung, eine Richtung mit einer minimalen Gesamtsumme oder einem minimalen Durchschnittswert der absoluten Differenzwerte in den jeweiligen Richtungen bestimmt.
Bildaufnahmevorrichtung mit der Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 13.
Bildverarbeitungsverfahren, umfassend: einen Bilderfassungsschritt zum Erfassen eines Mosaikbilds, das von einem Bildaufnahmeelement erfasst wird, das bereitgestellt ist mit Farbfiltern entsprechend einer vorbestimmten Farbfilteranordnung und der Farbfilteranordnung entspricht, wobei die Farbfilter erste Filter entsprechend zumindest einer ersten Farbe enthalten, und zweite Filter entsprechend zumindest zweier zweiter Farben mit einem geringeren Beitragsverhältnis zum Erfassen eines Helligkeitssignals als die erste Farbe, wobei die Farbfilter an einer Vielzahl von Pixeln platziert sind, die photoelektrische Wandlerelemente enthalten, die in einer ersten Richtung und einer zweiten Richtung senkrecht zu der ersten Richtung angeordnet sind; einen Betriebsschritt zum Berechnen eines Produkt-Summen-Betriebswerts für die erste Farbe und eines Produkt-Summen-Betriebswerts für jede Farbe unter den zweiten Farben, auf Grundlage von ersten Gewichtungskoeffizienten und zweiten Gewichtungskoeffizienten und einem Pixelwert von einem Pixel der ersten Farbe und einem Pixelwert von einem Pixel von jeder Farbe der zweiten Farben in einer lokalen Fläche, die extrahiert wird aus dem Mosaikbild und entsprechend einer vorbestimmten Kernel-Größe, wobei der Betriebsschritt eine Berechnung unter Verwendung der ersten Gewichtungskoeffizienten durchführt, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen und der ersten Farbe in der vorbestimmten Kernel-Größe zu entsprechen, und wobei die zweiten Gewichtungskoeffizienten konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, wobei die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten derart konfiguriert sind, dass ein Verhältnis zwischen einer Gesamtsumme der ersten Gewichtungskoeffizienten und einer Gesamtsumme der zweiten Gewichtungskoeffizienten an Pixellinien der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist; und einen Bildverarbeitungsschritt zum Berechnen eines Pixelwerts von jeder Farbe der zweiten Farben an einer Pixelposition von jedem zu verarbeitenden Pixel in der lokalen Fläche, auf Grundalge des Pixelwerts der ersten Farbe an der Pixelposition, und dem Produkt-Summen-Betriebswert für die erste Farbe und dem Produkt-Summen-Betriebswert für jede Farbe unter den zweiten Farben, berechnet durch den Betriebsschritt, wobei das Verfahren wiederholt Prozesse durch den Betriebsschritt und den Bildverarbeitungsschritt verarbeitet, während die lokale Fläche um Einheiten von Objektpixeln verschoben wird, die mit Bezug auf das Mosaikbild verarbeitet werden.
Aufzeichnungsmedium, das ein Bildverarbeitungsprogramm zum Ausführen des Bildverarbeitungsverfahrens gemäß Anspruch 15 speichert.
Computer-lesbares Aufzeichnungsmedium, das Anweisungen speichert, wobei dann, wenn die Anweisungen durch einen Prozessor gelesen werden, der Prozessor ausführt: einen Bilderfassungsschritt zum Erfassen eines Mosaikbilds, das von einem Bildaufnahmeelement erfasst wird, das bereitgestellt ist mit Farbfiltern gemäß einer vorbestimmten Farbfilteranordnung und der Farbfilteranordnung entspricht, wobei die Farbfilter erste Filter entsprechend zumindest einer ersten Farbe enthalten, und zweite Filter entsprechend zumindest zweier zweiter Farben mit einem geringeren Beitragsverhältnis zum Erfassen eines Helligkeitssignals als die erste Farbe, wobei die Farbfilter an einer Vielzahl von Pixeln platziert sind, die photoelektrische Wandlerelemente enthalten, die in einer ersten Richtung und einer zweiten Richtung senkrecht zu der ersten Richtung angeordnet sind; einem Betriebsschritt zum Berechnen eines Produkt-Summen-Betriebswerts für die erste Farbe und eines Produkt-Summen-Betriebswerts für jede Farbe unter den zweiten Farben, basierend auf ersten Gewichtungskoeffizienten und zweiten Gewichtungskoeffizienten und auf einem Pixelwert eines Pixels der ersten Farbe und eines Pixelwerts von einem Pixel von jeder Farbe der zweiten Farben in einer lokalen Fläche, die aus dem Mosaikbild extrahiert wird und einer vorbestimmten Kernel-Größe entspricht, wobei der Betriebsschritt eine Berechnung unter Verwendung erster Gewichtungskoeffizienten durchführt, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, und der ersten Farbe in der vorbestimmten Kernel-Größe entsprechen, und der zweiten Gewichtungskoeffizienten, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, wobei die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten derart konfiguriert sind, dass ein Verhältnis zwischen einer Gesamtsumme der ersten Gewichtungskoeffizienten und einer Gesamtsumme der zweiten Gewichtungskoeffizienten an Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist; und ein Bildverarbeitungsschritt zum Berechnen eines Pixelwerts von jeder Farbe der zweiten Farben an einer Pixelposition von jedem in der lokalen Fläche zu verarbeitenden Pixel, basierend auf dem Pixelwert der ersten Farbe an der Pixelposition und dem Produkt-Summen-Betriebswert für die erste Farbe und dem Produkt-Summen-Betriebswert für jede Farbe unter den zweiten Farben, berechnet durch den Betriebsschritt, wobei der Prozessor wiederholt Prozesse durch den Betriebsschritt und den Bildverarbeitungsschritt betreibt, während die lokale Fläche um Einheiten von Objektpixeln verschiebt, die mit Bezug auf das Mosaikbild verarbeitet werden.
Bildverarbeitungsprogramm, das bewirkt, dass ein Computer ausführt: eine Bilderfassungsfunktion zum Erfassen eines Mosaikbilds, das von einem Bildaufnahmeelement erfasst wird, das bereitgestellt ist mit Farbfiltern gemäß einer vorbestimmten Farbfilteranordnung und der Farbfilteranordnung entspricht, wobei die Farbfilter erste Filter entsprechend zumindest einer ersten Farbe enthalten, und zweite Filter entsprechend zumindest zweier zweiter Farben mit einem geringeren Beitragsverhältnis zum Erfassen eines Helligkeitssignals als die erste Farbe, wobei die Farbfilter an einer Vielzahl von Pixeln platziert sind, die photoelektrische Wandlerelemente enthalten, die in einer ersten Richtung und einer zweiten Richtung senkrecht zu der ersten Richtung angeordnet sind; einer Betriebsfunktion zum Berechnen eines Produkt-Summen-Betriebswerts für die erste Farbe und eines Produkt-Summen-Betriebswerts für jede Farbe unter den zweiten Farben auf Grundlage erster Gewichtungskoeffizienten und zweiter Gewichtungskoeffizienten und auf einem Pixelwert von einem Pixel der ersten Farbe und einem Pixelwert von einem Pixel von jeder Farbe der zweiten Farbe in einer lokalen Fläche, die aus dem Mosaikbild extrahiert wird, und entsprechend einer vorbestimmten Kernel-Größe, wobei die Betriebsfunktion eine Berechnung unter Verwendung der ersten Gewichtungskoeffizienten durchführt, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, und der zweiten Gewichtungskoeffizienten, die konfiguriert sind, jeder Farbe unter den zweiten Farben zu entsprechen, wobei die ersten Gewichtungskoeffizienten und die zweiten Gewichtungskoeffizienten derart konfiguriert sind, dass ein Verhältnis zwischen einer Gesamtsumme der ersten Gewichtungskoeffizienten und einer Gesamtsumme der zweiten Gewichtungskoeffizienten an Pixellinien in der ersten Richtung und der zweiten Richtung in der Kernel-Größe 1:1 ist; und eine Bildverarbeitungsfunktion zum Berechnen eines Pixelwerts von jeder Farbe der zweiten Farben an einer Pixelposition von jedem in der lokalen Fläche zu verarbeitenden Pixel, auf Grundlage des Pixelwerts der ersten Farbe an der Pixelposition, und dem Produkt-Summen-Betriebswert für die erste Farbe und dem Produkt-Summen-Betriebswert für jede Farbe unter den zweiten Farben, berechnet durch die Betriebsfunktion.