DE112012003264B4

DE112012003264B4 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm, und Bildaufnahmevorrichtung mit einer Bildverarbeitungsvorrichtung

Info

Publication number: DE112012003264B4
Application number: DE112012003264.0T
Authority: DE
Inventors: Hideki Ikedo
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-11-30
Filing date: 2012-11-16
Publication date: 2021-06-17
Anticipated expiration: 2032-11-17
Also published as: CN103828344A; DE112012003264T5; JP5913934B2; WO2013080899A1; US9560297B2; GB2512223A; KR101627087B1; GB201410755D0; RU2570349C1; US20140192237A1; BR112014000674A2; US20160014357A1; GB2512223B; US9191595B2; KR20140097465A; CN103828344B; JP2013115717A

Abstract

Bildverarbeitungsvorrichtung zum Verarbeiten eines Bildsignals, das von einem Bildaufnahmeelement unter Verwendung eines Bildaufnahmeoptiksystems erhalten wird, das eingerichtet ist, um Laufrichtungsinformationen eines Objektbildlichts entsprechend einem Pupillenaufteilungsbereich einer fotografischen Linse zu erhalten, mit:einer Synthetikbildebenenpositionseinstelleineinheit, die eine Position einer Synthetikbildebene einstellt, auf der ein Bild des Objekts unter Verwendung des Bildsignals, das von der Bildaufnahmeeinheit erhalten wird, rekonstruiert wird; undeiner Korrektureinheit, die ein Bildsignal eines defekten Pixels des Bildaufnahmeelements unter Verwendung eines Bildsignals eines anderen Pixels des Bildaufnahmeelements korrigiert,wobei die Korrektureinheit das andere Pixel, das zum Korrigieren des Bildsignals des defekten Pixels zu verwenden ist, basierend auf einer Position der Synthetikbildebene, die durch die Synthetikbildebenenpositionseinstelleinheit eingestellt wird, und Laufrichtungsinformationen des Objektbildlichts bestimmt.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, die in einer Bildaufnahmevorrichtung eingesetzt wird, die ein Bildaufnahmeelement mit einem Mikrolinsen-Array bzw. Mikrolinsenfeld verwendet, und insbesondere eine Bildverarbeitungsvorrichtung zum Durchführen von Korrekturmaßnahmen von defekten Pixel und eine Bildaufnahmevorrichtung, die diese umfasst.
Stand der Technik
In den letzten Jahren wurden Kameras vorgeschlagen, die ein Bild bei irgendeiner Fokusposition, die durch einen Benutzer bezeichnet ist, von abgebildeten Daten, die derart erhalten werden, dass diese Laufrichtungsinformationen von Licht zusätzlich zu einer Lichtintensitätsverteilung umfassen, rekonstruieren können. Zum Beispiel schlägt die NPL 1 eine Lichtfeldkamera vor, die die vorstehend beschriebene Funktion unter Verwendung eines Verfahrens, das „Lichtfeldfotografie“ genannt wird, realisiert. Die NPL 1 setzt ein optisches System mit einer Konfiguration ein, bei der ein Mikrolinsenfeld zwischen einer fotografischen Linse bzw. Fotografierlinse und einem Bildaufnahmeelement angeordnet ist, um zu ermöglichen, dass Licht, das unterschiedliche Pupillenbereiche der fotografischen Linse durchlaufen hat, an entsprechenden Mikrolinsen konvergiert. Ein Pixelblock mit einer Vielzahl von Pixel ist einer Mikrolinse zugeordnet. Licht, das durch die Mirkolinse konvergiert wird, wird durch unterschiedliche Pixel, die in einem entsprechenden Block umfasst sind, abhängig von einer Einfallrichtung fotoelektrisch umgewandelt. Ein Bildsignal entsprechend einem Lichtstrahl, der auf einer synthetischen Bildebene (Neufokussierungsebene bzw. Refokussierungsebene) fokussiert ist und an jeder Mikrolinse ankommt, wird von dem somit erhaltenen Bildsignal extrahiert, wodurch ermöglicht wird, dass ein Bild an jeglicher Fokusposition rekonstruiert wird.
In Festkörperbildaufnahmeelementen, wie etwa einem CCD-Bildsensor und einem CMOS-Bildsensor, kann ein defektes Pixel durch einen Kristalldefekt, der lokal in dem Halbleitersubstrat vorhanden ist, verursacht werden. Von solch einem defekten Pixel kann keine korrekte fotoelektrische Umwandlungsausgabe erhalten werden. Dementsprechend muss das Bildaufnahmesignal von dem defekten Pixel korrigiert werden.
Herkömmliche Verfahren zum Korrigieren eines Bildaufnahmesignals von einem defekten Pixel sind zum Beispiel ein Verfahren des Austauschens des Pixelwerts des defekten Pixels mit dem Pixelwert eines Pixels neben dem defekten Pixel und ein Verfahren des Austauschens des Pixelwerts des defekten Pixels mit dem Mittelwert von Pixeln neben dem defekten Pixel.
Zitierung des Standes Technik
Die Druckschrift US 2011 / 0 234 841 A1 offenbart eine Lichtfeldkamera, bei der defekte Pixel erkannt werden können. Gemäß der Druckschrift können defekte Pixel ignoriert, aus benachbarten Pixeln neu berechnet, heruntergewichtet oder anderweitig verarbeitet werden.
Die Druckschrift DE 102 09 552 A1 offenbart ein Verfahren zur Erkennung von fehlerhaften Zellen einer ladungsgekoppelten Einheit, wobei die Zellen der ladungsgekoppelten Einheit matrixförmig angeordnet sind und durch das Auftreffen von Licht vorgegebener Wellenlänge die Zellen aufgeladen werden. Das Auslesen der Ladungswerte der Zellen aus der ladungsgekoppelten Einheit erfolgt zeilenweise und in einer Zeile können den Zellen alternierend Farbkomponenten zugewiesen sein. Der Ladungswert einer ersten Zelle wird mit den Ladungswerten mindestens zweier unmittelbar vorheriger Zellen und mit den Ladungswerten mindestens zweier unmittelbar nachfolgenden Zellen verglichen und wenn der Ladungswert der aktuellen Zelle im Vergleich zu mindestens einer der vorherigen und/oder der nachfolgenden Zellen um eine vordefinierte Fehlerschranke abweicht, wird diese Zelle als fehlerhaft erkannt. Ebenso ist eine Kompensation der detektierten fehlerhaften Zelle vorgesehen.
Nicht-Patentliteratur
NPL 1: Ren. Ng, und sieben Weitere, „Light Field Photography with a Hand-Held Plenoptic Camera“, Stanford Tech Report CTSR 2005-02.
Kurzfassung der Erfindung
Technisches Problem
Bei einer Lichtfeldkamera, wie sie in NPL 1 beschrieben ist, werden Lichtstrahlen, die auf einer Refokussierungsebene fokussiert sind, entsprechend durch eine Vielzahl von Pixel empfangen. Je weiter die Position der Refokussierungsebene von dem Mikrolinsenfeld entfernt ist, desto weiter sind die Positionen, an denen die Lichtstrahlen durch entsprechende Pixel empfangen werden, voneinander entfernt.
Somit gibt es ein Problem, dass das herkömmliche Verfahren des Korrigierens des Pixelwerts eines defekten Pixels unter Verwendung von Pixelwerten von benachbarten Pixeln auf dem fotoelektrischen Umwandlungselement den Pixelwert des defekten Pixels nicht angemessen korrigieren kann.
Lösung des Problems
Die vorliegende Erfindung wurde unter Berücksichtigung der vorstehend beschriebenen Situation vorgenommen und stellt eine Bildverarbeitungsvorrichtung bereit, die dazu in der Lage ist, immer einen angemessenen Korrekturprozess betreffend ein defektes Pixel bezüglich eines Bildaufnahmesignals, das so erhalten wird, dass es Laufrichtungsinformationen von Licht umfasst, durchzuführen.
Gemäß der vorliegenden Erfindung umfasst eine Bildverarbeitungsvorrichtung zum Verarbeiten eines Bildsignals, das von einem Bildaufnahmeelement unter Verwendung eines Bildaufnahmeoptiksystems erhalten wird, das eingerichtet ist, um Laufrichtungsinformationen eines Objektbildlichts entsprechend einem Pupillenaufteilungsbereich einer fotografischen Linse zu erhalten: eine Synthetikbildebenenpositionseinstelleinrichtung, die eine Position einer Synthetikbildebene einstellt, auf der ein Bild des Objekts unter Verwendung des Bildsignals, das von dem Bildaufnahmeelement erhalten wird, rekonstruiert wird; und eine Korrektureinheit, die ein Bildsignal eines defekten Pixels des Bildaufnahmeelements unter Verwendung eines Bildsignals eines anderen Pixels des Bildaufnahmeelements korrigiert, wobei die Korrektureinheit das andere Pixel, das zum Korrigieren des Bildsignals des defekten Pixels zu verwenden ist, basierend auf einer Position der Synthetikbildebene, die durch die Synthetikbildebenenpositionseinstelleinheit eingestellt wird, und Laufrichtungsinformationen des Objektbildlichts bestimmt.
Vorteilhafte Effekte der Erfindung
Die vorliegende Erfindung kann eine angemessene Korrektur eines defekten Pixels auf einem aufgenommenen Bild zum Erzeugen eines refokussierten Bildes durchführen.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen mit Bezug auf die anhängigen Zeichnungen ersichtlich.
Figurenliste

1 ist ein Blockdiagramm der gesamten Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
2 ist ein konzeptionelles Diagramm der Konfigurationen eines Pixelfeldes und eines Mikrolinsenfeldes eines Bildaufnahmeelements gemäß dem Ausführungsbeispiel der vorliegenden Erfindung.
3 ist ein konzeptionelles Diagramm der Konfigurationen der Fotografierlinse, des Mikrolinsenfeldes und des Pixelfeldes gemäß dem Ausführungsbeispiel der vorliegenden Erfindung.
4A und 4B sind Diagramme, die eine Korrespondenzbeziehung zwischen Pupillenaufteilungsbereichen einer Fotografierlinse, Mikrolinsen und dem Pixelfeld darstellen.
5 ist ein Diagramm, das eine Positionsbeziehung zwischen einem Lichtstrahl, der ein bestimmtes Pixel auf einer Refokussierungsebene durchläuft, dem Pupillenaufteilungsbereich der fotografischen Linse und der Mikrolinse darstellt.
6 ist ein Blockdiagramm einer Bildverarbeitungseinheit der Bildaufnahmevorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung.
7 ist ein Ablaufdiagramm einer Defektkorrekturoperation gemäß dem Ausführungsbeispiel der vorliegenden Erfindung.
8 ist ein Diagramm, das eine Beziehung zwischen einem Lichtstrahl, der aus dem Pupillenaufteilungsbereich der fotografischen Linse austritt und dann an der Mikrolinse ankommt, und einer Durchlaufposition auf der Refokussierungsebene darstellt.
9A und 9B sind konzeptionelle Diagramme von Lichtstrahlen, die von den entsprechenden Pupillenaufteilungsbereichen der fotografischen Linse ausgesendet werden, das Mikrolinsenfeld durchlaufen und an entsprechenden Pixeln des Bildaufnahmeelements ankommen.
10A und 10B sind Diagramme, die Beispiele eines defekten Pixels und von Pixeln, die als Pixel zur Korrektur von diesem ausgewählt werden, darstellen.
11 ist ein Diagramm, das Beispiele von Gewichtungskoeffizienten gemäß den Positionen in dem Pixelfeld darstellt.

Beschreibung der Ausführungsbeispiele
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden detailliert gemäß den anhängigen Zeichnungen beschrieben.
Beispiel 1
1 ist ein Blockdiagramm einer gesamten Bildaufnahmevorrichtung eines ersten Ausführungsbeispiels der vorliegenden Erfindung. In diesem Diagramm bildet ein Objektbildlicht, das eine fotografische Linse 101 durchlaufen hat, ein Bild neben der Fokusposition der fotografischen Linse 101. Ein Mikrolinsenfeld 102 umfasst eine Vielzahl von Mikrolinsen 113. Ein Bildaufnahmeoptiksystem umfasst das Mikrolinsenfeld 102 und eine fotografische Linse. Das Mikrolinsenfeld 102 ist neben der Fokusposition der fotografischen Linse 101 angeordnet. Licht, das einen unterschiedlichen Pupillenbereich der fotografischen Linse 101 durchläuft, kommt an dem Mikrolinsenfeld 102 an, um daraus separat für jeden Pupillenaufteilungsbereich auszutreten. Das Licht, das durch das Mikrolinsenfeld 102 getrennt wird, kommt an dem Bildaufnahmeelement 103 an. Das Bildaufnahmeelement 103 ist zum Beispiel mit irgendeinem eines CCD-Bildsensors und eines CMOS-Bildsensors konstruiert und ist um die Fokusposition des Mikrolinsenfelds 102 angeordnet.
Ein analoger Frontend (AFE) bzw. eine analoge Vorschalteinheit 104 führt eine Bezugslevelanpassung („Clamp“-Verarbeitung) und einen Analog-zu-Digital-Umwandlungsprozess bezüglich eines Bildsignals von dem Bildaufnahmeelement 103 durch. Ein digitaler Frontend (DFE) bzw. eine digitale Vorschalteinheit 105 führt einen digitalen Korrekturprozess, wie etwa eine feine Verschiebung des Bezugslevels, bezüglich eines digitalen Bildsignals, das von dem AFE 104 ausgegeben wird, durch. Eine Bildverarbeitungseinheit 106 wendet einen vorgeschriebenen Bildprozess auf das digitale Bildsignal von dem DFE 105 an und erzeugt Bilddaten und gibt diese aus. Eine Speichereinheit 107 umfasst einen nichtflüchtigen Speicher zum Speichern von Informationen von defekten Pixeln (Koordinaten). Eine Steuerungseinheit 108 steuert die gesamte Bildaufnahmevorrichtung auf eine zentralisierte Weise, umfasst eine wohlbekannte CPU und lädt ein Programm, das in einem nicht dargestellten Speicher gespeichert ist, und führt dieses aus, wodurch Operationen von entsprechenden Komponenten und verschiedene Prozesse gesteuert werden. Eine Operationseinheit 109 besitzt eine Konfiguration des elektrischen Empfangens einer Operation von einem Operationselement in einer digitalen Kamera. Ein Benutzer kann irgendeine Refokussierungs- (Synthetikbild-) Ebenenposition zum Erzeugen eines refokussierten Bildes unter Verwendung der Operationseinheit 109 einstellen (Synthetikbildebenenpositionseinstelleinheit). Die Position dieser Refokussierungsebene kann durch die Steuerungseinheit 108 unter Verwendung von Kameraparametern automatisch eingestellt werden.
Eine Anzeigeeinheit 110 zeigt ein Bild an. Ein Aufzeichnungsmedium 111 kann irgendeines einer Speicherkarte oder einer Festplatte sein. Eine Zeiterzeugungsschaltung (TG) 112 erzeugt verschiedene Zeitsignale zum Ansteuern des Bildaufnahmeelements 103.
Wie in 6 dargestellt ist, umfasst die Bildverarbeitungseinheit 106 dieses Ausführungsbeispiels eine Defektkorrektureinheit 601 und eine Rekonstruktionseinheit 602. Die Defektkorrektureinheit 601 führt einen Korrekturprozess bezüglich eines defekten Bildes von Abbildungsdaten bzw. abgebildeten Daten durch. Die vorliegende Erfindung ist durch die Defektkorrektureinheit charakterisiert. Die Details werden nachstehend beschrieben. Die Rekonstruktionseinheit 602 in 6 führt einen Operationsprozess unter Verwendung eines Verfahrens durch, das „Lichtfeldfotografie“ genannt wird, wodurch ein Bild an der eingestellten Fokusposition (Refokussierungsebene) von den Abbildungsdaten rekonstruiert wird. Die Details der Rekonstruktionseinheit 602 werden nachstehend beschrieben.
Als Nächstes werden die Konfigurationen der fotografischen Linse 101, des Mikrolinsenfeldes 102 und des Bildaufnahmeelements 103, die in der Bildaufnahmevorrichtung dieses Ausführungsbeispiels umfasst sind, beschrieben.
2 ist ein konzeptionelles Diagramm zum Beschreiben der Konfigurationen des Bildaufnahmeelements 103 und des Mikrolinsenfeldes 102. Dieses Diagramm ist ein konzeptionelles Diagramm, das eine Anordnungsbeziehung zwischen dem Bildaufnahmeelement 103 und dem Mikrolinsenfeld 102 darstellt, bei einer Betrachtung aus einer Richtung einer optischen Achse Z in 1. Eine Mikrolinse 113 ist auf eine Weise entsprechend einer Vielzahl von Pixeln 201 (nachstehend einfach als Pixel bezeichnet) angeordnet. Die Pixel 201 hinter einer Mikrolinse werden ganzheitlich als ein Pixelfeld 200 definiert. In diesem Ausführungsbeispiel umfasst das Pixelfeld 200 25 Pixel 201 in fünf Reihen und fünf Spalten.
3 ist ein konzeptionelles Diagramm einer Situation, in der ein Lichtstrahl, der von der fotografischen Linse 101 ausgesendet wird, eine Mikrolinse 113 durchläuft und durch das Bildaufnahmeelement 103 empfangen wird, beim Betrachtung aus einer Richtung senkrecht zu der optischen Achse Z. Objektbildlicht, das von jedem von Pupillenbereichen a1 bis a5 der fotografischen Linse ausgesendet wird, durchläuft die Mikrolinse 113 und wird auf den fotoempfindlichen Oberflächen der entsprechenden Pixel p1 bis p5, die hinter der Mikrolinse 113 angeordnet sind, fokussiert. Das heißt, die Lichtstrahlen, die die unterschiedlichen Pupillenaufteilungsbereiche verlassen, durchlaufen eine Mikrolinse 113 und werden durch unterschiedliche Pixel fotoelektrisch umgewandelt, wodurch Laufrichtungsinformationen des Objektbildlichts erhalten werden.
4A ist ein konzeptionelles Diagramm der Blende bzw. der Öffnung der fotografischen Linse von der Richtung der optischen Achse Z aus gesehen. 4B ist ein konzeptionelles Diagramm von einer Mikrolinse 113 und dem Pixelfeld 200, das hinter der Mikrolinse 113 angeordnet ist, von der Richtung der optischen Achse Z aus betrachtet. Wie in 4A dargestellt ist, wenn der Pupillenbereich der fotografischen Linse 101 in genau so viele Bereiche unterteilt ist, wie die Anzahl von Pixeln, die in einem Pixelfeld unter einer Mikrolinse enthalten sind, wird Licht von einem Pupillenaufteilungsbereich der fotografischen Linse auf einem Pixel fokussiert. Hier wird angenommen, dass die F-Zahlen der fotografischen Linse 101 und der Mikrolinse 113 im Wesentlichen miteinander übereinstimmen.
Die Korrespondenzbeziehung zwischen den Pupillenaufteilungsbereichen a11 bis a55 der fotografischen Linse 101, die in 4A dargestellt sind, und der Pixel p11 bis p55, die in 4B dargestellt sind, ist eine Punktsymmetrie von der Richtung der optischen Achse Z aus gesehen. Dementsprechend wird Licht, das von dem Pupillenaufteilungsbereich all der fotografischen Linse 101 ausgesendet wird, auf dem Pixel p11, das in dem Pixelfeld 200 hinter der Mikrolinse 113 umfasst ist, fokussiert. Ähnlich wird Licht, das von dem Pupillenaufteilungsbereich a11 ausgesendet wird und eine andere Mikrolinse 113 durchläuft, ebenso auf dem Pixel p11 in dem Pixelfeld 200 hinter dieser Mikrolinse fokussiert.
Als Nächstes wird ein Rekonstruktionsprozess beschrieben. Dieser Prozess wird bezüglich eines Bildes auf einer beliebig eingestellten Synthetikbildebene (Refokussierungsebene) in einem Bildaufnahmesignal durchgeführt, das durch das Bildaufnahmesystem erhalten wird, das die fotografische Linse 101, das Mikrolinsenfeld 102 und das Bildaufnahmeelement 103 umfasst. Der Rekonstruktionsprozess wird gemäß der Steuerung durch die Steuerungseinheit 108 auf Basis eines Steuerungsprogramms in der Rekonstruktionseinheit 602, die in 6 dargestellt ist, unter Verwendung eines Verfahrens, das „Lichtfeldfotografie“ genannt wird, durchgeführt.
5 ist ein konzeptionelles Diagramm, das darstellt, von welchem Pupillenaufteilungsbereich der fotografischen Linse 101 ein Lichtstrahl, der ein Pixel durchlaufen hat, auf einer beliebig eingestellten Refokussierungsebene vorhanden ist, und an welcher Mikrolinse 113 der Strahl ankommt, von der Richtung senkrecht zu der optischen Achse Z aus betrachtet. Dieses Diagramm nimmt an, dass die Koordinaten der Position des Pupillenaufteilungsbereichs auf der Fotografierlinsenebene gleich (u, v) sind, die Koordinaten der Position des Pixels auf der Refokussierungsebene gleich (x, y) sind, und die Koordinaten der Position der Mikrolinse auf der Mikrolinsenebene gleich (x', y') sind. Dieses Diagramm nimmt ebenso an, dass die Entfernung von der Fotografierlinsenebene zu der Mikrolinsenfeldebene gleich F ist, und die Entfernung von der Fotografierlinsenebene zu der Refokussierungsebene gleich αF ist. Ein Refokussierungskoeffizient α dient zum Bestimmen der Position der Refokussierungsebene und kann durch den Benutzer beliebig eingestellt werden (α ≠ 0). 5 zeigt nur die Richtungen u, x und x' an, aber die Richtungen v, y und y' senkrecht zu diesen werden weggelassen. Wie in 5 dargestellt ist, erreicht der Lichtstrahl, der die Koordinaten (u, v) und die Koordinaten (x, y) durchlaufen hat, die Koordinaten (x', y') auf dem Mikrolinsenfeld. Die Koordinaten (x', y') können als eine Gleichung (1) dargestellt werden. $(x', y') = (u + \frac{x - u}{α}, v + \frac{y - v}{α})$
Vorausgesetzt, dass die Ausgabe des Pixels, das den Lichtstrahl empfängt, gleich L (x', y', u, v) ist, ist eine Ausgabe E (x, y), die auf den Koordinaten (x, y) auf der Refokussierungsebene erhalten wird, eine Integrierung von L (x', y', u, v) mit Bezug auf den Pupillenbereich der fotografischen Linse. Dementsprechend wird die Ausgabe als eine Gleichung (2) dargestellt. $E (x, y) = \frac{1}{α^{2} F^{2}} \int \int L (u + \frac{x - u}{α}, v + \frac{y - v}{α}, u, v) d u d v$
In der Gleichung (1) wird der Refokussierungskoeffizient α durch einen Benutzer bestimmt. Dementsprechend bestimmt ein Bereitstellen von (x, y) und (u, v) die Position (x', y') der Mikrolinse, auf die der Lichtstrahl einfällt. Dann kann das Pixel entsprechend der Position (u, v) aus dem Pixelfeld 200 entsprechend der Mikrolinse bekannt sein. Die Ausgabe des Pixels ist gleich L (x', y', u, v). Die Ausgabe wird auf allen Pupillenaufteilungsbereichen erhalten. Die erhaltene Pixelausgabe wird gemäß der Gleichung (2) summiert (integriert), wodurch E(x, y) berechnet wird.
Vorausgesetzt, dass (u, v) die repräsentativen Koordinaten auf den Pupillenaufteilungsbereichen der fotografischen Linse sind (diskrete Werte), kann die Integrierung der Gleichung (2) durch eine simple Addition (Σ) berechnet werden.
Wie vorstehend beschrieben wird der Operationsprozess der Gleichung (2) durchgeführt, wodurch ermöglicht wird, dass ein Bild auf einer beliebigen Fokusposition rekonstruiert wird.
Als Nächstes wird eine Defektkorrekturoperation in der Defektkorrektureinheit 601, die die vorliegende Erfindung charakterisiert, beschrieben. Diese Operation wird unter der Steuerung durch die Steuerungseinheit 108 gemäß einem Programm, das in dem System gespeichert ist, ausgeführt.
7 ist ein Ablaufdiagramm der Defektkorrekturoperation in der Defektkorrektureinheit 601. Während bestimmt wird, ob ein Pixel ein defektes Pixel ist oder nicht, bezüglich des Bildsignals, das von jedem Pixel des Bildaufnahmeelements 103 erhalten wird, korrigiert die Defektkorrektureinheit 601 das Bildsignal, wenn das Pixel ein defektes Pixel ist. Es wird angenommen, dass bestimmt wurde, ob das Bildsignal, das in die Defektkorrektureinheit 601 eingegeben wird, ein Bildsignal von einem defekten Pixel oder ein Bildsignal von einem normalen Pixel ist, basierend auf Koordinateninformationen der defekten Pixel, die vorbereitend im Voraus in dem Speicher gespeichert sind, zum Beispiel.
In Schritt S701 wird der Refokussierungskoeffizient α basierend auf der Position der Synthetikbildebene, die über die Operationseinheit 109 eingestellt wird, erhalten.
In Schritt S702 wird bestimmt, ob das Pixel in den eingegebenen Abbildungsdaten ein defektes Pixel oder ein normales Pixel ist. Wenn das Pixel das defekte Pixel ist, geht die Verarbeitung über zu Schritt S703. Wenn das Pixel das normale Pixel ist, geht die Verarbeitung über zu Schritt S706.
In Schritt S703 wird das Pixel, das zum Erzeugen eines Korrekturwerts verwendet wird, ausgewählt, um den Korrekturwert des Pixels, das als das defekte Pixel bestimmt ist, zu erzeugen. Zuerst werden Koordinaten auf der Refokussierungsebene eines Bildes, das zu rekonstruieren ist, unter Verwendung des defekten Pixels erhalten. Die Koordinaten von anderen Pixeln, die zum Rekonstruieren des Bildes auf den erhaltenen Koordinaten auf der Refokussierungsebene verwendet werden, werden berechnet. Die Pixel, die zum Erzeugen des Korrekturwerts verwendet werden, werden unter den Pixeln ausgewählt.
In Schritt S704 wird der Korrekturwert zum Korrigieren des defekten Pixels unter Verwendung des Bildsignals von den Pixeln zum Erzeugen des Korrekturwerts, die in S703 ausgewählt wurden, erzeugt. In diesem Ausführungsbeispiel ist der Korrekturwert das arithmetische Mittel von Pixeln, die zur Korrekturwerterzeugung verwendet werden. Das vorliegende Ausführungsbeispiel ist jedoch nicht darauf beschränkt. Gemäß der Position in dem Pixelfeld 200 der ausgewählten Pixel zum Erzeugen des Korrekturwerts kann der Korrekturwert der gewichtete Mittelwert unter Verwendung der Gewichtungskoeffizienten, die in 11 dargestellt sind, sein. 11 ist ein Beispiel von Gewichtungskoeffizienten entsprechend dem Pixelfeld 200, das in 4B dargestellt ist. In 4B, wenn die Gewichtungskoeffizienten der Pixel (zum Beispiel p11, p15, p51 und p55) in dem Pixelfeld 200 entsprechend den anderen Bereichen als dem effektiven Pupillenbereich der fotografischen Linse klein eingestellt sind, kann eine Rauschbeeinträchtigung reduziert werden, wenn der Korrekturwert erzeugt wird.
In Schritt S705 wird eine Korrektur durch Austauschen der Ausgabe des defekten Pixels mit dem Korrekturwert, der in S704 berechnet wird, durchgeführt.
In Schritt S706 wird bestimmt, ob alle Pixel bereits den Prozessen in S702 bis S705 unterzogen wurden. Wenn die Prozesse noch nicht bezüglich aller Pixel durchgeführt wurden, kehrt die Verarbeitung zurück zu S702 und es wird bestimmt, ob das nächste Pixel ein defektes Pixel ist oder nicht. Wenn das nächste Pixel das letzte Pixel ist, wird die Defektkorrekturoperation beendet.
Als Nächstes wird ein Verfahren des Auswählens von Pixeln, die zum Erzeugen des Korrekturwerts in S703 ausgewählt werden, detailliert beschrieben. Hier wird die Beschreibung unter der Annahme vorgenommen, dass das Pixel entsprechend dem Pupillenaufteilungsbereich (uk, pk) der fotografischen Linse unter den Pixeln, die in dem Pixelfeld 200 entsprechend der Mikrolinse auf den Koordinaten (x_k', y_k') auf dem Mikrolinsenfeld umfasst sind, ein defektes Pixel ist.
Eine Position auf der Synthetikbildebene, durch die der Lichtstrahl läuft, der von dem Pupillenaufteilungsbereich (u_k, p_k) der fotografischen Linsenebene ausgesendet wird und in die Mikrolinse auf den Koordinaten (x_k', y_k') auf der Mikrolinsenfeldebene auf die bezüglich des defekten Pixels zu fokussieren ist, ist die Position (x_k, y_k). Zuerst werden die Koordinaten (x_k, y_k) berechnet.
8 ist ein konzeptionelles Diagramm zum Erklären, welche Koordinaten auf der Refokussierungsebene der Lichtstrahl, der von dem Pupillenaufteilungsbereich (u_k, p_k) auf der Fotografierlinsenebene ausgesendet wird und an der Mirkolinse auf den Koordinaten (x_k', y_k') auf der Mikrolinsenfeldebene ankommt, durchläuft. Wie in 5 stellt dieses Diagramm nur die Richtungen u, x, und x' dar, aber lässt die vertikalen Richtungen v, y, und y' weg.
Wie aus 8 erkannt werden kann, können die Koordinaten (x_k, y_k) auf der Refokussierungsebene, die der Lichtstrahl durchläuft, durch eine Gleichung (3) dargestellt werden. $(x_{k}, y_{k}) = (\frac{α}{1 - α} (x_{k}^{'} - u_{k}) + u_{k}, \frac{α}{1 - α} (y_{k}^{'} - v_{k}) + v_{k})$
Dementsprechend sind die Pixel, die Lichtstrahlen empfangen, die die identische Position (x_k, y_k) auf der Refokussierungsebene, die durch die Gleichung (3) dargestellt ist, durchlaufen, zusammen mit dem defekten Pixel zu integrieren, wenn ein Bild rekonstruiert wird. Vorausgesetzt, dass diese Pixelausgaben durch L (x', y', u, v) dargestellt sind, kann L (x', y', u, v) durch eine Gleichung (4) unter Verwendung der Gleichung (1) dargestellt werden. $L (x', y', u, v) = L (u + \frac{x_{k} - u}{α}, v + \frac{y_{k} - v}{α}, u, v)$
Die entsprechenden Koordinaten (u, v) sind hier auf anderen Pupillenaufteilungsbereichen als dem Pupillenaufteilungsbereich (u_k, v_k), durch den der Strahl in das defekte Pixel eindringt. Das heißt, die Integrierung der Gleichung (2) kann durch eine einfache Addition berechnet werden.
Zum Beispiel wird der Korrekturwert von dem Mittelwert von vier Pixeln, die in der Nähe positioniert sind, das heißt oben, unten, rechts und links von dem defekten Pixel auf dem Bildaufnahmeelement unter den Pixeln, die zum Rekonstruieren des Bildes zusammen mit dem defekten Pixel verwendet werden, erzeugt. In diesem Fall wird der Korrekturwert von den vier Pixelausgaben, die durch Einsetzen von (u_k + d, v_k), (u_k - d, v_k), (u_k, v_k + d), (u_k, v_k - d) in (u, v) der Gleichung (4) erhalten werden, berechnet.
Eine Bezeichnung d bezeichnet eine Entfernung zwischen den repräsentativen Koordinaten von benachbarten Pupillenaufteilungsbereichen der fotografischen Linse. Angenommen, dass die Entfernung F von der fotografischen Linse 101 zu dem Mikrolinsenfeld 102 ist, die Entfernung f von dem Mikrolinsenfeld zu dem Bildaufnahmeelement 103 ist, der Pixelabstand des Bildaufnahmeelements s ist und die F-Zahlen der fotografischen Linse und der Mikrolinse gleich sind, kann d als die Gleichung (5) ausgedrückt werden. $d = \frac{F}{f} s$
In dem Fall, in dem die Refokussierungsebene auf die Mikrolinsenfeldebene eingestellt wird, das heißt der Fall von α = 1, scheint es, dass Gleichung (3) nicht funktioniert. In diesem Fall wird ein Bild der fotografischen Linse durch die Mikrolinse auf dem entsprechenden Pixelfeld gebildet. Das Pixel neben dem defekten Pixel auf dem Pixelfeld kann als Pixel zur Korrektur gemäß dem Verfahren des Berechnes des Korrekturwerts ausgewählt werden.
9A, 9B, 10A und 10B stellen Beispiele der Pixel zum Erzeugen des Korrekturwerts dar, die entsprechend dem vorstehend beschriebenen Verfahren ausgewählt werden.
9A und 9B sind konzeptionelle Diagramme, die eine Situation darstellen, in der die Lichtstrahlen, die von den entsprechenden Pupillenaufteilungsbereichen der fotografischen Linse 101 ausgesendet werden, das Mikrolinsenfeld 102 durchlaufen und an entsprechenden Pixeln des Bildaufnahmeelements 103 ankommen. 10A und 10B sind konzeptionelle Diagramme, die das Bildaufnahmeelement 103 und das Mikrolinsenfeld 102 darstellen, wenn das Element und das Feld aus der Richtung der optischen Achse aus betrachtet werden.
9A stellt den Lichstrahl dar, wenn die Refokussierungsebene an der Position eingestellt wird, die identisch zu der des Mikrolinsenfeldes ist (α = 1). In diesem Fall sind die Pixel, die zum Erzeugen des Pixlelsignals eines rekonstruierten Bildes der Koordinaten (x, y) auf der Refokussierungsebene verwendet werden, Pixel, die als Pixel A, B und C in 10A dargestellt sind. Wenn die Refokussierungsebene auf dem Mikrolinsenfeld eingestellt ist, sind alle Pixel, die zum Rekonstruieren von bestimmten Koordinaten zu verwenden sind, Pixel in dem gleichen Pixelfeld. Wenn das Pixel B in 10A und 10B ein defektes Pixel ist, sind die Pixel zum Erzeugen des Korrekturwerts des defekten Pixels B vier Pixel C neben dem defekten Pixel B. Dann wird eine Korrektur durch Austauschen der Ausgabe des defekten Pixels B mit dem Mittelwert der vier Pixel C durchgeführt.
Währenddessen ist der Lichstrahl eines Falls, in dem die Refokussierungsebene auf der Seite der fotografischen Linse mit Bezug auf das Mikrolinsenfeld eingestellt ist (0 < α < 1), wie in 9 dargestellt. In diesem Fall sind Pixel, die zum Erzeugen eines Pixelsignals eines rekonstruierten Bildes der Koordinaten (x, y) auf der Refokussierungsebene verwendet werden, Pixel an entfernten Positionen, die in 10B als Pixel A, B und C angegeben sind. Wenn das Pixel B ein defektes Pixel ist, sind Pixel, die zum Erzeugen des Korrekturwerts des defekten Pixels B zu verwenden sind, hier vier Pixel C in der Nähe des defekten Pixels B unter Pixeln, die zum Rekonstruieren eines Bildes verwendet werden. Dann wird eine Korrektur durch Austauschen der Ausgabe des defekten Pixels B mit dem Mittelwert der vier Pixel C durchgeführt wird.
Wie in 9A, 9B, 10A und 10B gezeigt ist, auch in dem Fall der Korrektur des defekten Pixels an der identischen Position, sind die Pixel, die zum Korrigieren des defekten Pixels zu verwenden sind, gemäß der Position auf der eingestellten Synthetikbildebene verschieden. Die vorliegende Erfindung ermöglicht es, dass eine angemessene Korrektur bezüglich des defekten Pixels gemäß solch einer Situation durchgeführt wird.
Es kann eine Konfiguration angewendet werden, bei der der Defektkorrekturprozess in der Rekonstruktionseinheit 602 durchgeführt wird. Das heißt, der Rekonstruktionsprozess, der durch die Gleichung (2) dargestellt wird, wird anschließend in der Rekonstruktionseinheit 602 durchgeführt. Wenn in Pixeln, die zum Rekonstruieren eines Bildes verwendet werden, ein Defekt auftritt, kann der Korrekturwert aus dem Pixelwert, der durch die Gleichung (4) dargestellt ist, erzeugt werden.
Wie vorstehend beschrieben ermittelt dieses Ausführungsbeispiel zuerst, welche Koordinaten auf der Refokussierungsebene unter Verwendung des defekten Pixels zu rekonstruieren sind. Die Koordinaten von anderen Pixeln, die zur Rekonstruktion des Bildes auf den Koordinaten der ermittelten Refokussierungsebene verwendet werden, werden berechnet. Der Korrekturwert wird von den Ausgabewerten der Pixel der berechneten Koordinaten erzeugt. Somit kann das defekte Pixel mit Bezug auf ein aufgenommenes Bild angemessen korrigiert werden, um ein refokussiertes Bild zu rekonstruieren.
Die Steuerung durch die Systemsteuerungseinheit 108 kann durch ein Element von Hardware durchgeführt werden oder kann unter mehreren Elementen von Hardware aufgeteilt werden, um die gesamte Vorrichtung zu steuern. In dem vorstehenden Ausführungsbeispiel wurde die vorliegende Erfindung unter Veranschaulichung der Bildaufnahmevorrichtung beschrieben. Es ist jedoch offensichtlich, dass die vorliegende Erfindung auf Prozesse auf einem Bildsignal, das von einem Aufzeichnungsmedium in einer Verarbeitungsvorrichtung bereitgestellt wird, wie etwa einem PC, anwendbar ist.
Weitere Beispiele
Aspekte der vorliegenden Erfindung können ebenso durch einen Computer eines Systems oder einer Vorrichtung (oder Einrichtungen, wie etwa eine CPU oder MPU), die ein Programm, das auf einer Speichereinrichtung aufgezeichnet ist, auslesen und ausführen, um die Funktionen der vorstehend beschriebenen Ausführungsbeispiele auszuführen, und durch ein Verfahren realisiert werden, dessen Schritte durch einen Computer eines Systems oder einer Vorrichtung durch zum Beispiel Auslesen und Ausführen eines Programms, das auf einer Speichereinrichtung aufgezeichnet ist, um die Funktionen der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, ausgeführt werden. Zu diesem Zweck wird das Programm dem Computer zum Beispiel über ein Netzwerk oder von einem Aufzeichnungsmedium verschiedener Arten, das als die Speichereinrichtung dient (zum Beispiel computerlesbares Medium), bereitgestellt.
Während die vorliegende Erfindung mit Bezug auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist zu verstehen, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Ansprüche ist die breiteste Interpretation zuzugestehen, so dass alle solche Modifikationen und äquivalenten Strukturen und Funktionen mit umfasst sind.

Claims

Bildverarbeitungsvorrichtung zum Verarbeiten eines Bildsignals, das von einem Bildaufnahmeelement unter Verwendung eines Bildaufnahmeoptiksystems erhalten wird, das eingerichtet ist, um Laufrichtungsinformationen eines Objektbildlichts entsprechend einem Pupillenaufteilungsbereich einer fotografischen Linse zu erhalten, mit: einer Synthetikbildebenenpositionseinstelleineinheit, die eine Position einer Synthetikbildebene einstellt, auf der ein Bild des Objekts unter Verwendung des Bildsignals, das von der Bildaufnahmeeinheit erhalten wird, rekonstruiert wird; und einer Korrektureinheit, die ein Bildsignal eines defekten Pixels des Bildaufnahmeelements unter Verwendung eines Bildsignals eines anderen Pixels des Bildaufnahmeelements korrigiert, wobei die Korrektureinheit das andere Pixel, das zum Korrigieren des Bildsignals des defekten Pixels zu verwenden ist, basierend auf einer Position der Synthetikbildebene, die durch die Synthetikbildebenenpositionseinstelleinheit eingestellt wird, und Laufrichtungsinformationen des Objektbildlichts bestimmt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Korrektureinheit das andere Pixel aus Pixeln auswählt, die Objektbildlicht empfangen, die Informationen über eine Laufrichtung an einer Position umfassen, die zu einer Position auf der Synthetikbildebene identisch ist, durch die das Objektbildlicht läuft, das an dem defekten Pixel ankommt, und einen Korrekturwert des Bildsignals des defekten Pixels unter Verwendung eines Pixelsignals des ausgewählten Pixels erzeugt.
Bildverarbeitungsvorrichtung gemäß Anspruch 2, wobei das ausgewählte Pixel ein Pixel ist, an dem das Objektbildlicht, das von einem Pupillenaufteilungsbereich neben einem Pupillenaufteilungsbereich, von dem das Objektlicht, das an dem defekten Pixel ankommt, ankommt, unter Objektbildlicht, die Informationen über eine Laufrichtung an einer Position umfassen, die zu einer Position auf der Synthetikbildebene identisch ist, die das Objektbildlicht, das an dem defekten Pixel ankommt, durchläuft.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Korrektureinheit einen Korrekturwert des Bildsignals des defekten Pixels durch ein arithmetisches Mittel der Bildsignale der anderen Pixel erzeugt.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Korrektureinheit einen Korrekturwert des Bildsignals des defekten Pixels durch ein gewichtetes Mittel unter Verwendung einer Gewichtung des Bildsignals von Pixeln entsprechend einer Position des Pupillenaufteilungsbereichs erzeugt.
Steuerungsverfahren einer Bildverarbeitungsvorrichtung zum Verarbeiten eines Bildsignals, das von einem Bildaufnahmeelement erhalten wird, unter Verwendung eines Bildaufnahmeoptiksystems, das eingerichtet ist, um Laufrichtungsinformationen eines Objektbildlicht entsprechend einem Pupillenaufteilungsbereich einer fotografischen Linse zu erhalten, mit: Einstellen einer Position einer Synthetikbildebene, auf der ein Bild des Objekts unter Verwendung des Bildsignals, das von dem Bildaufnahmeelement erhalten wird, rekonstruiert wird; und Korrigieren eines Bildsignal des defekten Pixels des Bildaufnahmeelements unter Verwendung eines Bildsignals eines anderen Pixels des Bildaufnahmeelements, wobei das Korrigieren ein Bestimmen des anderen Pixels, das zum Korrigieren des Bildsignals des defekten Pixels zu verwenden ist, umfasst, basierend auf einer Position der Synthetikbildebene, die durch die Synthetikbildebenenpositionseinstellung eingestellt wird, und Laufrichtungsinformationen des Objektbildlichts.
Computerlesbares Speichermedium, das ein Programm mit einem Programmcode speichert, um einen Computer zu veranlassen, ein Steuerungsverfahren der Bildverarbeitungsvorrichtung gemäß Anspruch 6 auszuführen.
Bildaufnahmevorrichtung, mit: einem Bildaufnahmeoptiksystem, das eingerichtet ist, um Laufrichtungsinformationen von Objektbildlicht entsprechend einem Pupillenaufteilungsbereich einer fotografischen Linse zu erhalten; einem Bildaufnahmeelement, das Objektbildlicht, das durch das Bildaufnahmeoptiksystem fokussiert wird, fotoelektrisch umwandelt, um ein Bildsignal auszugeben; und der Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 5.
Bildaufnahmevorrichtung gemäß Anspruch 8, wobei das Bildaufnahmeoptiksystem ein Mikrolinsenfeld entsprechend dem Pupillenaufteilungsbereich zwischen der fotografischen Linse und dem Bildaufnahmeelement umfasst, und entsprechende Pixel, die in einem Pixelfeld des Bildaufnahmeelements entsprechend jeder Mikrolinse enthalten sind, den entsprechenden Pupillenaufteilungsbereichen in der fotografischen Linse entsprechen.