DE102014218166A1

DE102014218166A1 - Bildverarbeitungsvorrichtung und zugehöriges steuerverfahren

Info

Publication number: DE102014218166A1
Application number: DE102014218166.6A
Authority: DE
Inventors: Ken c/o CANON KABUSHIKI KAISHA Sasaki; Satoshi c/o CANON KABUSHIKI KAISHA Suzuki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-09-12
Filing date: 2014-09-11
Publication date: 2015-03-26
Anticipated expiration: 2034-09-12
Also published as: US20150070536A1; CN104469194A; CN104469194B; DE102014218166B4; US9253424B2; JP2015056808A; JP6238657B2; KR101725045B1; KR20150030615A

Abstract

Eine Bildverarbeitungsvorrichtung, die ein aufgenommenes Bild mit Winkelinformationen eines von dem Objekt kommenden Lichtstrahls verarbeitet, umfasst eine Erzeugungseinrichtung zur Erzeugung eines rekonstruierten Bildes durch Rekonstruieren des aufgenommenen Bildes, eine Extraktionseinrichtung zum Extrahieren einer Adresse eines defekten fotoelektrischen Wandlerelements, das in fotoelektrischen Wandlerelementen enthalten ist, die das aufgenommene Bild aufnehmen, beruhend auf einer Vielzahl rekonstruierter Bilder, die verschiedenen Abbildungsentfernungen entsprechen.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, insbesondere auf eine Bildverarbeitungsvorrichtung, die einen Defekt erfasst und korrigiert, und ein zugehöriges Steuerverfahren.
Beschreibung der verwandten Technik
Bei der jüngsten digitalen Bildverarbeitungstechnik ist der Fortschritt auf dem Forschungsgebiet Lichtfeldphotographie bedeutend. Bei der Lichtfeldphotographie wird zuerst ein Bild aufgenommen, sodass ein aufgenommenes Bild, das von einer Bildaufnahmevorrichtung mit einem optischen Bildgebungssystem wie einem Objektiv und einem Halbleiterbildgebungssensor wie einem CCD- oder CMOS-Sensor erhalten wird, nicht nur zweidimensionale Lichtintensitätsinformationen des Objektfeldes sondern auch Lichtstrahlwinkelinformationen enthält.
Das aufgenommene Bild mit den Lichtstrahlwinkelinformationen ist äquivalent einer Teilung in eine beträchtliche Anzahl an Pupillen, was eine Teilung in ein Paar von Pupillen bei einer sogenannten Phasendifferenzautofokuserfassung (AF) übersteigt. Dieses aufgenommene Bild stellt Daten dar, die nicht immer die Liste und Reihenfolge signifikanter Informationsteile aufweisen, wenn das Bild direkt betrachtet wird. Zur Lösung wurden eine Bildaufnahmevorrichtung und eine Bildverarbeitungsvorrichtung zur erneuten Fokussierung (was auch als Neufokussierung bezeichnet wird) auf ein beliebiges Objekt in dem Objektfeld nach der Bildgebung durch die Durchführung einer Rekonstruktionsbildverarbeitung vorgeschlagen, die eng verwandt ist mit einem Bildaufnahmeprozess, in dem das aufgenommene Bild erhalten wurde.
Ein Beispiel dieser Bildaufnahmevorrichtung und Bildverarbeitungsvorrichtung ist eine tragbare Plenoptikkamera (die nachstehend auch als Lichtfeldkamera bezeichnet wird), die in Dokument 1 ”Ren. Ng, et al., "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02” beschrieben ist. Die Bauteile der Lichtfeldkamera sind folgende: eine ”Hauptlinse”, die ein optisches Bildgebungssystem in einer bekannten Bildaufnahmevorrichtung darstellt, erzeugt hauptsächlich ein Objektbild auf einem ”Mikrolinsenarray” mit vorbestimmtem Abstand. Ein ”Halbleiterbildgebungssensor” mit fotoelektrischen Wandlerelementen mit kleinerem Abstand als dem vorbestimmten Abstand ist hinter dem Mikrolinsenarray angeordnet.
Das heißt, die in Dokument 1 beschriebene Lichtfeldkamera erhält unter dieser Voraussetzung mit einem bestimmten Bildaufnahmeprozess und einer Bildverarbeitung ein Bild mit neuen Informationen, die mit einer bekannten Bildaufnahmevorrichtung nicht erhalten wurden.
Dagegen werden die meisten Bildprozesse, die in einer herkömmlichen bekannten Bildaufnahmevorrichtung durchgeführt werden, unter der Annahme ausgeführt, dass die Signale fotoelektrischer Wandlerelemente, die ein aufgenommenes Bild bilden, bis zu einem gewissen Ausmaß Kontinuität aufweisen. Ein Beispiel ist ein Echtzeiterfassungsverfahren eines defekten Bildelements, bei dem ein defektes Bildelement aus einem Pegelunterschied aus dem Signal eines umgebenden fotoelektrischen Wandlerelements bei jeder Bildgebung durch die Bildaufnahmevorrichtung bestimmt wird.
Beispielsweise offenbart die japanische Patentoffenlegungsschrift Nr. 2005-286825 eine defekte Bildelementkorrekturvorrichtung, die gekennzeichnet ist durch das Umfassen einer ersten defekten Bildelementerfassungseinheit zur Erfassung eines defekten Bildelements durch Vergleichen jedes aus einer Vielzahl von Bildelementen ausgegebenen Signals mit einem vorbestimmten Wert, einer ersten Korrektureinheit zur Korrektur eines Signals von dem durch die erste defekte Bildelementerfassungseinheit erfassten defekten Bildelement, einer zweiten defekten Bildelementerfassungseinheit zur Erfassung eines defekten Bildelements durch Vergleichen jedes von der Vielzahl von Bildelementen ausgegebenen Signals mit einem vorbestimmten Wert, bei denen einen Korrektur bei dem durch die erste defekte Bildelementerfassungseinheit erfassten defekten Bildelement durchgeführt wurde, und einer Einstellsteuereinheit zur Einstellung der vorbestimmten Werte in der ersten defekten Bildelementerfassungseinheit und der zweiten defekten Bildelementerfassungseinheit derart, dass sie voneinander verschieden sind.
Die japanische Patentoffenlegungsschrift Nr. 2005-286825 offenbart auch, dass Informationen eines durch die erste defekte Bildelementerfassungseinheit erfassten defekten Bildelements aufgezeichnet werden, und die zweite defekte Bildelementerfassungseinheit selbst auf die defekten Bildelementinformationen in der ersten defekten Bildelementerfassungseinheit Bezug nimmt. Ferner beschreibt die japanische Patentoffenlegungsschrift Nr. 2005-286825 , dass bestimmt wird, ob das defekte Bildelement tatsächlich ein defektes Bildelement oder eine Objektkante ist, und falls das erfasste Bildelement als Objektkante betrachtet wird, keine Korrektur durchgeführt wird, um eine Verschlechterung der Bildqualität zu verhindern.
Die defekte Bildelementerfassung in Echtzeit ist insbesondere zum Unterdrücken einer Verschlechterung der Bildqualität effektiv, die ein nachfolgendes defektes Bildelement begleitet, das nicht in dem Speicher der Bildaufnahmevorrichtung oder dergleichen aufgezeichnet wurde, oder eines flackernden defekten Bildelements, dessen Ausgangspegel bei jeder Bildgebung variiert. Die wichtigste Aufgabe bei dem defekten Bildelementerfassungsverfahren in Echtzeit liegt aber in der Unterscheidung zwischen einem defekten Bildelement, das ein Korrekturziel sein sollte, und einer Objektkante.
Bei einer bekannten Bildaufnahmevorrichtung wird eine ein aufgenommenes Bild bildende Elementeinheit im Allgemeinen ”Bildelement” genannt. Es war nicht erforderlich, das ”Signal” eines fotoelektrischen Wandlerelements, das als einen Halbleiterbildgebungssensor bildende Elementeinheit dient, und das ”Bildelement”, das als Elementeinheit dient, die ein endgültiges Bild bildet, das einer Signalverarbeitung unterzogen wurde, definitiv zu unterscheiden. Bei der Lichtfeldkamera sind sie aber Konzepte, die definitiv unterschieden werden sollten.
Zum Erhalten eines signifikanten Merkmals wie einer Neufokussierrekonstruktionsverarbeitung belegt wie vorstehend beschrieben ein spezieller Bildaufnahmeprozess wie vorstehend angeführt eine wichtige Position in der Lichtfeldkamera. Der spezielle Bildaufnahmeprozess bedeutet ein gleichzeitiges Erhalten von Lichtintensitätsinformationen und Lichtstrahlwinkelinformationen. Die Lichtstrahlwinkelinformationen erscheinen in der Intensitätsverteilung vieler fotoelektrischer Wandlerelemente, die einer Mikrolinse entsprechen. Zu diesem Zeitpunkt gibt es eine Bildverschiebung, bei der sich die Intensitätsverteilung der Signale einer Vielzahl fotoelektrischer Wandlerelemente entsprechend der Entfernung zu einem Objekt und Fokussierung des optischen Bildgebungssystems verschiebt. Die Bildverschiebung ist ein Phänomen, bei dem eine Koordinatenverschiebung in Bildern auftritt, die durch die Signale fotoelektrischer Wandlerelemente gebildet werden, die zu demselben Quadranten von Mikrolinsen gehören. Die Bildverschiebung wird als Erweiterung einer Verschiebung zwischen einem Paar von Bildern auf eine Verschiebung zwischen vielen Bildern bei einer Phasendifferenzerfassung-AF betrachtet.
Insbesondere stellt ein aufgenommenes Bild, das durch Anordnen der Signale vieler fotoelektrischer Wandlerelemente in der Ausgabereihenfolge des Halbleiterbildgebungssensors ohne Durchführung einer Neufokussierrekonstruktionsverarbeitung erhalten wird, Daten dar, die für eine direkte Betrachtung nicht geeignet sind. Es ist daher schwierig, die Aufgabe einer Unterscheidung einer Objektkante und eines defekten Bildelements lediglich durch die Anwendung des vorstehend angeführten defekten Bildelementerfassungsverfahrens in Echtzeit bei einem aufgenommenen Bild mit Lichtstrahlwinkelinformationen zu bewerkstelligen, bei dem angenommen wird, dass die Signale der fotoelektrischen Wandlerelemente mit einem bestimmten Ausmaß eine Kontinuität aufweisen. Bei der Lichtfeldkamera ändert sich die Adresse eines Bildelements in einem rekonstruierten Bild, das durch das Signal eines defekten fotoelektrischen Wandlerelements (das nachstehend auch als defektes Element bezeichnet wird) beeinflusst sein kann, bei jeder Neufokussierung in einer Neufokussierrekonstruktionsverarbeitung.
Aus diesem Grund ist es zur Unterdrückung einer Verschlechterung der Bildqualität, die ein defektes Element in der Lichtfeldkamera begleitet, erforderlich, eine defekte Bildelementerfassung in Echtzeit bei einem rekonstruierten Bild bei jeder Neufokussierrekonstruktionsverarbeitung durchzuführen, und ferner das erfasste defekte Bildelement zu korrigieren. Allerdings braucht eine defekte Bildelementerfassung in Echtzeit die Verarbeitungszeit zur Abtastung eines rekonstruierten Bildes. Das heißt, es dauert so lange, bis ein rekonstruiertes Bild nach einem Vorgang einer erneuten Fokussierung auf ein beliebiges Objekt in dem Objektfeld eines aufgenommenen Bildes angezeigt wird. Den Benutzer kann dies stören.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde zur Lösung der vorstehend beschriebenen Probleme ausgestaltet und stellt eine Bildverarbeitungsvorrichtung zum effizienten Erhalten eines neufokussierten/rekonstruierten Bildes bereit, bei dem eine Verschlechterung der Bildqualität, die ein defektes Element begleitet, unterdrückt ist.
Gemäß der ersten Ausgestaltung der Erfindung ist eine Bildverarbeitungsvorrichtung bereitgestellt, die ein aufgenommenes Bild mit Winkelinformationen eines von dem Objekt kommenden Lichtstrahls verarbeitet, mit einer Erzeugungseinrichtung zur Erzeugung eines rekonstruierten Bildes durch Rekonstruieren des aufgenommenen Bildes, einer Extraktionseinrichtung zum Extrahieren einer Adresse eines defekten fotoelektrischen Wandlerelements, das in fotoelektrischen Wandlerelementen enthalten ist, die das aufgenommene Bild aufnehmen, beruhend auf einer Vielzahl rekonstruierter Bilder, die verschiedenen Bildgebungsentfernungen entsprechen.
Gemäß der zweiten Ausgestaltung der Erfindung ist ein Verfahren zur Steuerung einer Bildverarbeitungsvorrichtung bereitgestellt, die ein aufgenommenes Bild mit Winkelinformationen eines von dem Objekt kommenden Lichtstrahls verarbeitet, mit einem Erzeugungsschritt eines Erzeugens eines rekonstruierten Bildes durch Rekonstruieren des aufgenommenen Bildes, einem Extraktionsschritt eines Extrahierens einer Adresse eines defekten fotoelektrischen Wandlerelements, das in fotoelektrischen Wandlerelementen enthalten ist, die das aufgenommene Bild aufgenommen haben, beruhend auf einer Vielzahl rekonstruierter Bilder, die verschiedenen Bildgebungsentfernungen entsprechen.
Weitere Merkmale der Erfindung werden aus der folgenden Beschreibung der Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Blockschaltbild, das die Anordnung einer Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel der Erfindung veranschaulicht,
2 zeigt eine Draufsicht, die die Lichtaufnahmeregion eines Halbleiterbildgebungssensors veranschaulicht,
3 zeigt ein Ablaufdiagramm, das ein Verfahren zur Steuerung der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht,
4 zeigt eine Lichtstrahlansicht zur Beschreibung einer Neufokussierrekonstruktionsverarbeitung,
5 zeigt eine Lichtstrahlansicht zur Beschreibung einer defekten Elementadressenextraktionsverarbeitung in der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel,
6 zeigt ein Ablaufdiagramm, das ein Verfahren zur Anzeige eines rekonstruierten Bildes in der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht,
7 zeigt eine Lichtstrahlansicht zur Beschreibung einer defekten Elementadressenextraktionsverarbeitung in der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel,
8 zeigt ein Ablaufdiagramm, das ein Verfahren zur Steuerung einer Bildaufnahmevorrichtung gemäß dem zweiten Ausführungsbeispiel der Erfindung veranschaulicht,
9 zeigt eine Lichtstrahlansicht zur Beschreibung einer defekten Elementadressenextraktionsverarbeitung in der Bildaufnahmevorrichtung gemäß dem zweiten Ausführungsbeispiel, und
10 zeigt ein Ablaufdiagramm, das ein Verfahren zur Steuerung einer Bildaufnahmevorrichtung gemäß dem dritten Ausführungsbeispiel der Erfindung veranschaulicht.
BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachstehend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben. In den Ausführungsbeispielen der Erfindung verwendete Ausdrücke werden definiert. Eine Elementeinheit, die ein ”aufgenommenes Bild (mit Lichtstrahlwinkelinformationen)” in einer Lichtfeldkamera bildet, wird ”Signal eines fotoelektrischen Wandlerelements” oder einfach ”Element” genannt. Eine Elementeinheit, die ein ”rekonstruiertes Bild” bildet, das durch eine Neufokussierrekonstruktionsverarbeitung erhalten wird, wird ”Bildelement” genannt.
(Erstes Ausführungsbeispiel)
1 zeigt ein Blockschaltbild der Gesamtanordnung einer Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel der Erfindung. In 1 enthält ein optisches Bildgebungssystem 1 eine Anschlag- und Fokussierlinse und erzeugt das optische Bild eines Objekts. Mikrolinsenarrays 2 erzeugen Bilder eines Objekts durch die Fokussierlinse des optischen Bildgebungssystems 1 hauptsächlich an ihrem Scheitelpunkt. Die Mikrolinsenarrays 2 sind mit einem vorbestimmten Abstand in der horizontalen und der vertikalen Richtung zweidimensional angeordnet. Ein Halbleiterbildgebungssensor 3 wandelt ein durch das optische Bildgebungssystem 1 erzeugtes Objektbild fotoelektrisch um und extrahiert es als elektrisches Signal. Der Halbleiterbildgebungssensor 3 hat die Funktion eines fotoelektrischen Wandlerelements, das durch Bildelemente implementiert ist, die in der horizontalen und der vertikalen Richtung zweidimensional mit einem Abstand angeordnet sind, der kleiner als der Abstand der Mikrolinsenarrays 2 ist. Der Halbleiterbildgebungssensor 3 hat auch eine Signalübertragungsfunktion zur Übertragung eines elektrischen Signals von dem fotoelektrischen Wandlerelement als aufgenommenes Bild.
Ein A/D-Wandler 4 wandelt ein abgetastetes Analogsignal in ein Digitalsignal um. Ein aufgenommenes Digitalbild wird in einem Bildspeicher 10 aufgezeichnet. Bei Bedarf führt eine Neufokussierrekonstruktionsverarbeitungseinheit 7 eine Neufokussierrekonstruktionsverarbeitung durch, was ein Merkmal der Lichtfeldkamera darstellt. Eine defekte Bildelementerfassungseinheit 8 führt eine defekte Bildelementerfassung in Echtzeit bei einem rekonstruierten Bild durch, das einer erforderlichen Neufokussierrekonstruktionsverarbeitung unterzogen wurde. Insbesondere bestimmt die defekte Bildelementerfassungseinheit 8, ob jedes ein rekonstruiertes Bild bildende Bildelement ein Defekt ist, und spezifiziert ein defektes Bildelement, das ein Korrekturziel darstellen sollte. Eine Signalverarbeitungseinheit 9 führt verschiedene Signalprozesse wie eine defekte Bildelementkorrektur, Weißabgleichkorrektur und Gammakorrektur beruhend auf dem Ergebnis der defekten Bildelementerfassung in Echtzeit durch. Ein endgültiges Bild, das verschiedenen Signalprozessen unterzogen wurde, wird auf einem Aufzeichnungsmedium 12 aufgezeichnet. Eine Aufzeichnungsschaltung 11 ist eine Schnittstellenschaltung mit dem Aufzeichnungsmedium 12. Das endgültige Bild, das verschiedenen Signalprozessen unterzogen wurde, kann auch direkt auf einer Bildanzeigeeinrichtung 14, wie einer Flüssigkristallanzeige über eine Anzeigeschaltung (Schnittstellenschaltung) 13 angezeigt werden. Die Bildanzeigeeinrichtung 14 kann auch eine Live-Ansicht-Anzeige von sukzessiven live angezeigten Rahmen, die jetzt aufzunehmen sind, und eine Wiedergabeanzeige eines aufgezeichneten Bewegtbildes durchführen.
Eine Zeitgebungserzeugungsschaltung 5 steuert ein Bildaufnahmesystem, wie den Halbleiterbildgebungssensor 3 an. Ferner steuert die Zeitgebungserzeugungsschaltung 5 den A/D-Wandler 4 synchron zur Ansteuerung des Bildaufnahmesystems und zu einem Ausgangssignal von dem Halbleiterbildgebungssensor 3 (an). Es wird angemerkt, dass der A/D-Wandler 4 in dem Halbleiterbildgebungssensor 3 angebracht sein kann. In diesem Fall kann ein aufgenommenes Bild direkt in dem Bildspeicher 10 aufgezeichnet werden.
Eine Fokussierlinsenansteuerschaltung 6 steuert die Fokussierlinse des optischen Bildgebungssystems 1 an. Die Fokussierlinse wird zum Fokussieren eines Objekts selbst bei einer bekannten Bildaufnahmevorrichtung verwendet, die von der Lichtfeldkamera verschieden ist. Die Fokussierlinse wird durch die Autofokuserfassungs(AF)-Funktion oder dergleichen gesteuert und bestimmt die Bildgebungsposition des optischen Bildgebungssystems 1. Eine Systemsteuereinheit 15 steuert die gesamte Bildaufnahmevorrichtung entsprechend einem in einem flüchtigen Speicher 16 vorübergehend aufgezeichneten Programm.
Eine Bildgebungsentfernungseinstelleinheit 18 ist ein Abschnitt, der eine Bildgebungsentfernung als Parameter zur Ausführung einer für die Lichtfeldkamera spezifischen Neufokussierrekonstruktionsverarbeitung einstellt. Die Lichtfeldkamera ermöglicht eine Fokussierung nach einer Bildgebung, um beispielsweise erneut an einem anderen Objekt zu fokussieren, indem das AF-Ergebnis reflektiert und die Fokussierlinsenansteuerschaltung 6 gesteuert wird. Zu dieser Zeit wählt die Bildgebungsentfernungseinstelleinheit 18 eine Objektentfernung oder ein Objekt selbst aus und stellt eine neue Bildgebungsentfernung ein. Ein Merkmal des ersten Ausführungsbeispiels ist mit einem speziellen Bildaufnahmeprozess in der Lichtfeldkamera verbunden, und selbst mit einer Neufokussierrekonstruktionsverarbeitung, die eng mit dem speziellen Bildaufnahmeprozess verwandt ist. Dieses Merkmal wird nachstehend näher beschrieben.
Ein nichtflüchtiger Speicher 17 speichert Programme, verschiedene Daten und dergleichen, die bei der Ausführung einer Verarbeitung durch die Bildaufnahmevorrichtung zu übertragen sind. Der nichtflüchtige Speicher 17 kann die Koordinaten eines Defekts bezüglich des Signals eines fotoelektrischen Wandlerelements aufzeichnen, das nicht das Erfassungsziel der defekten Bildelementerfassungseinheit 8 ist und ein aufgenommenes Bild bildet.
2 zeigt eine Draufsicht der Anordnung der Lichtaufnahmeregion des Halbleiterbildgebungssensors 3. 2 zeigt als Beispiel die Anzahl der Mikrolinsenarrays 2 und fotoelektrischen Wandlerelemente und ihr Anordnungsverhältnis. Allerdings ist lediglich erforderlich, dass zumindest eine Vielzahl fotoelektrischer Wandlerelemente einer Mikrolinse entsprechen. Es wird angemerkt, dass die Anzahl fotoelektrischer Wandlerelemente äquivalent zur Auflösung einer Bildverschiebung, zur Auflösung einer Pupillenteilung und zur Auflösung von Lichtstrahlwinkelinformationen ist. Es ist bekannt, dass eine Erhöhung der Anzahl fotoelektrischer Wandlerelemente zur Genauigkeit einer Neufokussierrekonstruktionsverarbeitung und dergleichen beiträgt. Andererseits steht die Auflösung eines rekonstruierten Bildes mit der Anzahl an Mikrolinsen in Bezug. Somit besteht eine der Aufgaben des Halbleiterbildgebungssensors 3 in der Anbringung einer ausreichenden Anzahl fotoelektrischer Wandlerelemente zum Sicherstellen der Genauigkeit der Neufokussierrekonstruktionsverarbeitung unter Beibehaltung der Auflösung.
In 2 bezeichnet das Bezugszeichen PD ein fotoelektrisches Wandlerelement. Die Einheit Mikrolinsenarray 2 entspricht 21 fotoelektrischen Wandlerelementen, um diese im Inneren zu enthalten. Das fotoelektrische Wandlerelement wird durch Erzeugen einer Halbleiterschicht vom n-Typ auf einem Halbleitersubstrat vom p-Typ oder p-Typ-Quellenaufbau durch Ionenimplantierung oder dergleichen gebildet. Die fotoelektrischen Wandlerelemente sind durch Halbleiterregionen vom p-Typ von allen angrenzenden fotoelektrischen Wandlerelementen elektrisch getrennt. Durch unabhängiges Auslesen von Signalen aus den fotoelektrischen Wandlerelementen werden die Konfiguration der Lichtfeldkamera darstellende Lichtstrahlwinkelinformationen erhalten. Zum Auslesen des Ladungssignals des fotoelektrischen Wandlerelements wird beispielsweise die Verwendung eines Ladungsübertragungs-CCD oder eines APS-(Active Pixel Sensor)CMOS-Sensors in Betracht gezogen, bei dem eine Verstärkungsfunktion für jedes Bildelementsignal vorhanden ist und ein Spannungssignal ausgegeben wird. Der Halbleiterbildgebungssensor in 2 ist beispielsweise ein APS-CMOS-Sensor. Ausleseschaltungseinheiten 31 mit der Verstärkungsfunktion werden unter Verwendung toter Räume zwischen den fotoelektrischen Wandlerelementen erzeugt.
Obwohl dies in 2 nicht gezeigt ist, sind die Ausleseschaltungseinheiten 31 in der vertikalen Richtung in 2 mit gemeinsamen Verdrahtungsleitungen verbunden, die auch vertikale Ausgangsleitungen genannt werden. Eine horizontale Abtastschaltung 33 führt eine horizontale Übertragungsfunktion zum sequentiellen Zugreifen auf die gemeinsamen Verdrahtungsleitungen in der horizontalen Richtung aus.
Obwohl dies in 2 nicht gezeigt ist, sind die Ausleseschaltungseinheiten 31 in der horizontalen Richtung mit gemeinsamen Steuerleitungen verbunden, um eine Übertragung von Signalladungen von fotoelektrischen Wandlerelementen pro Reihe, eine Ladung-Spannung-Umwandlung durch die Ausleseschaltungseinheit 31 und dergleichen auszuführen. Eine vertikale Abtastschaltung 32 hat eine Funktion zum sequentiellen Einstellen einer Reihe in der Reihenrichtung, die diesen Vorgang durchführen soll.
Durch verschiedentliche Anwendung der Funktion des vorstehend beschriebenen APS-CMOS-Halbleiterbildgebungssensors wird ein wahlfreier Zugriff auf ein gegebenes fotoelektrisches Wandlerelement teilweise möglich. Um dies zu erreichen, muss allerdings die Funktion eines Abtastschaltungssystems hinzugefügt werden, was die Kosten beeinflusst. Daher führen viele APS-CMOS-Halbleiterbildgebungssensoren ein sequentielles Signalauslesen in der vertikalen und der horizontalen Richtung durch. Insbesondere sind die Signale von fotoelektrischen Wandlerelementen in einem aufgenommenen Bild, das keiner Neufokussierrekonstruktionsverarbeitung zu unterziehen ist, als verschiedene Lichtstrahlwinkelkomponenten verschiedentlich angeordnet. Dies macht die Unterscheidung eines defekten Elements, das ein Korrekturziel sein sollte, und einer Objektkante schwierig, selbst wenn die Durchführung einer defekten Bildelementerfassung in Echtzeit direkt bei einem aufgenommenen Bild versucht wird.
Nachstehend werden Defekterzeugungsfaktoren des Halbleiterbildgebungssensors 3 beschrieben, obwohl die Auflistung aller Faktoren schwierig ist. Ein typischer Faktor ist ein Punktdefekt, der weiß scheint und durch die Mischung einer Unreinheit wie einer Schwermetallkontamination in dem fotoelektrischen Wandlerelement selbst erzeugt wird. Ein anderes Beispiel eines Defekts entsteht aus der Ausleseschaltungseinheit 31. Dieser Defekt ist ein Blinkdefekt, der erzeugt wird, wenn die Schnittstellenpegeldichte nahe der Oberfläche einer in der Ausleseschaltungseinheit 31 enthaltenen Halbleiterschicht aufgrund der Beschädigung eines Halbleiterherstellungsschritts sich erhöht und Ladungen an diesem Pegel gefangen oder emittiert werden. Dies wird auch RTS-Rauschen genannt. Ein Defekt dieser Art wird stochastisch in Zeitrichtung erzeugt, und sticht insbesondere dann heraus, wenn dieselbe Szene eines Bewegtbildes betrachtet wird. Dieser Defekt erscheint selbst in einem Stehbild als Phänomen, in dem ein in einem gegebenen aufgenommenen Bild nicht erscheinender Defekt in einem anderen aufgenommenen Bild erscheint. Bezüglich der Anordnung der Bildaufnahmevorrichtung ist die Aufzeichnung des Defekts als defektes Element, das immer korrigiert wird, in einem Speicher oder dergleichen nicht effektiv. Seit Kurzem teilen sich in manchen Beispielen eine Vielzahl fotoelektrischer Wandlerelemente die Ausleseschaltungseinheit 31 zur Miniaturisierung der Bildelementregion, obwohl dies von der Anordnung des Halbleiterbildgebungssensors 3 abhängt. In einigen Fällen werden alle fotoelektrischen Wandlerelemente, die die Ausleseschaltungseinheit 31 verwenden, die an einer hohen Schnittstellenpegeldichte leidet, zu defekten Elementkandidaten. Selbst vom Gesichtspunkt der Bildkorrekturqualität aus ist es nicht erwünscht, alle diese fotoelektrischen Wandlerelemente ohne Ausnahme als Korrekturziele aufzuzeichnen.
3 zeigt ein Ablaufdiagramm eines Verfahrens zur Steuerung der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel.
Die Hauptenergiezufuhr der Bildaufnahmevorrichtung wird mittels eines in 1 nicht gezeigten Schalters eingeschaltet, und dann wird die Energiezufuhr der Systemsteuereinheit 15 eingeschaltet (Schritt S301). Dem Halbleiterbildgebungssensor 3 wird ein Ansteuereinstellsignal zugeführt (Schritt S302). Dies ermöglicht die Ausführung einer Betriebsart, in der Live-Bilder aufeinanderfolgend auf der Bildanzeigeeinrichtung 14 angezeigt werden.
Eine automatische Fokusanpassung, d. h. ein sogenannter Autofokus (AF) beginnt mit der automatischen Ansteuerung der Fokussierlinse zur Fokussierung an einem Objekt (Schritt S303). Als AF-Verfahren sind ein eine Kontrasterfassung verwendendes Verfahren und ein einen dedizierten Entfernungsmesssensor verwendendes Verfahren bekannt. Wenn die Signale fotoelektrischer Wandlerelemente in verschiedenen Quadranten unter der Mikrolinse unter Ausnutzung des Merkmals der Lichtfeldkamera gemäß dem ersten Ausführungsbeispiel geeignet ausgelesen werden können, können sie als Signale für einen Phasendifferenzerfassung-AF verwendet werden. Beim Empfang des AF-Ergebnisses steuert die Systemsteuereinheit 15 die Fokussierlinse des optischen Bildgebungssystems 1 über die Fokussierlinsenansteuerschaltung 6 an.
Wird ein in 1 nicht gezeigter Auslöser gedrückt (Schritt S304), wird eine Bildgebung ausgeführt (S305). Ein bis zum Bildspeicher 10 ausgelesenes Bild wird als aufgenommenes Bild auf dem Aufzeichnungsmedium 12 aufgezeichnet (Schritt S306). Ferner werden Signale fotoelektrischer Wandlerelemente unter derselben Mikrolinse hinzugefügt, und ein provisorisches rekonstruiertes Bild mit der Anzahl an Bildelementen, die den Mikrolinsenarrays 2 entspricht, wird auf dem Aufzeichnungsmedium 12 aufgezeichnet (Schritt S307). Nachstehend werden Einzelheiten des provisorischen rekonstruierten Bildes beschrieben.
In den Schritten S308 bis 314 wird eine Verarbeitung zur Extraktion eines defekten Elements in dem aufgezeichneten aufgenommenen Bild und Aufzeichnung der Adresse des defekten Elements durchgeführt. Allerdings stellen die Schritte S308 bis S314 eine Art Vorbereitungsverarbeitung dar, um ein rekonstruiertes Bild effektiv anzuzeigen, wenn der Benutzer ein rekonstruiertes Bild betrachtet, in dem eine Verschlechterung der Bildqualität unterdrückt ist, die ein defektes Bild begleitet. Daher brauchen die Prozesse in Schritt S308 und den nachfolgenden Schritten nicht immer unmittelbar nach Erhalten eines aufgenommenen Bildes durchgeführt zu werden. Die Prozesse in Schritt S308 und den nachfolgenden Schritten können durch einen Computer und dergleichen unter Verwendung einer Bildverarbeitungsvorrichtung, die einen Teil der Bildaufnahmevorrichtung in 1 imitiert, einen Speicher, der das Bildverarbeitungsverfahren aufzeichnet, oder dergleichen, ausgeführt werden.
Vor der Beschreibung der Schritte S308 bis S314 wird eine Neufokussierrekonstruktionsverarbeitung unter Bezugnahme auf 4 beschrieben. Ein Merkmal der Neufokussierrekonstruktionsverarbeitung liegt in einer Neuanordnung und Addition der Signale von fotoelektrischen Wandlerelementen unter Berücksichtigung von Lichtstrahlwinkelinformationen.
4 zeigt eine Lichtstrahlansicht eines Zustands, in dem die Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel das Bild eines Objekts A1 beinahe am Scheitelpunkt jedes Mikrolinsenarrays 2 erzeugt. 4 zeigt lediglich in die Elemente eintretende Hauptlichtstrahlen.
In 4 wird eine Bildgebung in einem Zustand durchgeführt, in dem das optische Bildgebungssystem 1 an dem Objekt A1 an einer Objektentfernung a1 von dem Hauptpunkt fokussiert. Lichtstrahlen, die von einem A1 bildenden Punkt austreten, konvergieren an einem der Scheitelpunkte auf den Mikrolinsenarrays 2 an einer Abbildungsentfernung r1 von dem Hauptpunkt des optischen Bildgebungssystems 1. Es wird angemerkt, dass die Abbildungsformel (1) zwischen der Objektentfernung a1 und der Abbildungsentfernung r1 errichtet wird als: 1/a1 + 1/r1 = 1/f (1) wobei f die Brennweite des optischen Bildgebungssystems 1 ist. Die jeweiligen Lichtstrahlen treten in die fotoelektrischen Wandlerelemente PD25a, PD25b, PD25c, PD25d und PD25e des Halbleiterbildgebungssensors 3 ein, der hinter dem Mikrolinsenarray 2 angeordnet ist. Die Signale dieser fünf fotoelektrischen Wandlerelemente haben verschiedene Teile von Winkelinformationen von Lichtstrahlen aus Lichtstrahlen, die von einem das Objekt A1 bildenden Punkt zu dem optischen Bildgebungssystem 1 austreten, was durch Rückverfolgung zum Ursprung verstanden wird. Diese fünf Signale werden addiert, genauer gesagt mit einem Gewichtungskoeffizienten entsprechend der Abbildungsentfernung r1 gewichtet und dann addiert, wodurch das Signal eines Bildelements 55 eines rekonstruierten Bildes 41 erhalten wird. Das vorstehend beschriebene provisorische rekonstruierte Bild ist das auf diese Weise erhaltene rekonstruierte Bild 41.
Nachstehend wird ein Beispiel beschrieben, in dem eine Neufokussierrekonstruktionsverarbeitung durch Abzielen auf ein Objekt A2 in 4 durchgeführt wird. Unter Berücksichtung von Gleichung (1) konvergieren Lichtstrahlen, die von einem Punkt austreten, der das an einer Objektentfernung a2 vom Hauptpunkt des optischen Bildgebungssystems 1 vorhandene Objekt A2 bildet, offensichtlich an einer Abbildungsentfernung r2 näher am optischen Bildgebungssystem 1 als r1. Diese Lichtstrahlen treten in fotoelektrische Wandlerelemente PD21a, PD22b, PD23c, PD24d und PD25e ein, die hinter verschiedenen Mikrolinsen vorhanden sind. Beispielsweise ist ein in PD23c eintretender Lichtstrahl eine Lichtstrahlwinkelkomponente, die durch die optische Achse des optischen Bildgebungssystems 1 gelaufen ist. In PD21a und PD25e eintretende Lichtstrahlen sind Lichtstrahlwinkelkomponenten, die durch Aperturenden des Anschlags des optischen Bildgebungssystems 1 gelaufen sind. In PD22b und PD24d eintretende Lichtstrahlen sind dazwischen liegende Lichtstrahlkomponenten. PD23c ist ein Mittenquadrant unter fotoelektrischen Wandlerelementen, die hinter den Mikrolinsen vorhanden sind. PD21a und PD25e sind äußerste Quadranten. PD22b und PD24d sind dazwischen liegende Quadranten.
Es wird angemerkt, dass die Bezugszeichen (beispielsweise 21a und 22b) bezüglich des in vorstehender Beschreibung verwendeten Bezugssymbols PD jenen in der Draufsicht des Halbleiterbildgebungssensors 3 in 2 entsprechen. Bezugszeichen hinsichtlich des Bezugssymbols PD auf der horizontalen Zeile des Halbleiterbildgebungssensors 3 in 2 können als dieselben wie jene auf einer Reihe fotoelektrischer Wandlerelemente auf einer Zeile betrachtet werden, die in der in der Lichtstrahlansicht von 4 gezeigten Bildhöhenrichtung angeordnet sind.
Für ein Objekt außerhalb des Brennpunkts des optischen Bildgebungssystems 1, wie das Objekt A2, werden Lichtstrahlen, die von einem das Objekt bildenden Punkt ausgehen, in verschiedene Quadranten verschiedener Mikrolinsen entsprechend Winkelinformationen fotoelektrisch umgewandelt. Aus diesem Grund sind die Signale der fotoelektrischen Wandlerelemente angrenzend an PD21a, PD22b, PD23c, PD24d und PD25e Lichtstrahlen verschiedener Winkelkomponenten, die von einem anderen das Objekt A2 bildenden Punkt ausgehen. Das heißt, es gibt ein Merkmal, bei dem ein aus den Signalen der fotoelektrischen Wandlerelemente in einem gegebenen Quadranten erzeugtes Bild und ein aus den Signalen der fotoelektrischen Wandlerelemente in einem anderen Quadranten erzeugtes Bild Punkte mit verschiedenen Lichtstrahlwinkelkomponenten sind, die dasselbe Objekt bilden. Eine einem Defokussierausmaß entsprechende Bildverschiebung wird erzeugt.
Nachstehend wird eine Neufokussierrekonstruktionsverarbeitung beschrieben. Gemäß 4 bedeutet eine Neufokussierung an der Abbildungsentfernung r2 eine Zusammensetzung eines das Objekt (d. h. das Objekt A2) an der Objektentfernung a2 bildenden Punkts als ein Bildelement. Insbesondere werden die fotoelektrischen Wandlerelemente PD21a, PD22b, PD23c, PD24d und PD25e mit einem der Abbildungsentfernung r2 entsprechenden Gewichtungskoeffizienten multipliziert und dann addiert, wodurch das Signal an einem Bildelement 63 eines rekonstruierten Bildes 42 erhalten wird. Die beim Erhalten des Signals des Bildelements 55 des provisorischen rekonstruierten Bildes 41 gewichteten und addierten fotoelektrischen Wandlerelemente PD25a, PD25b, PD25c, PD25d und PD25e werden als Informationsteile zum Bilden einer Vielzahl verschiedener Bildelemente an der Abbildungsentfernung r2 verwendet. Als Ergebnis wird das Objekt A1 als optisch defokussiertes Objekt in dem rekonstruierten Bild 42 angezeigt.
Nachstehend wird ein einer Abbildungsentfernung entsprechender Gewichtungskoeffizient beschrieben. Der bei dem ersten Ausführungsbeispiel verwendete Gewichtungskoeffizient ist eine von der Abbildungsentfernung r abhängige Funktion, mit der das Signal eines fotoelektrischen Wandlerelements zum Erhalten des Signals eines Bildelements eines gegebenen rekonstruierten Bildes multipliziert wird. Die Länge eines einem fotoelektrischen Wandlerelement entsprechend Balkens stellt wie auf der rechten Seite von 4 gezeigt den relativen Wert eines Gewichtungskoeffizienten dar, mit dem das Signal eines fotoelektrischen Wandlerelements multipliziert wird. Ein Gewichtungskoeffizient W55 ist ein Koeffizient, mit dem das Signal jedes fotoelektrischen Wandlerelements zum Erhalten des Signals des Bildelements 55 des rekonstruierten Bildes 41 an der Abbildungsentfernung r1 multipliziert wird. Das Signal jedes fotoelektrischen Wandlerelements wird durch einen Gewichtungskoeffizienten W63 zum Erhalten des Signals des Bildelements 63 des rekonstruierten Bildes 42 an der Abbildungsentfernung r2 multipliziert.
Eine allgemeine Formel einer den Gewichtungskoeffizienten verwendenden Neufokussierrekonstruktionsverarbeitungsberechnung ist wie folgt ausgedrückt. Der Einfachheit halber wird die Neufokussierrekonstruktionsverarbeitungsberechnung unter dem Augenmerk auf in einer Richtung angeordnete Bildelemente, die Mikrolinsenarrays 2 und fünf pro Mikrolinsenarrayeinheit 2 angeordnete Elemente beschrieben.
wobei S(m) der Signalwert des m-ten Bildelements eines rekonstruierten Bildes ist, pd_a(n) bis pd_e(n) die Signalwerte fotoelektrische Wandlerelemente unter der n-ten Mikrolinse sind, die S(m) bilden, und w_m,a(n) bis w_m,e(n) die Gewichtungskoeffizienten sind, mit denen die S(m) bildenden Signalwerte pd_a(n) bis pd_e(n) der der n-ten Mikrolinse entsprechenden fotoelektrischen Wandlerelemente anhand einer gegebenen Abbildungsdistanz r multipliziert werden. Im Allgemeinen gilt m = n.
Der Gewichtungskoeffizient wird anhand der Abbildungsentfernung r bestimmt, und ein der Abbildungsentfernung r entsprechender Gewichtungskoeffizient kann vorab gespeichert werden. Werden nicht nur Hauptlichtstrahlen sondern auch andere Lichtstrahlen berücksichtigt, und wird eine Gewichtungsaddition aller relevanten Elemente berechnet, kann ein Bild mit größerer Genauigkeit rekonstruiert werden. Vorstehend wurde die Neufokussierrekonstruktionsverarbeitung beschrieben.
Die Schritte S308 bis S314 von 3 werden erneut beschrieben. Die defekte Bildelementerfassungseinheit 8 führt eine defekte Bildelementerfassung in Echtzeit bei dem in Schritt S307 von 3 aufgezeichneten provisorischen rekonstruierten Bild durch (Schritt S308).
Das defekte Bildelementerfassungsverfahren in Echtzeit gemäß dem ersten Ausführungsbeispiel kann ein Verfahren eines Extrahierens eines Bildelements mit einer großen Pegeldifferenz vom Durchschnitts- oder Medianwert umgebender Bildelemente derselben Farbe als Defekt sein, d. h., eines einen Schwellenwert überschreitenden Bildelements. Wie in der japanischen Patentoffenlegungsschrift Nr. 2005-286825 beschrieben kann dieses Verfahren in ein Verfahren des Extrahierens eines defekten Bildelements an einer Vielzahl von Stufen entwickelt werden. Beispielsweise wird ein Verfahren betrachtet, bei dem ein defektes Bildelement nicht beruhend auf einem Schwellenwert in einer Anfangsphase bestimmt wird, sondern defekte Bildelementkandidaten ausgewählt und vorübergehend aufgezeichnet werden, und dann der Bereich umgebender Bildelemente zum Vergleichen nur für die Kandidaten erweitert wird. In der horizontalen Richtung ist es manchmal einfach, den Bereich auf diese Art und Weise zu erweitern. Allerdings ist das Erweitern des Bereichs in vertikaler Richtung direkt mit einer Erhöhung eines in dem Bildspeicher 10 verwendeten Zeilenspeichers verbunden. Daher ist im Hinblick auf die Kosten Vorsicht geboten. Danach wird eine Vielzahl von in Schritt S308 von 3 erfassten defekten Bildelementadressen im flüchtigen Speicher 16 aufgezeichnet (Schritt S309).
Die Neufokussierrekonstruktionsverarbeitungseinheit 7 erzeugt ein rekonstruiertes Bild durch die Durchführung einer Neufokussierrekonstruktionsverarbeitung an einer Abbildungsentfernung, die von der des provisorischen rekonstruierten Bildes verschieden ist, und zeichnet das rekonstruierte Bild vorübergehend im Bildspeicher 10 auf (Schritt S310). Die Neufokussierrekonstruktionsverarbeitungseinheit 7 stellt eine andere Abbildungsentfernung (beispielsweise die Abbildungsentfernung r2 in 4) ein, sodass ein in jedes Element eintretender Hauptlichtstrahl in ein Bild geformt wird.
Die defekte Bildelementerfassung in Echtzeit wird bei dem rekonstruierten Bild durchgeführt, dass der Neufokussierrekonstruktionsverarbeitung an der von der des provisorischen rekonstruierten Bildes verschiedenen Abbildungsentfernung unterzogen wurde (Schritt S311). Eine Vielzahl erfasster defekter Bildelementadressen wird im flüchtigen Speicher 16 aufgezeichnet (Schritt S312).
Wie vorstehend beschrieben führt die Bildverarbeitungsvorrichtung in der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel eine defekte Bildelementerfassung bei dem rekonstruierten Bild in den Schritten S308 und S311 nach der Durchführung der Neufokussierrekonstruktionsverarbeitung durch. Daher kann die Bildverarbeitungsvorrichtung die schwierige Aufgabe der Unterscheidung einer Objektkante und eines defekten Elements, das ein Korrekturziel sein sollte, in einem aufgenommenen Bild mit verschiedenen Lichtstrahlwinkelkomponenten in jeweiligen Quadranten vermeiden.
Die Signalverarbeitungseinheit 9 nimmt auf die im flüchtigen Speicher 16 in den Schritten S309 und S312 aufgezeichneten defekten Bildelementadressen Bezug und extrahiert eine defekte Elementadresse in dem aufgenommenen Bild (Schritt S313).
Die Extraktion einer defekten Elementadresse in Schritt S313 wird unter Bezugnahme auf 5 näher beschrieben. 5 zeigt eine Lichtstrahlansicht zur Beschreibung der defekten Elementadressenextraktionsverarbeitung. Der Einfachheit halber wird die defekte Elementadressenextraktionsverarbeitung unter dem Augenmerk auf in einer Richtung angeordnete Bildelemente, die Mikrolinsenarrays 2 und fünf pro Mikrolinsenarrayeinheit 2 angeordnete Elemente beschrieben.
Der Zweck der Extraktion einer defekten Elementadresse besteht im Extrahieren des Signals eines fotoelektrischen Wanderelements unter Verwendung von aus den rekonstruierten Bildern 41 und 42 erfassten defekten Bildelementadressen, das ein defektes Bildelement in einem aufgenommenen Bild erzeugt.
In 5 sind Bildelemente 51, 52, 53, 54, 55, 56 und 57 Einheitsbildelemente, die ein neufokussiertes/rekonstruiertes Bild 41 bilden. Bildelemente 61, 62, 63, 64, 65, 66 und 67 sind Einheitsbildelemente, die ein neufokussiertes/rekonstruiertes Bild 42 bilden.
In 5 wird ein Beispielfall beschrieben, in dem das Bildelement 63 des rekonstruierten Bildes 42 und das Bildelement 55 des rekonstruierten Bildes 41 als defekte Bildelemente bei einer defekten Bildelementerfassung in Echtzeit erfasst werden. Das defekte Bildelement 55 ist ein durch Gewichten und Addieren der Signale der fotoelektrischen Wandlerelemente PD25a, PD25b, PD25c, PD25d und PD25e durch die Neufokussierrekonstruktionsverarbeitung erhaltenes Signal. Die fotoelektrischen Wandlerelemente PD25a, PD25b, PD25c, PD25d und PD25e sind Kandidaten sogenannter defekter Elemente (defekter fotoelektrischer Wandlerelemente). Wird das defekte Bildelement 63 betrachtet, sind die fotoelektrischen Wandlerelement PD21a, PD22b, PD23c, PD24d und PD25e gleichermaßen defekte Elementkandidaten. Bei der defekten Elementadressenextraktionsverarbeitung wird PD25i, das in diesen defekten Elementkandidaten gemeinsam aufgelistet ist, als defektes Element extrahiert (defekte Elementextraktion).
Es wird beschrieben, dass das vorstehend angeführte defekte Element logisch extrahiert werden kann. Zuerst wird angenommen, dass das Signal jedes Bildelements eines rekonstruierten Bildes durch eine defekte Bildelementerfassung in Echtzeit in ein defektes Bildelement oder ein Bildelement klassifiziert werden kann, das kein Defekt ist (das nachstehend als nicht defektes Bildelement bezeichnet wird): Bildelement ∈ {defektes Bildelement, nicht defektes Bildelement} (3)
Es wird auch angenommen, dass das Element eines aufgenommenen Bildes in ein defektes Element oder ein Element klassifiziert werden kann, das kein Defekt ist (das nachstehend als nicht defektes Element bezeichnet wird): Element ∈ {defektes Element, nicht defektes Element} (4)
Hier wird angenommen, dass ”ein Bildelement, das durch Addieren von zumindest das Signal eines defekten Elements enthaltenden Signalen erhalten wird, als defektes Bildelement erfasst wird”. Das heißt, ”ein durch Addieren der Signale nur von nicht defekten Elementen erhaltenes Bildelement wird als nicht defektes Bildelement erhalten”.
Da das Bildelement 51 anhand des defekten Bildelementerfassungsergebnisses ein nicht defektes Bildelement ist, nicht defektes Element = PD21a und PD21b und PD21c und PD21d und PD21e (5)
Da das Bildelement 52 ein nicht defektes Bildelement ist, nicht defektes Element = PD22a und PD22b und PD22c und PD22d und PD22e (6)
Da das Bildelement 53 ein nicht defektes Bildelement ist, nicht defektes Element = PD23a und PD23b und PD23c und PD23d und PD23e (7)
Da das Bildelement 54 ein nicht defektes Bildelement ist, nicht defektes Element = PD24a und PD24b und PD24c und PD24d und PD24e (8)
Da das Element 55 ein defektes Bildelement ist, defektes Element = PD25a oder PD25b oder PD25c oder PD25d oder PD25e (9)
Da das Bildelement 63 ein defektes Bildelement ist, defektes Element = PD21a oder PD22b oder PD23c oder PD24b oder PD25e (10)
Anhand von Gleichung (5) sind PD21a, PD21b, PD21c, PD21d und PD21e nicht defekte Elemente. Gleichermaßen sind anhand von Gleichungen (6), (7) und (8) PD22a, PD22b, PD22c, PD22d, PD22e, PD23a, PD23b, PD23c, PD23d, PD23e, PD24a, PD24b, PD24c, PD24d und PD24e nicht defekte Elemente. Anhand von Gleichung (10) wird erhalten, dass PD25e ein defektes Element ist.
Auf diese Weise extrahiert die Signalverarbeitungseinheit 9 eine defekte Elementadresse in einem aufgenommenen Bild durch die Verwendung der im flüchtigen Speicher 16 aufgezeichneten defekten Bildelementadressen. Vorstehend wurde die defekte Elementadressenextraktion beschrieben.
Schließlich werden Adressdaten jedes in Schritt S313 von 3 extrahierten defekten Elements an das ursprüngliche aufgenommene Bild angehängt und auf dem Aufzeichnungsmedium 12 aufgezeichnet (Schritt S314). Danach ist die Abfolge in 3 beendet.
In dem Ablaufdiagramm in 3 sind die Schritte S301 bis S307 bis zum Erhalten eines aufgenommenen Bildes und die Schritte S308 bis S314 bis zum Extrahieren und Aufzeichnen einer defekten Elementadresse als Sequenz gezeigt. Allerdings müssen die Prozesse in Schritt S308 und den nachfolgenden Schritten nicht immer unmittelbar nach dem Erhalten eines aufgenommenen Bildes durchgeführt werde, und können somit zu einem anderen Zeitpunkt ausgeführt werden. Die Prozesse in Schritt S308 und den nachfolgenden Schritten können durch einen Computer oder dergleichen unter Verwendung einer Bildverarbeitungsvorrichtung, der einen Teil der Bildaufnahmevorrichtung in 1 imitiert, eines Speichers, der das Bildverarbeitungsverfahren aufzeichnet, oder dergleichen ausgeführt werden. Die defekte Bildelementerfassungsverarbeitung wird bei dem ersten Ausführungsbeispiel unter Verwendung von zwei rekonstruierten Bildern mit unterschiedlichen Abbildungsentfernungen durchgeführt, kann aber mit einer größeren Anzahl rekonstruierter Bilder durchgeführt werden.
6 zeigt ein Ablaufdiagramm eines Verfahrens einer Anzeige eines neufokussierten/rekonstruierten Bildes in der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel. Gemäß dem ersten Ausführungsbeispiel kann ein rekonstruiertes Bild, in dem eine Verschlechterung der Bildqualität unterdrückt wird, die ein defektes Element begleitet, unter Verwendung von Adressdaten jedes defekten Elements effektiv erzeugt und angezeigt werden, die an ein aufgenommenes Bild angehängt und aufgezeichnet sind.
Zuerst wird die Hauptenergieversorgung mittels eines in 1 nicht gezeigten Schalters eingeschaltet, und dann wird die Energieversorgung der Systemsteuereinheit 15 eingeschaltet (Schritt S601). Der Benutzer wählt ein willkürliches aufgenommenes Bild mittels einer Bedieneinheit (nicht gezeigt) aus (Schritt S602). Zu dieser Zeit steuert die Systemsteuereinheit 15 die Anzeigeeinrichtung 14 zur Anzeige des provisorischen rekonstruierten Bildes eines aufgenommenen Bildes, das auf dem Aufzeichnungsmedium 12 aufgezeichnet ist. Somit kann der Benutzer das aufgenommene Bild auswählen.
Während des Betrachtens des angezeigten provisorischen rekonstruierten Bildes wählt der Benutzer ein beliebiges Objekt aus, an dem neu zu fokussieren ist, wodurch eine Abbildungsentfernung eingestellt wird (Schritt S603). Die Neufokussierrekonstruktionsverarbeitungseinheit 7 erzeugt ein rekonstruiertes Bild entsprechend der in Schritt S603 eingestellten Abbildungsentfernung (Schritt S604).
Die Signalverarbeitungseinheit 9 liest defekte Elementadressdaten aus, die an das aufgenommene Bild angehängt und im Aufzeichnungsmedium 12 aufgezeichnet sind (Schritt S605). Die Signalverarbeitungseinheit 9 wandelt die in Schritt S605 gelesene defekte Elementadresse in eine der Abbildungsentfernung in dem rekonstruierten Bild entsprechende Adresse um. Ferner führt die Signalverarbeitungseinheit 9 verschiedene Signalprozesse wie eine Korrekturverarbeitung an einer dem defekten Bildelement entsprechenden Bildelementadresse, Weißabgleichkorrektur und Gammakorrektur durch (Schritt S606).
Die Anzeigeschaltung 13 veranlasst die Anzeigeeinrichtung 14 zur Anzeige des rekonstruierten Bildes, das in Schritt S606 verschiedenen Signalprozessen unterzogen wurde (Schritt S607). Wenn der Benutzer die Abbildungsentfernung erneut ändert, kehrt der Prozess zu der Verarbeitung in Schritt S604 zur erneuten Erzeugung eines rekonstruierten Bildes und Durchführung einer Korrekturverarbeitung bei einem Bildelement hinsichtlich der defekten Elementadresse zurück (Schritt S608).
Gemäß dem ersten Ausführungsbeispiel kann selbst dann, wenn die Abbildungsentfernung geändert und ein rekonstruiertes Bild neu erzeugt wird, ein Korrekturzielbildelement effektiv durch Bezugnahme auf eine an ein aufgenommenes Bild angefügte defekte Elementadresse ausgewählt werden. Das rekonstruierte Bild, bei dem eine durch ein defektes Element verursachte Verschlechterung der Bildqualität unterdrückt wird, kann schnell angezeigt werden.
Als Ergebnis endet die Sequenz in 6 zur Durchführung einer Rekonstruktionsverarbeitung bei einem aufgenommenen Bild an einer durch den Benutzer ausgewählten beliebigen Abbildungsentfernung und Anzeige eines rekonstruierten Bildes, in dem ein Bildelement hinsichtlich eines defekten Elements korrigiert ist.
Die Verarbeitung in 6 wird gemäß vorstehender Beschreibung in der Bildaufnahmevorrichtung ausgeführt, jedoch ist das Ausführungsbeispiel der Erfindung nicht darauf beschränkt. Beispielsweise ist es auch möglich, an aufgenommene Bilddaten angefügte defekte Elementadressinformationen in eine allgemeine Bildverarbeitungsvorrichtung zu kopieren, und die Verarbeitung in 6 mit einem Computer entsprechend einem ein Bildverarbeitungsverfahren beschreibenden Programm auszuführen. Selbst in diesem Fall kann erfindungsgemäß ein hochqualitatives Bild effizient angezeigt werden, in dem ein defektes Bildelement korrigiert ist.
Bei dem Ausführungsbeispiel wird ein defektes Bildelement aus ein rekonstruiertes Bild nach einer Neufokussierrekonstruktionsverarbeitung bildenden Bildelementen erfasst und korrigiert. Somit können die Erfassungs- und Korrekturfunktionen selbst für einen Defekt wie RTS-Rauschen effektiv implementiert werden. Allerdings kann ein Punktdefekt, der weiß scheint und permanent an den Koordinaten eines fotoelektrischen Wandlerelements erzeugt wird, als Koordinaten des Halbleiterbildgebungssensors 3 gehandhabt werden. Wenn Koordinateninformationen des defekten Elements in einem Speicher wie dem ROM 17 aufgezeichnet werden, kann eine Interpolationsverarbeitung bei einem aufgenommenen Bild vor der Durchführung einer Neufokussierrekonstruktionsverarbeitung durchgeführt werden, die eine Neuanordnung, Neukonfiguration und Addition der Signale der fotoelektrischen Wandlerelemente voraussetzt. Als Interpolationsverarbeitungsverfahren kann beispielsweise eine Interpolation unter Verwendung der Signale der fotoelektrischen Wandlerelemente durchgeführt werden, die im selben Quadranten unter verschiedenen Mikrolinsen unter Berücksichtigung der Tatsache vorhanden sind, dass ein aufgenommenes Bild Lichtstrahlwinkelinformationen enthält.
(Zweites Ausführungsbeispiel)
Im zweiten Ausführungsbeispiel wird ein defekter Elementextraktionsfehler durch die Durchführung einer defekten Bildelementerfassungsverarbeitung bei einer größeren Anzahl rekonstruierter Bilder verringert.
Vor der Beschreibung des zweiten Ausführungsbeispiels wird zuerst beschrieben, dass ein defektes Element aus nur zwei rekonstruierten Bildern wie im ersten Ausführungsbeispiel nicht vollständig bestimmt werden kann, und ein defekter Elementextraktionsfehler auftreten kann.
7 zeigt eine Lichtstrahlansicht zur Beschreibung einer defekten Elementadressenextraktionsverarbeitung. Zur Vereinfachung der Beschreibung wird die defekte Elementadressenextraktionsverarbeitung mit dem Augenmerk auf in einer Richtung angeordnete Bildelemente, Mikrolinsenarrays 2 und fünf pro Mikrolinsenarrayeinheit 2 angeordnete Elemente beschrieben. In 7 sind Bildelemente 53 und 55 eines rekonstruierten Bildes 41 und Bildelemente 63 und 65 eines rekonstruierten Bildes 42 über die defekten Bildelementerfassungsschritte in Echtzeit S308 und S311 in 3 als defekte Bildelemente erfasste Bildelemente.
In diesem Fall werden gemäß der defekten Bildelementextraktionsverarbeitung des ersten Ausführungsbeispiels PD23a, PD23c, PD25c und PD25e als defekte Elemente extrahiert. Allerdings sind nicht alle PD23a, PD23c, PD25c und PD25e in einer Situation defekte Elemente, in der defekte Bildelemente erfasst werden, wie es in 7 gezeigt ist. Sind defekte Elemente beispielsweise nur die zwei fotoelektrischen Wandlerelemente PD23c und PD25c in 7, sollten die Bildelemente 63, 65, 53 und 55 als defekte Elemente unter der Annahme erfasst werden, dass ”ein Bildelement, das durch Addieren von zumindest das Signal eines defekten Elements enthaltenden Signalen erhalten wird, als defektes Bildelement erfasst wird”. Selbst wenn defekte Elemente beispielsweise nur die zwei fotoelektrischen Wanderelemente PD23c und PD25e in 7 sind, sollten die Bildelemente 63, 65, 53 und 55 als defekte Bildelemente erfasst werden.
Gemäß dem defekten Bildelementextraktionsverfahren des ersten Ausführungsbeispiels können als defekte Elemente extrahierte PD23c, PD23c, PD25c und PD25e fälschlicherweise in einer Situation extrahiert werden, in der defekte Bildelemente erfasst werden, wie es in 7 gezeigt ist.
Zur Lösung des vorstehend beschriebenen Problems wird bei dem zweiten Ausführungsbeispiel ein defekter Elementextraktionsfehler durch die Durchführung einer defekten Bildelementerfassungsverarbeitung unter Verwendung einer größeren Anzahl an rekonstruierten Bildern als im ersten Ausführungsbeispiel reduziert.
8 zeigt ein Ablaufdiagramm eines Verfahrens einer Steuerung einer Bildaufnahmevorrichtung gemäß dem zweiten Ausführungsbeispiel. Das zweite Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel in Schritten S815 und S816. In 8 sind Prozesse in Schritten S801 bis S813 dieselben wie jene in den Schritten S301 bis S313 der das erste Ausführungsbeispiel zeigenden 3, und ihre ausführliche Beschreibung wird nicht wiederholt.
Bei dem zweiten Ausführungsbeispiel wird bestimmt, ob es eine Wahrscheinlichkeit eines Extraktionsfehlers einer in der defekten Elementadressenextraktionsverarbeitung (Schritt S813) extrahierten defekten Elementadresse gibt (Schritt S815). Ist in Schritt S815 beispielsweise die Anzahl p_x-1 extrahierter defekter Elemente aus (x – 1) rekonstruierten Bildern bei einer defekten Elementadressenextraktion (Schritt S813) gleich der Anzahl p_x extrahierter defekter Elemente aus x rekonstruierten Bildern über eine Abbildungsentfernungsneueinstellung (Schritt S816) (d. h., p_x = p_x-1), kann eine defekte Elementadresse endgültig festgelegt werden. Allerdings sind mindestens x = 3 oder mehr rekonstruierte Bilder erforderlich.
Wurde in Schritt S815 keine defekte Elementadresse endgültig festgelegt (es gibt die Wahrscheinlichkeit eines Extraktionsfehlers), wird eine Abbildungsentfernung erneut neu eingestellt (Schritt S816) und ein neufokussiertes/rekonstruiertes Bild erzeugt.
Der defekte Elementadressenextraktionsschritt S813 gemäß dem zweiten Ausführungsbeispiel wird unter Bezugnahme auf 9 beschrieben. 9 ist eine Lichtstrahlansicht zur Beschreibung einer defekten Elementadressenextraktionsverarbeitung gemäß dem zweiten Ausführungsbeispiel. Für die Vereinfachung der Beschreibung wird die defekte Elementadressenextraktionsverarbeitung unter dem Augenmerk auf in einer Richtung angeordnete Bildelemente, die Mikrolinsenarrays 2 und fünf pro Mikrolinsenarrayeinheit 2 angeordnete Elemente beschrieben.
In 9 sind die Bildelemente 53 und 55 des rekonstruierten Bildes 41 und die Bildelemente 63 und 65 des rekonstruierten Bildes 42 über defekte Bildelementerfassungsschritte in Echtzeit S808 und S811 als defekte Bildelemente erfasste Bildelemente.
Selbst bei dem zweiten Ausführungsbeispiel wird wie im ersten Ausführungsbeispiel ein defektes Element zuerst unter Verwendung von aus den rekonstruierten Bildern 41 und 42 erfassten defekten Bildelementadressen extrahiert. Dabei ist p₂ = 4 defekte Elemente, d. h., PD23a, PD23c, PD25c und PD25e werden aus x = 2 rekonstruierten Bildern extrahiert, wie es unter Bezugnahme auf 7 beschrieben ist. Wie vorstehend beschrieben kann ein defektes Element anhand von nur x = 2 rekonstruierten Bildern nicht vollständig bestimmt werden, und es kann ein defektes Element fälschlicherweise extrahiert werden. Bei dem zweiten Ausführungsbeispiel wird in Schritt S815 bestimmt, dass eine defekte Elementadresse nicht endgültig festgelegt werden kann. Dann wird ein neues neufokussiertes/rekonstruiertes Bild 43 über eine Abbildungsentfernungsneueinstellung erzeugt (Schritt S816). Eine Neufokussierrekonstruktionsverarbeitungseinheit 7 stellt erneut eine neue Abbildungsentfernung ein, sodass ein in jedes Element eintretender Hauptlichtstrahl in ein Bild geformt wird.
In 9 stellen Bildelemente 71, 72, 73, 74, 75, 76 und 77 Bildelementeinheiten dar, die ein neufokussiertes/rekonstruiertes Bild 43 bilden. Die Bildelemente 73 und 75 des rekonstruierten Bildes 43 sind über eine defekte Bildelementerfassung in Echtzeit (Schritt S811) als defekte Bildelemente erfasste Bildelemente.
Wie es aus 9 ersichtlich ist, werden PD23c und PD25c durch die Verwendung der rekonstruierten Bilder 41, 42 und 43 als defekte Elemente extrahiert. Zu diesem Zeitpunkt werden p₃ = 2 defekte Element anhand von x = 3 rekonstruierten Bildern erfasst. Da p₃ ≠ p₂ ist, wird keine defekte Elementadresse endgültig festgelegt. Somit wird über eine Abbildungsentfernungsneueinstellung (Schritt S816) ein neues neufokussiertes/rekonstruiertes Bild 44 erzeugt.
In 9 stellen Bildelemente 81, 82, 83, 84, 85, 86 und 87 Bildelementeinheiten dar, die ein neufokussiertes/rekonstruiertes Bild 44 bilden. Die Bildelemente 83 und 85 des rekonstruierten Bildes 44 sind über die defekte Bildelementerfassung in Echtzeit (Schritt S811) als defekte Bildelemente erfasste Bildelemente.
In 9 werden PD23c und PD25c durch die Verwendung der rekonstruierten Bilder 41, 42, 43 und 44 als defekte Elemente extrahiert. Zu diesem Zeitpunkt werden p₄ = 2 defekte Elemente aus x = 4 rekonstruierten Bildern erfasst. Da p₄ = p₃ ist, werden die Adressen von PD23c und PD25c als defekte Elementadressen endgültig festgelegt.
Wird in Schritt S815 in 8 eine defekte Elementadresse endgültig festgelegt, werden Adressdaten jedes defekten Elements an das ursprüngliche aufgenommene Bild angefügt und auf einem Aufzeichnungsmedium 12 aufgezeichnet (Schritt S814). Danach endet die Sequenz in 8.
Wenn eine Rekonstruktionsverarbeitung bei einem aufgenommenen Bild an einer durch den Benutzer ausgewählten beliebigen Abbildungsentfernung durchgeführt wird, kann auch bei dem zweiten Ausführungsbeispiel ein rekonstruiertes Bild, bei dem eine ein defektes Element begleitende Verschlechterung der Bildqualität unterdrückt ist, effektiv erzeugt und angezeigt werden, indem die gleiche Verarbeitung wie in der das erste Ausführungsbeispiel zeigenden 6 durchgeführt wird. Ferner kann gemäß dem zweiten Ausführungsbeispiel selbst dann, wenn es die Wahrscheinlichkeit eines Extraktionsfehlers der Adresse eines extrahierten defekten Elements gibt, der Extraktionsfehler durch Neuerzeugung eines rekonstruierten Bildes verringert werden.
(Drittes Ausführungsbeispiel)
Das erste und das zweite Ausführungsbeispiel beschreiben die Tatsache, dass ein defektes Element aus einem Ergebnis einer defekten Bildelementerfassung in Echtzeit unter der Annahme logisch extrahiert werden kann, dass ”ein durch Addieren von Signalen erhaltenes Bildelement, die zumindest das Signal eines defekten Elements enthalten, als defektes Bildelemente erfasst wird”. Allerdings kann einfach berücksichtigt werden, dass ”ein durch Addieren von Signalen erhaltenes Bildelement, die das Signal eines defekten Elements enthalten, nicht immer als defektes Bildelemente erfasst wird” in der Praxis auf verschiedenen Faktoren beruht. Beispiele dieser Faktoren sind optisches Schrotrauschen, Leitungsrauschen eines Halbleiterbildgebungssensors, die Ausgangssignalintensität und Abbildungsentfernung eines defekten Elements und ein Erfassungsfehler und keine Erfassung bei der defekten Bildelementerfassung in Echtzeit.
Das dritte Ausführungsbeispiel beschreibt ein Verfahren einer geeigneten Extraktion eines defekten Elements aus einer Vielzahl rekonstruierter Bilder ohne Bestimmung eines defekten Elements durch eine defekte Bildelementerfassung in Echtzeit. Bei dem dritten Ausführungsbeispiel kann ein defektes Element geeigneter extrahiert werden, indem ein zur Erzeugung eines rekonstruierten Bildes verwendeter Gewichtungskoeffizient und der Signalpegel eines defekten Bildelements bei der Verarbeitung des Extrahierens einer defekten Elementadresse erhalten werden.
10 zeigt ein Ablaufdiagramm eines Verfahrens einer Steuerung einer Bildaufnahmevorrichtung gemäß dem dritten Ausführungsbeispiel. In 10 sind Prozesse in Schritten S1001 bis S1007 dieselben wie jene in den Schritten S301 bis S307 in 1 gemäß dem ersten Ausführungsbeispiel, und ihre ausführliche Beschreibung wird nicht wiederholt.
In den Schritten S1008 bis S1015 wird eine Verarbeitung einer Extraktion eines defekten Elements in einem aufgezeichneten aufgenommenen Bild und eine Aufzeichnung der Adresse des defekten Elements durchgeführt. Allerdings sind die Schritte S1008 bis S1015 eine Art Vorbereitungsverarbeitung zur effektiven Anzeige eines rekonstruierten Bildes, wenn der Benutzer ein rekonstruiertes Bild betrachtet, in dem eine ein defektes Element begleitende Verschlechterung der Bildqualität unterdrückt ist. Daher müssen die Prozesse in Schritt S1008 und den nachfolgenden Schritten nicht immer sofort nach dem Erhalt eines aufgenommenen Bildes wie im ersten Ausführungsbeispiel durchgeführt werden. Die Prozesse in Schritt S1008 und den nachfolgenden Schritten können durch einen Computer oder dergleichen unter Verwendung einer Bildverarbeitungsvorrichtung, die einen Teil der Bildaufnahmevorrichtung in 1 imitiert, eines Speichers, auf dem das Bildverarbeitungsverfahren aufgezeichnet ist, oder dergleichen ausgeführt werden.
Die Prozesse in Schritt S1008 und den nachfolgenden Schritten in 10 werden beschrieben. In der folgenden Beschreibung werden diese Prozesse unter dem Augenmerk auf in einer Richtung angeordnete Bildelemente, Mikrolinsenarrays 2 und fünf pro Mikrolinsenarrayeinheit 2 angeordnete Elemente zur Vereinfachung der Beschreibung erläutert.
Eine Neufokussierrekonstruktionsverarbeitungseinheit 7 stellt eine Abbildungsentfernung r = r0 für ein auf einem Aufzeichnungsmedium 12 aufgezeichnetes aufgenommenes Bild ein (Schritt S1008), erzeugt ein rekonstruiertes Bild durch eine Neufokussierrekonstruktionsverarbeitung und zeichnet es auf einem Bildspeicher 10 auf (Schritt S1009).
Danach berechnet eine defekte Bildelementerfassungseinheit 8 einen defekten Bildelementsignalpegel S_RT für jedes Bildelement aus dem im Bildspeicher 10 aufgezeichneten rekonstruierten Bild (Schritt S1010). Bei dem ersten oder zweiten Ausführungsbeispiel erfasst die defekte Bildelementerfassungseinheit 8 für ein interessierendes Bildelement in einem rekonstruiertem Bild eine defekte Bildelementadresse gemäß dem Verfahren der Extraktion eines Bildelements mit einem großen Pegelunterschied vom Mittel- oder Medianwert umgebener Bildelemente derselben Farbe als Defekt, d. h., eines einen Schwellenwert überschreitenden Bildelements. Bei dem dritten Ausführungsbeispiel weist die defekte Bildelementerfassungseinheit 8 allerdings ein Merkmal auf, bei dem der Unterschied zwischen einem Signalpegel S(m) des m-ten Bildelements eines rekonstruierten Bildes und einem Durchschnittssignalpegel S_area(m) umgebender Bildelemente (von Umgebungsbildelementen) derselben Farbe als defekter Bildelementsignalpegel S_RT(m) für jedes Bildelement erhalten wird: S_RT(m) = S_area(m) – S(m) (11)
In diesem Fall wird der defekte Bildelementsignalpegel S_RT(m), der für jedes Bildelement in einem rekonstruierten Bild mit der Abbildungsentfernung r erhalten wird, durch S_RT,r dargestellt:
Dann zeichnet die defekte Bildelementerfassungseinheit 8 den berechneten S_RT,r in einem flüchtigen Speicher 16 auf (Schritt S1011).
Die Anzahl x rekonstruierter Bilder, für die der defekte Bildelementsignalpegel berechnet und aufgezeichnet wurde, wird überprüft. Ist x < 5, kehrt der Prozess zu Schritt S1008 zum Wiederholen der Prozesse in den Schritten S1008 bis S1011 zurück.
Bei jeder Wiederholung der Prozesse stellt die Neufokussierrekonstruktionsverarbeitungseinheit 7 erneut eine andere Abbildungsentfernung r ein (Schritt S1008). Die Neufokussierrekonstruktionsverarbeitungseinheit 7 wählt eine andere Abbildungsentfernung (beispielsweise eine Abbildungsentfernung r1 oder r2 in 4) derart aus, dass ein in jedes Element eintretender Hauptlichtstrahl in ein Bild gebildet wird. Bei dem dritten Ausführungsbeispiel werden r = r0, r1, r2, r3, r4 als Abbildungsentfernung r eingestellt, und die neufokussierten/rekonstruierten Bilder werden erzeugt (Schritt 1009).
Durch fünfmaliges Wiederholen der Schritte S1008 bis S1012 werden S_RT,r0, S_RT,r1, S_RT,r2, S_RT,r3, und S_RT,r4 entsprechend r = r0, r1, r2, r3, r4 im flüchtigen Speicher 16 aufgezeichnet (Schritt S1011).
Wird die Anzahl x rekonstruierter Bilder, für die der defekte Bildelementsignalpegel berechnet und aufgezeichnet wurde, x = 5, wird ein defekter Elementsignalpegel k berechnet (Schritt S1013). Ein Verfahren der Berechnung des defekten Elementsignalpegels k für jedes Element wird unter Bezugnahme auf die Gleichungen (13) bis (23) beschrieben. Hier sind die jeweiligen Matrizen in Gleichung (2), die eine allgemeine Formel einer Neufokussierrekonstruktionsverarbeitungsberechnung an der Abbildungsentfernung r ausdrücken, wie folgt gegeben:

wobei wie im ersten Ausführungsbeispiel beschrieben S(m) der Signalwert des m-ten Bildelements eines rekonstruierten Bildes ist, pd_a(n) bis pd_e(n) die S(m) bildenden Signalwerte fotoelektrischer Wandlerelemente unter der n-ten Mikrolinse und w_m,a(n) bis w_m,e(n) die Gewichtungskoeffizienten sind, durch die die S(m) bildenden Signalwerte pd_a(n) bis pd_e(n) der fotoelektrischen Wandlerelemente, die der n-ten Mikrolinse entsprechen, mit einer gegebenen Abbildungsentfernung r multipliziert werden.
Der defekte Elementsignalpegel k für jedes Element wird unter Verwendung von in dem flüchtigen Speicher 16 aufgezeichneten S_RT,r0, S_RT,r1, S_RT,r2, S_RT,r3 und S_RT,r4 und (W_r0 + W_r1 + W_r2 + W_r3 + W_r4)^–1 berechnet:
Ist die zur Berechnung eines defekten Bildelementsignalpegels verwendete Abbildungsentfernung r = r0, r1, r2, r3, r4 bestimmt, kann (W_r0 + W_r1 + W_r2 + W_r3 + W_r4)^–1 vorab unter Verwendung von W_r0, W_r1, W_r2, W_r3 und W_r4 berechnet und in einem nicht flüchtigen Speicher 17 oder dergleichen aufgezeichnet werden.
Unter Verwendung der Gleichungen (13) bis (15) ist die Neufokussierrekonstruktionsverarbeitungsberechnung an der Abbildungsentfernung r = r0, r1, r2, r3, r4 wie folgt gegeben: S_r0 = W_r0·PD (17) S_r1 = W_r1·PD (18) S_r2 = W_r2·PD (19) S_r3 = W_r3·PD (20) S_r4 = W_r4·PD (21)
Aus den Gleichungen (17) bis (21) wird Gleichung (22) beruhend auf dem Partitionsgesetzt hergeleitet: S_r0 + S_r1 + S_r2 + S_r3 + S_r4 = (W_r0 + W_r1 + W_r2 + W_r3 + W_r4)·PD (22)
Aus Gleichung (22) erfüllt die inverse Matrix (W_r0 + W_r1 + W_r2 + W_r3 + W_r4)^–1 von (W_r0 + W_r1 + W_r2 + W_r3 + W_r4) Gleichung (23): PD = (W_r0 + W_r1 + W_r2 + W_r3 + W_r4)^–1.(S_r0 + S_r1 + S_r2 + S_r3 + S_r4) (23)
Gleichung (23) gibt an, dass bei Addition aller an der Abbildungsentfernung r = r0, r1, r2, r3, r4 rekonstruierten Bilder und Multiplikation ihrer Summe mit (W_r0 + W_r1 + W_r2 + W_r3 + W_r4)^–1 der Wert in den Signalwert jedes fotoelektrischen Wandlerelements in dem ursprünglichen aufgenommenen Bild invers transformiert wird. Das heißt, Gleichung (16) gibt an, dass ein Signalwert, der durch Addieren aller defekten Bildelementsignalpegel S_RT(m) für jedes Bildelement, die aus an der Abbildungsentfernung r = r0, r1, r2, r3, r4 rekonstruierten Bildern erhalten werden, und Multiplizieren der Summe mit (W_r0 + W_r1 + W_r2 + W_r3 + W_r4)^–1 invers transformiert wird, als der defekte Elementsignalpegel k für jedes Element erhalten wird. Vorstehend ist der defekte Elementsignalpegel k beschrieben.
Bei dem dritten Ausführungsbeispiel wird ein fotoelektrisches Wandlerelement, bei dem der defekte Elementbestimmungswert k einen Schwellenwert Th überschreitet, als defektes Element extrahiert (Schritt S1014). Der Schwellenwert Th wird experimentell erhalten. Schließlich fügt eine Signalverarbeitungseinheit 9 Adressdaten des in Schritt S1014 extrahierten defekten Elements an das ursprüngliche aufgenommene Bild an und zeichnet es auf dem Aufzeichnungsmedium 12 auf.
Bei der Durchführung einer Rekonstruktionsverarbeitung bei einem aufgenommenen Bild an einer durch den Benutzer ausgewählten beliebigen Abbildungsentfernung kann selbst bei dem dritten Ausführungsbeispiel ein rekonstruiertes Bild, bei dem eine ein defektes Element begleitende Verschlechterung der Bildqualität unterdrückt ist, durch die Durchführung der gleichen Verarbeitung wie in 6 gemäß dem ersten Ausführungsbeispiel effektiv erzeugt und angezeigt werden.
Bei der Beschreibung des dritten Ausführungsbeispiels ist die Anzahl rekonstruierter Bilder zur Berechnung des defektes Bildelementsignalpegels S_RT,r x = 5. Der Grund dafür ist, dass zur Erleichterung der Beschreibung bei dem Ausführungsbeispiel fünf Elemente pro Mikrolinsenarrayeinheit 2 angeordnet sind. In der Praxis ist die Anzahl x rekonstruierter Bilder in Abhängigkeit von der Anzahl von pro Mikrolinsenarrayeinheit 2 angeordneten Elementen geeignet eingestellt.
Beträgt die Anzahl von pro Mikrolinsenarrayeinheit 2 angeordneten Elementen x0, wird das Ausführungsbeispiel mit zumindest x = x0 konfiguriert, solange die Neufokussierrekonstruktionsverarbeitungseinheit 7 ein rekonstruiertes Bild an jeder verschiedenen Abbildungsentfernung (beispielsweise der Abbildungsentfernung r1 oder r2 in 4) erzeugt, sodass ein in jedes Element eintretender Hauptlichtstrahl in ein Bild gebildet wird. Das heißt, wenn die Anzahl von pro Mikrolinsenarrayeinheit 2 angeordneten Elementen x0 ist, existiert zumindest die inverse Matrix (W_r0 + W_r1 + W_r2 + ... + W_rx0)^–1 von (W_r0 + W_r1 + W_r2 + ... + W_rx0) für die verschiedenen Abbildungsentfernungen r = r0, r1, r2, ..., rx0, die eingestellt sind, sodass ein in jedes Element eintretender Hauptlichtstrahl in ein Bild geformt wird.
Bei dem dritten Ausführungsbeispiel wird wie bei dem ersten und dem zweiten Ausführungsbeispiel ein defektes Element unter Verwendung einer Vielzahl rekonstruierter Bilder extrahiert. Eine bei einem rekonstruierten Bild durchgeführte defekte Bildelementerfassung in Echtzeit, die im ersten oder zweiten Ausführungsbeispiel vorgeschlagen wird, ist eine Verarbeitung des Vergleichs des Signalpegels eines interessierenden Bildelements in einem rekonstruierten Bild mit dem Durchschnittssignalpegel umgebender Bildelemente und einer Bestimmung, ob das interessierende Bildelement ein defektes Bildelement oder ein nicht defektes Bildelement ist. Bei dem ersten oder zweiten Ausführungsbeispiel wird ein defektes Bildelement beruhend auf einem Schwellenwert unter Verwendung des defekten Bildelementsignalpegels S_RT(m) beim dritten Ausführungsbeispiel bestimmt.
Dagegen werden bei dem dritten Ausführungsbeispiel die Unterschiede zwischen dem Signalpegel interessierender Bildelemente in einer Vielzahl rekonstruierter Bilder und dem Durchschnittssignalpegel umgebender Bildelemente als Werte ohne Änderung beibehalten, und zum Extrahieren eines defekten Elements verwendet.
Bei dem dritten Ausführungsbeispiel wird durch die defekte Bildelementerfassung in Echtzeit kein defektes Bildelement in einer Vielzahl rekonstruierter Bilder bestimmt. Daher kann selbst dann ein defektes Element geeignet extrahiert werden, wenn ”ein durch Addition von Signalen erhaltenes Bildelement, die das Signal eines defekten Elements enthalten, nicht immer als defektes Bildelement erfasst wird”, was in der Praxis auf verschiedenen Faktoren beruht, wie optischem Schrotrauschen, Leitungsrauschen eines Halbleiterbildgebungssensors, der Ausgangssignalintensität und Abbildungsentfernung eines defekten Elements und einem Erfassungsfehler und Nichterfassung bei der defekten Bildelementerfassung in Echtzeit.
Erfindungsgemäß kann eine Bildverarbeitungsvorrichtung bereitgestellt werden, die ein neufokussiertes/rekonstruiertes Bild effizient erhalten kann, bei dem eine ein defektes Element begleitende Verschlechterung der Bildqualität unterdrückt ist.
Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentansprüche soll die breiteste Interpretation zum Umfassen aller Modifikationen und äquivalenten Strukturen und Funktionen zukommen.
Eine Bildverarbeitungsvorrichtung, die ein aufgenommenes Bild mit Winkelinformationen eines von dem Objekt kommenden Lichtstrahls verarbeitet, umfasst eine Erzeugungseinrichtung zur Erzeugung eines rekonstruierten Bildes durch Rekonstruieren des aufgenommenen Bildes, eine Extraktionseinrichtung zum Extrahieren einer Adresse eines defekten fotoelektrischen Wandlerelements, das in fotoelektrischen Wandlerelementen enthalten ist, die das aufgenommene Bild aufnehmen, beruhend auf einer Vielzahl rekonstruierter Bilder, die verschiedenen Abbildungsentfernungen entsprechen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2005-286825 [0007, 0008, 0008, 0057]

Zitierte Nicht-Patentliteratur

Ren. Ng, et al., ”Light Field Photography with a Hand-Held Plenoptic Camera”, Stanford Tech Report CTSR 2005-02 [0004]

Claims

Bildverarbeitungsvorrichtung, die ein aufgenommenes Bild mit Winkelinformationen eines von dem Objekt kommenden Lichtstrahls verarbeitet, mit einer Erzeugungseinrichtung zur Erzeugung eines rekonstruierten Bildes durch Rekonstruieren des aufgenommenen Bildes, einer Extraktionseinrichtung zum Extrahieren einer Adresse eines defekten fotoelektrischen Wandlerelements, das in fotoelektrischen Wandlerelementen enthalten ist, die das aufgenommene Bild aufgenommen haben, beruhend auf einer Vielzahl von verschiedenen Abbildungsentfernungen entsprechenden rekonstruierten Bildern.
Vorrichtung nach Anspruch 1, ferner mit einer Erfassungseinrichtung zur Erfassung eines defekten Bildelements in der Vielzahl rekonstruierter Bilder, wobei die Extraktionseinrichtung die Adresse des defekten fotoelektrischen Wandlerelements beruhend auf dem defekten Bildelement extrahiert.
Vorrichtung nach Anspruch 2, wobei die Erfassungseinrichtung das defekte Bildelement durch Vergleichen eines Signals eines Zielbildelements in dem rekonstruierten Bild mit Signalen einer Vielzahl von Bildelementen in der Umgebung des Zielbildelements erfasst.
Vorrichtung nach Anspruch 2, wobei die Extraktionseinrichtung Kandidaten des defekten fotoelektrischen Wandlerelements beruhend auf der Adresse des defekten Bildelements in dem rekonstruierten Bild und einem bei dem rekonstruierten Bild angewandten Rekonstruktionsprozess extrahiert, und das defekte fotoelektrische Wandlerelement beruhend auf einer Vielzahl von Kandidaten des defekten fotoelektrischen Wandlerelements in jedem der Vielzahl der den verschiedenen Abbildungsentfernungen entsprechenden rekonstruierten Bildern bestimmt.
Vorrichtung nach Anspruch 1, ferner mit einer Korrektureinrichtung zur Korrektur des defekten Bildelements in dem durch die Erzeugungseinrichtung erzeugten rekonstruierten Bild beruhend auf Informationen der Adresse des defekten fotoelektrischen Wandlerelements.
Vorrichtung nach Anspruch 1, ferner mit einer Aufzeichnungseinrichtung zur Aufzeichnung der Adresse des defekten fotoelektrischen Wandlerelements zusammen mit dem aufgenommenen Bild.
Vorrichtung nach Anspruch 1, wobei die Erzeugungseinrichtung das rekonstruierte Bild durch Umordnen und Addieren jedes Signals des aufgenommenen Bildes entsprechend der Abbildungsentfernung erzeugt.
Verfahren zur Steuerung einer Bildverarbeitungsvorrichtung, die ein aufgenommenes Bild mit Winkelinformationen eines von dem Objekt kommenden Lichtstrahls verarbeitet, mit einem Erzeugungsschritt eines Erzeugens eines rekonstruierten Bildes durch Rekonstruieren des aufgenommenen Bildes, einem Extraktionsschritt eines Extrahierens einer Adresse eines defekten fotoelektrischen Wandlerelements, das in fotoelektrischen Wandlerelementen enthalten ist, die das aufgenommene Bild aufgenommen haben, beruhend auf einer Vielzahl verschiedenen Abbildungsentfernungen entsprechenden rekonstruierten Bildern.