DE102015102772B4

DE102015102772B4 - Bildverarbeitungsvorrichtung und Verfahren für deren Steuerung

Info

Publication number: DE102015102772B4
Application number: DE102015102772.0A
Authority: DE
Inventors: c/o CANON KABUSHIKI KAISHA; 30-2 Furuya Kohei
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-27
Filing date: 2015-02-26
Publication date: 2021-12-23
Anticipated expiration: 2035-02-27
Also published as: JP6045523B2; GB201502238D0; KR101783229B1; BR102015004240A2; JP2015162816A; DE102015102772A1; US9693000B2; GB2524644B; KR20150101952A; RU2603357C2; CN104883519B; RU2015106670A; CN104883519A; GB2524644A; US20150244956A1

Abstract

Bildverarbeitungsvorrichtung mit:einer Erhalteeinrichtung (103) zum Erhalten eines Bildes von einem Bildsensor (102), der ein defektes Bildelement aufweist,einer ersten Einstelleinrichtung (103) zum Einstellen eines ersten Bereichs des Bildes beruhend auf einer Position eines Korrekturzielbildelements, wobei das Korrekturzielbildelement in dem Bild dem defekten Bildelement des Bildsensors entspricht, wobei der erste Bereich eine Vielzahl von Bildelementen auf einer interessierenden Zeile enthält, die derart eingestellt ist, dass sie durch das Korrekturzielbildelement läuft,einer zweiten Einstelleinrichtung (103) zum Einstellen einer Vielzahl zweiter Bereiche des Bildes, wobei jeder zweite Bereich auf Positionen einer Vielzahl von Bildelementen beruht, die auf zumindest einer Referenzzeile vorhanden sind, die derart eingestellt ist, dass sie nicht durch das Korrekturzielbildelement läuft,einer Korrelationsberechnungseinrichtung (103) zur Berechnung von Korrelationsgrößen zwischen den jeweiligen zweiten Bereichen und dem ersten Bereich undeiner Korrektureinrichtung (103) zur Berechnung eines Korrekturwerts zur Korrektur eines Werts des defekten Bildelements unter Verwendung eines Werts eines Bildelements auf jeder der zumindest einen Referenzzeile, wobei der Wert beruhend auf den Korrelationsgrößen bestimmt wird, und zum Korrigieren des Werts des defekten Bildelements unter Verwendung des Korrekturwerts.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung und ein Verfahren zur Steuerung der Bildverarbeitungsvorrichtung, und insbesondere auf eine Technik zum Korrigieren eines defekten Bildelements.
Beschreibung der verwandten Technik
Eine Bildaufnahmevorrichtung, wie eine Digitalkamera, nimmt ein Bild unter Verwendung eines Bildsensors, wie eines CMOS-Sensors, auf. Im Allgemeinen existiert ein defektes Bildelement in dem Bildsensor, da eine große Anzahl von Bildelementen vorgesehen ist. Als eine Technik zum Korrigieren des Werts eines derartigen defekten Bildelements ist ein Verfahren bekannt, das einen Bildelementwert, der aus einem oder mehreren Werten eines oder mehrerer nicht defekter Bildelemente geschätzt wird, die an der Peripherie des defekten Bildelements vorhanden sind, als den Bildelementwert an einer defekten Bildelementposition verwendet. In diesen Anmeldeunterlagen wird nachstehend der Erhalt eines Bildelementwerts an der defekten Bildelementposition, der erhalten worden wäre, wenn das Bildelement nicht defekt wäre, als defekte Bildelementkorrektur bezeichnet.
Beispielsweise offenbart die japanische Patentoffenlegungsschrift JP H11- 220 661 A ein Verfahren, bei dem auf Werte peripherer Bildelemente derselben Farbe wie der des defekten Bildelements Bezug genommen wird, die Form eines Subjekts nahe dem defekten Bildelement in ein vorbestimmtes Muster klassifiziert wird, und das defekte Bildelement unter Verwendung peripherer Bildelemente und eines Verfahrens korrigiert wird, das dem klassifizierten Muster entspricht. Die japanische Patentoffenlegungsschrift JP 2005 - 175 547 A offenbart ein Verfahren, das, wenn die Ortsfrequenz eines Subjekts nahe einem defekten Bildelement hoch ist, angrenzende Bildelemente zur Erfassung einer Referenzrichtung eines bei der Korrektur des defekten Bildelements zu verwendenden Bildelements verwendet, wodurch eine genauere Interpolation als in dem Fall realisiert wird, in dem Bildelemente derselben Farbe wie der des defekten Bildelements verwendet werden.
Bei den herkömmlichen in den vorstehend angeführten Patentschriften offenbarten Verfahren kann ein defektes Bildelement für ein Subjekt mit einem vorbestimmten spezifischen Winkel genau korrigiert werden, allerdings gibt es Fälle, in denen eine fehlerhafte Korrektur im Fall eines Subjekts mit einem anderen Winkel auftritt. Beispielsweise wird der Fall betrachtet, in dem ein Subjekt einen Winkel (hier ungefähr 27°) aufweist, der nahe an der Horizontalen ist, wie es in 13A gezeigt ist. In 13A ist ein Referenzbereich von bei einer Korrektur eines defekten Bildelements gemäß den herkömmlichen Verfahren verwendeten Bildelementen durch einen dicken Rahmen angegeben. Unter der Annahme, dass ein Bildelementwert an der defekten Bildelementposition der in 13B gezeigte Wert (0) ist, kann das defekte Bildelement mit dem Wert (30 oder 40) eines Bildelements derselben Farbe wie der des defekten Bildelements in dem Referenzbereich nicht geeignet korrigiert werden.
Es ist wahrscheinlicher, dass ein für die Korrektur des defekten Bildelements geeigneter Bildelementwert innerhalb des Referenzbereichs durch Erweitern des Referenzbereichs gefunden wird. Sehen aber Bildelemente eines Subjekts mit einem in 13C gezeigten Wiederholungsmuster beispielsweise wie in 13D gezeigt aus, gibt es aufgrund des defekten Bildelements Fälle, in denen der Winkel des Subjekts beruhend auf einer Differenz zwischen zwei Punkten nicht korrekt erfasst werden kann.
In WO 2010 / 067 693 A1 ist ein Verfahren zum Korrigieren eines Werts eines defekten Bildelements einer Kamera und eines Werts eines ersten Brennpunkterfassungsbildelements oder eines zweiten Brennpunkterfassungsbildelements, das mit dem defekten Bildelement ein Bildelementpaar zur Brennpunkterfassung bildet, beruhend auf einem Wert eines Brennpunkterfassungsbildelements vom selben Typ beschrieben, bei dem es sich nicht um das defekte Bildelement handelt.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung stellt eine Bildverarbeitungsvorrichtung und ein Verfahren zur Steuerung der Bildverarbeitungsvorrichtung bereit, die eine geeignete Korrektur eines defekten Bildelements realisieren, selbst wenn ein das defekte Bildelement enthaltendes Subjekt keinen bestimmten Winkel hat.
Gemäß Ausgestaltungen der Erfindung sind eine Bildverarbeitungsvorrichtung und ein Verfahren zur Steuerung der Bildverarbeitungsvorrichtung bereitgestellt, die in den Patentansprüchen spezifiziert sind.
Weitere Merkmale der Erfindung werden aus der folgenden Beschreibung der Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
Figurenliste

Die 1A und 1B zeigen Blockschaltbilder einer Bildaufnahmevorrichtung und einer Informationsverarbeitungsvorrichtung gemäß Ausführungsbeispielen der Erfindung.
2 zeigt eine Darstellung eines Beispielbildelementarrays in einem Bildsensor gemäß den Ausführungsbeispielen.
3 zeigt ein Ablaufdiagramm einer defekten Bildelementkorrekturverarbeitung gemäß einem ersten Ausführungsbeispiel.
4 zeigt eine schematische Darstellung einer Korrelationsgrößenberechnungsverarbeitung gemäß dem ersten Ausführungsbeispiel.
Die 5A bis 5C zeigen bestimmte Beispiele der Korrelationsgrößenberechnungsverarbeitung gemäß den Ausführungsbeispielen.
6 zeigt eine schematische Darstellung einer Einstellung einer Referenzzeile gemäß einem zweiten Ausführungsbeispiel.
7 zeigt schematische Darstellungen zur Veranschaulichung eines dritten Ausführungsbeispiels.
Die 8A und 8B zeigen schematische Darstellungen zur Veranschaulichung eines vierten Ausführungsbeispiels.
9 zeigt eine schematische Darstellung des Umrisses einer defekten Bildelementkorrektur gemäß dem vierten Ausführungsbeispiel.
10 zeigt ein Ablaufdiagramm einer defekten Bildelementkorrekturverarbeitung gemäß dem vierten Ausführungsbeispiel.
Die 11A bis 11D zeigen Darstellungen eines Beispielverfahrens zum Kombinieren von Korrekturwerten gemäß dem vierten Ausführungsbeispiel.
Die 12A und 12B zeigen Darstellungen zur Veranschaulichung des Verfahrens zum Kombinieren von Korrekturwerten gemäß dem vierten Ausführungsbeispiel.
Die 13A bis 13D zeigen Darstellungen eines Beispiels eines Subjektzustands, der mit herkömmlichen Verfahren schwer zu handhaben ist.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachstehend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben. Jedes nachstehend beschriebene Ausführungsbeispiel der Erfindung kann allein oder als Kombination einer Vielzahl der Ausführungsbeispiele oder ihrer Merkmale bei Bedarf oder dann kombiniert werden, wenn die Kombination von Elementen oder Merkmalen aus einzelnen Ausführungsbeispielen in ein einziges Ausführungsbeispiel von Vorteil ist.
Es wird angemerkt, dass, obwohl die folgenden Ausführungsbeispiele Beispiele beschreiben, in denen die Erfindung bei einer Bildaufnahmevorrichtung angewendet werden, für eine Bildaufnahmevorrichtung einzigartige Konfigurationen, wie Funktionen hinsichtlich des Fotografierens und Aufzeichnens eines fotografierten Bildes, für die erfindungsgemäße Bildverarbeitungsvorrichtung nicht wesentlich sind. Die Erfindung kann in einer beliebigen elektronischen Einrichtung implementiert sein, die durch Fotografieren erhaltene Bilddaten und Informationen hinsichtlich eines defekten Bildelements in einem bei diesem Fotografieren verwendeten Bildsensor erhalten kann. Eine „Bildaufnahmevorrichtung“ ist nicht auf eine Vorrichtung beschränkt, deren Hauptfunktion das Fotografieren ist, wie eine Digitalkamera, und umfasst eine beliebige elektronische Einrichtung mit einer Fotografierfunktion.
Erstes Ausführungsbeispiel
1A zeigt ein Blockschaltbild eines Beispielfunktionsaufbaus einer Bildaufnahmevorrichtung (oder Bildverarbeitungsvorrichtung) 100, die eine Beispielbildverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung darstellt.
Die Bildaufnahmevorrichtung 100 ist eine Vorrichtung, wie eine Digitalkamera oder digitale Videokamera, die ein Subjekt fotografiert und ein Bild des Subjekts darstellende Daten (Bilddaten) erhält. Ein optisches System 101 weist ein Objektiv, einen Verschluss und eine Blende auf, und erzeugt ein optisches Bild des Subjekts auf einem Bildsensor 102 unter der Steuerung einer CPU 103. Der Bildsensor 102, der ein CCD- oder CMOS-Bildsensor sein kann, führt eine fotoelektrische Wandlung bei dem erzeugten optischen Bild des Subjekts an jedem Bildelement durch und wandelt es in ein analoges Bildsignal um. Die CPU 103 wandelt das analoge Bildsignal in eine digitales Bildsignal (Bilddaten) um, und wendet eine sogenannte Entwicklungsverarbeitung darauf an, wie eine Weißabgleichanpassung und Farbinterpolationsverarbeitung, sowie eine Kodierverarbeitung. Die CPU 103 realisiert verschiedene Funktionen der Bildaufnahmevorrichtung 100 durch Ausführung von Programmen und Steuerung des jeweiligen Funktionsblocks. Es wird angemerkt, dass zumindest einige Funktionen, die als als Software durch die CPU 103 realisierte Funktionen beschrieben sind, durch Hardware (d.h. diskrete Schaltungen, einen ASIC, programmierbare logische Einrichtungen, usw.) realisiert sein können.
Eine Primärspeichereinrichtung 104 ist beispielsweise eine flüchtige Speichereinrichtung, wie ein RAM, und wird als temporärer Datenspeicherbereich, wie ein Arbeitsbereich für die CPU 103 verwendet. Eine Sekundärspeichereinrichtung 105 ist beispielsweise eine nicht flüchtige Speichereinrichtung, wie ein EEPROM, und speichert Programme (Firmware) zur Steuerung der Bildaufnahmevorrichtung 100, durch die CPU 103 ausgeführte Programme, verschiedene Einstellungsinformationen und dergleichen.
Beispielsweise speichert ein Speichermedium 106, das eine Halbleiterspeicherkarte darstellt, die durch das Fotografieren erhaltenen Bilddaten als Datendatei in einem vorbestimmten Format. Das Speichermedium 106 kann aus der Bildaufnahmevorrichtung 100 entfernt werden, und kann auch bei anderen Einrichtungen mit einer Funktion eines Zugriffs auf das Speichermedium 106, wie beispielsweise einem Personalcomputer verwendet werden. Das heißt, die Bildaufnahmevorrichtung 100 braucht lediglich eine Funktion des Zugreifens auf das Speichermedium 106 und die Fähigkeit zum Lesen und Schreiben von Daten aus dem/in das Speichermedium 106.
Eine Anzeigeeinheit 107 wird beispielsweise zur Anzeige eines Sucherbildes zum Zeitpunkt des Fotografierens, Anzeige eines aufgenommenen Bildes oder eines aus dem Speichermedium 106 gelesenen Bildes und Anzeige einer Benutzerschnittstelle für eine interaktive Operationen verwendet. Eine Bedieneinheit 108 weist beispielsweise Eingabeeinrichtungen, wie eine Taste, einen Schalter, einen Hebel und ein Berührfeld auf, und ermöglicht es dem Benutzer, verschiedene Anweisungen in die Bildaufnahmevorrichtung 100 einzugeben und deren Einstellungen zu konfigurieren. Es wird angemerkt, dass auch eine Konfiguration, die ein Eingabeverfahren realisiert, das keine physikalische Operation erfordert, wie eine Spracheingabe oder Blickeingabe, in der Bedieneinheit 108 enthalten ist.
Eine Kommunikationsvorrichtung 109 ermöglicht der Bildaufnahmevorrichtung 100 das Senden und Empfangen von Steuerbefehlen und Daten zu/von einer externen Einrichtung. Das für eine Kommunikation mit einer externen Einrichtung zu verwendende Protokoll ist nicht besonders eingeschränkt, und kann beispielsweise PTP (Picture Transfer Protocol) sein. Es wird angemerkt, dass die Kommunikationsvorrichtung 109 beispielsweise mit einer externen Einrichtung mittels einer drahtgebundenen Verbindung unter Verwendung eines USB (Universal Serial Bus) -Kabels oder dergleichen kommunizieren kann, oder mittels einer drahtlosen Verbindung mit einer externen Einrichtung unter Verwendung eines Funk-LAN oder dergleichen kommunizieren kann. Die Kommunikationsvorrichtung 109 kann direkt mit einer externen Einrichtung verbunden sein, oder kann über einen Server oder ein Netzwerk, wie das Internet verbunden sein.
In 2 zeigt der Abschnitt 2a ein Beispielbildelementarray in dem Bildsensor 102 gemäß diesem Ausführungsbeispiel. Der Bildsensor 102 weist ein Farbfilter mit einem Primärfarben-Bayer-Array auf. Insbesondere weist er ein Array mit einer Wiederholeinheit auf, die durch vier Bildelemente gebildet ist, die zwei horizontale Bildelemente mal zwei vertikale Bildelemente darstellen. In der Wiederholeinheit ist das obere linke Bildelement ein rotes (R) Bildelement, das obere rechte und das untere linke Bildelement sind grüne (G) Bildelemente, und das untere rechte Bildelement ist ein blaues (B) Bildelement. Obwohl der Abschnitt 2a Bildelemente in einem sehr kleinen Abschnitt mit einem defekten Bildelement in der Mitte zeigt, weist der andere Abschnitt dasselbe Array auf. Es wird angemerkt, dass obwohl der Bildsensor das „defekte Bildelement“ aufweist, Bildelemente in dem Bildsensor und Bildelemente eines durch Fotografieren erhaltenen Bildes ein Übereinstimmungsverhältnis aufweisen, und demnach das Bildelement in einem Bild, das dem defekten Bildelement entspricht, in der folgenden Beschreibung auch „defektes Bildelement“ genannt wird. Ferner kann ein defektes Bildelement als Korrekturzielbildelement bezeichnet sein.
Als Nächstes wird der Umriss eines defekten Bildelementkorrekturvorgangs gemäß diesem Ausführungsbeispiel beschrieben. Hier wird angenommen, dass ein R-Bildelement ein defektes Bildelement ist, wie es im Abschnitt 2a von 2 gezeigt ist. Wird ein in Abschnitt 2a gezeigtes Bild erhalten, wird zuerst eine Vielzahl von Bildelementen, die das defekte Bildelement enthalten, das ein Korrekturziel wird, und eine Eigenschaft einer Zeile (interessierende Zeile) darstellen, die durch das defekte Bildelement läuft, aus dieser Zeile extrahiert, und eine in Abschnitt 2b gezeigte charakteristische Bildelementsequenz wird erzeugt, die durch die extrahierten Bildelemente gebildet ist. Hier ist ein Beispiel gezeigt, bei dem die interessierende Zeile eine horizontale Zeile ist, und Bildelemente derselben Farbe wie das defekte Bildelement, die sich an derselben horizontalen Koordinate wie das defekte Bildelement befinden, zur Erzeugung der charakteristischen Bildelementsequenz extrahiert sind. Es wird angemerkt, dass, obwohl ein Beispiel des Extrahierens des defekten Bildelements und von zwei Bildelementen derselben Farbe wie der des defekten Bildelements, die sich vor und nach dem defekten Bildelement auf der interessierenden Zeile befinden, als charakteristische Bildelemente beschrieben ist, das Verfahren zum Extrahieren der charakteristischen Bildelemente nicht darauf beschränkt ist.
Als Nächstes wird eine Vielzahl von Bildelementen, die eine Eigenschaft einer anderen Zeile (Referenzzeile) darstellen, die parallel zu der interessierenden Zeile ist, aus auf dieser Zeile vorhandenen Bildelementen extrahiert, und eine in Abschnitt 2c gezeigte charakteristische Bildelementsequenz wird erzeugt, die durch die extrahierten Bildelemente gebildet ist. Hier ist ein Beispiel gezeigt, bei dem die Referenzzeile zwei Bildelemente über der interessierenden Zeile eingestellt ist, und Bildelemente derselben Farbe wie der des defekten Bildelements aus Bildelementen auf der Referenzzeile zur Erzeugung der charakteristischen Bildelementsequenz extrahiert werden. Da die Korrelationsgröße, wie nachstehend beschrieben, berechnet wird, ist die Anzahl der aus der Referenzzeile extrahierten charakteristischen Bildelemente größer als die Anzahl der aus der interessierenden Zeile extrahierten charakteristischen Bildelemente.
Es wird angemerkt, dass bei diesem Ausführungsbeispiel die Referenzzeile derart eingestellt wird, dass Bildelemente derselben Farbe wie der des defekten Bildelements auf einer Zeile vorhanden sind. Ist die Wiederholeinheit durch zwei Bildelemente gebildet, wie ein R-Bildelement und ein B-Bildelement in einem Bayer-Array, ist die Referenzzeile demnach derart eingestellt, dass ihre Entfernung von der interessierenden Zeile ein Vielfaches (2n [Bildelemente], wobei n eine ganze Zahl ≥ 1 ist) der Wiederholeinheit ist.
Ein Beispiel der jeweiligen Bildelementwerte der aus der interessierenden Zeile und der Referenzzeile erzeugten charakteristischen Bildelementsequenzen und von Signalverläufen, die aus den Bildelementwerten der charakteristischen Bildelementsequenzen erzeugt werden, ist in Abschnitt 2d gezeigt. Nach einer derartigen Erzeugung von zwei Signalverläufen aus den charakteristischen Bildelementsequenzen auf der interessierenden Zeile und der Referenzzeile wird die Korrelationsgröße bezüglich einer Vielzahl relativer Positionen (Verschiebungsausmaßen) erhalten, wodurch das Verschiebungsausmaß und die Richtung erhalten werden, bei denen die Korrelation zwischen den zwei Signalverläufen am größten ist.
Beispielsweise wird angenommen, dass als Ergebnis einer Verschiebung des Signalverlaufs der charakteristischen Bildelementsequenz auf der interessierenden Zeile um +2 (d.h., um zwei Bildelemente nach rechts) ihre Korrelation mit dem Signalverlauf der charakteristischen Bildelementsequenz auf der Referenzzeile am größten wird, wie in Abschnitt 2e gezeigt. Da die charakteristische Bildelementsequenz durch Bildelemente derselben Farbe in einem Bayer-Array gebildet ist, entspricht das Verschiebungsausmaß (+2)x2 der Differenz in Bildelementkoordinaten in dem ursprünglichen Bildelementarray. Demnach wird herausgefunden, dass das Bildelement auf der Referenzzeile, das mit dem defekten Bildelement am besten korreliert ist, sich +4 entfernt von dem defekten Bildelement auf der horizontalen Koordinate (d.h., vier Bildelemente von diesem entfernt nach rechts) befindet, wie es in Abschnitt 2f gezeigt ist.
Daher kann das defekte Bildelement beispielsweise gemäß dem einfachsten Verfahren unter Verwendung des Werts des Bildelements, das mit dem defekten Bildelement am besten korreliert ist, als der Wert des defekten Bildelements korrigiert werden.
Als nächstes wird unter Verwendung des in 3 gezeigten Ablaufdiagramms beschrieben, wie die vorstehend beschriebene defekte Bildelementkorrektur gemäß diesem Ausführungsbeispiel mit der in 1A gezeigten Bildaufnahmevorrichtung 100 realisiert wird.
Zu Beginn erhält die CPU 103 in Schritt S301 Bilddaten, die ein Verarbeitungsziel darstellen. Hier können die Bilddaten durch Fotografieren erhalten werden, oder können durch Auslesen von auf dem Speichermedium 106 aufgezeichneten Bilddaten erhalten werden. Alternativ dazu können sie von einer externen Einrichtung über die Kommunikationsvorrichtung 109 erhalten werden. Es wird angemerkt, dass die hier erhaltenen Bilddaten sich in einem Zustand befinden, in dem das defekte Bildelement noch nicht korrigiert wurde, und beispielsweise RAW-Bilddaten sind.
Die CPU 103 lädt die erhaltenen Bilddaten beispielsweise in die Primärspeichereinrichtung 104. Die CPU 103 tastet dann jedes Bildelement der Bilddaten ab, während die Verarbeitung in den Schritten S302 bis S307 bei einem interessierenden Bildelement angewendet wird, das gemäß der Bestimmung in Schritt S302 ein defektes Bildelement ist. Es wird angemerkt, dass obwohl in dem Beispiel in 3 in Schritt S302 bestimmt wird, ob jedes interessierende Bildelement der Bilddaten ein defektes Bildelement ist oder nicht, die Verarbeitung in den Schritten S303 bis S307 bei dem defekten Bildelement unter Verwendung von Positionsinformationen des defekten Bildelements sequenziell durchgeführt werden können.
Die Informationen des defekten Bildelements können defekte Bildelementinformationen sein, die zur Zeit der Herstellung der Bildaufnahmevorrichtung 100 beispielsweise in der Sekundärspeichereinrichtung 105 gespeichert wurden. Ferner kann ein defektes Bildelement in dem Bildsensor 102 beispielsweise aus einem unter einer bestimmten Bedingung aufgenommen Bild erfasst werden, wie beim Starten der Bildaufnahmevorrichtung 100, und Positionsinformationen darüber können in der Sekundärspeichereinrichtung 105 gespeichert werden. Zu diesem Zeitpunkt können die zur Zeit der Herstellung gespeicherten Informationen mit defekten Bildelementinformationen aktualisiert werden, die durch eine nachfolgende Erfassungsverarbeitung erhalten werden. Die defekten Bildelementinformationen können als zusätzliche Informationen über die Bilddaten aufgezeichnet werden.
Nun wird die Verarbeitung in Schritt S303 und den nachfolgenden bei einem Bildelement durchgeführten Schritten beschrieben, das gemäß der Bestimmung ein defektes Bildelement ist. In Schritt S303 erzeugt die CPU 103 die charakteristische Bildelementsequenz (erste Bildelementsequenz) auf der interessierenden Zeile. Beispielsweise kann dieser Schritt eine Verarbeitung zum Extrahieren von Bildelementen derselben Farbe wie der des defekten Bildelements, die an derselben horizontalen Koordinate wie das defekte Bildelement vorhanden sind, und eine Erzeugung der charakteristischen Bildelementsequenz sein, wie es unter Verwendung von Abschnitt 2b in 2 beschrieben ist. Es wird angemerkt, dass die Extraktion der charakteristischen Bildelemente unter Verwendung anderer Verfahren durchgeführt werden kann, wie es in anderen Ausführungsbeispielen beschrieben ist.
Als nächstes erzeugt die CPU 103 in Schritt S304 die charakteristische Bildelementsequenz (zweite Bildelementsequenz) auf der Referenzzeile. Auch hier kann dieser Schritt eine Verarbeitung zum Extrahieren von Bildelementen derselben Farbe wie der des defekten Bildelements, die sich auf der Referenzzeile befinden, die zwei Bildelemente über der interessierenden Zeile eingestellt ist, und Erzeugen der charakteristischen Bildelementsequenz sein, wie es beispielsweise unter Verwendung von Abschnitt 2c in 2 beschrieben ist.
In Schritt S305 erfasst die CPU 103 das Verschiebungsausmaß, bei dem die Korrelation am größten ist, während sie die relativen Positionen der aus der interessierenden Zeile und der Referenzzeile erzeugten charakteristischen Bildelementsequenzen ändert, um den Bildelementwert zu bestimmen, der für die Bezugnahe für die defekte Bildelementkorrektur geeignet ist.
Ein bestimmtes Beispiel der Korrelationsgrößenberechnungsverarbeitung in Schritt S305 wird unter Verwendung von 4 beschrieben.
Bei diesem Ausführungsbeispiel wird eine Korrelationsgröße zwischen der charakteristischen Bildelementsequenz auf der interessierenden Zeile und einem Teil der charakteristischen Bildelementsequenz auf der Referenzzeile (einem Bereich in der Referenzzeile) mit derselben Anzahl an Bildelementen wie der der charakteristischen Bildelementsequenz auf der interessierenden Zeile berechnet. Immer wenn sich ein Verschiebungsausmaß zwischen den Sequenzen ändert, wird ein anderer Bereich der charakteristischen Bildelementsequenz auf der Referenzzeile zur Berechnung einer Korrelationsgröße für das Verschiebungsausmaß verwendet. Daher kann die charakteristische Bildelementsequenz auf der Referenzzeile derart betrachtet werden, als ob sie eine Vielzahl von Bildelementbereichen umfassen würde.
4 zeigt schematisch ein Beispiel der Berechnung der Korrelationsgröße zum Zeitpunkt der Verschiebung der charakteristischen Bildelementsequenz auf der Referenzzeile um X Bildelemente (X ist eine ganze Zahl, gibt die Richtung nach rechts an, wenn X positiv ist und gibt die Richtung nach links an, wenn X negativ ist) bezüglich der charakteristischen Bildelementsequenz auf der interessierende Zeile. Die CPU 103 summiert Differenzen zwischen durch jeweilige Pfeile verbundenen Bildelementwerten mit jedem Verschiebungsausmaß (relative Position). Beispielsweise wird angenommen, dass die Anzahl an Bildelementen, deren Korrelation berechnet wird, 2W+1 (W ist eine positive ganze Zahl) beträgt, der Bildelementwert am Index i (siehe 4) der charakteristischen Bildelementsequenz auf der interessierenden Zeile Ti ist, und der Bildelementwert an dem Index i der charakteristischen Bildelementsequenz auf der Referenzzeile Ri ist. Zu diesem Zeitpunkt wird die Korrelationsgröße Sx zur Zeit des Verschiebungsausmaßes X durch die folgende Gleichung berechnet. $S_{x} = \sum_{i = W}^{W} | T_{i} - R_{i + X} |$
Das heißt, eine kleinere Korrelationsgröße Sx stellt eine größere Korrelation dar. Es wird angemerkt, dass bei dem soweit beschriebenen Verfahren die das defekte Bildelement enthaltenden charakteristischen Bildelemente aus der interessierenden Zeile zur Erzeugung der charakteristischen Bildelementsequenz extrahiert sind. Aus diesem Grund kann der Wert des defekten Bildelements (T0) nicht beim Berechnen eines Korrelationswerts verwendet werden. Demnach wird nur bei i=0 die Korrelationsgröße Sx derart erhalten, dass die in Gleichung (1) zu addierende Korrelationsgröße beispielsweise 0 ist.
Es ist möglich, die Position eines Referenzbildelements zur Korrektur des defekten Bildelements aus dem Verschiebungsausmaß X, bei dem der kleinste Korrelationswert Sx erhalten wird, unter Korrelationswerten Sx zu bestimmen, die bzgl. einer Vielzahl von Verschiebungsausmaßen innerhalb eines vorbestimmten Bereichs berechnet werden. Ist beispielsweise die Korrelationsgröße Sx der kleinste Wert, wenn das Verschiebungsausmaß X=+2 ist, wird bestimmt, dass unter den Bildelementen derselben Farbe wie der des defekten Bildelements das zwei Bildelemente nach rechts sich befindende Bildelement (d.h., das sich auf der Referenzzeile vier Bildelemente rechts von dem defekten Bildelement befindet) das Referenzbildelement ist.
5A zeigt ein Ablaufdiagramm eines bestimmten Beispiels der Korrelationsgrößenberechnungsverarbeitung in Schritt S305. Zu Beginn setzt die CPU 103 in Schritt S1701 -W für X ein, was als Startindex dient, und initialisiert danach in Schritt S1702 die kleinste Korrelationsgröße Smin und das Verschiebungsausmaß Xmin zur Zeit der kleinsten Korrelationsgröße. Danach führt die CPU 103 eine Verarbeitung in den Schritten S1703 bis S1706 aus, während X in Schritt S1705 inkrementiert wird.
In Schritt S1703 bestimmt die CPU 103, ob die berechnete Korrelationsgröße Sx kleiner als die kleinste Korrelationsgröße Smin zu diesem Zeitpunkt ist oder nicht, lässt die Verarbeitung zu Schritt S1704 fortschreiten, wenn Sx<Smin, und lässt die Verarbeitung zu Schritt S1705 fortschreiten, wenn Sx≥Smin. Es wird angemerkt, dass bei der erstmaligen Berechnung der Korrelationsgröße Sx (hier im Fall von X=-W) die CPU 103 die Verarbeitung zu Schritt S1704 fortschreiten lässt.
In Schritt S1704 aktualisiert die CPU die kleinste Korrelationsgröße Smin mit der aktuellen Korrelationsgröße Sx. Das der kleinsten Korrelationsgröße Smin entsprechende Verschiebungsausmaß Wmin wird auch mit dem aktuellen Wert von X aktualisiert. Dann inkrementiert die CPU 103 in Schritt S1705 X, und in Schritt S1706 bestimmt die CPU 103, ob die Verarbeitung für den gesamten Verschiebungsbereich durchgeführt wurde oder nicht. Die CPU 103 beendet die Verarbeitung, wenn die Verarbeitung für den gesamten Verschiebungsbereich durchgeführt wurde, und lässt die Verarbeitung zu Schritt S1703 zurückkehren, wenn Daten vorhanden sind, die der Verarbeitung noch nicht unterzogen wurden. Mit der vorstehend beschriebenen Verarbeitung ist es möglich, die kleinste Korrelationsgröße Smin innerhalb des Verschiebungsbereichs und das Verschiebungsausmaß Wmin zu erhalten, mit dem die kleinste Korrelationsgröße erhalten werden kann.
Es wird angemerkt, dass das Verfahren für die in 5A gezeigte Korrelationsgrößenberechungsverarbeitung nur ein Beispiel darstellt, und ein beliebiges anderes Verfahren verwendet werden kann, mit dem ein ähnliches Ergebnis erhalten werden kann. Beispielsweise muss das Verschiebungsausmaß X nicht unbedingt von dem kleinsten Wert an inkrementiert werden, und die Werte können in einer beliebigen Reihenfolge verändert werden, solange ein jedem Verschiebungsausmaß entsprechender Korrelationswert berechnet werden kann. Es können auch alle den jeweiligen Verschiebungsausmaßen entsprechenden Korrelationswerte gespeichert werden, und das dem kleinsten Korrelationswert entsprechende Verschiebungsausmaß letztlich ausgewählt werden.
Nachdem die Position des Referenzbildelements so beruhend auf der Korrelationsgröße der charakteristischen Bildelementsequenz bestimmt ist, berechnet die CPU 103 in Schritt S306 einen Korrekturwert. Im einfachsten Fall kann der Korrekturwert der Wert des Referenzbildelements sein, jedoch kann der Korrekturwert unter Verwendung anderer Verfahren berechnet werden. Beispielsweise kann das defekte Bildelement unter Verwendung einer Merkmalsgrö-ße, wie einer Farbdifferenz korrigiert werden können, die aus dem Wert des Referenzbildelements und den Werten von Peripheriebildelementen des Referenzbildelements berechnet wird.
Nach Berechnung des Korrekturwerts in Schritt S306 korrigiert die CPU 103 in Schritt S307 das defekte Bildelement unter Verwendung des Korrekturwerts. Danach bestimmt die CPU 103 in Schritt S308, ob die Bildelementabtastung beendet ist oder nicht, und führt die Schritte S302 bis S307 wiederholt aus, bis die Abtastung beendet ist.
Es wird angemerkt, dass, obwohl dieses Ausführungsbeispiel ein Beispiel der Einstellung der interessierenden Zeile und der Referenzzeile in der horizontalen Richtung beschreibt, es keine Einschränkung des Winkels gibt, an dem die interessierende Zeile und die Referenzzeile eingestellt werden, und die interessierende Zeile und die Referenzzeile in eine beliebige Richtung eingestellt werden können, wie in der vertikalen Richtung oder in einer schrägen Richtung.
Obwohl dieses Ausführungsbeispiel die Referenzzeile zwei Bildelemente über der interessierenden Zeile einstellt, die durch das defekte Bildelement läuft, kann die Referenzzeile an anderen Entfernungen oder in anderen Richtungen eingestellt werden. Beispielsweise kann die Referenzzeile zwei Bildelemente unter der interessierenden Zeil eingestellt werden, oder die Referenzzeilen können jeweils zwei Bildelemente über und unter der interessierenden Zeile eingestellt werden, oder die Korrekturwerte, die aus den auf den jeweiligen Referenzzeilen bestimmten Referenzbildelementen berechnet werden, können gemittelt werden. Durch eine derartige Einstellung einer Vielzahl von Referenzzeilen in einer Richtung (vertikalen Richtung) orthogonal zu der interessierenden Zeile und Verwendung der auf den jeweiligen Referenzzeilen berechneten Korrekturwerte ist es möglich, eine genaue Interpolation durchzuführen, die auch eine Änderung in einem Signalpegel in der vertikalen Richtung reflektiert. Es können viele Referenzzeilen nahe der interessierenden Zeile eingestellt werden, und eine genaue Interpolation kann beim Einstellen der Referenzzeilen auf beiden Seiten der interessierenden Zeile verglichen mit dem Fall der Einstellung einer Vielzahl von Referenzzeilen auf einer Seite der interessierenden Zeile durchgeführt werden.
Obwohl dieses Ausführungsbeispiel einen Beispielfall beschreibt, in dem ein R-Bildelement in einem Bayer-Array ein defektes Bildelement ist, ist die Erfindung gleichermaßen anwendbar, wenn das defekte Bildelement ein B-Bildelement oder ein G-Bildelement ist.
Gemäß diesem Ausführungsbeispiel wird das Referenzbildelement wie vorstehend beschrieben beruhend auf der Korrelationsgröße zwischen der interessierende Zeile mit dem defekten Bildelement und der Referenzzeile bestimmt. Aus diesem Grund kann das zur Korrektur des defekten Bildelements geeignete Referenzbildelement ungeachtet der Form eines Subjekts bestimmt werden. Ferner kann eine schädliche Wirkung einer fehlerhaften Korrektur verringert werden, während der Referenzbereich erweitert wird.
Zweites Ausführungsbeispiel
Das erste Ausführungsbeispiel beschreibt das Korrekturverfahren in dem Fall, wenn das defekte Bildelement ein Bildelement einer Farbe ist, die einmal in jeder Wiederholeinheit des Farbfilters erscheint, wie ein R-Bildelement oder ein B-Bildelement in einem Bayer-Array. Das vorliegende Ausführungsbeispiel bezieht sich auf ein Korrekturverfahren in dem Fall, wenn das defekte Bildelement ein Bildelement ist, das in jeder Bildelementzeile erscheint, wie ein G-Bildelement in einem Bayer-Array.
In dem Fall, wenn ein R-Bildelement oder ein B-Bildelement in einem Bayer-Array ein defektes Bildelement ist, ist kein Bildelement derselben Farbe wie der des defekten Bildelements in einer angrenzenden Bildelementzeile vorhanden und befindet sich an einer Position getrennt von dem defekten Bildelement um zumindest zwei Bildelement, da die Wiederholeinheit durch zwei Bildelemente gebildet ist, und daher wird die Referenzzeile auf einer von der interessierenden Zeile um zwei Bildelemente getrennten Bildelementzeile eingestellt. Ist aber ein G-Bildelement ein defektes Bildelement, wie es in Abschnitt 6a von 6 gezeigt ist, ist ein Bildelement derselben Farbe wie der des defekten Bildelements auf einer angrenzenden Bildelementzeile vorhanden. Aus diesem Grund kann die Referenzzeile an einer Bildelementzeile eingestellt werden, die parallel mit der interessierenden Zeile verläuft und von ihr um ein Bildelement getrennt ist, wie es in Abschnitt 6c von 6 gezeigt ist.
Kann die Referenzzeile somit derart auf der angrenzenden Bildelementzeile eingestellt werden, kann die Korrelationsgröße verglichen mit dem Fall genauer berechnet werden, in dem die Referenzzeile an einer um zwei Bildelemente getrennten Bildelementzeile eingestellt wird, da die Entfernung zwischen der interessierenden Zeile und der Referenzzeile kleiner ist. Da aber die Koordinaten von G-Bildelementen auf angrenzenden Bildelementzeilen voneinander um ein Bildelement in einem Bayer-Array verschoben sind, muss diese Verschiebung beim Erhalten der Referenzbildposition unter Verwendung des Verschiebungsausmaßes X berücksichtigt werden, mit dem die Korrelation zwischen den charakteristischen Bildelementsequenzen am größten ist (d.h., der Korrelationswert Sx am kleinsten ist).
Sind die charakteristischen Bildelementsequenzen beispielsweise wie in den Abschnitten in 6b und 6c in 6 erzeugt, ist das dem defekten Bildelement mit dem Verschiebungsausmaß 0 entsprechende Bildelement ein Bildelement, dessen horizontale Koordinate auf der Referenzzeile um ein Bildelement kleiner als die des defekten Bildelements ist (d.h., sich links von dem defekten Bildelement befindet). Wird demnach das Verschiebungsausmaß X erhalten, wird bestimmt, dass das Bildelement auf der Referenzzeile, dessen horizontale Koordinate von dem defekten Bildelement und (Xx2-1) verschoben ist, das Referenzbildelement ist. Ist beispielsweise die Korrelation am größten, wenn das Verschiebungsausmaß X=2 ist, wird bestimmt, dass das Bildelement auf der Referenzzeile, das von der horizontalen Koordinate des defekten Bildelements um (2x2-1)=+3 Bildelemente getrennt ist, d.h., das um drei Bildelemente nach rechts von dem defekten Bildelement getrennte Bildelement, das Referenzbildelement ist, wie es in Abschnitt 6b von 6 gezeigt ist.
Gemäß diesem Ausführungsbeispiel kann das defekte Bildelement genauer korrigiert werden, wenn ein Bildelement derselben Farbe wie der des defekten Bildelements auf einer angrenzenden Bildelementzeile vorhanden ist. Es wird angemerkt, dass die Farbe des defekten Bildelements in Verbindung mit den Positionsinformationen des defekten Bildelements gespeichert sein kann, oder unter Verwendung von separat von den Informationsinformationen gespeicherten Informationen berechnet werden kann. Es wird angemerkt, dass die Informationen des Farbanordnungsmusters des in dem Bildsensors vorgesehenen Farbfilters, der beim Fotografieren verwendet wird, beispielsweise in der Sekundärspeichereinrichtung 105 gespeichert sein können, oder aus zusätzlichen Informationen der Bilddaten erhalten werden können. Demnach können das erste Ausführungsbeispiel und dieses Ausführungsbeispiel zum wahlweisen Ausführen in Abhängigkeit von dem Farbanordnungsmuster des Farbfilters und der Farbe des defekten Bildelements konfiguriert sein.
Drittes Ausführungsbeispiel
Das erste und das zweite Ausführungsbeispiel beschreiben das Korrekturverfahren in dem Fall, in dem das defekte Bildelement isoliert ist. Dieses Ausführungsbeispiel beschreibt ein Korrekturverfahren in dem Fall, in dem defekte Bildelemente derselben Farbe aufeinanderfolgend vorhanden sind. Derartige defekte Bildelemente treten aufgrund einer Herstellungstoleranz oder altersbedingten Verschlechterungen auf, sowie in dem Fall, in dem Bildelemente für eine Fokuserfassung in dem Bildsensor angeordnet sind, wie es in Abschnitt 7a von 7 gezeigt ist. Da die Fokuserfassungsbildelemente ein Signal zur Durchführung einer Fokuserfassung in einem Phasendifferenzerfassungsverfahren erzeugen, ist ihr Lichtempfangsbereich enger als bei üblichen Bildelementen, oder es ist kein Farbfilter in ihnen vorgesehen, und demnach unterscheidet sich ein erhaltener Bildelementwert von dem üblicher Bildelemente. Demnach muss eine Korrektur unter Berücksichtigung dieser Fokuserfassungsbildelemente als aufeinanderfolgende defekte Bildelemente derselben Farbe durchgeführt werden, wie es in Abschnitt 7b von 7 gezeigt ist.
Unter der Annahme, dass die interessierende Zeile in der horizontalen Richtung wie in den vorstehenden Ausführungsbeispielen eingestellt ist, kann das im ersten Ausführungsbeispiel beschriebenen Verfahren nicht verwendet werden, bei dem die charakteristische Bildelementsequenz unter Verwendung des defekten Bildelements und der Bildelemente derselben Farbe wie der des defekten Bildelements erzeugt wird, die auf der interessierenden Zeile vorhanden sind.
Bei diesem Ausführungsbeispiel werden charakteristische Bildelementsequenzen auf der interessierenden Zeile und der Referenzzeile unter Verwendung eines von den vorstehenden Ausführungsbeispielen verschiedenen Verfahrens erzeugt. Insbesondere extrahiert die CPU 103 bei der Verarbeitung zur Erzeugung der charakteristischen Bildelementsequenz auf der interessierenden Zeile in Schritt S303 in 3 als die charakteristischen Bildelemente Bildelemente an derselben horizontalen Koordinate einer Farbe, die von dem defekten Bildelement „verschieden“ ist, wie in Abschnitt 7c von 7 gezeigt. Da ein Bayer-Array-Farbfilter verwendet wird, und das defekte Bildelement ein R-Bildelement ist, werden G-Bildelemente aus der interessierenden Zeile zur Erzeugung der charakteristischen Bildelementsequenz extrahiert.
Da das defekte Bildelement ein R-Bildelement ist, stellt die CPU 103 die Referenzzeile an einer um zwei Bildelemente getrennten Position (hier darüber), die die Wiederholeinheit des Farbfilters bildet, wie im ersten Ausführungsbeispiel ein. Dann extrahiert die CPU in Schritt S304 Bildelemente auf der Referenzzeile einer von dem defekten Bildelement „verschiedenen Farbe“ als die charakteristischen Bildelemente zur Erzeugung der charakteristischen Bildelementsequenz wie bei der in Abschnitt 7d (7) gezeigten interessierenden Zeile. Da die Farbanordnung des Farbfilters auf der Referenzzeile identisch mit der interessierenden Zeile ist, werden dieselben G-Bildelemente aus der Referenzzeile zur Erzeugung der charakteristischen Bildelementsequenz wie bei der interessierenden Zeile extrahiert.
Nachdem das Verschiebungsausmaß, bei dem die Korrelationsgröße zwischen den charakteristischen Bildelementsequenzen am kleinsten ist, erfasst wurde, wird eine Korrektur unter Verwendung des Bildelements an der von dem defekten Bildelement um dieses Verschiebungsausmaß getrennten Position als das Referenzbildelement durchgeführt. Da das Referenzbildelement bestimmt wird, während die Position des defekten Bildelements als Verschiebungsausmaß 0 betrachtet wird, ist das Referenzbildelement ein Bildelement derselben Farbe wie das defekte Bildelement.
Es wird angemerkt, dass in dem Fall, in dem Bildelemente einer Farbe, die auf einer angrenzenden Bildelementzeile vorhanden ist, wie G-Bildelemente in einem Bayer-Array, aufeinanderfolgend defekte Bildelemente sind, die Referenzzeile derart eingestellt wird, dass die charakteristischen Bildelementsequenzen auf der interessierenden Zeile und der Referenzzeile durch dieselben Farbbildelemente aufgebaut sind.
Obwohl die charakteristischen Bildelementsequenzen unter Verwendung von Werten von Bildelementen einer tatsächlich von dem defekten Bildelement verschiedenen Farbe bei diesem Ausführungsbeispiel erzeugt werden, kann beispielsweise auch ein Durchschnittsbildelementwert einer Vielzahl von Bildelementen verwendet werden, die angrenzende Bildelemente enthalten.
Wie vorstehend beschrieben, kann auch bei diesem Ausführungsbeispiel die gleiche Wirkung wie in den vorstehend beschriebenen Ausführungsbeispielen erzielt werden.
Obwohl hier eine unter Verwendung von Bildelementen einer Farbe durchgeführte Korrektur beschrieben wurde, die von defekten Bildelementen verschieden ist, wenn die defekten Bildelemente derselben Farbe aufeinanderfolgend vorhanden sind, kann die gleiche Korrektur wie in diesem Ausführungsbeispiel auch im Fall der Korrektur eines isolierten defekten Bildelements ausgeführt werden. Beispielsweise kann das erste Ausführungsbeispiel derart konfiguriert werden, dass G-Bildelemente auf der interessierenden Zeile und der Referenzzeile als charakteristische Bildelemente extrahiert werden.
Viertes Ausführungsbeispiel
Die vorstehenden Ausführungsbeispiele haben den Fall beschrieben, in dem das Referenzbildelement von der Referenzzeile erhalten wird, die auf einer Bildelementzeile eingestellt wird, die von der interessierenden Zeile in der vertikalen Richtung um eine Wiederholeinheit des Farbfilters getrennt ist, oder auf einer Bildelementzeile eingestellt ist, die an die interessierende Zeile angrenzt. Das heißt, es handelt sich um einen Fall, bei dem die interessierende Zeile und die Referenzzeile in der horizontalen Richtung merklich korreliert sind.
Im Fall eines in 8A gezeigten Subjekts aber, das ein Wiederholungsmuster mit einem Winkel nahe der Horizontalen hat, ist eine Bildelementzeile, die von der interessierenden Zeile in der vertikalen Richtung um eine Wiederholeinheit des Farbfilters separiert ist, oder die an die interessierende Zeile angrenzt, nicht merklich korreliert. Es wird angemerkt, dass, obwohl 8A den Fall zeigt, in dem defekte Bildelemente aufeinanderfolgend wie im dritten Ausführungsbeispiel vorhanden sind, das gleiche Problem wie im Fall eines isolierten defekten Bildelements auftreten kann.
Im Fall der Verwendung der interessierenden Zeile, die in einem Subjekt mit einem Winkel nahe der Horizontalen enthalten ist, und der Referenzzeile, die nicht in dem Subjekt enthalten ist, ist es unwahrscheinlich, ein geeignetes Referenzbildelement zu bestimmen, selbst wenn die Korrelationsgröße durch Verschieben der charakteristischen Bildelementsequenz in der horizontalen Richtung erhalten wird, wenn nicht das Verschiebungsausmaß in einem merklich weiten Bereich variiert wird. Wird das defekte Bildelement unter Verwendung eines ungeeigneten Referenzbildelements korrigiert, tritt eine fehlerhafte Korrektur auf, die in einem Bildelementwert resultiert, der von dem ursprünglichen Bildelementwert stark verschieden ist. Insbesondere bei einem Subjekt mit einer sich wiederholenden Form tritt eine fehlerhafte Korrektur auf, und es wird ein sich wiederholendes Muster erzeugt, das das Subjekt ursprünglich nicht hat.
In dem Fall, wenn das defekte Bildelement in dem Subjekt mit einer sich wiederholenden Form mit einem Winkel nahe der Horizontalen enthalten ist, wie in 8 gezeigt, ist ein geeignetes Referenzbildelement (ein Bildelement mit einem Wert, der derselbe oder nahe am dem des defekten Bildelements ist) leichter durch Erweitern des vertikalen Suchbereichs anstelle einer Erweiterung des horizontalen Suchbereichs zu finden. Wird aber der Suchbereich einfach in der vertikalen Richtung erweitert, erhöht sich die Entfernung zwischen der interessierenden Zeile und der Referenzzeile wie in 8B gezeigt, und demnach gibt es Fälle, in denen die Genauigkeit der Korrelationsgröße zwischen den charakteristischen Bildelementsequenzen sinkt. Beispielsweise beinhalten derartige Fälle den Fall, in dem ein Subjekt, das von dem in dem defekten Bildelement verschieden ist, in einem Bildelement an der Position erscheint, die von dem defekten Bildelement nur vier Bildelemente in der vertikalen Richtung getrennt ist. In diesem Fall kann möglicherweise eine falsche Korrektur bei dem defekten Bildelement als Ergebnis der Bezugnahme auf einen Bildelementwert des verschiedenen Subjekts durchgeführt werden. Dieses Ausführungsbeispiel stellt ein Korrekturverfahren bereit, das eine fehlerhafte Korrektur unterdrücken kann, während der Referenzbereich in der vertikalen Richtung erweitert wird.
9 zeigt eine schematische Darstellung des Umrisses der defekten Bildelementkorrektur gemäß diesem Ausführungsbeispiel. Prozesse 1001 und 1002 geben eine Verarbeitung zur Bestimmung des Referenzbildelements unter Verwendung von Referenzzeilen A und B mit unterschiedlichen Entfernungen von der interessierenden Zeile auf ähnliche Weise wie beim dritten Ausführungsbeispiel an. Im Prozess 1001 wird die Bildelementzeile zwei Bildelemente über der interessierenden Zeile als Referenzzeile A eingestellt, und im Prozess 1002 wird die Bildelementzeile vier Bildelemente über der interessierenden Zeile als Referenzzeile B eingestellt. Ein endgültiger Korrekturwert wird unter Verwendung des auf jeder Referenzzeile bestimmten Referenzbildelements erhalten und bei der Korrektur des defekten Bildelements verwendet.
10 zeigt ein Ablaufdiagramm eines Verarbeitungsablaufs gemäß diesem Ausführungsbeispiel, und dieselben Bezugszeichen bezeichnen dieselben Prozesse wie in 3. Wie aus einem Vergleich zwischen den 3 und 10 ersichtlich ist, wird die Verarbeitung gemäß dem dritten Ausführungsbeispiel (in dem Fall, in dem das defekte Bildelement isoliert ist, gemäß dem ersten Ausführungsbeispiel) individuell auf den Referenzzeilen A und B ausgeführt, und die erhaltenen Korrekturwerte werden zum Erhalten des Korrekturwerts des defekten Bildelements kombiniert.
Das Merkmal dieses Ausführungsbeispiels liegt im Kombinieren der bezüglich der jeweiligen verschiedenen Referenzzeilen berechneten Korrekturwerte in Schritt S1110. In Schritt S1110 kombiniert die CPU 103 einen aus der Referenzzeile A berechneten Korrekturwert Qa und einen aus der Referenzzeile B berechneten Korrekturwert Qb. Unter der Annahme, dass das Kombinationsverhältnis α (0≤α≤1) ist, wird ein endgültiger Korrekturwert Q durch die folgende Gleichung berechnet. $Q = α \times Qa + (1 - α) \times Qb$
Als Nächstes werden drei Beispiele beschrieben, die verschiedene Bewertungskriterien als Verfahren zur Bestimmung des Kombinationsverhältnisses α verwenden.
Zuerst wird eine Bestimmung des Kombinationsverhältnisses α entsprechend der kleinsten Korrelationsgröße beschrieben. In diesem Fall wird das Kombinationsverhältnis α unter Verwendung der Korrelationsgröße, die bei der Korrelationsgrößenberechnungsverarbeitung in den Schritten S305A und S305B erhalten wird, entsprechend der Größe der Differenz zwischen der kleinsten Korrelationsgröße Sa auf der Referenzzeile A und der kleinsten Korrelationsgrößte Sb auf der Referenzzeile B bestimmt. Unter der Annahme, dass die Differenz der kleinsten Korrelationsgröße Ssub ist, $Ssub = Sa - Sb$
Ein Beispielverhältnis zwischen der Differenz Ssub bei der kleinsten Korrelationsgröße und dem Kombinationsverhältnis α ist in 11A gezeigt. Da die Korrelation zwischen zwei charakteristischen Bildelementsequenzen größer ist, wenn die Korrelationsgröße wie vorstehend beschrieben kleiner ist, wird das Verhältnis (Kombinationsverhältnis α) des aus der Referenzzeile A berechneten Korrekturwerts Qa größer gemacht, wenn die Differenz Ssub in der Korrelationsgröße kleiner ist. Je größer die Differenz Ssub in der Korrelationsgröße ist, desto kleiner wird das Kombinationsverhältnis α gemacht, und das Verhältnis (1-a) des aus der Referenzzeile B berechneten Korrekturwerts Qb wird größer gemacht.
Als Nächstes wird die Bestimmung des Kombinationsverhältnisses α entsprechend einem Richtungserfassungsergebnis hinsichtlich des interessierenden Bildelements beschrieben. Da dieses Ausführungsbeispiel besonders bei einem Subjekt mit einer Wiederholungsform mit einem Winkel nahe der Horizontalen wirksam ist, wird das Kombinationsverhältnis α beispielsweise unter Verwendung eines Ergebnisses einer Erfassung der Richtung eines Subjekts an der Peripherie des defekten Bildelements bestimmt. Obwohl es keine Beschränkung des Verfahrens für die Erfassung der Richtung gibt, kann als einfaches Beispielverfahren ein horizontaler Grad H wie folgt berechnet werden, wobei angenommen wird, dass Werte von Bildelementen, die an das defekte Bildelement angrenzen, G_R, G_U, G_L und G_D wie in 11B gezeigt sind. $H = | G_{U} - G_{D} | - | G_{L} - G_{R} |$
Ein größerer Wert des horizontalen Grads H gibt eine höhere Wahrscheinlichkeit eines horizontalen Subjekts an. Da dieser horizontale Grad H aus den Werten der angrenzenden Bildelemente des defekten Bildelements erhalten wird, gibt ein größerer horizontaler Grad H eine größere Wahrscheinlichkeit an, dass das defekte Bildelement in einem Randabschnitt des Subjekts mit einem Winkel nahe der Horizontalen vorhanden ist. Ist demnach der horizontale Grad H groß, kann in Betracht gezogen werden, dass die Referenzzeile zuverlässiger ist, die von der interessierenden Zeile stärker getrennt ist.
Wie in 11C gezeigt, wird demnach, je kleiner der horizontale Grad H ist, das Verhältnis (Kombinationsverhältnis α) des aus der näheren Referenzzeile A berechneten Korrekturwerts Qa größer gemacht, und je größer der horizontale Grad H ist, wird das Kombinationsverhältnis α kleiner gemacht und das Verhältnis (1-α) des aus der Referenzzeile B weiter weg berechneten Korrekturwerts Qb wird größer gemacht.
Als Drittes wird die Bestimmung des Kombinationsverhältnisses α entsprechend einer Neigungsdifferenz von Daten zwischen der interessierenden Zeile und der Referenzzeile beschrieben. Handelt es sich beispielsweise um ein Subjekt wie in 12A gezeigt, gibt es Fälle, in denen optische Eigenschaften eines Bereichs X und eines Bereichs B in 12A aufgrund des Einflusses von Linsensaberrationseigenschaften oder dergleichen einander ähnlich sind, während optische Eigenschaften des Bereichs X und eines Bereichs A verschieden sind.
Wenn die aus der interessierenden Zeile, der Referenzzeile A und der Referenzzeile B erzeugten charakteristischen Bildelementsequenzen beispielsweise in 12B gezeigte Bildelementwerte aufweisen, ist die Korrelationsgröße Sx der charakteristischen Bildelementsequenz auf der Referenzzeile A, die durch Gleichung (1) berechnet wird, kleiner. Allerdings gibt es Fälle, in denen der Bereich A, durch den die Referenzzeile A läuft, und der Bereich X, durch den die interessierende Zeile läuft, verschiedene optische Eigenschaften wie vorstehend angeführt aufweisen, und in solchen Fällen kann der mit der Referenzzeile B erhaltene Korrekturwert verwendet werden.
Es kann beispielsweise beruhend auf einer Differenz in der Tendenz der Änderung des Bildelementwerts zwischen den charakteristischen Bildelementsequenzen, wie der Größe der Neigungsdifferenz einer Zeile, die Bildelementwerte an beiden Enden der charakteristischen Bildelementsequenz auf jeder Zeile verbindet, bestimmt werden, ob die optischen Eigenschaften unterschiedlich sind. Beispielsweise haben die Zeilen in dem Beispiel in 12B, die Bildelementwerte an beiden Enden der jeweiligen charakteristischen Bildelementsequenzen auf der interessierenden Zeile und der Referenzzeile B verbinden, die ähnliche optische Eigenschaften haben, eine ähnliche Neigung. Andererseits ist die Neigung einer Bildelementwerte an beiden Enden der charakteristischen Bildelementsequenz auf der Referenzzeile A verbindenden Zeile mit unterschiedlichen optischen Eigenschaften negativ, und unterscheidet sich stark von der bezüglich der interessierenden Zeile erhaltenen Neigung. Ein Index G, der eine derartige Differenz in der Tendenz der Änderung in den Bildelementwerten der charakteristischen Bildelementsequenzen zwischen der interessierenden Zeile und jeder Referenzzeile darstellt, kann beispielsweise durch die folgende Gleichung berechnet werden. $G = (T_{- W} - T_{W}) - (R_{- W + X} - R_{W + X})$
Da der Index G eine Differenz in der Neigung der Bildelemente an beiden Enden der charakteristischen Bildelementsequenz verbindenden Zeile darstellt, gibt ein kleinerer Wert an, dass die Bildelementwerte der charakteristischen Bildelementsequenzen der Referenzzeile und der interessierenden Zeile sich gleichermaßen ändern. Das Kombinationsverhältnis α kann entsprechend einer Differenz Gsub=Ga-Gb zwischen einem Index Ga, der bezüglich der interessierenden Zeile und der Referenzzeile A erhalten wird, und einem Index Gb bestimmt werden, der bezüglich der interessierenden Zeile und der Referenzzeile B erhalten wird. Wie in 11D gezeigt, ist insbesondere je kleiner der Wert von Gsub ist, das Verhältnis (Kombinationsverhältnis α) des aus der Referenzzeile A berechneten Korrekturwerts Qa größer ausgelegt, und je größer der Wert von Gsub ist, ist das Kombinationsverhältnis α kleiner und das Verhältnis (1-a) des aus der Referenzzeile B berechneten Korrekturwerts Qb größer ausgelegt.
Es wird angemerkt, dass unter Berücksichtigung der Tendenz der Änderung in Bildelementwerten der charakteristischen Bildelementsequenz auf jeder Zeile die Korrelationsgröße durch Erhalten einer Differenz in einem Ableitungswert berechnet werden kann. In diesem Fall wird die Korrelationsgröße aus der nachstehenden Gleichung (6) erhalten. $S_{X} = \sum_{i = - W}^{W - 1} | (T_{i + 1} - T_{i}) - (R_{i + X + 1} - R_{i + X}) |$
Es wird angemerkt, dass die Verhältnisse zwischen dem Wert des Kombinationsverhältnisses α und dem Wert der in den 11A, 11C und 11D gezeigten jeweiligen Bewertungskriterien lediglich Beispiele sind, und das Kombinationsverhältnis α beruhend auf anderen Verhältnissen bestimmt werden kann. Das Kombinationsverhältnis α kann auch beruhend auf einem Bewertungskriterium bestimmt werden, das von den vorstehend angeführten drei Bewertungskriterien verschieden ist. Es kann auch eines der beruhend auf einer Vielzahl verschiedener Bewertungskriterien bestimmten Kombinationsverhältnisse ausgewählt werden, oder ein gewichtetes Mittel derartiger Kombinationsverhältnisse verwendet werden. Die Auswahl oder die Gewichtung in diesem Fall kann entsprechend einer Merkmalsmenge eines aus einem Bild erhaltenen Subjekts oder dergleichen bestimmt werden.
Obwohl der Fall der Verwendung von zwei Referenzzeilen beschrieben wurde, können drei oder mehr Referenzzeilen verwendet werden. Die Referenzzeilen können nicht nur über der interessierenden Zeile sondern auch unter der interessierenden Zeile eingestellt werden.
Wie vorstehend beschrieben sind gemäß diesem Ausführungsbeispiel eine Vielzahl von Referenzzeilen mit verschiedenen Entfernungen von der interessierenden Zeile eingestellt, und der endgültige Korrekturwert wird aus den bezüglich der jeweiligen Referenzzeilen erhaltenen Korrekturwerten erhalten. Aus diesem Grund kann ein geeignetes Referenzbildelement oder ein geeigneter Korrekturwert für verschiedene Subjekte verglichen mit dem Fall der Bestimmung des Referenzbildelements aus einer Referenzzeile erhalten werden, und das defekte Bildelement kann geeigneter korrigiert werden.
Selbst wenn ein Subjekt eine Kante in einer Richtung nahe der Richtung der interessierenden Zeile aufweist oder ein Wiederholungsmuster hat, kann insbesondere eine fehlerhafte Korrektur unterdrückt und die Genauigkeit der defekten Bildelementkorrektur verbessert werden.
Fünftes Ausführungsbeispiel
Als nächstes wird ein fünftes Ausführungsbeispiel der Erfindung beschrieben. Das erste Ausführungsbeispiel beschreibt unter Verwendung von 5A ein Beispielverfahren zum Erhalten des Verschiebungsausmaßes X, mit dem die Korrelationsgröße Sx am kleinsten ist. Ist bei der Verarbeitung in 5A die im Verschiebungsbereich erhaltene Korrelationsgröße Sx konstant, ist die Bedingung in Schritt S1703 nie erfüllt (außer im Fall, dass die Korrelationsgröße Sx anfänglich berechnet wird), und dementsprechend ist das als Ergebnis erhaltene Xmin der Anfangswert (-W). Obwohl in diesem Fall dieselbe Korrelationsgröße ungeachtet des Verschiebungsausmaßes berechnet wird, wird das defekte Bildelement unter Bezugnahme auf das Bildelement an der Position am weitesten weg von dem defekten Bildelement innerhalb des Verschiebungsbereichs korrigiert.
Beispielsweise wird der Fall angenommen, in dem es Subjekte A und B mit ähnlichen G-Werten und verschiedenen R-Werte gibt, und das R-Bildelement, in dem das Subjekt A erscheint, das defekte Bildelement ist, wie es in 5B gezeigt ist. Es wird auch angenommen, dass zu diesem Zeitpunkt ein Verfahren wie in dem dritten Ausführungsbeispiel beschrieben verwendet wird, bei dem ein Bildelement auf der interessierenden Zeile einer Farbe, die von der des defekten Bildelements verschieden ist, als das charakteristische Bildelement extrahiert wird. Wenn der in 5B gezeigte horizontale Bereich der Referenzbereich ist, sind die G-Werte der Subjekte A und B dieselben, und demnach ist die Korrelationsgröße Sx bei jedem Verschiebungsausmaß X dieselbe. Wird die Verarbeitung in 5A durchgeführt, wird demnach der Korrekturwert durch Bezugnahme auf das obere linke Bildelement in 5B berechnet, das Bildelement, das am weitesten weg von dem defekten Bildelement auf der Referenzzeile ist. Da aber das Subjekt B in diesem Bildelement erscheint und sein R-Wert von dem das Subjekts A verschieden ist, verringert sich die Genauigkeit der defekten Bildelementkorrektur. Dieses Ausführungsbeispiel bezieht sich auf ein Korrekturverfahren, mit dem dieses Problem verringert werden kann.
Insbesondere ist die Verarbeitung zur Erfassung des Verschiebungsausmaßes, bei dem die Korrelationsgröße Sx am kleinsten ist (S305 in 3), vom ersten Ausführungsbeispiel (und dem dritten Ausführungsbeispiel) verschieden. 5C zeigt ein Ablaufdiagramm eines bestimmten Beispiels der Korrelationsgrößenberechnungsverarbeitung bei diesem Ausführungsbeispiel. Dieselben Bezugszeichen bezeichnen dieselbe Verarbeitung wie in 5A, und auf eine erneute Beschreibung wird verzichtet.
Nach Beenden der Initialisierung der Variablen in Schritt S1702 bestimmt die CPU 103 in Schritt S1710, ob das aktuelle Verschiebungsausmaß X 0 oder kleiner oder positiv ist. Ist das Verschiebungsausmaß X 0 oder kleiner, lässt die CPU 103 die Verarbeitung zu Schritt S1711 fortschreiten, und ist das Verschiebungsausmaß X positiv, lässt die CPU 103 die Verarbeitung zu Schritt S1712 fortschreiten.
In Schritt S1711 bestimmt die CPU 103, ob der aktuelle Korrelationswert Sx kleiner oder gleich der kleinsten Korrelationsgröße Smin ist oder nicht. Ist der aktuelle Korrelationswert Sx kleiner oder gleich der kleinsten Korrelationsgröße Smin, lässt die CPU 103 die Verarbeitung zu Schritt S1704 fortschreiten, und ist der aktuelle Korrelationswert Sx größer als die kleinste Korrelationsgröße Smin, lässt die CPU 103 die Verarbeitung zu Schritt S1705 fortschreiten. Es wird angemerkt, dass die CPU 103 die Verarbeitung zu Schritt S1704 fortschreiten lässt, wenn X der Anfangswert (=-X) ist. Ist der aktuelle Korrelationswert Sx entsprechend der Bestimmungsverarbeitung in Schritt S1711 gleich der kleinsten Korrelationsgröße Smin, wird das der kleinsten Korrelationsgröße Smin entsprechende Verschiebungsausmaß Xmin aktualisiert.
Andererseits bestimmt die CPU 103 in Schritt S1712, ob der aktuelle Korrelationswert Sx kleiner als die kleinste Korrelationsgröße Smin ist oder nicht. Ist der aktuelle Korrelationswert Sx kleiner als die kleinste Korrelationsgröße Smin, lässt die CPU 103 die Verarbeitung zu Schritt S1704 fortschreiten, und ist der aktuelle Korrelationswert Sx größer oder gleich der kleinsten Korrelationsgröße Smin, lässt die CPU 103 die Verarbeitung zu Schritt S1705 fortschreiten. Ist der aktuelle Korrelationswert Sx entsprechend der Bestimmungsverarbeitung in Schritt S1712 gleich der kleinsten Korrelationsgröße Smin, wird das der kleinsten Korrelationsgröße Smin entsprechende Verschiebungsausmaß Xmin nicht aktualisiert.
Wird derselbe Korrelationswert Sx über den Verschiebungsbereich erhalten, wird infolgedessen das der kleinsten Korrelationsgröße Smin entsprechende Verschiebungsausmaß Xmin aktualisiert, wenn das Verschiebungsausmaß negativ oder 0 ist, und das der kleinsten Korrelationsgröße Smin entsprechende Verschiebungsausmaß Xmin nicht aktualisiert, wenn sich das Verschiebungsausmaß in einem positiven Bereich befindet. Demnach ist das bei der Korrelationsgrößenberechnungsverarbeitung erhaltene Verschiebungsausmaß Xmin 0. Gibt es eine Vielzahl von Verschiebungsausmaßen, bei denen die kleinste Korrelationsgröße Smin erhalten wird, wird demnach gemäß diesem Ausführungsbeispiel das Verschiebungsausmaß mit dem kleinsten Absolutwert erfasst.
Je kleiner der Absolutwert des Verschiebungsausmaßes ist, desto kürzer ist die Entfernung zwischen dem defekten Bildelement und dem Referenzbildelement zum Korrigieren des defekten Bildelements, und demnach ist es möglich, unter Verwendung der Korrelationsgrößenberechnungsverarbeitung dieses Ausführungsbeispiels den Korrekturwert durch Bezugnehmen auf das Bildelement zu berechnen, das stark korreliert ist und sich an einer Position am nächsten zu dem defekten Bildelement in einem möglichen Bereich befindet.
Es wird angemerkt, dass die in 5C gezeigte Korrelationsgrößenberechnungsverarbeitung nur ein Beispiel darstellt, und ein beliebiges anderes Verfahren verwendet werden kann, mit dem ein ähnliches Ergebnis erhalten wird. Beispielsweise muss das Verschiebungsausmaß X nicht unbedingt ab dem kleinsten Wert implementiert werden, und die Werte können in einer beliebigen Reihenfolge verändert werden, solange ein jedem Verschiebungsausmaß entsprechender Korrelationswert berechnet werden kann. Ferner können alle Verschiebungsausmaße gespeichert werden, mit denen der kleinste Korrelationswert erhalten wird, und das Verschiebungsausmaß, bei dem die entsprechende Bildelementposition auf der Referenzzeile dem defekten Bildelement am nächsten ist, kann ausgewählt werden.
Wird dieselbe Korrelationsgröße bei einer Vielzahl von Verschiebungsausmaßen erhalten, wird wie vorstehend beschrieben gemäß diesem Ausführungsbeispiel die Korrelationsgröße derart berechnet, dass ein Verschiebungsausmaß mit dem kleinsten Absolutwert unter der Vielzahl der Verschiebungsausmaße gespeichert wird. Wird beispielsweise dieselbe Korrelationsgröße über den Verschiebungsbereich erhalten, wird aus diesem Grund das Verschiebungsausmaß 0 als das dem kleinsten Korrelationswert entsprechende Verschiebungsausmaß erfasst, und eine Korrektur kann durch Bezugnehmen auf ein Bildelement durchgeführt werden, dessen Entfernung von dem defekten Bildelement klein ist.
Weiteres Ausführungsbeispiel
Obwohl Ausführungsbeispiele der Erfindung beschrieben wurden, ist die Erfindung nicht auf diese Ausführungsbeispiele beschränkt, und kann auf verschiedene Weisen innerhalb des in den Patentansprüchen definierten Schutzbereichs modifiziert oder verändert werden.
Obwohl die vorstehenden Ausführungsbeispiele lediglich den Fall beschreiben, in dem die interessierende Zeile in der horizontalen Richtung eingestellt ist, kann sie in anderen Richtungen eingestellt sein. Wird beispielsweise erfasst, dass der Rand eines Subjekts nahe dem defekten Bildelement vorhanden ist, kann die interessierende Zeile in einer für die Charakteristik des Subjekts geeigneten Richtung eingestellt werden, wie Einstellung der interessierenden Zeile in einer die Kante schneidenden Richtung.
Einige der vorstehenden Ausführungsbeispiele können wahlweise verwendet oder entsprechend dem Zustand der Bildaufnahme oder eines Ergebnisses einer Kennlinienanalyse selektiv verwendet oder kombiniert werden.
Obwohl die vorstehenden Ausführungsbeispiele eine Korrektur eines Bildes beschreiben, das unter Verwendung eines mit einem Farbfilter mit einem Primärfarben-Bayer-Array versehenen Bildsensors aufgenommen werden, kann eine Korrektur gleichermaßen bei einem Bild durchgeführt werden, das unter Verwendung eines mit einem Farbfilter mit anderen Typen jeweiliger Muster versehenen Bildsensors aufgenommen wird.
1B zeigt ein Blockschaubild eines Beispielfunktionsaufbaus einer Informationsverarbeitungsvorrichtung 200, die als Beispiel einer anderen Bildverarbeitungsvorrichtung gemäß den Ausführungsbeispielen dient. In 1B wird eine Anzeigeeinheit 201 zur Anzeige eines Fotografiebildes oder Anzeige einer Benutzerschnittstelle für eine interaktive Operation verwendet. Eine Bedieneinheit 202, die beispielsweise eine Tastatur, eine Maus, ein Berührfeld oder dergleichen enthält, ermöglicht es dem Benutzer, der Informationsverarbeitungsvorrichtung 200 verschiedene Anweisungen zu geben und ihre Einstellungen zu konfigurieren. Die CPU 203 realisiert die defekte Bildelementkorrekturverarbeitung gemäß den vorstehend beschriebenen Ausführungsbeispielen durch Ausführen des OS und von Applikationsprogrammen und Steuerung jedes Funktionsblocks.
Eine Primärspeichereinrichtung 204 ist beispielsweise eine flüchtige Speichereinrichtung, wie ein RAM, und wird als temporärer Datenspeicherbereich, wie als Arbeitsbereich für die CPU 203 verwendet. Eine Sekundärspeichereinrichtung 205 ist eine nicht-flüchtige Speichereinrichtung, wie beispielsweise ein Festplattenlaufwerk, ein SSD oder ein EEPROM, und speichert das OS, Firmware, Applikationsprogramme, verschiedene Einstellungsinformationen und dergleichen.
Eine Kommunikationsvorrichtung 206 ermöglicht der Informationsverarbeitungsvorrichtung 200 das Senden und Empfangen von Steuerbefehlen und Daten zu/von einer externen Einrichtung. Es wird angemerkt, dass die Kommunikationsvorrichtung 206 beispielsweise mit einer externen Einrichtung mittels einer drahtgebundenen Verbindung unter Verwendung eines USB (Universal Serial Bus) -Kabels oder dergleichen kommunizieren kann, oder mit einer externen Einrichtung mittels einer drahtlosen Verbindung unter Verwendung eines Funk-LAN oder dergleichen kommunizieren kann. Die Kommunikationsvorrichtung 206 kann direkt mit einer externen Einrichtung verbunden sein, oder kann über einen Server oder über ein Netzwerk, wie das Internet verbunden sein.
Die Kommunikationsvorrichtung 206 kann auch eine Funktion des Zugriffs auf ein entfernbares Aufzeichnungsmedium enthalten, wie das Speichermedium 106 der Bildaufnahmevorrichtung 100. Durch Anbringen des von der Bildaufnahmevorrichtung entfernten Aufzeichnungsmediums an der Kommunikationsvorrichtung 206 können Bilddaten von dem Aufzeichnungsmedium in die Informationsverarbeitungsvorrichtung 200 geladen werden.
Ausführungsbeispiele der Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung, der computerausführbaren Anweisungen (beispielsweise ein Programm oder mehrere Programme) ausliest und ausführt, die auf einem Speichermedium aufgezeichnet sind (das auch vollständiger als „nicht flüchtiges computerlesbares Speichermedium“ bezeichnet werden kann), realisiert werden, um die Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder der einen oder mehrere Schaltkreise (beispielsweise eine anwendungsspezifische integrierte Schaltung) (ASIC)) zur Durchführung der Funktionen des einen oder der mehreren der vorstehend beschriebenen Ausführungsbeispiele enthält, und durch ein durch den Computer des Systems oder der Vorrichtung durchgeführtes Verfahren beispielsweise durch Auslesen und Ausführen der computerausführbaren Anweisungen aus dem Speichermedium zur Durchführung der Funktionen des einen oder der mehreren der vorstehend beschriebenen Ausführungsbeispiele und/oder Steuerung des einen oder der mehreren Schaltkreise zur Durchführung der Funktionen des einen oder der mehreren der vorstehend beschriebenen Ausführungsbeispiele realisiert werden. Der Computer kann einen oder mehrere Prozessoren (beispielsweise eine Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) umfassen, und kann ein Netzwerk separater Computer oder separater Prozessoren zum Auslesen und Ausführen der computerausführbaren Anweisungen enthalten. Die computerausführbaren Anweisungen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium zugeführt werden. Das Speichermedium kann beispielsweise eine Festplatte und/oder einen Speicher mit wahlfreiem Zugriff (RAM) und/oder einen Nur-Lese-Speicher (ROM) und/oder einen Speicher verteilter Rechensysteme und/oder eine optische Scheibe (wie eine Kompaktdisk (CD), Digital Versatile Disc (DVD) oder Blue-ray Disk (BD™) und/oder eine Flash-Speichereinrichtung und/oder eine Speicherkarte und dergleichen enthalten.
Ein erster Bereich eines Bildes wird aus einer Vielzahl von Bildelementen erzeugt, die auf einer interessierenden Zeile vorhanden sind, die derart eingestellt ist, dass sie durch ein einem Korrekturzielbildelement entsprechendes Bildelement läuft. Eine Vielzahl zweiter Bereiche wird erzeugt, wobei jeder zweite Bereich auf den Positionen einer Vielzahl von Bildelementen beruht, die auf zumindest einer Referenzzeile vorhanden sind, die derart eingestellt ist, dass sie nicht durch das Korrekturzielbildelement läuft. Der Wert des dem Korrekturzielbildelement entsprechenden Bildelements wird unter Verwendung eines Werts eines Bildelements auf jeder der zumindest einen Referenzzeile korrigiert, wobei der Wert beruhend auf den Korrelationsgrößen zwischen den jeweiligen zweiten Bereichen und dem ersten Bereich bestimmt wird.
Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentschutzansprüche soll die breiteste Interpretation zum Umfassen aller Modifikationen und äquivalenten Strukturen und Funktionen zukommen.

Claims

Bildverarbeitungsvorrichtung mit: einer Erhalteeinrichtung (103) zum Erhalten eines Bildes von einem Bildsensor (102), der ein defektes Bildelement aufweist, einer ersten Einstelleinrichtung (103) zum Einstellen eines ersten Bereichs des Bildes beruhend auf einer Position eines Korrekturzielbildelements, wobei das Korrekturzielbildelement in dem Bild dem defekten Bildelement des Bildsensors entspricht, wobei der erste Bereich eine Vielzahl von Bildelementen auf einer interessierenden Zeile enthält, die derart eingestellt ist, dass sie durch das Korrekturzielbildelement läuft, einer zweiten Einstelleinrichtung (103) zum Einstellen einer Vielzahl zweiter Bereiche des Bildes, wobei jeder zweite Bereich auf Positionen einer Vielzahl von Bildelementen beruht, die auf zumindest einer Referenzzeile vorhanden sind, die derart eingestellt ist, dass sie nicht durch das Korrekturzielbildelement läuft, einer Korrelationsberechnungseinrichtung (103) zur Berechnung von Korrelationsgrößen zwischen den jeweiligen zweiten Bereichen und dem ersten Bereich und einer Korrektureinrichtung (103) zur Berechnung eines Korrekturwerts zur Korrektur eines Werts des defekten Bildelements unter Verwendung eines Werts eines Bildelements auf jeder der zumindest einen Referenzzeile, wobei der Wert beruhend auf den Korrelationsgrößen bestimmt wird, und zum Korrigieren des Werts des defekten Bildelements unter Verwendung des Korrekturwerts.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Korrektureinrichtung den Korrekturwert unter Verwendung eines Werts eines Bildelements auf jeder der zumindest einen Referenzzeile berechnet, wobei der Wert für jede der zumindest einen Referenzzeile beruhend auf einem der Vielzahl zweiter Bereiche unter der Vielzahl der zweiten Bereiche bestimmt wird, in dem die größte Korrelationsgröße mit dem ersten Bereich erhalten wird.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei, wenn eine Vielzahl zweiter Bereiche vorhanden ist, in denen eine größte Korrelationsgröße mit dem ersten Bereich erhalten wird, die Korrektureinrichtung den Korrekturwert unter Verwendung eines Werts eines Bildelements berechnet, dessen Entfernung von dem defekten Bildelement unter einer Vielzahl von Bildelementen auf der durch die Vielzahl zweiter Bereiche bestimmten Referenzzeile am kürzesten ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die erste Einstelleinrichtung ein Bildelement derselben Farbe wie der des defekten Bildelements extrahiert und den erste Bereich einstellt, und die zweite Einstelleinrichtung ein Bildelement derselben Farbe wie der des durch die erste Einstelleinrichtung extrahierten Bildelements extrahiert und die Vielzahl zweiter Bereiche einstellt.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die erste Einstelleinrichtung ein Bildelement einer Farbe extrahiert, die von der Farbe des defekten Bildelements verschieden ist, und den ersten Bereich einstellt, und die zweite Einstelleinrichtung ein Bildelement derselben Farbe wie der des durch die erste Einstelleinrichtung extrahierten Bildelements extrahiert und die Vielzahl zweiter Bereiche einstellt.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die zweite Einstelleinrichtung die Vielzahl zweiter Bereiche für jede eine Vielzahl von Referenzzeilen mit verschiedenen Entfernungen von der interessierenden Zeile einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 6, wobei die Korrektureinrichtung eine Vielzahl von JP 2005- 175 547 A unter Verwendung eines Werts eines Bildelements berechnet, das jeweils auf der Vielzahl von Referenzzeilen vorhanden ist, die Vielzahl von Korrekturwerten kombiniert und einen endgültigen Korrekturwert berechnet.
Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Korrektureinrichtung die Vielzahl von Korrekturwerten derart kombiniert, dass ein Verhältnis eines Korrekturwerts größer ist, der unter Verwendung eines Bildelementwerts erhalten wird, der beruhend auf einer Korrelationsgröße unter den Korrelationsgrößen der jeweiligen zweiten Bereiche mit dem ersten Bereich bestimmt wird, die eine stärkere Korrelation darstellt.
Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Korrektureinrichtung die Vielzahl von Korrekturwerten derart kombiniert, dass je näher die Richtung eines Subjekts, das in dem defekten Bildelement erscheint, der Richtung der interessierenden Zeile ist, ein Verhältnis eines Korrekturwerts größer ist, der unter Verwendung eines Bildelementwerts erhalten wird, der beruhend auf einer Korrelationsgröße bestimmt wird, die bezüglich eines zweiten Bereichs berechnet wird, der aus der Referenzzeile mit einer größeren Entfernung von der interessierenden Zeile erzeugt wird.
Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Korrektureinrichtung die Vielzahl von Korrekturwerten derart kombiniert, dass ein Verhältnis eines Korrekturwerts größer ist, der unter Verwendung eines Bildelementwerts erhalten wird, der beruhend auf einer Korrelationsgröße eines zweiten Bereichs mit einer Tendenz einer Änderung in einem Bildelementwert mit einem geringen Unterschied von der des ersten Bereichs unter den Korrelationsgrößen der jeweiligen zweiten Bereiche mit dem ersten Bereich bestimmt wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 10, wobei die Entfernung zwischen jeder der zumindest einen Referenzzeile und der interessierenden Zeile gleich einem Vielfachen einer Wiederholeinheit eines Farbfilters ist, der in einem Bildsensor vorgesehen ist, der das Bild erzeugt.
Verfahren zur Steuerung der Bildverarbeitungsvorrichtung, mit einem Erhalteschritt (S301) eines Erhaltens eines Bildes von einem Bildsensor (102), der ein defektes Bildelement aufweist, einem ersten Einstellschritt (S303) eines Einstellens eines ersten Bereichs des Bildes beruhend auf einer Position eines Korrekturzielbildelements, wobei das Korrekturzielbildelement in dem Bild dem defekten Bildelement des Bildsensors entspricht, wobei der erste Bereich eine Vielzahl von Bildelementen auf einer interessierenden Zeile enthält, die derart eingestellt ist, dass sie durch das Korrekturzielbildelement läuft, einem zweiten Einstellschritt (S304) eines Einstellens einer Vielzahl zweiter Bereiche des Bildes, wobei jeder zweite Bereich auf Positionen einer Vielzahl von Bildelementen beruht, die auf zumindest einer Referenzzeile vorhanden sind, die derart eingestellt ist, dass sie nicht durch das Korrekturzielbildelement läuft, einem Korrelationsberechnungsschritt (S305) eines Berechnens von Korrelationsgrößen zwischen den jeweiligen zweiten Bereichen und dem ersten Bereich, und einem Korrekturschritt (S306, S307) eines Berechnens eines Korrekturwerts zum Korrigieren eines Werts des defekten Bildelements unter Verwendung eines Werts eines Bildelements auf jeder der zumindest einen Referenzzeile, wobei der Wert beruhend auf den Korrelationsgrößen bestimmt wird, und eines Korrigierens des Werts des defekten Bildelements unter Verwendung des Korrekturwerts.
Computerlesbarer Speicherträger, der ein Programm speichert, das einen Computer zum Ausführen der Schritte des Verfahrens nach Anspruch 12 veranlasst, wenn das Programm auf dem Computer abläuft.
Computerprogramm, das einen Computer zum Ausführen der Schritte des Verfahrens nach Anspruch 12 veranlasst, wenn es auf dem Computer abläuft.