DE112015005599T5

DE112015005599T5 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm

Info

Publication number: DE112015005599T5
Application number: DE112015005599.1T
Authority: DE
Inventors: Manabu Ichikawa; Hiroki Maruyama
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-01-20
Filing date: 2015-01-20
Publication date: 2017-09-28
Also published as: CN107113383B; WO2016117034A1; JPWO2016117034A1; CN107113383A; US10791288B2; JP6320571B2; US20170302867A1

Abstract

Es werden eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm bereitgestellt, die die die Aufnahmezeit und die Berechnungsmenge reduzieren können. Eine erste Bildverarbeitungsvorrichtung 20 umfasst eine Pixelwertgruppenerstellungseinheit 202b und eine RTS-Rauschen-Bestimmungseinheit 202e. Die Pixelwertgruppenerstellungseinheit 202b erstellt eine Mehrzahl von Pixelwertgruppen durch Klassifizieren der Pixelwerte für jede der Mehrzahl von Ausleseschaltungen. Die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von Gruppen, die von der Pixelwertgruppenerstellungseinheit 202b erstellt werden, ob Blinkdefektrauschen zu jeder der Mehrzahl von Pixelwertgruppen hin auftritt.

Description

Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm zur Bestimmung von Blinkdefektrauschen, das innerhalb eines festen Bereichs variiert, wie beispielsweise RTS-Rauschen, das in einem Bildsensor auftritt, der eine Mehrzahl von zweidimensional angeordneten Pixeln umfasst.
Hintergrund
In den letzten Jahren ist in einem Bildsensor, wie beispielsweise einem Complementary Metal Oxide Semiconductor (CMOS), die Verkleinerung eines Pixels und eine Ausleseschaltung, die ein Signal aus dem Pixel ausliest, fortgeschritten. In diesem Kontext der Verkleinerung besteht ein Problem von verringerter Empfindlichkeit und vermehrtem Rauschen. Zur Handhabung der verringerten Empfindlichkeit ist es durch Verwendung einer gemeinsam genutzten Pixelstruktur des Auslesens eines Signals mit einer Ausleseschaltung, die von einer Mehrzahl von Pixeln gemeinsam genutzt wird, möglich, den Bereich, der Ausleseschaltung zu reduzieren und das Öffnungsverhältnis (Anteil des Lichtempfangsteils) jedes der Pixel zu verbessern, wodurch die Empfindlichkeit verbessert wird.
Rauschen, das in dem Bildsensor auftritt, umfasst Dunkelstromaufnahmerauschen aufgrund von Dunkelstrom und Zufallsrauschen, das mit dem thermischen Rauschen an den Ausleseschaltungen in Zusammenhang steht. Vielmehr gibt es nicht nur das Dunkelstromaufnahmerauschen und das Zufallsrauschen, sondern auch ein defektes Pixel, an dem ein Pixelwert konstant einen anormalen Wert angibt, Blinkdefektrauschen, das bewirkt, dass der Pixelwert bei individueller Abbildung oder dergleichen variiert. Das Blinkdefektrauschen umfasst ein Zufalls-Telegraphiesignal(RTS)-Rauschen, das im Zusammenhang mit der Ausleseschaltung steht. Als eine Technik zur Erfassung des RTS-Rauschens für jedes Pixel des Bildsensors gibt es eine bekannte Technik zur Berechnung eines Werts durch Subtraktion eines Durchschnittswerts von Pixelwerten auf einer Mehrzahl von aufgenommenen Bildern von dem Pixelwert jedes der Bilder und in einem Fall, in dem der Wert ein Aufnahmerauschen oder höher ist, zur Bestimmung des Werts als ein Rauschpegel des RTS-Rauschens (nachstehend als ein „RTS-Rauschpegel” bezeichnet) (mit Bezugnahme auf Patentliteratur 1).
Literaturliste
Patentliteratur

Patentliteratur 1: JP 2012-105063 A

Kurzbeschreibung
Technisches Problem
In der vorstehend beschriebenen Patentliteratur 1 wird für die Verbesserung der RTS-Rauschenerfassungsgenauigkeit jedoch eine große Anzahl an Bildern benötigt, was zu einem Problem des höheren Zeitbedarfs bei der Aufnahme von Bildern, die für die Erfassung nötig sind, und höheren Berechnungsbedarfs, der für die Erfassung nötig ist, führt.
Die vorliegende Erfindung wurde in Anbetracht der vorstehend beschriebenen Situationen erdacht und eine Aufgabe der Erfindung besteht in der Bereitstellung einer Bildverarbeitungsvorrichtung, eines Bildverarbeitungsverfahrens und eines Programms, die die Erfassung von Blinkdefektrauschen, das innerhalb eines festen Bereichs variiert, mit hoher Genauigkeit ausführen können, wie beispielsweise das RTS-Rauschen, während die Aufnahmezeit und die Berechnungsmenge niedrig gehalten werden.
Lösung des Problems
Um das vorstehend beschriebene Problem und die Aufgabe zu lösen, umfasst eine erfindungsgemäße Bildverarbeitungsvorrichtung: eine Pixelwertgruppenerstellungseinheit, die dafür konfiguriert ist, für eine Mehrzahl von Bilddaten, die von einem Bildsensor erzeugt werden, der umfasst: eine Mehrzahl von zweidimensional angeordneten Pixeln, um Licht von außen zu empfangen und ein Signal zu erzeugen, das einer Menge des empfangenen Lichts entspricht, und eine Mehrzahl von Ausleseschaltungen, die gemeinsam genutzt werden von einer vorbestimmten Anzahl von Pixeln und dafür konfiguriert sind, das Signal als Pixelwerte auszulesen, eine Mehrzahl von Pixelwertgruppen durch Klassifizieren der Pixelwerte für jede der Mehrzahl von Ausleseschaltungen zu erstellen; und eine Rauschen-Bestimmungseinheit, die dafür konfiguriert ist, auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von Gruppen, die von der Pixelwertgruppenerstellungseinheit erzeugt werden, zu bestimmen, ob Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt.
Die Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst ferner eine Einheit zur Erfassung von defekten Pixeln, die dafür konfiguriert ist, auf Grundlage der Mehrzahl von von dem Bildsensor erzeugten Bilddaten, ein Pixel mit einem Fleck als ein defektes Pixel zu erfassen. Die Pixelwertgruppenerstellungseinheit ist dafür konfiguriert, die Mehrzahl von Pixelwertgruppen durch Ausschluss eines Pixelwertes des defekten Pixels zu erstellen, das von der Einheit zur Erfassung von defekten Pixeln erfasst wird.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung hat das defekte Pixel einen eines Weißpunktes und eines Schwarzpunktes.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung ist die Einheit zur Erfassung von defekten Pixeln dafür konfiguriert: einen Mittelwert der Pixelwerte, die von jeder der Mehrzahl von Pixeln ausgelesen werden, auf Grundlage der Mehrzahl von von dem Bildsensor erzeugten Bilddaten zu berechnen; und das defekte Pixel auf Grundlage des Mittelwertes zu erfassen.
Die Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst ferner eine Zufalllsrauschenmengenberechnungseinheit, die dafür konfiguriert, ist, eine Zufallsrauschenmenge jeder der Mehrzahl von von der Pixelwertgruppenerstellungseinheit erzeugten Pixelwertgruppen zu berechnen und eine Zufallsrauschenmenge der Mehrzahl von Bilddaten zu berechnen. Die Rauschen-Bestimmungseinheit ist dafür konfiguriert, zu bestimmen, ob das Blinkdefektrauschen in jeder der Mehrzahl von Pixelgruppen auftritt, auf Grundlage der von der Zufallsrauschenmengenberechnungseinheit berechneten Zufallsrauschenmenge jeder der Mehrzahl von Pixelwertgruppen und auf Grundlage der Zufallsrauschenmenge der Mehrzahl der von der Zufallsrauschenmengenberechnungseinheit berechneten Bilddaten.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung ist die Zufallsrauschenmenge eine einer Standardabweichung, Streuung, Verteilungsbereichsgröße, eines Maximalwerts und eines Minimalwerts der Pixelwerte.
Die Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst ferner eine Merkmalsdatenberechnungseinheit, die dafür konfiguriert ist, Merkmalsdaten, die ein Merkmal des Blinkdefektrauschens anzeigen, auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von Pixelwertgruppen und auf Grundlage eines Modells des Blinkdefektrauschens, das im Vorhinein aufgezeichnet wurde, zu berechnen. Die Rauschen-Bestimmungseinheit ist dafür konfiguriert, zu bestimmen, ob das Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt, auf Grundlage der von der Zufallsrauschenmengenberechnungseinheit berechneten Zufallsrauschenmenge jeder der Mehrzahl von Pixelwertgruppen auf Grundlage der von der Zufallsrauschenmengenberechnungseinheit berechneten Zufallsrauschenmenge der Mehrzahl von Bilddaten und auf Grundlage der von der Merkmalsdatenberechnungseinheit berechneten Merkmalsdaten.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung ist das Modell des Blinkdefektrauschens ein gemischtes Verteilungsmodell, das eine Mehrzahl von Verteilungen umfasst.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung umfassen die Merkmalsdaten eines oder mehrere einer Amplitude des Blinkdefektrauschens, Frequenz des Auftretens des Blinkdefektrauschens und Frequenz des Auftretens des Blinkdefektrauschens unterhalb der Amplitude des Blinkdefektrauschens.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung umfassen die Merkmalsdaten die Anzahl von Kandidatenzahlen von Korrekturwerten zur Korrektur des Blinkdefektrauschens.
Die Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst ferner eine Rauschinformationsaufzeichnungseinheit, die dafür konfiguriert ist, Rauschinformation aufzuzeichnen, in der ein von der Rauschen-Bestimmungseinheit erlangtes Bestimmungsergebnis, Positionsinformation jeder der Mehrzahl von Ausleseschaltungen und die Merkmalsdaten einander zugeordnet werden.
Die Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst ferner eine Rauschen-Korrektureinheit, die dafür konfiguriert ist, das Blinkdefektrauschen auf Grundlage der von der Aufzeichnungseinheit aufgezeichneten Rauschinformation zu korrigieren.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung ist die Rauschen-Bestimmungseinheit dafür konfiguriert, auf Grundlage der Verteilung von Werten, die durch Subtraktion eines für jedes der Mehrzahl von Pixeln eingestellten vorbestimmten Wertes von einem Pixelwert jeder der Mehrzahl von von der Pixelwertgruppenerstellungseinheit erstellten Pixelwertgruppen erlangt werden, zu bestimmen, ob das Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst der Bildsensor ein optisches Schwarzpixel zur Ausführung von Offset-Erfassung von elektrischen Ladungen, die Dunkelstrom umfassen, und basiert der vorbestimmte Wert auf einem von dem optischen Schwarzpixel erlangten Pixelwert.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung ist der vorbestimmte Wert ein Mittelwert der aus jedem der Mehrzahl von Pixeln ausgelesenen Pixelwerte.
In der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist das Blinkdefektrauschen ein Zufallsrauschentelegraphiesignal.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung wird die Mehrzahl von Bilddaten unter einer gleichen Belichtungsbedingung erfasst.
In der Bildverarbeitungsvorrichtung gemäß der Erfindung wird die Mehrzahl von Bilddaten in einem Licht-abgeschirmten Zustand erfasst.
Ein Bildverarbeitungsverfahren gemäß der Erfindung umfasst: einen Pixelwertgruppenerstellungsschritt zur Erstellung für eine Mehrzahl von Bilddaten, die von einem Bildsensor erzeugt werden, der umfasst: eine Mehrzahl von zweidimensional angeordneten Pixeln, um Licht von außen zu empfangen und ein Signal zu erzeugen, das einer Menge des empfangenen Lichts entspricht, und eine Mehrzahl von Ausleseschaltungen, die von einer vorbestimmten Anzahl von Pixeln gemeinsam genutzt werden und dafür konfiguriert sind, das Signal als Pixelwerte auszulesen, eine Mehrzahl von Pixelwertgruppen durch Klassifizieren der Pixelwerte für jede der Mehrzahl von Ausleseschaltungen zu erstellen; und einen Rauschen-Bestimmungsschritt zum Bestimmen auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von in der Pixelwertgruppenerstellungseinheit erstellten Pixelwertgruppen, ob Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt.
Ein Programm gemäß der Erfindung ist ein Programm, um zu bewirken, dass eine Bildverarbeitungsvorrichtung ausführt: einen Pixelwertgruppenerstellungsschritt zum Erstellen für eine Mehrzahl von Bilddaten, die von einem Bildsensor erzeugt werden, der umfasst: eine Mehrzahl von zweidimensional angeordneten Pixeln, um Licht von außen zu empfangen und ein Signal zu erzeugen, das einer Menge des empfangenen Lichtes entspricht; und eine Mehrzahl von Ausleseschaltungen, die von einer vorbestimmten Anzahl von Pixeln gemeinsam genutzt werden und dafür konfiguriert sind, das Signal als Pixelwerte auszulesen, eine Mehrzahl von Pixelwertgruppen durch Klassifizieren der Pixelwerte für jede der Mehrzahl von Ausleseschaltungen zu erstellen; und einen Rauschbestimmungsschritt zum Bestimmen auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von in der Pixelwertgruppenerstellungseinheit erstellten Pixelwertgruppen, ob Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt. Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung ist es möglich, eine Erfassung eines Blinkdefektrauschen, das innerhalb eines festen Bereichs variiert, wie beispielsweise das RTS-Rauschen, mit hoher Genauigkeit auszuführen und die Aufnahmezeit und die Berechnungszeit zu verringern.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Abbildungssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das schematisch eine Konfiguration von Hauptteilen eines Bildsensors gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
3 ist ein Diagramm, das eine Variation der Verstärkerausgabe zeigt, die von einer Verstärkereinheit zum Zeitpunkt des Auftretens von RTS-Rauschen in einem Fall, in dem Licht abgeschirmt wird, ausgegeben wird, um zu vermeiden, dass das Licht den Bildsensor gemäß der ersten Ausführungsform der vorliegenden Erfindung erreicht.
4 ist ein Diagramm, das die Verteilung von ausgelesenen Pixelwerten unter Verwendung der Verstärkereinheit, in der RTS-Rauschen auftritt, zeigt.
5 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zeigt, die von einer ersten Bildverarbeitungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
6 ist ein Ablaufdiagramm, das einen Überblick über eine Erfassung eines isolierten Punkts und eine Pixelwertgruppenerstellungsverarbeitung in 5 zeigt.
7 ist ein Diagramm, das schematisch ein Pixel eines Bildsensors zeigt, der einen Pixelwert ausgibt, der in eine gleiche Pixelwertgruppe klassifiziert wird.
8 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung der Berechnung der gemittelten Zufallsrauschenmenge und RTS-Markierungseinstellung in 5 zeigt.
9 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung bei der RTS-Markierungseinstellungsverarbeitung in 8 zeigt.
10 ist ein Ablaufdiagramm, das einen Überblick über eine RTS-Merkmalsdatenberechnungsverarbeitung in 5 zeigt.
11 ist ein Diagramm, das ein beispielhaftes Absolutwerthistogramm zeigt.
12 ist ein Ablaufdiagramm, das einen Überblick über eine RTS-Rauschen-Bestimmungsverarbeitung in 5 zeigt.
13 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zeigt, die von einer zweiten Bildverarbeitungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
14 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung der Berechnung von repräsentativen Werten in 13 zeigt.
15 ist ein Ablaufdiagramm, das ein beispielhaftes Zufallsrauschenmodell zeigt.
16 ist ein Ablaufdiagramm, das einen Überblick über eine Korrekturwertberechnungsverarbeitung in 13 zeigt.
17 ist ein Diagramm, das eine beispielhafte Annäherung an die gemischte normale Verteilung eines Absolutwerthistogramms zeigt.
18 ist ein Diagramm, das eine Beziehung zwischen RTS-Value-Luminanzverteilung und einem Kandidatenwert in dem Kandidatenwertberechnungsverfahren 2 gemäß der zweiten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung zeigt.
19 ist ein Diagramm, das eine Beziehung zwischen dem RTS-Value Histographen und einem Kandidatenwert in dem Kandidatenwertberechnungsverfahren 3 gemäß der dritten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung zeigt.
20 ist ein Ablaufdiagramm, das einen Überblick von RTS-Rauschen-Bestimmungsverarbeitung zeigt, die von einer ersten Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
21 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zeigt, die von der zweiten Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
22 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Abbildungssystems gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt.
23 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung zeigt, die von dem Abbildungssystem gemäß der dritten Ausführungsform der vorliegenden Erfindung ausgeführt wird.
24 ist ein Ablaufdiagramm, das einen Überblick über die Einstellungsverarbeitung in 23 zeigt.
25 ist ein Ablaufdiagramm, das einen Überblick über Bildverarbeitung in 23 zeigt.
Beschreibung von Ausführungsformen
Ausführungsarten der vorliegenden Erfindung (nachstehend als Ausführungsformen) beschrieben) sind nachstehend mit Bezugnahme auf die Zeichnungen beschrieben. Die vorliegende Erfindung ist nicht durch die nachstehend beschriebenen Ausführungsformen beschränkt. Die gleichen Bezugszeichen werden zur Bezeichnung der gleichen Elemente in allen Zeichnungen verwendet.
(Erste Ausführungsform)
[Konfiguration des Abbildungssystems]
1 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Abbildungssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. Ein in 1 gezeigtes Abbildungssystem 1 umfasst eine Abbildungsvorrichtung 10, eine erste Bildverarbeitungsvorrichtung 20, eine zweite Bildverarbeitungsvorrichtung 30 und eine Anzeigevorrichtung 40.
[Konfiguration der Abbildungsvorrichtung]
Zuerst wird eine Konfiguration der Abbildungsvorrichtung 10 beschrieben. Wie in 1 gezeigt, umfasst die Abbildungsvorrichtung 10 ein optisches System 101, eine Blende 102, einen Verschluss 103, einen Treiber 104, einen Bildsensor 105, eine analoge Verarbeitungseinheit 106, einen A/D-Wandler 107, eine Betätigungseinheit 108, eine Speicher-Schnittstelleneinheit 109, ein Aufzeichnungsmedium 110, einen flüchtigen Speicher 111, einen nicht flüchtigen Speicher 112, einen Bus 113, eine Abbildungssteuereinrichtung 114 und eine erste externe Schnittstelleneinheit 115.
Das optische System 101 umfasst eine Mehrzahl von Linsen. Das optische System 101 umfasst beispielsweise eine Fokuslinse und eine Zoomlinse.
Die Blende 102 stellt die Belichtung durch Begrenzen einer einfallenden Lichtmenge ein, die von dem optischen System 101 erfasst wird. Unter Steuerung der Abbildungssteuereinrichtung 114 begrenzt die Blende 102 die einfallende Lichtmenge, die von dem optischen System 101 erfasst wird.
Der Verschluss 103 stellt den Zustand des Bildsensors 105 auf einen Belichtungszustand oder ein Lichtabschirmzustand ein. Der Verschluss 103 umfasst beispielsweise einen Brennebenenverschluss.
Unter Steuerung der nachstehend beschriebenen Abbildungssteuereinrichtung 114 treibt der Treiber 104 das optische System 101, die Blende 102 und den Verschluss 103. Beispielsweise führt der Treiber 104 eine Zoomvergrößerungsänderung oder eine Fokuspositionseinstellung für die Abbildungsvorrichtung 10 durch, indem er das optische System 101 entlang einer optischen Achse O1 bewegt.
Unter Steuerung der nachstehend beschriebenen Abbildungssteuereinrichtung 114 empfängt der Bildsensor 105 das von dem optischen System 101 erfasste Licht, wandelt das aufgenommene Licht in Bilddaten (elektrisches Signal) um und gibt die Bilddaten aus. Der Bildsensor 105 umfasst einen Complementary Metal Oxide Semiconductor (CMOS), der eine Mehrzahl von zweidimensional angeordneten Pixeln umfasst. Ein in einer Bayer-Matrix angeordneter RGB-Filter ist an einer Vorderfläche jedes der Pixel angeordnet. Der Bildsensor 105 ist nicht auf die Bayer-Matrix beschränkt, sondern kann in einer gestapelten Form, wie beispielsweise Fovion, vorliegen. Außerdem ist es möglich, nicht nur einen RGB-Filter zu verwenden, sondern auch jeglichen anderen Filter, wie beispielsweise einen Komplementärfarbenfilter. Alternativ kann es möglich sein, getrennt eine Lichtquelle vorzusehen, die Lichtstrahlen mit unterschiedlichen Farben auf einer Zeitunterteilungs-Basis ausstrahlen kann, ohne einen Filter auf dem Bildsensor 105 vorzusehen, und ein Farbbild unter Verwendung von sequenziell aufgenommenen Bildern abzubilden, während die auszustrahlenden Farben der Strahlen verändert werden.
Jetzt wird die Konfiguration des Bildsensors 105 ausführlich beschrieben. 2 ist ein Diagramm, das schematisch die Konfiguration von Hauptteilen des Bildsensors 105 zeigt. Der Bildsensor 105 in 2 ist ein beispielhafter Fall, in dem eine Ausleseschaltung von einer Mehrzahl von Pixeln gemeinsam genutzt wird, um die Empfindlichkeit zu verbessern, indem das Öffnungsverhältnis des Pixels erhöht wird. Der in 2 gezeigte Bildsensor 105 umfasst eine Ausleseschaltung, die für acht Pixel vorgesehen ist, d. h. zwei Pixel in die horizontale Richtung (seitliche Richtung) mal vier Pixel in die vertikale Richtung (Längsrichtung). Während 2 einen beispielhaften Fall zeigt, in dem eine Ausleseschaltung als eine Gruppe für acht Pixel vorgesehen ist, d. h. zwei Pixel in die horizontale Richtung (seitliche Richtung) mal vier Pixel in die vertikale Richtung (Längsrichtung), hat der Bildsensor 105 gemäß der ersten Ausführungsform eine Konfiguration, in der die vorstehend beschriebenen Pixel und die Ausleseschaltung in die horizontale und vertikale Richtung nebeneinander angeordnet sind.
Wie in 2 gezeigt, umfasst der Bildsensor 105 eine Mehrzahl von Pixeln (Photodioden) 105a, einen ersten Schalter 105b, eine vertikale Übertragungsleitung 105c, eine Einheit 105d für schwebende Diffusion (FD), eine Verstärkereinheit 105e, einen zweiten Schalter 105f, eine Steuerleitung 105g und eine Übertragungsleitung 105h. Jedes der Mehrzahl von Pixeln 105a empfängt Licht durch Belichtung, führt photoelektrische Wandlung durch, wodurch entsprechend einer Belichtungsmenge elektrische Ladungen erzeugt werden. Der erste Schalter 105b ist an jedem der Mehrzahl von Pixeln 105a vorgesehen und öffnet sich oder schließt sich entsprechend der Steuerung der Abbildungssteuereinrichtung 114. Die vertikale Übertragungsleitung 105c überträgt Signale (elektrische Ladungen), die von jedem der Mehrzahl von Pixeln 105a ausgegeben werden, in die vertikale Richtung. Die Einheit 105d für schwebende Diffusion (FD) speichert die von der Mehrzahl von Pixeln 105a ausgegebenen Signale. Die Verstärkereinheit 105e verstärkt die von der FD-Einheit 105d ausgegebenen Signale. Der zweite Schalter 105f öffnet sich oder schließt sich entsprechend der Steuerung der Abbildungssteuereinrichtung 114. Die Steuerleitung 105g steuert den zweiten Schalter 105f. Die Übertragungsleitung 105h überträgt das von der Verstärkungseinheit 105e verstärkte elektrische Signal.
In einem Fall, in dem der wie vorstehend beschrieben konfigurierte Bildsensor 105 ein Signal, das der Belichtungsmenge auf Pixeln 105a(1) bis 105a(8) entspricht, als einen Pixelwert ausliest, wird die an dem Pixel 105a(1) erzeugte elektrische Ladung an die FD-Einheit 105d übertragen, indem die FD-Einheit 105d zuerst rückgesetzt wird und nur ein erster Schalter 105b(1) von der Abbildungssteuereinrichtung 114 eingeschaltet wird. Danach schaltet die Abbildungssteuereinrichtung 114 den zweiten Schalter 105f ein, wodurch der Bildsensor 105 bewirkt, dass die Verstärkereinheit 105e die in der FD-Einheit 105d gespeicherten elektrischen Ladungen verstärkt und die elektrische Ladung als einen Pixelwert ausliest (ausgibt). Als nächstes setzt der Bildsensor 105 die FD-Einheit 105d zurück und schaltet die Abbildungssteuereinrichtung 114 nur einen ersten Schalter 105b(2) ein, wodurch der Bildsensor 105 die an dem Pixel 105a(2) erzeugten elektrischen Ladungen an die FD-Einheit 105d überträgt. Danach schaltet die Abbildungssteuereinrichtung 114 den zweiten Schalter 105f ein, wodurch der Bildsensor 105 bewirkt, dass die Verstärkereinheit 105e die in der FD-Einheit 105d gespeicherten elektrischen Ladungen verstärkt, und die elektrischen Ladungen als einen Pixelwert ausliest. Durch sequenzielle Ausführung eines solchen Auslesevorgangs kann der Bildsensor 105 sequenziell das Signal, das der Belichtungsmenge jedes der Pixel 105a(1) bis 105a(8) entspricht, als einen Pixelwert ausgeben. In der ersten Ausführungsform dient die Verstärkereinheit 105e als eine Ausleseschaltung, die elektrische Ladungen aus jedem der Mehrzahl von Pixeln 105a ausliest.
Jetzt folgt wieder mit Bezugnahme auf 1 nachstehend eine Beschreibung der Konfiguration der Abbildungsvorrichtung 10.
Die analoge Verarbeitungseinheit 106 führt vorbestimmte analoge Verarbeitung auf einem von dem Bildsensor 105 ausgegebenen Analogsignal aus und gibt das verarbeitete Signal an den A/D-Wandler 107 aus. Insbesondere führt die analoge Verarbeitungseinheit 106 eine Rauschreduzierungsverarbeitung, eine Verstärkungsverarbeitung oder dergleichen auf dem von dem Bildsensor 105 zugeführten Analogsignal aus. Beispielsweise führt die analoge Verarbeitungseinheit 106 auf dem Analogsignal eine Reduzierung des Rücksetzrauschens und dergleichen und Wellenformformung aus und führt dann weiterhin Verstärkung aus, um die beabsichtigte Helligkeit zu erreichen.
Der A/D-Wandler 107 erzeugt digitale Bilddaten (nachstehend als „Rohbilddaten” bezeichnet) durch Ausführen von A/D-Wandlung auf dem von der analogen Verarbeitungseinheit 106 zugeführten Analogsignal und gibt die erzeugten Daten über den Bus 113 an den flüchtigen Speicher 111 aus. Der A/D-Wandler 107 kann die Rohbilddaten direkt an jeden von Teilen der nachstehend beschriebenen Abbildungsvorrichtung 10 ausgeben. Es kann möglich sein, die Konfiguration derart zu gestalten, dass die analoge Verarbeitungseinheit 106 und der A/D-Wandler 107 an dem Bildsensor 105 vorgesehen sind und dass der Bildsensor 105 direkt digitale Rohbilddaten ausgibt.
Die Betätigungseinheit 108 stellt der Abbildungsvorrichtung 10 verschiedene Befehle bereit. Insbesondere umfasst die Betätigungseinheit 108 einen Ein-/Aus-Schalter, einen Freigabeschalter, einen Betätigungsschalter und einen Bewegtbildschalter. Der Ein-/Aus-Schalter schaltet die Energiezufuhrzustände der Abbildungsvorrichtung 10 zwischen einem EIN-Zustand und einem AUS-Zustand. Der Freigabeschalter stellt eine Anweisung von Standbildaufnahme bereit. Der Betätigungsschalter schaltet verschiedene Einstellungen der Abbildungsvorrichtung 10. Der Bewegtbildschalter stellt eine Anweisung von Bewegtbildaufnahme bereit.
Das Aufzeichnungsmedium 110 umfasst eine Speicherkarte, die von außerhalb der Abbildungsvorrichtung 10 angebracht wird und lösbar an der Abbildungsvorrichtung 10 über die Speicher-I/F-Einheit 109 befestigt ist. Außerdem kann das Aufzeichnungsmedium 110 Programme und verschiedene Typen von Informationen über die Speicher-Schnittstellen-Einheit 109 unter Steuerung der Abbildungssteuereinrichtung 114 an den nicht flüchtigen Speicher 112 ausgeben.
Der flüchtige Speicher 111 speichert von dem A/D-Wandler 107 über den Bus 113 zugeführte Bilddaten vorübergehend. Beispielsweise speichert der flüchtige Speicher 111 Bilddaten, die sequenziell von dem Bildsensor 105 Rahmen für Rahmen ausgegeben werden, über die analoge Verarbeitungseinheit 106, den A/D-Wandler 107 und den Bus 113. Der flüchtige Speicher 111 umfasst einen synchronen dynamischen Direktzugriffsspeicher (SDRAM).
Der nicht flüchtige Speicher 112 zeichnet verschiedene Programme, die notwendig sind, um die Abbildungsvorrichtung 10 zu betreiben, und verschiedene Datentypen, die bei der Ausführung der Programme verwendet werden, auf. Außerdem umfasst der nicht flüchtige Speicher 112 eine Programmaufzeichnungseinheit 112a, eine RTS-Rauschinformationsaufzeichnungseinheit 112b und eine Zufallsrauschenmodellinformationsaufzeichnungseinheit 112c. Die RTS-Rauschinformationsaufzeichnungseinheit 112b zeichnet RTS-Rauschenpositionsinformation des RTS-Rauschens auf dem Bildsensor 105 auf, die über die erste externe Schnittstelleneinheit 115 eingegeben wird. Die Zufallsrauschenmodellinformationsaufzeichnungseinheit 112c zeichnet ein Zufallsrauschenmodell auf. Der nicht flüchtige Speicher 112 umfasst einen Flashspeicher.
Der Bus 113 umfasst eine Übertragungsleitung, die individuelle Elemente der Abbildungsvorrichtung 10 miteinander verbindet, und überträgt verschiedene Typen von Daten, die in der Abbildungsvorrichtung 10 erzeugt werden, an jedes der individuellen Elemente der Abbildungsvorrichtung 10.
Die Abbildungssteuereinrichtung 114 umfasst eine zentrale Verarbeitungseinheit und steuert integral die Betätigung der Abbildungsvorrichtung 10 durch Bereitstellung von Befehlen und Übertragung von Daten an individuelle Elemente der Abbildungsvorrichtung 10 als Reaktion auf ein Befehlssignal und ein Freigabesignal von der Betätigungseinheit 108. Beispielsweise führt in einem Fall, in dem ein zweites Freigabesignal von der Betätigungseinheit 108 eingegeben wurde, die Abbildungssteuereinrichtung 114 die Steuerung des Beginns eines Aufnahmevorgangs auf der Abbildungsvorrichtung 10 aus. Hier ist der Aufnahmevorgang an der Abbildungsvorrichtung 10 ein Vorgang einer vorbestimmten Verarbeitung, die von der analogen Verarbeitungseinheit 106 und dem A/D-Wandler 107 auf den von dem Bildsensor 105 ausgegebenen Bilddaten ausgeführt wird. Die auf diese Weise verarbeiteten Bilddaten werden in dem Aufzeichnungsmedium 110 über den Bus 113 und die Speicher-Schnittstellen-Einheit 109 unter Steuerung der Abbildungssteuereinrichtung 114 aufgezeichnet.
Die erste externe Schnittstelleneinheit 115 gibt Information, die von externen Vorrichtungen über den Bus 113 eingegeben wird, an den nicht flüchtigen Speicher 112 oder den flüchtigen Speicher 111 aus und gibt über den Bus 113 in dem flüchtigen Speicher 111 aufgezeichnete Information, in dem nicht flüchtigen Speicher 112 gespeicherte Information und die von dem Bildsensor 105 erzeugten Bilddaten an externe Vorrichtungen aus. Insbesondere gibt die erste externe Schnittstelleneinheit 115 die von dem Bildsensor 105 erzeugten Bilddaten über den Bus 113 an die erste Bildverarbeitungsvorrichtung 20 und die zweite Bildverarbeitungsvorrichtung 30 aus.
[Konfiguration der ersten Bildverarbeitungsvorrichtung]
Als nächstes wird die Konfiguration der ersten Bildverarbeitungsvorrichtung 20 beschrieben. Die erste Bildverarbeitungsvorrichtung 20 umfasst eine zweite externe Schnittstelleneinheit 201 und eine RTS-Rauschen-Erfassungseinheit 202.
Die zweite externe Schnittstelleneinheit 201 erlangt die von dem Bildsensor 105 erzeugten Bilddaten über die erste externe Schnittstelleneinheit 115 der Abbildungsvorrichtung 10 und gibt die erlangten Bilddaten an die RTS-Rauschen-Erfassungseinheit 202 aus. Außerdem gibt die zweite externe Schnittstelleneinheit 201 die von der RTS-Rauschen-Erfassungseinheit 202 eingegebene Information an die Abbildungsvorrichtung 10 aus.
Die RTS-Rauschen-Erfassungseinheit 202 erfasst RTS-Rauschen, das auf dem Bildsensor 105 auftritt, auf Grundlage der von der Abbildungsvorrichtung 10 erfassten Bilder und zeichnet ein Ergebnis der Erfassung in dem nicht flüchtigen Speicher 112 über die zweite externe Schnittstelleneinheit 201, die erste externe Schnittstelleneinheit 115 und den Bus 113 auf. Die RTS-Rauschen-Erfassungseinheit 202 umfasst eine Einheit zur Erfassung von isolierten Punkten 202a, eine Pixelwertgruppenerstellungseinheit 202b, eine Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c, eine RTS-Rauschen-Merkmalsdatenberechnungseinheit 202d und eine RTS-Rauschen-Bestimmungseinheit 202e.
Auf Grundlage eines Dunkelzeit-Rohbilds (nachstehend einfach als das „Dunkelzeit-Rohbild” bezeichnet), das einer Mehrzahl von Rohbilddaten entspricht, die in einen Zustand erfasst werden, in dem der Bildsensor 105 gegen Licht abgeschirmt ist (beispielsweise in einem Zustand, in dem der Verschluss 103 geschlossen ist; nachstehend als ein „Dunkelzeitzustand” bezeichnet), führt die Einheit zur Erfassung von isolierten Punkten 202a die Erfassung eines isolierten Punktes und die Subtraktion von OB-Komponenten aus und gibt dann ein Ergebnis von Isolationserfassung und das Dunkelzeit-Rohbild nach der Subtraktion an die Pixelwertgruppenerstellungseinheit 202b aus. In der ersten Ausführungsform dient die Einheit zur Erfassung von isolierten Punkten 202a als eine Einheit zur Erfassung von defekten Pixeln.
Die Pixelwertgruppenerstellungseinheit 202b schließt einen Pixelwert des als einen isolierten Punkt erfassten Pixels auf der Grundlage einer Mehrzahl von Pixelwerten des Dunkelzeit-Rohbilds nach Subtraktion durch die Einheit zur Erfassung von isolierten Punkten 202a aus. Ferner erstellt die Pixelwertgruppenerstellungseinheit 202b eine Mehrzahl von Pixelwertgruppen durch Ausführung einer Klassifizierung für jede der Ausleseschaltungen (Verstärkereinheiten 105a) auf Grundlage des gemeinsam genutzten Pixelsystems des Bildsensors 105 und gibt die Mehrzahl von Pixelwertgruppen an die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c aus. Alternativ kann die Pixelwertgruppenerstellungseinheit 202b den gemäß dem erfassten isolierten Punkt korrigierten Pixelwert verwenden, ohne den Pixelwert des Pixels auszuschließen, der von der Einheit zur Erfassung von isolierten Punkten 202a als ein isolierter Punkt erfasst wurde.
Die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c berechnet eine Zufallsrauschenmenge von jeder der Mehrzahl von Pixelwertgruppen, die von der Pixelwertgruppenerstellungseinheit 202b erstellt werden, berechnet eine Zufallsrauschenmenge von jedem der Mehrzahl von Dunkelzeit-Rohbildern und gibt individuell berechnete Zufallsrauschenmengen an die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d aus. Ferner berechnet unter Verwendung der wie vorstehend beschrieben berechneten Zufallsrauschenmengen die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c eine gemittelte Zufallsrauschenmenge, d. h. einen Mittelwert von Zufallsrauschenmengen aller Pixelwertgruppen auf Grundlage einer Identifizierung einer Pixelwertgruppe mit einer Möglichkeit des Auftretens von RTS-Rauschen und auf Grundlage der Zufallsrauschenmenge der anderen Pixelwertgruppen. In der ersten Ausführungsform dient die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c als eine Einheit zur Berechnung der Zufallsrauschenmenge.
Die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d berechnet RTS-Rauschen-Merkmalsdaten, d. h. die Merkmalsdaten, die den RTS-Rauschpegel darstellen, und eine Frequenz des Auftretens für die Pixelwertgruppe mit einer Möglichkeit des Auftretens von RTS-Rauschen und gibt die berechneten RTS-Rauschen-Merkmalsdaten an die RTS-Rauschen-Bestimmungseinheit 202e aus. Nach der Verteilung des Pixelwerts der Pixelwertgruppe, wo RTS-Rauschen auftritt, wie in 4 gezeigt, berechnet die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d RTS-Rauschen-Merkmalsdaten unter Verwendung einer nachstehend beschriebenen Passungsverarbeitung oder dergleichen. Die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d dient in der vorliegenden Ausführungsform als eine Merkmalsdatenberechnungseinheit.
Auf Grundlage der Verteilung der individuellen Pixelwerte der Mehrzahl von von der Pixelwertgruppenerstellungseinheit 202b erstellten Gruppen bestimmt die RTS-Rauschen-Bestimmungseinheit 202e, ob RTS-Rauschen als ein Blinkdefektrauschen auftritt, für jede der Mehrzahl von Pixelwertgruppen. Insbesondere bestimmt auf Grundlage der von der RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d berechneten RTS-Rauschen-Merkmalsdaten für die Pixelwertgruppe mit einer Möglichkeit des Auftretens von RTS-Rauschen die RTS-Rauschen-Bestimmungseinheit 202e, ob RTS-Rauschen mit einem Pegel auftritt, der Korrektur bedarf, für die Pixel des Bildsensors 105, die die entsprechende Pixelgruppe bilden (Pixel des Bildsensors 105, die die gleiche Verstärkereinheit 105b (Ausleseschaltung) nutzen). In einem Fall, in dem das RTS-Rauschen auftritt, zeichnet die RTS-Rauschen-Bestimmungseinheit 202e RTS-Rauschen-Information in dem nicht flüchtigen Speicher 112 der Abbildungsvorrichtung 10 auf. Die RTS-Rauschen-Information ist Information, in der ein RTS-Rauschen-Erfassungsergebnis, Positionsinformation der Ausleseschaltung (Verstärkereinheit 105e) des entsprechenden Bildsensors 105 (d. h. Positionsinformation eines gemeinsam genutzten Pixelblocks, der nur mit den Pixeln gebildet wird, die die Ausleseschaltung gemeinsam nutzen) und die von der RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d berechneten Merkmalsdaten einander zugeordnet werden. In der vorliegenden Ausführungsform dient die RTS-Rauschen-Bestimmungseinheit 202e als eine Rauschbestimmungseinheit.
[Konfiguration der zweiten Bildverarbeitungsvorrichtung]
Als nächstes wird die Konfiguration der zweiten Bildverarbeitungsvorrichtung 30 beschrieben. Die zweite Bildverarbeitungsvorrichtung 30 umfasst eine dritte externe Schnittstelleneinheit 301, eine RTS-Rauschen-Korrektureinheit 302 und eine Bildverarbeitungseinheit 303.
Die dritte externe Schnittstelleneinheit 301 erlangt die von dem Bildsensor 105 erzeugten Bilddaten und RTS-Rauschen-Information im Zusammenhang mit dem von dem nicht flüchtigen Speicher 112 ausgegebenen RTS-Rauschen über die erste externe Schnittstelleneinheit 115 der Abbildungsvorrichtung 10 und gibt die erlangten Bilddaten und die RTS-Rauschen-Information an die RTS-Rauschen-Korrektureinheit 302 aus.
Die RTS-Rauschen-Korrektureinheit 302 führt RTS-Rauschen-Korrekturverarbeitung der Korrektur von RTS-Rauschen auf dem in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b des nicht flüchtigen Speichers 112 der Abbildungsvorrichtung 10 aufgezeichneten Bild aus und gibt das korrigierte Rohbild an die Bildverarbeitungseinheit 303 aus. Die RTS-Rauschen-Korrektureinheit 302 umfasst eine RTS-Rauschen-Pixelbestimmungseinheit 302a, eine Kandidatenwertberechnungseinheit 302b, eine Berechnungseinheit für repräsentative Werte 302c, eine Zufallsrauschenmengenschätzungseinheit 302d und eine Korrekturwertberechnungseinheit 302e.
Die RTS-Rauschen-Pixelbestimmungseinheit 302a erlangt die in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b der Abbildungsvorrichtung 10 aufgezeichnete RTS-Rauschen-Information über die dritte externe Schnittstelleneinheit 301, die erste externe Schnittstelleneinheit 115 und den Bus 113, bestimmt, ob RTS-Rauschen an dem Pixel des Rohbildes auftritt, das erlangt wurde, und gibt ein Bestimmungsergebnis an die Kandidatenwertberechnungseinheit 302b und die Berechnungseinheit für repräsentative Werte 302c aus. Insbesondere bestimmt, wenn die Pixelposition in die RTS-Rauschen-Pixelbestimmungseinheit 302a eingegeben wird, die RTS-Rauschen-Pixelbestimmungseinheit 302a, ob die RTS-Rauschen-Information, die dem Pixel entspricht, in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b der Abbildungsvorrichtung 10 aufgezeichnet ist. In einem Fall, in dem die Information aufgezeichnet ist, gibt die RTS-Rauschen-Pixelbestimmungseinheit 302a die RTS-Rauschen-Information (Information, die angibt, ob RTS-Rauschen vorhanden ist) aus. In einem Fall, in dem die Information nicht in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b der Abbildungsvorrichtung 10 aufgezeichnet ist, bestimmt die RTS-Rauschen-Pixelbestimmungseinheit 302a, dass das Pixel ein Pixel ist, das frei vom Auftreten des RTS-Rauschens ist, und gibt die RTS-Rauschen-Information nicht aus.
In einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt, dass RTS-Rauschen auf dem Pixel von Interesse auftritt, berechnet die Kandidatenwertberechnungseinheit 302b eine Mehrzahl von Kandidatenwerten für einen Korrekturbetrag, der dem Pixelwert des interessierenden Pixels entspricht, auf Grundlage des Pixelwerts des interessierenden Pixels auf dem Rohbild und des Bestimmungsergebnisses von der RTS-Rauschen-Pixelbestimmungseinheit 302a und gibt dann den Pixelwert des interessierenden Pixels auf dem Rohbild und die Mehrzahl von berechneten Kandidatenwerten an jede der Berechnungseinheit für repräsentative Werte 302c, der Zufallsrauschenmengenschätzungseinheit 302d und der Korrekturwertberechnungseinheit 302e aus.
In einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt hat, dass RTS-Rauschen auf dem interessierenden Pixel auftritt, berechnet die Berechnungseinheit für repräsentative Werte 302c einen repräsentativen Wert, der dem Pixelwert entspricht, für den Fall, dass kein RTS-Rauschen auftritt, auf Grundlage des Pixels, von dem mindestens von der RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt wurde, dass es unter den Pixeln um das interessierende Pixel herum frei von RTS-Rauschen ist, und auf Grundlage eines Bezugswerts der RTS-Rauschmenge, die dem interessierenden Pixel entspricht, das von der Zufallsrauschenmengenschätzungseinheit 302d wie nachstehend beschriebenen berechnet wird. Die Berechnungseinheit für repräsentative Werte 302c gibt den Pixelwert des interessierenden Pixels auf dem Rohbild, die Mehrzahl von Kandidatenwerten und den wie vorstehend beschriebenen berechneten repräsentativen Wert an die Korrekturwertberechnungseinheit 302e aus.
Die Zufallsrauschenmengenschätzungseinheit 302d schätzt die Zufallsrauschenmenge, die dem Pixelwert entspricht, auf Grundlage des in der Zufallsrauschen-Modellinformationsaufzeichnungseinheit 112c der Abbildungsvorrichtung 10 aufgezeichneten Zufallsrauschen-Modells und gibt ein Schätzergebnis an die Berechnungseinheit für repräsentative Werte 302c aus. Das heißt, wenn ein Pixelwert in die Zufallsrauschenmengenschätzungseinheit 302d eingegeben wird, wird eine Zufallsrauschenmenge ausgegeben, die dem Pixelwert entspricht.
In einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt hat, dass das Pixel ein Pixel mit einer Möglichkeit des Auftretens von RTS-Rauschen auf dem interessierenden Pixel ist, korrigiert die Korrekturwertberechnungseinheit 302e den Pixelwert des interessierenden Pixels auf Grundlage der Mehrzahl von von der Kandidatenwertberechnungseinheit 302b berechneten Kandidatenwerten. Insbesondere auf Grundlage des Pixelwerts des interessierenden Pixels auf dem Rohbild, der Mehrzahl von von der Kandidatenwertberechnungseinheit 302b berechneten Kandidatenwerten und des von der Berechnungseinheit für repräsentative Werte 302c berechneten repräsentativen Werts berechnet die Korrekturwertberechnungseinheit 302e einen Pixelwert, für den das RTS-Rauschen korrigiert wurde, und gibt den Pixelwert an die Bildverarbeitungseinheit 303 aus. Insbesondere korrigiert die Korrekturwertberechnungseinheit 302e den Pixelwert des interessierenden Pixels auf Grundlage des Kandidatenwerts, der bewirkt, dass ein Korrekturergebnis am nächsten an den von der Berechnungseinheit für repräsentative Werte 302c berechneten repräsentativen Wert aus der Mehrzahl von von der Kandidatenwertberechnungseinheit 302b berechneten Kandidatenwerten herankommt. Im Gegensatz dazu gibt in einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt hat, dass das Pixel ein Pixel ist, auf dem kein RTS-Rauschen auf dem interessierenden Pixel auftritt, die Korrekturwertberechnungseinheit 302a den Pixelwert des interessierenden Pixels auf dem Rohbild ohne jegliche Änderung aus.
Die Bildverarbeitungseinheit 303 führt vorbestimmte Bildverarbeitung auf den Bilddaten aus, für die RTS-Rauschen von der RTS-Rauschen-Korrektureinheit 302 korrigiert wurde, und gibt die verarbeiteten Daten an die Anzeigevorrichtung 40 aus. Die vorbestimmte Datenverarbeitung entspricht hierin einer grundlegenden Bildverarbeitung, die mindestens Verarbeitung der Subtraktion von optischem Schwarz, Weißabgleichsanpassungsverarbeitung und Synchronisationsverarbeitung der Bilddaten, Farbmatrixberechnungsverarbeitung, γ Korrekturverarbeitung, Farbwiedergabeverarbeitung, Randverbesserungsverarbeitung und Rauschreduktionsverarbeitung in einem Fall umfasst, in dem der Bildsensor in einer Bayer-Matrix angeordnet ist. Außerdem führt die Bildverarbeitungseinheit 303 Bildverarbeitung der Wiedergabe eines natürlichen Bildes auf Grundlage von individuellen Bildverarbeitungsparametern aus, die im Voraus eingestellt wurden. Die Parameter der Bildverarbeitung sind Werte von Kontrast, Schärfe, Sättigung, Weißabgleich und Gradation.
[Konfiguration der Anzeigevorrichtung]
Als nächstes wird die Konfiguration der Anzeigevorrichtung 40 beschrieben. Die Anzeigevorrichtung 40 zeigt ein Bild an, das den von der zweiten Bildverarbeitungsvorrichtung 30 eingegebenen Bilddaten entspricht. Die Anzeigevorrichtung 40 umfasst ein Anzeigefeld aus Flüssigkristall, organischer Elektrolumineszenz oder dergleichen.
In dem wie vorstehend beschriebenen konfigurierten Abbildungssystem 1 erfasst die erste Bildverarbeitungsvorrichtung 20 RTS-Rauschen, das auf dem Bildsensor 105 auftritt, korrigiert die zweite Bildverarbeitungsvorrichtung 30 das von der ersten Bildverarbeitungsvorrichtung 20 erfasste RTS-Rauschen und zeigt die Anzeigevorrichtung 40 das Bild an, das den Bilddaten entspricht, die von der zweiten Bildverarbeitungsvorrichtung 30 bildverarbeitet wurden.
[Ursachen für das Auftreten von RTS-Rauschen und Eigenschaften von RTS-Rauschen]
Als nächstes werden Ursachen für das Auftreten das RTS-Rauschen und Eigenschaften des RTS-Rauschens beschrieben.
3 ist ein Diagramm, das eine Variation der Verstärkerausgabe von der Verstärkereinheit 105e zum Zeitpunkt des Auftretens von RTS-Rauschen in einem Fall zeigt, in dem Licht abgeschirmt wird, um zu vermeiden, dass das Licht den Bildsensor 105 erreicht. 4 ist ein Diagramm, das die Verteilung von Pixelwerten zeigt, die unter Verwendung der Verstärkereinheit 105e ausgelesen werden, an der RTS-Rauschen auftritt.
In einem Fall, in dem ein Fangstellenpegel an einem Gate-Oxidfilm der Verstärkereinheit 105e vorhanden ist, tritt RTS-Rauschen auf, wenn elektrische Ladungen am Fangstellenpegel zu zufälligen Zeiten gefangen sind oder entladen werden. Deshalb variiert, wie in 3 gezeigt, die Verstärkerausgabe zufällig in einem Bereich von circa Vrts auf der Verstärkereinheit 105e, an der RTS-Rauschen auftritt. Außerdem tritt eine Variation im Potenzial nicht in einem Moment auf, sondern erfordert eine gewisse Zeitlänge τ.
In einem typischen Fall des Bildsensors 105 wird korrelierte Doppelabtastverarbeitung (nachstehend als CDS-Verarbeitung bezeichnet) ausgeführt, um Rauschen von dem aus dem Pixel 105a ausgelesenen Pixelwert zu reduzieren. Bei der CDS-Verarbeitung schaltet die Abbildungssteuereinrichtung 114 einen Rücksetzschalter (nicht gezeigt) des Bildsensors 105 ein, um die elektrischen Ladungen der FD-Einheit 105d rückzusetzen und schaltet ferner die Abbildungssteuereinrichtung 114 den zweiten Schalter 105f ein, um einen Rücksetzzustand zu erzeugen, und liest in dem Rücksetzzustand aus (gibt aus) ein Signal (Bezugssignal). Als nächstes schaltet bei der CDS-Verarbeitung die Abbildungssteuereinrichtung 114 nur den ersten Schalter 105b (oder einen der ersten Schalter 105b(1) bis 105b(8)) ein, um die an dem Pixel 105a erzeugten elektrischen Ladungen an die FD-Einheit 105d zu übertragen, und schaltet ferner den zweiten Schalter 105f ein, um in einen Auslesezustand (Ausgabezustand) zu kommen und liest (gibt) ein Signal in dem Auslesezustand aus. Anschließend wird bei der CDS-Verarbeitung das durch Subtraktion eines Rücksetzzustandsignals (Bezugssignals) von dem Auslesesignal erlangt Signal als ein Pixelwert umgewandelt.
Wie in 3 gezeigt, werden, wenn der Bildsensor 105 individuelle Signale einer Zeit tr1 (Rücksetzzustand) und einer Zeit ts1 (Auslesezustand) durch die CDS-Verarbeitung ausliest, einzelne Verstärkerausgabewerte V für die Zeit tr1 und die Zeit ts1 im Wesentlichen einander ähnlich. Dementsprechend empfängt der Bildsensor 105 hauptsächlich einen Effekt von Zufallsrauschen, was dazu führt, dass die Pixelwerte, die ausgelesen wurden, eine Form einer Verteilung A um null annehmen, wie in 4 gezeigt. Auf ähnliche Weise, selbst im Falle einer Zeit tr2 (Rücksetzzustand) und einer Zeit ts2 (Auslesezustand) an den Bildsensor 105 sind einzelne Verstärkerausgabewerte V für die Zeit tr2 und die Zeit ts2 im Wesentlichen einander ähnlich. Folglich nehmen die ausgelesenen Pixelwerte eine Form einer Verteilung A an, wie in 4 gezeigt.
Der Bildsensor 105 liest einzelne Signale bei einer Zeit tr3 (Rücksetzzustand) und einer Zeit ts3 (Auslesezustand) durch CDS-Verarbeitung aus. Zu diesem Zeitpunkt ist die Verstärkerausgabe der Zeit ts3 um circa Vrts geringer als die Verstärkerausgabe der Zeit tr3. Dementsprechend tritt aufgrund einer Differenz zwischen den zwei Signalen eine Verlagerung in die negative Richtung um RTS_Value auf, d. h. der Pixelwert, der Vrts entspricht, der das Änderungsausmaß der Verstärkerausgabe ist, führt zur Verteilung B, bei der ausgelesene Pixelwerte um – RTS_Value herum verteilt sind.
Im Gegensatz dazu liest der Bildsensor 105 einzelne Signale bei einer Zeit tr4 (Rücksetzzustand) und einer Zeit ts4 (Auslesezustand) durch CDS-Verarbeitung aus. Zu dieser Zeit ist die Verstärkerausgabe der Zeit ts4 um circa Vrts höher als die Verstärkerausgabe der Zeit tr4. Dementsprechend tritt aufgrund einer Differenz zwischen den zwei Signalen eine Verlagerung in die positive Richtung um RTS_Value auf, d. h. der Pixelwert, der Vrts entspricht, was das Änderungsausmaß der Verstärkerausgabe ist, führt zu Verteilung C, in der ausgelesene Pixelwerte um RTS_Value herum verteilt sind.
Hier kann, da das Auftreten von Variation der Verstärkerausgabe in 3 die Zeitlänge τ benötigt, ein Fall auftreten, in dem ein Signal während der Variation des Potenzials ausgelesen wird. In diesem Fall ist eine Verstärkerausgabedifferenz größer als –Vrts und kleiner als Vrts zwischen Rücksetzzustandsauslesezeit und Auslesezustandsauslesezeit. Folglich ist der von dem Bildsensor 105 ausgelesene Pixelwert auch größer als –RTS_Value und kleiner als RTS_Value. Da die Zeitlänge τ als im Wesentlichen konstant betrachtet wird, vorausgesetzt, dass die Bedingungen (beispielsweise Temperatur und Treiberspannung) des Bildsensors 105 konstant sind, tritt der Pixelwert von über –RTS_Value und unter RTS_Value mit einer ähnlichen Wahrscheinlichkeit auf. Hier ist die Frequenz des Auftretens dieser Pixelwerte als α-Rauschen definiert. Außerdem sind, während sie unterschiedliche Medianwerte haben, Verteilung B und Verteilung C ähnliche andere Verteilungen als der Medianwert. Dementsprechend wird nachstehend das Verhältnis von Verteilung B oder Verteilung C zu Verteilung A als αrts definiert. Je kürzer der Verstärkerausgabenvariationszyklus der Verstärkereinheit 105e ist, desto größer ist αrts.
Auf diese Weise führt der durch CDS-Verarbeitung ausgelesene Pixelwert unter Verwendung der Verstärkereinheit 105e unter Einbezug des Auftretens von RTS-Rauschen zu der in 4 gezeigten Verteilung. Unter der Bedingung, bei der Licht auf den Bildsensor 105 aufgebracht wird, ändert sich das Potenzial in dem Auslesezustand entsprechend der Belichtungsmenge. Die Änderung in dem Potenzial aufgrund des RTS-Rauschens ist jedoch unabhängig von der Belichtungsmenge konstant. Das bedeutet, das RTS-Rauschen hat eine Eigenschaft einer zufälligen Variation bezüglich eines normalen Pixelwerts in einem Bereich von nicht weniger als –RTS_Value und nicht mehr als RTS_Value, unabhängig von der Belichtungsmenge. Während 4 schematisch Verteilung A, Verteilung B und Verteilung C zeigt, nimmt die Verteilung typischerweise eine Form einer normalen Verteilung an.
Außerdem tritt, da das RTS-Rauschen ein Rauschen ist, das im Zusammenhang mit der Ausleseschaltung (Verstärkereinheit 105e) steht, in einem Fall, in dem jedes der Mehrzahl von Pixeln 105a eine Ausleseschaltung gemeinsam nutzt, wie in 2 gezeigt, RTS-Rauschen mit einer ähnlichen Eigenschaft auf allen gemeinsam genutzten Pixeln auf (Pixel 105a(1) bis 105a(8)).
Außerdem kann das RTS-Rauschen auch in anderen Fällen als der Ausleseschaltung (Verstärkereinheit 105e) auftreten, wie in 2 gezeigt, d. h. in einem Spaltenverstärker und einem Source-Folger oder dergleichen, die in einer solchen Einrichtung des Bildsensors 105 gemeinsam genutzt werden. In diesem Fall tritt RTS-Rauschen mit einer ähnlichen Eigenschaft auch auf allen Pixeln in die Spaltenrichtung auf, wobei ein gleicher Spaltenverstärker und ein Source-Folger gemeinsam genutzt werden. In der vorliegenden Ausführungsform ist eine Anwendung auf das RTS-Rauschen möglich, das in der anderen Schaltung als der Ausleseschaltung (Verstärkereinheit 105e) auftritt.
Auf diese Weise ist das RTS-Rauschen ein Typ von Blinkdefektrauschen, das eine Amplitude (Variation) des Pixelwerts des durch die Aufnahme erlangten Bildes beinhaltet, innerhalb eines festen Bereichs (nicht weniger als –RTS_Value und nicht mehr als RTS_Value) in einem Fall, in dem ein fixiertes Subjekt unter einer gleichen Bedingung aufgenommen wird.
[Verarbeitung an der ersten Bildverarbeitungsvorrichtung]
Als nächstes wird die Verarbeitung der ersten Bildverarbeitungsvorrichtung 20 beschrieben. 5 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung zeigt, die von der ersten Bildverarbeitungsvorrichtung 20 ausgeführt wird, d. h. ein Ablaufdiagramm eines Hauptprogramms, das von der ersten Bildverarbeitungsvorrichtung 20 ausgeführt wird. Mit Bezugnahme auf 5 wird RTS-Rauschen-Erfassungsverarbeitung der Erfassung von RTS-Rauschen beschrieben, die von der ersten Bildverarbeitungsvorrichtung 20 ausgeführt wird.
Wie in 5 gezeigt, gibt die RTS-Rauschen-Erfassungseinheit 202 ein Befehlssignal, um ein lichtabgeschirmtes Bild aufzunehmen, über die zweite externe Schnittstelleneinheit 201 und die erste externe Schnittstelleneinheit 115 an die Abbildungssteuereinheit 114 aus und bewirkt, dass die Abbildungssteuereinrichtung 114 eine Mehrzahl von (beispielsweise 250) Dunkelzeit-Rohbildern (Schritt S101) aufnimmt. In diesem Fall bewirkt die Abbildungssteuereinheit 114, dass der Bildsensor 105 das Dunkelzeit-Rohbild durch Steuern des Verschlusses 103 und des Bildsensors 105 auf Grundlage des von der RTS-Rauschen-Erfassungseinheit 202e eingegebenen Befehlssignals aufnimmt. Zu dieser Zeit ist es in einem Fall, in dem sich die Rohbildgröße und der Treibermodus (beispielsweise Hochgeschwindigkeitsauslesemodus oder Bildqualitätsbevorzugungsmodus) des Bildsensors 105 bei der Aufnahme unterscheiden, und in einem Fall, in dem die Eigenschaften des Rohbildes (beispielsweise Bitanzahl) sich in jedem eines Standbildes, eines Bewegtbildes oder eines Live-Ansichtsbildes unterscheiden, vorzuziehen, dass der Bildsensor 105 eine Mehrzahl von Dunkelzeit-Rohbildern für jeden individuellen Fall aufnimmt. Außerdem gibt die Abbildungssteuereinheit 114 die Mehrzahl von dem Bildsensor 105 erfassten Dunkelzeit-Rohbildern über den Bus 113, die erste externe Schnittstelleneinheit 115 und die zweite externe Schnittstelleneinheit 201 an die RTS-Rauschen-Erfassungseinheit 202 aus.
Die an die RTS-Rauschen-Erfassungseinheit 202 auszugebenden Rohbilddaten müssen kein Dunkelzeit-Rohbild sein, d. h., es ist möglich, RTS-Rauschen mit einer Mehrzahl von Rohbilddaten zu erfassen, die durch Aufnahme des gleichen Subjekts erlangt werden. Es wäre jedoch vorzuziehen, ein Dunkelzeit-Rohbild zu verwenden, da der Grad der Effekte von Zufallsrauschen im Dunkeln in typischen Fällen abnimmt. Aus ähnlichen Gründen kann es vorzuziehen sein, als die an die RTS-Rauschen-Erfassungseinheit 202 auszugebenden Rohbilddaten mit dem Bildsensor 105 eine Mehrzahl von Dunkelzeit-Rohbildern bei niedriger Temperatur (Zimmertemperatur oder weniger) anstatt bei hoher Temperatur aufzunehmen, da bei niedriger Temperatur weniger Zufallsrauschen auftritt. Außerdem brauchen die an die RTS-Rauschen-Erfassungseinheit 202 auszugebenden Rohbilddaten keine Mehrzahl von Rohbilddaten sein, die mit der Signalausgabe von jedem der Mehrzahl von Pixeln 105a gebildet werden, sondern können eine Mehrzahl von Rohbilddaten sein, die mit einer Signalausgabe nur von der FD-Einheit 105d gebildet werden.
Anschließend führt die RTS-Rauschen-Erfassungseinheit 202 Erfassung von isolierten Punkten und Pixelwertgruppenerstellung (Schritt S102) aus, die die Erfassung von isolierten Punkten (defektes Pixel) und die Erstellung einer Mehrzahl von Pixelwertgruppen unter Verwendung einer Mehrzahl von der Abbildungsvorrichtung 10 erlangten Dunkelzeit-Rohbildern umfasst.
6 ist ein Ablaufdiagramm, das einen Überblick über die Erfassung von isolierten Punkten und Pixelwertgruppenerstellung in Schritt S102 in 5 zeigt.
Wie in 6 gezeigt, erzeugt die Einheit zur Erfassung von isolierten Punkten 202a zuerst (Schritt S201) ein gemitteltes Dunkelzeit-Rohbild, das heißt, einen Mittelwert der Mehrzahl von Dunkelzeit-Rohbildern, die in dem vorstehend beschriebenen Schritt S101 erlangt wurden. Insbesondere erzeugt die Einheit zur Erfassung von isolierten Punkten 202a das gemittelte Dunkelzeit-Rohbild, indem sie zuerst Pixelwerte aller Dunkelzeit-Rohbilder für jedes der Pixel addiert und dann die Summe durch die Anzahl (beispielsweise 250) von Dunkelzeit-Rohbildern teilt. Mit dieser Verarbeitung ist es möglich, die Effekte von Zufallsrauschen und RTS-Rauschen in dem gemittelten Dunkelzeit-Rohbild zu reduzieren. Die Einheit zur Erfassung von isolierten Punkten 202a kann das gemittelte Dunkelzeit-Rohbild unter Verwendung nur eines Teils des Dunkelzeit-Rohbilds erzeugen, das in vorstehend beschriebenem Schritt S101 aufgenommen wurde. Dies könnte die Zeit zur Erstellung des gemittelten Dunkelzeit-Rohbildes reduzieren.
Außerdem kann, unter der Bedingung, bei der der Bildsensor 105 stabile Eigenschaften hat, die Einheit zur Erfassung von isolierten Punkten 202a das gemittelte Dunkelzeit-Rohbild unter Verwendung eines anderen Dunkelzeit-Rohbilds erzeugen, das zu einer Zeit aufgenommen wurde, die sich von der Zeit des Falls der Aufnahme in Schritt S101, wie vorstehend beschrieben, unterscheidet. Dementsprechend braucht, wenn die vorstehend beschriebenen Schritte S101 und S201 parallel ausgeführt werden oder der vorstehend beschriebene Schritt S101 parallel zu Schritten S203 und S204, wie nachstehend beschrieben, ausgeführt wird, die Einheit zur Erfassung von isolierten Punkten 202a nicht alle Dunkelzeit-Rohbilder in dem vorstehend beschriebenen Schritt S101 in dem nicht flüchtigen Speicher 112 zu speichern, wodurch es möglich ist, eine Pixelwertgruppe sogar mit dem flüchtigen Speicher 111 mit geringer Kapazität zu erstellen.
Anschließend bestimmt die Einheit zur Erfassung von isolierten Punkten 202a ein Pixel eines isolierten Punkts auf Grundlage des gemittelten Dunkelzeit-Rohbilds (Schritt S202). Insbesondere bestimmt die Einheit zur Erfassung von isolierten Punkten 202a, ob der Pixelwert jedes der Pixel, die ein gemitteltes Dunkelzeit-Rohbild bilden, ein vorbestimmter Schwellenwert (erster Schwellenwert) oder mehr ist, und bestimmt (erfasst) dann dieses Pixel mit dem Pixelwert des vorbestimmten Schwellenwerts (erster Schwellenwert) oder darüber als einen isolierten Punkt (defektes Pixel). Der vorbestimmte Schwellenwert beträgt beispielsweise circa das Doppelte des Pixelwerts von Dunkelzeit-Aufnahmerauschen. Dies ermöglicht eine genaue Erfassung (Bestimmung) des Pixels eines isolierten Punkts (defektes Pixel) mit einer Möglichkeit der Reduzierung der RTS-Rauschen-Erfassungsgenauigkeit. Während die Einheit zur Erfassung von isolierten Punkten 202a das Pixel, das den Pixelwert, der größer ist als der vorbestimmte Schwellenwert (erster Schwellenwert) als ein Weißpunktpixel ausgibt, als ein Pixel eines isolierten Punkts erfasst, kann die Einheit zur Erfassung von isolierten Punkten 202a ein Schwarzpunktpixel beispielsweise mit einem Pixelwert erfassen, der kleiner ist als ein vorbestimmter Schwellenwert (zweiter Schwellenwert). Das Schwarzpunkt-Pixel ist schlechter Empfindlichkeit zugeordnet, d. h. einem Fall, in dem die Empfindlichkeit geringer ist als die Empfindlichkeit von umliegenden Pixeln, defekten Photodioden (Pixel 105a) oder dergleichen. In einem Fall, in dem die Ursache schlechte Empfindlichkeit ist, würde dieses Pixel die RTS-Rauschen-Erfassung aufgrund der Verwendung eines Dunkelzeit-Rohbilds nicht beeinflussen, selbst ohne als ein Pixel eines isolierten Punkts erfasst zu werden. In einem Fall jedoch, in dem die Ursache in dem Pixel 105a liegt, wäre es vorzuziehen, dass das Pixel ähnlich wie der vorstehend beschriebene Weißpunkt erfasst wird. Dementsprechend kann zusätzlich zur Erfassung des Weißpunktpixels die Einheit zur Erfassung von isolierten Punkten 202a ferner ein Pixel mit einem Pixelwert, der nicht größer ist als der vorbestimmte Wert (zweite Schwellenwert) auf Grundlage einer Mehrzahl von Bildern, die durch Aufnahme eines einheitlichen Subjekts erlangt werden, als ein Schwarzpunktpixel erfassen. Diese Verarbeitung kann die RTS-Rauschen-Erfassungsgenauigkeit verbessern.
Danach subtrahiert die Pixelwertgruppenerstellungseinheit 202b das gemittelte Dunkelzeit-Rohbild von jeder der Mehrzahl von Dunkelzeit-Rohbildern (Schritt S203). Insbesondere subtrahiert die Pixelwertgruppenerstellungseinheit 202b einen Pixelwert eines Pixels auf einem gemittelten Dunkelzeit-Rohbild von dem Pixelwert jedes der Pixel, die jedes der Dunkelzeit-Rohbilder bilden. In diesem Fall hält die Pixelwertgruppenerstellungseinheit 202b auch einen negativen Wert in einem Subtraktionsergebnis. Außerdem umfasst der Bildsensor 105 typischerweise einen OB-Bereich (OB-Pixel) zur Ausführung von Offset-Erfassung (Erfassung von optischem Schwarz) für elektrische Ladungen, die den Dunkelstrom umfassen. Dementsprechend kann die Pixelwertgruppenerstellungseinheit 202b den Mittelwert der Pixelwerte in dem OB-Bereich von jeder der Mehrzahl von Dunkelzeit-Rohbildern subtrahieren. Unter Verwendung des gemittelten Dunkelzeit-Rohbilds können Effekte von Schattierung oder dergleichen aufgrund der Variation von Dunkelstrom jedes der Pixel ausgeschlossen werden und kann somit RTS-Rauschen genauer erfasst werden.
Anschließend klassifiziert auf Grundlage eines Erfassungsergebnisses von isolierten Punkten, das durch Erfassung durch die Einheit zur Erfassung von isolierten Punkten 202a in Schritt S202 erlangt wird, und auf Grundlage der Mehrzahl von Dunkelzeit-Rohbildern, aus denen der gemittelte Dunkelzeit-Rohbild in Schritt S203 subtrahiert wurde, die Pixelwertgruppenerstellungseinheit 202b die Pixelwerte für jede der Ausleseschaltungen (Verstärkereinheiten 105e) und erstellt eine Mehrzahl von Pixelwertgruppen (Schritt S204). Insbesondere schließt die Pixelwertgruppenerstellungseinheit 202b zuerst einen Pixelwert, der von dem Pixel ausgegeben wird, das als das Pixel eines isolierten Punkts bestimmt wird, aus den Pixelwerten aller Pixel der Mehrzahl von Dunkelzeit-Rohbildern aus, aus denen das gemittelte Dunkelzeit-Rohbild subtrahiert wurde. Als nächstes erstellt die Pixelwertgruppenerstellungseinheit 202b Gruppen für jeden der Pixelwerte, die von dem Pixel ausgegeben werden, das unter Verwendung der gleichen Ausleseschaltungen (Verstärkereinheit 105e) ausgelesen wird, und definiert diese Gruppen als individuelle Pixelwertgruppen.
7 ist ein Diagramm, das schematisch ein Pixel des Bildsensors 105 zeigt, das einen Pixelwert ausgibt, der in eine gleiche Pixelwertgruppe klassifiziert wurde. 7 zeigt einen Fall des gemeinsamen Nutzens von Pixeln, in dem ein Signal von einer Ausleseschaltung (Verstärkereinheit 105e) für acht Pixel ausgelesen wird, d. h. zwei Pixel in die seitliche Richtung mal vier Pixel in die Längsrichtung, wie in 2 gezeigt. Außerdem zeigt in 7 ein Quadrat P1, das mit einer dünnen Linie L1 gebildet ist, jedes der Pixel; insbesondere zeigt das weiße Quadrat P1 ein normales Pixel an, während ein schwarzes Quadrat P2 ein Pixel eines isolierten Punkts anzeigt. Ferner stellt in 7 ein Rahmen, der mit einer dicken Linie L2 gebildet ist, ein Pixel dar, das einen Pixelwert ausgibt, der in eine gleiche Pixelwertgruppe klassifiziert wird. Außerdem zeigt 7 in einer Reihenfolge von oben aus einen Teil einer Bildaufnahme in einer W1-ten Zeit, einen Teil einer Bildaufnahme in einer W2-ten Zeit und einen Teil einer Bildaufnahme in einer W3-ten Zeit.
Wie in 7 gezeigt, ist eine Pixelwertgruppe A ein Satz von Pixelwerten, der von jedem der Pixel in dem dicken Rahmenteil L2 oben links ausgegeben wird, auf jeder der Mehrzahl der Dunkelzeit-Rohbilder, von denen die Pixelwertgruppenerstellungseinheit 202b das Dunkelzeit-Rohbild subtrahiert hat. In diesem Fall wäre, wenn beispielsweise 250 Dunkelzeit-Rohbilder verwendet werden, die Pixelwertgruppe A ein Satz von 8 × 250 = 2000 Pixelwerten. Außerdem ist eine Pixelwertgruppe X ein Satz von Pixelwerten, die von den Pixeln ohne einen erfassten isolierten Punkt (defektes Pixel) von Pixeln in dem dicken Rahmenteil ausgegeben werden. In diesem Fall wäre, wenn beispielsweise 250 Dunkelzeit-Rohbilder verwendet werden, die Pixelwertgruppe X ein Satz von (8 – 1) × 250 = 1750 Pixelwerten.
Nach Schritt S204 kehrt die RTS-Rauschen-Erfassungseinheit 202 zu dem Hauptprogramm in 5 zurück.
Jetzt folgt wieder mit Bezugnahme auf 5 nachstehend die Beschreibung von Schritt S103 und anschließenden Schritten.
In Schritt S103 führt die RTS-Rauschen-Erfassungseinheit 202 eine Verarbeitung der Berechnung der gemittelten Zufallsrauschenmenge und einer RTS-Markierungseinstellung auf einer Mehrzahl von Pixelwertgruppen aus. Die Verarbeitung der Berechnung der gemittelten Zufallsrauschenmenge und der RTS-Markierungseinstellung umfassen das Einstellen einer RTS-Markierung, die die Möglichkeit des Auftretens des RTS-Rauschens anzeigt, und die Berechnung der gemittelten Zufallsrauschenmenge einer Pixelwertgruppe.
8 ist ein Ablaufdiagramm, das einen Überblick über eine Verarbeitung der Berechnung der gemittelten Zufallsrauschenmenge und eine RTS-Markierungseinstellung zeigt, die in Schritt S103 in 5 gezeigt sind.
Wie in 8 gezeigt, berechnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c zuerst die Zufallsrauschenmenge jeder der Pixelwertgruppen (Schritt S301). Insbesondere berechnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c einen einzelnen Wert für die Zufallsrauschenmenge für eine einzelne Pixelwertgruppe. In der ersten Ausführungsform berechnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die Standardabweichung der Pixelwerte, die eine Pixelwertgruppe bilden, und berechnet die Standardabweichung als die Zufallsrauschenmenge jede der Pixelwertgruppen. Beispielsweise berechnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die Standardabweichung von 2000 Pixelwerten im Fall der Pixelwertgruppe A und berechnet die Standardabweichung von 1750 Pixelwerten im Fall der Pixelwertgruppe X, wie in 7 gezeigt. Alternativ kann die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c einen Wert als die Zufallsrauschenmenge unter Verwendung anderer Skalen wie beispielsweise eines Maximalwerts, eines Minimalwerts, einer Differenz zwischen dem Maximalwert und dem Minimalwert oder eines Streuwerts berechnen.
Anschließend stellt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die RTS-Markierung für jede der Pixelwertgruppen auf einen Rücksetzzustand ein (Schritt S302). Die RTS-Markierung ist Information, die jeder der Pixelwertgruppen beigeordnet ist. Der Rücksetzzustand der RTS-Markierung zeigt keine Möglichkeit des Auftretens von RTS-Rauschen in der entsprechenden Pixelwertgruppe an, während der Setzzustand der RTS-Markierung die Möglichkeit des Auftretens des RTS-Rauschens in der entsprechenden Pixelwertgruppe anzeigt.
Danach berechnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c einen Mittelwert der gemittelten Zufallsrauschenmenge aller Pixelwertgruppen, für die die RTS-Markierung auf den Rücksetzzustand eingestellt ist (Schritt S303). Insbesondere berechnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c den Mittelwert der Standardabweichung der Pixelwertgruppe, für die die berechnete RTS-Markierung in Schritt S301 auf den Rücksetzzustand eingestellt wird, als die Zufallsrauschenmenge der Mehrzahl von Dunkelzeit-Rohbildern und definiert das Berechnungsergebnis als die gemittelte Zufallsrauschenmenge.
Anschließend vergleicht die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die Zufallsrauschenmenge mit der gemittelten Zufallsrauschenmenge in der Pixelwertgruppe für der Pixelwertgruppen, für die die RTS-Markierung auf den Rücksetzzustand eingestellt ist. Dann führt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c eine RTS-Markierungseinstellungsverarbeitung aus, insbesondere stellt sie die RTS-Markierung auf den Setzzustand ein, wenn die Zufallsrauschenmenge größer ist (Schritt S304).
9 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung in der RTS-Markierungseinstellungsverarbeitung in Schritt S304 in 8 zeigt.
Wie in 9 gezeigt, stellt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c zuerst (Schritt S401) eine interessierende Pixelwertgruppe ein, die zur sequenziellen Verarbeitung von nachstehend beschriebenen Schritten S402–404 erforderlich ist (das bedeutet, stellt einen Zeiger zur Spezifizierung einer Gruppe ein, die die Verarbeitung von Schritten S402 bis S404 (nachstehend beschrieben) ausführt). Insbesondere ordnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c ganze Zahlen von mehr als 0 in der Rasterreihenfolge, wie beispielsweise 1, 2, 3 ... von oben links nach unten rechts, als einen Index für jeden der gemeinsam genutzten Pixelblöcke (für jede der Ausleseschaltungen) auf dem Bildsensor 105 zu. Als nächstes erhöht die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c einen Zähler jedes Mal um eins, wenn Schritt 401 ausgeführt wird (der Zähler wird zu dem Zeitpunkt auf null rückgesetzt, wenn die RTS-Markierungseinstellungsverarbeitung gestartet wird). Die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c stellt eine Pixelwertgruppe, der der von dem Zähler angegebene Index zugeordnet ist, als die interessierenden Pixelwertgruppe ein. Das bedeutet, wenn Schritt S401 zuerst von der Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c ausgeführt wird, erhöht die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c den Zähler, der auf null rückgesetzt wurde, um eins. Dementsprechend zeigt der Zähler eins an und wird die Pixelwertgruppe in dem Teil oben links die interessierende Pixelwertgruppe. Wenn die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die Verarbeitung von Schritt S401 zweimal (zweites Mal) ausführt, zeigt der Zähler zwei an. Dementsprechend wird die Pixelwertgruppe auf der rechten Seite der Pixelwertgruppe oben links die interessierende Pixelwertgruppe.
Anschließend bestimmt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c, ob die RTS-Markierung der interessierenden Pixelgruppe in dem Setzzustand ist (Schritt S402). In einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c bestimmt, dass die RTS-Markierung der interessierenden Pixelgruppe in dem Setzzustand ist (Schritt S402: Ja), fährt die erste Bildverarbeitungsvorrichtung 20 mit Schritt S405 fort, wie nachstehend beschrieben. Im Gegensatz dazu fährt in einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c bestimmt, dass die RTS-Markierung der interessierenden Pixelgruppe nicht in dem Setzzustand ist (Schritt S402: Nein) die erste Bildverarbeitungsvorrichtung 20 mit Schritt S403 fort, wie nachstehend beschrieben.
In Schritt S403 bestimmt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c, ob die Zufallsrauschenmenge der interessierenden Pixelgruppe größer ist als die gemittelte Zufallsrauschenmenge. Insbesondere bestimmt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c, ob die Standardabweichung der interessierenden Pixelgruppe um einen vorbestimmten Koeffizienten (beispielsweise 1,5) größer ist als ein Wert, der durch Multiplikation des Mittelwerts der Standardabweichung der gemittelten Zufallsrauschenmenge erlangt wird. In einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c bestimmt, dass die Zufallsrauschenmenge der interessierenden Pixelgruppe größer ist als die gemittelte Zufallsrauschenmenge (Schritt S403: Ja), fährt die erste Bildverarbeitungsvorrichtung 20 mit Schritt S404 fort, wie nachstehend beschrieben. Im Gegensatz dazu fährt in einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c bestimmt, dass die Zufallsrauschenmenge der interessierenden Pixelwertgruppe nicht größer ist als die gemittelte Zufallsrauschenmenge (Schritt S403: Nein), die erste Bildverarbeitungsvorrichtung 20 mit Schritt S405 fort, wie nachstehend beschrieben.
In Schritt S404 stellt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die RTS-Markierung der interessierenden Pixelwertgruppe auf den Setzzustand ein.
Anschließend bestimmt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c für alle Pixelwertgruppen, ob die Verarbeitung in den vorstehend beschriebenen Schritten S401 bis S404 beendet ist (Schritt S405). In einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c für alle Pixelwertgruppen bestimmt, dass die Verarbeitung der vorstehend beschriebenen Schritte S401 bis S404 beendet ist (Schritt S405: Ja), kehrt die erste Bildverarbeitungsvorrichtung 20 zur Verarbeitung der Berechnung der gemittelten Zufallsrauschenmenge und der RTS-Markierungseinstellung in 8 zurück. Im Gegensatz dazu kehrt in einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c bestimmt, dass die Verarbeitung in den vorstehend beschriebenen Schritten S401 bis S404 nicht beendet ist (Schritt S405: Nein), die erste Bildverarbeitungsvorrichtung 20 zu dem vorstehend beschriebenen Schritt S401 zurück.
Jetzt folgt wieder mit Bezugnahme auf 8 eine Beschreibung von Schritt S305 und anschließenden Schritten.
In Schritt S305 bestimmt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c, ob die RTS-Markierung in der RTS-Markierungseinstellungsverarbeitung in dem vorstehend beschriebenen Schritt S304 neu auf dem Setzzustand eingestellt wurde. Insbesondere bestimmt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c, ob die Verarbeitung von Schritt S404 in 9 einmal oder mehrmals in der Verarbeitung von Schritt S304 ausgeführt wurde, der vorher ausgeführt wurde. in einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c bestimmt, dass die RTS-Markierung neu auf den Setzzustand eingestellt wurde (Verarbeitung aus Schritt S404 in 9 wurde einmal oder mehrmals in der Verarbeitung von Schritt S304 ausgeführt, der zuvor ausgeführt wurde) (Schritt S305: Ja), kehrt die erste Bildverarbeitungsvorrichtung 20 zu Schritt S303 zurück. Im Gegensatz dazu kehrt in einem Fall, in dem die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c bestimmt, dass die RTS-Markierung nicht neu auf den Setzzustand eingestellt wurde (Verarbeitung aus Schritt S404 in 9 wurde nicht in der Verarbeitung von Schritt S304 ausgeführt, der zuvor ausgeführt wurde (Schritt S305: Nein)), die erste Bildverarbeitungsvorrichtung 20 zum Hauptprogramm in 5 zurück. Während die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die Bestimmung in Schritt S305 durch die Anzahl von Malen durchführt, die Schritt S404 in der vorstehend beschriebenen 9 ausgeführt wurde, ist es auch möglich, zu bestimmen, ob die Anzahl von Malen, die die vorstehend beschriebenen Schritte S403 bis S405 ausgeführt wurden, eine vorbestimmte Anzahl von Malen, beispielsweise dreimal, erreicht hat.
Auf diese Weise werden, wenn die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die in vorstehend beschriebenen 8 und 9 gezeigte Verarbeitung ausführt, RTS-Markierungen aller Pixelwertgruppen in vorstehend beschriebenem Schritts S302 auf den Rücksetzzustand eingestellt und ist es möglich, die gemittelte Zufallsrauschenmenge aller Pixelwertgruppen durch Ausführung des anfänglich beschriebenen Schritt S303 zu berechnen. Die erste Zufallsrauschenmenge ist in der Pixelwertgruppe groß, in der das RTS-Rauschen auftritt. Dementsprechend führt die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c einen Vergleich mit der gemittelten Zufallsrauschenmenge in vorstehend beschriebenem Schritt S304 aus, wodurch die RTS-Markierung auf den Setzzustand für die Pixelwertgruppe eingestellt wird, in der das RTS-Rauschen auftritt.
Die Zufallsrauschenmenge der Pixelwertgruppe mit einem kleinen RTS_Value hat jedoch eine kleinere Differenz im Vergleich zu der Zufallsrauschenmenge der Pixelwertgruppe, in der das RTS-Rauschen nicht auftritt. Deshalb kann in einigen Fällen die RTS-Markierung auf der Pixelwertgruppe mit einem kleinen RTS_Value nur durch die einmalige Ausführung der vorstehend beschriebenen Schritte S303 und S304 durch die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c nicht richtig eingestellt werden (richtig auf den Setzzustand eingestellt werden). Um damit umzugehen, bewirkt die erste Ausführungsform, dass die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c vorstehend beschriebene Schritte S303 bis S305 wiederholt, wodurch die Einstellung der RTS-Markierung auf der Pixelwertgruppe mit einem kleinen RTS_Value ermöglicht wird. Ferner ist es möglich, die gemittelte Zufallsrauschenmenge zunehmend zu konvergieren. Folglich ermöglicht dies der Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c, die RTS-Markierung auf den Setzzustand für alle Pixelwertgruppen mit RTS-Rauschen mit einem Pegel einzustellen, der von dem Zufallsrauschen unterscheidbar ist. Im Gegensatz dazu bleibt die RTS-Markierung in all den Pixelwertgruppen mit einem RTS-Rauschen mit einem Pegel, der nicht von dem Zufallsrauschen unterscheidbar ist, auf den Rücksetzzustand eingestellt. Nichtsdestotrotz braucht dieser Typ von RTS-Rauschen nicht erfasst oder korrigiert zu werden, da er in dem Zufallsrauschen untergeht.
Außerdem wird, wie in vorstehend beschriebener 3 gezeigt, da die Verteilung auf den Pixelwerten erzeugt wird, die aufgrund von RTS-Rauschen in den Pixelwertgruppen, in denen RTS-Rauschen auftritt, um RTS_Value verschoben sind, die Standardabweichung erhöht. Da eine geringe Wahrscheinlichkeit des Auftretens von RTS-Rauschen in allen Ausleseschaltungen (Verstärkereinheit 105e) besteht, ist es möglich, durch Ausführung der in vorstehend beschriebenen 8 und 9 beschriebenen Verarbeitung durch die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die Pixelwertgruppen zuverlässig in die Pixelwertgruppe mit einer Möglichkeit des Auftretens von RTS-Rauschen, das erfasst und korrigiert werden muss, und die Pixelwertgruppen ohne Möglichkeit des Auftretens von RTS-Rauschen, das erfasst und korrigiert werden muss, zu klassifizieren.
Wieder mit Bezugnahme auf 5 folgt nachstehend die Beschreibung von Schritt S104 und anschließenden Schritten.
In Schritt S104 führt die RTS-Rauschen-Erfassungseinheit 202 RTS-Rauschen-Merkmalsdatenberechnungsverarbeitung (Schritt S104) der Berechnung der RTS-Merkmalsdaten, die ein Merkmal des RTS-Rauschens darstellen, auf der Pixelwertgruppe, in der die RTS-Markierung in Schritt S103 auf den Setzzustand eingestellt wurde, aus.
10 ist ein Ablaufdiagramm, das einen Überblick über RTS-Rauschen-Merkmalsdatenberechnungsverarbeitung in Schritt S104 in 5 zeigt.
Wie in 10 gezeigt, erstellt die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d ein erstes Histogramm (Schritt S501), in dem jeder der Pixelwerte in einer Pixelwertgruppe für jede der Pixelwertgruppen, in der die RTS-Markierung auf den Setzzustand eingestellt wurde, in einen Absolutwert umgewandelt wurde. Insbesondere führt in einem Fall, in dem die Verteilung der Pixelwertgruppe eine in vorstehend beschriebener 4 gezeigte Form annimmt, die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d eine Umwandlung in Absolutwerte aus und erstellt ein in 11 gezeigtes Histogramm. Verteilung B + C ist eine Verteilung, die durch Kombination der Verteilung B mit Verteilung C in 4 erlangt wird, und somit ist die Gesamtanzahl der Verteilung A × αRTS × 2 gleich der Gesamtanzahl der Verteilung B + C. Außerdem wird die Verteilung der Anzahl unter dem RTS_Value aufgrund von RTS-Rauschen 2 × αnoise. Die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d kann die Verteilung durch Ausführung der Verarbeitung von Schritt S501 beeinflussen, wodurch es möglich wird, eine genaue Verteilung ohne die Erhöhung der Anzahl von Dunkelzeit-Rohbildern zu erlangen.
Anschließend führt die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d eine Anpassung auf jeder der Pixelwertgruppen, in der die RTS-Markierung auf den Setzzustand eingestellt wurde, mit dem RTS-Rauschen-Modell aus, wodurch der RTS_Value berechnet wird (Schritt S502). Insbesondere kann, wenn angenommen wird, dass das Zufallsrauschen bei normaler Verteilung der Standardabweichung σ auftritt, die Verteilung f(x) in 4 in Formeln (1) und (2) unter Verwendung eines Koeffizienten k ausgedrückt werden, um die Gesamtanzahl der Pixelwertgruppen und die Akkumulation von f(x) aneinander anzupassen.
(Außerhalb des vorstehend beschriebenen Bereichs)
Während der Bereich des Auftretens von αnoise als ein Bereich von größer als –RTS_Value und kleiner als RTS_Value definiert ist, umfasst der in Formel (1) beschriebene Bereich von x gleiche Vorzeichen. Hier wird der Wertebereich, der gleiche Vorzeichen umfasst, in Hinblick auf das Runden bei der Abtastung in A/D-Wandlung durch den A/D-Wandler 107 verwendet. Dementsprechend führt die Verteilung g(x) in 11 zu Formel 3.
Auf diese Weise berechnet, die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d unter Verwendung der Standardabweichung σ, RTS_Value, αRTS und αnoise als Variablen g(x), wobei x ein vorbestimmter Bereich ist (beispielsweise ein 10–Bit Bereich von circa dem Doppelten des innerhalb 0 bis RTS_Value verfügbaren Maximalwert) und führt eine Normalisierung durch und berechnet dann die Standardabweichung σ, RTS_Value, αRTS und αnoise, die einen minimalen Fehler zwischen dem Absolutwerthistogramm und g(x) erlangen können.
Insbesondere bezieht sich die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d unter Verwendung der Standardabweichung σ, RTS_Value, αRTS und αnoise als Variable auf g(x), wobei x in einem vorbestimmten Bereich liegt, stellt k derart ein, dass die Gesamtanzahl von g(x), die in dem vorstehend beschriebenen vorbestimmten Bereich berechnet wird, mit der Gesamtanzahl der in der Pixelwertgruppe enthaltenen Pixelwerten übereinstimmt, und berechnet dann die Standardabweichung σ, RTS_Value, αRTS und αnoise, die einen minimalen Fehler zwischen dem Absolutwerthistogramm und g(x) erlangen können (RTS_Value Berechnungsverfahren 1). Als ein alternatives Verfahren zum Erlangen des Fehlers kann die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d den Wert erlangen, der mit einer Gewichtung gemäß dem Pixelwert x akkumuliert wird, ein anderer Wert als der Wert, der eine einfache Akkumulierung von Fehlern von individuellen Pixelwerten x ist. Da das Zufallsrauschen in dem Bildsensor 105 auf im Wesentlichen die gleiche Weise auftritt, wird die Standardabweichung σ ein Wert um die gemittelte Standardabweichung herum, die als die gemittelte Zufallsrauschenmenge berechnet wird. Dementsprechend kann es möglich sein, die gemittelte Zufallsrauschenmenge zu verwenden, d. h. es kann möglich sein, die am Ende von Schritt S303 berechnete Standardabweichung als die Standardabweichung σ zu verwenden. Dies ermöglicht die Reduzierung der Rechnungsmenge.
Nach Schritt S502 berechnet die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d eine Abweichungsmenge für jede der Pixelwertgruppen, in der die RTS-Markierung auf den Setzzustand eingestellt ist (Schritt S503). Hier ist ein Medianwert in einem Bereich, der mit einem vorbestimmten Verhältnis (zum Beispiel circa 0,1% bis 0,2%) der in den Pixelwertgruppen enthaltenen Menge von dem größeren Pixelwert auf dem Absolutwerthistogramm verteilt, als der Abweichungsbetrag definiert (wenn man annimmt, dass das vorbestimmte Verhältnis die Anzahl von Pixelwerten ist, die in der 1/Pixelwertgruppe enthalten sind, stimmt der Abweichungsbetrag mit dem Maximalwert der Pixelwertgruppe überein). In einem Fall, in dem αRTS extrem klein ist, besteht eine Möglichkeit, dass die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d Schwierigkeiten bei der Berechnung der RTS-Merkmalsdaten nur mit der RTS-Rauschen-Modell-Anpassung in dem vorstehend beschriebenen Schritt S502 hat. Dementsprechend wäre es möglich, eine Fehlberechnung der RTS-Merkmalsdaten unter Verwendung der Abweichungsmenge zu verhindern. Alternativ kann die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c den Abweichungsbetrag für jede der Pixelwertgruppen berechnen, in denen die RTS-Markierung auf den Setzzustand eingestellt ist, und kann RTS-Markierungseinstellung unter Verwendung dieses Abweichungsbetrags als die Zufallsrauschenmenge jedes der Pixelwertgruppen ausführen. Dies kann falsche Negative bei der Erfassung des RTS-Rauschens mit extrem kleinem αRTS verhindern. Nach Schritt S503 kehrt die erste Bildverarbeitungsvorrichtung 20 zum Hauptprogramm in 5 zurück.
Jetzt werden wieder mit Bezugnahme auf 5 Schritt S105 und nachfolgende Schritten beschrieben.
In Schritt S105 führt die RTS-Rauschen-Erfassungseinheit 202 RTS-Bestimmungsverarbeitung aus. Die RTS-Bestimmungsverarbeitung umfasst die Bestimmung, ob RTS-Rauschen mit dem Pegel, der Korrektur bedarf, in jeder der Pixelwertgruppen auftritt, auf Grundlage der RTS-Merkmalsdaten der Pixelwertgruppe, in der die RTS-Markierung auf den Setzzustand eingestellt ist, und umfasst die Aufzeichnung von RTS-Rauschen-Information in dem nicht flüchtigen Speicher 112 der Abbildungsvorrichtung 10. Die RTS-Rauschen-Information ist Information, die ein Ergebnis der Bestimmung einer Position der Ausleseschaltung zuordnet, die jeder der Pixelwertgruppen entspricht (d. h. Position (Adresse) eines gemeinsam genutzten Pixelblockdiagramms, das die Pixel 105a umfasst, die die Ausleseschaltung gemeinsam nutzen). Nach Schritt S105 beendet die erste Bildverarbeitungsvorrichtung 20 die momentane Verarbeitung.
12 ist ein Ablaufdiagramm, das einen Überblick über RTS-Bestimmungsverarbeitung aus Schritt S105 in 5 zeigt.
Wie in 12 gezeigt, löscht die RTS-Rauschen-Bestimmungseinheit 202e zuerst die in dem nicht flüchtigen Speicher 112 aufgezeichnete RTS-Rauschen-Information über die zweite externe Schnittstelleneinheit 201, die erste externe Schnittstelleneinheit 115 und den Bus 113 (Schritt S601).
Anschließend stellt die RTS-Rauschen-Bestimmungseinheit 202e eine interessierende Pixelwertgruppe ein, die zur sequenziellen Ausführung der Verarbeitung in Schritten S603 bis 605 verwendet wird, wie nachstehend beschrieben (Schritt S602). Insbesondere stellt die RTS-Rauschen-Bestimmungseinheit 202e einen Zeiger zur Spezifizierung einer Gruppe ein, die der Verarbeitung in Schritten S603 bis S605, wie nachstehend beschrieben, unterzogen wird. Beispielsweise ordnet die RTS-Rauschen-Bestimmungseinheit 202e im Vorhinein ganze Zahlen von größer als 0 in der Rasterreihenfolge, wie beispielsweise 1, 2, 3 ... von oben links nach unten rechts als einen Index für jeden der gemeinsam genutzten Pixelblöcke auf dem Bildsensor 105 zu. Als nächstes erhöht die RTS-Rauschen-Bestimmungseinheit 202e einen Zähler jedes Mal um eins, wenn Schritt S602 ausgeführt wird (Zähler wird auf null rückgesetzt zu dem Zeitpunkt, wenn die RTS-Bestimmungsverarbeitung in 12 gestartet wird). Die Pixelwertgruppe, der der von dem Zähler angezeigte Index zugeordnet ist, wird als die interessierende Pixelwertgruppe definiert. Das bedeutet, wenn Schritt S602 zuerst von der RTS-Rauschen-Bestimmungseinheit 202e ausgeführt wird, erhöht die RTS-Rauschen-Bestimmungseinheit 202e den Zähler, der auf null rückgesetzt wurde, um eins. Dementsprechend zeigt der Zähler eins an und wird die Pixelwertgruppe in dem Teil oben links die interessierende Pixelwertgruppe. Wenn die RTS-Rauschen-Bestimmungseinheit 202e die Verarbeitung aus Schritt S602 zweimal (zum zweiten Mal) ausführt, gibt der Zähler zwei an. Dementsprechend wird die Pixelwertgruppe auf der rechten Seite der Pixelwertgruppe oben links die interessierende Pixelwertgruppe.
Danach bestimmt die RTS-Rauschen-Bestimmungseinheit 202e, ob die RTS-Markierung auf den Setzzustand für die Pixelwertgruppe eingestellt ist, die als die interessierende Pixelwertgruppe eingestellt ist (Schritt S603). In einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass die RTS-Markierung auf den Setzzustand für die Pixelwertgruppe eingestellt ist, die als die interessierende Pixelwertgruppe eingestellt ist (Schritt S603: Ja), fährt die erste Bildverarbeitungsvorrichtung 20 mit Schritt S604, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass die RTS-Markierung nicht auf den Setzzustand für die Pixelwertgruppe eingestellt ist, die als die interessierende Pixelwertgruppe eingestellt ist (Schritt S603: Nein), die erste Bildverarbeitungsvorrichtung 20 mit Schritt S608, wie nachstehend beschrieben, fort.
In Schritt S604 bestimmt die RTS-Rauschen-Bestimmungseinheit 202e, ob der von der RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d berechnete RTS_Value in vorstehend beschriebenem Schritt S502 in 10 ein vorbestimmter Wert ist oder darüber liegt, d. h. beispielsweise ThValue oder höher. ThValue ist ein Wert, der durch Multiplizieren der gemittelten Zufallsrauschenmenge mit einem vorbestimmten Koeffizienten (beispielsweise 2,0) erlangt wird, da ein geringes RTS-Rauschen von einem Menschen aufgrund des Zufallsrauschen nicht wahrgenommen wird. In Schritt S604 führt die RTS-Rauschen-Bestimmungseinheit 202e einen Vergleich zwischen RTS_Value und ThValue aus. In einem Fall, in dem der RTS_Value sich wesentlich von dem Abweichungsbetrag unterscheidet, kann jedoch die Anpassung durch die RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d in vorstehend beschriebenem Schritt S502 in 10 gescheitert sein. Aus diesem Grund kann die RTS-Rauschen-Bestimmungseinheit 202e ferner eine Bestimmung durchführen, ob die Differenz zwischen dem RTS_Value und dem Abweichungsbetrag klein ist. In einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass der RTS_Value ThValue oder mehr beträgt (Schritt 604: Ja), fährt die erste Bildverarbeitungsvorrichtung 20 mit Schritt S605, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass der RTS_Value nicht ThValue oder mehr ist (Schritt S6 104: Nein), die erste Bildverarbeitungsvorrichtung 20 mit Schritt S606, wie nachstehend beschrieben, fort.
In Schritt S606 bestimmt die RTS-Rauschen-Bestimmungseinheit 202e, ob der Abweichungsbetrag der interessierenden Pixelgruppe, der von der RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d im vorstehend beschriebenen Schritt S503 berechnet wurde, ein vorbestimmter Wert oder mehr ist, beispielsweise ThMax oder mehr. Insbesondere führt die RTS-Rauschen-Bestimmungseinheit 202e eine Bestimmung durch Verwendung des Abweichungsbetrags durch, um das RTS-Rauschen mit einer geringen Frequenz des Auftretens zu erfassen (bestimmen). Der Grund dafür ist, dass in einem Fall, in dem die Frequenz des Auftretens gering ist, das RTS-Rauschen von einem Menschen weniger wahrgenommen werden kann als das Zufallsrauschen. ThMax ist vorzugsweise der Wert von ThValue oder mehr. In einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass der Abweichungsbetrag der interessierenden Pixelgruppe ThMax oder mehr ist (Schritt S606: Ja), fährt die erste Bildverarbeitungsvorrichtung 20 mit dem Schritt S607, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass der Abweichungsbetrag der interessierenden Pixelgruppe nicht ThMax oder mehr ist (Schritt S606: Nein), die erste Bildverarbeitungsvorrichtung 20 mit Schritt S608, wie nachstehend beschrieben, fort.
In Schritt S607 stellt die RTS-Rauschen-Bestimmungseinheit 202e den Abweichungsbetrag des interessierenden Pixels, der von der RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d in vorstehend beschriebenem Schritt S503 berechnet wurde, als den RTS_Value der interessierenden Pixelgruppe ein (Wert des Abweichungsbetrags wird als ein Wert von RTS_Value dupliziert). Nach Schritt S607 fährt die erste Bildverarbeitungsvorrichtung 20 mit Schritt S608 fort.
Anschließend bestimmt die RTS-Rauschen-Bestimmungseinheit 202e den RTS_Value als einen ersten RTS-Rauschpegel und ordnet dem RTS_Value Positionsinformation (Adresseninformation) der Ausleseschaltung (Verstärkereinheit 105e) zu, die einen Pixelwert ausgibt, der die Pixelwertgruppe bildet, die als die interessierende Pixelwertgruppe eingestellt ist, d. h. Positionsinformation (Adresseninformation) eines gemeinsam genutzten Pixelblocks, der nur Pixel umfasst, die die Ausleseschaltung gemeinsam nutzen, und speichert die zugeordnete Information und den Wert vorübergehend in dem flüchtigen Speicher 111 der Abbildungseinheit 10 (Schritt S605).
Danach bestimmt die RTS-Rauschen-Bestimmungseinheit 202e, ob das Einstellen der interessierenden Pixelwertgruppe und die Verarbeitung in den vorstehend beschriebenen Schritten S603 bis S605 auf allen Pixelwertgruppen ausgeführt wurde (Schritt S608). In einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass die Einstellung und die Verarbeitung auf allen Pixelwertgruppen ausgeführt wurde (Schritt S608: Ja), fährt die erste Bildverarbeitungsvorrichtung 20 mit Schritt S609, wie nachstehend beschrieben, fort. Im Gegensatz dazu kehrt in einem Fall, in dem die RTS-Rauschen-Bestimmungseinheit 202e bestimmt, dass die Einstellung und die Verarbeitung nicht auf allen Pixelwertgruppen ausgeführt wurden (Schritt S608: Nein), die erste Bildverarbeitungsvorrichtung 20 zu Schritt S602 zurück.
In Schritt S609 berechnet die RTS-Rauschen-Bestimmungseinheit 202e einen Maximalwert des RTS_Value, der vorübergehend in dem flüchtigen Speicher 111 der Abbildungsvorrichtung 10 über die zweite externe Schnittstelleneinheit 201, die erste externe Schnittstelleneinheit 115 und den Bus 113 gespeichert wird, und berechnet das Histogramm des RTS_Value. Dann ordnet die RTS-Rauschen-Bestimmungseinheit 202e die Entsprechung zwischen der vorübergehend in dem flüchtigen Speicher 111 gespeicherten Positionsinformation des gemeinsam genutzten Pixelblocks und dem RTS_Value, dem Maximalwert des RTS_Value und dem Histogramm des RTS_Value einander zu und zeichnet diese als RTS-Rauschen-Information in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b des nicht flüchtigen Speichers 112 auf. Die Entsprechung zwischen der Positionsinformation des gemeinsam genutzten Pixelblocks und dem RTS_Value bedeutet die Positionsinformation der gemeinsam genutzten Blöcke mit einer Möglichkeit des Auftretens von RTS-Rauschen und den RTS_Value für jeden der gemeinsam nutzenden Blöcke. In Schritt S609 kehrt die erste Bildverarbeitungsvorrichtung 20 zum Hauptprogramm in 5 zurück und ist die momentane Verarbeitung beendet. Die RTS-Rauschen-Bestimmungseinheit 202e hat die Positionsinformation eines gemeinsam genutzten Pixelblocks (Positionsinformation der Ausleseschaltung (Verstärkereinheit 105e)) und die RTS-Merkmalsdaten einander zugeordnet und zeichnet sie als die RTS-Rauschen-Information in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b des nicht flüchtigen Speichers 112 auf. Da jedes der Pixel zu einem der gemeinsam genutzten Pixelblöcke gehört, kann es möglich sein, eine RTS-Rauschen-Information, die Positionsinformation (Pixelkoordinateninformation) auf jeder der Mehrzahl von Pixeln und die RTS-Merkmalsdaten einander zuordnet, in dem nicht flüchtigen Speicher 112 aufzuzeichnen. In diesem Fall würde, da die Anzahl von Pixeln die Anzahl von gemeinsam genutzten Pixelblocken oder mehr beträgt, die Menge von in dem nicht flüchtigen Speicher 112 aufzuzeichnenden Daten erhöht werden. Es bestünde jedoch keine Notwendigkeit, die Entsprechung zwischen jedem der Pixel und dem gemeinsam genutzten Pixelblock bei der Korrektur des RTS-Rauschens zu berücksichtigen. Außerdem umfassen die RTS-Merkmalsdaten die Entsprechung des RTS_Value, des Maximalwerts, des RTS_Value und des Histogramms des RTS_Value.
Außerdem wird in der vorstehend beschriebenen 12, während die RTS-Rauschen-Bestimmungseinheit 202e zuerst die in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b des nicht flüchtigen Speichers 112 der Abbildungsvorrichtung 10 aufgezeichnete RTS-Rauschen-Information rücksetzt und danach die in den vorstehend beschriebenen Schritten S602 bis S607 erfasste RTS-Rauschen-Information in dem nicht flüchtigen Speicher 112 aufzeichnet, das RTS-Rauschen nicht immer in der Phase der Erzeugung des Bildsensors 105 erzeugt, sondern kann durch Alterung erzeugt werden und zunehmend erhöht werden. Aus diesem Grund kann die RTS-Rauschen-Bestimmungseinheit 202e die RTS-Rauschen-Information aktualisieren, indem sie neu erfasste RTS-Rauschen-Information hinzufügt, ohne die in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b des nicht flüchtigen Speichers 112 der Abbildungsvorrichtung 10 aufgezeichnete RTS-Rauschen-Information rückzusetzen.
[Verarbeitung an der zweiten Bildverarbeitungsvorrichtung]
Als nächstes wird eine von der zweiten Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung beschrieben. 13 ist ein Ablaufdiagramm, das einen Überblick über die von der zweiten Bildverarbeitungsvorrichtung 30 ausgeführte Verarbeitung zeigt, d. h. ein Ablaufdiagramm eines Hauptprogramms, das von der zweiten Bildverarbeitungsvorrichtung 30 ausgeführt wird.
Zuerst stellt die RTS-Rauschen-Korrektureinheit 302 ein interessierendes Pixel ein, das für sequenzielle Ausführung der Verarbeitung in Schritten S702 bis S705, wie nachstehend beschrieben, verwendet werden soll (Schritt S701). Die RTS-Rauschen-Korrektureinheit 302 ordnet ganze Zahlen von größer als 0 in der Rasterreihenfolge, wie beispielsweise 1, 2, 3... von oben links nach unten rechts als einen Index für jedes der Pixel auf dem Rohbild zu. Als nächstes erhöht die RTS-Rauschen-Korrektureinheit 302 einen Zähler jedes Mal um eins, wenn Schritt S701 ausgeführt wird (der Zähler wird zu dem Zeitpunkt auf null rückgesetzt, wenn die Verarbeitung in 13 gestartet wird). Die RTS-Rauschen-Korrektureinheit 302 stellt die Pixel, denen der von dem Zähler angezeigte Index zugeordnet ist, als ein interessierendes Pixel ein. Das bedeutet, wenn Schritt S701 zuerst von der RTS-Rauschen-Korrektureinheit 302 ausgeführt wird, erhöht die RTS-Rauschen-Korrektureinheit 302 den Zähler, der auf null rückgesetzt wurde, um eins. Dementsprechend zeigt der Zähler eins an und wird das Pixel in dem Teil oben links das interessierende Pixel. Wenn die RTS-Rauschen-Korrektureinheit 302 die Verarbeitung von Schritt S701 zweimal (zum zweiten Mal) ausführt, zeigt der Zähler zwei an. Dementsprechend wird das Pixel auf der rechten Seite des Pixels oben links das interessierende Pixel.
Anschließend erlangt die RTS-Rauschen-Pixelbestimmungseinheit 302a in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b des nicht flüchtigen Speichers 112 der Abbildungsvorrichtung 10 aufgezeichnete RTS-Rauschen-Information über die dritte externe Schnittstelleneinheit 301, die erste externe Schnittstelleneinheit 115 und den Bus 113 und bestimmt auf Grundlage von der erlangten RTS-Rauschen-Information, ob eine Möglichkeit besteht, dass RTS-Rauschen in dem interessierenden Pixel auftritt (Schritt S702). Das bedeutet, dass die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt, ob die Positionsinformation des gemeinsam genutzten Pixelblocks, der das interessierende Pixel umfasst, in der RTS-Rauschen-Information enthalten ist. Insbesondere bestimmt die RTS-Rauschen-Pixelbestimmungseinheit 302a, ob die Positionsinformation des gemeinsam genutzten Blocks, der das interessierende Pixel umfasst, in der RTS-Rauschen-Information enthalten ist, als einen gemeinsam genutzten Block, der die Möglichkeit des Auftretens des RTS-Rauschens hat. In einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt, dass eine Möglichkeit des Auftretens von RTS-Rauschen auf dem interessierenden Pixel besteht (bestimmt, dass die Positionsinformation des gemeinsam genutzten Pixelblockes, der das interessierende Pixel umfasst, in der RTS-Rauschen-Information enthalten ist) (Schritt S702: Ja), fährt die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S703, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt, dass keine Möglichkeit des Auftretens von RTS-Rauschen auf dem interessierenden Pixel besteht (bestimmt, dass die Positionsinformation des gemeinsam genutzten Pixelblockes, der das interessierende Pixel umfasst, nicht in der RTS-Rauschen-Information enthalten ist) (Schritt S702: Nein), die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S706, wie nachstehend beschrieben, fort. In diesem Fall gibt in einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt, dass keine Möglichkeit besteht, dass RTS-Rauschen auf dem interessierenden Pixel auftritt, die RTS-Rauschen-Pixelbestimmungseinheit 302a einen Pixelwert des interessierenden Pixels auf dem Rohbild an die Berechnungseinheit für repräsentative Werte 302c als einen korrigierten Pixelwert ohne jegliche Änderung aus.
In Schritt 703 berechnet die Kandidatenwertberechnungseinheit 302b eine Mehrzahl von Kandidatenwerten des Korrekturbetrags zur Korrektur des RTS-Rauschens. Insbesondere bestimmt auf Grundlage des RTS_Value, der dem interessierenden Pixel entspricht (das in der RTS-Rauschen-Information enthalten ist, die in der RTS-Rauschenausgabe von der RTS-Rauschen-Pixelbestimmungseinheit 302a enthalten ist), die Kandidatenwertberechnungseinheit 302b alle Werte, die als der Pixelwert möglich sind, der nicht weniger als 0 und nicht größer als RTS_Value ist (alle ganzen Zahlen, die nicht kleiner sind als 0 und nicht größer als RTS_Value in einem Fall, in dem nur ganze Zahlen als Rohbild möglich sind) als Kandidatenwerte (Kandidatenwertberechnungsverfahren 1). In einem Fall, in dem der von der Abbildungssteuereinrichtung 114 eingestellte Verstärkerverstärkungswert an dem Spaltenverstärker oder dergleichen des Bildsensors 105 zwischen dem Fall von RTS-Rauschen-Erfassung (Verstärkerverstärkungswert = G0) und dem Fall von RTS-Rauschen-Korrektur (Verstärkerverstärkungswert = G1) unterscheidet, kann die Kandidatenwertberechnungseinheit 302b den RTS_Value durch einen Wert, der durch Multiplikation des Verhältnisses (G = G1/G0) des Verstärkerverstärkungswerts bei RTS-Rauschen-Korrektur zu dem Verstärkerverstärkungswert bei RTS-Rauschen-Erfassung mit dem RTS_Value erlangt wird, ersetzen. Außerdem kann die Kandidatenwertberechnungseinheit 302b einen voreinstellbaren RTS_Value für jeden der Verstärkerverstärkungswerte in die RTS-Rauschen-Information aufnehmen und kann den RTS_Value entsprechend dem Verstärkerverstärkungswert verwenden, der eingestellt wurde.
Anschließend führt auf Grundlage des Pixelwerts des Rohbilds, das das interessierende Pixel umgibt, die Berechnungseinheit für repräsentative Werte 302c Berechnungsverarbeitung von repräsentativen Werten des Berechnens eines repräsentativen Werts (erwarteter Pixelwert auf dem Rohbild in einem Fall, in dem kein RTS-Rauschen auf dem interessierenden Pixel auftritt) (Schritt S704) aus. In Schritt S704 fährt die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S705, wie nachstehend beschrieben, fort.
14 ist ein Ablaufdiagramm, das einen Überblick über die Berechnungsverarbeitung von repräsentativen Werten in Schritt S704 in 13 zeigt.
Wie in 14 gezeigt, stellt die Berechnungseinheit für repräsentative Werte 302c zuerst einen Mindestberechnungsbereich als ein Ziel für die Berechnung des repräsentativen Werts auf Grundlage des interessierenden Pixels ein (Schritt S801). Insbesondere stellt in einem Fall der Bestimmung eines maximalen Bereichs von 7×7 als ein Zielbereich um das interessierende Pixel als einen Berechnungsbereich die Berechnungseinheit für repräsentative Werte 302c einen Bereich von 3×3, d. h. einen Mindestbereich, der den 7×7 Bereich nicht überschreitet, als einen Mindestberechnungsbereich ein.
Anschließend berechnet die Berechnungseinheit für repräsentative Werte 302c einen Bezugswert für die Berechnung einer Zufallsrauschenmenge, die in der Nachbarschaft des interessierenden Pixels auf dem Rohbild auftritt (Schritt S802). Insbesondere berechnet die Berechnungseinheit für repräsentative Werte 302c als einen Bezugswert den Pixelwert des interessierenden Pixels auf dem Rohbild (Bezugswertbezugsverfahren 1).
Danach erlangt die Zufallsrauschenmengenschätzungseinheit 302d das in dem nicht flüchtigen Speicher 112 aufgezeichnete Zufallsrauschen-Modell über die dritte externe Schnittstelleneinheit 301, die erste externe Schnittstelleneinheit 115 und den Bus 113 und berechnet eine Zufallsrauschenmenge gemäß dem Pixelwert des interessierenden Pixels oder dem Bezugswert in der Nachbarschaft des interessierenden Pixels auf dem Rohbild (Schritt S803).
15 ist ein Ablaufdiagramm, das ein beispielhaftes Zufallsrauschen-Modell zeigt. In 15 stellt die vertikale Achse die Rauschmenge und die horizontale Achse den Pixelwert dar. 15 verwendet die Standardabweichung des Pixelwerts als die Zufallsrauschenmenge auf der vertikalen Achse und zeigt somit das Zufallsrauschen-Modell gemäß der Eigenschaft des Bildsensors 105 an.
Wie in einer Kurve 110 in 15 gezeigt, ist, je größer der Pixelwert ist, desto größer die Zufallsrauschenmenge des Bildsensors 105. Dementsprechend berechnet die Zufallsrauschenmengenschätzungseinheit 302d gemäß der ersten Ausführungsform die Zufallsrauschenmenge (berechnet die Standardabweichung) auf Grundlage des Zufallsrauschen-Modells der Kurve 110 in 15. Es kann möglich sein, nicht nur die in 15 gezeigte Kurve zu verwenden, sondern auch eine Kennlinie des Zufallsrauschen-Modells, die durch Annäherung mit einer Annäherungsgleichung oder polygonalen Linien erlangt wird.
Anschließend berechnet die Berechnungseinheit für repräsentative Werte 302c auf der Grundlage des Pixelwerts des Rohpixels in dem Berechnungsbereich einen zulässigen Bereich (effektiven Bereich), der ein Pixelwertbereich ist, der für die Berechnung des repräsentativen Werts verfügbar ist (Schritt S804). Insbesondere berechnet die Berechnungseinheit für repräsentative Werte 302c die obere Grenze des zulässigen Bereichs (effektiven Bereichs) unter Verwendung der folgenden Formel (4). Bezugswert + Zufallsrauschenmenge (Standardabweichung) × R + RTS_Value (4) wobei R ein vorbestimmter Koeffizient ist, der gemäß einem Niveau eingestellt wird, wie RTS-Rauschen bezüglich des Zufallsrauschens visuell erkannt werden kann. Beispielsweise ist der Koeffizient von R vorzugsweise ein Wert um zwei herum. Außerdem berechnet die Berechnungseinheit für repräsentative Werte 302c die untere Grenze des zulässigen Bereichs unter Verwendung der folgenden Formel (5). Bezugswert – Zufallsrauschenmenge (Standardabweichung) × R – RTS_Value (5)
Es kann möglich sein, einen Maximalwert einer Mehrzahl von Kandidatenwerten anstatt des RTS_Value zu verwenden. Außerdem können der Bezugswert in Formel (4) und Formel (5) der Bezugswert sein, der durch ein Verfahren für einen Bezugswert erlangt wird, der sich von dem Bezugswert unterscheidet, der zum Schätzen der Zufallsrauschenmenge durch die Zufallsrauschenmengenschätzungseinheit 302d in dem vorstehend beschriebenen Schritt S803 verwendet wird. Auf diese Weise ist die Berechnungseinheit für repräsentative Werte 302c in der Lage, einen zulässigen Bereich unter Berücksichtigung des RTS-Rauschens des interessierenden Pixels und des Zufallsrauschens in der Nachbarschaft des interessierenden Pixels zu berechnen.
Danach bestimmt die Berechnungseinheit für repräsentative Werte 302c, ob jeder der Pixelwerte für die anderen Pixel als das interessierende Pixel auf dem Rohbild in dem Berechnungsbereich (Pixelwert für eine Farbe, die die gleiche Farbe ist wie die Farbe des interessierenden Pixels in dem Fall, in dem der Bildsensor 105 einen Farbfilter verwendet) in dem in vorstehend beschriebenem Schritt S804 berechneten zulässigen Bereich liegt, und zählt die Anzahl von Pixelwerten in dem zulässigen Bereich (Schritt S805). Der in Schritt S805 erlangte Zählerwert erhöht sich tendenziell im Fall eines flachen Subjektes und nimmt tendenziell ab im Fall eines Subjektes, das eine Ecke umfasst. Es kann möglich sein, die Zählung für die Pixel mit einer Möglichkeit, dass RTS-Rauschen in dem Berechnungsbereich auftritt, wegzulassen.
Anschließend fährt in einem Fall, in dem der in dem vorstehend beschriebenen Schritt S805 gezählte Zählerwert größer ist als ein vorbestimmter Wert ThRef (Schritt S804: Ja), die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S809, wie nachstehend beschrieben, fort. Der vorbestimmte Wert ThRef beträgt vorzugsweise eins oder mehr, da die Berechnungseinheit für repräsentative Werte 302c den repräsentativen Wert aus den umliegenden Pixeln des interessierenden Pixels errechnet. Im Gegensatz dazu fährt in einem Fall, in dem der in dem vorstehend beschriebenen Schritt S805 gezählte Zählerwert nicht größer ist als der vorbestimmte Wert ThRef (Schritt S806: Nein), die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S807, wie nachstehend beschrieben, fort.
In Schritt S807 fährt in einem Fall, in dem der Berechnungsbereich als ein Ziel zum Berechnen des repräsentativen Werts maximal ist (Schritt S807: Ja), die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S809, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem der Berechnungsbereich als ein Ziel zum Berechnen des repräsentativen Werts nicht maximal ist (Schritt S807: Nein), die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S808, wie nachstehend beschrieben, fort.
In Schritt S808 erweitert die Berechnungseinheit für repräsentative Werte 302c den Berechnungsbereich zum Berechnen des repräsentativen Werts (Schritt S808). Insbesondere erweitert die Berechnungseinheit für repräsentative Werte 302c den Berechnungsbereich als ein Ziel zum Berechnen des repräsentativen Werts um eines oder mehr Pixel in der horizontalen oder vertikalen Richtung innerhalb eines maximal möglichen Bereichs. In einem Fall, in dem beispielsweise ein 3×3 Bereich um das interessierende Pixel herum als der Berechnungsbereich eingestellt wird, setzt die Berechnungseinheit für repräsentative Werte 302c den Berechnungsbereich auf einen 5×5 Bereich um das interessierende Pixel herum zurück. Nach Schritt S808 kehrt die zweite Bildverarbeitungsvorrichtung 30 zu Schritt S802 zurück. Während die Berechnungseinheit für repräsentative Werte 302c in Schritt S808 den 3×3 Bereich oder den 5×5 Bereich als den Berechnungsbereich einstellt, ist es auch möglich, beispielsweise einen Bereich von 5×3 oder einem Bereich von 3×5 als den Berechnungsbereich einzustellen, indem der Bereich nur horizontal oder nur vertikal erweitert wird.
In Schritt S809 berechnet die Berechnungseinheit für repräsentative Werte 302c den repräsentativen Wert (Schritt S809). Insbesondere wählt die Berechnungseinheit für repräsentative Werte 302c zuerst einen Pixelwert, der in dem zulässigen Bereich (effektiven Bereich) enthalten ist (Pixelwert für eine Farbe, die die gleiche Farbe ist wie die Farbe des interessierenden Pixels in dem Fall, in dem der Bildsensor 105 einen Farbfilter verwendet) unter anderen Pixelwerten als dem interessierenden Pixel auf dem Rohbild in dem Berechnungsbereich aus. Danach berechnet (bestimmt) in einem Fall, in dem die Anzahl von ausgewählten Pixeln der vorbestimmte Wert ThRef oder mehr ist, die Berechnungseinheit für repräsentative Werte 302c einen Medianwert der ausgewählten Pixelwerte als einen repräsentativen Wert. In einem Fall, in dem die Anzahl von ausgewählten Pixelwerten eine gerade Zahl ist, berechnet die Berechnungseinheit für repräsentative Werte 302 den Medianwert, der näher an dem Pixelwert des interessierenden Pixels auf dem Rohbild ist, als den repräsentativen Wert. In diesem Fall ist es möglich, eine Überkorrektur zu vermeiden. Außerdem bestimmt in einem Fall, in dem die Anzahl von ausgewählten Pixeln unter dem vorbestimmten Wert ThRef liegt, die Berechnungseinheit für repräsentative Werte 302c als den repräsentativen Wert den Pixelwert der anderen Pixel als das interessierende Pixel auf dem Rohbild mit einem Pixelwert, der am nächsten an dem Pixelwert des interessierenden Pixels auf dem Rohbild in dem Berechnungsbereich ist. Während die Berechnungseinheit für repräsentative Werte 302c den repräsentativen Wert unter Verwendung des Medianwerts berechnet, ist es auch möglich, den repräsentativen Wert unter Verwendung anderer Verfahren zu berechnen, die beispielsweise eine Mittelung, einen Zwischenwert der Verteilung, umfassen. Außerdem kann die Berechnungseinheit für repräsentative Werte 302c Randrichtungsentscheidung in dem Berechnungsbereich durchführen und kann einen umliegenden Pixelwert in die Richtung mit der höchsten Korrelation als den repräsentativen Wert auf Grundlage eines Ergebnisses der Randrichtungsentscheidung berechnen. Ferner kann die Berechnungseinheit für repräsentative Werte 302c ein Pixel mit einer Möglichkeit des Auftretens von RTS-Rauschen aus den anderen Pixeln als dem interessierenden Pixel in dem Berechnungsbereich ausschließen. Zu diesem Zeitpunkt bestimmt in einem Fall, in dem zum Zeitpunkt der Ausführung von Schritt S809 kein Pixel die Möglichkeit des Auftretens von RTS-Rauschen in dem Berechnungsbereich hat, die Berechnungseinheit für repräsentative Werte 302c den Pixelwert des interessierenden Pixels als den repräsentativen Wert. Nach Schritt S809 kehrt die zweite Bildverarbeitungsvorrichtung 30 zum Hauptprogramm in 13 zurück.
Auf diese Weise berechnet die Berechnungseinheit für repräsentative Werte 302c in der vorstehend beschriebenen Berechnungsverarbeitung von repräsentativen Werten einen repräsentativen Wert vorzugsweise in der Nachbarschaft des interessierenden Pixels. Ferner berechnet, um eine Variation des repräsentativen Werts nach Rand oder dergleichen zu vermeiden, die Berechnungseinheit für repräsentative Werte 302c den repräsentativen Wert, indem sie den Bereich der umliegenden Pixel des interessierenden Pixels auf Grundlage der von der Zufallsrauschenmengenschätzungseinheit 302d geschätzten Zufallsrauschenmenge begrenzt. Ferner ist es auch möglich, den repräsentativen Wert durch Ausschließen eines benachbarten Pixels mit einer Möglichkeit des Auftretens von RTS-Rauschen zu berechnen.
Jetzt folgt wieder mit Bezugnahme auf 13 nachstehend eine Beschreibung von Schritt S705 und nachfolgenden Schritten.
In Schritt S705 führt die Korrekturwertberechnungseinheit 302e Korrekturwertberechnungsverarbeitung zum Berechnen eines Pixelwerts des Rohpixels, auf dem das RTS-Rauschen auf dem interessierenden Pixel korrigiert wurde, auf Grundlage der Mehrzahl von Pixelwerten, die in dem vorstehend beschriebenen Schritt S703 von der Kandidatenwertberechnungseinheit 302b berechnet wurden, und auf Grundlage des in vorstehend beschriebenen Schritt S704 von der Berechnungseinheit für repräsentative Werte 302c berechneten repräsentativen Werts aus. Nach Schritt S705 fährt die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S07, wie nachstehend beschrieben, fort.
16 ist ein Ablaufdiagramm, das einen Überblick über die Korrekturwertberechnungsverarbeitung in Schritt S705 in 13 zeigt.
Wie in 16 gezeigt, bestimmt die Korrekturwertberechnungseinheit 302e zuerst, ob der Maximalwert des Kandidatenwerts ein Schwellenwert oder mehr ist (Schritt S901), auf Grundlage der Zufallsrauschenmenge (Standardabweichung in der ersten Ausführungsform), die in vorstehend beschriebenem Schritt S803 in 14 von der Zufallsrauschenmengenschätzungseinheit 302d geschätzt wird, und auf Grundlage des Maximalwerts des von der Kandidatenwertberechnungseinheit 302b in vorstehend beschriebenem Schritt S703 in 13 berechneten Kandidatenwerts. Hier ist der Schwellenwert durch folgende Formel (6) eingestellt Zufallsrauschenmenge × Rm (6) wobei Rm ein vorbestimmter Koeffizient ist. Rm wird gemäß einem Niveau bestimmt, wie RTS-Rauschen bezüglich des Zufallsrauschens visuell zu sehen ist, und der Wert für Rm ist vorzugsweise zwei. In einem Fall, in dem die Korrekturwertberechnungseinheit 302e bestimmt, dass der Maximalwert des Kandidatenwerts der Schwellenwert oder mehr ist (Schritt S901: Ja), fährt die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S902, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem die Korrekturwertberechnungseinheit 302e bestimmt, dass der Maximalwert des Kandidatenwerts nicht der Schwellenwert oder mehr ist (Schritt S901: Nein), die zweite Bildverarbeitungsvorrichtung 30 mit Schritt S903, wie nachstehend beschrieben, fort. Die Korrekturwertberechnungseinheit 302e kann den RTS_Value des interessierenden Pixels mit dem Schwellenwert unter Verwendung des RTS_Value des interessierenden Pixels anstatt des Maximalwerts des Kandidatenwerts vergleichen.
In Schritt S902 korrigiert die Korrekturwertberechnungseinheit 302e den Pixelwert. Insbesondere berechnet die Korrekturwertberechnungseinheit 302e Δ unter Verwendung der folgenden Formel (7). Δ = Pixelwert des interessierenden Pixels auf Rohbild – repräsentativer Wert (7)
Als nächstes vergleicht die Korrekturwertberechnungseinheit 302e einen Absolutwert von Δ mit einem oder mehreren von von der Kandidatenwertberechnungseinheit 302b in vorstehend beschriebenem Schritt S703 in 13 berechneten Kandidatenwerten und wählt einen Kandidatenwert am nächsten an dem Absolutwert von Δ als δ aus. Da die Korrekturwertberechnungseinheit 302e eine Mehrzahl von Kandidatenwerten hat, die am nächsten an dem Absolutwert von Δ sind, muss der kleinste Kandidatenwert der Mehrzahl von Kandidatenwerten als δ ausgewählt werden, um Überkorrektur zu vermeiden.
Schließlich korrigiert unter Verwendung der folgenden Formeln (8) und (9) die Korrekturwertberechnungseinheit 302e den Pixelwert des interessierenden Pixels auf dem Rohbild, indem sie ermöglicht, dass der Wert in die Richtung des repräsentativen Werts um δ verschoben wird, und gibt den korrigierten Pixelwert des interessierenden Pixels an die Bildverarbeitungseinheit 303 aus.
Im Fall von Δ < 0, Pixelwert des interessierenden Pixels auf Rohbild + δ (8)
Im Fall von Δ ≥ 0, Pixelwert des interessierenden Pixels auf Rohbild – δ (9)
Nach Schritt S902 kehrt die zweite Bildverarbeitungsvorrichtung 30 zum Hauptprogramm in 15 zurück. Während die Korrekturwertberechnungseinheit 302e Δ berechnet und in Schritt S902 den kleinsten Kandidatenwert aus der Mehrzahl von Kandidatenwerten auswählt, ist es auch möglich, einen Wert durch individuelles Addieren oder Subtrahieren jedes der Mehrzahl von Kandidatenwerten auf dem Pixelwert des interessierenden Pixels auf dem Rohbild zu berechnen und aus der Mehrzahl von Werten einen nächstgelegenen repräsentativen Wert nach Addition oder Subtraktion auszuwählen, der nach der Berechnung erlangt wurde. Außerdem kann in einem Fall, in dem die Korrekturwertberechnungseinheit 302e das gleiche Ergebnis in Schritt S902 erlangen kann, ein anderes Berechnungsverfahren oder Vergleichsverfahren verwendet werden. Außerdem ist die von der Korrekturwertberechnungseinheit 302e ausgeführte Verarbeitung äquivalent zu der Verarbeitung der Bestimmung eines repräsentativen Werts, der auf einen Bereich von nicht weniger als dem Pixelwert des interessierenden Pixels auf dem Rohbild –RTS_Value und nicht mehr als den Pixelwert des interessierenden Pixels auf dem Rohbild +RTS_Value geclippt wird, als den korrigierten Pixelwert des interessierenden Pixels.
In Schritt S903 gibt die Korrekturwertberechnungseinheit 302e den Pixelwert des interessierenden Pixels auf dem Rohbild ohne jegliche Änderung an die Bildverarbeitungseinheit 303 aus. Nach Schritt S903 kehrt die zweite Bildverarbeitungsvorrichtung 30 zum Hauptprogramm in 15 zurück.
Jetzt folgt wieder mit Bezugnahme auf 13 nachstehend die Beschreibung von Schritt S706 und nachfolgenden Schritten.
In Schritt S706 bestimmt die RTS-Rauschen-Korrektureinheit 302, ob die Verarbeitung in den vorstehend beschriebenen Schritten S701 bis S705 für alle Pixel beendet ist (Schritt S706). In einem Fall, in dem die RTS-Rauschen-Korrektureinheit 302 bestimmt, dass die vorstehend beschriebene Verarbeitung für alle Pixel beendet ist (Schritt S706: Ja), beendet die zweite Bildverarbeitungsvorrichtung 30 die momentane Verarbeitung. Im Gegensatz dazu kehrt in einem Fall, in dem die RTS-Rauschen-Korrektureinheit 302 bestimmt, dass die vorstehend beschriebene Verarbeitung nicht für alle Pixel beendet ist (Schritt S706: Nein), die zweite Bildverarbeitungsvorrichtung 30 zu vorstehend beschriebenem Schritt S701 zurück.
Gemäß der vorstehend beschriebenen ersten Ausführungsform der vorliegenden Erfindung erstellt die Pixelwertgruppenerstellungseinheit 202b die Mehrzahl von Pixelwertgruppen unter Verwendung einer Klassifizierung in jede der Ausleseschaltungen (Verstärkereinheiten 105e), wodurch es möglich wird, RTS-Rauschen mit hoher Genauigkeit zu erfassen, ohne die Anzahl von Dunkelzeit-Rohbildern zu erhöhen. Folglich ist es möglich, die Zeit zur Aufnahme eines Dunkelzeit-Rohbilds zur Erfassung, die Zeit zum Lesen des Dunkelzeit-Rohbilds bei der Erfassung oder dergleichen zu reduzieren, und ist es möglich, mit hoher Genauigkeit das Blinkdefektrauschen mit einem Pixelwert zu erfassen, der in einem festen Bereich variiert, wie beispielsweise das RTS-Rauschen, während die zur Erfassung des RTS-Rauschens erforderliche Zeit reduziert wird.
Außerdem verwendet gemäß der ersten Ausführungsform der vorliegenden Erfindung die RTS-Rauschen-Merkmalsdatenberechnungseinheit 202d bei der Erfassung von RTS-Rauschen einen Histographen, in dem individuelle Werte in der Pixelwertgruppe in Absolutwerte umgewandelt werden. Dies kann die Genauigkeit der Verteilung verbessern und den Bereich der Verteilung auf eine Hälfte reduzieren und somit die Berechnungsmenge bei der Fehlerberechnung durch Anpassung auf ungefähr eine Hälfte des Falls reduzieren, in dem der Absolutwert nicht verwendet wird. Dementsprechend ist es möglich, mit hoher Geschwindigkeit und hoher Genauigkeit das Rauschen mit einem Pixelwert, der in einem festen Bereich variiert, wie beispielsweise das RTS-Rauschen, zu erfassen.
Ferner ist es gemäß der ersten Ausführungsform der vorliegenden Erfindung, da die Pixelwertgruppenerstellungseinheit 202b die isolierten Punkte und die von der Einheit zur Erfassung von isolierten Punkten 202a bei der Erfassung von RTS-Rauschen erfassten Pixel ausschließt, möglich, eine falsche Erfassung von RTS-Rauschen aufgrund des Auftretens des isolierten Punktes zu vermeiden. Dementsprechend ist es möglich, mit hoher Genauigkeit das Rauschen mit einem Pixelwert, der in einem festen Bereich variiert, wie beispielsweise das RTS-Rauschen, zu erfassen.
Außerdem wird gemäß der ersten Ausführungsform der vorliegenden Erfindung die Frage, ob eine Möglichkeit des Auftretens von RTS-Rauschen besteht, durch Verwendung des Rauschpegels der Pixelwertgruppe bei der RTS-Rauschen-Erfassung bestimmt. Dementsprechend ist es möglich, die Berechnungsmenge zu reduzieren, da keine Notwendigkeit besteht, RTS-Merkmalsdaten durch Anpassung oder dergleichen für alle Pixelwertgruppen zu berechnen.
Außerdem verwendet gemäß der ersten Ausführungsform der vorliegenden Erfindung die Korrekturwertberechnungseinheit 302e eine Mehrzahl von bei der RTS-Rauschen-Korrektur von der Kandidatenwertberechnungseinheit 302b berechneten Kandidatenwerten, wodurch es möglich ist, das Rauschen mit einem Pixelwert, der in einem festen Bereich variiert, wie beispielsweise das RTS-Rauschen, geeignet zu korrigieren, während eine Überkorrektur im Fall des Auftretens des RTS-Rauschens unter RTS_Value vermieden wird.
Ferner berechnet gemäß der ersten Ausführungsform der vorliegenden Erfindung die Korrekturwertberechnungseinheit 302e einen repräsentativen Wert aus geeigneten umliegenden Pixeln auf Grundlage der von der Zufallsrauschenmengenschätzungseinheit 302d bei der RTS-Rauschen-Korrektur geschätzten Zufallsrauschenmenge, so dass es möglich ist, Randeffekte zu minimieren, selbst wenn das interessierende Pixel sich in der Nachbarschaft des Randteils befindet, und das Rauschen mit einem Pixelwert, der in einem festen Bereich variiert, wie zum Beispiel das RTS-Rauschen, geeignet zu korrigieren.
Außerdem führt gemäß der ersten Ausführungsform der vorliegenden Erfindung in einem Fall, in dem das RTS-Rauschen nicht wahrnehmbar durch das Zufallsrauschen bei der RTS-Rauschen-Korrektur verdeckt wird, die Korrekturwertberechnungseinheit 302e keine Verarbeitung der Korrektur des RTS-Rauschens aus. Dementsprechend ist es möglich, das Rauschen mit einem Pixelwert, der in einem festen Bereich variiert, wie beispielsweise das RTS-Rauschen, geeignet zu korrigieren, während Überkorrektur verhindert wird.
(Erste Modifizierung der ersten Ausführungsform)
Die RTS-Rauschen-Merkmalsdatenberechnungseinheit 202d gemäß der ersten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung kann den RTS_Value mit einem anderen Berechnungsverfahren berechnen. Insbesondere kann es möglich sein, den Absolutwerthistograph (Blinkdefektrauschenmodell) in der vorstehend beschriebenen 11 als eine gemischte normale Verteilung zu betrachten, die drei normale Verteilungen mit unterschiedlichen Eigenschaften umfasst, wie in 17 gezeigt, und einen Medianwert und eine Standardabweichung jeder der normalen Verteilungen zu erlangen, sodass der Unterschied zwischen dem Absolutwerthistograph und der gemischten normalen Verteilung minimal wird, und den Anteil von drei Verteilungen zu erlangen, um den Medianwert der Verteilung 2 als RTS_Value zu berechnen. In diesem Fall kann die RTS-Rauschen-Merkmalsdatenberechnungseinheit 202d die Berechnungsmenge unter Verwendung eines bekannten EM-Algorithmus oder dergleichen verringern.
(Zweite Modifizierung der ersten Ausführungsform)
Die Kandidatenwertberechnungseinheit 302b gemäß der zweiten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung berechnet eine Mehrzahl von Kandidatenwerten der Berechnungsmenge zur Korrektur des RTS-Rauschens (Schritt S703 in 13 vorstehend beschrieben) unter Verwendung eines anderen Kandidatenwertberechnungsverfahrens (Kandidatenwertberechnungsverfahren 2).
[Kandidatenwertberechnungsverfahren 2]
Die Kandidatenwertberechnungseinheit 302b berechnet einen Wert, der bei einem vorbestimmten Intervall aus Werten von nicht weniger als 0 und nicht mehr als RTS_Value extrahiert wird, als einen Kandidatenwert auf Grundlage von RTS_Value, der dem interessierenden Pixel entspricht. Beispielsweise wird eine gemittelte Standardabweichung × r × n (n ist eine ganze Zahl nicht unter 0), die nicht größer ist als RTS_Value, unter Verwendung einer gemittelten Standardabweichung als ein Wert auf Grundlage der gemittelten Zufallsrauschenmenge als der Kandidatenwert berechnet. Es ist zu beachten, dass r gemäß einem Niveau bestimmt wird, wie RTS-Rauschen bezüglich des Zufallsrauschens visuell gesehen werden kann. Vorzugsweise ist r ein Wert von circa zwei.
Außerdem kann die Kandidatenwertberechnungseinheit 302b einen Maximalwert von RTS_Value/(Max – 1) × n (n ist eine ganze Zahl nicht unter 0 und nicht größer als Max – 1), der nicht größer ist als RTS_Value, auf Grundlage des Maximalwerts von RTS_Value und einer maximalen Anzahl Max der Kandidatenwerte, die durch Hardwarebeschränkungen bestimmt sind (Beschränkungen, die die Speicher- und die Schaltungsgröße umfassen), als den Kandidatenwert berechnen.
18 ist ein Diagramm, das eine Beziehung zwischen dem RTS_Value-Histographen in dem Kandidatenwertberechnungsverfahren 2 und einem Kandidatenwert zeigt. Wie in 18 gezeigt, stellt eine dicke Linie L11 einen beispielhaften Histographen des RTS_Value dar. In einem Fall, in dem die maximale Anzahl Max sieben beträgt, ist der von einer gestrichelten Linie dargestellte Wert ein möglicher Kandidatenwert und ist ein tatsächlicher Kandidatenwert ein Wert von nicht mehr als RTS_Value, der dem interessierenden Pixel entspricht, von einer gestrichelten Linie dargestellt.
Gemäß der vorstehend beschriebenen zweiten Modifizierung der ersten Ausführungsform berechnet die Kandidatenwertberechnungseinheit 302b eine Mehrzahl von Kandidatenwerten des Korrekturbetrags zur Korrektur des RTS-Rauschens unter Berücksichtigung von Hardwarebeschränkungen. Dies ermöglicht eine effektive Korrektur auf dem RTS-Rauschen, das in dem Bildsensor 105 auftritt.
(Dritte Modifizierung der ersten Ausführungsform)
Die Kandidatenwertberechnungseinheit 302b gemäß der dritten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung berechnet eine Mehrzahl von Kandidatenwerten der Berechnungsmenge zur Korrektur des RTS-Rauschens (Schritt S703 in vorstehend beschriebener 13) unter Verwendung eines anderen Kandidatenwertberechnungsverfahrens (Kandidatenwertberechnungsverfahren 3).
[Kandidatenwertberechnungsverfahren 3]
Die Kandidatenwertberechnungseinheit 302b unterteilt die RTS_Value Histogramm-Frequenz gleichmäßig gemäß der durch Hardwarebeschränkungen bestimmten maximalen Anzahl Max der Kandidatenwerte und berechnet den Wert von nicht mehr als RTS_Value, der dem interessierenden Pixel entspricht, als den Kandidatenwert.
19 ist ein Diagramm, das eine Beziehung zwischen dem RTS_Value-Histographen in dem Kandidatenwertberechnungsverfahren 3 und einem Kandidatenwert zeigt. Wie in 19 gezeigt, stellt eine dicke Linie L12 einen beispielhaften Histographen des RTS_Value dar. Der von der gestrichelten Linie dargestellte Wert zeigt einen möglichen Kandidatenwert, der die Position ist, die die RTS_Value-Histogramm-Frequenz gleichmäßig teilt. Der tatsächliche Kandidatenwert ist ein Wert von nicht mehr als RTS_Value, der dem interessierenden Pixel entspricht, von einer gestrichelten Linie dargestellt.
Auf diese Weise berechnet gemäß der dritten Modifizierung der ersten Ausführungsform die Kandidatenwertberechnungseinheit 302b einen Kandidatenwert des Korrekturbetrags zur Korrektur des RTS-Rauschens in Hinblick auf die Verteilung des RTS-Rauschens, wobei Hardwarebeschränkungen berücksichtigt werden. Dies ermöglicht die Ausführung einer effektiven und hochgradig genauen Korrektur von allem RTS-Rauschen, das in dem Bildsensor 105 auftritt.
(Vierte Modifizierung der ersten Ausführungsform)
Die Kandidatenwertberechnungseinheit 302b gemäß der vierten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung berechnet eine Mehrzahl von Kandidatenwerten des Korrekturbetrags zur Korrektur des RTS-Rauschens (Schritt S703 in vorstehend beschriebener 13) unter Verwendung eines anderen Kandidatenwertberechnungsverfahren (Kandidatenwertberechnungsverfahren 4).
[Kandidatenwertberechnungsverfahren 4]
Die Kandidatenwertberechnungseinheit 302b berechnet einen Wert, der bei einem vorbestimmten Intervall aus Werten von nicht weniger als 0 und nicht mehr als RTS_Value extrahiert wird, als einen Kandidatenwert auf Grundlage von RTS_Value, der dem interessierenden Pixel entspricht. Der Unterschied zwischen den Kandidatenwertberechnungsverfahren 2 und 3 besteht darin, dass das vorbestimmte Intervall gemäß dem Pixelwert geändert wird. Insbesondere berechnet die Kandidatenwertberechnungseinheit 302b einen Kandidatenwert, der dem interessierenden Pixel entspricht, auf Grundlage der Zufallsrauschenmenge (Standardabweichung in der vierten Modifizierung der ersten Ausführungsform) gemäß einem Pixelwert des interessierenden Pixels oder einem Pixelwert auf dem Rohbild in der Nachbarschaft des interessierenden Pixels, der von der Zufallsrauschenmengenschätzungseinheit 302d berechnet wird. Insbesondere erlangt die Kandidatenwertberechnungseinheit 302b das von der Zufallsrauschenmengenschätzungseinheit 302d berechnete Zufallsrauschen auf Grundlage des Mittelwerts des Pixelwerts des interessierenden Pixels auf dem Rohbild und des Pixelwerts auf dem Rohbild, das dem interessierenden Pixel benachbart ist (dieses umgibt) (Pixelwert für eine Farbe, die die gleiche Farbe ist wie die Farbe des interessierenden Pixels in dem Fall, in dem der Bildsensor 105 einen Farbfilter verwendet) oder dergleichen und berechnet die Kandidatenwertberechnungseinheit 302b dann unter Verwendung der Zufallsrauschenmenge die Standardabweichung × r × n (n ist eine ganze Zahl nicht unter 0 und nicht über Max – 1), in einem Bereich des RTS_Value von unten als einen Kandidatenwert.
Gemäß der vorstehend beschriebenen vierten Modifizierung der ersten Ausführungsform berechnet die Kandidatenwertberechnungseinheit 302b den Kandidatenwert, der dem interessierenden Pixel entspricht, auf Grundlage der Zufallsrauschenmenge gemäß dem Pixelwert des interessierenden Pixels oder dem Pixelwert auf dem Rohbild in der Nachbarschaft des interessierenden Pixels, der von der Zufallsrauschenmengenschätzungseinheit 302d berechnet wird. Die Durchführung der Korrektur mit hoher Genauigkeit für einen Fall der möglicherweise nicht wahrnehmbaren Verdeckung durch das Zufallsrauschen würde den Korrekturbetrag erhöhen, ohne Korrektureffekte zu erreichen, die der Erhöhung des Korrekturbetrags entsprechen. Unter Verwendung der Technik in der vierten Modifizierung der ersten Ausführungsform ist es jedoch möglich, das RTS-Rauschen mit einem Niveau mit einer Fremdheit, die nicht von dem Zufallsrauschen verdeckt wird, mit einer mindestmöglichen Anzahl von Kandidatenwerten ausreichend zu korrigieren.
(Fünfte Modifizierung der ersten Ausführungsform)
Die Berechnungseinheit für repräsentative Werte 302c gemäß der fünften Modifizierung der ersten Ausführungsform der vorliegenden Erfindung berechnet einen Bezugswert (vorstehend beschriebener Schritt S802 in 14) zur Berechnung der Zufallsrauschenmenge, die in der Nachbarschaft des interessierenden Pixels auf dem Rohbild auftritt, unter Verwendung eines anderen Bezugswertbezugsverfahrens (Bezugswertbezugsverfahren 2).
[Bezugswertbezugsverfahren 2]
Die Berechnungseinheit für repräsentative Werte 302c berechnet einen beliebigen von einem Maximalwert, einem Mittelwert und einem Medianwert der Pixelwerte auf dem Rohbild in einem Berechnungsbereich (Pixelwert für eine Farbe, die die gleiche Farbe ist wie die Farbe des interessierenden Pixels in dem Fall, in dem der Bildsensor 105 einen Farbfilter verwendet) als den Bezugswert.
Gemäß der vorstehend beschriebenen fünften Modifizierung der ersten Ausführungsform berechnet in einem Fall, in dem der Pixelwert auf dem Rohbild aufgrund von RTS-Rauschen kleiner ist als der ursprüngliche Pixelwert, die Berechnungseinheit für repräsentative Werte 302c einen Bezugswert unter Verwendung eines Pixelwerts, der das interessierende Pixel umgibt. Dementsprechend ist es möglich, zu verhindern, dass die von der Zufallsrauschenmengenschätzungseinheit 302d berechnete Zufallsrauschenmenge als ein Wert berechnet wird, der kleiner ist als der tatsächliche Wert.
(Sechste Modifizierung der ersten Ausführungsform)
Die Berechnungseinheit für repräsentative Werte 302c gemäß der sechsten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung berechnet einen Bezugswert (vorstehend beschriebener Schritt S802 in 14) zur Berechnung der Zufallsrauschenmenge, die in der Nachbarschaft des interessierenden Pixels auf dem Rohbild auftritt, unter Verwendung eines anderen Bezugswertbezugsverfahrens (Bezugswertbezugsverfahren 3).
[Bezugswertbezugsverfahren 3]
Die Berechnungseinheit für repräsentative Werte 302c berechnet innerhalb eines Berechnungsbereiches einen beliebigen von einem Maximalwert, einem Mittelwert und einem Medianwert der Pixelwerte auf dem Rohbild der Pixel, von denen bestimmt wird, dass sie kein Auftreten von RTS-Rauschen enthalten, durch die RTS-Rauschen-Pixelbestimmungseinheit 302a (Pixelwert für eine Farbe, die die gleiche Farbe ist wie die Farbe des interessierenden Pixels in dem Fall, in dem der Bildsensor 105 einen Farbfilter verwendet) als den Bezugswert. In einem Fall, in dem die RTS-Rauschen-Pixelbestimmungseinheit 302a bestimmt, dass RTS-Rauschen auf allen Pixeln in einem Berechnungsbereich auftritt, führt die Berechnungseinheit für repräsentative Werte 302c eine Berechnung unter Verwendung des vorstehend beschriebenen Bezugswertbezugsverfahrens 1 oder Bezugswertbezugsverfahrens 2 durch.
Gemäß der vorstehend beschriebenen sechsten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung berechnet die Berechnungseinheit für repräsentative Werte 302c in einem Fall, in dem der Pixelwert auf dem Rohbild aufgrund von RTS-Rauschen kleiner ist als der ursprüngliche Pixelwert, einen Bezugswert unter Verwendung eines Pixelwerts, der das interessierende Pixel umgibt. Dementsprechend ist es möglich, zu verhindern, dass die von der Zufallsrauschenmengenschätzungseinheit 302d berechnete Zufallsrauschenmenge als ein Wert berechnet wird, der kleiner ist als der tatsächliche Wert.
(Siebte Modifizierung der ersten Ausführungsform)
Die Berechnungseinheit für repräsentative Werte 302c gemäß der siebten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung berechnet einen Bezugswert zur Berechnung der Zufallsrauschenmenge, die in der Nachbarschaft des interessierenden Pixels auf dem Rohbild auftritt, unter Verwendung eines anderen Bezugswertbezugsverfahrens (Bezugswertbezugsverfahren 4).
[Bezugswertbezugsverfahren 4]
Die Berechnungseinheit für repräsentative Werte 302c berechnet die Zufallsrauschenmenge unter Verwendung des durch die Zufallsrauschenmengenschätzungseinheit 302d repräsentativen Werts und bestimmt einen Schwellenwert in dem vorstehend beschriebenen Schritt S901 unter Verwendung der Zufallsrauschenmenge auf Grundlage des repräsentativen Werts anstatt des Bezugswerts.
Gemäß der siebten Modifizierung der ersten Ausführungsform der vorliegenden Erfindung ist es möglich, zu verhindern, dass der Schwellenwert als ein kleinerer oder größerer Wert als der tatsächliche Wert in einem Fall, in dem RTS-Rauschen auf dem interessierenden Pixel auftritt, berechnet wird.
(Achte Modifizierung der ersten Ausführungsform)
In der ersten Ausführungsform der vorliegenden Erfindung berechnet die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c die Zufallsrauschenmenge jeder der Mehrzahl von Pixelwertgruppen und berechnet den Mittelwert der gemittelten Zufallsrauschenmengen aller Pixelwertgruppen, für die die RTS-Markierung auf den Rücksetzzustand eingestellt ist. Alternativ kann die Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c eine Zufallsrauschenmenge jeder der Mehrzahl von Pixelwertgruppen berechnen und kann die Zufallsrauschenmenge des Pixels, das der Pixelwertgruppe entspricht, für die die RTS-Markierung auf einen Rücksetzzustand eingestellt ist, auf einer Mehrzahl von Dunkelzeit-Rohbildern als die Zufallsrauschenmenge der Mehrzahl von Dunkelzeit-Rohbildern berechnen. In diesem Fall kann die RTS-Rauschen-Bestimmungseinheit 202e bestimmen, ob RTS-Rauschen auf jeder der Mehrzahl von Pixelwertgruppen auftritt, aufgrund der Zufallsrauschenmenge jeder der von der Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c berechneten Mehrzahl von Pixelwertgruppen, der Zufallsrauschenmenge der Mehrzahl von von der Einheit zur Berechnung der gemittelten Zufallsrauschenmenge 202c berechneten Dunkelzeit-Rohbildern und der von der RTS-Rauschen-Merkmalsdaten-Berechnungseinheit 202d berechneten Merkmalsdaten. Dies ermöglicht die Berechnung der Zufallsrauschenmenge der Mehrzahl von Dunkelzeit-Rohbildern mit hoher Genauigkeit. Folglich ist es möglich, mit hoher Genauigkeit zu bestimmen, ob es eine Pixelwertgruppe mit einer Möglichkeit des Auftretens von RTS-Rauschen ist.
(Zweite Ausführungsform)
Als nächstes wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. In der ersten Ausführungsform wird der RTS_Value bei der Erfassung des RTS-Rauschens aufgezeichnet und wird eine Mehrzahl von Kandidatenwerten des Korrekturbetrags auf Grundlage des aufgezeichneten RTS_Value berechnet. Im Gegensatz dazu berechnet die zweite Ausführungsform zuerst alle möglichen Zahlen für den Kandidatenwert des Korrekturbetrags, der von dem ganzen verwendeten Bild gemeinsam genutzt wird, als ein Ergebnis der RTS-Rauschen-Erfassung. Als nächstes wird Korrektur auf einem gemeinsam genutzten Pixelblock, auf dem RTS-Rauschen auftritt, unter Verwendung eines kleinsten Werts als ein Kandidatenwert des Korrekturbetrags aus all den Zahlen, die als der Kandidatenwert des Korrekturbetrags möglich sind, ausgeführt, während die Anzahl der Kandidatenwerte des Korrekturbetrags aufgezeichnet wird. Insbesondere besteht der Unterschied zur vorstehend beschriebenen ersten Ausführungsform in der Verarbeitung von Schritt S609 bei der RTS-Rauschen-Bestimmungsverarbeitung in 12 und der Verarbeitung von Schritt S703 in 13. Dementsprechend werden nachstehend die Verarbeitung in Schritten S603 und S703 gemäß der zweiten Ausführungsform beschrieben. Die gleichen Bezugszahlen werden zur Bezeichnung der gleichen Elemente wie in der ersten Ausführungsform verwendet und eine Erklärung davon wird weggelassen.
20 ist ein Ablaufdiagramm, das einen Überblick über die RTS-Rauschen-Bestimmungsverarbeitung zeigt, die von der ersten Bildverarbeitungsvorrichtung 20 gemäß der zweiten Ausführungsform ausgeführt wird. In 20 führt die erste Bildverarbeitungsvorrichtung 20 die Verarbeitung von Schritt S609a anstatt der Verarbeitung von S609 gemäß der vorstehend beschriebenen ersten Ausführungsform aus.
In Schritt S609a berechnet die RTS-Rauschen-Bestimmungseinheit 202e zuerst einen Maximalwert des RTS_Value, der in dem vorstehend beschriebenen Schritt S605 in dem flüchtigen Speicher 111 vorübergehend gespeichert wird.
Danach berechnet die RTS-Rauschen-Bestimmungseinheit 202e Cn (n ist eine ganze Zahl nicht unter null und unter Max) unter Verwendung der folgenden Formel (10) auf Grundlage der Maximalzahl Max des Kandidatenwerts. Cn = Maximalwert von RTS_Value/(Max – 1) × n (10) wobei n eine ganze Zahl nicht unter 0 und unter Max ist. In der vorstehend beschriebenen 18 entspricht Cn, berechnet durch Formel (10), der Position der gestrichelten Linie.
Anschließend zählt die RTS-Rauschen-Bestimmungseinheit 202e die Anzahl von Cn, die nicht größer ist als RTS_Value, auf Grundlage des vorübergehend in dem flüchtigen Speicher 111 gespeicherten RTS_Value in Verbindung mit der Position des gemeinsam genutzten Pixelblocks. In diesem Fall kann die RTS-Rauschen-Bestimmungseinheit 202e, da C0 (= 0) immer enthalten ist, dieses aus dem Zählerwert ausschließen. Außerdem kann die RTS-Rauschen-Bestimmungseinheit 202e die Zahl zählen, bis das minimale Cn den RTS_Value überschreitet.
Schließlich zeichnet die RTS-Rauschen-Bestimmungseinheit 202e RTS-Rauschen-Information in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b auf. Die RTS-Rauschen-Information ordnet die Anzahl von Maximalzahlen Max, individuelles Cn, Positionsinformation der gemeinsam genutzten Pixelblöcke und den Zählerwert (Anzahl von Kandidatenwerten des RTS-Rauschen-Korrekturwerts) einander zu. Anders als die vorstehend beschriebenen Werte kann die RTS-Rauschen-Bestimmungseinheit 202e einen Wert, der in der vorstehend beschriebenen 19 in einer gestrichelten Linie angegeben ist, als Cn nutzen. In diesem Fall ist Cn ein Wert, der durch gleiche Teile n der Frequenz des Histogramms von RTS_Value durch den Maximalwert Max – 1 erlangt wird.
21 ist ein Ablaufdiagramm, das einen Überblick über die Verarbeitung zeigt, die von der zweiten Bildverarbeitungsvorrichtung 30 gemäß der zweiten Ausführungsform ausgeführt wird. In 21 führt die zweite Bildverarbeitungsvorrichtung 30 die Verarbeitung von Schritt S703a anstatt der Verarbeitung von S703 gemäß der vorstehend beschriebenen ersten Ausführungsform aus.
In Schritt S703a erlangt die Kandidatenwertberechnungseinheit 302b die Anzahl der Maximalzahl Max und Cn, die in dem nicht flüchtigen Speicher 112 aufgezeichnet sind, und bestimmt die Anzahl von Kandidatenwerten, die dem interessierenden Pixel entsprechen, aus einem kleineren Cn als dem Kandidatenwert des Korrekturbetrags. In einem Fall, in dem der Verstärkerverstärkungswert, der von der Abbildungssteuereinrichtung 114 auf den Verstärkerverstärkungswert eingestellt wird, der auf den Spaltenverstärker oder dergleichen des Bildsensors 105 eingestellt wird, sich zwischen der Zeit der RTS-Rauschen-Erfassung (Verstärkerverstärkungswert = G0) und der Zeit der RTS-Rauschen-Korrektur (Verstärkerverstärkungswert = G1) unterscheidet, kann die Kandidatenwertberechnungseinheit 302b den Kandidatenwert des Korrekturbetrags mit einem Wert, der durch Multiplikation des Verhältnisses (G = G1/G0) des Verstärkerverstärkungswerts bei RTS-Rauschen-Korrektur zu dem Verstärkerverstärkungswert bei RTS-Rauschen-Erfassung erlangt wird, durch den Kandidatenwert des Korrekturbetrags ersetzen. Außerdem kann die Kandidatenwertberechnungseinheit 302b den Kandidatenwert des Korrekturbetrags für jeden der Verstärkerverstärkungswerte im Voraus in dem nicht flüchtigen Speicher 112 aufzeichnen und kann den Kandidatenwert des Korrekturbetrags gemäß dem eingestellten Verstärkerverstärkungswert verwenden. Außerdem bestimmt die Kandidatenwertberechnungseinheit 302b in einem Fall, in dem null nicht in der Anzahl von Kandidatenwerten enthalten ist, die Anzahl von Kandidatenwerten von CO und einen kleineren Wert von C1 oder mehr als den Kandidatenwert des Korrekturbetrags. Außerdem umfasst die vorstehend beschriebene erste Ausführungsform die Verarbeitung, die RTS_Value verwendet. In der zweiten Ausführungsform wird jedoch der RTS_Value nicht in dem nicht flüchtigen Speicher 112 aufgezeichnet und ist es somit durch Verwendung des maximalen Kandidatenwerts, der in Schritt S703a als der RTS_Value in der späteren Verarbeitung berechnet wird, möglich, einen Effekt zu erreichen, der ähnlich den Effekten der vorstehend beschriebenen ersten Ausführungsform ist.
Gemäß der vorstehend beschriebenen zweiten Ausführungsform der vorliegenden Erfindung werden bei der RTS-Rauschen-Erfassung mögliche Werte (Cn) für den Kandidatenwert des Korrekturbetrags bei der RTS-Rauschen-Korrektur im Voraus auf Grundlage der Verteilung des RTS_Value bei der RTS-Rauschen-Erfassung berechnet und werden der gemeinsam genutzte Pixelblock, in dem das RTS-Rauschen auftritt, und die Anzahl von Kandidatenwerten, die bei der RTS-Rauschen-Korrektur zu verwenden sind, einander auf Grundlage von RTS_Value zugeordnet und aufgezeichnet. Das RTS-Rauschen tritt aufgrund eines Defekts in dem Bildsensor 105 auf und somit führen individuelle Unterschiede zu einem Unterschied in den RTS-Rauscheneigenschaften. In einem Fall, in dem der RTS_Value direkt aufgezeichnet wird, wie in der vorstehend beschriebenen ersten Ausführungsform, besteht eine Notwendigkeit, einen Bereich (maximale Bitanzahl von RTS_Value) zur Aufzeichnung eines möglichen annehmbaren Maximalwerts von RTS_Value sicherzustellen, der unter Berücksichtigung des individuellen Unterschieds erlangt wird. Im Gegensatz dazu ist es gemäß der zweiten Ausführungsform ausreichend, den Wert bis zu der Maximalzahl Max aufzuzeichnen. Dementsprechend ist es möglich, eine Erfassung auszuführen, die selbst in einem Fall, in dem unerwartetes RTS-Rauschen auftritt, zu einer geeigneten Korrektur führt. In einem Fall, in dem unerwartetes RTS-Rauschen auftritt, ist es lediglich notwendig, Cn alleine zu ändern.
Außerdem ist es gemäß der zweiten Ausführungsform der vorliegenden Erfindung bei der RTS-Rauschen-Korrektur lediglich notwendig, eine Auswahl von Cn von der Anzahl von Kandidatenwerten unter Verwendung von zuvor berechnetem Cn und unter Verwendung des Kandidatenwerts, der ein Wert ist, der auf RTS_Value basiert, der dem gemeinsam genutzten Pixelblock zugeordnet ist, durchzuführen. Dementsprechend ist es möglich, eine Korrektur mit einfacher Verarbeitung, d. h. einer geringen Berechnungsmenge, auszuführen.
Während in der zweiten Ausführungsform der vorliegenden Erfindung die Kandidatenwertberechnungseinheit 302b Cn auf Grundlage von RTS-Rauschen-Erfassungsergebnissen berechnet, ist es auch möglich, Cn im Voraus auf Grundlage einer Charakteristik (beispielsweise eines gemittelten RTS-Rauschen-Histogramms) des RTS-Rauschens zu berechnen (bestimmen), das auf dem Bildsensor 105 in einem Fall auftreten kann, in dem eine kleine individuelle Differenz in der Charakteristik (insbesondere RTS-Rauschen-Histogramm) des RTS-Rauschens vorhanden ist. Folglich besteht keine Notwendigkeit, Cn für jedes der einzelnen Elemente (jeden der Bildsensoren 105) zu berechnen und kann somit die Berechnungsmenge bei der RTS-Rauschen-Erfassung reduziert werden.
(Dritte Ausführungsform)
Als nächstes wird eine dritte Ausführungsform der vorliegenden Erfindung beschrieben. Die RTS-Rauschen-Erfassungseinheit 202 und die RTS-Rauschen-Korrektureinheit 302 sind in der vorstehend beschriebenen ersten Ausführungsform getrennt vorgesehen. In der dritten Ausführungsform sind jedoch die RTS-Rauschen-Erfassungseinheit 202 und die RTS-Rauschen-Korrektureinheit 302 auf einem Abbildungsvorrichtungshauptkörper vorgesehen. Deshalb werden die gleichen Bezugszeichen zur Bezeichnung der gleichen Elemente verwendet wie die des Abbildungssystems 1 gemäß der ersten Ausführungsform und wird eine Erklärung davon weggelassen.
[Konfiguration des Abbildungssystems]
22 ist ein Blockdiagramm, das schematisch eine Konfiguration eines Abbildungssystems 2 gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt. Das in 22 gezeigte Abbildungssystem 2 umfasst eine Hauptkörpereinheit 3 und eine Linseneinheit 4, die lösbar mit der Hauptkörpereinheit 3 verbunden werden kann.
[Konfiguration der Hauptkörpereinheit]
Die Hauptkörpereinheit 3 umfasst den Verschluss 103, den Bildsensor 105, die analoge Verarbeitungseinheit 106, den A/D-Wandler 107, die Betätigungseinheit 108, die Speicherschnittstelleneinheit 109, das Aufzeichnungsmedium 110, den flüchtigen Speicher 111, den nicht flüchtigen Speicher 112, den Bus 113, die Abbildungssteuereinrichtung 114, eine AE-Verarbeitungseinheit 116, eine AF-Verarbeitungseinheit 117, eine externe Schnittstelleneinheit 118, eine Anzeigeeinheit 119, einen Treiber 120, die RTS-Rauschen-Erfassungseinheit 202 und die RTS-Rauschen-Korrektureinheit 302. Der Treiber 102 treibt den Verschluss 103 unter Steuerung der Abbildungssteuereinrichtung 114.
Die AE-Verarbeitungseinheit 116 erlangt in dem flüchtigen Speicher 111 gespeicherte Bilddaten über den Bus 113 und stellt Belichtungsbedingungen zum Zeitpunkt der Ausführung von Standbildaufnahme oder Bewegtbildaufnahme auf Grundlage der erlangten Bilddaten ein. Insbesondere berechnet die AE-Verarbeitungseinheit 116 die Luminanz aus den Bilddaten und bestimmt einen Blendenwert, eine Belichtungszeit, eine ISO-Empfindlichkeit oder dergleichen auf Grundlage der berechneten Luminanz, wodurch eine automatische Belichtung (Autobelichtung) für das Abbildungssystem 2 ausgeführt wird.
Die AF-Verarbeitungseinheit 117 erlangt die in dem flüchtigen Speicher 111 gespeicherten Bilddaten über den Bus 113 und führt eine automatische Fokuseinstellung des Abbildungssystems 2 auf Grundlage der erlangten Bilddaten durch. Beispielsweise extrahiert die AF-Verarbeitungseinheit 117 ein Hochfrequenzkomponentensignal aus den Bilddaten und führt Autofokus(AF)-Berechnungsverarbeitung auf dem Hochfrequenzkomponentensignal durch, wodurch die fokussierte Auswertung des Abbildungssystems 2 bestimmt wird, wodurch automatische Fokuseinstellung des Abbildungssystems 2 ausgeführt wird. Ein Verfahren zur Ausführung von automatischer Fokuseinstellung des Abbildungssystems 2 kann ein Verfahren des Erlangens eines Phasendifferenzsignals auf dem Bildsensor 105 sein.
Die externe Schnittstelleneinheit 118 kann ein Lesen/Schreiben von Daten auf verschiedenen Blöcken der Hauptkörpereinheit 3 und Steuerung mittels dedizierter Befehle oder dergleichen ausführen. Die externe Schnittstelleneinheit 118 ist eine Schnittstelle, die verschiedene Blöcke auf der Hauptkörpereinheit 3 durch Verbinden einer dedizierten Schaltung, die FPGA, DSP, GPU oder dergleichen umfasst, und einer externen Vorrichtung, wie beispielsweise eines Personal Computers (PC), steuern kann.
Die Anzeigeeinheit 119 umfasst ein Anzeigefeld, das mit einem Flüssigkristall, einer organischen Elektrolumineszenz (EL) oder dergleichen gebildet ist. Die Anzeigeeinheit 119 zeigt ein Bild an, das den von dem Bildsensor 105 erzeugten Bilddaten entspricht.
[Konfiguration der Linseneinheit]
Wie in 22 gezeigt, umfasst die Linseneinheit 4 das optische System 101, die Blende 102 und den Treiber 104. Das optische System 101 fokussiert ein Bild eines Subjektes, das aus einem vorbestimmten Gesichtsfeldsbereich erfasst wird, auf dem Bildsensor 105.
[Verarbeitung an dem Abbildungssystem]
Als nächstes wird die von dem Abbildungssystem 2 ausgeführte Verarbeitung beschrieben. 23 ist ein Ablaufdiagramm, das einen Überblick über die von dem Abbildungssystem 2 ausgeführte Verarbeitung zeigt.
Wie in 23 gezeigt, wird zuerst eine Ein-/Aus-Schaltfläche (nicht gezeigt) der Betätigungseinheit 108 betätigt und wird dann anschließend die Energieversorgung der Hauptkörpereinheit 3 eingeschaltet, woraufhin die Abbildungssteuereinrichtung 114 das Abbildungssystem 2 initialisiert (Schritt S1001). Insbesondere führt die Abbildungssteuereinheit 114 die Initialisierung des Schaltens der Aufzeichnungsmarkierung, die die Aufzeichnung des Bewegtbildes angibt, in den Aus-Zustand. Diese Aufzeichnungsmarkierung ist eine Kennzeichnung, die während der Bewegtbildaufnahme in einen Ein-Zustand schaltet und in einen Aus-Zustand schaltet, wenn kein Bewegtbild aufgenommen wird, das in dem flüchtigen Speicher 111 gespeichert wird.
Anschließend schaltet umgekehrt in einem Fall, in dem die Bewegtbildschaltfläche auf der Betätigungseinheit 108 gedrückt wird (Schritt S1002: Ja), die Abbildungssteuereinrichtung 114 die Aufzeichnungsmarkierung, die anzeigt, dass ein Bewegtbild aufgezeichnet wird, in den Ein-Zustand (Schritt S1003) und urteilt die Abbildungssteuereinheit 114, ob das Abbildungssystem 2 sich in der Mitte eines Aufzeichnungsprozesses eines Bewegtbildes befindet (Schritt S1004). Insbesondere bestimmt die Abbildungssteuereinheit 114, ob die in dem flüchtigen Speicher 111 gespeicherte Aufzeichnungsmarkierung sich in dem Ein-Zustand befindet. In einem Fall, in dem die Abbildungssteuereinheit 114 urteilt, dass sich das Abbildungssystem 2 in der Mitte eines Aufzeichnungsprozesses des Bewegtbildes befindet (Schritt S1004: Ja), fährt das Abbildungssystem 2 mit Schritt S1005, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem die Abbildungssteuereinheit 114 urteilt, dass sich das Abbildungssystem 2 nicht in der Mitte eines Aufzeichnungsprozesses des Bewegtbildes befindet (Schritt S1004: Nein), das Abbildungssystem 2 mit Schritt S1006, wie nachstehend beschrieben, fort.
In Schritt S1005 erzeugt die Abbildungssteuereinrichtung 114 auf dem Aufzeichnungsmedium 110 eine Bewegtbilddatei zum Aufzeichnen von Bilddaten in der Zeitserie. Nach Schritt S1005 fährt das Abbildungssystem 2 mit Schritt S1006, wie nachstehend beschrieben, fort.
In Schritt S1002 fährt in einem Fall, in dem die Bewegtbildschaltfläche auf der Betätigungseinheit 108 nicht gedrückt wird (Schritt S1002: Nein), das Abbildungssystem 2 mit Schritt S1006 fort.
Anschließend urteilt die Abbildungssteuereinrichtung 114, ob das Abbildungssystem 2 sich in der Mitte eines Aufzeichnungsprozesses eines Bewegtbildes befindet (Schritt S1006). In einem Fall, in dem die Abbildungssteuereinheit 114 urteilt, dass sich das Abbildungssystem 2 in der Mitte eines Aufzeichnungsprozesses des Bewegtbildes befindet (Schritt S1006: Ja), fährt das Abbildungssystem 2 mit Schritt S1017, wie nachstehend beschrieben, fort. Im Gegensatz dazu fährt in einem Fall, in dem die Abbildungssteuereinheit 114 urteilt, dass sich das Abbildungssystem 2 nicht in der Mitte eines Aufzeichnungsprozesses des Bewegtbildes befindet (Schritt S1006: Nein), das Abbildungssystem 2 mit Schritt S1007, wie nachstehend beschrieben, fort.
In einen Fall, in dem in Schritt S1007 eine Wiedergabeschaltfläche auf der Betätigungseinheit 108 gedrückt wird (Schritt S1007: Ja), spielt das Abbildungssystem 2 ab und zeigt ein Bild, das den in dem Aufzeichungsmedium 110 aufgezeichneten Bilddaten entspricht, auf der Anzeigevorrichtung 40 an (Schritt S1008). Nach Schritt S1008 fährt das Abbildungssystem 2 mit Schritt S1009, wie nachstehend beschrieben, fort.
In Schritt S1007 fährt in einem Fall, in dem die Wiedergabeschaltfläche auf der Betätigungseinheit 108 nicht gedrückt wird (Schritt S1007: Nein), das Abbildungssystem 2 mit Schritt S1009 fort.
Anschließend führt in einem Fall, in dem eine Menü-Schaltfläche auf der Betätigungseinheit 108 gedrückt wird (Schritt S1009: Ja), das Abbildungssystem 2 die Einstellungsverarbeitung der Ausführung verschiedener Einstellungen aus (S1010). Einzelheiten der Einstellungsverarbeitung sind nachstehend beschrieben. Nach Schritt S1010 fährt das Abbildungssystem 2 mit S1011, wie nachstehend beschrieben, fort.
In Schritt S1009 fährt in einem Fall, in dem die Menü-Schaltfläche auf der Betätigungseinheit 108 nicht gedrückt wird (Schritt S10009: Nein), das Abbildungssystem 2 mit S1011 fort.
In Schritt S1011 bewirkt in einem Fall, in dem die Auslöseschaltfläche auf der Betätigungseinheit 108 aus dem Aus-Zustand in einen ersten Zustand übergeht (Schritt S1011: Ja), die Abbildungssteuereinheit 114, dass die AE-Verarbeitungseinheit 116 eine AE-Verarbeitung der Einstellung der Belichtung ausführt, und bewirkt, dass die AF-Verarbeitungseinheit 117 eine AF-Verarbeitung des Einstellens des Fokus ausführt (Schritt S1012). Danach fährt das Abbildungssystem 2 mit Schritt S1024 fort.
In einem Fall, in dem in Schritt S1011 die Auslöseschaltfläche auf der Betätigungseinheit 108 nicht aus dem Aus-Zustand in den ersten Zustand übergegangen ist (Schritt S1011: Nein), fährt das Abbildungssystem 2 mit Schritt S1013 fort.
Anschließend führt in einem Fall, in dem die Auslöseschaltfläche der Betätigungseinheit 108 in den zweiten Zustand übergegangen ist (Schritt S1013: Ja), die Abbildungssteuereinrichtung 114 eine Aufnahme unter Verwendung eines mechanischen Verschlusses aus (Schritt S1014). Insbesondere bewirkt die Abbildungssteuereinheit 114, dass der Bildsensor 105 eine Aufnahme durch Steuern des Verschlusses 103 ausführt.
Anschließend führt das Abbildungssystem 2 Bildverarbeitung aus, d. h. zuerst führt es RTS-Rauschen-Korrektur auf den von dem Bildsensor 105 erzeugten Bilddaten aus und danach führt es eine vorbestimmte Verarbeitung aus (Schritt S1015). Einzelheiten der Bildverarbeitung sind nachstehend beschrieben.
Danach zeichnet die Abbildungssteuereinheit 114 die Bilddaten, die Bildverarbeitung durch die Bildverarbeitungseinheit 303 unterzogen wurden, auf dem Aufzeichnungsmedium 110 auf (Schritt S1016). Nach Schritt S1016 fährt das Abbildungssystem 2 mit Schritt S1024, wie nachstehend beschrieben, fort.
In Schritt S1013 fährt in einem Fall, in dem die Auslöseschaltfläche der Betätigungseinheit 108 nicht in den zweiten Zustand übergegangen ist (Schritt S1013: Nein), das Abbildungssystem 2 mit Schritt S1017 fort.
Anschließend bewirkt die Abbildungssteuereinheit 114, dass die AE-Verarbeitungseinheit 116 eine AE-Verarbeitung der Anpassung der Belichtung ausführt (Schritt S1017) und dass die AF-Verarbeitungseinheit 117 eine AF-Verarbeitung der Anpassung des Fokus ausführt (Schritt S1018).
Danach bewirkt die Abbildungssteuereinheit 114, dass der Bildsensor 105 die Belichtungszeit elektronisch, d. h. zur Ausführung einer Aufnahme unter Verwendung eines elektronischen Verschlusses, über den Treiber 120 steuert (Schritt S1019). Die von dem Bildsensor 105 mit dem elektronischen Verschluss erzeugten Bilddaten werden über die analoge Verarbeitungseinheit 106, den A/D-Wandler 107 und den Bus 113 an den flüchtigen Speicher 111 ausgegeben.
Anschließend führt das Abbildungssystem 2 Bildverarbeitung ähnlich der Verarbeitung in Schritt S1015 aus (Schritt S1020). Einzelheiten der Bildverarbeitung sind nachstehend beschrieben.
Danach zeigt das Abbildungssystem 2 ein Live-Ansichtsbild, das den Bilddaten entspricht, die mit der Aufnahme mit dem elektronischen Verschluss durch den Bildsensor 105 erzeugt wurden, auf der Anzeigeeinheit 19 an (Schritt S1021).
Anschließend bewirkt in einem Fall, in dem das Abbildungssystem 2 sich in der Mitte eines Aufzeichnungsprozesses befindet (Schritt S1022: Ja), die Abbildungssteuereinrichtung 114, dass ein Bildkompressions/entwicklungsabschnitt (nicht gezeigt) die Bilddaten in ein Aufzeichnungsformat komprimiert, das durch die Einstellungsverarbeitung in Schritt S1010 eingestellt wird, und zeichnet die komprimierten Bilddaten als ein Bewegtbild in einer Bewegtbilddatei auf, die auf dem Aufzeichnungsmedium 110 erstellt wird (Schritt S1023). Nach Schritt S1023 fährt das Abbildungssystem 2 mit Schritt S1024 fort.
In Schritt S1022 fährt in einem Fall, in dem sich das Abbildungssystem 2 nicht in der Mitte eines Aufzeichnungsprozesses des Bewegtbildes befindet (Schritt S1022: Nein) das Abbildungssystem 2 mit Schritt S1024 fort.
Anschließend beendet in einem Fall, in dem eine Ein-/Aus-Schaltfläche auf der Betätigungseinheit 108 gedrückt wird und die Energie des Abbildungssystems 2 in den Aus-Zustand schaltet (Schritt S1024: Ja), das Abbildungssystem die momentane Verarbeitung. Im Gegensatz dazu kehrt in einem Fall, in dem die Energie des Abbildungssystems 2 sich nicht in einem Aus-Zustand befindet (Schritt S1024: Nein) das Abbildungssystem 2 zu Schritt S1002 zurück.
Als nächstes wird die in Schritt S1010 in 23 beschriebene Einstellungsverarbeitung beschrieben. 24 ist ein Ablaufdiagramm, das einen Überblick über die Einstellungsverarbeitung zeigt.
Wie in 24 gezeigt, zeigt das Abbildungssystem 2 ein Menü auf der Anzeigeeinheit 19 an (Schritt S1041).
Anschließend führt in einem Fall, in dem die Erfassung von RTS-Rauschen als Reaktion auf die Betätigung der Betätigungseinheit 108 (Schritt S1042: Ja) ausgewählt wird, die RTS-Rauschen-Erfassungseinheit 202 eine RTS-Rauschen-Erfassungsverarbeitung aus (Schritt S1043). Hier wird, da die RTS-Rauschen-Erfassungsverarbeitung der von der ersten Bildverarbeitungsvorrichtung 20 gemäß der vorstehend beschriebenen ersten Ausführungsform ausgeführten Verarbeitung entspricht, eine Beschreibung davon weggelassen. Nach Schritt S1043 fährt das Abbildungssystem 2 mit Schritt S1044 fort.
In einem Fall, in dem in Schritt S1042 die Erfassung von RTS-Rauschen als Reaktion auf die Betätigung der Betätigungseinheit 108 nicht ausgewählt wird (Schritt S1042: Nein), fährt das Abbildungssystem 2 mit Schritt S1044 fort.
Anschließend kehrt in einem Fall, in dem die Menü-Schaltfläche auf der Betätigungseinheit 108 gedrückt wird (Schritt S1044: Ja), das Abbildungssystem 2 zum Hauptprogramm in 23 zurück. Im Gegensatz dazu kehrt in einem Fall, in dem die Menü-Schaltfläche auf der Betätigungseinheit 108 nicht gedrückt wird (Schritt S1044: Nein), das Abbildungssystem 2 zu dem vorstehend beschriebenen Schritt S1042 zurück.
Als nächstes wird die in Schritten S1015 und S1020 in 23 beschriebene Bildverarbeitung beschrieben. 25 ist ein Ablaufdiagramm, das einen Überblick über die Bildverarbeitung zeigt.
Wie in 25 gezeigt, führt die RTS-Rauschen-Korrektureinheit 302 RTS-Rauschen-Korrekturverarbeitung der Korrektur von RTS-Rauschen auf den von dem Bildsensor 105 erzeugten Bilddaten aus (Schritt S1051). Die RTS-Rauschen-Korrekturverarbeitung entspricht der Verarbeitung, die von der zweiten Bildverarbeitungsvorrichtung 30 gemäß der vorstehend beschriebenen ersten Ausführungsform der vorliegenden Erfindung ausgeführt wird, sodass eine Beschreibung davon weggelassen wird.
Anschließend führt die Bildverarbeitungseinheit 303 eine grundlegende Bildverarbeitung auf den Bilddaten aus, auf denen die RTS-Rauschen-Korrektureinheit 302 das RTS-Rauschen korrigiert hat (Schritt S1052). Nach Schritt S1052 kehrt das Abbildungssystem 2 zum Hauptprogramm in 23 zurück.
Mit der vorstehend beschriebenen dritten Ausführungsform der vorliegenden Erfindung können ähnliche Effekte wie die Effekte der vorstehend beschriebenen ersten Ausführungsform erreicht werden.
(Erste Modifizierung der ersten bis dritten Ausführungsform)
In der vorstehend beschriebenen ersten bis dritten Ausführungsform der vorliegenden Erfindung wird das RTS-Rauschen durch Berechnen einer Mehrzahl von Kandidatenwerten korrigiert. Während die Anzahl der Mehrzahl von Kandidatenwerten in der vorgehenden Beschreibung nicht speziell begrenzt ist, ist impliziert, dass es eine Mehrzahl von Kandidatenwerten gibt, die sich wesentlich voneinander unterscheiden. Beispielsweise wäre in einem Fall, in dem die RTS-Rauschen-Korrektureinheit 302 in der ersten bis dritten Ausführungsform der vorliegenden Erfindung durch Hardware implementiert ist, ein Schaltungsdesign einfacher durch Verwendung einer festen Anzahl für die Mehrzahl von Kandidatenwerten. Insbesondere wäre es ausreichend, einen Speicher zum Speichern einer Mehrzahl von Kandidatenwerten für die vorstehend beschriebene Maximalzahl Max zu erstellen und einen gleichen Wert einzustellen wie die Mehrzahl von Speichern, wenn die Anzahl der Mehrzahl von Kandidatenwerten unter Max liegt. In diesem Fall beträgt die Anzahl von in dem Speicher gespeicherten Werten Max, während die Anzahl von sich wesentlich unterscheidenden Kandidatenwerten unter Max liegt. Beispielsweise kann in der vorstehend beschriebenen zweiten Ausführungsform der vorliegenden Erfindung in einem Fall, in dem der Zählerwert der gemeinsam genutzten Blöcke, die das interessierende Pixel umfassen, zwei beträgt (wenn null nicht gezählt wird) und Max sieben beträgt, die Schaltung derart konfiguriert sein, dass die folgenden Werte in dem Speicher eingestellt sind:
C0 = 0
C1
C2
C2
C2
C2
C2
In einem anderen Fall, in dem der Zählerwert der gemeinsam genutzten Blöcke, die das interessierende Pixel umfassen, sechs beträgt (wenn null nicht gezählt wird), kann die Schaltung derart konfiguriert sein, dass die folgenden Werte in dem Speicher eingestellt sind:
C0 = 0
C1
C2
C3
C4
C5
C6
Gemäß der vorstehend beschriebenen ersten Modifizierung der ersten bis dritten Ausführungsform der vorliegenden Erfindung ist eine Implementierung der Schaltung derart möglich, dass eine geeignete Berechnungsmenge immer aus einer festen Anzahl von (in dem gezeigten Beispiel sieben) Kandidatenwerten ausgewählt wird, ohne das Ziel für die Auswahl abhängig von jedem der Kandidatenwerten zu ändern.
Außerdem wäre es gemäß der ersten Modifizierung der ersten bis dritten Ausführungsform der vorliegenden Erfindung selbst in einem Fall, in dem ein Maximalwert des Kandidatenwerts anstatt des RTS_Value des interessierenden Pixels verwendet wird, ausreichend, sich immer auf den Kandidatenwert auf einer gleichen Position in dem vorstehend beschriebenen Beispiel zu beziehen (siebte Position in dem vorstehend beschriebenen Beispiel).
(Zweite Modifizierung der ersten bis dritten Ausführungsform)
In der vorstehend beschriebenen ersten bis dritten Ausführungsform der vorliegenden Erfindung kann die RTS-Rauschen-Bestimmungseinheit 202e eine Prioritätsreihenfolge für RTS-Rauschen-Information bestimmen und die RTS-Rauschen-Information in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b aufzeichnen. Beispielsweise bestimmt die RTS-Rauschen-Bestimmungseinheit 202e die Prioritätsreihenfolge für die RTS-Rauschen-Information unter Verwendung eines von (A) bis (F), wie nachstehend beschrieben, und zeichnet die RTS-Rauschen-Information in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b auf.
Rasterreihenfolge ... (A)
In der Reihenfolge der Nähe zum Bildmittelteil ... (B)
RTS_Value in absteigender Reihenfolge ... (C)
Anzahl von Kandidaten der Berechnungsmenge in absteigender Reihenfolge ... (D)
Häufigkeit des Auftretens von RTS-Rauschen in absteigender Reihenfolge ... (E)
Auftreten von Dichte (Dichtheit) von RTS-Rauschen in absteigender Reihenfolge ... (F)
Das Verfahren zum Bestimmen der Prioritätsreihenfolge ist nicht darauf begrenzt, sondern vorstehende (A) bis (F) können auch geeignet kombiniert werden. Beispielsweise kann die RTS-Rauschen-Bestimmungseinheit 202e die Prioritätsreihenfolge bestimmen: die Reihenfolge der Nähe zum Bildmittelteil (vorstehend beschrieben (B)) als erste Priorität) und RTS_Value in absteigender Reihenfolge (vorstehend beschrieben (C)) oder die Anzahl von Kandidaten der Berechnungsmenge in absteigender Reihenfolge (vorstehend beschrieben (D)) als zweite Priorität. Wenn der Abstand von dem Bildmittelteil der gleiche ist, kann die RTS-Rauschen-Bestimmungseinheit 202e RTS_Value in absteigender Reihenfolge oder die Anzahl von Kandidaten der Berechnungsmenge in absteigender Reihenfolge priorisieren, um die RTS-Rauschen-Information in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b aufzuzeichnen.
Gemäß der vorstehend beschriebenen zweiten Modifizierung der ersten bis dritten Ausführungsform der vorliegenden Erfindung priorisiert die RTS-Rauschen-Bestimmungseinheit 202e das RTS-Rauschen leicht feststellbar je nach Verwendungssituation und zeichnet die RTS-Rauschen-Information in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b selbst in einem Fall auf, in dem es eine obere Grenze der Anzahl von RTS-Rauschen-Informationen gibt, die in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b aufgezeichnet werden können. Diese Konfiguration ermöglicht eine priorisierte Korrektur des RTS-Rauschens, das leicht feststellbar ist, je nach Verwendungssituation.
Außerdem kann in einem Fall, in dem eine Begrenzung der Veränderung der Bildexpansionsrate und Änderung der Anzeigeposition in der vorstehend beschriebenen zweiten Modifizierung der ersten bis dritten Ausführungsform der vorliegenden Erfindung im Voraus besteht, die RTS-Rauschen-Bestimmungseinheit 202e die Priorität gemäß der Expansionsrate oder der Anzeigeposition ändern und kann die RTS-Rauschen-Information, die der Expansionsrate oder der Anzeigeposition zugeordnet ist, in der RTS-Rauschen-Informationsaufzeichnungseinheit 112b aufzeichnen. In diesem Fall kann die RTS-Rauschen-Korrektureinheit 302 die RTS-Rauschen-Information lesen, die der eingestellten Expansionsrate oder der eingestellten Anzeigeposition zugeordnet ist, und kann Korrekturverarbeitung ausführen.
(Andere Ausführungsformen)
Die vorliegende Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, sondern es sind natürlich verschiedene Modifizierungen und weitere Anwendungen innerhalb des Offenbarungsbereiches der vorliegenden Erfindung möglich. Beispielsweise kann außer der in der Beschreibung der vorliegenden Erfindung verwendeten Abbildungsvorrichtung die vorliegende Erfindung auf jegliche Vorrichtung angewendet werden, die ein Subjekt aufnehmen kann, wie beispielsweise eine mobile Vorrichtung mit einem Bildsensor eines Mobiltelefons oder eines Smartphones, oder eine Abbildungsvorrichtung, die das Subjekt unter Verwendung einer optischen Vorrichtung wie beispielsweise einer Videokamera, eines Endoskops, einer Überwachungskamera oder eines Mikroskops aufnimmt.
Außerdem ist die vorliegende Erfindung auf andere Bilddaten als die zur Anzeige und Aufzeichnung verwendeten Bilddaten anwendbar, beispielsweise auf die Bilddaten in einem OB-Bereich und Bilddaten in einem Bereich außerhalb des Bildkreises anwendbar, ohne optische Konstruktionssicherung.
Außerdem werden in der Beschreibung der Ablaufdiagramme für die vorstehend beschriebenen Vorgänge in der vorliegenden Beschreibung Begriffe wie „zuerst”, „als nächstes”, „anschließend”, „danach” zum einfacheren Verständnis der Beschreibung von Vorgängen verwendet. Sie bestimmen jedoch nicht, dass die Vorgänge in dieser Reihenfolge ausgeführt werden müssen.
Außerdem können die von der Bildverarbeitungsvorrichtung in den vorstehend beschriebenen Ausführungsformen ausgeführten Verfahren der Verarbeitung, das heißt jegliche der in den Ablaufdiagrammen gezeigten Verarbeitungen als ein Programm gespeichert werden, das von einer Steuereinheit, wie beispielsweise einer CPU, ausgeführt werden kann. Außerdem ist es möglich, durch Speichern in einem Speichermedium der externen Speichervorrichtung, wie beispielsweise Speicherkarten (ROM-Karte, RAM-Karte usw.) einer Magnetplatte (Diskette, Festplatte usw.) einer optischen Platte (CD-ROM, DVD usw.) eines Halbleiterspeichers zu verteilen. Die Steuereinheit, wie beispielsweise eine CPU, liest das in dem Speichermedium der externen Speichervorrichtung gespeicherte Programm und steuert den Betrieb durch das gelesene Programm zur Ausführung der vorstehend beschriebenen Verarbeitung.
Außerdem ist die vorliegende Erfindung nicht auf die vorstehend beschriebenen Ausführungsformen und Modifikationsbeispiele beschränkt, wie sie beschrieben sind, sondern kann auch durch Modifizieren der Elemente in einer Phase der Umsetzung der Erfindung ausgeführt werden, ohne von dem Offenbarungsbereich der Erfindung abzuweichen. Ferner kann eine Mehrzahl von in den vorstehend beschriebenen Ausführungsformen offenbarten Elementen kombiniert werden, um verschiedene Erfindungen zu bilden. Beispielsweise können einige Elemente von all den in den Ausführungsformen und dem Modifikationsbeispiel beschriebenen Elementen weggelassen werden. Außerdem können die in jeder der beispielhaften Ausführungsformen und Modifikationsbeispielen beschriebenen Elemente geeignet miteinander kombiniert werden.
Außerdem kann ein Begriff, der mindestens einmal in der Beschreibung oder den Zeichnungen beschrieben wurde, mit einem anderen Begriff mit einer breiteren oder ähnlichen Bedeutung assoziiert werden und kann überall in der Beschreibung und in den Zeichnungen durch diesen anderen Begriff ersetzt werden. Auf diese Weise können verschiedene Modifikationen und weitere Anwendungen innerhalb eines Offenbarungsbereiches umgesetzt werden, der nicht von der vorliegenden Erfindung abweicht.
Bezugszeichenliste

1, 2: ABBILDUNGSSYSTEM
3: HAUPTKÖRPEREINHEIT
4: LINSENEINHEIT
10: ABBILDUNGSVORRICHTUNG
20: ERSTE BILDVERARBEITUNGSVORRICHTUNG
30: ZWEITE BILDVERARBEITUNGSVORRICHTUNG
40: ANZEIGEVORRICHTUNG
101: OPTISCHES SYSTEM
102: BLENDE
103: VERSCHLUSS
104, 120: TREIBER
105: BILDSENSOR
105a: PIXEL
105b: ERSTER SCHALTER
105c: VERTIKALE ÜBERTRAGUNGSLEITUNG
105d: FD-EINHEIT
105e: VERSTÄRKEREINHEIT
105f: ZWEITER SCHALTER
106: ANALOGE VERARBEITUNGSEINHEIT
107: A/D-WANDLER
108: BETÄTIGUNGSEINHEIT
109: SPEICHER-SCHNITTSTELLENEINHEIT
110: AUFZEICHNUNGSMEDIUM
111: FLÜCHTIGER SPEICHER
112: NICHT FLÜCHTIGER SPEICHER
112a: PROGRAMMAUFZEICHNUNGSEINHEIT
112b: RTS-RAUSCHINFORMATIONSAUFZEICHNUNGSEINHEIT
112c: ZUFALLSRAUSCH ENMODELLINFORMATIONSAUFZEICHNUNGSEINHEIT
113: BUS
114: ABBILDUNGSSTEUEREINRICHTUNG
115: ERSTE EXTERNE SCHNITTSTELLENEINHEIT
116: AE-VERARBEITUNGSEINHEIT
117: AF-VERARBEITUNGSEINHEIT
118: EXTERNE SCHNITTSTELLENEINHEIT
119: ANZEIGEEINHEIT
201: ZWEITE EXTERNE SCHNITTSTELLENEINHEIT
202: RTS-RAUSCHEN-ERFASSUNGSEINHEIT
202a: EINHEIT ZUR ERFASSUNG VON ISOLIERTEN PUNKTEN
202b: PIXELWERTGRUPPENERSTELLUNGSEINHEIT
202c: EINHEIT ZUR BERECHNUNG DER GEMITTELTEN ZUFALLSRAUSCHENMENGE
202d: RTS-RAUSCHEN-MERKMALSDATENBERECHNUNGSEINHEIT
202e: RTS-RAUSCHEN-BESTIMMUNGSEINHEIT
301: DRITTE EXTERNE SCHNTTSTELLENEINHEIT
302: RTS-RAUSCHEN-KORREKTUREINHEIT
302a: RTS-RAUSCHEN-PIXELBESTIMMUNGSEINHEIT
302b: KANDIDATENWERTBERECHNUNGSEINHEIT
302c: BERECHNUNGSEINHEIT FÜR REPRÄSENTATIVE WERTE
302d: ZUFALLSRAUSCHENMENGENSCHÄTZUNGSEINHEIT
302e: KORREKTURWERTBERECHNUNGSEINHEIT
303: BILDVERARBEITUNGSEINHEIT

Claims

(Geändert) Bildverarbeitungsvorrichtung, die umfasst: eine Pixelwertgruppenerstellungseinheit, die dafür konfiguriert ist, für eine Mehrzahl von Bilddaten, die von einem Bildsensor erzeugt werden, der umfasst: eine Mehrzahl von zweidimensional angeordneten Pixeln, um Licht von außen zu empfangen und ein Signal zu erzeugen, das einer Menge des empfangenen Lichts entspricht; und eine Mehrzahl von Ausleseschaltungen, die von einer vorbestimmten Anzahl von Pixeln gemeinsam genutzt werden und dafür konfiguriert sind, das Signal als Pixelwerte auszulesen, eine Mehrzahl von Pixelwertgruppen durch Klassifizieren der Pixelwerte für jede der Mehrzahl von Ausleseschaltungen zu erstellen; und eine Rauschen-Bestimmungseinheit, die dafür konfiguriert ist, auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von Pixelwertgruppen, die von der Pixelwertgruppenerstellungseinheit erstellt werden, zu bestimmen, ob Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt.
Bildverarbeitungsvorrichtung nach Anspruch 1, die ferner eine Einheit zur Erfassung von defekten Pixeln umfasst, die dafür konfiguriert ist, auf Grundlage der Mehrzahl von von dem Bildsensor erzeugten Bilddaten, ein Pixel mit einem Fleck als ein defektes Pixel zu erfassen, wobei die Pixelwertgruppenerstellungseinheit dafür konfiguriert ist, die Mehrzahl von Pixelwertgruppen durch Ausschluss eines Pixelwertes des defekten Pixels, das von der Einheit zur Erfassung von defekten Pixeln erfasst wird, zu erstellen.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei das defekte Pixel einen eines Weißpunktes und eines Schwarzpunktes hat.
Bildverarbeitungsvorrichtung nach Anspruch 2 oder 3, wobei die Einheit zur Erfassung von defekten Pixeln dafür konfiguriert ist: einen Mittelwert der Pixelwerte, die von jeder der Mehrzahl von Pixeln ausgelesen werden, auf Grundlage der Mehrzahl von von dem Bildsensor erzeugten Bilddaten zu berechnen: und das defekte Pixel auf Grundlage des Mittelwertes zu erfassen.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, die ferner eine Zufalllsrauschenmengenberechnungseinheit umfasst, die dafür konfiguriert, ist, eine Zufallsrauschenmenge jeder der Mehrzahl von von der Pixelwertgruppenerstellungseinheit erzeugten Pixelwertgruppen zu berechnen und eine Zufallsrauschenmenge der Mehrzahl von Bilddaten zu berechnen, wobei die Rauschen-Bestimmungseinheit dafür konfiguriert ist, auf Grundlage der von der Zufallsrauschenmengenberechnungseinheit berechneten Zufallsrauschenmenge jeder der Mehrzahl von Pixelwertgruppen und auf Grundlage der von der Zufallsrauschenmengenberechnungseinheit berechneten Zufallsrauschenmenge der Mehrzahl Bilddaten zu bestimmen, ob das Blinkdefektrauschen in jeder der Mehrzahl von Pixelgruppen auftritt.
Bildverarbeitungsvorrichtung nach Anspruch 5, wobei die Zufallsrauschenmenge eine einer Standardabweichung, Streuung, Verteilungsbereichsgröße, eines Maximalwerts und eines Minimalwerts der Pixelwerte ist.
Bildverarbeitungsvorrichtung nach Anspruch 5 oder 6, die ferner eine Merkmalsdatenberechnungseinheit umfasst, die dafür konfiguriert ist, Merkmalsdaten, die ein Merkmal des Blinkdefektrauschens anzeigen, auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von Pixelwertgruppen und auf Grundlage eines Modells des Blinkdefektrauschens, das im Vorhinein aufgezeichnet wurde, zu berechnen, wobei die Rauschen-Bestimmungseinheit dafür konfiguriert ist, zu bestimmen, ob das Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt, auf Grundlage der von der Zufallsrauschenmengenberechnungseinheit berechneten Zufallsrauschenmenge jeder der Mehrzahl von Pixelwertgruppen auf Grundlage der von der Zufallsrauschenmengenberechnungseinheit berechneten Zufallsrauschenmenge der Mehrzahl von Bilddaten und auf Grundlage der von der Merkmalsdatenberechnungseinheit berechneten Merkmalsdaten.
Bildverarbeitungsvorrichtung nach Anspruch 6, wobei das Modell des Blinkdefektrauschens ein gemischtes Verteilungsmodell ist, das eine Mehrzahl von Verteilungen umfasst.
(Geändert) Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Merkmalsdaten eines oder mehrere einer Amplitude des Blinkdefektrauschens, Frequenz des Auftretens des Blinkdefektrauschens und Frequenz des Auftretens des Blinkdefektrauschens unterhalb der Amplitude des Blinkdefektrauschens umfassen.
Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die Merkmalsdaten die Anzahl von Kandidatenzahlen von Korrekturwerten zur Korrektur des Blinkdefektrauschens umfassen.
(Geändert) Bildverarbeitungsvorrichtung nach einem der Ansprüche 7, 9 und 10, die ferner eine Rauschinformationsbezugseinheit umfasst, die dafür konfiguriert ist, Rauschinformation zu beziehen, in der ein von der Rauschen-Bestimmungseinheit erlangtes Bestimmungsergebnis, Positionsinformation jeder der Mehrzahl von Ausleseschaltungen und die Merkmalsdaten einander zugeordnet werden.
(Geändert) Bildverarbeitungsvorrichtung nach Anspruch 11, die ferner eine Rauschen-Korrektureinheit umfasst, die dafür konfiguriert ist, das Blinkdefektrauschen auf Grundlage der von der Rauschinformationsbezugseinheit bezogenen Rauschinformation zu korrigieren.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Rauschen-Bestimmungseinheit dafür konfiguriert ist, auf Grundlage der Verteilung von Werten, die durch Subtraktion eines für jedes der Mehrzahl von Pixeln eingestellten vorbestimmten Wertes von einem Pixelwert jeder der Mehrzahl von von der Pixelwertgruppenerstellungseinheit erstellten Pixelwertgruppen erlangt werden, zu bestimmen, ob das Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt.
Bildverarbeitungsvorrichtung nach Anspruch 13, wobei der Bildsensor ein optisches Schwarzpixel zur Ausführung von Offset-Erfassung von elektrischen Ladungen umfasst, die Dunkelstrom umfassen, und der vorbestimmte Wert auf einem von dem optischen Schwarzpixel erlangten Pixelwert basiert.
Bildverarbeitungsvorrichtung nach Anspruch 13, wobei der vorbestimmte Wert ein Mittelwert der aus jedem der Mehrzahl von Pixeln ausgelesenen Pixelwerte ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 15, wobei das Blinkdefektrauschen ein Zufallsrauschentelegraphiesignal ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 16, wobei die Mehrzahl von Bilddaten unter einer gleichen Belichtungsbedingung erfasst wird.
Bildverarbeitungsvorrichtung nach Anspruch 17, wobei die Mehrzahl von Bilddaten in einem Licht-abgeschirmten Zustand erfasst wird.
Bildverarbeitungsverfahren, das umfasst: einen Pixelwertgruppenerstellungsschritt zur Erstellung für eine Mehrzahl von Bilddaten, die von einem Bildsensor erzeugt werden, der umfasst: eine Mehrzahl von zweidimensional angeordneten Pixeln, um Licht von außen zu empfangen und ein Signal zu erzeugen, das einer Menge des empfangenen Lichts entspricht; und eine Mehrzahl von Ausleseschaltungen, die von einer vorbestimmten Anzahl von Pixeln gemeinsam genutzt werden und dafür konfiguriert sind, das Signal als Pixelwerte auszulesen, einer Mehrzahl von Pixelwertgruppen durch Klassifizieren der Pixelwerte für jede der Mehrzahl von Ausleseschaltungen; und einen Rauschen-Bestimmungsschritt zum Bestimmen auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von in der Pixelwertgruppenerstellungseinheit erstellten Pixelwertgruppen, ob Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt.
Programm, um zu bewirken, dass eine Bildverarbeitungsvorrichtung ausführt: einen Pixelwertgruppenerstellungsschritt zum Erstellen für eine Mehrzahl von Bilddaten, die von einem Bildsensor erzeugt werden, der umfasst: eine Mehrzahl von zweidimensional angeordneten Pixeln, um Licht von außen zu empfangen und ein Signal zu erzeugen, das einer Menge des empfangenen Lichtes entspricht; und eine Mehrzahl von Ausleseschaltungen, die von einer vorbestimmten Anzahl von Pixeln gemeinsam genutzt werden und dafür konfiguriert sind, das Signal als Pixelwerte auszulesen, einer Mehrzahl von Pixelwertgruppen durch Klassifizieren der Pixelwerte für jede der Mehrzahl von Ausleseschaltungen; und einen Rauschbestimmungsschritt zum Bestimmen auf Grundlage der Verteilung der Pixelwerte jeder der Mehrzahl von in der Pixelwertgruppenerstellungseinheit erstellten Pixelwertgruppen, ob Blinkdefektrauschen in jeder der Mehrzahl von Pixelwertgruppen auftritt.