-
TECHNISCHES GEBIET
-
Die
vorliegende Erfindung bezieht sich auf ein Bildsignalverarbeitungsverfahren
zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil
erhaltenen Bildsignals und eine Vorrichtung zur Durchführung
des Verfahrens.
-
STAND DER TECHNIK
-
Als
für eine Kameravorrichtung verwendeter Bildsensor sind
ein CCD-Sensor und ein CMOS-Sensor bekannt. Diese Halbleiterabbildungsbauelemente weisen
jedoch dynamische Luminanzbereiche auf, die schmaler sind als ein
dynamischer Helligkeitsbereich eines tatsächlichen Objekts
und verursachen daher leicht eine Abnahme der Bildqualität,
zum Beispiel eine so genannte „Überbelichtung"
und „Unterbelichtung". Daher werden eine Abbildungssteuerung
des Sensors und eine Signalverarbeitung der als Ergebnis des Bildsensors
erhaltenen Sensorausgabe verwendet, um den dynamischen Bereich des Bildsignals
zu erweitern.
-
Als
eines dieser Verfahren ist ein Verfahren zum Bilden von Pixeln im
Voraus bekannt, indem die Pixel in solche mit einer hohen Empfindlichkeit
und solche mit einer niedrigen Empfindlichkeit in Übereinstimmung
mit der Art des Pixelfilters usw. unterteilt werden, Bestimmen durch
Signalverarbeitung, welche Signale jener Pixel hauptsächlich
in Übereinstimmung mit der Helligkeit des Bilds zu verwenden
sind, und Verwenden dieser Pixel, um ein einzelnes Bild zu erstellen.
Ferner ist ein weiteres Verfahren bekannt, bei dem ein Bild aus
einer Abbildung (ein Rahmen oder ein Feld) einmal erfasst wird,
eine Reset-Höhe der Signalladungen jedoch zur Zeit der
Ausgabe der Signalladung gesteuert wird und der dynamische Bereich
des Bildsignals erweitert wird, so dass die Überlaufmenge
in Übereinstimmung mit der Helligkeit des Bilds (insbesondere
die Menge der Signalladungen aus jedem Pixel) unterschiedlich wird
(siehe zum Beispiel Patentschrift 1). Ferner ist ein Verfahren bekannt,
bei dem Bilder einer einzelnen Abbildung mehrere Male zu unterschiedlichen
Abbildungszeiten erfasst werden und diese Bilder gemischt werden,
um ein Bild durch Signalverarbeitung mit einem breiten dynamischen
Bereich zu erzeugen (siehe zum Beispiel Patentschrift 2).
- Patentschrift
1: Japanische Patentoffenlegung
(A) Nr. 10-248035
- Patentschrift 2: Japanische
Patentoffenlegung (A) Nr. 06-141229
-
OFFENBARUNG DER ERFINDUNG
-
DURCH DIE ERFINDUNG ZU LÖSENDE
AUFGABE
-
Das
in der obigen Patentschrift 2 beschriebene Verfahren wird als so
genannte „Mehrfachbelichtung" bezeichnet. Bei diesem Verfahren
ist es jedoch erforderlich, mehrere Abbildungsvorgänge
innerhalb einer Zeit durchzuführen, die für die
Abbildung und Ausgabe eines Bilds in Bildsignalstandards festgelegt
ist (1 vertikale Periode (V)). Außerdem ist die Arbeitslast
für das Mischen der Bilder groß. Es ist ebenfalls
möglich, die Abbildung, das Bildmischen und die Bildausgabe
in unterschiedlichen 1 V-Perioden durchzuführen. In diesem
Fall ist jedoch die Reaktion bei der Verarbeitung vermindert.
-
Andererseits
verändert das in der obigen Patentschrift 1 beschriebene
Verfahren zum Beispiel in dem Fall eines CMOS-Sensors die Einschaltzeit (Speicherzeitsteuerung)
eines in seinem Pixel bereitgestellten Übertragungstransistors
und eine Gate-Spannungshöhe (Reset-Höhe) eines
Reset-Transistors geeignet. Aufgrund dessen ist es bei einer dunklen
Abbildung möglich, die Zeit (Abbildungszeit) zu verlängern,
bis die Reset-Höhe erreicht ist, während bei einer
hellen Abbildung die Reset-Höhe schrittweise in Übereinstimmung
mit der Helligkeit wirkt und eine Sättigung bei einer geeigneten
Höhe hervorgerufen wird. Bei diesem Verfahren beträgt
die Anzahl der Abbildungsvorgänge für ein Bild
eins und es ist kein Bildmischen erforderlich, so dass dieses wegen
dieses Punkts bevorzugt ist.
-
Es
gibt jedoch Anwendungen, wie zum Beispiel an einem Fahrzeug angebrachte
Kameravorrichtungen, bei denen die Kameravorrichtungen während
des Fahrzeugbetriebs eine weiße Linie auf der Straßenoberfläche
detektieren und das Detektionsergebnis zum sicheren Fahren verwenden.
-
Wenn
bei solchen Anwendungen ein Wechsel von einem äußerst
dunklen Bildzustand in einem Tunnel zu einem hellen Bildzustand
außerhalb des Tunnels stattfindet, verändert sich die
Helligkeitsverteilung des Bilds als Ganzes in hohem Maße.
Außerdem tritt diese Änderung in einer äußert
kurzen Zeit auf. Wenn in der Kameravorrichtung für eine
solche Anwendung jede Abbildungszeit der obigen Mehrfachbelichtung
und die obige Speicherzeit, die Reset-Höhe und andere allgemeine
Steuerparameter festgelegt sind, geht die weiße Linie im
Rauschpegel innerhalb und/oder außerhalb des Tunnels unter,
so dass eine korrekte Detektion manchmal nicht möglich
ist.
-
Daher
ist die allgemeine Praxis für die obigen Steuerparameter
eine Steuerung gewesen, einen Steuerzielbereich von einem bestimmten
festgelegten Ausgangswert um einen vorherbestimmten Betrag anzuheben
oder abzusenken, um einen geeigneten Steuerzielbereich zu ermitteln.
Es ist zu beachten, dass eine solche Steuerung oder eine Steuerung an
Stelle von dieser nicht in den obigen Patentschriften 1 und 2 offenbart
ist.
-
13(A) stellt schematisch dieses Steuerverfahren
dar. Die Abszisse in 13(A) stellt
eine Anzahl an Steuervorgängen dar, während die
Ordinate eine Ausgabe, insbesondere einen Indikator der Helligkeit
des gesamten Bilds, darstellt.
-
In 13(A) weist eine Ausgabe S0 eines Steuervorgangs
0 einen relativ niedrigen Ausgabepegel auf. Zum Beispiel stellt
sie die Helligkeit innerhalb eines Tunnels dar. Wenn sich die Situation aus
diesem Zustand in einen bestimmten relativ hellen Zustand ändert,
zum Beispiel außerhalb des Tunnels, ist der Steuerzielbereich
in dieser Situation durch eine punktierte Linie in 13(A) angegeben. Der
Steuerzielbereich ist nicht als ein Parameter vorgegeben, sondern
der Zielbereich wird zum Beispiel als eine Höhe bestimmt,
so dass zum Beispiel eine weiße Linie zuverlässig
detektiert werden kann. Demgemäß unterscheidet
sich der Steuerzielbereich für jede Situation ebenso nach
der Änderung. Er ändert sich adaptiv in Übereinstimmung
mit der Gesamthelligkeit.
-
In
diesem Fall ändert sich die Ausgabe S0 des Steuervorgangs
0 ebenfalls entsprechend der Beleuchtung usw. im Tunnel, weswegen
die Steuerung ausgeführt wird, um den dynamischen Bereich um
den Vorgabesteuerbetrag im ersten Steuervorgang zu erweitern. Angenommen,
eine Ausgabe S1 des als Ergebnis hiervon erhaltenen Steuervorgangs 1 überschreitet
den Steuerzielbereich. Ob sie ihn überschreitet oder nicht,
wird durch die Helligkeitsinformation des Bilds als Ganzes, zum
Beispiel durch einen Integralwert der Luminanz, erfasst.
-
Beim
nächsten zweiten Steuervorgang wird der Steuerbetrag geändert,
um eine Überbelichtung einigermaßen zu vermeiden,
und die Steuerung zur Erweiterung des dynamischen Bereichs wird
erneut ausgeführt. Angenommen, eine Ausgabe S2 des als Ergebnis
erhaltenen Steuervorgangs 2 liegt etwas unter dem Steuerzielbereich.
-
Dann
wird im nächsten dritten Steuervorgang 3 der Steuerbetrag
geändert, um eine Unterbelichtung einigermaßen
zu vermeiden, und die Steuerung zur Erweiterung des dynamischen
Bereichs wird erneut ausgeführt. In dem vorliegenden Beispiel
liegt die Ausgabe S3 des als Ergebnis erhaltenen Steuervorgangs
3 erstmals in dem Steuerzielbereich. Die entsprechende Belichtungssteuerung
wird dadurch beendet.
-
Bei
dem Verfahren der sukzessiven Bestimmung des nächsten Steuerbetrags
(Steuerzielbereich), bei dem die Ergebnisse nach einer solchen Steuerung
betrachtet werden, ist die Reaktion jedoch unzureichend für
eine Anwendung, bei der sich die Helligkeit der Bildumgebung rasch ändert,
wie zum Beispiel beim Anbringen an einem Fahrzeug.
-
Das
Ziel der vorliegenden Erfindung ist es, ein Bildsignalverarbeitungsverfahren,
das eine Technik zur Ermittlung eines Steuerzielbereichs umfasst, die
zur Verbesserung der Reaktion der dynamischen Bereichsvergrößerungsverarbeitung
geeignet ist, und eine Vorrichtung für diesen Zweck bereitzustellen.
-
MITTEL ZUR LÖSUNG
DER AUFGABE
-
Ein
erstes Bildsignalverarbeitungsverfahren gemäß der
vorliegenden Erfindung ist ein Bildsignalverarbeitungsverfahren
zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil
erhaltenen Bildsignals, das gekennzeichnet ist durch das Umfassen
eines ersten Schritts des Extrahierens von Verteilungsparametern
aus einer Verteilung von Pixelsignalpegeln, die das Bildsignal einer
Abbildung bilden, eines zweiten Schritts des Bestimmens eines Zielwerts
eines Knickpunkts, bei dem sich eine Steigung der Änderung
des Bildsignalpegels bezüglich einer kumulierten Änderung
der auf die Pixel des Abbildungsteils einfallenden Lichtmenge basierend
auf den extrahierten Verteilungsparametern ändert, und eines
dritten Schritts des Herbeiführens einer Änderung
der Ausgabesättigungskennlinie des Bildsignals durch Steuern
des Abbildungsteils, so dass der Zielwert erhalten wird.
-
Bei
der vorliegenden Erfindung beinhalten die Verteilungsparameter bevorzugt
einen kleinsten Wert der Pixelsignalpegel in der einen Abbildung,
beinhaltet der Zielwert einen ersten Zielwert, der einen größten
Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert
als Startpunkt der Verteilung aufweist, extrahiert der erste Schritt
einen Durchschnittswert der Pixelsignalpegel der Verteilung und bestimmt
der zweite Schritt den ersten Zielwert innerhalb eines vorgegebenen
Bereichs um den Durchschnittswert.
-
Ein
zweites Bildsignalverarbeitungsverfahren gemäß der
vorliegenden Erfindung ist ein Bildsignalverarbeitungsverfahren
zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil
erhaltenen Bildsignals, das gekennzeichnet ist durch das Umfassen
eines ersten Schritts des Extrahierens von Verteilungsparametern,
die einen kleinsten Wert aus der Verteilung der Pixelsignalpegel
beinhalten, die das Bildsignal einer Abbildung bilden, eines zweiten
Schritts des Bestimmens eines ersten Zielwerts, der einen größten
Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert
als Startpunkt der Verteilung basierend auf den extrahierten Verteilungsparametern
aufweist, eines dritten Schritts des Bestimmens eines weiteren Zielwerts unter
Verwendung des bereits ermittelten Zielwerts als Startpunkt und
eines vierten Schritts des Komprimierens oder Erweiterns der Verteilung
des ersten Bereichs innerhalb eines Bereichs vom kleinsten Wert
und dem ersten Zielwert und des Komprimierens oder Erweiterns der
Verteilung eines anderen Bereichs innerhalb eines Bereichs zwischen
den entsprechenden Zielwerten.
-
Eine
erste Bildsignalverarbeitungsvorrichtung gemäß der
vorliegenden Erfindung ist eine Bildsignalverarbeitungsvorrichtung
zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil
erhaltenen Bildsignals, die gekennzeichnet ist durch das Aufweisen
eines Parameterextraktionsteils zur Extraktion von Verteilungsparametern
aus einer Verteilung von Pixelsignalpegeln, die ein Bildsignal einer
Abbildung bilden, einen Zielbereichsbestimmungsteil zur Bestimmung
eines Zielwerts eines Knickpunkts basierend auf den extrahierten
Verteilungsparametern für einen Knickpunkt, bei dem sich eine
Steigung einer Änderung der Bildsignalpegel bezüglich
einer kumulierten Änderung der auf die Pixel des Abbildungsteils
einfallenden Lichtmenge ändert, und eines Steuerteils zur
Steuerung des Abbildungsteils, so dass der Zielwert erhalten wird
und eine Änderung der Ausgabesättigungskennlinie
des Bildsignals herbeigeführt wird.
-
Bei
der vorliegenden Erfindung beinhalten die Verteilungsparameter bevorzugt
einen kleinsten Wert der Pixelsignalpegel in der einen Abbildung,
beinhaltet der Zielwert einen ersten Zielwert, der einen größten
Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert
als Startpunkt der Verteilung aufweist, extrahiert der Parameterextraktionsteil
einen Durchschnittswert der Pixelsignalpegel der Verteilung und
legt der Zielbereichsbestimmungsteil den ersten Zielwert innerhalb
eines vorgegebenen Bereichs um den Durchschnittswert fest.
-
Eine
zweite Bildsignalverarbeitungsvorrichtung gemäß der
vorliegenden Erfindung ist eine Bildsignalverarbeitungsvorrichtung
zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil
erhaltenen Bildsignals, die gekennzeichnet ist durch einen Histogrammerstellungsteil
zur Verteilung eines Histogramms einer Verteilung von Pixelsignalpegeln,
die ein Bildsignal einer Abbildung bilden, auf einem Speicher, einen
Parameterextraktionsteil zur Extraktion von Verteilungsparametern,
die einen kleinsten Wert aus dem Histogramm der Verteilung beinhalten,
einen Zielbereichsbestimmungsteil zur Bestimmung eines ersten Zielwerts,
der einen größten Wert eines ersten Bereichs kennzeichnet,
der den kleinsten Wert als Startpunkt der Verteilung basierend auf
den extrahierten Verteilungsparametern aufweist, und Bestimmen eines
weiteren Zielwerts unter Verwendung des bereits bestimmten Zielwerts als
Startpunkt, und einen Signalverarbeitungsteil zur Komprimierung
und Erweiterung der Verteilung des ersten Bereichs innerhalb eines
Bereichs von dem kleinsten Wert bis zum ersten Zielwert und zur
Komprimierung und Erweiterung der Verteilung eines anderen Bereichs
innerhalb eines Bereichs zwischen den entsprechenden Zielwerten.
-
AUSWIRKUNG DER ERFINDUNG
-
Gemäß der
vorliegenden Erfindung ergibt sich der Vorteil, dass die Reaktion
der dynamischen Bereichserweiterungsverarbeitung hoch ist.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm einer Kameravorrichtung gemäß einer
Ausführungsform der vorliegenden Erfindung.
-
2 ist
eine Ansicht des Aufbaus eines Abbildungselements gemäß einer
Ausführungsform der vorliegenden Erfindung.
-
3A bis 3D sind
Zeitdiagramme der Perioden und Signale zur Abbildungszeit gemäß einer
Ausführungsform der vorliegenden Erfindung. 3E ist
eine Kurve, die eine Zeitentwicklung einer Sättigungshöhe
gemäß einer Ausführungsform der vorliegenden
Erfindung darstellt.
-
4 ist
eine schematische Ansicht der Spannungssteuerung zur Auslesezeit
eines Signals gemäß einer Ausführungsform
der vorliegenden Erfindung.
-
5A ist
ein vergrößertes Diagramm einer Zeitentwicklung
einer Sättigungshöhe gemäß einer Ausführungsform
der vorliegenden Erfindung und 5B ist
eine Kurve einer stückweisen Steuerung, die eine Beziehung
zwischen der Intensität des einfallenden Lichts und einem
Signalpegel in einer Ausführungsform der vorliegenden Erfindung
darstellt.
-
6 ist
ein Funktionsblockdiagramm eines Bildsignalverarbeitungsteils gemäß einer
Ausführungsform der vorliegenden Erfindung.
-
7 ist
ein Flussdiagramm der dynamischen Bereichsvergrößerungsverarbeitung
gemäß einer Ausführungsform der vorliegenden
Erfindung.
-
8 ist
eine Kurve, die ein Histogramm gemäß einer Ausführungsform
der vorliegenden Erfindung veranschaulicht.
-
9A ist
ein Histogramm in einem Fall, in dem es wenige helle Teile in einer
Abbildung der Ausführungsform der vorliegenden Erfindung
gibt, und 9B ist eine Kurve einer stückweisen
Steuerung.
-
10A ist ein Histogramm in einem Fall, in dem es
viele helle Teile in einer Abbildung der Ausführungsform
der vorliegenden Erfindung gibt, und 10B ist
eine Kurve einer stückweisen Steuerung.
-
11A bis 11C sind
Kurvenbilder und Diagramme, die ein Kantendetektionsverfahren darstellen,
das in einer Ausführungsform der vorliegenden Erfindung
verwendbar ist.
-
12A und 12B sind
Kurvenbilder, die Beziehungen zwischen einem Detektionssignal St und
Rauschen und einer Sättigungshöhe darstellen.
-
13A ist ein Diagramm, das eine herkömmliche
Steuerung schematisch darstellt, und 13B ist
ein Diagramm, das eine Steuerung schematisch darstellt, bei der
die vorliegende Erfindung eingesetzt wird.
-
14A bis 14C sind
Diagramme, die Detektionspegel einer Kante einer weißen
Linie währen der Nacht und während des Tags darstellen.
-
BESTE ART ZUR AUSFÜHRUNG
DER ERFINDUNG
-
1 stellt
den grundsätzlichen Aufbau einer Kameravorrichtung dar,
die mit einer Bildsignalverarbeitungsvorrichtung (zum Beispiel Bildsignalverarbeitungs-IC)
der vorliegenden Ausführungsform bereitgestellt ist.
-
Die
veranschaulichte Kameravorrichtung weist einen Abbildungsteil 1 auf,
der mit einem Abbildungselement 10 und einem optischen
Teil 1A, einem A/D-Wandlerteil 2 zur Wandlung
eines Signals von dem Abbildungselement 10 in ein digitales
Signal, einem Bildsignalverarbeitungsteil 3 zur Anwendung
verschiedener Verarbeitungen auf das digitale Signal nach der A/D-Wandlung,
einem Bildspeicher 5 zur Speicherung eines Bildsignals
in Einheiten von zum Beispiel 1 Rahmen oder 1 Feld für
die Bildsignalverarbeitung, einem Register 6 zum Halten
verschiedener Arten von Parametern, die für die Bildsignalverarbeitung
erforderlich sind, und einem Steuerteil 4 zur Steuerung
anderer Teile durch Steuerung einschließlich einer Zeitsteuerung
bereitgestellt ist.
-
Der
Bildsignalverarbeitungsteil 3 führt als verschiedene
Verarbeitungsarten zum Beispiel die Verarbeitung der Erweiterung
des dynamischen Bereichs eines erfassten (erhaltenen) Bilds außer
der allgemeinen Verarbeitung, wie zum Beispiel Weißabgleichkorrektur,
Interpolationsverarbeitung und ν-Verarbeitung (Gamma-Verarbeitung)
aus. Der Bildsignalverarbeitungsteil 3 gibt das Bild nach
der Verarbeitung zum Beispiel als RGB- und YUV-Bildsignal aus.
-
Unter
den oben beschriebenen Teilen sind der Abbildungsteil 1,
der A/D-Wandlerteil 2, der Bildspeicher 5 und
das Register 6 Teile, die einfach aus Hardware realisiert
sein können, während der Bildsignalverarbeitungsteil 3 und
der Steuerteil 4 Teile sind, die teilweise oder vollständig
als Softwarefunktionen realisiert sein können. Darunter
wird die Funktion der Erzeugung eines Taktgebers oder eines Takts
zur Zeitsteuerung des Steuerteils 4 gewöhnlich in
Hardware realisiert. Ferner ist ebenso in dem Bildsignalverarbeitungsteil 3 jede
Funktion, die ein Echtzeitverarbeitungsverhalten erfordert, gewöhnlich wünschenswert
in Hardware realisiert. Wenn der Bildsignalverarbeitungsteil 3 durch
einen ASIC (anwendungsspezifische integrierte Schaltung) einschließlich
eines DSP (digitaler Signalprozessor) aufgebaut ist, kann die Verarbeitung
mit einer höheren Geschwindigkeit durchgeführt
werden als mit einer CPU eines so genannten Mikroprozessors und
ist somit wünschenswert.
-
Es
ist zu beachten, dass die Anwendungen der vorliegenden Kameravorrichtung
nicht beschränkt sind, jedoch für eine Anwendung,
die eine dynamische Bereichserweiterungsverarbeitung mit einer besonders
guten Reaktion erfordert, gibt es das Anbringen an einem Fahrzeug.
Die folgende Beschreibung wird für eine Kameravorrichtung
gegeben, die an einem Fahrzeug angebracht ist. Ferner wird sie für
einen Bildsignalverarbeitungsteil 3 gegeben, der durch
einen ASIC aufgebaut ist, der den DSP beinhaltet.
-
Die
dynamische Bereichserweiterungsverarbeitung in der vorliegenden
Erfindung weist ihr kennzeichnendes Merkmal in der Signalverarbeitung
nach der Abbildung auf. Der Aufbau des Abbildungselements und das
Abbildungsverfahren können grundsätzlich jeder
Aufbau und jedes Verfahren sein. Es ist jedoch erforderlich, eine
für die Signalverarbeitung geeignete Ausgabe aus dem Abbildungselement
zu erhalten. Im Folgenden werden ein Beispiel des Elementaufbaus
und ein Beispiel des Abbildungsverfahrens zum Erhalten einer für
die Signalverarbeitung geeigneten Ausgabe (Bildsignal) erläutert.
-
2 veranschaulicht
den Aufbau eines Teils des Abbildungselements 10.
-
Das
Abbildungselement 10 des vorliegenden Beispiels ist mit
einem Abbildungsteil bereitgestellt, der durch einen so genannten
CMOS-Sensor und peripheren Schaltungen hiervon aufgebaut ist. Der
in 2 veranschaulichte Teil stellt einen Schaltungsaufbau
eines Pixels 21, der den Abbildungsteil bildet, und eine
Verbindung mit einer vertikalen Steuerschaltung 20 zur
Steuerung eines Auslesetakts des Pixels 21 dar.
-
Jedes
Pixel 21 weist drei Transistoren (hier NMOS) 11, 12 und 13 und
eine Fotodiode PD auf.
-
Die
obigen drei Transistoren setzen sich aus einem Reset-Transistor 11 zum
Schalten eines Speicherknotens SN aus einem erdfreien Zustand in
einen Verbindungszustand an eine Stromversorgungsleitung 17,
Laden einer Versorgungsspannung VAA in den Speicherknoten SN und
Löschen einer gespeicherten Ladungsmenge hiervon, einem Übertragungstransistor 12 zur Übertragung
von an der Fotodiode PD erzeugten Ladungen (gewöhnliche
Elektronen) in den Speicherknoten SN, der sich nach dem Löschen
wieder in einem erdfreien Zustand befindet, und einem Verstärkungstransistor 13 zusammen,
der an seinem Drain-Anschluss mit der Stromversorgungsleitung 17 verbunden
ist und ein Pixelsignal in Übereinstimmung mit der gespeicherten,
in den Speicherknoten SN übertragenen Ladung verstärkt
und dasselbe an eine vertikale Signalleitung 14 ausgibt.
-
Der
Reset-Transistor 11 ist an seinem Drain-Anschluss mit der
Stromversorgungsleitung 17 verbunden, an seinem Source-Anschluss
mit dem Speicherknoten SN verbunden und an seinem Gate-Anschluss
mit einer ersten Steuerleitung 15 zur Steuerung der Anwendung
einer Sättigungssteuerspannung VSC und Reset-Spannung VRT
verbunden. Unter diesen ist der Übertragungstransistor 12 an
seinem Drain-Anschluss mit dem Speicherknoten SN verbunden, an seinem
Source-Anschluss mit einem verunreinigungsdotierten Halbleiterbereich (nicht
dargestellt) verbunden, der eine Kathode der Fotodiode PD bildet,
und an seinem Gate-Anschluss mit einer zweiten Steuerleitung 16 zur
Steuerung einer Anwendungszeit (Abbildungszeit) der Übertragungsspannung
VT verbunden. Der Verstärkungstransistor 13 ist
an seinem Drain-Anschluss mit der Stromversorgungsleitung 17 verbunden,
an seinem Source-Anschluss mit der vertikalen Signalleitung 14 verbunden
und an seinem Gate-Anschluss mit dem Speicherknoten SN verbunden.
-
Der
Abbildungsteil ist aus wenigen hundert bis wenigen tausend solcher
Pixel 21 aufgebaut, die in horizontaler und vertikaler
Richtung angeordnet sind.
-
Eine
vertikale Steuerschaltung 20 zur Zuführung verschiedener
Spannungen an diese ersten und zweiten Steuerleitungen 15 und 16 ist
auf dem Randbereich des Pixelteils bereitgestellt. Ferner ist eine horizontale
Steuerschaltung 22 zur Verarbeitung der Pixelsignalausgabe
an die vertikale Signalleitung 14 zum Beispiel zum Zweck
der Rauschbeseitigung und Feststellen der Referenzhöhe,
Umwandlung dieses Ausgabesignals in ein Zeitreihensignal und Auslesen des
umgewandelten Signals auf dem Randbereich des Pixelteils bereitgestellt.
Ferner ist eine Zeitsteuerschaltung zur Steuerung der vertikalen
oder horizontalen Steuerschaltung im Innern des Abbildungselements 10 bereitgestellt.
Die Zeitsteuerschaltung wird durch den Steuerteil 4 der 1 gesteuert
und führt die Sättigungssteuerung und die Abbildungszeitsteuerung
aus, wie später erläutert werden wird. Der Steuerteil 4 steuert
die vertikale Steuerschaltung 20 usw. und liest ebenso
Signale aus dem Pixelteil aus. Wenn das Abbildungselement 10 ein
Bild des Objekts unter diesen Steuerungen erfasst (erhält), wird
das Signal (Bildsignal) aus der horizontalen Steuerschaltung 22 nach
außen über einen Ausgabeanschluss des Abbildungselements 10 ausgegeben.
-
Es
ist zu beachten, dass der Aufbau des Pixels 21 nicht auf 1 beschränkt
ist. Es kann ebenso ein Vier-Transistor-Pixel sein, das mit einem
Auswahltransistor in Reihe mit dem Verstärkungstransistor 13 bereitgestellt
ist. Ferner kann die Stromversorgung des Verstärkungstransistors 13 und
die Stromversorgung des Reset-Transistors 11 ebenso über unterschiedliche
Leitungen durchgeführt werden. Außerdem kann die
Stromversorgung dieser Transistoren durch die vertikale Steuerschaltung 20 ein-
oder ausgeschaltet werden. Kurz gesagt kann das Pixel 21 aus
wenigstens den drei Transistoren 11 bis 13 und
der Fotodiode PD wie veranschaulicht verschaltet aufgebaut sein,
wodurch die Ausgabesteuerung der Pixelsignale an den Speicherknoten
SN und die vertikale Signalleitung 14 durchgeführt
wird.
-
Die
Bildsignalausgabe von dem Abbildungselement 10 wird an
den A/D-Wandlerteil 2 der 1 gesendet,
wo sie in ein digitales Signal umgewandelt wird, das dann der vorherbestimmten
Signalverarbeitung durch den Bildsignalverarbeitungsteil 3 unterzogen
wird.
-
Das
Abbildungsverfahren kann jedes Verfahren sein, das eine so genannte
Mehrfachbelichtung verwendet, wobei ein Bild desselben Objekts mehrere
Male in einer vorherbestimmten Zeitdauer erfasst wird, oder ein
Verfahren der schrittweisen Änderung der Reset-Höhe
zur Zeit der Belichtung.
-
Bei
der Mehrfachbelichtung werden die Zeit für die Abbildung
und die Sättigungshöhe individuell für
jeden Abbildungsvorgang festgelegt. Details der Festlegung dieser
Abbildungszeit und der Sättigungshöhe werden später
erläutert werden. Allgemein wird die Sensorausgabe selbst
nicht durch einfallendes starkes Licht (heller Teil eines Bilds)
gesättigt, wenn die Abbildungszeit kürzer gemacht
wird, wodurch eine so genannte „Überbelichtung"
vermieden oder unterdrückt werden kann. Wenn andererseits
die Abbildungszeit verlängert wird, kann die Empfindlichkeit
der Sensorausgabe selbst bei einfallendem schwachen Licht (dunkler
Teil des Bilds) relativ groß gemacht werden, wodurch eine
so genannte „Unterbelichtung" vermieden oder unterdrückt
werden kann. Wenn ferner die Sättigungshöhe verringert wird,
gerät die Sensorausgabe leicht in die Sättigung. Die
relative Größe des Signalspegels bezüglich
der Sättigungshöhe kann jedoch vergrößert
werden. Wenn im Gegensatz dazu die Sättigungshöhe
vergrößert wird, ist es schwer, die Sensorausgabe
in die Sättigung zu bringen. Die relative Größe
des Signalpegels bezüglich der Sättigungshöhe
wird jedoch klein.
-
Wenn
die Zeit der Abbildung und die Sättigungshöhe
für jeden Abbildungsvorgang in Übereinstimmung
mit der Helligkeitspegelverteilung des Objekts, das momentan in
mehreren Abbildungsvorgängen erfasst wird, optimiert und
ein Bild aus den erhaltenen mehreren Bildsignalen erzeugt (gemischt) wird,
ist es dementsprechend möglich, ein Bild eines großen
dynamischen Bereichs zu erhalten, in dem ein hoher Luminanzteil
(heller Teil) nicht in die Sättigung gerät und
der Gradationsausdruck gesteigert ist und der Gradationsausdruck
eines niedrigen Luminanzteils (dunkler Teil) gesteigert ist.
-
Andererseits
ist bei dem Verfahren der schrittweisen Änderung der Reset-Höhe
zur Zeit der Belichtung die Anzahl der Abbildungsvorgänge
bezüglich eines Bilds eins. Die Abbildungszeit wird entsprechend
der Einschaltzeit des Übertragungstransistors 12 gesteuert,
dann wird die Reset-Höhe (Sättigungshöhe)
schrittweise durch den Reset-Transistor 11 gesteuert.
-
Eine
an einem Fahrzeug angebrachte Kameravorrichtung des vorliegenden
Beispiels weist ihr kennzeichnendes Merkmal insbesondere in dem
Verfahren der dynamischen Bereichserweiterungsverarbeitung auf.
Im Folgenden wird eine Erläuterung des Aufbaus und des
Ablaufs für die dynamische Bereichserweiterungsverarbeitung
gegeben. Hier wird eine Erläuterung für den letzteren
Fall der schrittweisen Steuerung der Reset-Höhe zwischen
den zwei obigen Verfahren gegeben.
-
3 ist ein Signalzeitdiagramm zur Erläuterung
des Verfahrens der schrittweisen Steuerung der Reset-Höhe.
Ferner stellt 4 schematisch die Spannungssteuerung
dar, wenn das Bildsignal aus einem Pixel 21 der 2 ausgelesen
wird.
-
In 3 ist eine Rahmendauer in (A) dargestellt
und eine schematische Wellenform von Ausgabedaten ist in (B) desselben
Diagramms dargestellt. Ferner ist die Speichersteuerung der Ladungsausgabe
aus der Fotodiode PD in den Speicherknoten SN des Pixels in (C)
desselben Diagramms dargestellt und die Sättigungssteuerung
unter Verwendung der Reset-Höhe (Sättigungshöhe)
zur Zeit der Speichersteuerung ist in (D) durch die Höhe
und die Anwendungszeit der Spannung dargestellt. Ferner ist eine Zeitentwicklung
der Sättigungshöhe in (E) desselben Diagramms
als eine schematische Kurve dargestellt, wenn Ladungen in dem Speicherknoten
SN gespeichert werden. Die Abszisse dieser Kurve gibt die Zeit t
an und die Ordinate gibt die gespeicherte Ladungsmenge Ae an.
-
In
diesem veranschaulichten Beispiel werden, wie in 3(A) und 3(B) dargestellt ist, in dem Bildsignalstandard
für eine vertikale (V) Austastperiode 30 die Ausgabedaten
zur Außenseite des Abbildungsteils 1 durch Verwenden
der gesamten Zeitdauer 31, die einer Abtastperiode eines
Bilds entspricht, ausgegeben. Aus diesem Grund werden, wie in 3(C) bis 3(E) dargestellt
ist, die Ausgabe des Speicherknotens SN der gespeicherten Ladungen
und die Steuerung der Sättigungshöhe vor allem durch
Verwenden der V-Austastperiode 30 ausgeführt.
-
Im
Folgenden wird der Ablauf in der Reihenfolge mit Bezug auf 3 und 4 erläutert. 4 ist
ein erläuterndes Diagramm zur Erklärung der Gate-Spannungssteuerung
des Übertragungstransistors 12 und der Speicherung
der Ladungen, Übertragung und Sättigung entsprechend
der Gate-Spannungssteuerung des Reset-Transistors 11.
-
Zur
Zeit T0, wenn die Periode 31 der 3 beginnt,
wechselt die Übertragungsspannung VT von einem hohen Pegel
in einen niedrigen Pegel und der Übertragungstransistor 12 der 2 schaltet
ab. Zu dieser Zeit wird ein vorheriges Bildsignal Vpix, das an die
vertikale Signalleitung 14 der 2 ausgegeben wurde,
durch die horizontale Steuerschaltung 22 der 2 bestätigt,
in ein Zeitreihensignal umgewandelt und dann wird begonnen, es außerhalb
des Abbildungselements 10 auszugeben, wie in 3(B) dargestellt ist.
-
Als
nächstes wird, wie in 3(D) dargestellt ist,
die Reset-Spannung VRT dem Gate-Anschluss des Reset-Transistors 11 zur
Zeit T1 zugeführt. Aufgrund dessen wird die Versorgungsspannung
VAA dem Speicherknoten SN zugeführt, weshalb die gespeicherten
Ladungen des Speicherknotens SN an die Versorgungsleitung der Versorgungsspannung VAA
ausgegeben werden. Bei der nächsten Zeit T2 wird das Anlegen
der Reset-Spannung VRT eingestellt, woraufhin der nächste
Abbildungsvorgang beginnt. Wenn der Abbildungsvorgang beginnt, werden Ladungen
(Elektronen in dem vorliegenden Beispiel) in Übereinstimmung
mit der einfallenden Lichtmenge in einem verunreinigungsdotierten
n-leitenden Gebiet (nicht dargestellt), das als Kathode der Fotodiode dient,
gespeichert. Zu dieser Zeit befindet sich die dem Gate-Anschluss
des Übertragungstransistors 12 zugeführte Übertragungsspannung
VT in einem niedrigen Pegel (3(C))
und es wird eine Potentialbarriere 12A gebildet, wie in 4 dargestellt
ist.
-
3(E) stellt eine Situation der Elektronenspeicherung
dar. Hier gibt die Bezeichnung 32 eine Ladungsspeicherlinie
des Falls an, in dem das einfallende Licht stark ist, während
die Bezeichnung 33 eine Ladungsspeicherlinie des Falls
kennzeichnet, in dem das einfallende Licht schwach ist.
-
Bei
der Ladungsspeicherlinie 32 des Falls, in dem das einfallende
Licht stark ist, erhöht sich die gespeicherte Elektronenmenge
im Wesentlichen linear bis zur ersten Sättigungshöhe
der Fotodiode PD, nach diesem Zeitpunkt jedoch wird die gespeicherte Ladungsmenge
auf die erste Sättigungshöhe L1 abgeschnitten.
Andererseits nimmt bei der Ladungsspeicherlinie 33 des
Falls, in dem das einfallende Licht schwach ist, die Ladungsmenge
kontinuierlich, im Wesentlichen linear zu.
-
Die
Sättigungshöhe der Fotodiode PD kann (elektrisch)
entsprechend der Höhe einer Potentialbarriere der Fotodiode
gesteuert werden, bei der es einen OFD (Überlaufabfluss)
gibt. Es ist zu beachten, dass in dem vorliegenden Beispiel zur
Einfachheit der Erläuterung angenommen wird, dass die Sättigungshöhe
der Fotodiode PD äquivalent zur Sättigungshöhe
L1 durch die später erläuterte Spannung V1 ist.
-
Wie
in 3(C) dargestellt ist, wird die Übertragungsspannung
VT von dem niedrigen Pegel auf den hohen Pegel umgeschaltet, um
so den Übertragungstransistor 12 der 2 zu
einem Endpunkt der Zeit (Zeit T3) der Periode 31 einzuschalten.
Wie in 3(D) dargestellt ist, wird
ferner die Sättigungssteuerspannung VSC etwa zur selben
Zeit auf die erste Sättigungsspannung V1 gesteuert, die
niedriger ist als die Reset-Spannung VRT.
-
Zu
dieser Zeit wird, wie in 4 dargestellt ist, die Potentialbarriere 12A durch
die obige Spannungssteuerung abgesenkt und gespeicherte Elektronen
werden von der Fotodiode PD in den Speicherknoten SN übertragen.
Die in den Speicherknoten SN übertragenen Elektronen können
in dem Speicherknoten SN bis zur Höhe der Potentialbarriere 11A gespeichert
werden, die durch die erste Sättigungsspannung V1 festgelegt
ist, jedoch werden die diese überschreitenden Elektronen
an die Versorgungsleitung der Versorgungsspannung VAA der 2 ausgegeben.
-
Als
nächstes wird, wie in 3(D) dargestellt ist,
die Sättigungssteuerspannung VCS auf eine Spannung (zweite
Sättigungsspannung) V2, die niedriger als die erste Sättigungsspannung
V1 ist, zur Zeit T4 umgeschaltet.
-
Zu
dieser Zeit wird die Höhe der Potentialbarriere 11A der 4 auf
die Höhe der zweiten Sättigungsspannung V2 abgesenkt,
wodurch die Ladungsmenge, die in dem Speicherknoten SN gespeichert
werden kann, um einen Betrag zunimmt, der dem Anstieg der Sättigungsspannung
(V1–V2) entspricht. Dementsprechend beginnt, wie in 3(E) dargestellt ist, die Ladungsspeicherlinie 32 des
Falls, in dem das einfallende Licht stark ist, im Wesentlichen linear
in der gespeicherten Ladungsmenge Ae von der Zeit T4 anzusteigen
und erreicht danach die zweite Sättigungshöhe
L2, die durch die zweite Sättigungsspannung V2 festgelegt
ist und wird auf dieser Höhe abgeschnitten.
-
Wenn
andererseits das einfallende Licht schwach ist, tritt das Abschneiden
(Sättigung) der Ladungsmenge nicht auf, sondern die Ladungsspeicherung
führt noch mit derselben Rate fort.
-
Als
nächstes wird, wie in 3(D) dargestellt ist,
die Sättigungssteuerspannung VSC auf eine Spannung (dritte
Sättigungsspannung) V3, die noch niedriger als die zweite
Sättigungsspannung V2 ist, zur Zeit T5 umgeschaltet.
-
Zu
dieser Zeit wird die Höhe der Potentialbarriere 11A der 4 auf
die Höhe der dritten Sättigungsspannung V3 abgesenkt,
wodurch die Ladungsmenge, die in dem Speicherknoten SN gespeichert
werden kann, weiter um einen Betrag zunimmt, der dem Anstieg der
Sättigungsspannung (V2–V3) entspricht. Dementsprechend
beginnt, wie in 3(E) dargestellt ist,
die Ladungsspeicherlinie 32 des Falls, in dem das einfallende
Licht stark ist, im Wesentlichen linear in der gespeicherten Ladungsmenge
Ae von der Zeit T5 erneut anzusteigen und erreicht danach die dritte
Sättigungshöhe L3, die durch die dritte Sättigungsspannung
V3 festgelegt ist und wird auf dieser Höhe abgeschnitten.
-
Andererseits
tritt bei der Ladungsspeicherlinie 33 des Falls, in dem
das einfallende Licht schwach ist, das Abschneiden (Sättigung)
der Ladungsmenge nicht auf, sondern die Ladungsspeicherung fährt
noch mit derselben Rate fort.
-
Die
auf diese Weise gespeicherten Ladungen werden an die vertikale Signalleitung 14 über den
Verstärkungstransistor 13 der 2 und
als Potentialschwankung (Bildsignal Vpix) der vertikalen Signalleitung 14 von
dem Pixel 21 ausgegeben.
-
Wie
in 3(C) dargestellt ist, wird zum
Zeitpunkt des Endes (Zeit T6) der V-Austastperiode 30 die Übertragungsspannung
VT von dem hohen Pegel in den niedrigen Pegel umgeschaltet, wodurch
der Übertragungstransistor 12 ausgeschaltet wird.
-
Danach
wird das Bildsignal in das Register usw. für jede Zeile
von der vertikalen Signalleitung 14 der 2 durch
eine nicht dargestellte horizontale Steuerschaltung 22 eingebracht,
dort seriell-parallel umgewandelt und als ein Zeitreihenbildsignal
Vpix außerhalb des Abbildungselements 10 ausgegeben.
-
Es
ist zu beachten, dass 3(E) einen Fall darstellt,
in dem die gespeicherte Ladungsmenge bei drei Sättigungshöhen
abgeschnitten wird, das heißt dreimal insgesamt durch die
erste Sättigungsspannung V1, die zweite Sättigungsspannung
V2 und die dritte Sättigungsspannung V3, und einen Fall,
in dem sie nicht einmal abgeschnitten wird. Es gibt ebenso einen
Fall, in dem in Übereinstimmung mit der einfallenden Lichtmenge
des Pixels die gespeicherte Ladungsmenge lediglich bei der ersten
Sättigungshöhe L1 abgeschnitten wird, und einen
Fall, in dem sie bei der ersten Sättigungshöhe
L1 und der zweiten Sättigungshöhe L2 abgeschnitten
wird.
-
5(A) stellt eine vergrößerte
Ansicht der 3(E) zur Erläuterung
der Sättigung in einem Fall dar, in dem die einfallende
Lichtmengenhöhe schrittweise erhöht wird. Ferner
ist die Beziehung zwischen der Intensität des einfallenden
Lichts und der Höhe des Bildsignals Vpix in der Kurve der 5(B) dargestellt.
-
In 5(A) werden die Ladungsspeicherlinie 32 des
Falls, in dem das einfallende Licht stark ist, und die Ladungsspeicherlinie 33 des
Falls, in dem das einfallende Licht schwach ist, durch gestrichelte Linien
dargestellt. Ferner ist die Anwendungszeit der ersten Sättigungsspannung
V1 (hierin im Folgenden als V1-Anwendungszeit bezeichnet) durch
eine Bezeichnung „t1" gekennzeichnet, die Anwendungszeit der
zweiten Sättigungsspannung V2 (hierin im Folgenden als
V2-Anwendungszeit bezeichnet) durch eine Bezeichnung „t2"
gekennzeichnet und die Anwendungszeit der dritten Sättigungsspannung
V3 (hierin im Folgenden als V3-Anwendungszeit bezeichnet) durch
eine Bezeichnung „t3" gekennzeichnet.
-
Ferner
ist der Wechselpunkt der Ladungsspeicherlinie 32 zur Zeit
des Endes der Anwendungszeit t1 durch eine Bezeichnung „P1"
gekennzeichnet und der Wechselpunkt der Ladungsspeicherlinie 32 zur
Zeit des Endes der Anwendungszeit t2 durch eine Bezeichnung „P2"
gekennzeichnet.
-
In 5(B) wird, wenn die Lichtintensität
der Abszisse allmählich vergrößert wird
und der Abbildungsvorgang für jede Änderung durchgeführt
wird, der Abbildungsvorgang zuerst ohne den Einfluss der ersten
bis dritten Sättigungsspannungen V1, V2 und V3 durchgeführt.
In diesem Fall nehmen, wie durch die Ladungsspeicherlinie 33 als
ein Beispiel in 5(A) dargestellt ist,
die Elektronen beinahe linear während der Speicherzeit
zu. Die Ladungsspeichermenge zur Zeit des Endes der Speicherzeit
beträgt Ae0. Wenn die einfallende Lichtmenge weiter von
der Zeit des Abbildungsvorgangs dieser Ladungsspeicherlinie 33 erhöht
wird, nehmen die Elektronen im Wesentlichen linear bis zur Grenze
zu, bei der die Sättigung entsprechend der ersten Sättigungshöhe L1
wie bei der in 5(A) dargestellten
Ladungsspeicherlinie 38 auftritt. Diese Ladungsspeicherlinie 38 berührt
den Wechselpunkt P1 in diesem Zustand. Die Ladungsspeichermenge
zu dieser Zeit beträgt Ae1.
-
Wenn
die einfallende Lichtmenge weiter gesteigert wird, wird die Zeit,
während der die Ausgabe durch die erste Sättigungsspannung
V1 in der Anwendungszeit t1 unterdrückt wird, allmählich
langer, wodurch die Zunahmerate der Ladungsspeichermenge zur Zeit
des Endes der Speicherzeit um diesen Betrag verringert ist. Als
Folge davon wird, wie in 5(B) dargestellt
ist, die Steigung der Bildsignalhöhe Vpix bezüglich
der Lichtintensität an einem Knickpunkt BP1 als Grenze
kleiner. Der Knickpunkt BP1 wird gemäß der Anwendungszeit
t1 und einem Parameter (hierin im Folgenden als ein Empfindlichkeitskoeffizient
bezeichnet) dV1 ermittelt. Der Empfindlichkeitskoeffizient dV1 ist
der Parameter, der durch eine Spannungsdifferenz zwischen der ersten Sättigungsspannung
V1 und der Reset-Spannung VRT (VRT-V1) und einer Ladungsspeicherkapazität (Ladungsspeichervermögen)
des Pixels usw. bestimmt ist. Wenn dieser Empfindlichkeitskoeffizient groß ist,
ist eine rasche Ladungsspeicherung möglich, während
umgekehrt, wenn dieser klein ist, die Ladungen schwierig zu speichern
sind.
-
Wenn
die einfallende Lichtmenge weiter gesteigert wird, wie durch die
in 5(A) dargestellte Ladungsspeicherlinie 39 dargestellt
ist, ergibt sich ein Zustand der Berührung mit dem Wechselpunkt P2
zur Zeit des Endes der Anwendungszeit t2. Die Ladungsspeichermenge
zu dieser Zeit ist Ae2. Wenn die einfallende Lichtmenge hiervon weiter
zur Zeit des Abbildungsvorgangs dieser Ladungsspeicherlinie 39 gesteigert
wird, wird zusätzlich zur Tatsache, dass die Zeit der Unterdrückung
der Ausgabe durch die erste Sättigungsspannung V1 in der
Anwendungszeit t1 allmählich länger wird, die
Zeit der Unterdrückung der Ausgabe durch die zweite Sättigungsspannung
V2 in der Anwendungszeit t2 allmählich ebenso länger,
wodurch die Zunahmerate der Ladungsspeichermenge weiter um diesen
Betrag verringert wird. Als Folge hiervon wird, wie in 5(B) dargestellt ist, die Steigung des
Bildsignalpegels Vpix bezüglich der Lichtintensität
bei dem Knickpunkt BP2 als Grenze noch geringer. Der Knickpunkt
BP2 wird gemäß der Anwendungszeit t2 und dem Empfindlichkeitskoeffizienten
dV2 auf dieselbe Weise ermittelt wie der Knickpunkt BP1. Der Empfindlichkeitskoeffizient
dV2 ist ein Parameter, der durch die Spannungsdifferenz (V1–V2)
zwischen der ersten Sättigungsspannung V1 und der zweiten
Sättigungsspannung V2 und der Ladungsspeicherkapazität
(Ladungsspeichervermögen) des Pixels usw. bestimmt ist.
Wenn dieser Empfindlichkeitskoeffizient groß ist, ist eine
rasche Ladungsspeicherung möglich, während umgekehrt,
wenn dieser Empfindlichkeitskoeffizient klein ist, die Ladungen
schwierig zu speichern sind.
-
Hiernach
wird der Knickpunkt BP3 auf dieselbe Weise erreicht und die Ausgabe
(Pegel des Bildsignals Vpix) bleibt danach konstant. Es ist zu beachten,
dass der Knickpunkt BP3 nahe der maximalen Lichtintensität
liegt, so dass dieser Knickpunkt ebenso als die maximale Luminanz
betrachtet werden kann. Im Folgenden wird der Knickpunkt BP3 nicht berücksichtigt.
-
Das
Bildsignal Vpix, das eine solche Lichtcharakteristik im Vergleich
zur Intensitätscharakteristik in einem Bild aufweist, wird
in dem A/D-Wandlerteil 2 der 2 zum Beispiel
in ein Signal aus 0 bis 255 Abstufungen in einem Fall von 8 Bits
oder in ein digitales Signal von 0 bis 1023 Abstufungen in einem
Fall von 10 Bits umgewandelt und an den Bildsignalverarbeitungsteil 3 ausgegeben.
Die Verarbeitung für die dynamische Bereichserweiterung
wird dort ausgeführt.
-
Als
nächstes wird der Aufbau für die dynamische Bereichserweiterungsverarbeitung,
das heißt die Funktion des Bildsignalverarbeitungsteils 3,
erläutert.
-
Es
ist zu beachten, dass, ob diese dynamische Bereichserweiterungsverarbeitung
ausgeführt wird oder nicht, durch den Benutzer an der Kameravorrichtung
der 1 eingestellt werden kann. Ein nicht dargestellter
Bedienteil oder eine Fernbedienung kann verwendet werden, den hochdynamischen
Bereichsmodus ein- oder auszuschalten.
-
6 stellt
ein Funktionsblockdiagramm des Bildsignalverarbeitungsteils 3 bezüglich
der dynamischen Bereichsvergrößerungsverarbeitung
dar.
-
Der
Bildsignalverarbeitungsteil 3 beinhaltet vier Mittel, die
als Funktionen eines Programms zum Betrieb des DSP realisiert sein
können. Konkret beinhaltet der Bildsignalverarbeitungsteil 3 ein
Histogrammerstellungsmittel 34, ein Parameterextraktionsmittel 35,
ein Zielbereichsbestimmungsmittel 36 und ein Signalverarbeitungsmittel 37.
Es ist zu beachten, dass bei dem in der vorliegenden Ausführungsform
ausgeführten Verfahren, das die Reset-Höhe verwendet,
die Verarbeitung für die dynamische Bereichserweiterung
nicht durch dieses Signalverarbeitungsmittel ausgeführt
wird 37. Dieses Signalverarbeitungsmittel wird bereitgestellt,
um die andere, zuvor erläuterte Verarbeitung auszuführen. Dementsprechend
ist das Signalverarbeitungsmittel 37 keine unverzichtbare
Anordnung. Andererseits wird in dem Fall der Mehrfachbelichtung,
wie später erläutert werden wird, die Verarbeitung
für die dynamische Bereichserweiterung durch Bildmischung durch
dieses Signalverarbeitungsmittel 37 ausgeführt.
-
Ein
Teil der Funktionen der obigen vier Mittel kann durch Hardware durch
logische Schaltungen oder dergleichen in dem ASIC realisiert werden.
Der durch die obigen Mittel ausgeführte Verarbeitungsinhalt
wird in der nächsten Erläuterung der Verarbeitungsreihenfolge
verdeutlicht.
-
7 ist
ein Flussdiagramm der dynamischen Bereichserweiterungsverarbeitung
in der vorliegenden Ausführungsform. Hier wird angenommen, dass
das Bildsignal Vpix 0 bis 255 Luminanzstufen aufweist.
-
Wenn
das Bildsignal Vpix in den Bildsignalverarbeitungsteil 3 eingegeben
wird, wird zuerst durch die Steuerung des Histogrammerstellungsmittels 34 das
Bildsignal Vpix eines Feldbilds oder eines Rahmenbilds in dem Bildspeicher 5 der 1 gespeichert
(Schritt ST1).
-
Zu
dieser Zeit nimmt das Histogrammerstellungsmittel 34 Pixeldaten
in dem Bildspeicher 5 der 1 als Histogramm
auf, das die Beziehung zwischen dem Pixelsignalpegel (Gradationshöhe
oder Luminanzstufe) und der Anzahl derselben (Pixelanzahl) angibt.
Als konkretes Verfahren zur Aufnahme eines Histogramms speichert
das Histogrammerstellungsmittel 34 zum Beispiel einmal
das Bildsignal Vpix vor der Aufnahme des Histogramms in dem Bildspeicher 5,
liest es aus, berechnet das Histogramm und speichert die erhaltenen
Histogrammdaten dann in einen anderen Bereich des Bildspeichers 5.
Bei dieser Histogrammberechnung zählt es, wie viele Bildwerte
der Pixeldaten es für jede der 0 bis 255 Luminanzstufen
gibt und erzeugt die Histogrammdaten, die eine Übereinstimmung
zwischen diesem Zählwert und dem Luminanzstufenwert angeben.
-
8 stellt
ein Beispiel des Histogramms dar. Die Abszisse der 8 stellt
die Luminanzstufenwerte 0 bis 255 dar, während die Ordinate
einen Grad (Pixelanzahl) des Luminanzstufenwerts in einem Bild darstellt.
-
Eine
Kurve einer strichpunktierten Linie mit der Bezeichnung 40 in 8 stellt
ein Beispiel der Verteilung der Histogrammdaten dar. Auf diese Weise
umfassen die Histogrammdaten 40 in einem Bild nicht immer
alle Luminanzstufenwerte 0 bis 255, die durch die Verarbeitungsbitbreite
des Bildsignalverarbeitungsteils 3 der 1 und
den dynamischen Bereich des A/D-Wandlerteils 2 festgelegt
sind. Es gibt viele Fälle, in denen der kleinste Wert Dmin
der Histogrammdaten 40 größer ist als
der Luminanzstufenwert 0 und der größte Wert Dmax
kleiner ist als der Luminanzstufenwert 255. Natürlich gibt
es ebenso einen Fall, in dem der Luminanzstufenwert 0 mit dem kleinsten
Wert Dmin der Histogrammdaten 40 übereinstimmt,
und einen Fall, in dem umgekehrt der größte Wert
Dmax der Histogrammdaten 40 mit dem Luminanzstufenwert
255 übereinstimmt. Es gibt eine Vielzahl an Verteilungsformen
und Positionen in den Luminanzstufenwerten 0 bis 255 entsprechend
des erfassten Bilds.
-
Ferner
gibt eine Kurve einer durchgezogenen Linie mit der Bezeichnung 41 in 8 einen
Fall an, in dem der kumulierte Wert des Grads (Pixelanzahl) auf
der Ordinate des Kurvenbilds aufgetragen ist.
-
Hier
gibt der Luminanzstufenwert, der dem Mittelpunkt (mittlerer Punkt)
genau der Hälfte des größten Werts Fmax
der Kurve 41, die den kumulierten Wert der Pixelanzahl
darstellt, entspricht, einen repräsentativen Wert der Luminanz
in einem Bild an und ist im Folgenden als mittlerer Wert Dmea festgelegt.
Ferner stellt der Durchschnittswert der Luminanz der Histogrammdaten 40 eine
Mitte der Luminanz in einem Bild dar und ist im Folgenden als Durchschnittswert
Dave festgelegt.
-
Jetzt
kehrt die Erläuterung zurück zum Flussdiagramm
der 7.
-
In
Schritt ST2 durchsucht das Parameterextraktionmittel 35 der 6 den
Bildspeicher 5 und extrahiert die oben beschriebenen Luminanzparameter der 8,
das heißt den kleinsten Wert Dmin und den größten
Wert Dmax der Histogrammdaten. Ferner wird als Luminanzparameter,
der den ersten Steuerzielbereich bestimmt, wie später erläutert
werden wird, der mittlere Wert Dmea oder der Durchschnittswert Dave
durch das Parameterextraktionsmittel 35 durch Durchsuchen
des Bildspeichers 5 extrahiert. Im Folgenden wird ein Fall,
in dem der Durchschnittswert Dave verwendet wird, als Beispiel herangezogen.
-
Das
Parameterextraktionsmittel 35 speichert die extrahierten
Parameter des kleinsten Werts Dmin, des größten
Werts Dmax und des Durchschnittswerts Dave in dem Register 6 der 6,
so dass eine Unterscheidung möglich ist.
-
Im
nächsten Schritt ST3 liest das Histogrammerstellungsmittel 34 der 6 als
wünschenswerte Verarbeitung die Histogrammdaten 40 (8)
in dem Bildspeicher 5 aus und vergrößert
die Verteilung als Ganzes, so dass der kleinste Wert Dmin hiervon der
Luminanz 0 entspricht und der größte Wert Dmax der
Luminanz 255 entspricht. Diese Verarbeitung wird als Histogrammstreckung
bezeichnet. Obwohl es keine unverzichtbare Verarbeitung ist, wird
sie wünschenswerterweise im Sinn der Steigerung der nachfolgenden
Verarbeitungsgenauigkeit (Verarbeitungsauflösung) ausgeführt.
In der Verteilung nach der Histogrammstreckung wird natürlich
der Durchschnittswert Dave (oder mittlere Wert Dmea) ebenso geändert.
-
Es
ist zu beachten, dass, wenn die Histogrammstreckung ausgeführt
wird, die Arbeit der Speicherung des kleinsten Werts Dmin, des größten Werts
Dmax und des Durchschnittswerts Dave oder anderer Parameter in dem
Register 6 nicht in Schritt ST2 ausgeführt werden
dürfen, sondern nach der Histogrammstreckung.
-
Im
nächsten Schritt ST4 liest das Zielbereichsbestimmungsmittel 36 der 6 die
obigen verschiedenen Parametertypen aus dem Register 6 aus
und legt den ersten Zielwert basierend auf diesen Parametern fest.
Bei der Festlegung dieses ersten Zielwerts wird die Steuerung ausgeführt,
so dass der in 5(B) erläuterte
Knickpunkt BP1 und der Durchschnittswert Dave in den Histogrammdaten 40 der 8 im
Wesentlichen übereinstimmen. Als konkreter Steuerwert kann
Gebrauch von einer Belichtungszeit des Abbildungselements 10 und/oder
dem Verstärkungswert des Verstärkers gemacht werden, der
gewöhnlich in der Ausgangsstufe im Abbildungselement 10 oder
in dem Bildsignalverarbeitungsteil 3 bereitgestellt ist.
Um die Belichtungszeit des Abbildungselements 10 zu steuern,
kann ebenso eine OFD-Höhe im Abbildungselement 10 gesteuert
werden. Die Ladungsspeicherzeit kann durch Verschieben der Zeit
T2 vergrößert oder verkleinert werden, wenn die
Abbildung aus 3 in der Periode 31 gestartet
wird. Wenn entweder die Belichtungszeit oder der Verstärkungswert
des Verstärkers gesteuert wird, ändert sich die
Helligkeit des Bilds und der Durchschnittswert Dave verschiebt sich
ebenfalls hiermit. Zu dieser Zeit wird die Helligkeitssteuerung
des Bilds ausgeführt, so dass sich der Durchschnittswert
Dave dem Knickpunkt BP1 annähert.
-
Es
ist zu beachten, dass es nicht immer erforderlich ist, den Durchschnittswert
Dave in perfekte Übereinstimmung mit dem Knickpunkt BP1
zu bringen. Die Steuerung kann beendet werden, indem sie als übereinstimmend
betrachtet werden, wenn sie einen bestimmten zulässigen
Bereich erreichen.
-
Ferner
wird, wenn die Helligkeitssteuerung des Bilds durchgeführt
wird, die Steuerung um den Betrag eines Bilds verzögert.
Wenn es gewünscht wird, die Steuerung zu vermeiden, kann
die Berechnung unter Verwendung der Position des Durchschnittswerts
Dave innerhalb eines durch den kleinsten Wert Dmin und den größten
Wert Dmax festgelegten Bereichs, der den Knickpunkt BP1 bestimmenden
Anwendungszeit t1, den Empfindlichkeitsparametern usw. durchgeführt
werden, um die Richtung und den Betrag der Helligkeitssteuerung
im Voraus für die Vorwärtssteuerung vorherzusagen.
-
Im
nächsten Schritt ST5 legt das Zielbereichsbestimmungsmittel 36 der 6 den
zweiten Zielwert, der dem nächsten Knickpunkt BP2 (5(B)) entspricht, durch Verwenden der
Beziehung zwischen dem bereits festgelegten ersten Zielwert und
dem kleinsten Wert Dmin und dem größten Wert Dmax
fest, die aus dem Register 6 ausgelesen werden.
-
Genauer
wird ein Verhältnis eines Werts, der durch Subtraktion
des kleinsten Werts Dmin von dem ersten Zielwert (BP1) erhalten
wird, in Bezug auf den Wert, der durch Subtraktion des kleinsten
Werts Dmin von dem größten Wert Dmax erhalten
wird, ermittelt. Dann wird beurteilt, dass es, wenn dieses Verhältnis
klein ist, relativ viele dunkle Teile in dem Bild gibt, so dass
der zweite Zielwert (= BP2) an eine Stelle gesetzt wird, die nicht
relativ weit von dem ersten Zielwert in der Lichtintensität
liegt. Umgekehrt wird beurteilt, wenn das obige Verhältnis
groß ist, dass es relativ viele helle Teile in dem Bild
gibt, so dass der zweite Zielwert (= BP2) weiter von dem ersten
Zielwert in der Lichtintensität gesetzt wird.
-
Zu
dieser Zeit kann die Ausgabedifferenz des zweiten Zielwerts (= BP2)
von dem ersten Zielwert (Abstand der Ordinate der 5(B))
ebenso in Übereinstimmung mit dem obigen Verhältnis
festgelegt werden. Das heißt, die Ausgabedifferenz wird wünschenswert
groß gemacht, wenn das obige Verhältnis klein
ist, während die Ausgabedifferenz klein gemacht wird, wenn
das obige Verhältnis groß ist.
-
9 und 10 stellen
den ungefähren Unterschied dar, wie der Knickpunkt BP2
zwischen dem Fall, in dem die Menge der hellen Teile klein ist in
dem Bild, und dem Fall, in dem die Menge der hellen Teile groß ist,
festgelegt wird. Die Histogrammverteilung ist in (A) jedes Diagramms
dargestellt und die Kurve der schrittweisen Steuerung, die dieselbe
ist wie in 5(B), ist in (B) jedes
Diagramms dargestellt.
-
In
dem Fall der 9(A), in dem die Menge der
hellen Teile klein ist, ist bei der in 9(B) dargestellten
schrittweisen Steuerung der Knickpunkt BP2 an einer dem Knickpunkt
BP1 in der Lichtintensität relativ nahen Stelle festgelegt.
Andererseits ist in dem Fall der 10(A),
in dem die Menge der hellen Teile groß ist, bei der in 10(B) dargestellten schrittweisen Steuerung
der Knickpunkt BP2 an einer vom Knickpunkt BP1 in der Lichtintensität
relativ weiten Stelle festgelegt.
-
Die
Ausgabedifferenz des Knickpunkts (Pegeldifferenz des Bildsignals
Vpix) ist kleiner im Fall der 10(B) im
Vergleich zum Fall der 9(B).
-
Wenn
die Sättigungskennlinie (Kennlinie der schrittweisen Steuerung)
jedes Pixels in Übereinstimmung mit der Größe
der hellen Teile in dem Bild auf diese Weise gesteuert wird, wird
ein Signalvorteil für die dynamische Bereichserweiterung
erzielt.
-
Die
Beziehungen zwischen dem obigen Verhältnis, das zur Festlegung
dieses Knickpunkts BP2 verwendet wird, und den Einstellungsparametern
des zweiten Zielwerts (Ordinate der 5(B),
Abstände von dem ersten Zielwert der Abszisse), die empirisch gefunden
wurden, können im Voraus in einer Tabelle usw. gehalten
werden. In dem Fall der vorliegenden Ausführungsform für
die Fahrzeuganbringung werden diese Beziehungen im Voraus unter
Bedingungen gefunden, die ermöglichen, dass die Helligkeit des
Bilds derart eingestellt wird, dass die weiße Linie der
Straße detektiert werden kann, selbst wenn das Fahrzeug
aus einem dunklen Tunnel zur Außenseite des Tunnels in
den hellen Mittag ausfährt, und umgekehrt, wenn das Fahrzeug
in einen dunklen Tunnel aus dem hellen Mittag einfährt,
und ferner unter allen Straßenbedingungen.
-
Hierbei
sollte, wenn die in der Tabelle zu haltenden Daten erstellt werden, überprüft
werden, ob die weiße Linie der Straße in Übereinstimmung
mit der Helligkeit des Bilds zum Beispiel durch ein Kantendetektionsverfahren
detektiert werden kann.
-
11 und 12 stellen
konkrete Beispiele der Kantendetektion dar.
-
Eine
Wellenform eines Detektionssignals St der Kante der weißen
Linie beim Erfassen eines in 11(C) dargestellten
Bilds einer Straße (zu erfassendes Objekt) ist in 11(A) dargestellt. Dieses Detektionssignal
St wird durch einen in 12(A) dargestellten
Rauschpegel und die in 12(B) dargestellte
Sättigungshöhe beeinflusst. Insbesondere ist, wenn
das Objekt dunkel ist, der Rauschpegel groß, während,
wenn das Objekt hell ist, die Kante aufgrund der Sättigung
unscharf wird.
-
Aus
diesem Grund wird, wenn versucht wird, eine Kantenposition der weißen
Linie durch einen Kantengrenzwert VH eines hohen Pegels und einen Kantengrenzwert
VL eines niedrigen Pegels für ein Signal zu bestätigen,
dessen Ränder durch Differenzieren des in 11(A) dargestellten
Detektionssignals St verbessert sind, wie in 12(B) dargestellt ist,
wenn das Detektionssignal St die Sättigungshöhe überschreitet,
die Kante unscharf und die Detektionsgenauigkeit des hohen Pegels
des an den Rändern verbesserten Signals verringert sich.
Wenn ferner der Pegel des dem Detektionssignal St überlagerten Rauschens
groß ist, wie in 12(A) dargestellt
ist, geht die Kante im Rauschen unter und die Detektionsgenauigkeit
des niedrigen Pegels des an den Rändern verbesserten Signals
verringert sich. Auf diese Weise ist es sowohl in dem Fall, in dem
das Bild hell ist, und in dem Fall, in dem das Bild dunkel ist, schwierig,
die weiße Linie zu detektieren.
-
Aus
diesem Grund wird überprüft, ob die Kante der
weißen Linie in der Beziehung zwischen dem obigen Verhältnis,
das zur Festlegung des zuvor erläuterten Knickpunkts BP2
verwendet wird, und dem Einstellungsparameter des zweiten Zielwerts mit
dem Integralwert aller Bildsignale Vpix oder dem in dem Bild der
hellen Bereiche (oder dunklen Bereiche) des Histogramms belegten
Verhältnis oder anderen Daten, die die Helligkeit des Bilds
darstellen, detektiert werden kann. Ferner wird das Verhältnis zwischen
dem obigen Verhältnis oder dem Einstellungsparameter des
zweiten Zielwerts und den Daten, die die Helligkeit des Bilds darstellen,
in einer Tabelle gespeichert, bedingt durch die Detektion der Kante
der weißen Linie, die in einem Fall möglich ist, in
dem sich die Abbildungsumgebung von dem angenommenen hellsten Zustand
in den angenommenen dunkelsten Zustand ändert und in einem
umgekehrten Fall.
-
Aus
dem oben Gesagten ist es möglich, einen geeigneten zweiten
Zielwert durch Bezugnahme auf diese Tabelle festzulegen.
-
Jetzt
kehrt die Erläuterung erneut zum Flussdiagramm der 7 zurück.
-
In
Schritt ST6 findet zum Beispiel das Zielbereichsbestimmungsmittel 36 der 6,
falls erforderlich, ebenso einen Knickpunkt BP3 und bestimmt erste
bis dritte Sättigungsspannungen V1, V2 und V3 und Anwendungszeiten
t1, t2 und t3 usw. des in 3 dargestellten
Abbildungselements in Übereinstimmung mit den ersten und
zweiten Zielwerten (und dritten Zielwert).
-
Danach
wird das nächste Bild unter dieser Bedingung erfasst (Schritt
ST7). Das durch dieses Abbildungselement erhaltene Bildsignal Vpix
wird ein in der Ausgabesättigungskennlinie des Bildsignals von
jenem zur Zeit des vorherigen Abbildungsvorgangs geändertes
Bildsignal, in dessen Ergebnis der dynamische Bereich erweitert
ist.
-
Das
Bildsignal Vpix wird in das Histogrammerstellungsmittel 34 und/oder
den Bildspeicher 5 eingegeben, woraufhin die obige Verarbeitung
von Schritt ST1 bis ST7 ausgeführt wird, um die Bedingung
zur Zeit des nächste Abbildungsvorgangs zu ermitteln.
-
Andererseits
führt in Schritt ST8 das Signalverarbeitungsmittel 37 die
vorherbestimmte Verarbeitung mit Bezug auf das Eingabebildsignal
Vpix aus und gibt das Ergebnis aus.
-
Auf
diese Weise wird bei dem vorliegenden Bildsignalverarbeitungsverfahren
die nächste Abbildungsbedingung adaptiv basierend auf dem
Eingangsbildsignal Vpix ermittelt, wodurch der dynamische Bereich
optimiert (vergrößert) wird.
-
13(B) stellt die Auswirkungen der vorliegenden
Ausführungsform im Vergleich zu 13(A) dar.
Ferner stellen 14(A) bis 14(C) Detektionspegel der Kante der weißen
Linie während der Nacht und während des Tags dar.
-
Wie
oben erläutert wurde, wird bei dem vorliegenden Bildsignalverarbeitungsverfahren
die nächste Abbildungsbedingung aus dem erhaltenen Bildsignal
Vpix durch einen einzigen Steuervorgang ermittelt und der nächste
Abbildungsvorgang wird unter dieser Bedingung ausgeführt.
Aus diesem Grund gelangt das Ergebnis in den Steuerzielbereich nicht
durch eine Regelung, wie in 13(A) dargestellt
ist, sondern durch einen Steuervorgang. Es ist zu beachten, dass
das Feinanpassen der Parameter, so dass der Steuerzielbereich zuverlässiger
erreicht wird, von der vorliegenden Erfindung nicht ausgeschlossen
wird.
-
Insbesondere
wird bei der vorliegenden Ausführungsform der erste Zielwert
(Knickpunkt BP1) zum Durchschnittswert Dave (oder mittleren Wert Dmea)
gesteuert. Daher wird das Untergehen der Kante der weißen
Linie im Rauschpegel in einem dunklen Bild während der
Nacht, wie in 14(A) dargestellt ist,
und das Erreichen der Sättigungshöhe durch die
Kante der weißen Linie in einem hellen Bild während
des Tags, wie in 14(C) dargestellt
ist, wirksam verhindert. Ein Bild, in dem die Kantendetektion bei
einem geeigneten Pegel möglich ist, wie zum Beispiel in 14(B) dargestellt ist, wird erhalten.
-
Schließlich
wird ein Verfahren zur Verwendung der Mehrfachbelichtung erläutert,
obgleich nur einfach.
-
Der
Unterschied der Mehrfachbelichtung zum Zeitdiagramm der 3 liegt darin, dass der Erfassungsvorgang
(Belichtungsvorgang) mehrmals während der Periode 31 wiederholt
wird. Zu dieser Zeit wird die gespeicherte Ladungsmenge für
jeden Abbildungsvorgang zurückgesetzt. Wenn die Abbildungszeit
für jeden Abbildungsvorgang verschieden ist, werden mehrere
Bildsignale für dasselbe zu erfassende Objekt, einschließlich
wenigstens eines Bildsignals, das in der Abbildungszeit verkürzt
ist, um so keine Sättigung zu verursachen, und eines Bildsignals,
das in der Abbildungszeit verlängert ist und den Fall berücksichtigt,
in dem der Signalpegel niedrig ist, der Reihe nach aus dem Abbildungselement 10 ausgegeben.
-
Wenn
der Fall, in dem die Abbildungszeit verkürzt ist, und der
Fall, in dem die Abbildungszeit um dasselbe Zeitmaß verlängert
ist, verglichen wird, ist die Steigung der Änderung der
Signalladung relativ um den Betrag des Widerstands gegen die Sättigung
größer in dem ersten Fall. Dieselbe Steigung im letzteren
Fall der kurzen Abbildungszeit wird relativ kleiner. Wenn diese
Tatsache auf 5(B) angewendet wird,
ist leicht zu verstehen, dass die schrittweise Steuerung mit einem
Knickpunkt bei der Mehrfachbelichtung, die in der Abbildungszeit
geändert ist, möglich ist.
-
Das
vorliegende Verfahren extrahiert ein Bild eines Gebiets R1, das
den Knickpunkt BP1 als eine Ecke in 5(B) aufweist,
ein Bild eines Gebiets R2, das den Knickpunkt BP2 als eine Ecke
aufweist, und ein Bild eines Gebiets R3, das den Knickpunkt BP3 als
eine Ecke aufweist, aus den Bildsignalen Vpix der mehrfachen Belichtungen
und mischt die Bilder, um ein einzelnes Bild zu erhalten. Aus diesem
Grund sind auf dieselbe Weise wie bei dem zuvor erläuterten
Verfahren die Extraktion des kleinsten Werts Dmin, des größten
Werts Dmax, des Durchschnittswerts Dave (oder mittleren Werts Dmea)
und der anderen Parameter und Festlegen eines Zielwerts erforderlich.
Wenn die vorliegende Erfindung auf diese Verarbeitungen angewendet
wird, kann eine Verarbeitung mit einer besseren Reaktion ausgeführt
werden.
-
Für
den Aufbau der 6 selbst kann derselbe Aufbau
verwendet werden. Jedoch weist das Signalverarbeitungsmittel 37 bei
diesem Verfahren eine Funktion zur sequentiellen Eingabe mehrerer Bildsignale
Vpix auf, die bei der Erfassung desselben zu erfassenden Objekts
erhalten wurden, zur Durchführung der Bildmischung und
Ausgabe desselben.
-
Es
ist zum Beispiel bei der Bildmischung zu beachten, dass die Verarbeitung
der Erweiterung oder Komprimierung des Bilds durch zum Beispiel
Pixeldateninterpolation und Ausdünnung erforderlich ist,
weswegen der Bildspeicher 5 verwendet wird.
-
Wie
oben beschrieben ist, kann bei dem Verfahren, das ebenso Mehrfachbelichtung
verwendet, die Technik der vorliegenden Erfindung zum Festlegen
der Zielwerts (Knickpunkt) angewendet werden.
-
Gemäß der
vorliegenden Ausführungsform werden Verteilungsparameter
aus der Verteilung von Pixelsignalpegeln einer Abbildung extrahiert,
der Zielwert des Knickpunkts basierend auf diesen bestimmt, der
Abbildungsteil derart gesteuert, dass der bestimmte Zielwert erhalten
wird und die Ausgabesättigungskennlinien hiervon geändert
oder mehrere Bilder gemischt. Daher wird in den meisten Fällen
die Erstellung eines erfassten Bilds mit hoher Qualität, das
an die Abbildungsumgebung angepasst ist und einen breiten dynamischen
Bereich aufweist, durch einen Steuervorgang möglich. Das
heißt, die dynamische Bereichserweiterungsverarbeitung
mit einer hohen Reaktion kann durchgeführt werden.
-
Insbesondere
wird der Durchschnittswert oder der mittlere Wert der Verteilung
für den ersten Zielwert verwendet. Daher kann, selbst wenn
die Abbildungsumgebung unterschiedlich ist, ein Bild, das ein zu
erfassendes Objekt mit dem richtigen Pegel erfasst, erhalten werden,
ohne im Abbildungsrauschpegel unterzugehen und ohne Unscharfwerden
der Kante des Objekts infolge der Sättigung.
-
ZUSAMMENFASSUNG
-
Es
ist möglich, die Reaktion einer dynamischen Bereichserweiterungsverarbeitung
zu verbessern. Das vorliegende Bildsignalverarbeitungsverfahren
beinhaltet einen ersten Schritt (ST2) des Extrahierens von Verteilungsparametern
aus einer Verteilung von Pixelsignalpegeln, die ein Bildsignal einer Abbildung
bilden, einen zweiten Schritt (ST4, ST5) des Bestimmens eines Zielwerts
(BP1, BP2 usw.) eines Knickpunkts basierend auf extrahierten Verteilungsparametern
für einen Knickpunkt, bei dem sich eine Steigung eines
Bildsignalpegels bezüglich einer kumulierten Änderung
der auf die Pixel einfallenden Lichtmenge ändert, und einen
dritten Schritt (ST6, ST7) des Steuerns des Abbildungsteils, um
so einen Zielwert zu erhalten und eine Ausgabesättigungskennlinie
des Bildsignals zu ändern.
-
- 2
- A/D-Wandlerteil
- 3
- Bildsignalverarbeitungsteil
- 4
- Steuerteil
- 5
- Bildspeicher
- 6
- Register
- 10
- Abbildungselement
- 11
- Reset-Transistor
- 12
- Übertragungstransistor
- 11A,
12A
- Potentialbarrieren
- 13
- Verstärkungstransistor
- 14
- Vertikale
Signalleitung
- 20
- Vertikale
Steuerschaltung
- 21
- Pixel
- 22
- Horizontale
Steuerschaltung
- 34
- Histogrammerstellungsmittel
- 35
- Parameterextraktionsmittel
- 36
- Zielbereichsbestimmungsmittel
- 37
- Signalverarbeitungsmittel
- 32,
33, 38, 39
- Ladungsspeicherlinien
- 40
- Histogrammdaten
- 41
- Kurve,
die den kumulierten Wert der Pixelanzahl darstellt
- VT
- Übertragungsspannung
- VSC
- Sättigungssteuerspannung
- VAA
- Versorgungsspannung
- Vpix
- Bildsignal
- V1
- Erste
Sättigungsspannung
- V2
- Zweite
Sättigungsspannung
- V3
- Dritte
Sättigungsspannung
- V4
- Vierte
Sättigungsspannung
- Ae
- Gespeicherte
Ladungsmenge
- BP1
bis BP3
- Knickpunkte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - JP 10-248035
A [0003]
- - JP 06-141229 A [0003]