DE112006003593B4

DE112006003593B4 - Bildsignalverarbeitungsverfahren und Bildsignalverarbeitungsvorrichtung

Info

Publication number: DE112006003593B4
Application number: DE112006003593T
Authority: DE
Inventors: Hidetoshi Umeda
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2005-12-27
Filing date: 2006-12-15
Publication date: 2012-06-14
Anticipated expiration: 2026-12-16
Also published as: JP2007180811A; JP4607006B2; CN101385333B; CN101385333A; US8009224B2; WO2007074659A1; DE112006003593T5; US20090316018A1

Abstract

Es ist möglich, die Reaktion einer dynamischen Bereichserweiterungsverarbeitung zu verbessern. Das vorliegende Bildsignalverarbeitungsverfahren beinhaltet einen ersten Schritt (ST2) des Extrahieren von Verteilungsparametern aus einer Verteilung von Pixelsignalpegeln, die ein Bildsignal einer Abbildung bilden, einen zweiten Schritt (ST4, ST5) des Bestimmens eines Zielwerts (BP1, BP2 usw.) eines Knickpunkts basierend auf extrahierten Verteilungsparametern für einen Knickpunkt, bei dem sich eine Steigung eines Bildsignalpegels bezüglich einer kumulierten Änderung der auf die Pixel einfallenden Lichtmenge ändert, und einen dritten Schritt (ST6, ST7) des Steuerns des Abbildungsteils, um so einen Zielwert zu erhalten und eine Ausgabesättigungskennlinie des Bildsignals zu ändern.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf ein Bildsignalverarbeitungsverfahren zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals und eine Vorrichtung zur Durchführung des Verfahrens.
STAND DER TECHNIK
Als für eine Kameravorrichtung verwendeter Bildsensor sind ein CCD-Sensor und ein CMOS-Sensor bekannt. Diese Halbleiterabbildungsbauelemente weisen jedoch dynamische Luminanzbereiche auf, die schmaler sind als ein dynamischer Helligkeitsbereich eines tatsächlichen Objekts und verursachen daher leicht eine Abnahme der Bildqualität, zum Beispiel eine so genannte „Überbelichtung” und „Unterbelichtung”. Daher werden eine Abbildungssteuerung des Sensors und eine Signalverarbeitung der als Ergebnis des Bildsensors erhaltenen Sensorausgabe verwendet, um den dynamischen Bereich des Bildsignals zu erweitern.
Als eines dieser Verfahren ist ein Verfahren zum Bilden von Pixeln im Voraus bekannt, indem die Pixel in solche mit einer hohen Empfindlichkeit und solche mit einer niedrigen Empfindlichkeit in Übereinstimmung mit der Art des Pixelfilters usw. unterteilt werden, Bestimmen durch Signalverarbeitung, welche Signale jener Pixel hauptsächlich in Übereinstimmung mit der Helligkeit des Bilds zu verwenden sind, und Verwenden dieser Pixel, um ein einzelnes Bild zu erstellen. Ferner ist ein weiteres Verfahren bekannt, bei dem ein Bild aus einer Abbildung (ein Rahmen oder ein Feld) einmal erfasst wird, eine Reset-Höhe der Signalladungen jedoch zur Zeit der Ausgabe der Signalladung gesteuert wird und der dynamische Bereich des Bildsignals erweitert wird, so dass die Überlaufmenge in Übereinstimmung mit der Helligkeit des Bilds (insbesondere die Menge der Signalladungen aus jedem Pixel) unterschiedlich wird (siehe zum Beispiel Patentschrift 1). Ferner ist ein Verfahren bekannt, bei dem Bilder einer einzelnen Abbildung mehrere Male zu unterschiedlichen Abbildungszeiten erfasst werden und diese Bilder gemischt werden, um ein Bild durch Signalverarbeitung mit einem breiten dynamischen Bereich zu erzeugen (siehe zum Beispiel Patentschrift 2).
Patentschrift 1: Japanische Patentoffenlegung (A) Nr. 10-248035
Patentschrift 2: Japanische Patentoffenlegung (A) Nr. 06-141229
OFFENBARUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE AUFGABE
Das in der obigen Patentschrift 2 beschriebene Verfahren wird als so genannte „Mehrfachbelichtung” bezeichnet. Bei diesem Verfahren ist es jedoch erforderlich, mehrere Abbildungsvorgänge innerhalb einer Zeit durchzuführen, die für die Abbildung und Ausgabe eines Bilds in Bildsignalstandards festgelegt ist (1 vertikale Periode (V)). Außerdem ist die Arbeitslast für das Mischen der Bilder groß. Es ist ebenfalls möglich, die Abbildung, das Bildmischen und die Bildausgabe in unterschiedlichen 1 V-Perioden durchzuführen. In diesem Fall ist jedoch die Reaktion bei der Verarbeitung vermindert.
Andererseits verändert das in der obigen Patentschrift 1 beschriebene Verfahren zum Beispiel in dem Fall eines CMOS-Sensors die Einschaltzeit (Speicherzeitsteuerung) eines in seinem Pixel bereitgestellten Übertragungstransistors und eine Gate-Spannungshöhe (Reset-Höhe) eines Reset-Transistors geeignet. Aufgrund dessen ist es bei einer dunklen Abbildung möglich, die Zeit (Abbildungszeit) zu verlängern, bis die Reset-Höhe erreicht ist, während bei einer hellen Abbildung die Reset-Höhe schrittweise in Übereinstimmung mit der Helligkeit wirkt und eine Sättigung bei einer geeigneten Höhe hervorgerufen wird. Bei diesem Verfahren beträgt die Anzahl der Abbildungsvorgänge für ein Bild eins und es ist kein Bildmischen erforderlich, so dass dieses wegen dieses Punkts bevorzugt ist.
Es gibt jedoch Anwendungen, wie zum Beispiel an einem Fahrzeug angebrachte Kameravorrichtungen, bei denen die Kameravorrichtungen während des Fahrzeugbetriebs eine weiße Linie auf der Straßenoberfläche detektieren und das Detektionsergebnis zum sicheren Fahren verwenden.
Wenn bei solchen Anwendungen ein Wechsel von einem äußerst dunklen Bildzustand in einem Tunnel zu einem hellen Bildzustand außerhalb des Tunnels stattfindet, verändert sich die Helligkeitsverteilung des Bilds als Ganzes in hohem Maße. Außerdem tritt diese Änderung in einer äußert kurzen Zeit auf. Wenn in der Kameravorrichtung für eine solche Anwendung jede Abbildungszeit der obigen Mehrfachbelichtung und die obige Speicherzeit, die Reset-Höhe und andere allgemeine Steuerparameter festgelegt sind, geht die weiße Linie im Rauschpegel innerhalb und/oder außerhalb des Tunnels unter, so dass eine korrekte Detektion manchmal nicht möglich ist.
Daher ist die allgemeine Praxis für die obigen Steuerparameter eine Steuerung gewesen, einen Steuerzielbereich von einem bestimmten festgelegten Ausgangswert um einen vorherbestimmten Betrag anzuheben oder abzusenken, um einen geeigneten Steuerzielbereich zu ermitteln. Es ist zu beachten, dass eine solche Steuerung oder eine Steuerung an Stelle von dieser nicht in den obigen Patentschriften 1 und 2 offenbart ist.
13(A) stellt schematisch dieses Steuerverfahren dar. Die Abszisse in 13(A) stellt eine Anzahl an Steuervorgängen dar, während die Ordinate eine Ausgabe, insbesondere einen Indikator der Helligkeit des gesamten Bilds, darstellt.
In 13(A) weist eine Ausgabe S0 eines Steuervorgangs 0 einen relativ niedrigen Ausgabepegel auf. Zum Beispiel stellt sie die Helligkeit innerhalb eines Tunnels dar. Wenn sich die Situation aus diesem Zustand in einen bestimmten relativ hellen Zustand ändert, zum Beispiel außerhalb des Tunnels, ist der Steuerzielbereich in dieser Situation durch eine punktierte Linie in 13(A) angegeben. Der Steuerzielbereich ist nicht als ein Parameter vorgegeben, sondern der Zielbereich wird zum Beispiel als eine Höhe bestimmt, so dass zum Beispiel eine weiße Linie zuverlässig detektiert werden kann. Demgemäß unterscheidet sich der Steuerzielbereich für jede Situation ebenso nach der Änderung. Er ändert sich adaptiv in Übereinstimmung mit der Gesamthelligkeit.
In diesem Fall ändert sich die Ausgabe S0 des Steuervorgangs 0 ebenfalls entsprechend der Beleuchtung usw. im Tunnel, weswegen die Steuerung ausgeführt wird, um den dynamischen Bereich um den Vorgabesteuerbetrag im ersten Steuervorgang zu erweitern. Angenommen, eine Ausgabe S1 des als Ergebnis hiervon erhaltenen Steuervorgangs 1 überschreitet den Steuerzielbereich. Ob sie ihn überschreitet oder nicht, wird durch die Helligkeitsinformation des Bilds als Ganzes, zum Beispiel durch einen Integralwert der Luminanz, erfasst.
Beim nächsten zweiten Steuervorgang wird der Steuerbetrag geändert, um eine Überbelichtung einigermaßen zu vermeiden, und die Steuerung zur Erweiterung des dynamischen Bereichs wird erneut ausgeführt. Angenommen, eine Ausgabe S2 des als Ergebnis erhaltenen Steuervorgangs 2 liegt etwas unter dem Steuerzielbereich.
Dann wird im nächsten dritten Steuervorgang 3 der Steuerbetrag geändert, um eine Unterbelichtung einigermaßen zu vermeiden, und die Steuerung zur Erweiterung des dynamischen Bereichs wird erneut ausgeführt. In dem vorliegenden Beispiel liegt die Ausgabe S3 des als Ergebnis erhaltenen Steuervorgangs 3 erstmals in dem Steuerzielbereich. Die entsprechende Belichtungssteuerung wird dadurch beendet.
Bei dem Verfahren der sukzessiven Bestimmung des nächsten Steuerbetrags (Steuerzielbereich), bei dem die Ergebnisse nach einer solchen Steuerung betrachtet werden, ist die Reaktion jedoch unzureichend für eine Anwendung, bei der sich die Helligkeit der Bildumgebung rasch ändert, wie zum Beispiel beim Anbringen an einem Fahrzeug.
In der Patentschrift US 6 101 294 A wird ein Verarbeitungsverfahren für Bildsignale geeignet zur Erweiterung des dynamischen Bereichs vorgestellt. Eine abbildende Einheit erzeugt ein Bildsignal, aus dem eine Häufigkeitsverteilung der Helligkeitswerte ermittelt wird. Der Dynamikbereich eines bildaufnehmenden Sensors wird entsprechend der ermittelten Häufigkeitsverteilung und daraus extrahierter Parameter zumindest eines zeitlich vorhergehenden Bildsignals gesteuert.
Die Patentschrift US 6 414 710 B1 zeigt ein elektronisches Endoskop. Eine Verteilung der Leuchtwerte des aufgenommenen und verarbeiteten Signals wird erzeugt. Auf Basis dieser Verteilung wird ein durchschnittlicher Helligkeitswert ermittelt. Dieser ermittelte durchschnittliche Helligkeitswert wird zur Steuerung der Emission einer Lichtquelle verwendet.
Die Offenlegungsschrift EP 1 052 848 A1 offenbart ein bildaufnehmendes Gerät, geeignet dazu, Bilddaten auszugeben, deren Helligkeitswerte logarithmisch konvertiert sind. Hierzu werden der größte Signalpegel und der geringste Signalpegel der Bilddaten erfasst, ein geeigneter Zusammenhang auf Grundlage der erfassten Signalpegel bestimmt und mit diesem bestimmten geeigneten Zusammenhang die Signalpegel der Bilddaten konvertiert. Darüberhinaus werden in einer Ausführungsform neben maximalem und minimalem Signalpegel auch der Verlauf der Verteilung der Helligkeitswerte berücksichtigt.
Die Offenlegungsschrift US 2004/0125993 A1 zeigt Verfahren zur (Bild-)Verarbeitung von Fingerabdruckbildern, das Verfahren umfasst Schritte des Identifizierens von Merkmalen von den Bildern, Abgleichen der identifizierten Merkmale mit Referenzmerkmalen. Im Rahmen einer Bildvorverarbeitung wird dabei ein Dynamikbereich der Leuchtintensität der Pixel eines Bildes vergrößert. Dazu werden statistische Verteilungen der Graustufen der Pixel des Bildes herangezogen.
Das Ziel der vorliegenden Erfindung ist es, ein Bildsignalverarbeitungsverfahren, das eine Technik zur Ermittlung eines Steuerzielbereichs umfasst, die zur Verbesserung der Reaktion der dynamischen Bereichsvergrößerungsverarbeitung geeignet ist, und eine Vorrichtung für diesen Zweck bereitzustellen.
MITTEL ZUR LÖSUNG DER AUFGABE
Ein erstes Bildsignalverarbeitungsverfahren gemäß der vorliegenden Erfindung ist ein Bildsignalverarbeitungsverfahren zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals, das gekennzeichnet ist durch das Umfassen eines ersten Schritts des Extrahierens von Verteilungsparametern aus einer Verteilung von Pixelsignalpegeln, die das Bildsignal einer Abbildung bilden, eines zweiten Schritts des Bestimmens eines Zielwerts eines Knickpunkts, bei dem sich eine Steigung der Änderung des Bildsignalpegels bezüglich einer kumulierten Änderung der auf die Pixel des Abbildungsteils einfallenden Lichtmenge basierend auf den extrahierten Verteilungsparametern ändert, und eines dritten Schritts des Herbeiführens einer Änderung der Ausgabesättigungskennlinie des Bildsignals durch Steuern des Abbildungsteils, so dass der Zielwert erhalten wird.
Bei der vorliegenden Erfindung beinhalten die Verteilungsparameter einen kleinsten Wert der Pixelsignalpegel in der einen Abbildung, beinhaltet der Zielwert einen ersten Zielwert, der einen größten Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert als Startpunkt der Verteilung aufweist, extrahiert der erste Schritt einen Durchschnittswert der Pixelsignalpegel der Verteilung und bestimmt der zweite Schritt den ersten Zielwert innerhalb eines vorgegebenen Bereichs um den Durchschnittswert.
Ein Bildsignalverarbeitungsverfahren gemäß der vorliegenden Erfindung ist ein Bildsignalverarbeitungsverfahren zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals, das gekennzeichnet ist durch das Umfassen eines ersten Schritts des Extrahierens von Verteilungsparametern, die einen kleinsten Wert aus der Verteilung der Pixelsignalpegel beinhalten, die das Bildsignal einer Abbildung bilden, eines zweiten Schritts des Bestimmens eines ersten Zielwerts, der einen größten Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert als Startpunkt der Verteilung basierend auf den extrahierten Verteilungsparametern aufweist, eines dritten Schritts des Bestimmens eines weiteren Zielwerts unter Verwendung des bereits ermittelten Zielwerts als Startpunkt und eines vierten Schritts des Komprimierens oder Erweiterns der Verteilung des ersten Bereichs innerhalb eines Bereichs vom kleinsten Wert und dem ersten Zielwert und des Komprimierens oder Erweiterns der Verteilung eines anderen Bereichs innerhalb eines Bereichs zwischen den entsprechenden Zielwerten.
Eine erste Bildsignalverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist eine Bildsignalverarbeitungsvorrichtung zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals, die gekennzeichnet ist durch das Aufweisen eines Parameterextraktionsteils zur Extraktion von Verteilungsparametern aus einer Verteilung von Pixelsignalpegeln, die ein Bildsignal einer Abbildung bilden, einen Zielbereichsbestimmungsteil zur Bestimmung eines Zielwerts eines Knickpunkts basierend auf den extrahierten Verteilungsparametern für einen Knickpunkt, bei dem sich eine Steigung einer Änderung der Bildsignalpegel bezüglich einer kumulierten Änderung der auf die Pixel des Abbildungsteils einfallenden Lichtmenge ändert, und eines Steuerteils zur Steuerung des Abbildungsteils, so dass der Zielwert erhalten wird und eine Änderung der Ausgabesättigungskennlinie des Bildsignals herbeigeführt wird.
Bei der vorliegenden Erfindung beinhalten die Verteilungsparameter einen kleinsten Wert der Pixelsignalpegel in der einen Abbildung, beinhaltet der Zielwert einen ersten Zielwert, der einen größten Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert als Startpunkt der Verteilung aufweist, extrahiert der Parameterextraktionsteil einen Durchschnittswert der Pixelsignalpegel der Verteilung und legt der Zielbereichsbestimmungsteil den ersten Zielwert innerhalb eines vorgegebenen Bereichs um den Durchschnittswert fest.
Eine zweite Bildsignalverarbeitungsvorrichtung gemäß der vorliegenden Erfindung ist eine Bildsignalverarbeitungsvorrichtung zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals, die gekennzeichnet ist durch einen Histogrammerstellungsteil zur Verteilung eines Histogramms einer Verteilung von Pixelsignalpegeln, die ein Bildsignal einer Abbildung bilden, auf einem Speicher, einen Parameterextraktionsteil zur Extraktion von Verteilungsparametern, die einen kleinsten Wert aus dem Histogramm der Verteilung beinhalten, einen Zielbereichsbestimmungsteil zur Bestimmung eines ersten Zielwerts, der einen größten Wert eines ersten Bereichs kennzeichnet, der den kleinsten Wert als Startpunkt der Verteilung basierend auf den extrahierten Verteilungsparametern aufweist, und Bestimmen eines weiteren Zielwerts unter Verwendung des bereits bestimmten Zielwerts als Startpunkt, und einen Signalverarbeitungsteil zur Komprimierung und Erweiterung der Verteilung des ersten Bereichs innerhalb eines Bereichs von dem kleinsten Wert bis zum ersten Zielwert und zur Komprimierung und Erweiterung der Verteilung eines anderen Bereichs innerhalb eines Bereichs zwischen den entsprechenden Zielwerten.
AUSWIRKUNG DER ERFINDUNG
Gemäß der vorliegenden Erfindung ergibt sich der Vorteil, dass die Reaktion der dynamischen Bereichserweiterungsverarbeitung hoch ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm einer Kameravorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
2 ist eine Ansicht des Aufbaus eines Abbildungselements gemäß einer Ausführungsform der vorliegenden Erfindung.
3A bis 3D sind Zeitdiagramme der Perioden und Signale zur Abbildungszeit gemäß einer Ausführungsform der vorliegenden Erfindung. 3E ist eine Kurve, die eine Zeitentwicklung einer Sättigungshöhe gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
4 ist eine schematische Ansicht der Spannungssteuerung zur Auslesezeit eines Signals gemäß einer Ausführungsform der vorliegenden Erfindung.
5A ist ein vergrößertes Diagramm einer Zeitentwicklung einer Sättigungshöhe gemäß einer Ausführungsform der vorliegenden Erfindung und 5B ist eine Kurve einer stückweisen Steuerung, die eine Beziehung zwischen der Intensität des einfallenden Lichts und einem Signalpegel in einer Ausführungsform der vorliegenden Erfindung darstellt.
6 ist ein Funktionsblockdiagramm eines Bildsignalverarbeitungsteils gemäß einer Ausführungsform der vorliegenden Erfindung.
7 ist ein Flussdiagramm der dynamischen Bereichsvergrößerungsverarbeitung gemäß einer Ausführungsform der vorliegenden Erfindung.
8 ist eine Kurve, die ein Histogramm gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
9A ist ein Histogramm in einem Fall, in dem es wenige helle Teile in einer Abbildung der Ausführungsform der vorliegenden Erfindung gibt, und 9B ist eine Kurve einer stückweisen Steuerung.
10A ist ein Histogramm in einem Fall, in dem es viele helle Teile in einer Abbildung der Ausführungsform der vorliegenden Erfindung gibt, und 10B ist eine Kurve einer stückweisen Steuerung.
11A bis 11C sind Kurvenbilder und Diagramme, die ein Kantendetektionsverfahren darstellen, das in einer Ausführungsform der vorliegenden Erfindung verwendbar ist.
12A und 12B sind Kurvenbilder, die Beziehungen zwischen einem Detektionssignal St und Rauschen und einer Sättigungshöhe darstellen.
13A ist ein Diagramm, das eine herkömmliche Steuerung schematisch darstellt, und
13B ist ein Diagramm, das eine Steuerung schematisch darstellt, bei der die vorliegende Erfindung eingesetzt wird.
14A bis 14C sind Diagramme, die Detektionspegel einer Kante einer weißen Linie währen der Nacht und während des Tags darstellen.
Bezugszeichenliste

2: A/D-Wandlerteil
3: Bildsignalverarbeitungsteil
4: Steuerteil
5: Bildspeicher
6: Register
10: Abbildungselement
11: Reset-Transistor
12: Übertragungstransistor
11A, 12A: Potentialbarrieren
13: Verstärkungstransistor
14: Vertikale Signalleitung
20: Vertikale Steuerschaltung
21: Pixel
22: Horizontale Steuerschaltung
34: Histogrammerstellungsmittel
35: Parameterextraktionsmittel
36: Zielbereichsbestimmungsmittel
37: Signalverarbeitungsmittel
32, 33, 38, 39: Ladungsspeicherlinien
40: Histogrammdaten
41: Kurve, die den kumulierten Wert der Pixelanzahl darstellt
VT: Übertragungsspannung
VSC: Sättigungssteuerspannung
VAA: Versorgungsspannung
Vpix: Bildsignal
V1: Erste Sättigungsspannung
V2: Zweite Sättigungsspannung
V3: Dritte Sättigungsspannung
V4: Vierte Sättigungsspannung
Ae: Gespeicherte Ladungsmenge
BP1 bis BP3: Knickpunkte

BESTE ART ZUR AUSFÜHRUNG DER ERFINDUNG
1 stellt den grundsätzlichen Aufbau einer Kameravorrichtung dar, die mit einer Bildsignalverarbeitungsvorrichtung (zum Beispiel Bildsignalverarbeitungs-IC) der vorliegenden Ausführungsform bereitgestellt ist.
Die veranschaulichte Kameravorrichtung weist einen Abbildungsteil 1 auf, der mit einem Abbildungselement 10 und einem optischen Teil 1A, einem A/D-Wandlerteil 2 zur Wandlung eines Signals von dem Abbildungselement 10 in ein digitales Signal, einem Bildsignalverarbeitungsteil 3 zur Anwendung verschiedener Verarbeitungen auf das digitale Signal nach der A/D-Wandlung, einem Bildspeicher 5 zur Speicherung eines Bildsignals in Einheiten von zum Beispiel 1 Rahmen oder 1 Feld für die Bildsignalverarbeitung, einem Register 6 zum Halten verschiedener Arten von Parametern, die für die Bildsignalverarbeitung erforderlich sind, und einem Steuerteil 4 zur Steuerung anderer Teile durch Steuerung einschließlich einer Zeitsteuerung bereitgestellt ist.
Der Bildsignalverarbeitungsteil 3 führt als verschiedene Verarbeitungsarten zum Beispiel die Verarbeitung der Erweiterung des dynamischen Bereichs eines erfassten (erhaltenen) Bilds außer der allgemeinen Verarbeitung, wie zum Beispiel Weißabgleichkorrektur, Interpolationsverarbeitung und v-Verarbeitung (Gamma-Verarbeitung) aus. Der Bildsignalverarbeitungsteil 3 gibt das Bild nach der Verarbeitung zum Beispiel als RGB- und YUV-Bildsignal aus.
Unter den oben beschriebenen Teilen sind der Abbildungsteil 1, der A/D-Wandlerteil 2, der Bildspeicher 5 und das Register 6 Teile, die einfach aus Hardware realisiert sein können, während der Bildsignalverarbeitungsteil 3 und der Steuerteil 4 Teile sind, die teilweise oder vollständig als Softwarefunktionen realisiert sein können. Darunter wird die Funktion der Erzeugung eines Taktgebers oder eines Takts zur Zeitsteuerung des Steuerteils 4 gewöhnlich in Hardware realisiert. Ferner ist ebenso in dem Bildsignalverarbeitungsteil 3 jede Funktion, die ein Echtzeitverarbeitungsverhalten erfordert, gewöhnlich wünschenswert in Hardware realisiert. Wenn der Bildsignalverarbeitungsteil 3 durch einen ASIC (anwendungsspezifische integrierte Schaltung) einschließlich eines DSP (digitaler Signalprozessor) aufgebaut ist, kann die Verarbeitung mit einer höheren Geschwindigkeit durchgeführt werden als mit einer CPU eines so genannten Mikroprozessors und ist somit wünschenswert.
Es ist zu beachten, dass die Anwendungen der vorliegenden Kameravorrichtung nicht beschränkt sind, jedoch für eine Anwendung, die eine dynamische Bereichserweiterungsverarbeitung mit einer besonders guten Reaktion erfordert, gibt es das Anbringen an einem Fahrzeug. Die folgende Beschreibung wird für eine Kameravorrichtung gegeben, die an einem Fahrzeug angebracht ist. Ferner wird sie für einen Bildsignalverarbeitungsteil 3 gegeben, der durch einen ASIC aufgebaut ist, der den DSP beinhaltet.
Die dynamische Bereichserweiterungsverarbeitung in der vorliegenden Erfindung weist ihr kennzeichnendes Merkmal in der Signalverarbeitung nach der Abbildung auf. Der Aufbau des Abbildungselements und das Abbildungsverfahren können grundsätzlich jeder Aufbau und jedes Verfahren sein. Es ist jedoch erforderlich, eine für die Signalverarbeitung geeignete Ausgabe aus dem Abbildungselement zu erhalten. Im Folgenden werden ein Beispiel des Elementaufbaus und ein Beispiel des Abbildungsverfahrens zum Erhalten einer für die Signalverarbeitung geeigneten Ausgabe (Bildsignal) erläutert.
2 veranschaulicht den Aufbau eines Teils des Abbildungselements 10.
Das Abbildungselement 10 des vorliegenden Beispiels ist mit einem Abbildungsteil bereitgestellt, der durch einen so genannten CMOS-Sensor und peripheren Schaltungen hiervon aufgebaut ist Der in 2 veranschaulichte Teil stellt einen Schaltungsaufbau eines Pixels 21, der den Abbildungsteil bildet, und eine Verbindung mit einer vertikalen Steuerschaltung 20 zur Steuerung eines Auslesetakts des Pixels 21 dar.
Jedes Pixel 21 weist drei Transistoren (hier NMOS) 11, 12 und 13 und eine Fotodiode PD auf.
Die obigen drei Transistoren setzen sich aus einem Reset-Transistor 11 zum Schalten eines Speicherknotens SN aus einem erdfreien Zustand in einen Verbindungszustand an eine Stromversorgungsleitung 17, Laden einer Versorgungsspannung VAA in den Speicherknoten SN und Löschen einer gespeicherten Ladungsmenge hiervon, einem Übertragungstransistor 12 zur Übertragung von an der Fotodiode PD erzeugten Ladungen (gewöhnliche Elektronen) in den Speicherknoten SN, der sich nach dem Löschen wieder in einem erdfreien Zustand befindet, und einem Verstärkungstransistor 13 zusammen, der an seinem Drain-Anschluss mit der Stromversorgungsleitung 17 verbunden ist und ein Pixelsignal in Übereinstimmung mit der gespeicherten, in den Speicherknoten SN übertragenen Ladung verstärkt und dasselbe an eine vertikale Signalleitung 14 ausgibt.
Der Reset-Transistor 11 ist an seinem Drain-Anschluss mit der Stromversorgungsleitung 17 verbunden, an seinem Source-Anschluss mit dem Speicherknoten SN verbunden und an seinem Gate-Anschluss mit einer ersten Steuerleitung 15 zur Steuerung der Anwendung einer Sättigungssteuerspannung VSC und Reset-Spannung VRT verbunden. Unter diesen ist der Übertragungstransistor 12 an seinem Drain-Anschluss mit dem Speicherknoten SN verbunden, an seinem Source-Anschluss mit einem verunreinigungsdotierten Halbleiterbereich (nicht dargestellt) verbunden, der eine Kathode der Fotodiode PD bildet, und an seinem Gate-Anschluss mit einer zweiten Steuerleitung 16 zur Steuerung einer Anwendungszeit (Abbildungszeit) der Übertragungsspannung VT verbunden. Der Verstärkungstransistor 13 ist an seinem Drain-Anschluss mit der Stromversorgungsleitung 17 verbunden, an seinem Source-Anschluss mit der vertikalen Signalleitung 14 verbunden und an seinem Gate-Anschluss mit dem Speicherknoten SN verbunden.
Der Abbildungsteil ist aus wenigen hundert bis wenigen tausend solcher Pixel 21 aufgebaut, die in horizontaler und vertikaler Richtung angeordnet sind.
Eine vertikale Steuerschaltung 20 zur Zurührung verschiedener Spannungen an diese ersten und zweiten Steuerleitungen 15 und 16 ist auf dem Randbereich des Pixelteils bereitgestellt. Ferner ist eine horizontale Steuerschaltung 22 zur Verarbeitung der Pixelsignalausgabe an die vertikale Signalleitung 14 zum Beispiel zum Zweck der Rauschbeseitigung und Feststellen der Referenzhöhe, Umwandlung dieses Ausgabesignals in ein Zeitreihensignal und Auslesen des umgewandelten Signals auf dem Randbereich des Pixelteils bereitgestellt. Ferner ist eine Zeitsteuerschaltung zur Steuerung der vertikalen oder horizontalen Steuerschaltung im Innern des Abbildungselements 10 bereitgestellt. Die Zeitsteuerschaltung wird durch den Steuerteil 4 der 1 gesteuert und führt die Sättigungssteuerung und die Abbildungszeitsteuerung aus, wie später erläutert werden wird. Der Steuerteil 4 steuert die vertikale Steuerschaltung 20 usw. und liest ebenso Signale aus dem Pixelteil aus. Wenn das Abbildungselement 10 ein Bild des Objekts unter diesen Steuerungen erfasst (erhält), wird das Signal (Bildsignal) aus der horizontalen Steuerschaltung 22 nach außen über einen Ausgabeanschluss des Abbildungselements 10 ausgegeben.
Es ist zu beachten, dass der Aufbau des Pixels 21 nicht auf 1 beschränkt ist. Es kann ebenso ein Vier-Transistor-Pixel sein, das mit einem Auswahltransistor in Reihe mit dem Verstärkungstransistor 13 bereitgestellt ist. Ferner kann die Stromversorgung des Verstärkungstransistors 13 und die Stromversorgung des Reset-Transistors 11 ebenso über unterschiedliche Leitungen durchgeführt werden. Außerdem kann die Stromversorgung dieser Transistoren durch die vertikale Steuerschaltung 20 ein- oder ausgeschaltet werden. Kurz gesagt kann das Pixel 21 aus wenigstens den drei Transistoren 11 bis 13 und der Fotodiode PD wie veranschaulicht verschaltet aufgebaut sein, wodurch die Ausgabesteuerung der Pixelsignale an den Speicherknoten SN und die vertikale Signalleitung 14 durchgeführt wird.
Die Bildsignalausgabe von dem Abbildungselement 10 wird an den A/D-Wandlerteil 2 der 1 gesendet, wo sie in ein digitales Signal umgewandelt wird, das dann der vorherbestimmten Signalverarbeitung durch den Bildsignalverarbeitungsteil 3 unterzogen wird.
Das Abbildungsverfahren kann jedes Verfahren sein, das eine so genannte Mehrfachbelichtung verwendet, wobei ein Bild desselben Objekts mehrere Male in einer vorherbestimmten Zeitdauer erfasst wird, oder ein Verfahren der schrittweisen Änderung der Reset-Höhe zur Zeit der Belichtung.
Bei der Mehrfachbelichtung werden die Zeit für die Abbildung und die Sättigungshöhe individuell für jeden Abbildungsvorgang festgelegt. Details der Festlegung dieser Abbildungszeit und der Sättigungshöhe werden später erläutert werden. Allgemein wird die Sensorausgabe selbst nicht durch einfallendes starkes Licht (heller Teil eines Bilds) gesättigt, wenn die Abbildungszeit kürzer gemacht wird, wodurch eine so genannte „Überbelichtung” vermieden oder unterdrückt werden kann. Wenn andererseits die Abbildungszeit verlängert wird, kann die Empfindlichkeit der Sensorausgabe selbst bei einfallendem schwachen Licht (dunkler Teil des Bilds) relativ groß gemacht werden, wodurch eine so genannte „Unterbelichtung” vermieden oder unterdrückt werden kann. Wenn ferner die Sättigungshöhe verringert wird, gerät die Sensorausgabe leicht in die Sättigung. Die relative Größe des Signalspegels bezüglich der Sättigungshöhe kann jedoch vergrößert werden. Wenn im Gegensatz dazu die Sättigungshöhe vergrößert wird, ist es schwer, die Sensorausgabe in die Sättigung zu bringen. Die relative Größe des Signalpegels bezüglich der Sättigungshöhe wird jedoch klein.
Wenn die Zeit der Abbildung und die Sättigungshöhe für jeden Abbildungsvorgang in Übereinstimmung mit der Helligkeitspegelverteilung des Objekts, das momentan in mehreren Abbildungsvorgängen erfasst wird, optimiert und ein Bild aus den erhaltenen mehreren Bildsignalen erzeugt (gemischt) wird, ist es dementsprechend möglich, ein Bild eines großen dynamischen Bereichs zu erhalten, in dem ein hoher Luminanzteil (heller Teil) nicht in die Sättigung gerät und der Gradationsausdruck gesteigert ist und der Gradationsausdruck eines niedrigen Luminanzteils (dunkler Teil) gesteigert ist.
Andererseits ist bei dem Verfahren der schrittweisen Änderung der Reset-Höhe zur Zeit der Belichtung die Anzahl der Abbildungsvorgänge bezüglich eines Bilds eins. Die Abbildungszeit wird entsprechend der Einschaltzeit des Übertragungstransistors 12 gesteuert, dann wird die Reset-Höhe (Sättigungshöhe) schrittweise durch den Reset-Transistor 11 gesteuert.
Eine an einem Fahrzeug angebrachte Kameravorrichtung des vorliegenden Beispiels weist ihr kennzeichnendes Merkmal insbesondere in dem Verfahren der dynamischen Bereichserweiterungsverarbeitung auf. Im Folgenden wird eine Erläuterung des Aufbaus und des Ablaufs für die dynamische Bereichserweiterungsverarbeitung gegeben. Hier wird eine Erläuterung für den letzteren Fall der schrittweisen Steuerung der Reset-Höhe zwischen den zwei obigen Verfahren gegeben.
3 ist ein Signalzeitdiagramm zur Erläuterung des Verfahrens der schrittweisen Steuerung der Reset-Höhe. Ferner stellt 4 schematisch die Spannungssteuerung dar, wenn das Bildsignal aus einem Pixel 21 der 2 ausgelesen wird.
In 3 ist eine Rahmendauer in (A) dargestellt und eine schematische Wellenform von Ausgabedaten ist in (B) desselben Diagramms dargestellt. Ferner ist die Speichersteuerung der Ladungsausgabe aus der Fotodiode PD in den Speicherknoten SN des Pixels in (C) desselben Diagramms dargestellt und die Sättigungssteuerung unter Verwendung der Reset-Höhe (Sättigungshöhe) zur Zeit der Speichersteuerung ist in (D) durch die Höhe und die Anwendungszeit der Spannung dargestellt. Ferner ist eine Zeitentwicklung der Sättigungshöhe in (E) desselben Diagramms als eine schematische Kurve dargestellt, wenn Ladungen in dem Speicherknoten SN gespeichert werden. Die Abszisse dieser Kurve gibt die Zeit t an und die Ordinate gibt die gespeicherte Ladungsmenge Ae an.
In diesem veranschaulichten Beispiel werden, wie in 3(A) und 3(B) dargestellt ist, in dem Bildsignalstandard für eine vertikale (V) Austastperiode 30 die Ausgabedaten zur Außenseite des Abbildungsteils 1 durch Verwenden der gesamten Zeitdauer 31, die einer Abtastperiode eines Bilds entspricht, ausgegeben Aus diesem Grund werden, wie in 3(C) bis 3(E) dargestellt ist, die Ausgabe des Speicherknotens SN der gespeicherten Ladungen und die Steuerung der Sättigungshöhe vor allem durch Verwenden der V-Austastperiode 30 ausgeführt.
Im Folgenden wird der Ablauf in der Reihenfolge mit Bezug auf 3 und 4 erläutert. 4 ist ein erläuterndes Diagramm zur Erklärung der Gate-Spannungssteuerung des Übertragungstransistors 12 und der Speicherung der Ladungen, Übertragung und Sättigung entsprechend der Gate-Spannungssteuerung des Reset-Transistors 11.
Zur Zeit T0, wenn die Periode 31 der 3 beginnt, wechselt die Übertragungsspannung VT von einem hohen Pegel in einen niedrigen Pegel und der Übertragungstransistor 12 der 2 schaltet ab. Zu dieser Zeit wird ein vorheriges Bildsignal Vpix, das an die vertikale Signalleitung 14 der 2 ausgegeben wurde, durch die horizontale Steuerschaltung 22 der 2 bestätigt, in ein Zeitreihensignal umgewandelt und dann wird begonnen, es außerhalb des Abbildungselements 10 auszugeben, wie in 3(B) dargestellt ist.
Als nächstes wird, wie in 3(D) dargestellt ist, die Reset-Spannung VRT dem Gate-Anschluss des Reset-Transistors 11 zur Zeit T1 zugeführt. Aufgrund dessen wird die Versorgungsspannung VAA dem Speicherknoten SN zugeführt, weshalb die gespeicherten Ladungen des Speicherknotens SN an die Versorgungsleitung der Versorgungsspannung VAA ausgegeben werden. Bei der nächsten Zeit T2 wird das Anlegen der Reset-Spannung VRT eingestellt, woraufhin der nächste Abbildungsvorgang beginnt. Wenn der Abbildungsvorgang beginnt, werden Ladungen (Elektronen in dem vorliegenden Beispiel) in Übereinstimmung mit der einfallenden Lichtmenge in einem verunreinigungsdotierten n-leitenden Gebiet (nicht dargestellt), das als Kathode der Fotodiode dient, gespeichert. Zu dieser Zeit befindet sich die dem Gate-Anschluss des Übertragungstransistors 12 zugeführte Übertragungsspannung VT in einem niedrigen Pegel (3(C)) und es wird eine Potentialbarriere 12A gebildet, wie in 4 dargestellt ist.
3(E) stellt eine Situation der Elektronenspeicherung dar. Hier gibt die Bezeichnung 32 eine Ladungsspeicherlinie des Falls an, in dem das einfallende Licht stark ist, während die Bezeichnung 33 eine Ladungsspeicherlinie des Falls kennzeichnet, in dem das einfallende Licht schwach ist.
Bei der Ladungsspeicherlinie 32 des Falls, in dem das einfallende Licht stark ist, erhöht sich die gespeicherte Elektronenmenge im Wesentlichen linear bis zur ersten Sättigungshöhe der Fotodiode PD, nach diesem Zeitpunkt jedoch wird die gespeicherte Ladungsmenge auf die erste Sättigungshöhe L1 abgeschnitten. Andererseits nimmt bei der Ladungsspeicherlinie 33 des Falls, in dem das einfallende Licht schwach ist, die Ladungsmenge kontinuierlich, im Wesentlichen linear zu.
Die Sättigungshöhe der Fotodiode PD kann (elektrisch) entsprechend der Höhe einer Potentialbarriere der Fotodiode gesteuert werden, bei der es einen OFD (Überlaufabfluss) gibt. Es ist zu beachten, dass in dem vorliegenden Beispiel zur Einfachheit der Erläuterung angenommen wird, dass die Sättigungshöhe der Fotodiode PD äquivalent zur Sättigungshöhe L1 durch die später erläuterte Spannung V1 ist.
Wie in 3(C) dargestellt ist, wird die Übertragungsspannung VT von dem niedrigen Pegel auf den hohen Pegel umgeschaltet, um so den Übertragungstransistor 12 der 2 zu einem Endpunkt der Zeit (Zeit T3) der Periode 31 einzuschalten. Wie in 3(D) dargestellt ist, wird ferner die Sättigungssteuerspannung VSC etwa zur selben Zeit auf die erste Sättigungsspannung V1 gesteuert, die niedriger ist als die Reset-Spannung VRT.
Zu dieser Zeit wird, wie in 4 dargestellt ist, die Potentialbarriere 12A durch die obige Spannungssteuerung abgesenkt und gespeicherte Elektronen werden von der Fotodiode PD in den Speicherknoten SN übertragen. Die in den Speicherknoten SN übertragenen Elektronen können in dem Speicherknoten SN bis Zur Höhe der Potentialbarriere 11A gespeichert werden, die durch die erste Sättigungsspannung V1 festgelegt ist, jedoch werden die diese überschreitenden Elektronen an die Versorgungsleitung der Versorgungsspannung VAA der 2 ausgegeben.
Als nächstes wird, wie in 3(D) dargestellt ist, die Sättigungssteuerspannung VCS auf eine Spannung (zweite Sättigungsspannung) V2, die niedriger als die erste Sättigungsspannung V1 ist, zur Zeit T4 umgeschaltet.
Zu dieser Zeit wird die Höhe der Potentialbarriere 11A der 4 auf die Höhe der zweiten Sättigungsspannung V2 abgesenkt, wodurch die Ladungsmenge, die in dem Speicherknoten SN gespeichert werden kann, um einen Betrag zunimmt, der dem Anstieg der Sättigungsspannung (V1 – V2) entspricht. Dementsprechend beginnt, wie in 3(E) dargestellt ist, die Ladungsspeicherlinie 32 des Falls, in dem das einfallende Licht stark ist, im Wesentlichen linear in der gespeicherten Ladungsmenge Ae von der Zeit T4 anzusteigen und erreicht danach die zweite Sättigungshöhe L2, die durch die zweite Sättigungsspannung V2 festgelegt ist und wird auf dieser Höhe abgeschnitten.
Wenn andererseits das einfallende Licht schwach ist, tritt das Abschneiden (Sättigung) der Ladungsmenge nicht auf sondern die Ladungsspeicherung fährt noch mit derselben Rate fort.
Als nächstes wird, wie in 3(D) dargestellt ist, die Sättigungssteuerspannung VSC auf eine Spannung (dritte Sättigungsspannung) V3, die noch niedriger als die zweite Sättigungsspannung V2 ist, zur Zeit T5 umgeschaltet.
Zu dieser Zeit wird die Höhe der Potentialbarriere 11A der 4 auf die Höhe der dritten Sättigungsspannung V3 abgesenkt, wodurch die Ladungsmenge, die in dem Speicherknoten SN gespeichert werden kann, weiter um einen Betrag zunimmt, der dem Anstieg der Sättigungsspannung (V2 – V3) entspricht. Dementsprechend beginnt, wie in 3(E) dargestellt ist, die Ladungsspeicherlinie 32 des Falls, in dem das einfallende Licht stark ist, im Wesentlichen linear in der gespeicherten Ladungsmenge Ae von der Zeit T5 erneut anzusteigen und erreicht danach die dritte Sättigungshöhe L3, die durch die dritte Sättigungsspannung V3 festgelegt ist und wird auf dieser Höhe abgeschnitten.
Andererseits tritt bei der Ladungsspeicherlinie 33 des Falls, in dem das einfallende Licht schwach ist, das Abschneiden (Sättigung) der Ladungsmenge nicht auf, sondern die Ladungsspeicherung fährt noch mit derselben Rate fort.
Die auf diese Weise gespeicherten Ladungen werden an die vertikale Signalleitung 14 aber den Verstärkungstransistor 13 der 2 und als Potentialschwankung (Bildsignal Vpix) der vertikalen Signalleitung 14 von dem Pixel 21 ausgegeben.
Wie in 3(C) dargestellt ist, wird zum Zeitpunkt des Endes (Zeit T6) der V-Austastperiode 30 die Übertragungsspannung VT von dem hohen Pegel in den niedrigen Pegel umgeschaltet, wodurch der Übertragungstransistor 12 ausgeschaltet wird.
Danach wird das Bildsignal in das Register usw. für jede Zeile von der vertikalen Signalleitung 14 der 2 durch eine nicht dargestellte horizontale Steuerschaltung 22 eingebracht, dort seriell-parallel umgewandelt und als ein Zeitreihenbildsignal Vpix außerhalb des Abbildungselements 10 ausgegeben.
Es ist zu beachten, dass 3(E) einen Fall darstellt, in dem die gespeicherte Ladungsmenge bei drei Sättigungshöhen abgeschnitten wird, das heißt dreimal insgesamt durch die erste Sättigungsspannung V1, die zweite Sättigungsspannung V2 und die dritte Sättigungsspannung V3, und einen Fall, in dem sie nicht einmal abgeschnitten wird. Es gibt ebenso einen Fall, in dem in Übereinstimmung mit der einfallenden Lichtmenge des Pixels die gespeicherte Ladungsmenge lediglich bei der ersten Sättigungshöhe L1 abgeschnitten wird, und einen Fall, in dem sie bei der ersten Sättigungshöhe L1 und der zweiten Sättigungshöhe L2 abgeschnitten wird.
5(A) stellt eine vergrößerte Ansicht der 3(E) zur Erläuterung der Sättigung in einem Fall dar, in dem die einfallende Lichtmengenhöhe schrittweise erhöht wird. Ferner ist die Beziehung zwischen der Intensität des einfallenden Lichts und der Höhe des Bildsignals Vpix in der Kurve der 5(B) dargestellt.
In 5(A) werden die Ladungsspeicherlinie 32 des Falls, in dem das einfallende Licht stark ist, und die Ladungsspeicherlinie 33 des Falls, in dem das einfallende Licht schwach ist, durch gestrichelte Linien dargestellt. Ferner ist die Anwendungszeit der ersten Sättigungsspannung V1 (hierin im Folgenden als V1-Anwendungszeit bezeichnet) durch eine Bezeichnung „t1” gekennzeichnet, die Anwendungszeit der zweiten Sättigungsspannung V2 (hierin im Folgenden als V2-Anwendungsszeit bezeichnet) durch eine Bezeichnung „t2” gekennzeichnet und die Anwendungszeit der dritten Sättigungsspannung V3 (hierin im Folgenden als V3-Anwendungszeit bezeichnet) durch eine Bezeichnung „t3” gekennzeichnet.
Ferner ist der Wechselpunkt der Ladungsspeicherlinie 32 zur Zeit des Endes der Anwendungszeit t1 durch eine Bezeichnung „P1” gekennzeichnet und der Wechselpunkt der Ladungsspeicherlinie 32 zur Zeit des Endes der Anwendungszeit t2 durch eine Bezeichnung „P2” gekennzeichnet.
In 5(B) wird, wenn die Lichtintensität der Abszisse allmählich vergrößert wird und der Abbildungsvorgang für jede Änderung durchgeführt wird, der Abbildungsvorgang zuerst ohne den Einfluss der ersten bis dritten Sättigungsspannungen V1, V2 und V3 durchgeführt. In diesem Fall nehmen, wie durch die Ladungsspeicherlinie 33 als ein Beispiel in 5(A) dargestellt ist, die Elektronen beinahe linear während der Speicherzeit zu. Die Ladungsspeichermenge zur Zeit des Endes der Speicherzeit beträgt Ae0. Wenn die einfallende Lichtmenge weiter von der Zeit des Abbildungsvorgangs dieser Ladungsspeicherlinie 33 erhöht wird, nehmen die Elektronen im Wesentlichen linear bis zur Grenze zu, bei der die Sättigung entsprechend der ersten Sättigungshöhe L1 wie bei der in 5(A) dargestellten Ladungsspeicherlinie 38 auftritt. Diese Ladungsspeicherlinie 38 berührt den Wechselpunkt P1 in diesem Zustand. Die Ladungsspeichermenge zu dieser Zeit beträgt Ae1.
Wenn die einfallende Lichtmenge weiter gesteigert wird, wird die Zeit, während der die Ausgabe durch die erste Sättigungsspannung V1 in der Anwendungszeit t1 unterdrückt wird, allmählich länger, wodurch die Zunahmerate der Ladungsspeichermenge zur Zeit des Endes der Speicherzeit um diesen Betrag verringert ist. Als Folge davon wird, wie in 5(B) dargestellt ist, die Steigung der Bildsignalhöhe Vpix bezüglich der Lichtintensität an einem Knickpunkt BP1 als Grenze kleiner. Der Knickpunkt BP1 wird gemäß der Anwendungszeit t1 und einem Parameter (hierin im Folgenden als ein Empfindlichkeitskoeffizient bezeichnet) dV1 ermittelt. Der Empfindlichkeitskoeffizient dV1 ist der Parameter, der durch eine Spannungsdifferenz zwischen der ersten Sättigungsspannung V1 und der Reset-Spannung VRT (VRT – V1) und einer Ladungsspeicherkapazität (Ladungsspeichervermögen) des Pixels usw. bestimmt ist. Wenn dieser Empfindlichkeitskoeffizient groß ist, ist eine rasche Ladungsspeicherung möglich, während umgekehrt, wenn dieser klein ist, die Ladungen schwierig zu speichern sind.
Wenn die einfallende Lichtmenge weiter gesteigert wird, wie durch die in 5(A) dargestellte Ladungsspeicherlinie 39 dargestellt ist, ergibt sich ein Zustand der Berührung mit dem Wechselpunkt P2 zur Zeit des Endes der Anwendungszeit t2. Die Ladungsspeichermenge zu dieser Zeit ist Ae2. Wenn die einfallende Lichtmenge hiervon weiter zur Zeit des Abbildungsvorgangs dieser Ladungsspeicherlinie 39 gesteigert wird, wird zusätzlich zur Tatsache, dass die Zeit der Unterdrückung der Ausgabe durch die erste Sättigungsspannung V1 in der Anwendungszeit t1 allmählich länger wird, die Zeit der Unterdrückung der Ausgabe durch die zweite Sättigungsspannung V2 in der Anwendungszeit t2 allmählich ebenso länger, wodurch die Zunahmerate der Ladungsspeichermenge weiter um diesen Betrag verringert wird. Als Folge hiervon wird, wie in 5(B) dargestellt ist, die Steigung des Bildsignalpegels Vpix bezüglich der Lichtintensität bei dem Knickpunkt BP2 als Grenze noch geringer. Der Knickpunkt BP2 wird gemäß der Anwendungszeit t2 und dem Empfindlichkeitskoeffizienten dV2 auf dieselbe Weise ermittelt wie der Knickpunkt BP1. Der Empfindlichkeitskoeffizient dV2 ist ein Parameter, der durch die Spannungsdifferenz (V1 – V2) zwischen der ersten Sättigungsspannung V1 und der zweiten Sättigungsspannung V2 und der Ladungsspeicherkapazität (Ladungsspeichervermögen) des Pixels usw. bestimmt ist. Wenn dieser Empfindlichkeitskoeffizient groß ist, ist eine rasche Ladungsspeicherung möglich, während umgekehrt, wenn dieser Empfindlichkeitskoeffizient klein ist, die Ladungen schwierig zu speichern sind.
Hiernach wird der Knickpunkt BP3 auf dieselbe Weise erreicht und die Ausgabe (Pegel des Bildsignals Vpix) bleibt danach konstant. Es ist zu beachten, dass der Knickpunkt BP3 nahe der maximalen Lichtintensität liegt, so dass dieser Knickpunkt ebenso als die maximale Luminanz betrachtet werden kann. Im Folgenden wird der Knickpunkt BP3 nicht berücksichtigt.
Das Bildsignal Vpix, das eine solche Lichtcharakteristik im Vergleich zur Intensitätscharakteristik in einem Bild aufweist, wird in dem A/D-Wandlerteil 2 der 2 zum Beispiel in ein Signal aus 0 bis 255 Abstufungen in einem Fall von 8 Bits oder in ein digitales Signal von 0 bis 1023 Abstufungen in einem Fall von 10 Bits umgewandelt und an den Bildsignalverarbeitungsteil 3 ausgegeben. Die Verarbeitung für die dynamische Bereichserweiterung wird dort ausgeführt.
Als nächstes wird der Aufbau für die dynamische Bereichserweiterungsverarbeitung, das heißt die Funktion des Bildsignalverarbeitungsteils 3, erläutert.
Es ist zu beachten, dass, ob diese dynamische Bereichserweiterungsverarbeitung ausgeführt wird oder nicht, durch den Benutzer an der Kameravorrichtung der 1 eingestellt werden kann. Ein nicht dargestellter Bedienteil oder eine Fernbedienung kann verwendet werden, den hochdynamischen Bereichsmodus ein- oder auszuschalten.
6 stellt ein Funktionsblockdiagramm des Bildsignalverarbeitungsteils 3 bezüglich der dynamischen Bereichsvergrößerungsverarbeitung dar.
Der Bildsignalverarbeitungsteil 3 beinhaltet vier Mittel, die als Funktionen eines Programms zum Betrieb des DSP realisiert sein können. Konkret beinhaltet der Bildsignalverarbeitungsteil 3 ein Histogrammerstellungsmittel 34, ein Parameterextraktionsmittel 35, ein Zielbereichsbestimmungsmittel 36 und ein Signalverarbeitungsmittel 37. Es ist zu beachten, dass bei dem in der vorliegenden Ausführungsform ausgeführten Verfahren, das die Reset-Höhe verwendet, die Verarbeitung für die dynamische Bereichserweiterung nicht durch dieses Signalverarbeitungsmittel ausgeführt wird 37. Dieses Signalverarbeitungsmittel wird bereitgestellt, um die andere, zuvor erläuterte Verarbeitung auszuführen. Dementsprechend ist das Signalverarbeitungsmittel 37 keine unverzichtbare Anordnung. Andererseits wird in dem Fall der Mehrfachbelichtung, wie später erläutert werden wird, die Verarbeitung für die dynamische Bereichserweiterung durch Bildmischung durch dieses Signalverarbeitungsmittel 37 ausgeführt.
Ein Teil der Funktionen der obigen vier Mittel kann durch Hardware durch logische Schaltungen oder dergleichen in dem ASIC realisiert werden. Der durch die obigen Mittel ausgeführte Verarbeitungsinhalt wird in der nächsten Erläuterung der Verarbeitungsreihenfolge verdeutlicht.
7 ist ein Flussdiagramm der dynamischen Bereichserweiterungsverarbeitung in der vorliegenden Ausführungsform. Hier wird angenommen, dass das Bildsignal Vpix 0 bis 255 Luminanzstufen aufweist.
Wenn das Bildsignal Vpix in den Bildsignalverarbeitungsteil 3 eingegeben wird, wird zuerst durch die Steuerung des Histogrammerstellungsmittels 34 das Bildsignal Vpix eines Feldbilds oder eines Rahmenbilds in dem Bildspeicher 5 der 1 gespeichert (Schritt ST1).
Zu dieser Zeit nimmt das Histogrammerstellungsmittel 34 Pixeldaten in dem Bildspeicher 5 der 1 als Histogramm auf, das die Beziehung zwischen dem Pixelsignalpegel (Gradationshöhe oder Luminanzstufe) und der Anzahl derselben (Pixelanzahl) angibt. Als konkretes Verfahren zur Aufnahme eines Histogramms speichert das Histogrammerstellungsmittel 34 zum Beispiel einmal das Bildsignal Vpix vor der Aufnahme des Histogramms in dem Bildspeicher 5, liest es aus, berechnet das Histogramm und speichert die erhaltenen Histogrammdaten dann in einen anderen Bereich des Bildspeichers 5. Bei dieser Histogrammberechnung zählt es, wie viele Bildwerte der Pixeldaten es für jede der 0 bis 255 Luminanzstufen gibt und erzeugt die Histogrammdaten, die eine Übereinstimmung zwischen diesem Zählwert und dem Luminanzstufenwert angeben.
8 stellt ein Beispiel des Histogramms dar. Die Abszisse der 8 stellt die Luminanzstufenwerte 0 bis 255 dar, während die Ordinate einen Grad (Pixelanzahl) des Luminanzstufenwerts in einem Bild darstellt.
Eine Kurve einer strichpunktierten Linie mit der Bezeichnung 40 in 8 stellt ein Beispiel der Verteilung der Histogrammdaten dar. Auf diese Weise umfassen die Histogrammdaten 40 in einem Bild nicht immer alle Luminanzstufenwerte 0 bis 255, die durch die Verarbeitungsbitbreite des Bildsignalverarbeitungsteils 3 der 1 und den dynamischen Bereich des A/D-Wandlerteils 2 festgelegt sind. Es gibt viele Fälle, in denen der kleinste Wert Dmin der Histogrammdaten 40 größer ist als der Luminanzstufenwert 0 und der größte Wert Dmax kleiner ist als der Luminanzstufenwert 255. Natürlich gibt es ebenso einen Fall, in dem der Luminanzstufenwert 0 mit dem kleinsten Wert Dmin der Histogrammdaten 40 übereinstimmt, und einen Fall, in dem umgekehrt der größte Wert Dmax der Histogrammdaten 40 mit dem Luminanzstufenwert 255 übereinstimmt. Es gibt eine Vielzahl an Verteilungsformen und Positionen in den Luminanzstufenwerten 0 bis 255 entsprechend des erfassten Bilds.
Ferner gibt eine Kurve einer durchgezogenen Linie mit der Bezeichnung 41 in 8 einen Fall an, in dem der kumulierte Wert des Grads (Pixelanzahl) auf der Ordinate des Kurvenbilds aufgetragen ist.
Hier gibt der Luminanzstufenwert, der dem Mittelpunkt (mittlerer Punkt) genau der Hälfte des größten Werts Fmax der Kurve 41, die den kumulierten Wert der Pixelanzahl darstellt, entspricht, einen repräsentativen Wert der Luminanz in einem Bild an und ist im Folgenden als mittlerer Wert Dmea festgelegt. Ferner stellt der Durchschnittswert der Luminanz der Histogrammdaten 40 eine Mitte der Luminanz in einem Bild dar und ist im Folgenden als Durchschnittswert Dave festgelegt.
Jetzt kehrt die Erläuterung zurück zum Flussdiagramm der 7.
In Schritt ST2 durchsucht das Parameterextraktionmittel 35 der 6 den Bildspeicher 5 und extrahiert die oben beschriebenen Luminanzparameter der 8, das heißt den kleinsten Wert Dmin und den größten Wert Dmax der Histogrammdaten. Ferner wird als Luminanzparameter, der den ersten Steuerzielbereich bestimmt, wie später erläutert werden wird, der mittlere Wert Dmea oder der Durchschnittswert Dave durch das Parameterextraktionsmittel 35 durch Durchsuchen des Bildspeichers 5 extrahiert. Im Folgenden wird ein Fall, in dem der Durchschnittswert Dave verwendet wird, als Beispiel herangezogen.
Das Parameterextraktionsmittel 35 speichert die extrahierten Parameter des kleinsten Werts Dmin, des größten Werts Dmax und des Durchschnittswerts Dave in dem Register 6 der 6, so dass eine Unterscheidung möglich ist.
Im nächsten Schritt ST3 liest das Histogrammerstellungsmittel 34 der 6 als wünschenswerte Verarbeitung die Histogrammdaten 40 (8) in dem Bildspeicher 5 aus und vergrößert die Verteilung als Ganzes, so dass der kleinste Wert Dmin hiervon der Luminanz 0 entspricht und der größte Wert Dmax der Luminanz 255 entspricht. Diese Verarbeitung wird als Histogrammstreckung bezeichnet. Obwohl es keine unverzichtbare Verarbeitung ist, wird sie wünschenswerterweise im Sinn der Steigerung der nachfolgenden Verarbeitungsgenauigkeit (Verarbeitungsauflösung) ausgeführt. In der Verteilung nach der Histogrammstreckung wird natürlich der Durchschnittswert Dave (oder mittlere Wert Dmea) ebenso geändert.
Es ist zu beachten, dass, wenn die Histogrammstreckung ausgeführt wird, die Arbeit der Speicherung des kleinsten Werts Dmin, des größten Werts Dmax und des Durchschnittswerts Dave oder anderer Parameter in dem Register 6 nicht in Schritt ST2 ausgeführt werden dürfen, sondern nach der Histogrammstreckung.
Im nächsten Schritt ST4 liest das Zielbereichsbestimmungsmittel 36 der 6 die obigen verschiedenen Parametertypen aus dem Register 6 aus und legt den ersten Zielwert basierend auf diesen Parametern fest. Bei der Festlegung dieses ersten Zielwerts wird die Steuerung ausgeführt, so dass der in 5(B) erläuterte Knickpunkt BP1 und der Durchschnittswert Dave in den Histogrammdaten 40 der 8 im Wesentlichen übereinstimmen Als konkreter Steuerwert kann Gebrauch von einer Belichtungszeit des Abbildungselements 10 und/oder dem Verstärkungswert des Verstärkers gemacht werden, der gewöhnlich in der Ausgangsstufe im Abbildungselement 10 oder in dem Bildsignalverarbeitungsteil 3 bereitgestellt ist. Um die Belichtungszeit des Abbildungselements 10 zu steuern, kann ebenso eine OFD-Höhe im Abbildungselement 10 gesteuert werden. Die Ladungsspeicherzeit kann durch Verschieben der Zeit T2 vergrößert oder verkleinert werden, wenn die Abbildung aus 3 in der Periode 31 gestartet wird. Wenn entweder die Belichtungszeit oder der Verstärkungswert des Verstärkers gesteuert wird, ändert sich die Helligkeit des Bilds und der Durchschnittswert Dave verschiebt sich ebenfalls hiermit. Zu dieser Zeit wird die Helligkeitssteuerung des Bilds ausgeführt, so dass sich der Durchschnittswert Dave dem Knickpunkt BP1 annähert.
Es ist zu beachten, dass es nicht immer erforderlich ist, den Durchschnittswert Dave in perfekte Übereinstimmung mit dem Knickpunkt BP1 zu bringen. Die Steuerung kann beendet werden, indem sie als übereinstimmend betrachtet werden, wenn sie einen bestimmten zulässigen Bereich erreichen.
Ferner wird, wenn die Helligkeitssteuerung des Bilds durchgeführt wird, die Steuerung um den Betrag eines Bilds verzögert. Wenn es gewünscht wird, die Steuerung zu vermeiden, kann die Berechnung unter Verwendung der Position des Durchschnittswerts Dave innerhalb eines durch den kleinsten Wert Dmin und den größten Wert Dmax festgelegten Bereichs, der den Knickpunkt BP1 bestimmenden Anwendungszeit t1, den Empfindlichkeitsparametern usw. durchgeführt werden, um die Richtung und den Betrag der Helligkeitssteuerung im Voraus für die Vorwärtssteuerung vorherzusagen.
Im nächsten Schritt ST5 legt das Zielbereichsbestimmungsmittel 36 der 6 den zweiten Zielwert, der dem nächsten Knickpunkt BP2 (5(B)) entspricht, durch Verwenden der Beziehung zwischen dem bereits festgelegten ersten Zielwert und dem kleinsten Wert Dmin und dem größten Wert Dmax fest, die aus dem Register 6 ausgelesen werden.
Genauer wird ein Verhältnis eines Werts, der durch Subtraktion des kleinsten Werts Dmin von dem ersten Zielwert (BP1) erhalten wird, in Bezug auf den Wert, der durch Subtraktion des kleinsten Werts Dmin von dem größten Wert Dmax erhalten wird, ermittelt. Dann wird beurteilt, dass es, wenn dieses Verhältnis klein ist, relativ viele dunkle Teile in dem Bild gibt, so dass der zweite Zielwert (= BP2) an eine Stelle gesetzt wird, die nicht relativ weit von dem ersten Zielwert in der Lichtintensität liegt. Umgekehrt wird beurteilt, wenn das obige Verhältnis groß ist, dass es relativ viele helle Teile in dem Bild gibt, so dass der zweite Zielwert (= BP2) weiter von dem ersten Zielwert in der Lichtintensität gesetzt wird.
Zu dieser Zeit kann die Ausgabedifferenz des zweiten Zielwerts (= BP2) von dem ersten Zielwert (Abstand der Ordinate der 5(B)) ebenso in Übereinstimmung mit dem obigen Verhältnis festgelegt werden. Das heißt, die Ausgabedifferenz wird wünschenswert groß gemacht, wenn das obige Verhältnis klein ist, während die Ausgabedifferenz klein gemacht wird, wenn das obige Verhältnis groß ist.
9 und 10 stellen den ungefähren Unterschied dar, wie der Knickpunkt BP2 zwischen dem Fall, in dem die Menge der hellen Teile klein ist in dem Bild, und dem Fall, in dem die Menge der hellen Teile groß ist, festgelegt wird. Die Histogrammverteilung ist in (A) jedes Diagramms dargestellt und die Kurve der schrittweisen Steuerung, die dieselbe ist wie in 5(8), ist in (B) jedes Diagramms dargestellt.
In dem Fall der 9(A), in dem die Menge der hellen Teile klein ist, ist bei der in 9(B) dargestellten schrittweisen Steuerung der Knickpunkt BP2 an einer dem Knickpunkt BP1 in der Lichtintensität relativ nahen Stelle festgelegt. Andererseits ist in dem Fall der 10(A), in dem die Menge der hellen Teile groß ist, bei der in 10(B) dargestellten schrittweisen Steuerung der Knickpunkt BP2 an einer vom Knickpunkt BP1 in der Lichtintensität relativ weiten Stelle festgelegt.
Die Ausgabedifferenz des Knickpunkts (Pegeldifferenz des Bildsignals Vpix) ist kleiner im Fall der 10(B) im Vergleich zum Fall der 9(B).
Wenn die Sättigungskennlinie (Kennlinie der schrittweisen Steuerung) jedes Pixels in Übereinstimmung mit der Größe der hellen Teile in dem Bild auf diese Weise gesteuert wird, wird ein Signalvorteil für die dynamische Bereichserweiterung erzielt.
Die Beziehungen zwischen dem obigen Verhältnis, das zur Festlegung dieses Knickpunkts BP2 verwendet wird, und den Einstellungsparametern des zweiten Zielwerts (Ordinate der 5(B), Abstände von dem ersten Zielwert der Abszisse), die empirisch gefunden wurden, können im Voraus in einer Tabelle usw. gehalten werden. In dem Fall der vorliegenden Ausführungsform für die Fahrzeuganbringung werden diese Beziehungen im Voraus unter Bedingungen gefunden, die ermöglichen, dass die Helligkeit des Bilds derart eingestellt wird, dass die weiße Linie der Straße detektiert werden kann, selbst wenn das Fahrzeug aus einem dunklen Tunnel zur Außenseite des Tunnels in den hellen Mittag ausfährt, und umgekehrt, wenn das Fahrzeug in einen dunklen Tunnel aus dem hellen Mittag einfährt, und ferner unter allen Straßenbedingungen.
Hierbei sollte, wenn die in der Tabelle zu haltenden Daten erstellt werden, überprüft werden, ob die weiße Linie der Straße in Übereinstimmung mit der Helligkeit des Bilds zum Beispiel durch ein Kantendetektionsverfahren detektiert werden kann.
11 und 12 stellen konkrete Beispiele der Kantendetektion dar.
Eine Wellenform eines Detektionssignals St der Kante der weißen Linie beim Erfassen eines in 11(C) dargestellten Bilds einer Straße (zu erfassendes Objekt) ist in 11(A) dargestellt. Dieses Detektionssignal St wird durch einen in 12(A) dargestellten Rauschpegel und die in 12(B) dargestellte Sättigungshöhe beeinflusst. Insbesondere ist, wenn das Objekt dunkel ist, der Rauschpegel groß, während, wenn das Objekt hell ist, die Kante aufgrund der Sättigung unscharf wird.
Aus diesem Grund wird, wenn versucht wird, eine Kantenposition der weißen Linie durch einen Kantengrenzwert VH eines hohen Pegels und einen Kantengrenzwert VL eines niedrigen Pegels für ein Signal zu bestätigen, dessen Ränder durch Differenzieren des in 11(A) dargestellten Detektionssignals St verbessert sind, wie in 12(B) dargestellt ist, wenn das Detektionssignal St die Sättigungshöhe überschreitet, die Kante unscharf und die Detektionsgenauigkeit des hohen Pegels des an den Rändern verbesserten Signals verringert sich. Wenn ferner der Pegel des dem Detektionssignal St überlagerten Rauschens groß ist, wie in 12(A) dargestellt ist, geht die Kante im Rauschen unter und die Detektionsgenauigkeit des niedrigen Pegels des an den Rändern verbesserten Signals verringert sich. Auf diese Weise ist es sowohl in dem Fall, in dem das Bild hell ist, und in dem Fall, in dem das Bild dunkel ist, schwierig, die weiße Linie zu detektieren.
Aus diesem Grund wird überprüft, ob die Kante der weißen Linie in der Beziehung zwischen dem obigen Verhältnis, das zur Festlegung des zuvor erläuterten Knickpunkts BP2 verwendet wird, und dem Einstellungsparameter des zweiten Zielwerts mit dem Integralwert aller Bildsignale Vpix oder dem in dem Bild der hellen Bereiche (oder dunklen Bereiche) des Histogramms belegten Verhältnis oder anderen Daten, die die Helligkeit des Bilds darstellen, detektiert werden kann. Ferner wird das Verhältnis zwischen dem obigen Verhältnis oder dem Einstellungsparameter des zweiten Zielwerts und den Daten, die die Helligkeit des Bilds darstellen, in einer Tabelle gespeichert, bedingt durch die Detektion der Kante der weißen Linie, die in einem Fall möglich ist, in dem sich die Abbildungsumgebung von dem angenommenen hellsten Zustand in den angenommenen dunkelsten Zustand ändert und in einem umgekehrten Fall.
Aus dem oben Gesagten ist es möglich, einen geeigneten zweiten Zielwert durch Bezugnahme auf diese Tabelle festzulegen.
Jetzt kehrt die Erläuterung erneut zum Flussdiagramm der 7 zurück.
In Schritt ST5 findet zum Beispiel das Zielbereichsbestimmungsmittel 36 der 6, falls erforderlich, ebenso einen Knickpunkt BP3 und bestimmt erste bis dritte Sättigungsspannungen V1, V2 und V3 und Anwendungszeiten t1, t2 und t3 usw. des in 3 dargestellten Abbildungselements in Übereinstimmung mit den ersten und zweiten Zielwerten (und dritten Zielwert).
Danach wird das nächste Bild unter dieser Bedingung erfasst (Schritt ST7). Das durch dieses Abbildungselement erhaltene Bildsignal Vpix wird ein in der Ausgabesättigungskennlinie des Bildsignals von jenem zur Zeit des vorherigen Abbildungsvorgangs geändertes Bildsignal, in dessen Ergebnis der dynamische Bereich erweitert ist.
Das Bildsignal Vpix wird in das Histogrammerstellungsmittel 34 und/oder den Bildspeicher 5 eingegeben, woraufhin die obige Verarbeitung von Schritt ST1 bis ST7 ausgeführt wird, um die Bedingung zur Zeit des nächste Abbildungsvorgangs zu ermitteln.
Andererseits führt in Schritt ST8 das Signalverarbeitungsmittel 37 die vorherbestimmte Verarbeitung mit Bezug auf das Eingabebildsignal Vpix aus und gibt das Ergebnis aus.
Auf diese Weise wird bei dem vorliegenden Bildsignalverarbeitungsverfahren die nächste Abbildungsbedingung adaptiv basierend auf dem Eingangsbildsignal Vpix ermittelt, wodurch der dynamische Bereich optimiert (vergrößert) wird.
13(B) stellt die Auswirkungen der vorliegenden Ausführungsform im Vergleich zu 13(A) dar. Ferner stellen 14(A) bis 14(C) Detektionspegel der Kante der weißen Linie während der Nacht und während des Tags dar.
Wie oben erläutert wurde, wird bei dem vorliegenden Bildsignalverarbeitungsverfahren die nächste Abbildungsbedingung aus dem erhaltenen Bildsignal Vpix durch einen einzigen Steuervorgang ermittelt und der nächste Abbildungsvorgang wird unter dieser Bedingung ausgeführt. Aus diesem Grund gelangt das Ergebnis in den Steuerzielbereich nicht durch eine Regelung, wie in 13(A) dargestellt ist, sondern durch einen Steuervorgang. Es ist zu beachten, dass das Feinanpassen der Parameter, so dass der Steuerzielbereich zuverlässiger erreicht wird, von der vorliegenden Erfindung nicht ausgeschlossen wird.
Insbesondere wird bei der vorliegenden Ausführungsform der erste Zielwert (Knickpunkt BP1) zum Durchschnittswert Dave (oder mittleren Wert Dmea) gesteuert. Daher wird das Untergehen der Kante der weißen Linie im Rauschpegel in einem dunklen Bild während der Nacht, wie in 14(A) dargestellt ist, und das Erreichen der Sättigungshöhe durch die Kante der weißen Linie in einem hellen Bild während des Tags, wie in 14(C) dargestellt ist, wirksam verhindert. Ein Bild, in dem die Kantendetektion bei einem geeigneten Pegel möglich ist, wie zum Beispiel in 14(B) dargestellt ist, wird erhalten.
Schließlich wird ein Verfahren zur Verwendung der Mehrfachbelichtung erläutert, obgleich nur einfach.
Der Unterschied der Mehrfachbelichtung zum Zeitdiagramm der 3 liegt darin, dass der Erfassungsvorgang (Belichtungsvorgang) mehrmals während der Periode 31 wiederholt wird. Zu dieser Zeit wird die gespeicherte Ladungsmenge für jeden Abbildungsvorgang zurückgesetzt. Wenn die Abbildungszeit für jeden Abbildungsvorgang verschieden ist, werden mehrere Bildsignale für dasselbe zu erfassende Objekt, einschließlich wenigstens eines Bildsignals, das in der Abbildungszeit verkürzt ist, um so keine Sättigung zu verursachen, und eines Bildsignals, das in der Abbildungszeit verlängert ist und den Fall berücksichtigt, in dem der Signalpegel niedrig ist, der Reihe nach aus dem Abbildungselement 10 ausgegeben.
Wenn der Fall, in dem die Abbildungszeit verkürzt ist, und der Fall, in dem die Abbildungszeit um dasselbe Zeitmaß verlängert ist, verglichen wird, ist die Steigung der Änderung der Signalladung relativ um den Betrag des Widerstands gegen die Sättigung größer in dem ersten Fall. Dieselbe Steigung im letzteren Fall der kurzen Abbildungszeit wird relativ kleiner. Wenn diese Tatsache auf 5(B) angewendet wird, ist leicht zu verstehen, dass die schrittweise Steuerung mit einem Knickpunkt bei der Mehrfachbelichtung, die in der Abbildungszeit geändert ist, möglich ist.
Das vorliegende Verfahren extrahiert ein Bild eines Gebiets R1, das den Knickpunkt BP1 als eine Ecke in 5(B) aufweist, ein Bild eines Gebiets R2, das den Knickpunkt BP2 als eine Ecke aufweist, und ein Bild eines Gebiets R3, das den Knickpunkt BP3 als eine Ecke aufweist, aus den Bildsignalen Vpix der mehrfachen Belichtungen und mischt die Bilder, um ein einzelnes Bild zu erhalten. Aus diesem Grund sind auf dieselbe Weise wie bei dem zuvor erläuterten Verfahren die Extraktion des kleinsten Werts Dmin, des größten Werts Dmax, des Durchschnittswerts Dave (oder mittleren Werts Dmea) und der anderen Parameter und Festlegen eines Zielwerts erforderlich. Wenn die vorliegende Erfindung auf diese Verarbeitungen angewendet wird, kann eine Verarbeitung mit einer besseren Reaktion ausgeführt werden.
Für den Aufbau der 6 selbst kann derselbe Aufbau verwendet werden. Jedoch weist das Signalverarbeitungsmittel 37 bei diesem Verfahren eine Funktion zur sequentiellen Eingabe mehrerer Bildsignale Vpix auf, die bei der Erfassung desselben zu erfassenden Objekts erhalten wurden, zur Durchführung der Bildmischung und Ausgabe desselben.
Es ist zum Beispiel bei der Bildmischung zu beachten, dass die Verarbeitung der Erweiterung oder Komprimierung des Bilds durch zum Beispiel Pixeldateninterpolation und Ausdünnung erforderlich ist, weswegen der Bildspeicher 5 verwendet wird.
Wie oben beschrieben ist, kann bei dem Verfahren, das ebenso Mehrfachbelichtung verwendet, die Technik der vorliegenden Erfindung zum Festlegen der Zielwerts (Knickpunkt) angewendet werden.
Gemäß der vorliegenden Ausführungsform werden Verteilungsparameter aus der Verteilung von Pixelsignalpegeln einer Abbildung extrahiert, der Zielwert des Knickpunkts basierend auf diesen bestimmt, der Abbildungsteil derart gesteuert, dass der bestimmte Zielwert erhalten wird und die Ausgabesättigungskennlinien hiervon geändert oder mehrere Bilder gemischt. Daher wird in den meisten Fällen die Erstellung eines erfassten Bilds mit hoher Qualität, das an die Abbildungsumgebung angepasst ist und einen breiten dynamischen Bereich aufweist, durch einen Steuervorgang möglich. Das heißt, die dynamische Bereichserweiterungsverarbeitung mit einer hohen Reaktion kann durchgeführt werden.
Insbesondere wird der Durchschnittswert oder der mittlere Wert der Verteilung für den ersten Zielwert verwendet. Daher kann, selbst wenn die Abbildungsumgebung unterschiedlich ist, ein Bild, das ein zu erfassendes Objekt mit dem richtigen Pegel erfasst, erhalten werden, ohne im Abbildungsrauschpegel unterzugehen und ohne Unscharfwerden der Kante des Objekts infolge der Sättigung.

Claims

Bildsignalverarbeitungsverfahren zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals (Vpix), wobei das Bildsignalverarbeitungsverfahren gekennzeichnet ist durch das Umfassen eines ersten Schritts des Extrahieren von Verteilungsparametern aus einer Verteilung von Pixelsignalpegeln, die das Bildsignal (Vpix) einer Abbildung bilden (ST2), eines zweiten Schritts des Bestimmens eines Zielwerts eines Knickpunkts, bei dem sich eine Steigung der Änderung des Bildsignalpegels bezüglich einer kumulierten Änderung der auf die Pixel (21) des Abbildungsteils einfallenden Lichtmenge basierend auf den extrahierten Verteilungsparametern ändert (ST4, ST5), und eines dritten Schritts des Herbeiführens einer Änderung der Ausgabesättigungskennlinie des Bildsignals durch Steuern des Abbildungsteils, so dass der Zielwert erhalten wird (ST8), wobei die Verteilungsparameter einen kleinsten Wert der Pixelsignalpegel in der einen Abbildung beinhalten, der Zielwert einen ersten Zielwert beinhaltet, der einen größten Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert als Startpunkt der Verteilung aufweist, im ersten Schritt (ST2) ein Durchschnittswert der Pixelsignalpegel der Verteilung extrahiert wird, im zweiten Schritt (ST4, ST5) der erste Zielwert innerhalb eines vorherbestimmten Bereichs um den Durchschnittswert festgelegt wird, die Verteilungsparameter einen größten Wert der Pixelsignalpegel in der einen Abbildung beinhalten, und im zweiten Schritt (ST4, ST5) ein Verhältnis eines Werts, der durch Subtraktion des kleinsten Werts von dem ersten Zielwert erhalten wird, in Bezug auf einen Wert, der durch Subtraktion des kleinsten Werts von dem größten Wert erhalten wird, ermittelt wird und das Verhältnis verwendet wird, um einen zweiten Zielwert zu bestimmen.
Bildsignalverarbeitungsverfahren gemäß Anspruch 1, ferner aufweisend einen Histogrammstreckungsschritt (ST3) zur Erweiterung der gesamten Verteilung, um so den kleinsten Wert in Übereinstimmung mit dem Bit mit der im Voraus bestimmten kleinsten Bitbreite zu bringen, um die Verarbeitung auszuführen, und den größten Wert in Übereinstimmung mit dem größten Bit zu bringen.
Bildsignalverarbeitungsverfahren gemäß einem der Ansprüche 1 und 2, ferner aufweisend einen Schritt des Bestimmens, ob der zweite Schritt (ST4, ST5) und der/die nachfolgende(n) Schritte) auszuführen ist/sind oder nicht, basierend auf den Verteilungsparametern.
Bildsignalverarbeitungsvorrichtung zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals (Vpix), wobei die Bildsignalverarbeitungsvorrichtung (3) umfasst: einen Parameterextraktionsteil (35) zur Extraktion von Verteilungsparametern aus einer Verteilung von Pixelsignalpegeln, die ein Bildsignal (Vpix) einer Abbildung bilden, einen Zielbereichsbestimmungsteil (36) zur Bestimmung eines Zielwerts eines Knickpunkts (BP1, BP2, BP3), bei dem sich eine Steigung der Änderung des Bildsignalpegels bezüglich einer kumulierten Änderung der auf die Pixel (21) des Abbildungsteils (10) einfallenden Lichtmenge basierend auf den extrahierten Verteilungsparametern ändert, einen Steuerteil (4) zur Herbeiführung einer Änderung der Ausgabesättigungskennlinie des Bildsignals durch Steuern des Abbildungsteils (10), so dass der Zielwert erhalten wird, und wobei die Verteilungsparameter einen kleinsten Wert der Pixelsignalpegel in der einen Abbildung beinhalten, der Zielwert einen ersten Zielwert beinhaltet, der einen größten Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert als Startpunkt der Verteilung aufweist, der Parameterextraktionsteil (35) einen Durchschnittswert der Pixelsignalpegel der Verteilung extrahiert, der Zielbereichsbestimmungsteil (36) den ersten Zielwert innerhalb eines vorherbestimmten Bereichs um den Durchschnittswert festlegt, die Verteilungsparameter einen größten Wert der Pixelsignalpegel in der einen Abbildung beinhalten und der Zielbereichsbestimmungsteil ein Verhältnis eines Werts, der durch Subtraktion des kleinsten Werts von dem ersten Zielwert erhalten wird, in Bezug auf einen Wert, der durch Subtraktion des kleinsten Werts von dem größten Wert erhalten wird, ermittelt und das Verhältnis verwendet, um den zweiten Zielwert zu bestimmen.
Bildsignalverarbeitungsvorrichtung gemäß Anspruch 4, ferner umfassend einen Histogrammerstellungsteil (34) zur Erstellung eines Histogramms, das die Verteilung darstellt, und zur Durchführung einer Histogrammstreckung, die die gesamte Verteilung erweitert, um so den kleinsten Wert in Übereinstimmung mit dem Bit mit der im Voraus bestimmten kleinsten Bitbreite zu bringen, um die Verarbeitung auszuführen, und den größten Wert in Übereinstimmung mit dem größten Bit zu bringen.
Bildsignalverarbeitungsvorrichtung zur Erweiterung eines dynamischen Bereichs eines aus einem Abbildungsteil erhaltenen Bildsignals (Vpix), umfassend: einen Parameterextraktionsteil (35) zur Extraktion von Verteilungsparametern aus einer Verteilung von Pixelsignalpegeln, die ein Bildsignal einer Abbildung bilden; einen Zielbereichsbestimmungsteil (36) zur Bestimmung eines Zielwerts eines Knickpunkts, bei dem sich eine Steigung der Änderung des Bildsignalpegels bezüglich einer kumulierten Änderung der auf die Pixel (21) des Abbildungsteils einfallenden Lichtmenge basierend auf den extrahierten Verteilungsparametern ändert, einen Steuerteil (4) zur Herbeiführung einer Änderung der Ausgabesättigungskennlinie des Bildsignals durch Steuern des Abbildungsteils (10), so dass der Zielwert erhalten wird, und wobei die Verteilungsparameter einen kleinsten Wert der Pixelsignalpegel in der einen Abbildung beinhalten, der Zielwert einen ersten Zielwert beinhaltet, der einen größten Pegel eines ersten Bereichs kennzeichnet, der den kleinsten Wert als Startpunkt der Verteilung aufweist, der Parameterextraktionsteil (35) einen Durchschnittswert der Pixelsignalpegel der Verteilung extrahiert, Zielbereichsbestimmungsteil (36) den ersten Zielwert innerhalb eines vorherbestimmten Bereichs um den Durchschnittswert festlegt, die Verteilungsparameter einen größten Wert der Pixelsignalpegel in der einen Abbildung beinhalten und der Zielbereichsbestimmungsteil (36) ein Verhältnis eines Werts, der durch Subtraktion des kleinsten Werts von dem ersten Zielwert erhalten wird, in Bezug auf einen Wert, der durch Subtraktion des kleinsten Werts von dem größten Wert erhalten wird, ermittelt und das Verhältnis verwendet, um den zweiten Zielwert zu bestimmen.
Bildsignalverarbeitungsvorrichtung gemäß Anspruch 6, ferner umfassend ein Histogrammerstellungsmittel (34) zur Erstellung eines Histogramms, das die Verteilung darstellt, und zur Durchführung einer Histogrammstreckung, die die gesamte Verteilung erweitert, um so den kleinsten Wert in Übereinstimmung mit dem Bit mit der im Voraus bestimmten kleinsten Bitbreite zu bringen, um die Verarbeitung auszuführen, und den größten Wert in Übereinstimmung mit dem größten Bit zu bringen.