-
Technisches Gebiet
-
Die vorliegende Offenbarung bezieht sich auf eine Bildaufnahmesteuervorrichtung, auf ein Bildaufnahmesteuerverfahren, auf ein Programm und auf ein Aufzeichnungsmedium, in dem das Programm gespeichert ist.
-
Stand der Technik
-
In der folgenden PTL 1 ist eine Bildaufnahmevorrichtung als ein herkömmliches Beispiel für Bildaufnahmesteuervorrichtungen und andere Vorrichtungen, die eine Mehrfachbelichtung vornehmen, beschrieben. Diese Bildaufnahmevorrichtung kann Bilder dadurch erfassen, dass sie eine Mehrfachbelichtung vornimmt, während sie ihre Belichtungsdauer variiert.
-
Liste der Entgegenhaltungen
-
Patentliteratur
-
- PTL 1: ungeprüfte japanische Patentveröffentlichung Nr. 2001-197373
- PTL 2: ungeprüfte japanische Patentveröffentlichung Nr. 2007-104113
-
Zusammenfassung der Erfindung
-
Die vorliegende Offenbarung schafft eine Bildaufnahmesteuervorrichtung, ein Bildaufnahmesteuerverfahren, ein Programm und ein Aufzeichnungsmedium, in dem das Programm gespeichert ist, die es alle ermöglichen, die Erzeugung hochwertiger Mehrfachaufnahmebilder zu steuern.
-
Ein Aspekt der vorliegenden Offenbarung ist für eine Bildaufnahmesteuervorrichtung bestimmt, die einen Controller und einen Eingabeabschnitt enthält. Der Controller veranlasst, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, wenigstens ein erstes Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Der Eingabeabschnitt empfängt das wenigstens eine erste Mehrfachbelichtungsbild. Der Controller wählt eine Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des durch den Eingabeabschnitt empfangenen ersten Mehrfachbelichtungsbilds aus und veranlasst, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, ein Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
-
Ein anderer Aspekt der vorliegenden Offenbarung ist für ein Bildaufnahmesteuerverfahren bestimmt, das enthält: Erfassen wenigstens eines ersten Mehrfachbelichtungsbilds; Empfangen des wenigstens einen ersten Mehrfachbelichtungsbilds; Auswählen einer Impulsbreite; und Erfassen eines Bilds. Das Erfassen des wenigstens einen ersten Mehrfachbelichtungsbilds enthält das Veranlassen, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, das wenigstens eine erste Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Das Auswählen der einen Impulsbreite enthält das Auswählen der einen Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des empfangenen ersten Mehrfachbelichtungsbilds. Das Erfassen des Bilds enthält das Veranlassen, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, das Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
-
Ein weiterer anderen Aspekt der vorliegenden Offenbarung ist für ein Programm bestimmt, das veranlasst, dass ein Computer ein Verfahren ausführt, das enthält: Erfassen wenigstens eines ersten Mehrfachbelichtungsbilds; Empfangen des wenigstens einen ersten Mehrfachbelichtungsbilds; Auswählen einer Impulsbreite; und Erfassen eines Bilds. Das Erfassen des wenigstens einen ersten Mehrfachbelichtungsbilds enthält das Veranlassen, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, das wenigstens eine erste Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Das Auswählen der einen Impulsbreite enthält das Auswählen der einen Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des empfangenen ersten Mehrfachbelichtungsbilds. Das Erfassen des Bilds enthält das Veranlassen, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, das Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
-
Ein nochmals anderer Aspekt der vorliegenden Offenbarung ist für ein nichttransitorisches Aufzeichnungsmedium bestimmt, in dem ein Programm gespeichert ist. Das Programm veranlasst, dass ein Computer ein Verfahren ausführt, das enthält: Erfassen wenigstens eines ersten Mehrfachbelichtungsbilds; Empfangen des wenigstens einen ersten Mehrfachbelichtungsbilds; Auswählen einer Impulsbreite; und Erfassen eines Bilds. Das Erfassen des wenigstens einen ersten Mehrfachbelichtungsbilds enthält das Veranlassen, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, das wenigstens eine erste Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Das Auswählen der einen Impulsbreite enthält das Auswählen der einen Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des empfangenen ersten Mehrfachbelichtungsbilds. Das Erfassen des Bilds enthält das Veranlassen, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, ein Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
-
Gemäß der vorliegenden Offenbarung ist es möglich, eine Bildaufnahmesteuervorrichtung, ein Bildaufnahmesteuerverfahren, ein Programm und ein Aufzeichnungsmedium, in dem das Programm gespeichert ist, zu schaffen, die es alle ermöglichen, einen besser geeigneten Belichtungswert zu bestimmen.
-
Figurenliste
-
- 1 ist ein schematischer Blockschaltplan einer Konfiguration einer Bildaufnahmesteuervorrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung und einer Peripheriekonfiguration.
- 2A ist ein schematischer Blockschaltplan einer Konfiguration des Bildsensors in 1.
- 2B ist eine schematische Querschnittsansicht einer Struktur eines Einheitspixels in 2A.
- 3 ist eine Darstellung, die eine typische Betriebszeiteinstellung der Mehrfachbelichtung in einer Einzelbilddauer darstellt.
- 4 ist eine schematische Ansicht eines Beispiels für Objektbilder (d. h. Bilder eine bewegten Aufnahmegegenstands) S, die in Mehrfachbelichtungsdaten erscheinen.
- 5 ist eine schematische Darstellung, die eine Differenz des elektrischen Potentials zwischen der transparenten Elektrode und der Pixelelektrode, die während der Mehrfachbelichtung in der Einzelbilddauer variiert, darstellt.
- 6 ist ein Ablaufplan eines durch die Bildaufnahmesteuervorrichtung in 1 ausgeführten Prozesses.
- 7 ist eine schematische Darstellung, die eine Zeitsignalform eines ersten Beispiels eines ersten Belichtungssignals darstellt.
- 8 ist eine schematische Darstellung, die eine Zeitsignalform eines zweiten Beispiels des ersten Belichtungssignals darstellt.
- 9 ist eine Darstellung, die Zeitsignalformen eines ersten und eines zweiten Beispiels eines Spannungssignals in der zweiten Einzelbilddauer darstellt.
- 10 ist eine schematische Ansicht eines Fahrzeugs, das sich von einer Nebenfahrspur in eine Hauptfahrspur einer Autobahn bewegt.
- 11 ist ein Blockschaltplan einer detaillierten Konfiguration der elektronischen Steuereinheit (ECU) in 1.
- 12 ist eine schematische Darstellung, die Zeitsignalformen von Belichtungssignalen in einem dritten Einheitseinzelbild darstellt.
- 13 ist eine schematische Darstellung, die eine erste Einzelbilddauer und eine zweite Einzelbilddauer, die zwischen einer Vielzahl von Piloteinzelbilddauern eingefügt sind, darstellt.
- 14 ist eine schematische Querschnittsansicht eines anderen Beispiels einer Struktur der Pixeleinheit in 2A.
-
Beschreibung einer Ausführungsform
-
Mit Bezug auf die beigefügten Zeichnungen wird im Folgenden eine Beschreibung der Bildaufnahmesteuervorrichtung 17 gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung gegeben.
-
<Gesamtkonfiguration der Bildaufnahmesteuervorrichtung und der Peripheriekonfiguration>
-
Mit Bezug auf 1 sind die Bildaufnahmevorrichtung 1, der Richtungs- und Entfernungsmesssensor 3 und die elektronische Steuereinheit (im Folgenden als ECU bezeichnet) 5 im Fahrzeug V kommunikationstechnisch miteinander verbunden.
-
< Konfiguration der Bildaufnahmevorrichtung>
-
Die Bildaufnahmevorrichtung 1 ist in dem Fahrzeug V bei oder in der Nähe der rechten vorderen Ecke angeordnet. Die Bildaufnahmevorrichtung 1 kann z. B. Bilder mit einem weiten Gesichtsfeld, das Bereiche rechts vorn und auf der rechten Seite des Fahrzeugs V enthält, erfassen. Die Bildaufnahmevorrichtung 1 enthält ein Optiksystem 11, einen Bildsensor 13, einen Bildsender 15 und einen Systemcontroller 17.
-
Das Optiksystem 11 weist eine bekannte Gruppe von Linsen auf. Von dieser Gruppe von Linsen ist z. B. eine Fokussierungslinse entlang einer optischen Achse in der Weise beweglich, dass sie eine Brennpunktlage des Bildsensors 13 auf einem Objektbild einstellen kann.
-
Der Bildsensor 13 kann ein Bildsensor eines komplementären Metalloxidhalbleiters (CMOS-Bildsensor) sein. Wie in 2A dargestellt ist, enthält der Bildsensor 13: eine Vielzahl von Pixeln 131, die auf Matrixart angeordnet sind (Pixelanordnungen); eine Zeilenabtastschaltung 133; eine Spaltenabtastschaltung 135; und eine Spannungssteuerschaltung 137. Die Pixel 131 sind über Signalleitungen mit der Zeilenabtastschaltung 133 einzeln elektrisch verbunden und sind außerdem über Signalleitungen mit der Spaltenabtastschaltung 135 einzeln elektrisch verbunden. Einzelheiten der Spannungssteuerschaltung 137 werden später beschrieben. Es wird angemerkt, dass das Bezugszeichen 131 nur einem einzelnen Pixel, zur besseren Sichtbarkeit aus 2A, zugeordnet ist.
-
Wie in 2B dargestellt ist, enthält jedes der Pixel 131 als Hauptkomponenten: einen fotoelektrischen Wandler 1311, der einfallendes Licht fotoelektrisch wandelt; und eine Ladungsdetektionsschaltung 1313.
-
Der fotoelektrische Wandler 1311 enthält: eine transparente Elektrode 1311A; eine Pixelelektrode 1311B; und eine Schicht 1311C für fotoelektrische Wandlung, die zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B gebildet ist. Die Schicht 1311C für fotoelektrische Wandlung kann z. B. ein organischer Dünnfilm sein, der aus Zinnnaphthalocyanain hergestellt ist.
-
Die Ladungsdetektionsschaltung 1313, die innerhalb des Halbleitersubstrats 1315 vorgesehen ist, ist über einen Kontaktstopfen 1319, der innerhalb der Zwischenschichtisolierschicht 1317 gebildet ist, mit der Pixelelektrode 1311B elektrisch verbunden. Die oben ausgelegte Ladungsdetektionsschaltung 1313 detektiert eine in dem fotoelektrischen Wandler 1311 erzeugte Signalladung.
-
Falls in die oben beschriebene Schicht 1311C für fotoelektrische Wandlung Licht eintritt, wenn zwischen die transparente Elektrode 1311A und die Pixelelektrode 1311B eine Vorspannung angelegt ist, wird im Ergebnis der elektrischen Wandlung entweder eine positive oder eine negative Ladung erzeugt und durch die Pixelelektrode 1311B gesammelt. Daraufhin wird die gesammelte Ladung in einer Ladungsdetektionsschaltung 1313 akkumuliert. Die Erfinder und andere haben ermittelt, dass es unter Verwendung der Schicht 1311C für fotoelektrische Wandlung für den fotoelektrischen Wandler 1311 und beträchtlicher Verringerung der Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B möglich ist zu unterdrücken, dass eine bereits in der Ladungsdetektionsschicht 1313 akkumulierte Signalladung durch die Schicht 1311C für fotoelektrische Wandlung zu der transparenten Elektrode 1311A läuft, und außerdem zu unterdrücken, dass die Signalladung in der Ladungsdetektionsschaltung 1313 weiter akkumuliert wird, nachdem die elektrische Potentialdifferenz verringert worden ist. Kurz gesagt, ist es durch Steuern der Höhe der an die Schicht 1311C für fotoelektrische Wandlung angelegten Vorspannung im Gegensatz zum Stand der Technik möglich, eine globale Verschlussfunktion zu erzielen, ohne zusätzliche Elemente wie etwa Übertragungstransistoren für jeweilige Pixel vorzusehen.
-
In dem oben ausgelegten Bildsensor 13 können die Vielzahl von Pixeln 131 eine Vielzahl erfasster Bilddaten gewinnen, wobei sich die gemeinsamen Anzeigeattribute zu unterschiedlichen Zeitpunkten innerhalb jeder einzelnen Einzelbilddauer, die eine vorgegebene Wiederholungsdauer ist, im Grad voneinander unterscheiden. Daraufhin kann der Bildsensor 13 durch Multiplexen der erfassten Bilddaten ein Mehrfachbelichtungsbild erzeugen. Die Ladungsdetektionsschaltung 1313 in jedem Pixel 131 kann die erzeugten Mehrfachbelichtungsbilddaten lesen und gibt die Mehrfachbelichtungsbilddaten daraufhin sowohl an den Bildsender 15 als auch an den Systemcontroller 17 aus. Alternativ kann der Bildsensor 13 anstelle der Mehrfachbelichtungsbilddaten Einfachbelichtungsbilddaten erzeugen. Einzelheiten des gemeinsamen Anzeigeattributs werden später beschrieben.
-
Es wird erneut auf 1 Bezug genommen. Der Bildsender 15 gibt die Mehrfachbelichtungsbilddaten und andere Bilddaten nach außen (z. B. an die ECU 5) aus. In diesem Fall können die auszugebenden Mehrfachbelichtungsbilddaten und anderen Daten Rohdaten, die keiner Verarbeitung wie etwa Komprimierungsverarbeitung ausgesetzt worden sind, oder solche, die einer beliebigen Bildverarbeitung wie etwa einer Bildkomprimierungsverarbeitung ausgesetzt worden sein können, sein.
-
Der Systemcontroller 17 enthält als Hauptkomponenten einen Eingabeabschnitt 171, einen Programmspeicher 173, einen Arbeitsspeicher 175, einen Bildaufnahmevorrichtungs-seitigen Mikrocomputer 177 und einen Ausgabeabschnitt 179.
-
Der Eingabeabschnitt 171 kann die Mehrfachbelichtungsbilddaten empfangen.
-
Der Mikrocomputer 177 führt ein in dem Programmspeicher 173 vorgespeichertes Programm P1 aus, während er den Arbeitsspeicher 175 verwendet, wodurch er als ein Controller für die Bildaufnahmesteuervorrichtung 17 fungiert. Außerdem steuert der Systemcontroller 17 die gesamte Bildaufnahmevorrichtung 1, um als Bildaufnahmesteuervorrichtung 17 zu fungieren. Allerdings können Personen im Zusammenhang mit der vorliegenden Offenbarung kein Interesse an dieser Funktion haben, so dass Einzelheiten nicht beschrieben werden.
-
<Grundbetrieb der Bildaufnahmevorrichtung>
-
Nachfolgend wird mit Bezug auf 3 bis 5 eine Beschreibung eines Grundbetriebs der Bildaufnahmevorrichtung 1 gegeben.
-
3 ist eine Darstellung, die eine typische Betriebszeiteinstellung der Mehrfachbelichtung in einer Einzelbilddauer darstellt. In diesem Fall wird diese Einzelbilddauer wiederholt.
-
Das Bezugszeichen VD bezeichnet in 3 einen Anfangsimpuls der Einzelbilddauer.
-
Das Belichtungssignal enthält Impulse, von denen jeder angibt, ob die Belichtung gültig oder ungültig ist. In der vorliegenden Offenbarung entsprechen die Hoch-Dauern (im Folgenden als Hi-Dauern bezeichnet) Belichtungsdauern (Belichtungszuständen), in denen die Schicht 1311C für fotoelektrische Wandlung jeweils Licht ausgesetzt wird. Die Tief-Dauern (im Folgenden als Low-Dauern bezeichnet) entsprechen Nichtbelichtungsdauern (Nichtbelichtungszuständen). In der vorliegenden Offenbarung ist jede der in dem Belichtungssignal enthaltenen Impulsbreiten in der Einzelbilddauer variabel, um ihre Belichtungsdauer zu variieren.
-
Das Anzeigeattribut-Einstellsignal ist ein Signal zur Verwendung beim Einstellen des Grads des gemeinsamen Anzeigeattributs. Das Anzeigeattribut-Einstellsignal mit einer höheren Impulsamplitude gibt einen höheren Grad des gemeinsamen Anzeigeattributs an.
-
Alternativ können das Belichtungssignal und das Anzeigeattribut-Einstellsignal ein einziges Signal sein, das beide Funktionen aufweist.
-
In der vorliegenden Offenbarung ist das gemeinsame Anzeigeattribut die Lichtstärke und/oder die Farbe. Die Lichtstärke ist ein Helligkeitswert, der aus einem RGB-Signal jeder Pixelzelle erhalten wird, während die Farbe ein Farbton oder Chroma ist, der aus dem RGB-Signal gewonnen wird.
-
In einem typischen Fall können das Belichtungssignal und das Anzeigeattribut-Einstellsignal durch den Systemcontroller 17 erzeugte Steuersignale sein.
-
3 stellt ein Beispiel dar, in dem die Belichtung innerhalb einer Einzelbilddauer fünfmal vorgenommen wird. Der Bildsensor 13 akkumuliert und multiplext eine Vielzahl durch die Belichtung gewonnener erfasster Bilddaten und erzeugt dadurch die Mehrfachbelichtungsbilddaten. In diesen Mehrfachbelichtungsbilddaten werden durch dasselbe Pixel 131 in der Pixelanordnung (siehe 2) während jeder einzelnen Belichtungsdauer Bilder eines feststehenden Objekts wie etwa Hintergrundbilder erfasst. Daraufhin werden die Bilddaten durch dasselbe Pixel 131 akkumuliert.
-
Im Gegensatz dazu können Bilder eines Objekts, das sich in der Einzelbilddauer bewegt, während jeweiliger Belichtungsdauern durch unterschiedliche Pixel 131 erfasst werden. Im Ergebnis werden in den Mehrfachbelichtungsbilddaten fünf unabhängige Bilder des Objekts synthetisiert, falls sich unterschiedliche Pixel 131 auf das in den jeweiligen fünf Belichtungsprozessen erfasste Bild beziehen.
-
Dadurch, dass die Belichtungsprozesse einzeln ausgeführt werden, während der Grad (z. B. einen Helligkeitswert) des gemeinsamen Anzeigeattributs gemäß dem Anzeigeattribut-Einstellsignal variiert wird, ist es möglich, den Grad (z. B. ein Helligkeitswert) des gemeinsamen Anzeigeattributs erfasster Bilddaten, die während jeder Belichtungsdauer gewonnen werden, zu variieren. Im Ergebnis weisen die fünf Bilder des bewegten Objekts in den Mehrfachbelichtungsbilddaten unterschiedliche Grade des gemeinsamen Anzeigeattributs auf.
-
4 stellt schematisch ein Beispiel von Objektbildern (d. h. Bildern eines bewegten Aufnahmegegenstands) S dar, die in den Mehrfachbelichtungsbilddaten erscheinen. In 4 ist die Differenz zwischen dem Grad des gemeinsamen Anzeigeattributs durch einen Helligkeitswert ausgedrückt. 4 gibt an, dass ein Objektbild mit einem höheren Helligkeitswert in der zeitlichen Aufeinanderfolge einem neueren Objektbild entspricht. In diesem Fall ist die Zeitänderung des Grads des gemeinsamen Anzeigeattributs vorzugsweise eine monotone Zunahme oder eine monotone Abnahme.
-
In der vorliegenden Offenbarung kann die Empfindlichkeit pro Zeiteinheit jedes Pixels 131 außerdem für die einzelnen Belichtungsprozesse in der Einzelbilddauer unterschiedlich eingestellt werden. Auf diese Weise ist es möglich, Lichtstärke- und Farbinformationen zwischen den Belichtungsprozessen zu variieren. Genauer kann dadurch, dass die Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B (siehe 2B) in dem fotoelektrischen Wandler 1311 variiert wird, die Empfindlichkeit für die einzelnen Belichtungsprozesse unterschiedlich eingestellt werden. Einzelheiten, wie die Empfindlichkeit unterschiedlich eingestellt wird, sind z. B. in PTL 2 beschrieben und werden somit hier nicht beschrieben.
-
Durch Verringern der Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B (siehe 2B) in dem Ausmaß, dass eine im Ergebnis der fotoelektrischen Wandlung erzeugte Ladung nicht detektiert wird, ist es außerdem möglich, die Empfindlichkeit auf näherungsweise null einzustellen. Dieses Schema kann eine globale Verschlussoperation erzielen.
-
Der Bildsensor 13 enthält eine Spannungssteuerschaltung 137, die auf der Grundlage eines Steuersignals, das den Grad des gemeinsamen Anzeigeattributs angibt, den Grad des gemeinsamen Anzeigeattributs variiert. Die Vielzahl von Pixeln 131 sind über Steuerleitungen des Films für fotoelektrische Wandlung mit der Spannungssteuerschaltung 137 elektrisch verbunden. Genauer sind die elektrischen Potentiale der Pixelelektroden 1311B gleich den elektrischen Potentialen der entsprechenden Ladungsdetektionsschaltungen 1313. Die Steuerleitungen des Films für fotoelektrische Wandlung sind mit den transparenten Elektroden 1311A elektrisch verbunden. Die Spannungssteuerschaltung 137 legt an die transparente Elektrode 1311A auf der Grundlage des Steuersignals, das den Grad des gemeinsamen Anzeigeattributs angibt, ein vorgegebenes elektrisches Potential an.
-
5 stellt schematisch einen Zustand dar, in dem eine Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B während der Mehrfachbelichtung in der Einzelbilddauer variiert (mit anderen Worten eine an die transparente Elektrode 1311A angelegte Spannung variiert).
-
In dem Beispiel aus 5 entspricht der Grad des gemeinsamen Anzeigeattributs der Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B. Da ein Signal zur Verwendung bei der Einstellung der Differenz des elektrischen Potentials eine erhöhte Impulsamplitude aufweist, nimmt die Differenz des elektrischen Potentials zu. Die Belichtungszeit ist durch eine Impulsbreite angegeben.
-
In der dargestellten Differenz des elektrischen Potentials entspricht der Low-Pegel einem Pegel, in dem die fotoelektrische Wandlung nicht vorgenommen wird. Mit anderen Worten, der Low-Pegel entspricht einem Pegel, in dem ein globaler Verschlussbetrieb möglich ist. Andere Pegel als der Low-Pegel entsprechen einem ausreichenden Pegel, um die fotoelektrische Wandlung vorzunehmen. Der Hi-Pegel entspricht einem Pegel, in dem die fotoelektrische Wandlung maximal vorgenommen wird. Somit führt eine höhere Differenz des elektrischen Potentials in jedem Pixel 131 zu einer höheren Empfindlichkeit. Ein Zyklus, der den Low-Pegel und andere Pegel der Differenz des elektrischen Potentials enthält, wird mehrmals wiederholt. Dadurch wird die Mehrfachbelichtungsbilderfassung ausgeführt. Dadurch, dass die Differenzen des elektrischen Potentials für die Bilderfassungen unterschiedlich eingestellt werden, unterscheiden sich die Empfindlichkeiten für die jeweiligen Belichtungsdauern voneinander.
-
Wie oben beschrieben wurde, ist es dadurch, dass die Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B für die jeweiligen Belichtungsprozesse innerhalb der Einzelbilddauer unterschiedlich eingestellt wird, und dadurch, dass der globale Verschlussbetrieb ausgeführt wird, möglich, sowohl eine Mehrfachbelichtung vorzunehmen als auch die Empfindlichkeit für die Bilderfassung zu variieren. Im Ergebnis ist es möglich, die Grade des gemeinsamen Anzeigeattributs (genauer einen Helligkeitswert) für die jeweiligen Belichtungsprozesse innerhalb einer Einzelbilddauer unabhängig und unterschiedlich einzustellen. Dies ermöglicht, eine zeitlich aufeinanderfolgende Bewegung eines Objektbilds in den Mehrfachbelichtungsbilddaten zu prüfen.
-
<Einzelheiten des technischen Problems>
-
Wie oben beschrieben wurde, ermöglicht der Bildsensor 13 der vorliegenden Offenbarung, dass eine zeitlich aufeinanderfolgende Bewegung eines Objektbilds in den Mehrfachbelichtungsbilddaten geprüft wird. Allerdings kann der Bildsensor 13 in Abhängigkeit von einem Belichtungswert, der durch eine Belichtungszeit bestimmt ist, die durch eine Impulsamplitude oder durch eine Impulsbreite eines Belichtungssignals innerhalb der Einzelbilddauer angegeben ist, eine Unterbelichtung oder eine Überbelichtung veranlassen. Die Unterbelichtung oder die Überbelichtung könnte verhindern, dass das Objektbild klar geprüft wird.
-
Die vorliegende Offenbarung soll eine Bildaufnahmesteuervorrichtung 17 und beliebige andere Vorrichtungen, die einen Belichtungswert geeignet einstellen können, schaffen.
-
<Der spezifische Prozess, der durch die Bildaufnahmesteuervorrichtung ausgeführt wird>
-
Nachfolgend wird mit Bezug auf 6 eine Beschreibung eines spezifischen Prozesses gegeben, der durch die Bildaufnahmesteuervorrichtung 17 ausgeführt wird.
-
Nach Beginn der Ausführung des Programms P1 bestimmt der Mikrocomputer 177 zunächst, ob ein Zeitpunkt für die Bestimmung eines Belichtungswerts gekommen ist (Schritt S001).
-
Im Folgenden wird ein Beispiel des Bestimmungsverfahrens des Schritts S001 beschrieben. Als ein erstes Beispiel kann ein Mikrocomputer 177, dass der Zeitpunkt gekommen ist, in Abhängigkeit davon bestimmen, ob seit dem letzten Mal, als der Belichtungswert bestimmt worden ist, eine gegebene Zeitdauer verstrichen ist. Als ein zweites Beispiel kann der Mikrocomputer 177, dass der Zeitpunkt gekommen ist, in Abhängigkeit davon bestimmen, ob eine voreingestellte Zeit gekommen ist. Auf jeden Fall wird der Belichtungswert vorzugsweise in richtigen Zeitintervallen vorgegeben, da wegen einer Einstrahlung eines Bereichs, der ein Objekt enthält, eine Unterbelichtung oder eine Überbelichtung veranlasst werden kann.
-
Wenn in Schritt S001 Nein ausgewählt wird, führt der Mikrocomputer 177 den Prozess in Schritt S017 aus.
-
Wenn in Schritt S001 Ja ausgewählt wird, erzeugt der Mikrocomputer 177 als ein erstes Beispiel des Belichtungssignals (Schritt S003) ein erstes Belichtungssignal (siehe 7). 7 ist ein Zeitablaufplan von Einzelbilddauern, die mehrmals wiederholt werden, genauer ein Zeitablaufplan dafür, wie die Belichtung mit einer Vielzahl von Impulsen innerhalb jeder Einzelbilddauer vorgenommen wird. Von diesen Einzelbilddauern wird eine, die einem Zeitpunkt der Bestimmung eines Belichtungswerts entspricht, als eine erste Einzelbilddauer bezeichnet. Wenigstens eine der Einzelbilddauern, die auf die Einzelbilddauer, die dem Zeitpunkt der Bestimmung eines Belichtungswerts entspricht, folgt, wird als eine zweite Einzelbilddauer bezeichnet. In 7 enthält das erste Belichtungssignal eine Vielzahl von Impulsen mit unterschiedlichen Impulsbreiten in der ersten Einzelbilddauer. In diesem Fall können die Impulsbreiten entweder dieselben wie die Impulsbreiten, die das letzte Mal eingestellt wurden, als der Prozess in Schritt S003 ausgeführt worden ist, oder andere sein. Die in 7 dargestellte Vielzahl von Impulsen weisen dieselbe Impulsamplitude, aber unterschiedliche Tastgrade auf.
-
Wie in 8 dargestellt ist, kann das erste Belichtungssignal im Gegensatz zu dem in 7 dargestellten Zustand in der Einzelbilddauer eine Vielzahl von Impulsen mit unterschiedlichen Impulsbreiten, aber mit derselben Impulsamplitude und mit demselben Tastgrad enthalten.
-
Daraufhin erzeugt der Mikrocomputer 177 ein Anzeigeattribut-Einstellsignal, für das Beispiele in 7 und 8 dargestellt sind (Schritt S005). Genauer weist das Anzeigeattribut-Einstellsignal in den jeweiligen Impulsdauern des ersten Belichtungssignals unterschiedliche Amplitudenpegel auf.
-
In Schritt S007 gibt der Mikrocomputer 177 das erzeugte erste Belichtungssignal und Anzeigeattribut-Einstellsignal über den Ausgabeabschnitt 179 an die Spannungssteuerschaltung 137 aus.
-
Die Spannungssteuerschaltung 137 schaltet das empfangene Anzeigeattribut-Einstellsignal unter Verwendung des empfangenen ersten Belichtungssignals. Mit anderen Worten, wenn das empfangene erste Belichtungssignal eine Hi-Dauer aufweist, gibt die Spannungssteuerschaltung 137 das empfangene Anzeigeattribut-Einstellsignal aus. Die Spannungssteuerschaltung 137 führt die Schaltoperation auf diese Weise aus, um ein Spannungssignal zu erzeugen (siehe einen linken Bereich eines oberen Teils von 9) und legt dieses Spannungssignal gleichzeitig zwischen die transparenten Elektroden 1311A und die Pixelelektroden 1311B in allen Pixeln 131 an (globale Verschlussfunktion). In der vorliegenden Offenbarung gibt die Impulsbreite jedes Impulses in dem Spannungssignal eine Belichtungszeit an und gibt die Impulsamplitude einen Helligkeitswert an.
-
Der Bildsensor 13 führt durch Anlegen der Spannung an alle Pixel 131 die globale Verschlussoperation aus, so dass der Belichtungsprozess in allen Pixeln 131 in der Einzelbilddauer gleichzeitig beginnt und endet. Der Bildsensor 13 liest mit der Zeilenabtastschaltung 133 und mit der Spaltenabtastschaltung 135 eine in jedem Pixel 131 akkumulierte Signalladung. Daraufhin gibt der Bildsensor 13 erste Mehrfachbelichtungsbilddaten als das erste Beispiel der Mehrfachbelichtungsbilddaten aus. Die ausgegebenen ersten Mehrfachbelichtungsbilddaten werden über den Eingabeabschnitt 171 in dem Arbeitsspeicher 175 gespeichert. Auf diese Weise gewinnt der Mikrocomputer 177 die ersten Mehrfachbelichtungsbilddaten (Schritt S009).
-
10 stellt ein Fahrzeug V dar, das sich aus einer Nebenfahrspur in eine Hauptfahrspur einer Autobahn bewegt. In diesem Fall fahren eine Vielzahl von Fahrzeugen (ein vorausfahrendes Fahrzeug V1 und ein folgendes Fahrzeug V2), deren Scheinwerfer und Schlussleuchte leuchten, entlang der Hauptfahrspur auf der rechten Seite des Fahrzeugs V, das entlang der Nebenfahrspur fährt. Ferner fahren sowohl das vorausfahrende Fahrzeug V1 als auch das folgende Fahrzeug V2 mit einer höheren Geschwindigkeit als einer Fahrgeschwindigkeit des Fahrzeugs V und somit mit einer Relativgeschwindigkeit. In den ersten Mehrfachbelichtungsbilddaten, die in dieser Situation gewonnen werden, erscheint z. B. eine Schlussleuchte des vorausfahrenden Fahrzeugs als ein erster bewegter Aufnahmegegenstand und erscheint ein Scheinwerfer des folgenden Fahrzeugs als ein zweiter bewegter Aufnahmegegenstand.
-
Wie oben beschrieben wurde, nimmt die Impulsamplitude z. B. jedes Mal, wenn der Belichtungsprozess in der Einzelbilddauer ausgeführt wird, monoton zu. Das heißt, wenn die Belichtungszeiten bestimmt werden, gibt der Helligkeitswert jedes Bild des ersten bewegten Aufnahmegegenstands in den ersten Mehrfachbelichtungsbilddaten an, wie oft ein entsprechendes Bild belichtet worden ist.
-
Wenn die Belichtungszeiten bestimmt werden, unterscheiden sich die Belichtungsdaten in der Einzelbilddauer voneinander. Somit weisen Bilder des ersten bewegten Aufnahmegegenstands, die in den ersten Mehrfachbelichtungsbilddaten erscheinen, unterschiedliche Belichtungspegel auf. Falls eine Überbelichtung auftritt, kann ein entsprechendes Bild unscharf sein. Falls eine Unterbelichtung auftritt, kann ein entsprechendes Bild dunkel erscheinen.
-
Die obigen Eigenschaften sind für einen Helligkeitswert und für einen Belichtungspegel des zweiten bewegten Aufnahmegegenstands wahr.
-
Der Mikrocomputer 177 detektiert aus den gewonnenen ersten Mehrfachbelichtungsbilddaten eine Vielzahl von Bildern des ersten bewegten Aufnahmegegenstands, die unterschiedliche Helligkeitswerte und unterschiedliche Belichtungszeiten aufweisen. Alternativ detektiert der Mikrocomputer 177 eine Vielzahl von Bildern des zweiten bewegten Aufnahmegegenstands (Schritt SOll).
-
Daraufhin führt der Mikrocomputer 177 an den detektierten Bildern des ersten bewegten Aufnahmegegenstands (oder des zweiten bewegten Aufnahmegegenstands) eine Kantendetektion aus und wählt er das Bild aus, dessen Helligkeit an der Begrenzung des umgebenden Gebiets am schärfsten variiert (Schritt S013).
-
Die Helligkeitsreihenfolge der Bilder des ersten bewegten Aufnahmegegenstands (oder des zweiten bewegten Aufnahmegegenstands) hängt eindeutig mit der Belichtungszeit zusammen. Der Mikrocomputer 177 bestimmt auf der Grundlage der Helligkeitsreihenfolge des Bilds eine Belichtungszeit für ein Bild des ersten bewegten Aufnahmegegenstands (oder des zweiten bewegten Aufnahmegegenstands), das in Schritt S013 ausgewählt worden ist (Schritt S015). Die auf diese Weise bestimmte Belichtungszeit kann als die optimale Belichtungszeit gemäß der gegenwärtigen Einstrahlung angesehen werden.
-
Nach Schritt S015 erzeugt der Mikrocomputer 177 ein zweites Belichtungssignal (siehe 7) als ein zweites Beispiel des Belichtungssignals (Schritt S017). Genauer enthält das zweite Belichtungssignal mit Bezug auf 7 in der zweiten Einzelbilddauer eine Vielzahl von Impulsen, jeweils mit der in Schritt S015 bestimmten Impulsbreite.
-
Daraufhin erzeugt der Mikrocomputer 177 ein Anzeigeattribut-Einstellsignal, wie es z. B. in Schritt S005 beschrieben ist (Schritt S019).
-
Der Mikrocomputer 177 gibt das erzeugte zweite Belichtungssignal und Anzeigeattribut-Einstellsignal über den Ausgabeabschnitt 179 an die Spannungssteuerschaltung 137 aus (Schritt S021).
-
Die Spannungssteuerschaltung 137 schaltet das empfangene Anzeigeattribut-Einstellsignal unter Verwendung des empfangenen zweiten Belichtungssignals, um ein Spannungssignal zu erzeugen (siehe einen rechten Bereich eines oberen Teils von 5 oder 9). Daraufhin legt die Spannungssteuerschaltung 137 dieses Spannungssignal gleichzeitig zwischen die transparenten Elektroden 1311A und die Pixelelektroden 1311B in allen Pixeln 131 an (globale Verschlussfunktion).
-
9 stellt in einem rechten Bereich eines oberen Teils das Spannungssignal dar, dessen Impulsamplitude in der zweiten Einzelbilddauer monoton zunimmt. Allerdings ist die Signalform des Spannungssignals nicht auf dieses Beispiel beschränkt. Wie in einem rechten Bereich eines unteren Teils von 9 dargestellt ist, kann alternativ das Spannungssignal mit einer im Wesentlichen konstanten Impulsamplitude gleichzeitig an alle Pixel 131 in der zweiten Einzelbilddauer angelegt werden.
-
Der Bildsensor 13 führt die globale Verschlussfunktion durch Anlegen der Spannung an alle Pixel 131 aus, so dass der Belichtungsprozess in der zweiten Einzelbilddauer in allen Pixeln 131 gleichzeitig beginnt und endet. Der Bildsensor 13 liest mit der Zeilenabtastschaltung 133 und mit der Spaltenabtastschaltung 135 eine Signalladung, die in jedem Pixel 131 akkumuliert wird. Daraufhin gibt der Bildsensor 13 zweite Mehrfachbelichtungsbilddaten als das zweite Beispiel der Mehrfachbelichtungsbilddaten aus. Die ausgegebenen zweiten Mehrfachbelichtungsbilddaten werden über den Bildsender 15 an die ECU 5 gesendet (Schritt S023).
-
Nach dem oben beschriebenen Schritt S023 nimmt der Mikrocomputer 177 den Prozess in Schritt S001 wieder auf.
-
<Funktion und Wirkung>
-
Wie in 10 dargestellt ist, fahren ein vorausfahrendes Fahrzeug V1 und ein folgendes Fahrzeug V2, deren Scheinwerfer und Schlussleuchte leuchten, auf der rechten Seite des Fahrzeugs V, das entlang der Nebenfahrspur fährt, entlang der Hauptfahrspur. In den zweiten Mehrfachbelichtungsbilddaten, die in dieser Situation gewonnen werden, erscheint z. B. eine Schlussleuchte des vorausfahrenden Fahrzeugs V1 als der erste bewegte Aufnahmegegenstand und erscheint ein Scheinwerfer des folgenden Fahrzeugs V2 als der zweite bewegte Aufnahmegegenstand. Da jede Belichtungszeit wie oben beschrieben in der zweiten Einzelbilddauer optimal eingestellt wird, werden der erste und der zweite bewegte Aufnahmegegenstand in den zweiten Mehrfachbelichtungsbilddaten über die optimalen Belichtungszeiten belichtet. Im Ergebnis können Licht und Schatten geeignet wiedergegeben werden.
-
Mit der globalen Verschlussfunktion kann der Bildsensor 13 zweite Mehrfachbelichtungsbilddaten liefern, in denen ein wenig verzerrter, sich mit hoher Geschwindigkeit bewegender Aufnahmegegenstand erscheint, selbst wenn ein Bild des bewegten Aufnahmegegenstands erfasst wird, der sich mit einer hohen Geschwindigkeit bewegt.
-
Da die Bildaufnahmesteuervorrichtung 17 innerhalb einer einzelnen Einzelbilddauer eine optimale Belichtungszeit bestimmt, ist die Bildaufnahmesteuervorrichtung 17 in der vorliegenden Offenbarung für Fahrzeuganwendungen besonders geeignet. Ein Grund dafür ist, dass, falls eine Belichtungszeit über eine Vielzahl von Einzelbilddauern bestimmt wird, diese Belichtungszeit üblicherweise nicht länger als eine optimale Belichtungszeit zu der Zeit der Bestimmung ist, da sich eine Verkehrsumgebung, in der das eigene Fahrzeug V und ein nahes Fahrzeug mit hohen Geschwindigkeiten fahren, dynamisch ändern kann.
-
Wie oben beschrieben wurde, ist es in der vorliegenden Offenbarung möglich, eine Belichtungszeit mehrmals zu bestimmen. Zu diesem Zweck kann die Bildaufnahmesteuervorrichtung 17 eine optimale Belichtungszeit gemäß einer Einstrahlungsumgebung des fahrenden Fahrzeugs V, die sich mit der Zeit ändern kann, geeignet einstellen.
-
<Peripheriekonfiguration der Bildaufnahmesteuervorrichtung>
-
Mit Bezug auf 1 wird ein Richtungs- und Entfernungsmesssensor 3 beschrieben. Der Richtungs- und Entfernungsmesssensor 3 ist bei der oder in der Nähe der vorderen rechten Ecke eines Fahrzeugs V angeordnet, um ein Blickfeld, das Bereiche rechts vorn und auf der rechten Seite des Fahrzeugs V enthält, abzudecken. Der Richtungs- und Entfernungsmesssensor 3 detektiert z. B. wenigstens eine Richtung und eine Entfernung zu einem Ziel wie etwa zu einem vorausfahrenden Fahrzeug V1 oder zu einem folgenden Fahrzeug V2 und gibt die detektierte Richtung und Entfernung an die ECU 5 aus.
-
Genauer strahlt der Richtungs- und Entfernungsmesssensor 3, um die Richtung und die Entfernung zu dem Ziel zu detektieren, in ein Blickfeld ein Signal, das z. B. aus einer Funkwelle, aus einer Schallwelle, aus Infrarotlicht oder aus Nahinfrarotlicht gebildet ist, aus, und verarbeitet er ein Rücksignal, das durch das Ziel reflektiert oder gestreut und von ihm zurückgesendet wird. Der Richtungs- und Entfernungsmesssensor 3 dieses Typs kann ein Doppler-Radar, ein Radar vom Laufzeittyp (TOF-Typ) oder eine Lichtortung und Abstandsmessung (LIDAR) sein.
-
Alternativ kann der Richtungs- und Entfernungsmesssensor 3 eine Stereokamera sein.
-
Um den durch die ECU 5 ausgeführten Prozess zu vereinfachen, weisen die Bildaufnahmevorrichtung 1 und der Richtungs- und Entfernungsmesssensor 3 vorzugsweise eine feste Positionsbeziehung auf.
-
Nachfolgend wird die in 1 dargestellte ECU 5 beschrieben.
-
Wie in 11 dargestellt ist, enthält die ECU 5 als Hauptkomponenten einen Informationseingabeabschnitt 51, einen Bildeingabeabschnitt 53, einen Programmspeicher 55, einen Arbeitsspeicher 57, einen ECU-seitigen Mikrocomputer 59 und einen ECU-seitigen Ausgabeabschnitt 511.
-
Der Informationseingabeabschnitt 51 kann z. B. eine Schnittstelle eines Steuerbereichsnetzes (CAN) sein. Der Informationseingabeabschnitt 51 empfängt von dem Richtungs- und Entfernungsmesssensor 3 Informationen, die die Richtung und die Entfernung zu jedem einzelnen Ziel angeben.
-
Der Bildeingabeabschnitt 53 kann z. B. eine Schnittstelle eines medienorientierten Systemtransports (MOST) sein. Der Bildeingabeabschnitt 53 empfängt wenigstens die zweiten Mehrfachbelichtungsbilddaten von der Bildaufnahmevorrichtung 1.
-
Die durch den Informationseingabeabschnitt 51 empfangenen Informationen und die durch den Bildeingabeabschnitt 53 empfangenen zweiten Multiplexbilddaten werden gemäß der Steuerung des Mikrocomputers 59 an den Arbeitsspeicher 57 übertragen.
-
Der Mikrocomputer 59 führt das in dem Programmspeicher 55 vorgespeicherte Programm P3 aus, während er den Arbeitsspeicher 57 verwendet, und fungiert dadurch als ein Controller für die ECU 5.
-
Der Mikrocomputer 59 schätzt in der in 10 dargestellten Szene, genauer in der Szene, in der das vorausfahrende Fahrzeug V1 und das folgende Fahrzeug V2 entlang der Hauptfahrspur der Autobahn vor bzw. hinter einer Position fahren, bei der sich das Fahrzeug V aus der Nebenfahrspur in die Hauptfahrspur zu bewegen versucht, den Fahrzeugabstand d zwischen vorausfahrendem Fahrzeug V1 und folgendem Fahrzeug V2 und die Bewegungsgeschwindigkeiten des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2.
-
In diesem Fall führt der Mikrocomputer 59 z. B. an den empfangenen zweiten Multiplexbilddaten für ein Einzelbild eine Kantendetektion aus, um den ersten bewegten Aufnahmegegenstand (d. h. die Schlussleuchte des vorausfahrenden Fahrzeugs V1) und den zweiten bewegten Aufnahmegegenstand (d. h. den Scheinwerfer des folgenden Fahrzeugs V2) zu erkennen. Daraufhin schätzt der Mikrocomputer 59 eine Entfernung zwischen vorausfahrendem Fahrzeug V1 und folgendem Fahrzeug V2 genau als Fahrzeugabstand d. Ferner kann der Mikrocomputer 59 für die Entfernungen zwischen dem Fahrzeug V und dem ersten bewegten Aufnahmegegenstand und zwischen dem Fahrzeug V und dem zweiten bewegten Aufnahmegegenstand Informationen, die von dem Richtungs- und Entfernungsmesssensor 3 empfangen werden, verwenden.
-
Da in den zweiten Multiplexbilddaten eine Vielzahl von Bildern jeweils des ersten und des zweiten bewegten Aufnahmegegenstands erscheinen, kann der Mikrocomputer 59 außerdem zeitliche Änderungen in den Bewegungsgeschwindigkeiten des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2 und des Fahrzeugabstands d detektieren.
-
Wie oben beschrieben wurde, erfasst der Bildsensor 13 in dem obigen Fall durch die globale Verschlussfunktion ein Bild über eine optimale Belichtungszeit. Somit sind die resultierenden Bilder in den empfangenen zweiten Multiplexbilddaten minimal unscharf und verzerrt. Dies ist es, wie der Mikrocomputer 59 den Fahrzeugabstand d genau detektieren kann.
-
Darüber hinaus kann der Mikrocomputer 59 in der vorliegenden Offenbarung die empfangenen zweiten Multiplexbilddaten für ein Einzelbild verarbeiten, um den Fahrzeugabstand d zu liefern. Mit anderen Worten, der Mikrocomputer 59 kann den Fahrzeugabstand d liefern, ohne auf mehrere Einzelbilder von den Bildern von der Bildaufnahmevorrichtung 1 zu warten. Somit ist es gemäß der vorliegenden Offenbarung möglich, den Fahrzeugabstand d in einer verhältnismäßig kurzen Zeit zu liefern.
-
Der Mikrocomputer 59 überträgt den auf die obige Weise gelieferten Fahrzeugabstand d und andere Informationen z. B. über den ECU-seitigen Ausgabeabschnitt 511 an eine ECU, die für automatisches Fahren bestimmt ist. Die für automatisches Fahren bestimmte ECU steuert z. B. auf der Grundlage des empfangenen Fahrzeugabstands d die Lenkung, das Fahrpedal und die Bremse des Fahrzeugs V so, um das Fahrzeug V auf die Hauptfahrspur der Autobahn zu führen.
-
<Anmerkung (Impulsbreite und Impulsdauer hinsichtlich der Relativgeschwindigkeit)>
-
Wie oben beschrieben wurde, enthält das erste Belichtungssignal in der ersten Einzelbilddauer eine Vielzahl von Impulsen, die unterschiedliche Impulsbreiten aufweisen. Falls die Bildaufnahmevorrichtung 1 wie in der vorliegenden Offenbarung für eine Fahrzeuganwendung verwendet wird, werden die Impulsbreiten vorzugsweise auf der Grundlage der Fahrgeschwindigkeiten des eigenen Fahrzeugs V und nahegelegener Fahrzeuge, die das Ziel sein sollen (des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2), eingestellt. Darüber hinaus werden die Impulsbreiten in dem ersten Belichtungssignal vorzugsweise auf der Grundlage der Relativgeschwindigkeiten zwischen dem eigenen Fahrzeug V und den Zielfahrzeugen V1, V2 ausgewählt. Dadurch erfasst der Bildsensor 13 Bilder von Aufnahmegegenständen (d. h. nahen Fahrzeugen) über eine besser geeignete Belichtungszeit. Im Ergebnis kann der Mikrocomputer 59 einen Fahrzeugabstand und eine Bewegungsgeschwindigkeit genauer schätzen.
-
Vorzugsweise werden die Impulsdauern in dem ersten Belichtungssignal auf der Grundlage der Fahrgeschwindigkeiten des eigenen Fahrzeugs V und naher Fahrzeuge, die das Ziel sein sollen (des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2), eingestellt. Darüber hinaus werden die Impulsdauern in dem ersten Belichtungssignal vorzugsweise auf der Grundlage der Relativgeschwindigkeiten zwischen dem eigenen Fahrzeug V und den Zielfahrzeugen V1, V2 ausgewählt. Dadurch kann der Bildsensor 13 einen Abstand zwischen den Bildern von Aufnahmegegenständen (d. h. nahen Fahrzeugen) in den ersten Mehrfachbelichtungsbilddaten einstellen und somit z. B. die Kantendetektion erleichtern. Im Ergebnis kann der Mikrocomputer 59 einen Fahrzeugabstand und eine Bewegungsgeschwindigkeit genauer schätzen.
-
<Anmerkung (Impulsbreite und Impulsdauer hinsichtlich der Einstrahlung)>
-
Unter einer bestimmten Bedingung gibt es Fälle, dass nahe Fahrzeuge (das vorausfahrende Fahrzeug V1 und das folgende Fahrzeug V2) von dem Fahrzeug V gesehen zu hell oder zu dunkel sind. Mit anderen Worten, es gibt Fälle, in denen eine Einstrahlungsbedingung eines Bereichs, der die nahen Fahrzeuge enthält, nicht gut ist. Aus diesem Grund variiert der Mikrocomputer 177 vorzugsweise geeignet die Impulsbreiten und die Impulsdauern des ersten Belichtungssignals gemäß der Einstrahlungsbedingung des Bereichs, der die nahen Fahrzeuge enthält (z. B. gemäß einer Stellung der Sonne relativ zu dem eigenen Fahrzeug V).
-
<Anmerkung (Mehrfachbelichtung für jedes bemerkenswerte Gebiet)>
-
Falls die Bildaufnahmevorrichtung 1 wie in der vorliegenden Offenbarung für eine Fahrzeuganwendung verwendet wird, ist es wichtig zu bestimmen, für welches Gebiet der Bildsensor 13 die Mehrfachbelichtung anwenden sollte, da das eigene Fahrzeug V ebenfalls fährt. Welches Gebiet durch die Bildaufnahmevorrichtung 1 bemerkt werden sollte, hängt von einer Fahrszene des Fahrzeugs V ab. Falls das Fahrzeug V mit einer hohen Geschwindigkeit geradlinig vorausfährt, ist ein bemerkenswertes Gebiet für die Bildaufnahmevorrichtung 1 in der Vorwärtsrichtung positioniert. Falls das Fahrzeug V eine Rechtskurve fährt, ist das bemerkenswerte Gebiet für die Bildaufnahmevorrichtung 1 in der Rechtsrichtung positioniert. Somit kann der Mikrocomputer 177 in dem Prozess aus 6 alle Pixel 131, die der Bildsensor 13 besitzt, auf eine Vielzahl von Pixeln 131, die Licht aus diesem bemerkenswerten Gebiet empfangen, beschränken. Daraufhin kann der Mikrocomputer 177 die globale Verschlussfunktion ausführen, um das erste und das zweite Belichtungssignal an alle beschränkten Pixel 131 gleichzeitig zu liefern. In diesem Fall detektiert der Mikrocomputer 177 ferner in den ersten Mehrfachbelichtungsbilddaten vorzugsweise eine Vielzahl von Bildern des ersten oder des zweiten Aufnahmegegenstands aus dem bemerkenswerten Gebiet. In diesem Fall kann der Mikrocomputer 177 das bemerkenswerte Gebiet z. B. unter Verwendung eines Fahrzeuglenkwinkelsensors (nicht dargestellt), der eine Bewegungsrichtung des Fahrzeugs V detektieren kann, identifizieren.
-
Im Folgenden wird eine Beschreibung eines anderen Beispiels eines Verfahrens zur Bestimmung des obigen bemerkenswerten Gebiets gegeben. Der Mikrocomputer 177 kann z. B. ein Bild von dem Bildsensor 13 oder von einer Stereokamera, die als ein Richtungs- und Entfernungsmesssensor 3 dient, gewinnen und kann an dem erfassten Bild die Kantendetektion ausführen. Daraufhin kann der Mikrocomputer 177 ein Gebiet, in dem ein bewegter Zielaufnahmegegenstand vorhanden ist, als das bemerkenswerte Gebiet ansehen. Danach kann der Mikrocomputer 177 während der nachfolgenden ersten oder zweiten Einzelbilddauer alle Pixel 131, die der Bildsensor 13 besitzt, auf eine Vielzahl von Pixeln 131, die Licht aus dem bemerkenswerten Gebiet empfangen, beschränken. Daraufhin kann der Mikrocomputer 177 die globale Verschlussfunktion ausführen, um das erste und das zweite Belichtungssignal an alle beschränkten Pixel 131 gleichzeitig zu liefern. In diesem Fall kann der Mikrocomputer 177 ferner in den ersten Mehrfachbelichtungsbilddaten eine Vielzahl von Bildern des ersten oder des zweiten bewegten Aufnahmegegenstands aus dem bemerkenswerten Gebiet detektieren.
-
In der in 10 dargestellten Szene wie in der vorliegenden Offenbarung ist das bemerkenswerte Gebiet vorzugsweise bei oder nahe der Schlussleuchte des vorausfahrenden Fahrzeugs V1 oder dem Scheinwerfer des folgenden Fahrzeugs V2, die in der Fahrspur fahren, in die sich das Fahrzeug V zu bewegen versucht, positioniert.
-
<Anmerkung (eine andere Einzelbilddauer)>
-
Wie aus 7 und 8 zu verstehen ist, wird die Mehrfachbelichtung in der obigen beispielhaften Ausführungsform ebenfalls während der zweiten Einzelbilddauer durchgeführt. Allerdings kann der Mikrocomputer 177, wie in dem oberen und in dem unteren Teil von 12 dargestellt ist, während der zweiten Einzelbilddauer ein zweites Belichtungssignal erzeugen, das einen einzelnen Impuls mit einer in Schritt S015 in 6 bestimmten Belichtungszeit enthält, anstatt die Mehrfachbelichtung in der zweiten Einzelbilddauer vorzunehmen. In diesem Fall kann der Bildsensor 13 Einzelbelichtungsbilddaten liefern.
-
Wie in dem oberen Teil von 12 dargestellt ist, kann der Mikrocomputer 177 während der ersten Einzelbilddauer eine optimale Belichtungszeit bestimmen und daraufhin während der zweiten Einzelbilddauer über die bestimmte Belichtungszeit eine Mehrfachbelichtung vornehmen. Danach kann der Mikrocomputer 177 während der zweiten Einzelbilddauer, die auf die Mehrfachbelichtung folgt, eine Einzelbelichtung vornehmen. Wie in dem unteren Abschnitt aus 12 dargestellt ist, kann der Mikrocomputer 177 während der ersten Einzelbilddauer eine optimale Belichtungszeit bestimmen und daraufhin während der zweiten Einzelbilddauer über die bestimmte Belichtungszeit eine Einzelbelichtung vornehmen. Danach kann der Mikrocomputer 177 während der zweiten Einzelbilddauer, die auf das zweite Einzelbild der Einzelbelichtung folgt, eine Mehrfachbelichtung vornehmen.
-
<Anmerkung (Piloteinzelbilddauer)>
-
Der Mikrocomputer 177 führt die Prozesse in den Schritten S003 bis S015 in 6 regelmäßig aus. Das regelmäßige und wiederholte Auftreten der ersten Einzelbilddauer wird als die Piloteinzelbilddauer bezeichnet. Wie in 13 dargestellt ist, kann der Mikrocomputer 177 eine optimale Belichtungszeit unter Verwendung des ersten Belichtungssignals während eines Zeitintervalls zwischen einer Vielzahl solcher Piloteinzelbilddauern bestimmen. Daraufhin kann der Mikrocomputer 177 die zweiten Mehrfachbelichtungsbilddaten (oder die Einzelbelichtungsbilddateneinheit) von dem Bildsensor 13 unter Verwendung des zweiten Belichtungssignals, das ein Signal zur Verwendung beim Vornehmen der Mehrfach- oder Einzelbelichtung ist, während der nachfolgenden zweiten Einzelbilddauer (oder einer weiteren fortgesetzten zweiten Einzelbilddauer) gewinnen.
-
<(Andere) Anmerkungen>
-
Wenn dies vorgesehen ist, kann das Programm P1 in einem nichttransitorischen Aufzeichnungsmedium wie etwa einer Digital Versatile Disc (DVD) gespeichert sein. Alternativ kann das Programm P1 in einem Server in einem Netz gespeichert sein, um über das Netz heruntergeladen werden zu können.
-
In der vorstehenden beispielhaften Ausführungsform führt der Mikrocomputer 177 das Programm P1 aus. Allerdings ist die vorliegende Offenbarung nicht auf dieses Schema beschränkt; alternativ kann der ECUseitige Mikrocomputer 59 das Programm P1 ausführen.
-
<Erste Änderung>
-
Wie in 7 und 8 dargestellt ist, enthält das Belichtungssignal (d. h. das erste Belichtungssignal) in der vorstehenden Offenbarung in der ersten Einzelbilddauer eine Vielzahl von Impulsen und weisen diese Impulse dieselbe Impulsamplitude auf.
-
Allerdings ist die vorliegende Offenbarung nicht auf dieses Schema beschränkt; falls die Impulse in der zeitlichen Aufeinanderfolge in dem ersten Belichtungssignal die erste Impulsbreite w1, die zweite Impulsbreite w2 (w2 > w1), ... und die n-te Impulsbreite wn (wn > w(n-1)) aufweisen, gibt es Fälle, in denen die entsprechende erste Impulsamplitude a1, zweite Impulsamplitude a2, ... und n-te Impulsamplitude vorzugsweise der folgenden Beziehung genügen: a1 < a2, ... und a(n-1) < an.
-
Eine kleinere Impulsbreite bedeutet einen niedrigeren Belichtungswert; eine größere Impulsamplitude bedeutet einen höheren Belichtungswert. Somit kann ein Belichtungswert zwischen Impulsen konstant sein, falls ein Impuls eine verhältnismäßig kleine Impulsbreite und eine verhältnismäßig große Impulsamplitude aufweist. Wie oben beschrieben wurde, gibt es aus diesem Grund Fälle, in denen eine Impulsamplitude dieses Impulses vorzugsweise klein ist, falls ein beliebiger Impuls in dem ersten Belichtungssignal eine kleine Impulsbreite aufweist.
-
Sofern nicht im Hintergrund die Sonne vorhanden ist, wird die Impulsamplitude des zweiten Belichtungssignals über der zweiten Einzelbilddauer auf den Maximalwert eingestellt.
-
<Zweite Änderung>
-
In der vorstehenden beispielhaften Ausführungsform kann jedes Pixel 131 in dem Bildsensor 13 zwei Zellen mit Empfindlichkeiten gemäß hellen und dunklen Szenen aufweisen, um einen weiteren Dynamikbereich zu erzielen. Wie in 14 dargestellt ist, enthält jedes Pixel 131 genauer: eine Bildaufnahmezelle (im Folgenden als hochgesättigte Zelle bezeichnet) 1321, die eine hohe Sättigung unterstützt; und eine Bildaufnahmezelle für hohe Empfindlichkeit (im Folgenden als hochempfindliche Zelle bezeichnet) 1323.
-
Die hochgesättigte Zelle 1321 weist eine niedrigere Empfindlichkeit als eine Empfindlichkeit der hochempfindlichen Zelle 1323 auf.
-
Da die Ladungsspeicherknoten der hochgesättigten Zelle 1321 z. B. eine Metalloxidmetallkapazität (MOM-Kapazität) nutzen, weist die hochgesättigte Zelle 1321 eine höhere Kapazität als eine Kapazität der hochempfindlichen Zelle 1323 auf.
-
Da Ladungsspeicherknoten der hochempfindlichen Zelle 1323 z. B. die MOM-Kapazität nicht nutzen, weist die hochempfindliche Zelle 1323 eine kleinere Kapazität als die Kapazität der hochgesättigten Zelle 1321 auf. Im Ergebnis kann die hochempfindliche Zelle 1323 ein Rücksetzrauschen durch Verringern von weißem Rauschen unterdrücken.
-
Wenn das Fahrzeug V nachts oder innerhalb eines Tunnels fährt, führt der Mikrocomputer 177 die Prozesse aus 6 unter Verwendung der hochgesättigten Zelle 1321 aus, die eine der hochgesättigten Zelle 1321 und der hochempfindlichen Zelle 1323, die in jedem Pixel 131 vorgesehen sind, ist. Diese kann eine Schlussleuchte oder einen Scheinwerfer eines anderen Fahrzeugs genau detektieren.
-
Industrielle Anwendbarkeit
-
Eine Bildaufnahmesteuervorrichtung, ein Bildaufnahmesteuerverfahren, ein Programm und ein Aufzeichnungsmedium, in dem das Programm gespeichert ist, gemäß der vorliegenden Offenbarung ermöglichen alle, eine geeignete Belichtungszeit zu bestimmen, und sind dementsprechend für eine Fahrzeuganwendung geeignet.
-
Bezugszeichenliste
-
- 1:
- Bildaufnahmevorrichtung
- 11:
- Optisches System
- 13:
- Bildsensor
- 131:
- Pixel
- 1311:
- fotoelektrischer Wandler
- 1311A:
- transparente Elektrode
- 1311B:
- Pixelelektrode
- 1311C:
- Schicht für fotoelektrische Wandlung
- 1313:
- Ladungsdetektionsschaltung
- 1315:
- Halbleitersubstrat
- 1317:
- Zwischenschichtisolierschicht
- 1319:
- Kontaktstopfen
- 1321:
- hochgesättigte Zelle
- 1323:
- hochempfindliche Zelle
- 133:
- Zeilenabtastschaltung
- 135:
- Spaltenabtastschaltung
- 137:
- Spannungssteuerschaltung
- 15:
- Bildsender
- 17:
- Systemcontroller (Bildaufnahmesteuervorrichtung)
- 171:
- Eingabeabschnitt
- 173:
- Programmspeicher
- P1:
- Programm
- 175:
- Arbeitsspeicher
- 177:
- Bildaufnahmevorrichtungs-seitiger Mikrocomputer (Mikrocomputer oder Controller)
- 179:
- Ausgabeabschnitt
- 3:
- Richtungs- und Entfernungsmesssensor
- 5:
- elektronische Steuereinheit (ECU)
- 51:
- Informationseingabeabschnitt
- 53:
- Bildeingabeabschnitt
- 55:
- Programmspeicher
- P3:
- Programm
- 57:
- Arbeitsspeicher
- 59:
- ECU-seitiger Mikrocomputer (Mikrocomputer)
- 511:
- ECU-seitiger Ausgabeabschnitt
- S:
- Objektbild (Bild eines bewegten Aufnahmegegenstands)
- V:
- Fahrzeug (eigenes Fahrzeug)
- V1:
- vorausfahrendes Fahrzeug (Zielfahrzeug)
- V2:
- folgendes Fahrzeug (Zielfahrzeug)