DE112017004948B4 - Bildaufnahmesteuervorrichtung, Bildaufnahmesteuerverfahren und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist - Google Patents

Bildaufnahmesteuervorrichtung, Bildaufnahmesteuerverfahren und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist Download PDF

Info

Publication number
DE112017004948B4
DE112017004948B4 DE112017004948.2T DE112017004948T DE112017004948B4 DE 112017004948 B4 DE112017004948 B4 DE 112017004948B4 DE 112017004948 T DE112017004948 T DE 112017004948T DE 112017004948 B4 DE112017004948 B4 DE 112017004948B4
Authority
DE
Germany
Prior art keywords
image
exposure
image sensor
signal
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112017004948.2T
Other languages
English (en)
Other versions
DE112017004948T5 (de
Inventor
Hiroshi Iwai
Osamu Shibata
Kazuko Nishimura
Yasuo Miyake
Yoshiaki Satou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PANASONIC AUTOMOTIVE SYSTEMS CO., LTD., YOKOHA, JP
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of DE112017004948T5 publication Critical patent/DE112017004948T5/de
Application granted granted Critical
Publication of DE112017004948B4 publication Critical patent/DE112017004948B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time

Abstract

Bildaufnahmesteuervorrichtung (17), die umfasst:einen Controller (177), der veranlasst, dass ein Bildsensor (13) wenigstens während einer ersten Einzelbilddauer mit einem ersten Belichtungssignal, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, und mit einem Anzeigeattribut-Einstellsignal, das eine Vielzahl von Anzeigeattributen mit einer Vielzahl voneinander verschiedener Impulsamplituden enthält, ein Mehrfachbelichtungsbild erfasst, wobei der Bildsensor (13) dafür ausgelegt ist, das Erfassen dadurch auszuführen, dass er eine Mehrfachbelichtung vornimmt; undeinen Eingangsabschnitt (171), der das Mehrfachbelichtungsbild empfängt,wobei der Controller (177)an einer Vielzahl von Bildern eines selben Objekts, das in dem mindestens einen durch den Eingangsabschnitt (171) empfangenen Mehrfachbelichtungsbild erscheint, eine Kantendetektion ausführt, eine Impulsbreite aus der Vielzahl von Impulsbreiten auswählt, wobei die ausgewählte eine Impulsbreite mit der Erfassung eines beliebigen Bilds unter der Vielzahl von Bildern zusammenhängt, undveranlasst, dass der Bildsensor (13) während einer zweiten Einzelbilddauer mit einem zweiten Belichtungssignal, das nur aus einem Impuls mit der ausgewählten Impulsbreitegebildet ist, ein Bild desselben Objekts erfasst, wobei die zweite Einzelbilddauer auf die erste Einzelbilddauer folgt.

Description

  • Technisches Gebiet
  • Die vorliegende Offenbarung bezieht sich auf eine Bildaufnahmesteuervorrichtung, auf ein Bildaufnahmesteuerverfahren, auf ein Programm und auf ein Aufzeichnungsmedium, in dem das Programm gespeichert ist.
  • Stand der Technik
  • WO 2017/ 010 047 A1 offenbart eine Bildaufnahmevorrichtung. Diese Bildaufnahmevorrichtung umfasst mehrere Pixeleinheitszellen. Eine Pixeleinheitszelle, die in den mehreren Pixeleinheitszellen enthalten ist, erhält erste Bildaufnahmedaten in einer ersten Belichtungsperiode in einem Frame und erhält zweite Bildaufnahmedaten in einer zweiten, von der ersten Belichtungsperiode unterschiedlichen Belichtungsperiode in einem Frame und die Empfindlichkeit pro Zeiteinheit der Pixeleinheitszelle unterscheidet sich in den ersten und zweiten Belichtungsperioden. Die Bildaufnahmevorrichtung gibt mehrere Belichtungsbildaufnahmedaten mit wenigstens den ersten und zweiten Bildaufnahmedaten aus.
  • In der folgenden PTL 1 ist eine Bildaufnahmevorrichtung als ein herkömmliches Beispiel für Bildaufnahmesteuervorrichtungen und andere Vorrichtungen, die eine Mehrfachbelichtung vornehmen, beschrieben. Diese Bildaufnahmevorrichtung kann Bilder dadurch erfassen, dass sie eine Mehrfachbelichtung vornimmt, während sie ihre Belichtungsdauer variiert.
  • Liste der Entgegenhaltungen
  • Patentliteratur
    • PTL 1: ungeprüfte japanische Patentveröffentlichung Nr. 2001-197373
    • PTL 2: ungeprüfte japanische Patentveröffentlichung Nr. 2007-104113
  • Zusammenfassung der Erfindung
  • Die vorliegende Offenbarung schafft eine Bildaufnahmesteuervorrichtung, ein Bildaufnahmesteuerverfahren, ein Programm und ein Aufzeichnungsmedium, in dem das Programm gespeichert ist, die es alle ermöglichen, die Erzeugung hochwertiger Mehrfachaufnahmebilder zu steuern.
  • Ein Aspekt der vorliegenden Offenbarung ist für eine Bildaufnahmesteuervorrichtung bestimmt, die einen Controller und einen Eingabeabschnitt enthält. Der Controller veranlasst, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, wenigstens ein erstes Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Der Eingabeabschnitt empfängt das wenigstens eine erste Mehrfachbelichtungsbild. Der Controller wählt eine Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des durch den Eingabeabschnitt empfangenen ersten Mehrfachbelichtungsbilds aus und veranlasst, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, ein Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
  • Ein anderer Aspekt der vorliegenden Offenbarung ist für ein Bildaufnahmesteuerverfahren bestimmt, das enthält: Erfassen wenigstens eines ersten Mehrfachbelichtungsbilds; Empfangen des wenigstens einen ersten Mehrfachbelichtungsbilds; Auswählen einer Impulsbreite; und Erfassen eines Bilds. Das Erfassen des wenigstens einen ersten Mehrfachbelichtungsbilds enthält das Veranlassen, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, das wenigstens eine erste Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Das Auswählen der einen Impulsbreite enthält das Auswählen der einen Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des empfangenen ersten Mehrfachbelichtungsbilds. Das Erfassen des Bilds enthält das Veranlassen, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, das Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
  • Ein weiterer anderen Aspekt der vorliegenden Offenbarung ist für ein Programm bestimmt, das veranlasst, dass ein Computer ein Verfahren ausführt, das enthält: Erfassen wenigstens eines ersten Mehrfachbelichtungsbilds; Empfangen des wenigstens einen ersten Mehrfachbelichtungsbilds; Auswählen einer Impulsbreite; und Erfassen eines Bilds. Das Erfassen des wenigstens einen ersten Mehrfachbelichtungsbilds enthält das Veranlassen, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, das wenigstens eine erste Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Das Auswählen der einen Impulsbreite enthält das Auswählen der einen Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des empfangenen ersten Mehrfachbelichtungsbilds. Das Erfassen des Bilds enthält das Veranlassen, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, das Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
  • Ein nochmals anderer Aspekt der vorliegenden Offenbarung ist für ein nichttransitorisches Aufzeichnungsmedium bestimmt, in dem ein Programm gespeichert ist. Das Programm veranlasst, dass ein Computer ein Verfahren ausführt, das enthält: Erfassen wenigstens eines ersten Mehrfachbelichtungsbilds; Empfangen des wenigstens einen ersten Mehrfachbelichtungsbilds; Auswählen einer Impulsbreite; und Erfassen eines Bilds. Das Erfassen des wenigstens einen ersten Mehrfachbelichtungsbilds enthält das Veranlassen, dass ein Bildsensor wenigstens während einer ersten Einzelbilddauer unter Verwendung eines ersten Belichtungssignals, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, das wenigstens eine erste Mehrfachbelichtungsbild erfasst; der Bildsensor ist dafür ausgelegt, ein Bild dadurch zu erfassen, dass er eine Mehrfachbelichtung vornimmt. Das Auswählen der einen Impulsbreite enthält das Auswählen der einen Impulsbreite aus der Vielzahl von Impulsbreiten auf der Grundlage des empfangenen ersten Mehrfachbelichtungsbilds. Das Erfassen des Bilds enthält das Veranlassen, dass der Bildsensor während einer zweiten Einzelbilddauer unter Verwendung eines zweiten Belichtungssignals, das einen Impuls mit der ausgewählten Impulsbreite enthält, ein Bild erfasst; die zweite Einzelbilddauer folgt auf die erste Einzelbilddauer.
  • Gemäß der vorliegenden Offenbarung ist es möglich, eine Bildaufnahmesteuervorrichtung, ein Bildaufnahmesteuerverfahren, ein Programm und ein Aufzeichnungsmedium, in dem das Programm gespeichert ist, zu schaffen, die es alle ermöglichen, einen besser geeigneten Belichtungswert zu bestimmen.
  • Figurenliste
    • 1 ist ein schematischer Blockschaltplan einer Konfiguration einer Bildaufnahmesteuervorrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung und einer Peripheriekonfiguration.
    • 2A ist ein schematischer Blockschaltplan einer Konfiguration des Bildsensors in 1.
    • 2B ist eine schematische Querschnittsansicht einer Struktur eines Einheitspixels in 2A.
    • 3 ist eine Darstellung, die eine typische Betriebszeiteinstellung der Mehrfachbelichtung in einer Einzelbilddauer darstellt.
    • 4 ist eine schematische Ansicht eines Beispiels für Objektbilder (d. h. Bilder eine bewegten Aufnahmegegenstands) S, die in Mehrfachbelichtungsdaten erscheinen.
    • 5 ist eine schematische Darstellung, die eine Differenz des elektrischen Potentials zwischen der transparenten Elektrode und der Pixelelektrode, die während der Mehrfachbelichtung in der Einzelbilddauer variiert, darstellt.
    • 6 ist ein Ablaufplan eines durch die Bildaufnahmesteuervorrichtung in 1 ausgeführten Prozesses.
    • 7 ist eine schematische Darstellung, die eine Zeitsignalform eines ersten Beispiels eines ersten Belichtungssignals darstellt.
    • 8 ist eine schematische Darstellung, die eine Zeitsignalform eines zweiten Beispiels des ersten Belichtungssignals darstellt.
    • 9 ist eine Darstellung, die Zeitsignalformen eines ersten und eines zweiten Beispiels eines Spannungssignals in der zweiten Einzelbilddauer darstellt.
    • 10 ist eine schematische Ansicht eines Fahrzeugs, das sich von einer Nebenfahrspur in eine Hauptfahrspur einer Autobahn bewegt.
    • 11 ist ein Blockschaltplan einer detaillierten Konfiguration der elektronischen Steuereinheit (ECU) in 1.
    • 12 ist eine schematische Darstellung, die Zeitsignalformen von Belichtungssignalen in einem dritten Einheitseinzelbild darstellt.
    • 13 ist eine schematische Darstellung, die eine erste Einzelbilddauer und eine zweite Einzelbilddauer, die zwischen einer Vielzahl von Piloteinzelbilddauern eingefügt sind, darstellt.
    • 14 ist eine schematische Querschnittsansicht eines anderen Beispiels einer Struktur der Pixeleinheit in 2A.
  • Beschreibung einer Ausführungsform
  • Mit Bezug auf die beigefügten Zeichnungen wird im Folgenden eine Beschreibung der Bildaufnahmesteuervorrichtung 17 gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung gegeben.
  • <1. Gesamtkonfiguration der Bildaufnahmesteuervorrichtung und der Peripheriekonfiguration>
  • Mit Bezug auf 1 sind die Bildaufnahmevorrichtung 1, der Richtungs- und Entfernungsmesssensor 3 und die elektronische Steuereinheit (im Folgenden als ECU bezeichnet) 5 im Fahrzeug V kommunikationstechnisch miteinander verbunden.
  • <1-1. Konfiguration der Bildaufnahmevorrichtung>
  • Die Bildaufnahmevorrichtung 1 ist in dem Fahrzeug V bei oder in der Nähe der rechten vorderen Ecke angeordnet. Die Bildaufnahmevorrichtung 1 kann z. B. Bilder mit einem weiten Gesichtsfeld, das Bereiche rechts vorn und auf der rechten Seite des Fahrzeugs V enthält, erfassen. Die Bildaufnahmevorrichtung 1 enthält ein Optiksystem 11, einen Bildsensor 13, einen Bildsender 15 und einen Systemcontroller 17.
  • Das Optiksystem 11 weist eine bekannte Gruppe von Linsen auf. Von dieser Gruppe von Linsen ist z. B. eine Fokussierungslinse entlang einer optischen Achse in der Weise beweglich, dass sie eine Brennpunktlage des Bildsensors 13 auf einem Objektbild einstellen kann.
  • Der Bildsensor 13 kann ein Bildsensor eines komplementären Metalloxidhalbleiters (CMOS-Bildsensor) sein. Wie in 2A dargestellt ist, enthält der Bildsensor 13: eine Vielzahl von Pixeln 131, die auf Matrixart angeordnet sind (Pixelanordnungen); eine Zeilenabtastschaltung 133; eine Spaltenabtastschaltung 135; und eine Spannungssteuerschaltung 137. Die Pixel 131 sind über Signalleitungen mit der Zeilenabtastschaltung 133 einzeln elektrisch verbunden und sind außerdem über Signalleitungen mit der Spaltenabtastschaltung 135 einzeln elektrisch verbunden. Einzelheiten der Spannungssteuerschaltung 137 werden später beschrieben. Es wird angemerkt, dass das Bezugszeichen 131 nur einem einzelnen Pixel, zur besseren Sichtbarkeit aus 2A, zugeordnet ist.
  • Wie in 2B dargestellt ist, enthält jedes der Pixel 131 als Hauptkomponenten: einen fotoelektrischen Wandler 1311, der einfallendes Licht fotoelektrisch wandelt; und eine Ladungsdetektionsschaltung 1313.
  • Der fotoelektrische Wandler 1311 enthält: eine transparente Elektrode 1311A; eine Pixelelektrode 1311B; und eine Schicht 1311C für fotoelektrische Wandlung, die zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B gebildet ist. Die Schicht 1311C für fotoelektrische Wandlung kann z. B. ein organischer Dünnfilm sein, der aus Zinnnaphthalocyanain hergestellt ist.
  • Die Ladungsdetektionsschaltung 1313, die innerhalb des Halbleitersubstrats 1315 vorgesehen ist, ist über einen Kontaktstopfen 1319, der innerhalb der Zwischenschichtisolierschicht 1317 gebildet ist, mit der Pixelelektrode 1311B elektrisch verbunden. Die oben ausgelegte Ladungsdetektionsschaltung 1313 detektiert eine in dem fotoelektrischen Wandler 1311 erzeugte Signalladung.
  • Falls in die oben beschriebene Schicht 1311C für fotoelektrische Wandlung Licht eintritt, wenn zwischen die transparente Elektrode 1311A und die Pixelelektrode 1311B eine Vorspannung angelegt ist, wird im Ergebnis der elektrischen Wandlung entweder eine positive oder eine negative Ladung erzeugt und durch die Pixelelektrode 1311B gesammelt. Daraufhin wird die gesammelte Ladung in einer Ladungsdetektionsschaltung 1313 akkumuliert. Die Erfinder und andere haben ermittelt, dass es unter Verwendung der Schicht 1311C für fotoelektrische Wandlung für den fotoelektrischen Wandler 1311 und beträchtlicher Verringerung der Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B möglich ist zu unterdrücken, dass eine bereits in der Ladungsdetektionsschicht 1313 akkumulierte Signalladung durch die Schicht 1311C für fotoelektrische Wandlung zu der transparenten Elektrode 1311A läuft, und außerdem zu unterdrücken, dass die Signalladung in der Ladungsdetektionsschaltung 1313 weiter akkumuliert wird, nachdem die elektrische Potentialdifferenz verringert worden ist. Kurz gesagt, ist es durch Steuern der Höhe der an die Schicht 1311C für fotoelektrische Wandlung angelegten Vorspannung im Gegensatz zum Stand der Technik möglich, eine globale Verschlussfunktion zu erzielen, ohne zusätzliche Elemente wie etwa Übertragungstransistoren für jeweilige Pixel vorzusehen.
  • In dem oben ausgelegten Bildsensor 13 können die Vielzahl von Pixeln 131 eine Vielzahl erfasster Bilddaten gewinnen, wobei sich die gemeinsamen Anzeigeattribute zu unterschiedlichen Zeitpunkten innerhalb jeder einzelnen Einzelbilddauer, die eine vorgegebene Wiederholungsdauer ist, im Grad voneinander unterscheiden. Daraufhin kann der Bildsensor 13 durch Multiplexen der erfassten Bilddaten ein Mehrfachbelichtungsbild erzeugen. Die Ladungsdetektionsschaltung 1313 in jedem Pixel 131 kann die erzeugten Mehrfachbelichtungsbilddaten lesen und gibt die Mehrfachbelichtungsbilddaten daraufhin sowohl an den Bildsender 15 als auch an den Systemcontroller 17 aus. Alternativ kann der Bildsensor 13 anstelle der Mehrfachbelichtungsbilddaten Einfachbelichtungsbilddaten erzeugen. Einzelheiten des gemeinsamen Anzeigeattributs werden später beschrieben.
  • Es wird erneut auf 1 Bezug genommen. Der Bildsender 15 gibt die Mehrfachbelichtungsbilddaten und andere Bilddaten nach außen (z. B. an die ECU 5) aus. In diesem Fall können die auszugebenden Mehrfachbelichtungsbilddaten und anderen Daten Rohdaten, die keiner Verarbeitung wie etwa Komprimierungsverarbeitung ausgesetzt worden sind, oder solche, die einer beliebigen Bildverarbeitung wie etwa einer Bildkomprimierungsverarbeitung ausgesetzt worden sein können, sein.
  • Der Systemcontroller 17 enthält als Hauptkomponenten einen Eingabeabschnitt 171, einen Programmspeicher 173, einen Arbeitsspeicher 175, einen Bildaufnahmevorrichtungs-seitigen Mikrocomputer 177 und einen Ausgabeabschnitt 179.
  • Der Eingabeabschnitt 171 kann die Mehrfachbelichtungsbilddaten empfangen.
  • Der Mikrocomputer 177 führt ein in dem Programmspeicher 173 vorgespeichertes Programm P1 aus, während er den Arbeitsspeicher 175 verwendet, wodurch er als ein Controller für die Bildaufnahmesteuervorrichtung 17 fungiert. Außerdem steuert der Systemcontroller 17 die gesamte Bildaufnahmevorrichtung 1, um als Bildaufnahmesteuervorrichtung 17 zu fungieren. Allerdings können Personen im Zusammenhang mit der vorliegenden Offenbarung kein Interesse an dieser Funktion haben, so dass Einzelheiten nicht beschrieben werden.
  • <1-2. Grundbetrieb der Bildaufnahmevorrichtung>
  • Nachfolgend wird mit Bezug auf 3 bis 5 eine Beschreibung eines Grundbetriebs der Bildaufnahmevorrichtung 1 gegeben.
  • 3 ist eine Darstellung, die eine typische Betriebszeiteinstellung der Mehrfachbelichtung in einer Einzelbilddauer darstellt. In diesem Fall wird diese Einzelbilddauer wiederholt.
  • Das Bezugszeichen VD bezeichnet in 3 einen Anfangsimpuls der Einzelbilddauer.
  • Das Belichtungssignal enthält Impulse, von denen jeder angibt, ob die Belichtung gültig oder ungültig ist. In der vorliegenden Offenbarung entsprechen die Hoch-Dauern (im Folgenden als Hi-Dauern bezeichnet) Belichtungsdauern (Belichtungszuständen), in denen die Schicht 1311C für fotoelektrische Wandlung jeweils Licht ausgesetzt wird. Die Tief-Dauern (im Folgenden als Low-Dauern bezeichnet) entsprechen Nichtbelichtungsdauern (Nichtbelichtungszuständen). In der vorliegenden Offenbarung ist jede der in dem Belichtungssignal enthaltenen Impulsbreiten in der Einzelbilddauer variabel, um ihre Belichtungsdauer zu variieren.
  • Das Anzeigeattribut-Einstellsignal ist ein Signal zur Verwendung beim Einstellen des Grads des gemeinsamen Anzeigeattributs. Das Anzeigeattribut-Einstellsignal mit einer höheren Impulsamplitude gibt einen höheren Grad des gemeinsamen Anzeigeattributs an.
  • Alternativ können das Belichtungssignal und das Anzeigeattribut-Einstellsignal ein einziges Signal sein, das beide Funktionen aufweist.
  • In der vorliegenden Offenbarung ist das gemeinsame Anzeigeattribut die Lichtstärke und/oder die Farbe. Die Lichtstärke ist ein Helligkeitswert, der aus einem RGB-Signal jeder Pixelzelle erhalten wird, während die Farbe ein Farbton oder Chroma ist, der aus dem RGB-Signal gewonnen wird.
  • In einem typischen Fall können das Belichtungssignal und das Anzeigeattribut-Einstellsignal durch den Systemcontroller 17 erzeugte Steuersignale sein.
  • 3 stellt ein Beispiel dar, in dem die Belichtung innerhalb einer Einzelbilddauer fünfmal vorgenommen wird. Der Bildsensor 13 akkumuliert und multiplext eine Vielzahl durch die Belichtung gewonnener erfasster Bilddaten und erzeugt dadurch die Mehrfachbelichtungsbilddaten. In diesen Mehrfachbelichtungsbilddaten werden durch dasselbe Pixel 131 in der Pixelanordnung (siehe 2) während jeder einzelnen Belichtungsdauer Bilder eines feststehenden Objekts wie etwa Hintergrundbilder erfasst. Daraufhin werden die Bilddaten durch dasselbe Pixel 131 akkumuliert.
  • Im Gegensatz dazu können Bilder eines Objekts, das sich in der Einzelbilddauer bewegt, während jeweiliger Belichtungsdauern durch unterschiedliche Pixel 131 erfasst werden. Im Ergebnis werden in den Mehrfachbelichtungsbilddaten fünf unabhängige Bilder des Objekts synthetisiert, falls sich unterschiedliche Pixel 131 auf das in den jeweiligen fünf Belichtungsprozessen erfasste Bild beziehen.
  • Dadurch, dass die Belichtungsprozesse einzeln ausgeführt werden, während der Grad (z. B. einen Helligkeitswert) des gemeinsamen Anzeigeattributs gemäß dem Anzeigeattribut-Einstellsignal variiert wird, ist es möglich, den Grad (z. B. ein Helligkeitswert) des gemeinsamen Anzeigeattributs erfasster Bilddaten, die während jeder Belichtungsdauer gewonnen werden, zu variieren. Im Ergebnis weisen die fünf Bilder des bewegten Objekts in den Mehrfachbelichtungsbilddaten unterschiedliche Grade des gemeinsamen Anzeigeattributs auf.
  • 4 stellt schematisch ein Beispiel von Objektbildern (d. h. Bildern eines bewegten Aufnahmegegenstands) S dar, die in den Mehrfachbelichtungsbilddaten erscheinen. In 4 ist die Differenz zwischen dem Grad des gemeinsamen Anzeigeattributs durch einen Helligkeitswert ausgedrückt. 4 gibt an, dass ein Objektbild mit einem höheren Helligkeitswert in der zeitlichen Aufeinanderfolge einem neueren Objektbild entspricht. In diesem Fall ist die Zeitänderung des Grads des gemeinsamen Anzeigeattributs vorzugsweise eine monotone Zunahme oder eine monotone Abnahme.
  • In der vorliegenden Offenbarung kann die Empfindlichkeit pro Zeiteinheit jedes Pixels 131 außerdem für die einzelnen Belichtungsprozesse in der Einzelbilddauer unterschiedlich eingestellt werden. Auf diese Weise ist es möglich, Lichtstärke- und Farbinformationen zwischen den Belichtungsprozessen zu variieren. Genauer kann dadurch, dass die Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B (siehe 2B) in dem fotoelektrischen Wandler 1311 variiert wird, die Empfindlichkeit für die einzelnen Belichtungsprozesse unterschiedlich eingestellt werden. Einzelheiten, wie die Empfindlichkeit unterschiedlich eingestellt wird, sind z. B. in PTL 2 beschrieben und werden somit hier nicht beschrieben.
  • Durch Verringern der Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B (siehe 2B) in dem Ausmaß, dass eine im Ergebnis der fotoelektrischen Wandlung erzeugte Ladung nicht detektiert wird, ist es außerdem möglich, die Empfindlichkeit auf näherungsweise null einzustellen. Dieses Schema kann eine globale Verschlussoperation erzielen.
  • Der Bildsensor 13 enthält eine Spannungssteuerschaltung 137, die auf der Grundlage eines Steuersignals, das den Grad des gemeinsamen Anzeigeattributs angibt, den Grad des gemeinsamen Anzeigeattributs variiert. Die Vielzahl von Pixeln 131 sind über Steuerleitungen des Films für fotoelektrische Wandlung mit der Spannungssteuerschaltung 137 elektrisch verbunden. Genauer sind die elektrischen Potentiale der Pixelelektroden 1311B gleich den elektrischen Potentialen der entsprechenden Ladungsdetektionsschaltungen 1313. Die Steuerleitungen des Films für fotoelektrische Wandlung sind mit den transparenten Elektroden 1311A elektrisch verbunden. Die Spannungssteuerschaltung 137 legt an die transparente Elektrode 1311A auf der Grundlage des Steuersignals, das den Grad des gemeinsamen Anzeigeattributs angibt, ein vorgegebenes elektrisches Potential an.
  • 5 stellt schematisch einen Zustand dar, in dem eine Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B während der Mehrfachbelichtung in der Einzelbilddauer variiert (mit anderen Worten eine an die transparente Elektrode 1311A angelegte Spannung variiert).
  • In dem Beispiel aus 5 entspricht der Grad des gemeinsamen Anzeigeattributs der Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B. Da ein Signal zur Verwendung bei der Einstellung der Differenz des elektrischen Potentials eine erhöhte Impulsamplitude aufweist, nimmt die Differenz des elektrischen Potentials zu. Die Belichtungszeit ist durch eine Impulsbreite angegeben.
  • In der dargestellten Differenz des elektrischen Potentials entspricht der Low-Pegel einem Pegel, in dem die fotoelektrische Wandlung nicht vorgenommen wird. Mit anderen Worten, der Low-Pegel entspricht einem Pegel, in dem ein globaler Verschlussbetrieb möglich ist. Andere Pegel als der Low-Pegel entsprechen einem ausreichenden Pegel, um die fotoelektrische Wandlung vorzunehmen. Der Hi-Pegel entspricht einem Pegel, in dem die fotoelektrische Wandlung maximal vorgenommen wird. Somit führt eine höhere Differenz des elektrischen Potentials in jedem Pixel 131 zu einer höheren Empfindlichkeit. Ein Zyklus, der den Low-Pegel und andere Pegel der Differenz des elektrischen Potentials enthält, wird mehrmals wiederholt. Dadurch wird die Mehrfachbelichtungsbilderfassung ausgeführt. Dadurch, dass die Differenzen des elektrischen Potentials für die Bilderfassungen unterschiedlich eingestellt werden, unterscheiden sich die Empfindlichkeiten für die jeweiligen Belichtungsdauern voneinander.
  • Wie oben beschrieben wurde, ist es dadurch, dass die Differenz des elektrischen Potentials zwischen der transparenten Elektrode 1311A und der Pixelelektrode 1311B für die jeweiligen Belichtungsprozesse innerhalb der Einzelbilddauer unterschiedlich eingestellt wird, und dadurch, dass der globale Verschlussbetrieb ausgeführt wird, möglich, sowohl eine Mehrfachbelichtung vorzunehmen als auch die Empfindlichkeit für die Bilderfassung zu variieren. Im Ergebnis ist es möglich, die Grade des gemeinsamen Anzeigeattributs (genauer einen Helligkeitswert) für die jeweiligen Belichtungsprozesse innerhalb einer Einzelbilddauer unabhängig und unterschiedlich einzustellen. Dies ermöglicht, eine zeitlich aufeinanderfolgende Bewegung eines Objektbilds in den Mehrfachbelichtungsbilddaten zu prüfen.
  • <1-3. Einzelheiten des technischen Problems>
  • Wie oben beschrieben wurde, ermöglicht der Bildsensor 13 der vorliegenden Offenbarung, dass eine zeitlich aufeinanderfolgende Bewegung eines Objektbilds in den Mehrfachbelichtungsbilddaten geprüft wird. Allerdings kann der Bildsensor 13 in Abhängigkeit von einem Belichtungswert, der durch eine Belichtungszeit bestimmt ist, die durch eine Impulsamplitude oder durch eine Impulsbreite eines Belichtungssignals innerhalb der Einzelbilddauer angegeben ist, eine Unterbelichtung oder eine Überbelichtung veranlassen. Die Unterbelichtung oder die Überbelichtung könnte verhindern, dass das Objektbild klar geprüft wird.
  • Die vorliegende Offenbarung soll eine Bildaufnahmesteuervorrichtung 17 und beliebige andere Vorrichtungen, die einen Belichtungswert geeignet einstellen können, schaffen.
  • <1-4. Der spezifische Prozess, der durch die Bildaufnahmesteuervorrichtung ausgeführt wird>
  • Nachfolgend wird mit Bezug auf 6 eine Beschreibung eines spezifischen Prozesses gegeben, der durch die Bildaufnahmesteuervorrichtung 17 ausgeführt wird.
  • Nach Beginn der Ausführung des Programms P1 bestimmt der Mikrocomputer 177 zunächst, ob ein Zeitpunkt für die Bestimmung eines Belichtungswerts gekommen ist (Schritt S001).
  • Im Folgenden wird ein Beispiel des Bestimmungsverfahrens des Schritts S001 beschrieben. Als ein erstes Beispiel kann ein Mikrocomputer 177, dass der Zeitpunkt gekommen ist, in Abhängigkeit davon bestimmen, ob seit dem letzten Mal, als der Belichtungswert bestimmt worden ist, eine gegebene Zeitdauer verstrichen ist. Als ein zweites Beispiel kann der Mikrocomputer 177, dass der Zeitpunkt gekommen ist, in Abhängigkeit davon bestimmen, ob eine voreingestellte Zeit gekommen ist. Auf jeden Fall wird der Belichtungswert vorzugsweise in richtigen Zeitintervallen vorgegeben, da wegen einer Einstrahlung eines Bereichs, der ein Objekt enthält, eine Unterbelichtung oder eine Überbelichtung veranlasst werden kann.
  • Wenn in Schritt S001 Nein ausgewählt wird, führt der Mikrocomputer 177 den Prozess in Schritt S017 aus.
  • Wenn in Schritt S001 Ja ausgewählt wird, erzeugt der Mikrocomputer 177 als ein erstes Beispiel des Belichtungssignals (Schritt S003) ein erstes Belichtungssignal (siehe 7). 7 ist ein Zeitablaufplan von Einzelbilddauern, die mehrmals wiederholt werden, genauer ein Zeitablaufplan dafür, wie die Belichtung mit einer Vielzahl von Impulsen innerhalb jeder Einzelbilddauer vorgenommen wird. Von diesen Einzelbilddauern wird eine, die einem Zeitpunkt der Bestimmung eines Belichtungswerts entspricht, als eine erste Einzelbilddauer bezeichnet. Wenigstens eine der Einzelbilddauern, die auf die Einzelbilddauer, die dem Zeitpunkt der Bestimmung eines Belichtungswerts entspricht, folgt, wird als eine zweite Einzelbilddauer bezeichnet. In 7 enthält das erste Belichtungssignal eine Vielzahl von Impulsen mit unterschiedlichen Impulsbreiten in der ersten Einzelbilddauer. In diesem Fall können die Impulsbreiten entweder dieselben wie die Impulsbreiten, die das letzte Mal eingestellt wurden, als der Prozess in Schritt S003 ausgeführt worden ist, oder andere sein. Die in 7 dargestellte Vielzahl von Impulsen weisen dieselbe Impulsamplitude, aber unterschiedliche Tastgrade auf.
  • Wie in 8 dargestellt ist, kann das erste Belichtungssignal im Gegensatz zu dem in 7 dargestellten Zustand in der Einzelbilddauer eine Vielzahl von Impulsen mit unterschiedlichen Impulsbreiten, aber mit derselben Impulsamplitude und mit demselben Tastgrad enthalten.
  • Daraufhin erzeugt der Mikrocomputer 177 ein Anzeigeattribut-Einstellsignal, für das Beispiele in 7 und 8 dargestellt sind (Schritt S005). Genauer weist das Anzeigeattribut-Einstellsignal in den jeweiligen Impulsdauern des ersten Belichtungssignals unterschiedliche Amplitudenpegel auf.
  • In Schritt S007 gibt der Mikrocomputer 177 das erzeugte erste Belichtungssignal und Anzeigeattribut-Einstellsignal über den Ausgabeabschnitt 179 an die Spannungssteuerschaltung 137 aus.
  • Die Spannungssteuerschaltung 137 schaltet das empfangene Anzeigeattribut-Einstellsignal unter Verwendung des empfangenen ersten Belichtungssignals. Mit anderen Worten, wenn das empfangene erste Belichtungssignal eine Hi-Dauer aufweist, gibt die Spannungssteuerschaltung 137 das empfangene Anzeigeattribut-Einstellsignal aus. Die Spannungssteuerschaltung 137 führt die Schaltoperation auf diese Weise aus, um ein Spannungssignal zu erzeugen (siehe einen linken Bereich eines oberen Teils von 9) und legt dieses Spannungssignal gleichzeitig zwischen die transparenten Elektroden 1311A und die Pixelelektroden 1311B in allen Pixeln 131 an (globale Verschlussfunktion). In der vorliegenden Offenbarung gibt die Impulsbreite jedes Impulses in dem Spannungssignal eine Belichtungszeit an und gibt die Impulsamplitude einen Helligkeitswert an.
  • Der Bildsensor 13 führt durch Anlegen der Spannung an alle Pixel 131 die globale Verschlussoperation aus, so dass der Belichtungsprozess in allen Pixeln 131 in der Einzelbilddauer gleichzeitig beginnt und endet. Der Bildsensor 13 liest mit der Zeilenabtastschaltung 133 und mit der Spaltenabtastschaltung 135 eine in jedem Pixel 131 akkumulierte Signalladung. Daraufhin gibt der Bildsensor 13 erste Mehrfachbelichtungsbilddaten als das erste Beispiel der Mehrfachbelichtungsbilddaten aus. Die ausgegebenen ersten Mehrfachbelichtungsbilddaten werden über den Eingabeabschnitt 171 in dem Arbeitsspeicher 175 gespeichert. Auf diese Weise gewinnt der Mikrocomputer 177 die ersten Mehrfachbelichtungsbilddaten (Schritt S009).
  • 10 stellt ein Fahrzeug V dar, das sich aus einer Nebenfahrspur in eine Hauptfahrspur einer Autobahn bewegt. In diesem Fall fahren eine Vielzahl von Fahrzeugen (ein vorausfahrendes Fahrzeug V1 und ein folgendes Fahrzeug V2), deren Scheinwerfer und Schlussleuchte leuchten, entlang der Hauptfahrspur auf der rechten Seite des Fahrzeugs V, das entlang der Nebenfahrspur fährt. Ferner fahren sowohl das vorausfahrende Fahrzeug V1 als auch das folgende Fahrzeug V2 mit einer höheren Geschwindigkeit als einer Fahrgeschwindigkeit des Fahrzeugs V und somit mit einer Relativgeschwindigkeit. In den ersten Mehrfachbelichtungsbilddaten, die in dieser Situation gewonnen werden, erscheint z. B. eine Schlussleuchte des vorausfahrenden Fahrzeugs als ein erster bewegter Aufnahmegegenstand und erscheint ein Scheinwerfer des folgenden Fahrzeugs als ein zweiter bewegter Aufnahmegegenstand.
  • Wie oben beschrieben wurde, nimmt die Impulsamplitude z. B. jedes Mal, wenn der Belichtungsprozess in der Einzelbilddauer ausgeführt wird, monoton zu. Das heißt, wenn die Belichtungszeiten bestimmt werden, gibt der Helligkeitswert jedes Bild des ersten bewegten Aufnahmegegenstands in den ersten Mehrfachbelichtungsbilddaten an, wie oft ein entsprechendes Bild belichtet worden ist.
  • Wenn die Belichtungszeiten bestimmt werden, unterscheiden sich die Belichtungsdaten in der Einzelbilddauer voneinander. Somit weisen Bilder des ersten bewegten Aufnahmegegenstands, die in den ersten Mehrfachbelichtungsbilddaten erscheinen, unterschiedliche Belichtungspegel auf. Falls eine Überbelichtung auftritt, kann ein entsprechendes Bild unscharf sein. Falls eine Unterbelichtung auftritt, kann ein entsprechendes Bild dunkel erscheinen.
  • Die obigen Eigenschaften sind für einen Helligkeitswert und für einen Belichtungspegel des zweiten bewegten Aufnahmegegenstands wahr.
  • Der Mikrocomputer 177 detektiert aus den gewonnenen ersten Mehrfachbelichtungsbilddaten eine Vielzahl von Bildern des ersten bewegten Aufnahmegegenstands, die unterschiedliche Helligkeitswerte und unterschiedliche Belichtungszeiten aufweisen. Alternativ detektiert der Mikrocomputer 177 eine Vielzahl von Bildern des zweiten bewegten Aufnahmegegenstands (Schritt SOll).
  • Daraufhin führt der Mikrocomputer 177 an den detektierten Bildern des ersten bewegten Aufnahmegegenstands (oder des zweiten bewegten Aufnahmegegenstands) eine Kantendetektion aus und wählt er das Bild aus, dessen Helligkeit an der Begrenzung des umgebenden Gebiets am schärfsten variiert (Schritt S013).
  • Die Helligkeitsreihenfolge der Bilder des ersten bewegten Aufnahmegegenstands (oder des zweiten bewegten Aufnahmegegenstands) hängt eindeutig mit der Belichtungszeit zusammen. Der Mikrocomputer 177 bestimmt auf der Grundlage der Helligkeitsreihenfolge des Bilds eine Belichtungszeit für ein Bild des ersten bewegten Aufnahmegegenstands (oder des zweiten bewegten Aufnahmegegenstands), das in Schritt S013 ausgewählt worden ist (Schritt S015). Die auf diese Weise bestimmte Belichtungszeit kann als die optimale Belichtungszeit gemäß der gegenwärtigen Einstrahlung angesehen werden.
  • Nach Schritt S015 erzeugt der Mikrocomputer 177 ein zweites Belichtungssignal (siehe 7) als ein zweites Beispiel des Belichtungssignals (Schritt S017). Genauer enthält das zweite Belichtungssignal mit Bezug auf 7 in der zweiten Einzelbilddauer eine Vielzahl von Impulsen, jeweils mit der in Schritt S015 bestimmten Impulsbreite.
  • Daraufhin erzeugt der Mikrocomputer 177 ein Anzeigeattribut-Einstellsignal, wie es z. B. in Schritt S005 beschrieben ist (Schritt S019).
  • Der Mikrocomputer 177 gibt das erzeugte zweite Belichtungssignal und Anzeigeattribut-Einstellsignal über den Ausgabeabschnitt 179 an die Spannungssteuerschaltung 137 aus (Schritt S021).
  • Die Spannungssteuerschaltung 137 schaltet das empfangene Anzeigeattribut-Einstellsignal unter Verwendung des empfangenen zweiten Belichtungssignals, um ein Spannungssignal zu erzeugen (siehe einen rechten Bereich eines oberen Teils von 5 oder 9). Daraufhin legt die Spannungssteuerschaltung 137 dieses Spannungssignal gleichzeitig zwischen die transparenten Elektroden 1311A und die Pixelelektroden 1311B in allen Pixeln 131 an (globale Verschlussfunktion).
  • 9 stellt in einem rechten Bereich eines oberen Teils das Spannungssignal dar, dessen Impulsamplitude in der zweiten Einzelbilddauer monoton zunimmt. Allerdings ist die Signalform des Spannungssignals nicht auf dieses Beispiel beschränkt. Wie in einem rechten Bereich eines unteren Teils von 9 dargestellt ist, kann alternativ das Spannungssignal mit einer im Wesentlichen konstanten Impulsamplitude gleichzeitig an alle Pixel 131 in der zweiten Einzelbilddauer angelegt werden.
  • Der Bildsensor 13 führt die globale Verschlussfunktion durch Anlegen der Spannung an alle Pixel 131 aus, so dass der Belichtungsprozess in der zweiten Einzelbilddauer in allen Pixeln 131 gleichzeitig beginnt und endet. Der Bildsensor 13 liest mit der Zeilenabtastschaltung 133 und mit der Spaltenabtastschaltung 135 eine Signalladung, die in jedem Pixel 131 akkumuliert wird. Daraufhin gibt der Bildsensor 13 zweite Mehrfachbelichtungsbilddaten als das zweite Beispiel der Mehrfachbelichtungsbilddaten aus. Die ausgegebenen zweiten Mehrfachbelichtungsbilddaten werden über den Bildsender 15 an die ECU 5 gesendet (Schritt S023).
  • Nach dem oben beschriebenen Schritt S023 nimmt der Mikrocomputer 177 den Prozess in Schritt S001 wieder auf.
  • <1-5. Funktion und Wirkung>
  • Wie in 10 dargestellt ist, fahren ein vorausfahrendes Fahrzeug V1 und ein folgendes Fahrzeug V2, deren Scheinwerfer und Schlussleuchte leuchten, auf der rechten Seite des Fahrzeugs V, das entlang der Nebenfahrspur fährt, entlang der Hauptfahrspur. In den zweiten Mehrfachbelichtungsbilddaten, die in dieser Situation gewonnen werden, erscheint z. B. eine Schlussleuchte des vorausfahrenden Fahrzeugs V1 als der erste bewegte Aufnahmegegenstand und erscheint ein Scheinwerfer des folgenden Fahrzeugs V2 als der zweite bewegte Aufnahmegegenstand. Da jede Belichtungszeit wie oben beschrieben in der zweiten Einzelbilddauer optimal eingestellt wird, werden der erste und der zweite bewegte Aufnahmegegenstand in den zweiten Mehrfachbelichtungsbilddaten über die optimalen Belichtungszeiten belichtet. Im Ergebnis können Licht und Schatten geeignet wiedergegeben werden.
  • Mit der globalen Verschlussfunktion kann der Bildsensor 13 zweite Mehrfachbelichtungsbilddaten liefern, in denen ein wenig verzerrter, sich mit hoher Geschwindigkeit bewegender Aufnahmegegenstand erscheint, selbst wenn ein Bild des bewegten Aufnahmegegenstands erfasst wird, der sich mit einer hohen Geschwindigkeit bewegt.
  • Da die Bildaufnahmesteuervorrichtung 17 innerhalb einer einzelnen Einzelbilddauer eine optimale Belichtungszeit bestimmt, ist die Bildaufnahmesteuervorrichtung 17 in der vorliegenden Offenbarung für Fahrzeuganwendungen besonders geeignet. Ein Grund dafür ist, dass, falls eine Belichtungszeit über eine Vielzahl von Einzelbilddauern bestimmt wird, diese Belichtungszeit üblicherweise nicht länger als eine optimale Belichtungszeit zu der Zeit der Bestimmung ist, da sich eine Verkehrsumgebung, in der das eigene Fahrzeug V und ein nahes Fahrzeug mit hohen Geschwindigkeiten fahren, dynamisch ändern kann.
  • Wie oben beschrieben wurde, ist es in der vorliegenden Offenbarung möglich, eine Belichtungszeit mehrmals zu bestimmen. Zu diesem Zweck kann die Bildaufnahmesteuervorrichtung 17 eine optimale Belichtungszeit gemäß einer Einstrahlungsumgebung des fahrenden Fahrzeugs V, die sich mit der Zeit ändern kann, geeignet einstellen.
  • <2. Peripheriekonfiguration der Bildaufnahmesteuervorrichtung>
  • Mit Bezug auf 1 wird ein Richtungs- und Entfernungsmesssensor 3 beschrieben. Der Richtungs- und Entfernungsmesssensor 3 ist bei der oder in der Nähe der vorderen rechten Ecke eines Fahrzeugs V angeordnet, um ein Blickfeld, das Bereiche rechts vorn und auf der rechten Seite des Fahrzeugs V enthält, abzudecken. Der Richtungs- und Entfernungsmesssensor 3 detektiert z. B. wenigstens eine Richtung und eine Entfernung zu einem Ziel wie etwa zu einem vorausfahrenden Fahrzeug V1 oder zu einem folgenden Fahrzeug V2 und gibt die detektierte Richtung und Entfernung an die ECU 5 aus.
  • Genauer strahlt der Richtungs- und Entfernungsmesssensor 3, um die Richtung und die Entfernung zu dem Ziel zu detektieren, in ein Blickfeld ein Signal, das z. B. aus einer Funkwelle, aus einer Schallwelle, aus Infrarotlicht oder aus Nahinfrarotlicht gebildet ist, aus, und verarbeitet er ein Rücksignal, das durch das Ziel reflektiert oder gestreut und von ihm zurückgesendet wird. Der Richtungs- und Entfernungsmesssensor 3 dieses Typs kann ein Doppler-Radar, ein Radar vom Laufzeittyp (TOF-Typ) oder eine Lichtortung und Abstandsmessung (LIDAR) sein.
  • Alternativ kann der Richtungs- und Entfernungsmesssensor 3 eine Stereokamera sein.
  • Um den durch die ECU 5 ausgeführten Prozess zu vereinfachen, weisen die Bildaufnahmevorrichtung 1 und der Richtungs- und Entfernungsmesssensor 3 vorzugsweise eine feste Positionsbeziehung auf.
  • Nachfolgend wird die in 1 dargestellte ECU 5 beschrieben.
  • Wie in 11 dargestellt ist, enthält die ECU 5 als Hauptkomponenten einen Informationseingabeabschnitt 51, einen Bildeingabeabschnitt 53, einen Programmspeicher 55, einen Arbeitsspeicher 57, einen ECU-seitigen Mikrocomputer 59 und einen ECU-seitigen Ausgabeabschnitt 511.
  • Der Informationseingabeabschnitt 51 kann z. B. eine Schnittstelle eines Steuerbereichsnetzes (CAN) sein. Der Informationseingabeabschnitt 51 empfängt von dem Richtungs- und Entfernungsmesssensor 3 Informationen, die die Richtung und die Entfernung zu jedem einzelnen Ziel angeben.
  • Der Bildeingabeabschnitt 53 kann z. B. eine Schnittstelle eines medienorientierten Systemtransports (MOST) sein. Der Bildeingabeabschnitt 53 empfängt wenigstens die zweiten Mehrfachbelichtungsbilddaten von der Bildaufnahmevorrichtung 1.
  • Die durch den Informationseingabeabschnitt 51 empfangenen Informationen und die durch den Bildeingabeabschnitt 53 empfangenen zweiten Multiplexbilddaten werden gemäß der Steuerung des Mikrocomputers 59 an den Arbeitsspeicher 57 übertragen.
  • Der Mikrocomputer 59 führt das in dem Programmspeicher 55 vorgespeicherte Programm P3 aus, während er den Arbeitsspeicher 57 verwendet, und fungiert dadurch als ein Controller für die ECU 5.
  • Der Mikrocomputer 59 schätzt in der in 10 dargestellten Szene, genauer in der Szene, in der das vorausfahrende Fahrzeug V1 und das folgende Fahrzeug V2 entlang der Hauptfahrspur der Autobahn vor bzw. hinter einer Position fahren, bei der sich das Fahrzeug V aus der Nebenfahrspur in die Hauptfahrspur zu bewegen versucht, den Fahrzeugabstand d zwischen vorausfahrendem Fahrzeug V1 und folgendem Fahrzeug V2 und die Bewegungsgeschwindigkeiten des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2.
  • In diesem Fall führt der Mikrocomputer 59 z. B. an den empfangenen zweiten Multiplexbilddaten für ein Einzelbild eine Kantendetektion aus, um den ersten bewegten Aufnahmegegenstand (d. h. die Schlussleuchte des vorausfahrenden Fahrzeugs V1) und den zweiten bewegten Aufnahmegegenstand (d. h. den Scheinwerfer des folgenden Fahrzeugs V2) zu erkennen. Daraufhin schätzt der Mikrocomputer 59 eine Entfernung zwischen vorausfahrendem Fahrzeug V1 und folgendem Fahrzeug V2 genau als Fahrzeugabstand d. Ferner kann der Mikrocomputer 59 für die Entfernungen zwischen dem Fahrzeug V und dem ersten bewegten Aufnahmegegenstand und zwischen dem Fahrzeug V und dem zweiten bewegten Aufnahmegegenstand Informationen, die von dem Richtungs- und Entfernungsmesssensor 3 empfangen werden, verwenden.
  • Da in den zweiten Multiplexbilddaten eine Vielzahl von Bildern jeweils des ersten und des zweiten bewegten Aufnahmegegenstands erscheinen, kann der Mikrocomputer 59 außerdem zeitliche Änderungen in den Bewegungsgeschwindigkeiten des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2 und des Fahrzeugabstands d detektieren.
  • Wie oben beschrieben wurde, erfasst der Bildsensor 13 in dem obigen Fall durch die globale Verschlussfunktion ein Bild über eine optimale Belichtungszeit. Somit sind die resultierenden Bilder in den empfangenen zweiten Multiplexbilddaten minimal unscharf und verzerrt. Dies ist es, wie der Mikrocomputer 59 den Fahrzeugabstand d genau detektieren kann.
  • Darüber hinaus kann der Mikrocomputer 59 in der vorliegenden Offenbarung die empfangenen zweiten Multiplexbilddaten für ein Einzelbild verarbeiten, um den Fahrzeugabstand d zu liefern. Mit anderen Worten, der Mikrocomputer 59 kann den Fahrzeugabstand d liefern, ohne auf mehrere Einzelbilder von den Bildern von der Bildaufnahmevorrichtung 1 zu warten. Somit ist es gemäß der vorliegenden Offenbarung möglich, den Fahrzeugabstand d in einer verhältnismäßig kurzen Zeit zu liefern.
  • Der Mikrocomputer 59 überträgt den auf die obige Weise gelieferten Fahrzeugabstand d und andere Informationen z. B. über den ECU-seitigen Ausgabeabschnitt 511 an eine ECU, die für automatisches Fahren bestimmt ist. Die für automatisches Fahren bestimmte ECU steuert z. B. auf der Grundlage des empfangenen Fahrzeugabstands d die Lenkung, das Fahrpedal und die Bremse des Fahrzeugs V so, um das Fahrzeug V auf die Hauptfahrspur der Autobahn zu führen.
  • <3-1. Anmerkung (Impulsbreite und Impulsdauer hinsichtlich der Relativgeschwindigkeit)>
  • Wie oben beschrieben wurde, enthält das erste Belichtungssignal in der ersten Einzelbilddauer eine Vielzahl von Impulsen, die unterschiedliche Impulsbreiten aufweisen. Falls die Bildaufnahmevorrichtung 1 wie in der vorliegenden Offenbarung für eine Fahrzeuganwendung verwendet wird, werden die Impulsbreiten vorzugsweise auf der Grundlage der Fahrgeschwindigkeiten des eigenen Fahrzeugs V und nahegelegener Fahrzeuge, die das Ziel sein sollen (des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2), eingestellt. Darüber hinaus werden die Impulsbreiten in dem ersten Belichtungssignal vorzugsweise auf der Grundlage der Relativgeschwindigkeiten zwischen dem eigenen Fahrzeug V und den Zielfahrzeugen V1, V2 ausgewählt. Dadurch erfasst der Bildsensor 13 Bilder von Aufnahmegegenständen (d. h. nahen Fahrzeugen) über eine besser geeignete Belichtungszeit. Im Ergebnis kann der Mikrocomputer 59 einen Fahrzeugabstand und eine Bewegungsgeschwindigkeit genauer schätzen.
  • Vorzugsweise werden die Impulsdauern in dem ersten Belichtungssignal auf der Grundlage der Fahrgeschwindigkeiten des eigenen Fahrzeugs V und naher Fahrzeuge, die das Ziel sein sollen (des vorausfahrenden Fahrzeugs V1 und des folgenden Fahrzeugs V2), eingestellt. Darüber hinaus werden die Impulsdauern in dem ersten Belichtungssignal vorzugsweise auf der Grundlage der Relativgeschwindigkeiten zwischen dem eigenen Fahrzeug V und den Zielfahrzeugen V1, V2 ausgewählt. Dadurch kann der Bildsensor 13 einen Abstand zwischen den Bildern von Aufnahmegegenständen (d. h. nahen Fahrzeugen) in den ersten Mehrfachbelichtungsbilddaten einstellen und somit z. B. die Kantendetektion erleichtern. Im Ergebnis kann der Mikrocomputer 59 einen Fahrzeugabstand und eine Bewegungsgeschwindigkeit genauer schätzen.
  • <3-2. Anmerkung (Impulsbreite und Impulsdauer hinsichtlich der Einstrahlung)>
  • Unter einer bestimmten Bedingung gibt es Fälle, dass nahe Fahrzeuge (das vorausfahrende Fahrzeug V1 und das folgende Fahrzeug V2) von dem Fahrzeug V gesehen zu hell oder zu dunkel sind. Mit anderen Worten, es gibt Fälle, in denen eine Einstrahlungsbedingung eines Bereichs, der die nahen Fahrzeuge enthält, nicht gut ist. Aus diesem Grund variiert der Mikrocomputer 177 vorzugsweise geeignet die Impulsbreiten und die Impulsdauern des ersten Belichtungssignals gemäß der Einstrahlungsbedingung des Bereichs, der die nahen Fahrzeuge enthält (z. B. gemäß einer Stellung der Sonne relativ zu dem eigenen Fahrzeug V).
  • <3-3. Anmerkung (Mehrfachbelichtung für jedes bemerkenswerte Gebiet)>
  • Falls die Bildaufnahmevorrichtung 1 wie in der vorliegenden Offenbarung für eine Fahrzeuganwendung verwendet wird, ist es wichtig zu bestimmen, für welches Gebiet der Bildsensor 13 die Mehrfachbelichtung anwenden sollte, da das eigene Fahrzeug V ebenfalls fährt. Welches Gebiet durch die Bildaufnahmevorrichtung 1 bemerkt werden sollte, hängt von einer Fahrszene des Fahrzeugs V ab. Falls das Fahrzeug V mit einer hohen Geschwindigkeit geradlinig vorausfährt, ist ein bemerkenswertes Gebiet für die Bildaufnahmevorrichtung 1 in der Vorwärtsrichtung positioniert. Falls das Fahrzeug V eine Rechtskurve fährt, ist das bemerkenswerte Gebiet für die Bildaufnahmevorrichtung 1 in der Rechtsrichtung positioniert. Somit kann der Mikrocomputer 177 in dem Prozess aus 6 alle Pixel 131, die der Bildsensor 13 besitzt, auf eine Vielzahl von Pixeln 131, die Licht aus diesem bemerkenswerten Gebiet empfangen, beschränken. Daraufhin kann der Mikrocomputer 177 die globale Verschlussfunktion ausführen, um das erste und das zweite Belichtungssignal an alle beschränkten Pixel 131 gleichzeitig zu liefern. In diesem Fall detektiert der Mikrocomputer 177 ferner in den ersten Mehrfachbelichtungsbilddaten vorzugsweise eine Vielzahl von Bildern des ersten oder des zweiten Aufnahmegegenstands aus dem bemerkenswerten Gebiet. In diesem Fall kann der Mikrocomputer 177 das bemerkenswerte Gebiet z. B. unter Verwendung eines Fahrzeuglenkwinkelsensors (nicht dargestellt), der eine Bewegungsrichtung des Fahrzeugs V detektieren kann, identifizieren.
  • Im Folgenden wird eine Beschreibung eines anderen Beispiels eines Verfahrens zur Bestimmung des obigen bemerkenswerten Gebiets gegeben. Der Mikrocomputer 177 kann z. B. ein Bild von dem Bildsensor 13 oder von einer Stereokamera, die als ein Richtungs- und Entfernungsmesssensor 3 dient, gewinnen und kann an dem erfassten Bild die Kantendetektion ausführen. Daraufhin kann der Mikrocomputer 177 ein Gebiet, in dem ein bewegter Zielaufnahmegegenstand vorhanden ist, als das bemerkenswerte Gebiet ansehen. Danach kann der Mikrocomputer 177 während der nachfolgenden ersten oder zweiten Einzelbilddauer alle Pixel 131, die der Bildsensor 13 besitzt, auf eine Vielzahl von Pixeln 131, die Licht aus dem bemerkenswerten Gebiet empfangen, beschränken. Daraufhin kann der Mikrocomputer 177 die globale Verschlussfunktion ausführen, um das erste und das zweite Belichtungssignal an alle beschränkten Pixel 131 gleichzeitig zu liefern. In diesem Fall kann der Mikrocomputer 177 ferner in den ersten Mehrfachbelichtungsbilddaten eine Vielzahl von Bildern des ersten oder des zweiten bewegten Aufnahmegegenstands aus dem bemerkenswerten Gebiet detektieren.
  • In der in 10 dargestellten Szene wie in der vorliegenden Offenbarung ist das bemerkenswerte Gebiet vorzugsweise bei oder nahe der Schlussleuchte des vorausfahrenden Fahrzeugs V1 oder dem Scheinwerfer des folgenden Fahrzeugs V2, die in der Fahrspur fahren, in die sich das Fahrzeug V zu bewegen versucht, positioniert.
  • <3-4. Anmerkung (eine andere Einzelbilddauer)>
  • Wie aus 7 und 8 zu verstehen ist, wird die Mehrfachbelichtung in der obigen beispielhaften Ausführungsform ebenfalls während der zweiten Einzelbilddauer durchgeführt. Allerdings kann der Mikrocomputer 177, wie in dem oberen und in dem unteren Teil von 12 dargestellt ist, während der zweiten Einzelbilddauer ein zweites Belichtungssignal erzeugen, das einen einzelnen Impuls mit einer in Schritt S015 in 6 bestimmten Belichtungszeit enthält, anstatt die Mehrfachbelichtung in der zweiten Einzelbilddauer vorzunehmen. In diesem Fall kann der Bildsensor 13 Einzelbelichtungsbilddaten liefern.
  • Wie in dem oberen Teil von 12 dargestellt ist, kann der Mikrocomputer 177 während der ersten Einzelbilddauer eine optimale Belichtungszeit bestimmen und daraufhin während der zweiten Einzelbilddauer über die bestimmte Belichtungszeit eine Mehrfachbelichtung vornehmen. Danach kann der Mikrocomputer 177 während der zweiten Einzelbilddauer, die auf die Mehrfachbelichtung folgt, eine Einzelbelichtung vornehmen. Wie in dem unteren Abschnitt aus 12 dargestellt ist, kann der Mikrocomputer 177 während der ersten Einzelbilddauer eine optimale Belichtungszeit bestimmen und daraufhin während der zweiten Einzelbilddauer über die bestimmte Belichtungszeit eine Einzelbelichtung vornehmen. Danach kann der Mikrocomputer 177 während der zweiten Einzelbilddauer, die auf das zweite Einzelbild der Einzelbelichtung folgt, eine Mehrfachbelichtung vornehmen.
  • <3-5. Anmerkung (Piloteinzelbilddauer)>
  • Der Mikrocomputer 177 führt die Prozesse in den Schritten S003 bis S015 in 6 regelmäßig aus. Das regelmäßige und wiederholte Auftreten der ersten Einzelbilddauer wird als die Piloteinzelbilddauer bezeichnet. Wie in 13 dargestellt ist, kann der Mikrocomputer 177 eine optimale Belichtungszeit unter Verwendung des ersten Belichtungssignals während eines Zeitintervalls zwischen einer Vielzahl solcher Piloteinzelbilddauern bestimmen. Daraufhin kann der Mikrocomputer 177 die zweiten Mehrfachbelichtungsbilddaten (oder die Einzelbelichtungsbilddateneinheit) von dem Bildsensor 13 unter Verwendung des zweiten Belichtungssignals, das ein Signal zur Verwendung beim Vornehmen der Mehrfach- oder Einzelbelichtung ist, während der nachfolgenden zweiten Einzelbilddauer (oder einer weiteren fortgesetzten zweiten Einzelbilddauer) gewinnen.
  • <3-6. (Andere) Anmerkungen>
  • Wenn dies vorgesehen ist, kann das Programm P1 in einem nichttransitorischen Aufzeichnungsmedium wie etwa einer Digital Versatile Disc (DVD) gespeichert sein. Alternativ kann das Programm P1 in einem Server in einem Netz gespeichert sein, um über das Netz heruntergeladen werden zu können.
  • In der vorstehenden beispielhaften Ausführungsform führt der Mikrocomputer 177 das Programm P1 aus. Allerdings ist die vorliegende Offenbarung nicht auf dieses Schema beschränkt; alternativ kann der ECUseitige Mikrocomputer 59 das Programm P1 ausführen.
  • <4-1. Erste Änderung>
  • Wie in 7 und 8 dargestellt ist, enthält das Belichtungssignal (d. h. das erste Belichtungssignal) in der vorstehenden Offenbarung in der ersten Einzelbilddauer eine Vielzahl von Impulsen und weisen diese Impulse dieselbe Impulsamplitude auf.
  • Allerdings ist die vorliegende Offenbarung nicht auf dieses Schema beschränkt; falls die Impulse in der zeitlichen Aufeinanderfolge in dem ersten Belichtungssignal die erste Impulsbreite w1, die zweite Impulsbreite w2 (w2 > w1), ... und die n-te Impulsbreite wn (wn > w(n-1)) aufweisen, gibt es Fälle, in denen die entsprechende erste Impulsamplitude a1, zweite Impulsamplitude a2, ... und n-te Impulsamplitude vorzugsweise der folgenden Beziehung genügen: a1 < a2, ... und a(n-1) < an.
  • Eine kleinere Impulsbreite bedeutet einen niedrigeren Belichtungswert; eine größere Impulsamplitude bedeutet einen höheren Belichtungswert. Somit kann ein Belichtungswert zwischen Impulsen konstant sein, falls ein Impuls eine verhältnismäßig kleine Impulsbreite und eine verhältnismäßig große Impulsamplitude aufweist. Wie oben beschrieben wurde, gibt es aus diesem Grund Fälle, in denen eine Impulsamplitude dieses Impulses vorzugsweise klein ist, falls ein beliebiger Impuls in dem ersten Belichtungssignal eine kleine Impulsbreite aufweist.
  • Sofern nicht im Hintergrund die Sonne vorhanden ist, wird die Impulsamplitude des zweiten Belichtungssignals über der zweiten Einzelbilddauer auf den Maximalwert eingestellt.
  • <4-2. Zweite Änderung>
  • In der vorstehenden beispielhaften Ausführungsform kann jedes Pixel 131 in dem Bildsensor 13 zwei Zellen mit Empfindlichkeiten gemäß hellen und dunklen Szenen aufweisen, um einen weiteren Dynamikbereich zu erzielen. Wie in 14 dargestellt ist, enthält jedes Pixel 131 genauer: eine Bildaufnahmezelle (im Folgenden als hochgesättigte Zelle bezeichnet) 1321, die eine hohe Sättigung unterstützt; und eine Bildaufnahmezelle für hohe Empfindlichkeit (im Folgenden als hochempfindliche Zelle bezeichnet) 1323.
  • Die hochgesättigte Zelle 1321 weist eine niedrigere Empfindlichkeit als eine Empfindlichkeit der hochempfindlichen Zelle 1323 auf.
  • Da die Ladungsspeicherknoten der hochgesättigten Zelle 1321 z. B. eine Metalloxidmetallkapazität (MOM-Kapazität) nutzen, weist die hochgesättigte Zelle 1321 eine höhere Kapazität als eine Kapazität der hochempfindlichen Zelle 1323 auf.
  • Da Ladungsspeicherknoten der hochempfindlichen Zelle 1323 z. B. die MOM-Kapazität nicht nutzen, weist die hochempfindliche Zelle 1323 eine kleinere Kapazität als die Kapazität der hochgesättigten Zelle 1321 auf. Im Ergebnis kann die hochempfindliche Zelle 1323 ein Rücksetzrauschen durch Verringern von weißem Rauschen unterdrücken.
  • Wenn das Fahrzeug V nachts oder innerhalb eines Tunnels fährt, führt der Mikrocomputer 177 die Prozesse aus 6 unter Verwendung der hochgesättigten Zelle 1321 aus, die eine der hochgesättigten Zelle 1321 und der hochempfindlichen Zelle 1323, die in jedem Pixel 131 vorgesehen sind, ist. Diese kann eine Schlussleuchte oder einen Scheinwerfer eines anderen Fahrzeugs genau detektieren.
  • Industrielle Anwendbarkeit
  • Eine Bildaufnahmesteuervorrichtung, ein Bildaufnahmesteuerverfahren, ein Programm und ein Aufzeichnungsmedium, in dem das Programm gespeichert ist, gemäß der vorliegenden Offenbarung ermöglichen alle, eine geeignete Belichtungszeit zu bestimmen, und sind dementsprechend für eine Fahrzeuganwendung geeignet.
  • Bezugszeichenliste
  • 1
    Bildaufnahmevorrichtung
    11
    Optisches System
    13
    Bildsensor
    131
    Pixel
    1311
    fotoelektrischer Wandler
    1311A
    transparente Elektrode
    1311B
    Pixelelektrode
    1311C
    Schicht für fotoelektrische Wandlung
    1313
    Ladungsdetektionsschaltung
    1315
    Halbleitersubstrat
    1317
    Zwischenschichtisolierschicht
    1319
    Kontaktstopfen
    1321
    hochgesättigte Zelle
    1323
    hochempfindliche Zelle
    133
    Zeilenabtastschaltung
    135
    Spaltenabtastschaltung
    137
    Spannungssteuerschaltung
    15
    Bildsender
    17
    Systemcontroller (Bildaufnahmesteuervorrichtung)
    171
    Eingabeabschnitt
    173
    Programmspeicher
    P1
    Programm
    175
    Arbeitsspeicher
    177
    Bildaufnahmevorrichtungs-seitiger Mikrocomputer (Mikrocomputer oder Controller)
    179
    Ausgabeabschnitt
    3
    Richtungs- und Entfernungsmesssensor
    5
    elektronische Steuereinheit (ECU)
    51
    Informationseingabeabschnitt
    53
    Bildeingabeabschnitt
    55
    Programmspeicher
    P3
    Programm
    57
    Arbeitsspeicher
    59
    ECU-seitiger Mikrocomputer (Mikrocomputer)
    511
    ECU-seitiger Ausgabeabschnitt
    S
    Objektbild (Bild eines bewegten Aufnahmegegenstands)
    V
    Fahrzeug (eigenes Fahrzeug)
    V1
    vorausfahrendes Fahrzeug (Zielfahrzeug)
    V2
    folgendes Fahrzeug (Zielfahrzeug)

Claims (19)

  1. Bildaufnahmesteuervorrichtung (17), die umfasst: einen Controller (177), der veranlasst, dass ein Bildsensor (13) wenigstens während einer ersten Einzelbilddauer mit einem ersten Belichtungssignal, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, und mit einem Anzeigeattribut-Einstellsignal, das eine Vielzahl von Anzeigeattributen mit einer Vielzahl voneinander verschiedener Impulsamplituden enthält, ein Mehrfachbelichtungsbild erfasst, wobei der Bildsensor (13) dafür ausgelegt ist, das Erfassen dadurch auszuführen, dass er eine Mehrfachbelichtung vornimmt; und einen Eingangsabschnitt (171), der das Mehrfachbelichtungsbild empfängt, wobei der Controller (177) an einer Vielzahl von Bildern eines selben Objekts, das in dem mindestens einen durch den Eingangsabschnitt (171) empfangenen Mehrfachbelichtungsbild erscheint, eine Kantendetektion ausführt, eine Impulsbreite aus der Vielzahl von Impulsbreiten auswählt, wobei die ausgewählte eine Impulsbreite mit der Erfassung eines beliebigen Bilds unter der Vielzahl von Bildern zusammenhängt, und veranlasst, dass der Bildsensor (13) während einer zweiten Einzelbilddauer mit einem zweiten Belichtungssignal, das nur aus einem Impuls mit der ausgewählten Impulsbreitegebildet ist, ein Bild desselben Objekts erfasst, wobei die zweite Einzelbilddauer auf die erste Einzelbilddauer folgt.
  2. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei die wenigstens eine erste Einzelbilddauer eine Vielzahl erster Einzelbilddauern enthält, wobei zwischen der Vielzahl erster Einzelbilddauern ein Zeitintervall eingefügt ist, der Controller (177) veranlasst, dass der Bildsensor (13) während jeder der Vielzahl erster Einzelbilddauern mit der Vielzahl des Belichtungssignals und der Anzeigeattributsignale die Mehrfachbelichtungsbilder erfasst, und aus der Vielzahl von Impulsbreiten auf der Grundlage der durch den Eingangsabschnitt (171) empfangenen Mehrfachbelichtungsbilder, die jeweils der Vielzahl erster Einzelbilddauern entsprechen, die eine Impulsbreite auswählt.
  3. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei sowohl der Bildsensor (13) als auch die Bildaufnahmesteuervorrichtung (17) in ein Fahrzeug (v) eingebaut sind und wobei der Controller (171) die Vielzahl in dem ersten Belichtungssignal enthaltener Impulsbreiten wenigstens auf der Grundlage einer Geschwindigkeit des Fahrzeugs (v) einstellt.
  4. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei der Controller (177) veranlasst, dass ein Pixelgebiet in dem Bildsensor mit dem ersten Belichtungssignal und mit dem Anzeigeattributsignal das Mehrfachbelichtungsbild erfasst, wobei das Bildgebiet Licht von einem vorgegebenen zu bemerkenden Gebiet empfängt, und aus der Vielzahl von Impulsbreiten auf der Grundlage einer Vielzahl von Bildern in Bezug auf dasselbe Objekt, das in dem zu bemerkenden Gebiet innerhalb des durch den Eingangsabschnitt (171) empfangenen Mehrfachbelichtungsbilds enthalten ist, die eine Impulsbreite auswählt.
  5. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei sowohl der Bildsensor (13) als auch die Bildaufnahmesteuervorrichtung (17) in ein Fahrzeug (v) eingebaut sind, der Bildsensor (13) eine Vielzahl von Pixeln (131) aufweist, die eine hochempfindliche Zelle (1323) und eine hochgesättigte Zelle (1321) enthalten, wobei die hochgesättigte Zelle (1321) eine niedrigere Empfindlichkeit als eine Empfindlichkeit der hochempfindlichen Zelle (1323) aufweist, aber eine höhere Kapazität in einem Ladungsspeicherknoten als eine Kapazität eines Ladungsspeicherknotens in der hochempfindlichen Zelle (1323) aufweist, und der Controller (177) veranlasst, dass die in dem Bildsensor (13) enthaltene hochgesättigte Zelle (1321) während der ersten Einzelbilddauer mit dem ersten Belichtungssignal, das die Vielzahl von Impulsen enthält, das Mehrfachbelichtungsbild erfasst, wenn das Fahrzeug (v) nachts oder innerhalb eines Tunnels fährt.
  6. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei der Controller (177) Dauern der Vielzahl in dem ersten Belichtungssignal enthaltener Impulse auf der Grundlage einer Geschwindigkeit eines Fahrzeugs (v) einstellt, wenn sowohl der Bildsensor (13) als auch die Bildaufnahmesteuervorrichtung (17) in das Fahrzeug (v) eingebaut sind.
  7. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei sowohl der Bildsensor (13) als auch die Bildaufnahmesteuervorrichtung (17) in ein Fahrzeug (v) eingebaut sind, und wobei der Controller (177) die Vielzahl von Impulsbreiten und/oder die Vielzahl von Dauern in dem ersten Belichtungssignal enthaltener Impulse auf der Grundlage einer Einstrahlung eines Bereichs, der das Fahrzeug (v) enthält, einstellt.
  8. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei der Controller (177) ferner veranlasst, dass der Bildsensor (13) während Piloteinzelbilddauern mit dem ersten Belichtungssignal das Mehrfachbelichtungssignal erfasst, wobei die Piloteinzelbilddauern regelmäßig erscheinen, und der Controller (177) veranlasst, dass der Bildsensor (13) während der ersten Einzelbilddauer zwischen den Piloteinzelbilddauern mit dem ersten Belichtungssignal und mit dem Anzeigeattribut-Einstellsignal das Mehrfachbelichtungsbild erfasst, auf der Grundlage des durch den Eingangsabschnitt (171) empfangenen Mehrfachbelichtungsbilds die eine Impulsbreite aus der Vielzahl von Impulsbreiten auswählt und veranlasst, dass der Bildsensor (13) während einer zweiten Einzelbilddauer mit dem zweiten Belichtungssignal ein Bild desselben Objekts erfasst, wobei die zweite Einzelbilddauer auf die erste Einzelbilddauer folgt.
  9. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei der Bildsensor (13) einen fotoelektrischen Wandler (1311) aufweist, und wobei der fotoelektrische Wandler (1311) eine Schicht für fotoelektrische Wandlung (1311C) aufweist, die aus einem organischen Dünnfilm hergestellt ist.
  10. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei die ausgewählte Impulsbreite des zweiten Belichtungssignals eine Impulsbreite ist, die mit dem Erfassen eines Bilds mit einem am schärfsten variierenden Anzeigeattribut unter der Vielzahl von Bildern zusammenhängt.
  11. Bildaufnahmesteuervorrichtung (17) nach Anspruch 4, wobei sowohl der Bildsensor (13) als auch die Bildaufnahmesteuervorrichtung (17) in ein Fahrzeug (v) eingebaut sind, und das vorgegebene zu bemerkende Gebiet ein Gebiet ist, das in einer Bewegungsrichtung des Fahrzeugs (v) positioniert ist.
  12. Bildaufnahmesteuervorrichtung (17) nach Anspruch 4, wobei sowohl der Bildsensor (13) als auch die Bildaufnahmesteuervorrichtung (17) in ein Fahrzeug (v) eingebaut sind, und das vorgegebene zu bemerkende Gebiet in der Nähe einer Schlussleuchte eines vorausfahrenden Fahrzeugs (v1) und eines Scheinwerfers eines folgenden Fahrzeugs (v2) positioniert ist, wobei das vorausfahrende Fahrzeug (v1) und das folgende Fahrzeug (v2) entlang einer Verkehrsspur fahren, in die sich das Fahrzeug (v) zu bewegen versucht.
  13. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei das Anzeigeattribut die Lichtstärke und/oder die Farbe, d. h. Farbton oder Chroma, ist.
  14. Bildaufnahmesteuervorrichtung (17) nach Anspruch 1, wobei das erste Belichtungssignal und das Anzeigeattribut-Einstellsignal zu einem selben Signal ersetzt sind.
  15. Bildaufnahmesteuerverfahren, das umfasst: Veranlassen, dass ein Bildsensor (13) wenigstens während einer ersten Einzelbilddauer mit einem ersten Belichtungssignal, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, und mit einem Anzeigeattribut-Einstellungssignal, das eine Vielzahl von Anzeigeattributen mit einer Vielzahl voneinander verschiedener Impulsamplituden enthält, ein Mehrfachbelichtungsbild erfasst, wobei der Bildsensor (13) dafür ausgelegt ist, die Erfassung dadurch auszuführen, dass er eine Mehrfachbelichtung vornimmt; Empfangen des Mehrfachbelichtungsbilds; Ausführen einer Kantendetektion an einer Vielzahl von Bildern eines selben Objekts, die in dem mindestens einen durch den Eingabeabschnitt empfangenen Mehrfachbelichtungsbild erscheinen; Auswählen einer Impulsbreite aus der Vielzahl von Impulsbreiten, wobei die ausgewählte Impulsbreite mit der Erfassung eines Bilds zusammenhängt, das unter der Vielzahl von Bildern ein am schärfsten variierendes Anzeigeattribut aufweist; und Veranlassen, dass der Bildsensor (13) während einer zweiten Einzelbilddauer mit einem zweiten Belichtungssignal, das nur aus einem Impuls mit der ausgewählten Impulsbreite gebildet ist, ein Bild desselben Objekts erfasst, wobei die zweite Einzelbilddauer auf die erste Einzelbilddauer folgt.
  16. Nichttransitorisches Aufzeichnungsmedium, in dem ein Programm gespeichert ist, wobei das Programm veranlasst, dass ein Computer ein Verfahren ausführt, wobei das Verfahren umfasst: Veranlassen, dass ein Bildsensor (13) wenigstens während einer ersten Einzelbilddauer mit einem ersten Belichtungssignal, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsbreiten enthält, und mit einem Anzeigeattribut-Einstellsignal, das eine Vielzahl von Impulsen mit einer Vielzahl voneinander verschiedener Impulsamplituden enthält, ein Mehrfachbelichtungsbild erfasst, wobei der Bildsensor (13) dafür ausgelegt ist, das Erfassen dadurch auszuführen, dass er eine Mehrfachbelichtung vornimmt; Empfangen des Mehrfachbelichtungsbilds; Ausführen einer Kantendetektion an einer Vielzahl von Bildern eines selben Objekts, die in dem durch den Eingabeabschnitt empfangenen Mehrfachbelichtungsbild erscheinen; Auswählen einer Impulsbreite aus der Vielzahl von Impulsbreiten, wobei die ausgewählte eine Impulsbreite mit der Erfassung eines Bilds zusammenhängt, das unter der Vielzahl von Bildern ein am schärfsten variierendes Anzeigeattribut aufweist; und Veranlassen, dass der Bildsensor (13) während einer zweiten Einzelbilddauer mit einem zweiten Belichtungssignal, das nur aus einem Impuls mit der ausgewählten Impulsbreite gebildet ist, ein Bild desselben Objekts erfasst, wobei die zweite Einzelbilddauer auf die erste Einzelbilddauer folgt.
  17. Bildaufnahmesteuervorrichtung (17), die veranlasst, dass ein Bildsensor (13) während einer Einzelbilddauer dadurch erfasst, dass er eine Mehrfachbelichtung ausführt, wobei diese Belichtung durch Belichtungszeiteinheiten und Anzeigeattribute jeweils mit den Belichtungszeiteinheiten in jeder der Belichtungszeiteinheiten synchronisiert ist, wobei die Bildaufnahmesteuervorrichtung (17) umfasst: einen Controller (177), der, während einer ersten Einzelbilddauer, die die Einzelbilddauer ist, die die erste Dauer oder eine zweite Dauer, die auf die erste Dauer folgt, enthält, ein erstes Signal, das Belichtungszeiteinheiten mit voneinander verschiedener Belichtungszeit angibt, und ein zweites Signal, das den voneinander verschiedenen Grad, der jeweils den Belichtungszeiteinheiten entspricht angibt, erzeugt; einen Ausgabeabschnitt (179), der den Bildsensor (13) verbindet und die erzeugten Signale an den Bildsensor (13) ausgibt; und einen Eingabeabschnitt (171), der den Bildsensor (13) verbindet und das erste Mehrfachbelichtungsbild empfängt, wobei der Controller (177) an einer Vielzahl von Bildern eines selben Objekts, die in dem mindestens einen durch den Eingabeabschnitt (171) empfangenen ersten Mehrfachbelichtungsbild erscheinen, eine Kantendetektion ausführt, aus den Belichtungszeiteinheiten eine Belichtungszeiteinheit auswählt, wobei die ausgewählte eine Impulsbreite mit der Erfassung eines Bilds zusammenhängt, das unter der Vielzahl von Bildern ein am schärfsten variierendes Anzeigeattribut aufweist; und während einer zweiten Einzelbilddauer ein zweites Belichtungssignal erzeugt, das aus einem Impuls nur mit der ausgewählten Belichtungszeiteinheit gebildet ist; und veranlasst, dass der Ausgabeabschnitt (179) die zweite Belichtung an den Bildsensor (13) ausgibt.
  18. Bildaufnahmesteuervorrichtung (17) nach Anspruch 17, wobei das Anzeigeattribut die Lichtstärke und/oder die Farbe, d. h. Farbton oder Chroma, ist.
  19. Bildaufnahmesteuervorrichtung (17) nach Anspruch 17, wobei das erste Belichtungssignal und das Anzeigeattribut-Einstellsignal zu einem selben Signal ersetzt sind.
DE112017004948.2T 2016-09-30 2017-07-24 Bildaufnahmesteuervorrichtung, Bildaufnahmesteuerverfahren und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist Active DE112017004948B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016193047A JP6739066B2 (ja) 2016-09-30 2016-09-30 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体
JP2016-193047 2016-09-30
PCT/JP2017/026625 WO2018061427A1 (ja) 2016-09-30 2017-07-24 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体

Publications (2)

Publication Number Publication Date
DE112017004948T5 DE112017004948T5 (de) 2019-06-27
DE112017004948B4 true DE112017004948B4 (de) 2022-10-27

Family

ID=61762710

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017004948.2T Active DE112017004948B4 (de) 2016-09-30 2017-07-24 Bildaufnahmesteuervorrichtung, Bildaufnahmesteuerverfahren und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist

Country Status (5)

Country Link
US (1) US10534240B2 (de)
JP (1) JP6739066B2 (de)
CN (1) CN109792492B (de)
DE (1) DE112017004948B4 (de)
WO (1) WO2018061427A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015188146A2 (en) 2014-06-05 2015-12-10 Edward Hartley Sargent Sensors and systems for the capture of scenes and events in space and time
US20190246053A1 (en) * 2016-10-21 2019-08-08 Invisage Technologies, Inc. Motion tracking using multiple exposures
JP7162200B2 (ja) 2018-02-09 2022-10-28 パナソニックIpマネジメント株式会社 カメラシステム、及び車両走行制御システム
CN112513671A (zh) * 2018-08-02 2021-03-16 新唐科技日本株式会社 摄像装置及在该摄像装置中使用的固体摄像元件
CN111721305B (zh) * 2020-06-28 2022-07-22 北京百度网讯科技有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质
EP4075790B1 (de) * 2021-04-13 2023-04-05 Axis AB Belichtungszeitsteuerung in einer videokamera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197373A (ja) 2000-01-11 2001-07-19 Sony Corp 撮像装置及び受光感度制御方法
JP2007104113A (ja) 2005-09-30 2007-04-19 Fujifilm Corp 感度可変型撮像素子及びこれを搭載した撮像装置
WO2017010047A1 (ja) 2015-07-10 2017-01-19 パナソニックIpマネジメント株式会社 撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4024367B2 (ja) * 1997-12-15 2007-12-19 株式会社フォトロン 多板式撮像装置
JP2002152602A (ja) * 2000-11-15 2002-05-24 Matsushita Electric Ind Co Ltd デジタルスチルカメラ
DE602006006582D1 (de) * 2005-08-08 2009-06-10 Mep Imaging Technologies Ltd Adaptive belichtungssteuerung
US20070153117A1 (en) * 2005-12-30 2007-07-05 Yen-Yu Lin Apparatus and method for adjusting display-related setting of an electronic device
JP2007282028A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 車載カメラ
JP2008022485A (ja) * 2006-07-14 2008-01-31 Canon Inc 画像処理装置及び画像処理方法
JP2009177250A (ja) * 2008-01-21 2009-08-06 Fujitsu Ten Ltd 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
JP2011119785A (ja) * 2009-11-30 2011-06-16 Fujitsu Ltd カメラ制御装置及びカメラ制御方法
JP5050256B1 (ja) * 2011-06-21 2012-10-17 オリンパス株式会社 撮像装置及び撮像方法
JP2013121093A (ja) * 2011-12-08 2013-06-17 Konica Minolta Advanced Layers Inc 撮像装置
JP2015144339A (ja) * 2014-01-31 2015-08-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN104202535B (zh) * 2014-06-30 2017-10-27 杭州光典医疗器械有限公司 一种自动曝光方法及装置
JP5692446B1 (ja) * 2014-07-01 2015-04-01 株式会社Jvcケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
JP2016100686A (ja) * 2014-11-19 2016-05-30 三星電子株式会社Samsung Electronics Co.,Ltd. 撮像装置および撮像方法
CN108886585B (zh) * 2017-01-25 2022-01-11 松下知识产权经营株式会社 驾驶控制系统以及驾驶控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197373A (ja) 2000-01-11 2001-07-19 Sony Corp 撮像装置及び受光感度制御方法
JP2007104113A (ja) 2005-09-30 2007-04-19 Fujifilm Corp 感度可変型撮像素子及びこれを搭載した撮像装置
WO2017010047A1 (ja) 2015-07-10 2017-01-19 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
US10534240B2 (en) 2020-01-14
JP2018056881A (ja) 2018-04-05
US20190219891A1 (en) 2019-07-18
CN109792492B (zh) 2021-02-05
CN109792492A (zh) 2019-05-21
JP6739066B2 (ja) 2020-08-12
DE112017004948T5 (de) 2019-06-27
WO2018061427A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
DE112017004948B4 (de) Bildaufnahmesteuervorrichtung, Bildaufnahmesteuerverfahren und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist
DE112020006101T5 (de) Dynamikbereich von interesse und frame-rate für ereignisbasierten sensor und bildgebungskamera
DE102016218843A1 (de) Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung
DE102016218838A1 (de) Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung
DE102016117780B4 (de) Fahrzeugaussenumgebung-Erkennungsvorrichtung
DE102016122831A1 (de) Bildgebendes System, Abstandsmessvorrichtung, Verfahren zum Betreiben des bildgebenden Systems und der Abstandsmessvorrichtung
DE102017217555B4 (de) Bildgebungsvorrichtung mit Bildsynthesefunktion für hohen Dynamikumfang
WO2009127347A1 (de) Optischer abstandsmesser und verfahren zur optischen abstandsmessung
DE112018002395T5 (de) Optischer sensor und elektronische vorrichtung
DE102013115000A1 (de) Blendungsminderung für dynamischen Rückspiegel
DE102007004348A1 (de) Imager-Halbleiterbauelement, Kamerasystem und Verfahren zum Erstellen eines Bildes
DE102018220427B4 (de) Kameramodul
DE102019113278B4 (de) Bildsensoren mit ladungsüberlauffähigkeiten
DE102019101482A1 (de) Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
DE102014002134A1 (de) Vorrichtung zur Erkennung einer Beleuchtungsumgebung eines Fahrzeugs und Steuerungsverfahren davon
WO2014040848A1 (de) Verfahren und vorrichtung zur erkennung von zumindest einer gepulsten lichtquelle für ein fahrzeug
DE102011081384B4 (de) Verfahren und Vorrichtung zur Abstandsbestimmung für ein Fahrzeug
DE102007004349A1 (de) Nachtsichtsystem, insbesondere für ein Fahrzeug, und Verfahren zum Erstellen eines Nachtsichtbildes
DE112020006097T5 (de) Ebs/tof/rgb-kamera zur intelligenten überwachung und detektion von eindringlingen
DE112020002319T5 (de) Bilderkennungsvorrichtung und bilderkennungsverfahren
DE102013208802A1 (de) Lichtlaufzeitsensor mit spektralen Filtern
DE112020004446T5 (de) Festkörperbildgebungsvorrichtung und bildgebungsvorrichtung mitkombinierten dynamic-vision-sensor- und bildgebungsfunktionen
DE112017006977T5 (de) Abbildungssystem und abbildungseinrichtung
DE112014001571B4 (de) Bildverarbeitungsvorrichtung
DE102013208804B4 (de) Lichtlaufzeitsensor mit zuschaltbarer Hintergrundlichtunterdrückung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005235000

Ipc: H04N0023700000

R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: PANASONIC AUTOMOTIVE SYSTEMS CO., LTD., YOKOHA, JP

Free format text: FORMER OWNER: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT CO., LTD., OSAKA, JP