-
HINTERGRUND DER ERFINDUNG
-
(Technisches Gebiet)
-
Die vorliegende Offenbarung betrifft Bildgebungsvorrichtungen. Insbesondere bezieht sich die vorliegende Offenbarung auf Bildgebungsvorrichtungen, die mit einer Bildsynthesefunktion für hohen Dynamikumfang versehen sind.
-
(Beschreibung des Standes der Technik)
-
Ein Bildgebungsverarbeitungssystem, das in einem Fahrzeug vorgesehen ist, ist bekannt. Das Bildgebungsverarbeitungssystem im Fahrzeug wird allgemein für verschiedene Fahrunterstützungsfunktionen verwendet. Zum Beispiel offenbart die
JP-A-2010-118767 ein Bildgebungsverarbeitungssystem für ein Fahrzeug, bei dem mehrere Bilder nacheinander entsprechend verschiedenen Fahrunterstützungsfunktionen erfasst bzw. aufgenommen werden. Diese Bildgebungsvorgänge werden unter Verwendung unterschiedlicher Verschlussgeschwindigkeiten entsprechend jeweiliger Fahrunterstützungsfunktionen durchgeführt und verschiedene Parameter, die für die Fahrunterstützungsfunktionen verwendet werden, werden aus den aufgenommenen Bildern erlangt, die jeweiligen Fahrunterstützungsfunktionen entsprechen.
-
Die Bildgebung unter Verwendung des durch das vorstehend erwähnte Patentdokument offenbarten Bildgebungsverarbeitungssystems erhält jedoch unwahrscheinlich ein aufgenommenes Bild mit einem ausreichenden Dynamikumfang. In dieser Hinsicht kann ein aufgenommenes Bild mit erweitertem Dynamikumfang erhalten werden, wenn eine Bildsynthese mit hohem Dynamikumfang durchgeführt wird (nachstehend als HDR-(High Dynamic Range)Rendering bezeichnet).
-
Für die Fahrunterstützung von Fahrzeugen sind in Echtzeit aufgenommene Bilder erforderlich. Wenn synthetische Bilder durch das HDR-Rendering für die Fahrunterstützung verwendet werden, müssen daher eine Mehrzahl von Bildaufnahmen mit unterschiedlichen Belichtungszeiten in einer kurzen Zeitperiode aufgenommen werden. Dementsprechend können sich in dem Fall, in dem mehrere HDR-Renderings durchgeführt werden, um mehrere Synthesebilder mit unterschiedlichen Bildqualitäten für die Fahrunterstützung bereitzustellen, die Belichtungsperioden der jeweiligen Bildaufnahmen überlappen. Um die sich überlappenden Perioden zu vermeiden, muss die Belichtungszeitdauer begrenzt werden oder die Erzeugung von Synthesebildern kann sich verzögern.
-
ÜBERBLICK
-
Die vorliegende Offenbarung stellt unter Verwendung des HDR-Renderings eine Technik zum geeigneten und gleichmäßigen Erzeugen einer Mehrzahl von Synthesebildern mit unterschiedlichen Bildqualitäten bereit.
-
Eine Bildgebungsvorrichtung (1) führt eine Bildgebung unter Verwendung eines Bildgebungselements (12) durch. Die Bildgebungsvorrichtung ist mit einer Bildgebungseinheit (10), einer Steuereinheit (23) und einer Syntheseeinheit (21) versehen. Die Bildgebungseinheit führt eine Belichtung mit einer vorbestimmten Belichtungszeit durch, wodurch sie eine Bildgebung durchführt. Außerdem führt die Steuereinheit nacheinander bzw. sukzessive eine Bildgebungsverarbeitung N-mal durch, wodurch sie eine Mehrzahl von Bildgebungsverarbeitungen durchführt, wobei N eine Ganzzahl und 2 oder höher ist, wobei eine Mehrzahl von Bildaufnahmen mit unterschiedlichen Belichtungszeiten von der Bildgebungseinheit in jeder der Bildgebungsverarbeitungen durchgeführt wird. Die Syntheseeinheit erzeugt unter Verwendung von HDR-Rendering basierend auf einer Mehrzahl von Bildern, die durch die Mehrzahl von Bildaufnahmen erlangt wurden, ein Synthesebild mit einem erweiterten Dynamikumfang, das für jeden der N-maligen Bildgebungsverarbeitungen erzeugt wird.
-
Jedes der Synthesebilder, die durch jede der N Bildgebungsverarbeitungen erzeugt werden, weist auch eine Bildqualität auf, die entsprechend dem Synthesebild bestimmt ist. Die maximale Belichtungszeit als ein Maximalwert bei der jeweiligen Erfassung bzw. Aufnahme jeder der N-maligen Bildgebungsverarbeitungen wird in Abhängigkeit von dem durch die Bildgebungsverarbeitung erzeugten Synthesebild bestimmt. Jede der N-maligen Bildgebungsverarbeitungen entspricht jeder der Synchronzeitgebungen (50–53), die periodisch N-mal in regelmäßigen Intervallen ausgeführt werden.
-
Die Steuereinheit führt in jeder der N-maligen Bildgebungsverarbeitungen nacheinander die Mehrzahl von Bildaufnahmen vor/nach der entsprechenden Synchronzeitgebung durch.
-
Die Steuereinheit führt eine der Mehrzahl von Bildaufnahmen so durch, dass die Belichtung zur Synchronzeitgebung abgeschlossen ist, und führt eine nachfolgende andere Erfassung durch, so dass die Belichtung zur Synchronzeitgebung gestartet wird. Eine Belichtungszeitgebung wird in jedem der bildgebenden Verfahren basierend auf der maximalen Belichtungszeit derart bestimmt, dass Belichtungszeiten in den N-fachen Bildgebungsverarbeitungen sich nicht überlappen.
-
Gemäß diesen Konfigurationen wird eine Mehrzahl von Bildern in jeder der N-maligen Bildgebungsverarbeitungen vor/nach der Synchronzeitgebung aufgenommen. Somit kann als Gesamtbelichtungszeit einer Mehrzahl von Bildaufnahmen in jeder der Bildgebungsverarbeitungen eine längere Periode sichergestellt werden als jedes Intervall zwischen den Synchronzeitgebungen. Ferner kann ein Intervall zwischen einer Mehrzahl von Bildaufnahmen in der vorhergehenden Bildgebungsverarbeitung und einer Mehrzahl von Bildaufnahmen in der nachfolgenden Bildgebungsverarbeitung verkürzt werden.
-
Daher kann eine geeignete Belichtungszeit in den jeweiligen Bildgebungsverarbeitungen der N-maligen Bildgebungsverarbeitungen sichergestellt werden. Somit können mit dem HDR-Bildsynthese basierend auf den aufgenommenen Bildern, die in den jeweiligen Bildgebungsverarbeitungen erlangt werden, Synthesebilder mit geeigneten Bildqualitäten erzeugt werden. Außerdem kann die zum Erfassen von Bildern benötigte Zeit verringert werden. Dementsprechend kann eine Mehrzahl von Synthesebildern mit unterschiedlichen Synthesebildern gleichmäßig und geeignet erzeugt werden.
-
Es ist zu beachten, dass die in Klammern gesetzten Bezugszeichen hier und in den Ansprüchen eine Entsprechung zu spezifischen Mitteln in den später beschriebenen Ausführungsformen angeben und den technischen Umfang der vorliegenden Offenbarung nicht beschränken.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Es zeigen:
-
1 ein Blockschaltbild, das eine Bildgebungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt; und
-
2 ein erläuterndes Diagramm, das eine Bildgebungsverarbeitung darstellt, die von der Bildgebungsvorrichtung gemäß der Ausführungsform durchgeführt wird.
-
Beschreibung der bevorzugten Ausführungsformen
-
Unter Bezugnahme auf die Zeichnungen wird nachstehend eine Ausführungsform der vorliegenden Offenbarung beschrieben.
-
[1. Konfiguration]
-
Wie in 1 gezeigt ist, ist eine Bildgebungsvorrichtung der vorliegenden Ausführungsform an einem Fahrzeug montiert. Nachstehend wird ein Fahrzeug, in dem die Bildgebungsvorrichtung 1 montiert ist, auch als ein Eigenfahrzeug bezeichnet. Die Bildgebungsvorrichtung 1 erfasst Bilder um das Eigenfahrzeug herum (z. B. vor dem Eigenfahrzeug). Die von der Bildgebungsvorrichtung 1 aufgenommenen Bilder werden für eine Fahrunterstützung des Eigenfahrzeugs verwendet, die von einer ECU 2 (elektronische Steuereinheit 2) durchgeführt wird, die an dem Eigenfahrzeug angebracht ist.
-
Die Fahrunterstützung kann automatisches Fahren sein. Beim automatischen Fahren werden Fahrvorgänge automatisch ausgeführt, wobei diese Fahrvorgänge Beschleunigungs-, Brems- und Lenkvorgänge des Eigenfahrzeugs beinhalten. Spezifische Beispiele des automatischen Fahrens können die Steuerung des Eigenfahrzeugs beinhalten, mit der das Eigenfahrzeug automatisch zum Ziel fährt oder das Eigenfahrzeug ein anderes Fahrzeug verfolgt, das vor dem Eigenfahrzeug, das heißt, einem vorausfahrenden Fahrzeug fährt. Darüber hinaus kann das automatische Fahren eine Steuerung umfassen, bei der das Eigenfahrzeug mit automatischer Beschleunigung oder automatischem Bremsen fährt, wobei die Fahrgeschwindigkeit automatisch gesteuert wird, oder eine Steuerung, bei der das Eigenfahrzeug mit automatischer Lenkung fährt, wobei die Fahrstrecke automatisch gesteuert wird. Ferner kann die Fahrunterstützung eine Kollisionsvermeidung, eine Geschwindigkeitswarnung, eine Auffahrunfallwarnung, eine Fahzeugzwischendistanzwarnung, eine Spurverlassenswarnung oder dergleichen sein. Es sollte beachtet werden, dass die Kollisionsvermeidung als eine Vermeidungsoperation bezeichnet werden kann, die eine Kollision durch Ausführen einer Bremssteuerung oder einer Lenksteuerung vermeidet, wenn das Eigenfahrzeug wahrscheinlich mit einem Objekt kollidieren wird.
-
Die Bildgebungsvorrichtung 1 ist als eine Kamera konfiguriert. Insbesondere beinhaltet die Bildgebungsvorrichtung 1 eine Bildgebungseinheit 10 und eine Hauptsteuereinheit 20. Die Bildgebungseinheit 10 beinhaltet einen optischen Systemabschnitt 11 und eine Mehrzahl von Bildgebungselementen 12.
-
Der optische Systemabschnitt 11 beinhaltet eine Linse (nicht gezeigt), eine Blendeneinheit und einen Verschluss oder dergleichen. Die Linse ermöglicht, dass einfallendes sichtbares Licht ein Bild auf einer Mehrzahl von Bildgebungselementen 12 erzeugt. Die Blendeneinheit stellt eine Menge an sichtbarem Licht ein, das durch die Linse aufgrund des Öffnungsverhältnisses hindurchtritt. Das sichtbare Licht, das durch die Blendeneinheit hindurchtritt, fällt auf die Mehrzahl von Bildgebungselementen 12. Der Verschluss ist so konfiguriert, dass er mit einer vorbestimmten Verschlussgeschwindigkeit geöffnet/geschlossen wird, wenn ein Bild aufgenommen wird. Somit wird eine Belichtung für eine Belichtungszeit durchgeführt, die durch die Verschlussgeschwindigkeit bestimmt ist. Mit anderen Worten fällt sichtbares Licht auf die Mehrzahl von Bildgebungselementen 12 während der Belichtungszeit ein.
-
Die Mehrzahl von Bildgebungselementen 12 beinhaltet eine Mehrzahl von CMOS-(Komplementär-Metall-Oxid-Halbleiter-)Sensoren oder eine Mehrzahl von CCD-(ladungsgekoppelte Vorrichtungen)Sensoren. Diese Bildgebungselemente 12 sind in einer Gitterform angeordnet (mit anderen Worten, einer Array-Form). Jedes der Bildgebungselemente 12 gibt ein analoges Signal aus, das die Intensität des einfallenden sichtbaren Lichts angibt. Das Analogsignal wird mit einer vorbestimmten Verstärkung verstärkt und an die Hauptsteuereinheit 20 ausgegeben.
-
Die Hauptsteuereinheit 20 beinhaltet eine Syntheseeinheit 21, eine Signalverarbeitungseinheit 22 und eine Steuereinheit 23. Die Signalverarbeitungseinheit 22 erzeugt RGB- oder YUV-Bilddaten (nachstehend auch als RAW-Daten bezeichnet) basierend auf den analogen Signalen, die von der Mehrzahl von Bildgebungselementen 12 übertragen werden.
-
Die Syntheseeinheit 21 führt eine Bildsynthese mit hohem Dynamikumfang (nachfolgend auch als HDR-Rendering bezeichnet) basierend auf einer Mehrzahl von RAW-Daten durch, die von der Signalverarbeitungseinheit 22 erzeugt werden. Nachfolgend wird das durch das HDR-Rendering erhaltene Bild auch als ein Synthesebild bezeichnet. Das Synthesebild wird der ECU 2 über ein Fahrzeug-LAN 3 oder dergleichen bereitgestellt. Die ECU 2 führt basierend auf dem vorstehend beschriebenen Synthesebild eine Fahrunterstützung durch.
-
Das HDR-Rendering wird durchgeführt, wodurch ein aufgenommenes Bild mit einem erweiterten Dynamikumfang verglichen mit den aufgenommenen Bilddaten, die durch die Mehrzahl von RAW-Daten angegeben wird, erzeugt wird. Insbesondere können Phänomene von sogenannter weißer Überbelichtung oder schwarzer Unterbelichtung unterdrückt werden, so dass ein aufgenommenes Bild mit einer präziseren Gradation erzeugt wird. Daher kann bei der Fahrunterstützung durch die ECU 2 eine Bildgebung mit hoher Genauigkeit basierend auf dem Synthesebild durchgeführt werden. Es ist zu beachten, dass Verarbeitungen der Bildgebung für das HDR-Rendering später beschrieben werden.
-
Die Steuereinheit 23 erfasst Bilder durch Steuern der Bildgebungseinheit 10. Die Steuereinheit 23 legt Bildparameter in der Bildgebungseinheit 10 fest. Der Bildparameter beinhaltet beispielsweise eine Verschlussgeschwindigkeit (das heißt, Belichtungszeit), einen Blendenwert und eine Verstärkung, die zur Verstärkung eines analogen Signals verwendet wird. Die Bildgebungseinheit 10 erfasst Bilder in Übereinstimmung mit den Bildparametern, die von der Steuereinheit 23 festgelegt werden.
-
Die Syntheseeinheit 21, die Signalverarbeitungseinheit 22 und die Steuereinheit 23 können hauptsächlich aus einem bekannten Mikrocomputer mit einer CPU, einem RAM, einem ROM und einem Halbleiterspeicher wie einem Flash-Speicher bestehen.
-
Mit anderen Worten erfüllen diese Abschnitte die vorstehend beschriebenen Funktionen, indem sie das in dem Halbleiterspeicher gespeicherte Programm mit der CPU ausführen. Der Halbleiterspeicher entspricht dem nichtflüchtigen, greifbaren Aufzeichnungsmedium. Diese Abschnitte können aus digitalen Schaltungen konfiguriert sein, die eine Anzahl von logischen Schaltungen beinhalten. Die vorstehend beschriebenen Funktionen können durch Hardware, nicht durch Software, erreicht werden.
-
[2. Bildgebung]
-
Als nächstes wird eine Bildgebungsverarbeitung für das HDR-Rendering im Detail beschrieben. Die Steuereinheit 23 in der Hauptsteuereinheit 20 der Bildgebungseinheit 1 führt eine Bildgebungsverarbeitung für das vorstehend beschriebene HDR-Rendering durch. Bei der Bildgebungsverarbeitung führt die Bildgebungseinheit 10 zwei Arten der Bildgebung einschließlich einer Langzeitbelichtungsbildgebung und einer Kurzzeitbelichtungsbildgebung durch, die nacheinander zweimal durchgeführt werden. Die Belichtungszeit der Langzeitbelichtungsbildgebung ist länger als die der Kurzzeitbelichtungsbildgebung. Auch können die Bildparameter ausschließlich der Belichtungszeit zwischen der Langzeitbelichtungsbildgebung und der Kurzzeitbelichtungsbildgebung unterschiedlich sein. Die Syntheseeinheit 21 führt das HDR-Rendering basierend auf zwei RAW-Dateien durch, die durch die Langzeitbelichtungsbildgebung und die Kurzzeitbelichtungsbildgebung erzeugt werden.
-
Außerdem erzeugt die Bildgebungseinheit 1 unter Verwendung des HDR-Renderns vier Arten von Synthesebildern, das heißt, Synthesebilder 1 bis 4. Die Synthesebilder 1 bis 4 entsprechen unterschiedlichen Bildobjekten. Jedes der Synthesebilder 1 bis 4 hat eine Bildqualität, die geeignet ist, das Bildobjekt entsprechend dem Synthesebild in der Fahrunterstützung zu erkennen. Mit anderen Worten werden die Bildqualitäten jeweiliger Synthesebilder basierend auf aufgenommenen Bildern entsprechend den Synthesebildern bestimmt. In der Fahrunterstützung kann das Bildobjekt, das dem Synthesebild in den Synthesebildern entspricht, erkannt werden.
-
Bei der jeweiligen Bildaufnahme der Bildgebungsverarbeitung kann die Belichtungszeit basierend auf einer Umgebung um das Eigenfahrzeug (z. B. Helligkeit oder dergleichen) eingestellt werden. Im Folgenden wird ein Maximalwert einer Belichtungszeit einer solchen Bildgebungsverarbeitung als maximale Belichtungszeit bezeichnet. Andererseits kann eine Belichtungszeit bei der jeweiligen Erfassung der Bildgebungsverarbeitung fixiert werden. Im Folgenden wird eine feste Belichtungszeit einer solchen Bildgebungsverarbeitung als maximale Belichtungszeit bezeichnet.
-
Die Bildgebungsverarbeitungen zum Erzeugen der Synthesebilder 1 bis 4 werden als die erste bis vierte Bildgebungsverarbeitung bezeichnet. Die Steuereinheit 23 stellt basierend auf der Bildqualität des Synthesebildes (mit anderen Worten, des Bildobjekts) die Bildparameter bei der jeweiligen Erfassung bzw. Aufnahme der Bildgebungsverarbeitung bzw. durch die Bildgebungsverarbeitung ein. Insbesondere, um die vorstehend beschriebenen Bildobjekte aus den Synthesebildern günstig zu erkennen, muss jede Belichtungszeit von jeweiligen Bildaufnahmen in der ersten bis vierten Bildgebungsverarbeitung basierend auf jedem Bildobjekt bestimmt werden, das der Bildgebungsverarbeitung entspricht. Daher wird bei jeder Bilderfassung bzw. Bildaufnahme in den Bildgebungsverarbeitungen zumindest die maximale Belichtungszeit basierend auf dem Bildobjekt, das der Bildgebungsverarbeitung entspricht, inhärent bestimmt. Bei dieser Erfassung können andere Bildparameter außer einer Belichtungszeit eindeutig bestimmt werden.
-
Die Steuereinheit 23 führt nacheinander die erste bis vierte Bildgebungsverarbeitung durch, um die Synthesebilder gemäß einer Synchronzeitgebung in regelmäßigen Intervallen (periodisch) zu erzeugen. Die Synchronzeitgebung entspricht beispielsweise Intervallen von 25 ms. Wie in 2 gezeigt, sind hier vier aufeinanderfolgende Synchronzeitgebungen als erste bis vierte Synchronzeitgebungen 50 bis 53 definiert. Die ersten bis vierten Synchronzeitgebungen 50 bis 53 treten kontinuierlich und wiederholt auf. Das heißt, nach der vierten Synchronzeitgebung 53 treten nachfolgende erste bis vierte Synchronzeitgebungen 50 bis 53 auf.
-
Die erste bis vierte Bildgebungsverarbeitung entspricht jeweils der ersten bis vierten Synchronzeitgebung 50 bis 53. Mit anderen Worten führt die Steuereinheit 23 synchronisiert auf die erste Synchronzeitgebung 50 die erste Bildgebungsverarbeitung durch, um das Synthesebild 1 zu erzeugen, die Steuereinheit 23 führt synchronisiert auf die zweite Synchronzeitgebung 51 die zweite Bildgebungsverarbeitung durch, um das Synthesebild 2 zu erzeugen. Die Steuereinheit 23 führt synchronisiert auf die dritte Synchronzeitgebung 52 die dritte Bildgebungsverarbeitung durch, um das Synthesebild 2 zu erzeugen. Die Steuereinheit 23 führt synchronisiert auf die vierte Synchronzeitgebung 53 die vierte Bildgebungsverarbeitung durch, um das Synthesebild 4 zu erzeugen.
-
Die langen Belichtungsperioden 101, 111, 121 und 131 veranschaulichen die Belichtungszeitgebungen der Langzeitbelichtungsbildgebung in der ersten bis vierten Bildgebungsverarbeitung. Die langen Belichtungsperioden 101, 111, 121, 131 stellen beispielhaft Belichtungszeitgebungen dar, wenn die Belichtung über die maximale Belichtungszeit bei dieser Langzeitbelichtungsbildgebung durchgeführt wird. Außerdem veranschaulichen die kurzen Belichtungsperioden 102, 112, 122 und 132 Belichtungszeitgebungen der Kurzzeitbelichtungsbildgebung in der ersten bis vierten Bildgebungsverarbeitung. Die kurzen Belichtungsperioden 102, 112, 122 und 132 veranschaulichen beispielhaft Belichtungszeitgebungen, wenn die Belichtung über die maximale Belichtungszeit in dieser Kurzzeitbelichtungsbildgebung durchgeführt wird. Die gesamten Belichtungsperioden 100 bis 130, die in 2 gezeigt sind, veranschaulichen Belichtungszeitgebungen in zwei Bildaufnahmen in der ersten bis vierten Bildgebungsverarbeitung.
-
Mit anderen Worten findet bei jeder Bildgebungsverarbeitung die Langzeitbelichtungsbildgebung vor der Kurzzeitbelichtungsbildgebung statt. Mit anderen Worten wird die Langzeitbelichtungsbildgebung in jeder Bildgebungsverarbeitung vor der Synchronzeitgebung durchgeführt, mit der die Bildgebungsverarbeitung synchronisiert wird. Insbesondere wird die Langzeitbelichtungsbildgebung durchgeführt, um die Belichtung zu dem Zeitpunkt zu vervollständigen, an dem die Synchronzeitgebung eintrifft. Indessen wird die Kurzzeitbelichtungsbildgebung in jeder Bildgebungsverarbeitung nach der Synchronzeitgebung durchgeführt, mit der die Bildgebungsverarbeitung synchronisiert wird. Insbesondere wird die Kurzzeitbelichtungsbildgebung derart durchgeführt, dass die Belichtung zur Synchronzeitgebung startet.
-
Daher wird in jeder Periode von der Synchronzeitgebung bis zur anschließenden Synchronzeitgebung die Langzeitbelichtungsbildgebung in der nachfolgenden Bildgebungsverarbeitung durchgeführt, nachdem die vorhergehende Kurzzeitbelichtungsbildgebung durchgeführt wurde.
-
Es ist zu beachten, dass die Kurzzeitbelichtungsbildgebung der Langzeitbelichtungsbildgebung in jeder Bildgebungsverarbeitung vorausgehen kann. Mit anderen Worten kann in jeweiligen Bildgebungsverarbeitungen die Kurzzeitbelichtungsbildgebung zu den jeweiligen kommenden Synchronzeitgebungen 50 bis 53 abgeschlossen werden und die Langzeitbelichtungsbildgebung kann bei den jeweiligen Synchronzeitgebungen 50 bis 53 gestartet werden.
-
Die Belichtungszeitgebung dieser Bildgebungsverarbeitungen wird basierend auf dieser maximalen Belichtungszeit derart eingestellt, dass sich die Belichtungsperioden einer Mehrzahl von Bildgebungsverarbeitungen in der ersten bis vierten Bildgebungsverarbeitung nicht überlappen.
-
Insbesondere ist die maximale Belichtungszeit (das heißt, kurze Belichtungsperiode 102) der Kurzzeitbelichtungsbildgebung in der ersten Bildgebungsverarbeitung kürzer als die maximale Belichtungszeit (das heißt, kurze Belichtungsperioden 112, 122, 132) der Kurzzeitbelichtungsbildgebung in anderen Bildgebungsverarbeitungen. Dementsprechend ist die maximale Belichtungszeit (das heißt, lange Belichtungsperiode 111) der Langzeitbelichtungsbildgebung in der zweiten Bildgebungsverarbeitung länger als die maximale Belichtungszeit (das heißt, lange Belichtungsperioden 101, 121, 131) der Langzeitbelichtungsbildgebung in anderen Bildgebungsverarbeitungen. Mit anderen Worten ist eine Bildgebungsverarbeitung mit der längsten maximalen Belichtungszeit der Langzeitbelichtungsbildgebung als die zweite Bildgebungsverarbeitung definiert.
-
Die maximale Belichtungszeit (das heißt, kurze Belichtungsperioden 112 und 122) der Kurzzeitbelichtungsbildgebung in der zweiten und dritten Bildgebungsverarbeitung ist länger als die maximale Belichtungszeit (das heißt, kurze Belichtungsperioden 102, 132) der Kurzzeitbelichtungsbildgebung anderer Bildgebungsverarbeitungen. Daher ist die maximale Belichtungszeit (das heißt, lange Belichtungsperioden 121, 131) der Langzeitbelichtungsbildgebung in der dritten und vierten Bildgebungsverarbeitung kürzer als die maximale Belichtungszeit (das heißt, lange Belichtungsperioden 101, 111) der Langzeitbelichtungsbildgebung anderer Bildgebungsverarbeitungen. Mit anderen Worten sind Bildgebungsverarbeitungen mit einer kürzeren maximalen Belichtungszeit der Langzeitbelichtungsbildgebung als die dritte und vierte Bildgebungsverarbeitung bestimmt.
-
[3. Wirkungen]
-
Gemäß der vorliegenden Ausführungsform können die folgenden Wirkungen erhalten werden.
- (1) Gemäß der Bildgebungsvorrichtung 1 der vorliegenden Ausführungsform wird in jeder der ersten bis vierten Bildgebungsverarbeitung eine Mehrzahl von Bildaufnahmen vor/nach der Synchronzeitgebung durchgeführt.
-
Somit kann als eine Gesamtbelichtungszeit einer Mehrzahl von Bildaufnahmen in jeder der Bildgebungsverarbeitungen eine Periode sichergestellt werden, die länger ist als das Intervall der Synchronzeitgebung. Auch kann ein Intervall zwischen einer Mehrzahl von Bildgebungen in der vorhergehenden Bildgebungsverarbeitung und einer Mehrzahl von Bildgebungen in der nachfolgenden Bildgebungsverarbeitung verkürzt werden.
-
Somit kann beim jeweiligen Erfassen bzw. Aufnehmen des ersten bis vierten Bildes eine geeignete Belichtungszeit sichergestellt werden. Dementsprechend können durch Verwendung von HDR-Rendering basierend auf den aufgenommenen Bildern, die durch entsprechende Bildgebungsverarbeitungen erhalten werden, Synthesebilder mit geeigneten Bildqualitäten erzeugt werden. Außerdem kann die für diese Bilder erforderliche Zeit verkürzt werden. Daher können unter Verwendung des HDR-Renderings mehrere Synthesebilder mit unterschiedlichen Bildqualitäten in geeigneter Weise und gleichmäßig erzeugt werden.
- (2) Die durch die ersten bis vierten Bildgebungsverarbeitung erzeugten Synthesebilder 1 bis 4 werden der ECU 2 bereitgestellt. Dann führt die ECU 2 Fahrunterstützungsvorgänge basierend auf den Synthesebildern 1 bis 4 durch. Außerdem entsprechen Synthesebilder unterschiedlichen Bildobjekten und weisen Bildqualitäten auf, die zum Erkennen entsprechender Bildobjekte geeignet sind. Dementsprechend kann die ECU 2 einen vorteilhaften Fahrunterstützungsvorgang basierend auf den Synthesebildern 1 bis 4 durchführen.
- (3) Die Bildgebungsvorrichtung 1 ist an einem Fahrzeug montiert. Daher können die von der Bildgebungsvorrichtung 1 erzeugten Synthesebilder 1 bis 4 vorteilhaft für die Fahrunterstützung verwendet werden.
- (4) Gemäß der ersten bis vierten Bildgebungsverarbeitung werden eine Langzeitbelichtungsbildgebung und eine Kurzzeitbelichtungsbildgebung durchgeführt. In den jeweiligen Bildgebungsverarbeitungen wird die Langzeitbelichtungsbildgebung vor der Synchronzeitgebung durchgeführt und die Kurzzeitbelichtungsbildgebung wird nach der Synchronzeitgebung durchgeführt. Daher kann eine geeignete Belichtungszeit für das jeweilige Erfassen bzw. Aufnehmen in den Bildgebungsverarbeitungen sichergestellt werden.
- (5) In der ersten bis vierten Bildgebungsverarbeitung werden zwei Bildaufnahmen, das heißt die Langzeitbelichtungsbildgebung und die Kurzzeitbelichtungsbildgebung durchgeführt. Daher kann eine geeignete Belichtungszeit für jede Bildaufnahme in den Bildgebungsverarbeitungen zuverlässiger sichergestellt werden.
-
[4. Andere Ausführungsformen]
-
Eine Ausführungsform der vorliegenden Offenbarung wurde bisher beschrieben. Die vorliegende Offenbarung ist jedoch nicht auf die vorstehend beschriebene Ausführungsform beschränkt und verschiedene Modifikationen können in der vorliegenden Offenbarung ausgeführt werden.
- (1) Die Bildgebungsvorrichtung 1 gemäß der vorstehend beschriebenen Ausführungsform führt nacheinander die erste bis vierte Bildgebungsverarbeitung durch, um vier Synthesebilder zu erzeugen. In der Bildgebungsvorrichtung 1, die für das HDR-Rendering angepasst ist, können Bildgebungsverarbeitungen jedoch N-mal ausgeführt werden. Dann kann die Bildgebungsvorrichtung 1 mit diesen Bildgebungsverarbeitungen N Arten von Synthesebildern mit unterschiedlichen Bildqualitäten erzeugen. Es sollte beachtet werden, dass N eine ganze Zahl ist und 2, 3 oder 5 oder mehr sein kann.
- (2) Die Bildgebungsvorrichtung 1 gemäß der vorstehend beschriebenen Ausführungsform nimmt aufeinanderfolgend Bilder zweimal für das HDR-Rendering in der Bildgebungsverarbeitung auf. Die Bildgebungsvorrichtung 1 kann jedoch nacheinander Bilder dreimal oder öfter mit unterschiedlichen Belichtungszeiten erfassen bzw. aufnehmen. Die drei Aufnahmezeiten können zwei Arten der Aufnahme umfassen, nämlich eine Langzeitbelichtung und eine Kurzzeitbelichtung. In diesem Fall kann die Langzeitbildaufnahme mit einem vorbestimmten Pegel der maximalen Belichtungszeit übereinstimmen. In ähnlicher Weise kann die Kurzzeitbildaufnahme unter dem vorbestimmten Pegel der maximalen Belichtungszeit liegen. Ferner kann, ähnlich wie bei den vorstehend beschriebenen Ausführungsformen, jede Art der Bildgebung vor der Synchronzeitgebung durchgeführt werden und die andere Art der Bildgebung kann nach der synchronen Bildgebung durchgeführt werden.
-
Ferner kann in der Bildgebungsverarbeitung unabhängig von den Arten der Bildgebung jede Zeitgebung des aufeinanderfolgenden Aufnehmens bestimmt werden. In diesen Fällen wird ähnlich zu der vorstehend beschriebenen Ausführungsform die Bildaufnahme unmittelbar vor der Synchronzeitgebung zur Synchronzeitgebung abgeschlossen. Auch wird die Bildaufnahme unmittelbar nach der Synchronzeitgebung zur Synchronzeitgebung gestartet. Es wird bestimmt, dass die Belichtungszeitgebung jeder Aufnahme in der Bildgebungsverarbeitung die Belichtungsperioden anderer Bildaufnahmen nicht überlappt.
- (3) Die Bildgebungsvorrichtung 1 gemäß der vorstehend beschriebenen Ausführungsform kann als eine von dem Fahrzeug separate Vorrichtung (z. B. eine tragbare Vorrichtung oder dergleichen) konfiguriert sein. In diesem Fall kann die Bildqualität von Synthesebildern, die in jeder der Bildgebungsverarbeitungen erzeugt werden, unabhängig von dem Bildobjekt bestimmt werden. Auch kann in diesem Fall das von der Bildgebungsvorrichtung 1 erzeugte Synthesebild für etwas anderes als Fahrunterstützung verwendet werden. Die Bildgebungsvorrichtung 1 als eine tragbare Vorrichtung kann bei Bedarf an dem Fahrzeug montiert werden. Die Bildgebungsvorrichtung 1 kann erzeugte Synthesebilder einer ECU bereitstellen, die eine Fahrunterstützung in dem Fahrzeug durchführt.
- (4) Eine Mehrzahl von Funktionen, die in einem einzelnen Element der vorstehend beschriebenen Ausführungsformen beinhaltet sind, können durch eine Mehrzahl von Elementen erreicht werden, oder eine Funktion, die in einem einzelnen Element beinhaltet ist, kann durch eine Mehrzahl von Elementen erreicht werden. Eine Mehrzahl von Funktionen, die in einer Mehrzahl von Elementen beinhaltet sind, kann durch ein einzelnes Element erreicht werden, oder eine Funktion, die durch eine Mehrzahl von Elementen erreicht wird, kann durch ein einzelnes Element erreicht werden. Auch kann ein Teil der Konfigurationen der vorstehend beschriebenen Ausführungsformen weggelassen werden. Zumindest ein Teil der vorstehend beschriebenen Konfiguration kann zu anderen Konfigurationen der vorstehend beschriebenen Ausführungsformen hinzugefügt werden oder kann eine andere Konfiguration der vorstehend beschriebenen Ausführungsformen ersetzen. Es ist zu beachten, dass verschiedene Aspekte, die den durch den Umfang der Ansprüche identifizierten technischen Ideen inhärent sind, als Ausführungsformen der vorliegenden Offenbarung definiert sind.
- (5) Die vorliegende Offenbarung kann mit verschiedenen anderen Formen als der vorstehend beschriebenen Bildgebungsvorrichtung 1, wie etwa einem System mit der Bildgebungsvorrichtung 1 als ein Element, einem auf einem Computer ausgeführten Programm, das als Bildgebungsvorrichtung 1 dient, einem nichtflüchtigen, greifbaren Aufzeichnungsmedium wie einer Halbleiterspeichervorrichtung, in der das Programm gespeichert ist, und einem Verfahren, das einer durch die Bildgebungsvorrichtung 1 durchgeführten Bildgebungsverarbeitung entspricht, erreicht werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
