DE102017219694A1

DE102017219694A1 - Bilderzeugungsvorrichtung

Info

Publication number: DE102017219694A1
Application number: DE102017219694.7A
Authority: DE
Inventors: Masato Nishikawa; Kazuyoshi Akiba
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-11-07
Filing date: 2017-11-06
Publication date: 2018-05-09
Also published as: US10136080B2; CN108063898B; US20180131884A1; JP6740866B2; CN108063898A; JP2018078372A

Abstract

In einer Bilderzeugungsvorrichtung kombiniert eine Bildkombiniereinheit, für jeweils den ersten und den zweiten Prozess in Folge, ein erstes und ein zweites Bild, um ein zusammengesetztes Bild mit einem digitalen Pixelwert zu erzeugen, der einen Leuchtdichtepegel des entsprechenden Pixels durch eine erste Bitbreite darstellt. Eine Bereich-Festlegeeinrichtung legt, für jeweils den ersten und zweiten Prozess, einen Verteilbereich der Ziel-Leuchtdichtepegel von mindestens einem Ziel in Bezug auf das zusammengesetzte Bild fest; der Verteilbereich stellt einen Bereich dar, innerhalb welchem Leuchtdichtepegel des mindestens einen Ziels verteilt sind. Eine Dynamikumfang-Einstelleinrichtung stellt einen Dynamikumfang des zusammengesetzten Bildes, das für den ersten oder den zweiten Prozess erzeugt wurde, so ein, dass der Dynamikumfang des zusammengesetzten Bildes, das für den entsprechenden ersten oder zweiten Prozess erzeugt wurde, mit dem für den ersten Prozess festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt.

Description

QUERVERWEIS ZU VERWANDTEN ANMELDUNGEN
Diese Anmeldung basiert auf der am 7. November 2016 eingereichten Japanischen Patentanmeldung Nr. 2016-217320 , und beansprucht deren Priorität; auf den dortigen Offenbarungsgehalt wird hier vollinhaltlich in seiner Gesamtheit Bezug genommen.
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Bilderzeugungsvorrichtung zum Kombinieren mehrerer Bilder, um dadurch ein zusammengesetztes Bild mit einem höheren Dynamikumfang zu erzeugen; die mehreren Bilder werden während jeweiliger unterschiedlicher Verschlusszeiten, d. h. Belichtungszeiten, oder mit jeweiligen unterschiedlichen Verschlussgeschwindigkeiten erfasst.
STAND DER TECHNIK
High-Dynamic-Range-Funktionen (HDR-Funktionen) kombinieren ein erstes Bild, das während einer ersten Verschlusszeit erfasst wurde, mit einem zweiten Bild, das während einer zweiten Verschlusszeit, die länger als die erste Verschlusszeit ist, erfasst wurde, um dadurch ein zusammengesetztes Bild mit einem höheren Dynamikumfang von einem niedrigen Leuchtdichtepegel zu einem hohen Leuchtdichtepegel zu erzeugen.
Fahrzeugkameras enthalten solch eine HDR-Funktion und verwenden die HDR-Funktion, um die Genauigkeit der Erfassung von Objekten, wie z. B. weiße Linien auf Straßen und/oder andere Fahrzeuge, zu erhöhen. Eine Fahrzeugkamera nimmt Bilder auf, während sich die Lichtumgebung ändert, wenn das entsprechende Fahrzeug fährt. Diese Änderung der Lichtumgebung um die Fahrzeugkamera ändert den Ton eines von der Fahrzeugkamera erfassten Bildes. Diese Tonänderung kann die Genauigkeit der Erfassung von Objekten, wie z. B. weißen Linien, reduzieren.
Um solch ein Problem zu lösen, offenbart die Japanische Patentanmeldeveröffentlichung Nr. 2016-96417 ein Kamerasystem, das in einem Fahrzeug installiert ist. Das Kamerasystem erlangt Informationen über die Lichtumgebung um das Fahrzeug herum; die Lichtumgebung ändert sich während der Fahrt des Fahrzeugs. Beispielsweise umfassen die Lichtumgebungs-Informationen Informationen über eine Tageslichtumgebung und Informationen über eine Nachtlichtumgebung.
Das Kamerasystem nimmt ein erstes Bild während einer ersten Verschlusszeit und ein zweites Bild während einer zweiten Verschlusszeit, die länger als die erste Verschlusszeit ist, auf. Dann wählt das Kamerasystem eine aus der automatischen Weißabgleich-Korrekturaufgabe und einer benutzerdefinierten Weißabgleich-Korrekturaufgabe entsprechend der Lichtumgebung aus, um die ausgewählte der automatischen Weißabgleich-Korrekturaufgabe und der benutzerdefinierten Weißabgleich-Korrekturaufgabe auf jedes, das erste und das zweite, Bild anzuwenden. Danach kombiniert das Kamerasystem das erste Bild mit dem zweiten Bild, wodurch ein zusammengesetztes Bild mit einem höheren Dynamikumfang erzeugt wird.
ZUSAMMENFASSUNG
Die Änderung in der Lichtumgebung um eine Kamera ändert, zusätzlich zum Ton eines durch die Kamera erfassten Bildes, die Leuchtdichteverteilung der zu erfassenden Objekte. Ein Wert jedes Pixels, d. h. ein Pixelwert jedes Pixels, eines durch einen Bildsensor erfasstes Bildes stellt einen Leuchtdichtepegel des entsprechenden Pixels des Bildes dar, der durch die begrenzte Bitbreite, d. h. eine begrenzte Anzahl an Bit, begrenzt ist. Aus diesem Grund kann es auch dann schwierig sein, die begrenzte Anzahl an Bit effizient zu nutzen, um den Leuchtdichtepegel jedes einzelnen Bits des zusammengesetzten Bildes auszudrücken, wenn das von der Kamera erfasste Bild nur der Weißabgleich-Korrekturaufgabe oder der benutzerdefinierten Weißabgleich-Korrekturaufgabe unterliegt.
Dies kann im zusammengesetzten Bild zu mindestens einem aus

1. Dem Auftreten von blocked-up shadows oder crushed shadows
2. Dem Auftreten von blown-out highlights oder clipped whites
3. Dem Auftreten von Zuordnung von Pixelwerten zu ungenutzten Leuchtdichtepegeln, die keinen abzubildenden Zielen entsprechen

Das Auftreten von Zuordnung von Pixelwerten zu ungenutzten Leuchtdichtepegeln kann zu groben Graustufen des zusammengesetzten Bildes führen.
In Anbetracht der oben dargelegten Umstände zielt ein Aspekt der vorliegenden Erfindung darauf ab, Bilderzeugungsvorrichtungen bereitzustellen, die in der Lage sind, die oben genannten Probleme zu lösen.
Insbesondere zielt ein alternativer Aspekt der vorliegenden Erfindung darauf ab, solche Bildgebungsvorrichtungen bereitzustellen, von denen jede in der Lage ist, eine begrenzte Anzahl an Bit effizient zu nutzen, um einen Leuchtdichtepegel jedes Pixels eines zusammengesetzten Bildes auszudrücken, wobei das zusammengesetzte Bild auf einem ersten und einem zweiten Bild basiert, die während einer entsprechenden ersten bzw. zweiten Verschlusszeit, die voneinander verschieden sind, erfasst wurden.
Gemäß einem beispielhaften Aspekt der vorliegenden Erfindung ist eine Bilderzeugungsvorrichtung bereitgestellt. Die Bilderzeugungsvorrichtung umfasst eine Steuerung, die konfiguriert ist, um basierend auf Steuerparametern für eine Kamera die Kamera zu veranlassen, ein erstes Bild basierend auf einer ersten Verschlusszeit und ein zweites Bild basierend auf einer zweiten Verschlusszeit für jeweils den ersten und den zweiten Prozess in Folge zu erfassen. Das erste und zweite Bild umfassen jeweils mindestens ein abzubildendes Ziel. Die erste Verschlusszeit ist länger als die zweite Verschlusszeit und die Steuerparameter umfassen die erste Verschlusszeit und die zweite Verschlusszeit. Die Bilderzeugungsvorrichtung umfasst eine Bildkombiniereinheit, die konfiguriert ist, um für jeweils den ersten und den zweiten Prozess das erste Bild und das zweite Bild zu kombinieren, um dadurch ein zusammengesetztes Bild mit einem digitalen Pixelwert jedes Pixels davon zu erzeugen. Der digitale Pixelwert jedes Pixels stellt einen Leuchtdichtepegel des entsprechenden Pixels durch eine erste Bitbreite dar. Die Bilderzeugungsvorrichtung umfasst eine Bereich-Festlegeeinrichtung, die konfiguriert ist, um für jeweils den ersten und den zweiten Prozess einen Verteilbereich der Ziel-Leuchtdichtepegel (bzw. Verteilbereich der Leuchtdichtepegel des Ziels) des mindestens einen Ziels in Bezug auf das zusammengesetzte Bild festzulegen. Der Verteilbereich der Ziel-Leuchtdichtepegel stellt einen Bereich dar, innerhalb dessen Leuchtdichtepegel von dem mindestens einen Ziel verteilt sind. Die Bilderzeugungsvorrichtung umfasst eine Kompressionseigenschaften-Erzeugungseinrichtung, die konfiguriert ist, um für jeweils den ersten und den zweiten Prozess eine Kompressionseigenschaft zur Komprimierung des digitalen Pixelwerts jedes Pixels des zusammengesetzten Bildes durch eine zweite Bitbreite zu erzeugen. Die zweite Bitbreite ist kleiner als die erste Bitbreite. Die Bilderzeugungsvorrichtung umfasst eine Kompressionseinheit, die konfiguriert ist, um entsprechend der Kompressionseigenschaft das zusammengesetzte Bild für jeweils den ersten und den zweiten Prozess zu komprimieren und dadurch ein komprimiertes zusammengesetztes Bild zu erzeugen. Die Bilderzeugungsvorrichtung umfasst eine Dynamikumfang-Einstelleinrichtung, die konfiguriert ist, um einen Dynamikumfang des für den ersten oder den zweiten Prozess erzeugten zusammengesetzten Bildes so einzustellen, dass der Dynamikumfang des für den entsprechenden ersten oder zweiten Prozess erzeugten zusammengesetzten Bildes mit dem durch die Bereich-Festlegeeinrichtung für den ersten Prozess festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt.
Die Dynamikumfang-Einstelleinrichtung des beispielhaften Aspekts der vorliegenden Erfindung stellt den Dynamikumfang des für einen ersten oder zweiten Prozess erzeugten zusammengesetzten Bildes so ein, dass der Dynamikumfang des für den entsprechenden ersten oder zweiten Prozess zusammengesetzten Bildes mit dem durch die Bereich-Festlegeeinrichtung für den ersten Prozess festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt.
Dadurch kann der Dynamikumfang des zusammengesetzten Bildes mit dem durch die Bereich-Festlegeeinrichtung festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmen; die Leuchtdichtepegel von dem mindestens einen Ziel sind innerhalb dem Verteilbereich der Ziel-Leuchtdichtepegel verteilt.
Damit wird verhindert, dass digitale Pixelwerte, die jeweils durch die zweite Bitbreite begrenzt sind, d. h. die begrenzte Anzahl an Bit, für ungenutzte Leuchtdichtepegel, die sich außerhalb des Verteilbereichs der Leuchtdichtepegel befinden, zugewiesen werden. Dadurch ist es möglich, die begrenzte Anzahl an Bit effizient zu nutzen, um einen entsprechenden Leuchtdichtepegel für jedes Pixel des zusammengesetzten Bildes auszudrücken.
Die vorherigen und/oder andere Merkmale und/oder Vorteile verschiedener Aspekte der vorliegenden Erfindung werden im Hinblick auf die nachfolgende Beschreibung in Verbindung mit den zugehörigen Zeichnungen weiter klarer. Verschiedene Aspekte der vorliegenden Erfindung können, wo dies übertragbar ist, verschiedene Merkmale und/oder Vorteile aufweisen und/oder ausschließen. Zusätzlich können verschiedene Aspekte der vorliegenden Erfindung ein oder mehrere Merkmale von anderen Ausführungsbeispielen, wo dies übertragbar ist, kombinieren. Die Beschreibungen der Merkmale und/oder Vorteile bestimmter Ausführungsformen sollten nicht so ausgelegt werden, dass sie andere Ausführungsformen oder die Ansprüche beschränken.
Figurenliste
Weitere Aspekte der vorliegenden Erfindung ergeben sich aus der folgenden Beschreibung der Ausführungsformen unter Bezugnahme auf die zugehörigen Zeichnungen, in denen:

1 ein Blockschaltbild ist, das schematisch ein Beispiel der Struktur einer Bilderzeugungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt;
2 ein Flussdiagramm ist, das schematisch ein Beispiel eines Bilderzeugungszyklus, der von der in 1 dargestellten Bilderzeugungsvorrichtung ausgeführt wird, darstellt;
3 ein Diagramm ist, das schematisch erste Pixelwert-Eigenschaften relativ zu Leuchtdichtepegeln eines ersten Bildes und zweite Pixelwert-Eigenschaften relativ zu Leuchtdichtepegeln eines zweiten Bildes gemäß der ersten Ausführungsform darstellt;
4 ein Diagramm ist, das schematisch die ersten Pixelwert-Eigenschaften relativ zu den Leuchtdichtepegeln des ersten Bildes und verstärkte zweite Pixelwert-Eigenschaften relativ zu den Leuchtdichtepegeln des zweiten Bildes gemäß der ersten Ausführungsform darstellt;
5 ein Diagramm ist, das schematisch ein Beispiel eines zusammengesetzten HDR-Bildes, das basierend auf einer Kombination des ersten Bildes und des zweiten Bildes und von einem in 1 dargestellten Bilderzeugungseinrichtung erzeugten Kompressionseigenschaften erzeugt wird, darstellt;
6 ein Diagramm ist, das schematisch ein Beispiel eines Histogramms der Leuchtdichtepegel des zusammengesetzten HDR-Bildes basierend auf dem ersten Bild und dem zweiten Bild gemäß der ersten Ausführungsform darstellt;
7 ein Diagramm ist, das schematisch ein Beispiel eines Histogramms der Leuchtdichtepegel des zusammengesetzten HDR-Bildes, in welchem es zwei getrennte Verteilungen gibt, gemäß der ersten Ausführungsform darstellt;
8 ein Diagramm ist, das schematisch eine Beziehung zwischen einem Verteilbereich von Ziel-Leuchtdichtepegeln für das zusammengesetzte HDR-Bild und einen aktuellen Dynamikumfang des zusammengesetzten HDR-Bildes gemäß der ersten Ausführungsform darstellt;
9 ein Diagramm ist, das schematisch ein Histogramm der Leuchtdichtepegel des ersten und zweiten Bildes einer ersten Szene (Szene 1), einen basierend auf dem Histogramm bestimmten Verteilbereich der Ziel-Leuchtdichtepegel und basierend auf der Ziel-Leuchtdichtepegel-Verteilung bestimmte Kompressionseigenschaften darstellt;
10 ein Diagramm ist, das schematisch ein Histogramm der Leuchtdichtepegel des ersten und zweiten Bildes einer zweiten Szene (Szene 2), einen basierend auf dem Histogramm bestimmten Verteilbereich der Ziel-Leuchtdichtepegel und basierend auf der Ziel-Leuchtdichtepegel-Verteilung bestimmte Kompressionseigenschaften darstellt;
11 ein Blockdiagramm ist, das schematisch ein Beispiel der Struktur einer Bilderzeugungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung darstellt;
12 ein Flussdiagramm ist, das schematisch ein Beispiel eines Bilderzeugungszyklus, der von der in 11 dargestellten Bilderzeugungsvorrichtung ausgeführt wird, darstellt;
13 ein Diagramm ist, das schematisch eine Beziehung zwischen einem maximalen Dynamikumfang einer in 1 dargestellten Kameravorrichtung und den Verteilbereich der Ziel-Leuchtdichtepegel darstellt; und
14 ein Blockdiagramm ist, das schematisch ein Beispiel der Struktur einer Bilderzeugungsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung darstellt.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Im Folgenden werden die Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben. In den Ausführungsformen werden gleiche Teile zwischen den Ausführungsformen, zu welchen Bezugszeichen zugeordnet sind, weggelassen oder vereinfacht, um redundante Beschreibungen zu vermeiden.
Erste Ausführungsform
Im Folgenden wird eine Bilderzeugungsvorrichtung 10 gemäß der ersten Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die 1 bis 10 beschrieben.
Unter Bezugnahme auf 1 umfasst die Bilderzeugungsvorrichtung 10, die in einem Fahrzeug V installiert ist, eine Kameravorrichtung 20 und einen Prozessor 30.
Die Kameravorrichtung 20 umfasst eine Bildgebungseinheit 21 und eine Bilderzeugungseinrichtung 22. Die Kameravorrichtung 20 ist beispielsweise an einer vorbestimmten Position der Windschutzscheibe des Fahrzeugs V angeordnet. Die vorbestimmte Position ist bestimmt, um eine vorbestimmten Bereich vor dem Fahrzeug V erfassen zu können, der eine Fahrbahnoberfläche umfasst, auf welche das Fahrzeug V fahren wird. Insbesondere befindet sich die vorbestimmte Position auf der Hinterseite des Rückspiegels des Fahrzeugs V, so dass der Rückspiegel es einem Fahrer des Fahrzeugs V ermöglicht, die Kameravorrichtung 20 nicht sehen zu können.
Die Bildgebungseinheit 21 umfasst ein optisches System 211, einen Bildsensor 212, einen Verstärker 213 und einen Analog-Digital-Wandler (A/D-Wandler) 214. Das optische System 211 besteht aus zumindest einer Linse, um Licht auf den Bildsensor 212 zu richten.
Der Bildsensor 212 besteht aus lichtempfindlichen Elementen, die jeweils ein ladungsgekoppeltes Bauteil (charge-coupled device, CCD) oder einen sich ergänzenden Metall-Oxid-Halbleiter (complementary metal-oxide-semiconductor, CMOS) -Schalter aufweisen; die lichtempfindlichen Elemente sind in einer zweidimensionalen Reihe angeordnet, um eine Bildgebungsfläche zu bilden, auf der das gerichtete Licht als ein Bild gebildet wird. Die zweidimensional angeordneten lichtempfindlichen Elemente bilden einen Bildgebungsbereich, auf dem Licht empfangen wird, das von dem optischen System 211 ausgegeben wird.
Jedes der lichtempfindlichen Elemente ist empfindlich gegenüber einer Lichtmenge oder einem Lichtpegel; der Lichtpegel ist gleich einem oder größer als ein vorbestimmter Störpegel und gleich einem oder kleiner als ein vorbestimmter Sättigungspegel.
Insbesondere ist jedes der zweidimensional angeordneten lichtempfindlichen Elemente, die als Pixel dienen, konfiguriert, um eine Komponente des von dem optischen System 211 während einer Verschlusszeit ST oder einer Belichtungszeit ausgegebenen Lichts zu empfangen. Jedes der zweidimensional angeordneten lichtempfindlichen Elemente ist auch konfiguriert, um die Intensität oder den Leuchtdichtepegel der empfangenen Lichtkomponente in einen analogen Pixelwert oder ein analoges Pixelsignal umzuwandeln, das proportional zu dem Leuchtdichtepegel der empfangenen Lichtkomponente ist.
Die Verschlusszeit ST, während der Licht von den zweidimensional angeordneten lichtempfindlichen Elementen empfangen wird, mit anderen Worten, während der die zweidimensional angeordneten lichtempfindlichen Elemente Licht ausgesetzt sind, ist ein Steuerparameter, der beispielsweise durch den später beschriebenen Prozessor 30 steuerbar ist. Das heißt, der Prozessor 30 kann die Verschlusszeit ST des Bildsensors 212 steuern.
Die Verschlusszeit ST kann auch als eine Verschlussgeschwindigkeit des Bildsensors 212 ausgedrückt werden. Das heißt, je höher die Verschlussgeschwindigkeit ist, desto kürzer ist die Verschlusszeit ST.
Insbesondere erfasst der Bildsensor 212 periodisch erste und zweite Bilder während jeweils ersten und zweiten unterschiedlichen Verschlusszeiten ST1 und ST2; diese Verschlusszeiten ST1 und ST2 sind durch den Prozessor 30 festgelegte Steuerparameter. Es sei angemerkt, dass die erste Verschlusszeit ST1 länger als die zweite Verschlusszeit ST2 festgelegt wird. Das heißt, das erste Bild kann als ein Bild bei langer Verschlusszeit und das zweite Bild kann als ein Bild bei kurzer Verschlusszeit bezeichnet werden.
Der Verstärker 213 empfängt jeweils das erste und zweite Bild. Dann verstärkt der Verstärker 213 jeweils die analogen Pixelwerte des ersten und des zweiten Bildes durch eine analoge Verstärkung, die durch den später beschriebenen Prozessor 30 variabel steuerbar ist. Das heißt, der Prozessor 30 kann die analoge Verstärkung des Verstärkers 213 steuern.
Der A/D-Wandler 214 wandelt die analogen Pixelsignale (analoge Pixelwerte) von jeweils dem ersten und dem zweiten Bild, die durch den Verstärker 213 verstärkt wurden, basierend auf einer vorbestimmten Bitbreite, d. h. der Anzahl an Bit, in digitale Pixelsignale (digitale Pixelwerte) um. Die Bitbreite gemäß der ersten Ausführungsform ist auf 12 Bit festgelegt.
Die Bilderzeugungseinrichtung 22 ist beispielsweise als eine Hardwareschaltung konzipiert, die aus einem Bildsignalprozessor besteht. Die Bilderzeugungseinrichtung 22 umfasst beispielsweise eine Kombiniereinheit 221 und eine Kompressionseinheit 222.
Die Kombiniereinheit 221 erlangt das digitalisierte erste und zweite Bild von der Bildgebungseinheit 21 und kombiniert das digitale erste und zweite Bild miteinander, um ein zusammengesetztes Bild, das als ein zusammengesetztes HDR-Bild bezeichnet wird, mit höherem Dynamikumfang zu erzeugen. Der Dynamikumfang eines Bildes stellt einen Kontrastbereich des Bildes dar. Der Dynamikumfang eines durch den Bildsensor 212 während einer Verschlusszeit erfassten Bildes wird in Abhängigkeit von der Empfindlichkeit der lichtempfindlichen Elemente des Bildsensors 212 bestimmt. Zusätzlich wird der Dynamikumfang eines durch den Bildsensor 212 erfassten Bildes in Abhängigkeit von der Länge der Verschlusszeit bestimmt.
Beispielsweise erzeugt die Kombiniereinheit 221 ein zusammengesetztes HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der einen Leuchtdichtepegel des entsprechenden Pixels darstellt; die Bitbreite des digitalen Pixelwerts jedes Pixels des zusammengesetzten HDR-Bildes wird auf 16 Bit festgelegt, d. h. größer als die Bitbreite von 12 Bit des jeweiligen ersten und zweiten Bildes.
Die Kompressionseinheit 222 komprimiert das zusammengesetzte HDR-Bild, das den digitalen Pixelwert jedes Pixels aufweist, der durch die Bitbreite von 16 Bit dargestellt wird, um dadurch ein komprimiertes zusammengesetztes HDR-Bild zu erzeugen, das einen digitalen Pixelwert jedes Pixels aufweist, der durch eine Bitbreite von 12 Bit dargestellt wird. Die zweite Bitbreite kann auf eine andere Bitbreite festgelegt werden, solange die zweite Bitbreite kleiner als die erste Bitbreite ist. Die Kompressionseinheit 222 gibt an den Prozessor 30 das komprimierte zusammengesetzte HDR-Bild mit einem digitalen Pixelwert jedes Pixels aus, der durch die zweite Bitbreite von 12 Bit dargestellt wird.
Das heißt, die Bildgebungseinheit 21 ist konfiguriert, um periodisch ein komprimiertes zusammengesetztes HDR-Bild zu erzeugen und das komprimierte HDR-Bild periodisch an den Prozessor 30 auszugeben.
Der Prozessor 30 ist hauptsächlich als zumindest ein bekannter Mikrocomputer konfiguriert, der eine CPU 30a, eine Speichervorrichtung 30b, Eingabeanschlüsse 30c1 und 30c2 und einen Ausgabeanschluss 30d aufweist. Die Speichervorrichtung 30b umfasst zum Beispiel zumindest einen Halbleiterspeicher wie zum Beispiel einen RAM, einen ROM und einen Flash-Speicher. Diese Halbleiterspeicher sind zum Beispiel nichtflüchtige Speichermedien.
Jeder der Eingabeanschlüsse 30c1 und 30c2 kann mit der Kameravorrichtung 20 per Kabel oder kabellos kommunizieren. Der Ausgabeanschluss 30d kann mit der Kameravorrichtung 20 per Kabel oder kabellos kommunizieren.
Zum Beispiel kann die CPU 30a des Prozessors 30 ein oder mehrere Programme ausführen, d. h. Sätze von Programmanweisungen, die in der Speichervorrichtung 30b gespeichert sind, wodurch verschiedene Funktionsmodule des Prozessors 30 als Softwareoperationen implementiert werden. Mit anderen Worten kann die CPU 30a Programme ausführen, die in der Speichervorrichtung 30b gespeichert sind, wodurch eine oder mehrere Routinen in Übereinstimmung mit dem entsprechenden einen oder den mehreren Programmen ausgeführt werden. Die obigen Routinen und/oder die verschiedenen Funktionen des Prozessors 30 können als Hardware-Elektronikschaltung implementiert werden. Zum Beispiel können die verschiedenen Funktionen des Prozessors 30 durch eine Kombination von elektronischen Schaltungen einschließlich digitaler Schaltungen implementiert werden, die viele logische Gatter, analoge Schaltungen, digitale/analoge Hybridschaltungen oder Hardware/Software-Hybridschaltungen aufweisen.
Mehrere Mikrocomputer können den Prozessor 30 bilden.
Die durch die CPU 30a implementierten Funktionsmodule umfassen eine Bereich-Festlegeeinrichtung 31, eine Parameter-Bestimmungseinrichtung 32, eine Bildgebungssteuerung 33, einen Bildprozessor 34 und eine Bilderkennungseinrichtung 35.
Die Bereich-Festlegeeinrichtung 31 empfängt die Ausgabe des zusammengesetzten HDR-Bildes von der Bilderzeugungseinrichtung 22 in einer aktuellen Periode über den Eingabeanschluss 30c2. Dann legt die Bereich-Festlegeinrichtung 31 einen Verteilbereich der Ziel-Leuchtdichtepegel für das zusammengesetzte HDR-Bild entsprechend mindestens eines Ziels, das aus dem zusammengesetzten HDR-Bild zu erkennen ist, fest; das zumindest eine zu erkennende Ziel wird als mindestens ein Erkennungsziel bezeichnet.
Die Parameter-Bestimmungseinrichtung 32 bestimmt, als Werte der Steuerparameter, einen Wert der ersten Verschlusszeit ST1, einen Wert der zweiten Verschlusszeit ST2 und einen Wert der analogen Verstärkung entsprechend dem Verteilbereich der Ziel-Leuchtdichtepegel für das komprimierte zusammengesetzte HDR-Bild.
Die Bildgebungssteuerung 33, die beispielsweise als eine Dynamikumfang-Einstelleinrichtung dient, steuert die Bildgebungseinheit 21 entsprechend der bestimmten Werte der Steuerparameter, d. h. der ersten Verschlusszeit ST1, der zweiten Verschlusszeit ST2 und der analogen Verstärkung, wodurch ein nächstes erstes Bild und ein nächstes zweites Bild in einer nächsten Periode erfasst werden.
Der Bildprozessor 34 verwirft die vorbestimmten niederwertigsten Bit aus dem digitalen 12-Bit-Pixelwert jedes Pixels der Ausgabe des komprimierten zusammengesetzten HDR-Bildes der Bildgebungseinheit 21. Beispielsweise verwirft der Bildprozessor 34 die niederwertigsten vier Bit von dem digitalen 12-Bit-Pixelwert jedes Pixels des komprimierten zusammengesetzten HDR-Bildes, wodurch ein Ausgangsbild mit einem digitalen 8-Bit-Pixelwert jedes Pixels an die Bilderkennungseinrichtung 35 ausgegeben wird.
Die Bilderkennungseinrichtung 35 ist konfiguriert, um Daten mit 8 Bit oder weniger zu verarbeiten und um aus dem Ausgabebild zumindest ein Erkennungsziel zu erkennen. Dann ist die Bilderkennungseinrichtung 35 konfiguriert, um das Erkennungsergebnis an die ECU 100 auszugeben.
Im Folgenden wird ein durch die Bilderzeugungsvorrichtung 10 ausgeführter Bilderzeugungszyklus, d. h. ein Bilderzeugungsprozess, unter Bezugnahme auf 2 beschrieben. Das heißt, die Bilderzeugungsvorrichtung 10 führt den Bilderzeugungszyklus periodisch in vorbestimmten Intervallen durch.
In Schritt S10 eines aktuellen Bilderzeugungszyklus steuert die Bildgebungssteuerung 33 die Bildgebungseinheit 21 unter Verwendung der Steuerparameter, um die Bildgebungseinheit 21 zu veranlassen, ein erstes und ein zweites Bild während entsprechenden unterschiedlichen ersten und zweiten Verschlusszeiten ST1 und ST2 zu erfassen. Die im aktuellen Bilderzeugungszyklus verwendeten Steuerparameter wurden durch die Parameter-Bestimmungseinrichtung 32 in Schritt S40 des vorherigen Bilderzeugungszyklus bestimmt. Die zweite Verschlusszeit ST2 gemäß der ersten Ausführungsform ist auf 1.25 [ms] festgelegt und die erste Verschlusszeit ST1 gemäß der ersten Ausführungsform ist auf 20 [ms] festgelegt.
In Schritt S10 verstärkt die Bildgebungseinheit 21 jeweils das erste und zweite Bild um die analoge Verstärkung und wandelt die analogen Pixelsignale (analoge Pixelwerte) jedes der verstärkten ersten und zweiten Bilder basierend auf der vorbestimmten Bitbreite von 12 Bit in digitale Pixelsignale (digitale Pixelwerte) um.
Als nächstes erlangt die Bilderzeugungseinrichtung 22 die von der Bildgebungseinheit 21 gesendeten digitalisierten ersten und zweiten Bilder und kombiniert das digitale erste und zweite Bild miteinander, um in Schritt S20 ein zusammengesetztes HDR-Bild zu erzeugen.
3 zeigt ein Diagramm, das erste Pixelwert-Eigenschaften PV1 relativ zu Leuchtdichtepegeln des ersten Bildes und zweite Pixelwert-Eigenschaften PV2 relativ zu Leuchtdichtepegeln des zweiten Bildes darstellt. Das Diagramm hat eine vertikale Achse, die die digitalen Pixelwerte des jeweils ersten und des zweiten Bildes angibt, und eine horizontale Achse, die die entsprechenden Leuchtdichtepegel des entsprechenden ersten bzw. zweiten Bildes angibt. Da die Verschlusszeit ST1 16-mal so lang wie die Verschlusszeit ST2 festgelegt ist, ist die durch den Bildgebungsbereich des Bildsensors 212 empfangene Lichtmenge für das erste Bild16-mal größer als die durch den Bildgebungsbereich des Bildsensors 212 empfangene Lichtmenge für das zweite Bild. Aus diesem Grund ist jeder der digitalen Pixelwerte des ersten Bildes von einem Ziel 16-mal größer als der entsprechende digitale Pixelwert des zweiten Bildes von dem gleichen Ziel, obwohl der Leuchtdichtepegel des Ziels unverändert ist.
Aus diesem Grund erlangt in Schritt S20 die Bilderzeugungseinrichtung 22 das Verhältnis der ersten Verschlusszeit ST1 zur zweiten Verschlusszeit ST2 und verstärkt die digitalen Pixelwerte des zweiten Bildes um das erlangte Verhältnis als eine digitale Verstärkung um dadurch die zweiten Pixelwert-Eigenschaften PV2 mit den ersten Pixelwert-Eigenschaften PV1 abzugleichen. Die verstärkten zweiten Pixelwert-Eigenschaften PV2 werden in 4 durch das Bezugszeichen PV2A dargestellt. Das heißt, dass der digitale Pixelwert jedes Pixels des zweiten Bildes und der digitale Pixelwert des entsprechenden Pixels des ersten Bildes den gleichen Leuchtdichtepegel darstellen können.
Konkret ist das Verhältnis der ersten Verschlusszeit ST1 zur zweiten Verschlusszeit ST2 16, so dass die Bilderzeugungseinrichtung 22 die digitalen Pixelwerte des zweiten Bildes mit 16 multipliziert. Dies hat zur Folge, dass der Leuchtdichtepegel jedes Pixels des zweiten Bildes durch die erste Bitbreite, d. h. 16 Bit, repräsentiert wird. Das heißt, der digitale Pixelwert jedes Pixels des zweiten Bildes liegt im Bereich von 00000 bis 65535.
Die Bilderzeugungseinrichtung 22 ist beispielsweise konfiguriert, um

1. einen aus dem digitalen Pixelwert des entsprechenden Pixels des ersten Bildes und dem digitalen Pixelwert des entsprechenden Pixels des zweiten Bildes auszuwählen, oder
2. zwei aus dem digitalen Pixelwert jedes Pixels des ersten Bildes und dem digitalen Pixelwert des entsprechenden Pixels des zweiten Bildes zusammenzuführen.

Insbesondere ist die Bilderzeugungseinrichtung 22 konfiguriert, um beispielsweise die digitalen Pixelwerte des ersten Bildes, d. h. des Bildes mit langer Verschlusszeit, für einen Bereich des zusammengesetzten Bildes mit niedrigem Leuchtdichtepegel und die digitalen Pixelwerte des zweiten Bildes, d. h. des Bildes mit kurzer Verschlusszeit, für einen Bereich des zusammengesetzten Bildes mit hohem Leuchtdichtepegel auszuwählen.
5 zeigt ein Beispiel des zusammengesetzten HDR-Bildes, das basierend auf einer Kombination des ersten Bildes und des zweiten Bildes erzeugt wurde, unter Verwendung des Bezugszeichens Cl; der digitale Pixelwert jedes Pixels des zusammengesetzten HDR-Bildes Cl wird durch die erste Bitbreite, d. h. 16 Bit, ausgedrückt.
In Schritt S30 legt die Bereich-Festlegeeinrichtung 31 ferner einen Verteilbereich der Ziel-Leuchtdichtepegel von mindestens einem Erkennungsziel in Bezug auf das in Schritt S20 erzeugte zusammengesetzte HDR-Bild fest.
6 zeigt ein Beispiel eines Histogramms H der Leuchtdichtepegel des zusammengesetzten HDR-Bildes basierend auf dem ersten Bild (Bild mit langer Verschlusszeit) und dem zweiten Bild (Bild mit kurzer Verschlusszeit) als ein Diagramm, dessen horizontale Achse die Leuchtdichtepegel des zusammengesetzten HDR-Bildes darstellt und dessen vertikale Achse die Anzahl an Pixel entsprechend jedes Leuchtdichtepegels des zusammengesetzten HDR-Bildes darstellt. Mit anderen Worten stellt die vertikale Achse des Diagramms die Frequenz des Auftretens von Pixeln dar, die jedem Leuchtdichtepegel des ersten und zweiten Bildes entsprechen.
Wie in 6 dargestellt, sind die Leuchtdichtepegel des ersten Bildes (Bild mit langer Verschlusszeit) im Histogramm H in einem vergleichsweise niedrigeren Bereich verteilt und die Leuchtdichtepegel des zweiten Bildes (Bild mit kurzer Verschlusszeit) sind im Histogramm H in einem vergleichsweise höheren Bereich verteilt. In Schritt S30 wird der Verteilbereich der Ziel-Leuchtdichtepegel des Histogramms H von einem variablen unteren Grenzpegel LL bis zu einem variablen oberen Grenzpegel UL definiert.
Insbesondere legt die Bereich-Festlegeeinrichtung 31 in Schritt S30 einen Wert des oberen Grenzpegel UL so fest, dass die Anzahl an Pixel der Leuchtdichtepegel des zusammengesetzten HDR-Bildes, die höher als der obere Grenzpegel UL sind, kleiner als ein vorbestimmter Hoher-Kontrast-Schwellenwert ist. Zusätzlich legt die Bereich-Festlegeeinrichtung 31 in Schritt S30 einen Wert des unteren Grenzpegels LL so fest, dass die Anzahl an Pixel der Leuchtdichtepegel des zusammengesetzten HDR-Bildes, die niedriger als der untere Grenzpegel LL sind, kleiner als ein vorbestimmter Geringer-Kontrast-Schwellenwert ist.
Der Hoher-Kontrast-Schwellenwert wird zuvor als ein Wert bestimmt, der das Auftreten von blown-out highlights oder clipped whites eines geschätzten Objekts mit hohem Leuchtdichtepegel verhindert, und der Geringer-Kontrast-Schwellenwert wird zuvor als ein Wert bestimmt, der das Auftreten von blocked-up shadows oder crushed shadows eines geschätzten Objekts mit niedrigem Leuchtdichtepegel verhindert.
In Schritt S30, wenn es zwei getrennte Histogramme einiger Leuchtdichtepegel des zusammengesetzten HDR-Bildes gibt und eines der beiden getrennten Histogramme so angeordnet ist, dass es höher als ein vorbestimmter oberer Schwellenwert liegt, eliminiert die Bereich-Festlegeeinrichtung 31 das getrennte Histogramm, das höher als der vorbestimmte obere Schwellenwert liegt, von den Leuchtdichtepegeln des zusammengesetzten HDR-Bildes, wodurch der Verteilbereich der Ziel-Leuchtdichtepegel um das verbleibende getrennte Histogramm festgelegt wird, d. h. die verbleibende Verteilung der Leuchtdichtepegel. Der obere Schwellenwert wird zuvor als ein Leuchtdichtepegel bestimmt; der Leuchtdichtepegel befindet sich außerhalb eines vorbestimmten Leuchtdichtepegel-Bereichs, den Erkennungsziele wie Fußgänger oder andere Fahrzeuge, die von der Kameravorrichtung 20 erfasst werden sollen, normalerweise haben können. Mit anderen Worten, Objekte mit sehr hohen Leuchtdichtepegeln, die höher als der obere Schwellenwert sind, können Lichtquellen sein, wie z. B. die Sonne oder Leuchtstofflampen, so dass sie von Erkennungszielen, die von der Kameravorrichtung 20 erfasst werden sollen, eliminiert werden können.
Wenn es zum Beispiel zwei getrennte Verteilungen H1 und H2 der Leuchtdichtepegel des zusammengesetzten HDR-Bildes gibt und die getrennte Verteilung H2 höher als ein vorbestimmter oberer Grenzpegel liegt, eliminiert die Bereich-Festlegeeinrichtung 31 die getrennte Verteilung H2, wodurch der Verteilbereich der Ziel-Leuchtdichtepegel um die verbleibende getrennte Verteilung H1 festgelegt wird (siehe 7).
Das heißt, der Verteilbereich der Ziel-Leuchtdichtepegel für das zusammengesetzte HDR-Bild stellt einen Ziel-Dynamikumfang für das zusammengesetzte HDR-Bild dar.
Als nächstes bestimmt die Parameter-Bestimmungseinrichtung 32 in Schritt S40 einen Wert von mindestens einem der Steuerparameter, einschließlich der ersten Verschlusszeit ST1, der zweiten Verschlusszeit ST2 und der analogen Verstärkung, entsprechend dem Verteilbereich der Ziel-Leuchtdichtepegel.
8 zeigt schematisch eine Beziehung zwischen dem Verteilbereich der Ziel-Leuchtdichtepegel, d. h. einem Ziel-Dynamikumfang, für das zusammengesetzte HDR-Bild und einem aktuellen Dynamikumfang des zusammengesetzten HDR-Bildes. Insbesondere zeigt 8, dass der aktuelle Dynamikumfang des zusammengesetzten Bildes nicht ausreicht, um den Ziel-Dynamikumfang zu erreichen.
Im Detail, wie in einem eingekreisten Abschnitt A in 8 dargestellt, reicht der aktuelle Dynamikumfang des zusammengesetzten HDR-Bildes an dessen Abschnitt mit niedrigstem Leuchtdichtepegel nicht aus, um den Ziel-Dynamikumfang an dessen Abschnitt mit niedrigstem Leuchtdichtepegel zu erreichen. Dies kann dazu führen, dass in einem entsprechenden Abschnitt von mindestens einem Erkennungsziel im zusammengesetzten HDR-Bild blocked-up shadows oder crushed shadows auftreten. Zusätzlich, wie im eingekreisten Abschnitt B in 8 gezeigt, reicht der aktuelle Dynamikumfang des zusammengesetzten HDR-Bildes an dessen Abschnitt mit höchstem Leuchtdichtepegel nicht aus, um den Ziel-Dynamikumfang an dessen Abschnitt mit höchstem Leuchtdichtepegel zu erreichen. Dies kann dazu führen, dass ein entsprechender Abschnitt des mindestens einen Erkennungsziels im zusammengesetzten HDR-Bild gesättigt ist, so dass der entsprechende Abschnitt von mindestens einem Erkennungsziel im zusammengesetzten HDR-Bild blown-out highlights oder clipped whites aufweisen kann. Andererseits, wenn der aktuelle Dynamikumfang des zusammengesetzten HDR-Bildes größer als der Verteilbereich der Ziel-Leuchtdichtepegel ist, können ungenutzte Leuchtdichtepegel, die keinen Erkennungszielen entsprechen, im zusammengesetzten HDR-Bild aufgenommen sein.
Zur Adressierung solch einer Situation berechnet die Parameter-Bestimmungseinrichtung 32 in Schritt S40 einen Wert von zumindest einem der Steuerparameter, einschließlich der ersten Verschlusszeit ST1, der zweiten Verschlusszeit ST 2 und der analogen Verstärkung; der Wert von zumindest einem der Steuerparameter ist erforderlich, um den aktuellen Dynamikumfang des zusammengesetzten HDR-Bildes mit dem in Schritt S30 festgelegten Ziel-Dynamikumfang, d. h. dem Verteilbereich der Ziel-Leuchtdichtepegel, abzugleichen.
Insbesondere bestimmt die Parameter-Bestimmungseinrichtung 32, dass ein Wert der ersten Verschlusszeit ST1 länger ist, wenn der aktuelle Dynamikumfang des zusammengesetzten HDR-Bildes an dessen Bereich mit niedrigstem Leuchtdichtepegel nicht ausreicht, um den Ziel-Dynamikumfang an dessen Abschnitt mit niedrigstem Leuchtdichtepegel zu erreichen. Damit kann ein Leuchtdichtepegel, der niedriger als der niedrigste Leuchtdichtepegel des aktuellen Dynamikumfangs ist, auf 00001 festgelegt werden, wodurch sich der aktuelle Dynamikumfang in der Dunkel-Richtung (Niedriger-Leuchtdichtepegel-Richtung) erweitert.
Darüber hinaus bestimmt die Parameter-Bestimmungseinrichtung 32, dass ein Wert der zweiten Verschlusszeit ST2 kürzer ist, wenn der aktuelle Dynamikumfang des zusammengesetzten HDR-Bildes an dessen Bereich mit höchstem Leuchtdichtepegel nicht ausreicht, um den Ziel-Dynamikumfang an dessen Abschnitt mit höchstem Leuchtdichtepegel zu erreichen. Damit kann ein Leuchtdichtepegel, der höher als der höchste Leuchtdichtepegel des aktuellen Dynamikumfangs ist, auf den maximalen Wert basierend auf der ersten Bitbreite, d. h. 16-Bit Breite, festgelegt werden; der Maximalwert ist 65535.
Wenn der niedrigste Leuchtdichtepegel des aktuellen Dynamikumfangs des zusammengesetzten HDR-Bildes den niedrigsten Leuchtdichtepegel des Ziel-Dynamikumfangs nicht umfasst, obwohl die erste Verschlusszeit ST1 ihre obere Grenze erreicht hat, bestimmt bzw. stellt die Parameter-Bestimmungseinrichtung 32 einen Wert der analogen Verstärkung ein, um dadurch den aktuellen Dynamikumfang in der Dunkel-Richtung (Niedriger-Leuchtdichtepegel-Richtung) zu erweitern.
Es ist zu beachten, dass der bestimmte Wert von mindestens einem der Steuerparameter für die Bildsteuerung 33 in Schritt S10 des oben ausgeführten nächsten aktuellen Bilderzeugungszyklus verwendet wird. Das heißt, wenn in Schritt S10 keine neuen Werte der bzw. des verbleibenden Steuerparameter bestimmt wurden bzw. wurde, werden die Werte der bzw. des verbleibenden Steuerparameter, die für die Bildsteuerung 33 des aktuellen Bilderzeugungszyklus verwendet wurden bzw. wurde, ebenso für die Bildsteuerung 33 in Schritt S10 des nächsten aktuellen Bilderzeugungszyklus verwendet.
Anschließend erzeugt die Bilderzeugungseinrichtung 22 in Schritt S50 Kompressionseigenschaften CC zur Komprimierung des in Schritt S20 erzeugten zusammengesetzten HDR-Bildes.
Nachdem das zusammengesetzte HDR-Bild, das basierend auf Kombination des ersten und zweiten Bildes mit den jeweils unterschiedlichen Verschlusszeiten ST1 und ST2 erzeugt wurde, einen digitalen Pixelwert jedes Pixels aufweist, wird dieser durch die erste Bitbreite, d. h. 16 Bit, dargestellt. Das heißt, die erste Bitbreite des digitalen Pixelwerts jedes Pixels des zusammengesetzten HDR-Bildes ist länger als die durch die Bilderkennungseinrichtung 35 erkennbare 8-Bit-Breite.
Aus diesem Grund ist die Bilderzeugungseinrichtung 22 konfiguriert, um das zusammengesetzte HDR-Bild zu komprimieren, dessen Bitbreite jedes Pixels von 16 Bit auf 8 Bit geändert wird.
Zuerst erzeugt die Bilderzeugungseinrichtung 22 die Kompressionseigenschaften CC, die die Leuchtdichtepegel des zusammengesetzten HDR-Bildes innerhalb des aktuellen Dynamikumfangs oder des Ziel-Dynamikbereichs durch digitale Pixelwerte mit 12-Bit Breite ausdrücken.
Ein Beispiel der durch die Bilderzeugungseinrichtung 22 erzeugten Kompressionseigenschaften ist in 5 als eine Balkengrafik dargestellt.
Insbesondere weisen die in 5 dargestellten Kompressionseigenschaften CC auf:

1. eine vorbestimmte erste Kompressionsrate C1 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb eines vorbestimmten Bereichs mit niedrigen Leuchtdichtepegeln LR1 ist, der niedriger als einen vorbestimmter erster Leuchtdichtepegel L1 definiert ist
2. eine vorbestimmte zweite Kompressionsrate C2 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb eines vorbestimmten Bereichs mit mittleren Leuchtdichtepegeln LR2 ist, der gleich oder größer als der erste Leuchtdichtepegel L1 und niedriger oder gleich als ein vorbestimmter zweiter Leuchtdichtepegel L2 definiert ist; die zweite Kompressionsrate C2 ist größer als die erste Kompressionsrate C1
3. eine vorbestimmte dritte Kompressionsrate C3 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb einem vorbestimmten Bereich mit hohen Leuchtdichtepegeln LR3 ist, der gleich oder größer als der zweite Leuchtdichtepegel L2 und niedriger als ein vorbestimmter dritter Leuchtdichtepegel L3, was dem größten Leuchtdichtepegel des Dynamikumfangs entspricht, definiert ist; die dritte Kompressionsrate C3 ist größer als die zweite Kompressionsrate C2

Mit anderen Worten, eine Kompressionsrate der Kompressionseigenschaften wird am ersten Leuchtdichtepegel L1 von der ersten Kompressionsrate C1 auf die zweiten Kompressionsrate C2 geändert, und ebenso am zweiten Leuchtdichtepegel L2 von der zweiten Kompressionsrate C2 auf die dritte Kompressionsrate C3 geändert.
Die Bilderzeugungseinrichtung 22 legt die erste Kompressionsrate C1 der Kompressionseigenschaften CC auf 1 fest, d. h. legt keine Kompression der Kompressionseigenschaften CC innerhalb dem Bereich mit niedrigen Leuchtdichtepegeln LR1 fest, wenn das mindestens eine Erkennungsziel im zusammengesetzten HDR-Bild ein Fußgänger des Nachts ist, da der Körperteil des Fußgängers des Nachts, auf den kein Scheinwerfer fallen kann, niedrige Leuchtdichtepegel aufweist. Zusätzlich legt die Bilderzeugungseinrichtung 22 die zweite Kompressionsrate C2 der Kompressionseigenschaften CC innerhalb dem Bereich mit mittleren Leuchtdichtepegeln LR2 höher als die erste Kompressionsrate von 1 fest.
Zusätzlich legt die Bilderzeugungseinrichtung 22 die dritte Kompressionsrate C3 innerhalb dem Bereich mit hohen Leuchtdichtepegeln LR3 höher als die zweite Kompressionsrate C2 fest, da der Beinabschnitt des Fußgängers des Nachts, auf den der Scheinwerfer fallen könnte, hohe Leuchtdichtepegel aufweist.
Mit anderen Worten, die Bilderzeugungseinrichtung 22 erzeugt die Kompressionseigenschaften CC, so dass

(1) für die digitalen Pixelwerte des zusammengesetzten HDR-Bildes innerhalb dem Bereich mit niedrigen Leuchtdichtepegeln LR1 keine Komprimierung ausgeführt wird, um es dem zusammengesetzten HDR-Bild zu ermöglichen, digitale Pixelwerte des ersten Bildes selbst innerhalb dem Bereich mit niedrigen Leuchtdichtepegeln LR1 aufzuweisen.
(2) für die digitalen Pixelwerte des zusammengesetzten HDR-Bildes innerhalb dem Bereich mit mittleren Leuchtdichtepegeln LR2 und dem Bereich mit hohen Leuchtdichtepegeln LR3 hohe Komprimierung ausgeführt wird.
(3) je größer der Verteilbereich der Ziel-Leuchtdichtepegel ist, desto größer die Kompressionsrate für die digitalen Pixelwerte des zusammengesetzten HDR-Bildes innerhalb dem Bereich mit hohen Leuchtdichtepegeln LR3 ist.

Anschließend komprimiert die Bilderzeugungseinrichtung 22, basierend auf den in Schritt S50 erzeugten Kompressionseigenschaften CC, das zusammengesetzten HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der durch die zweite Bitbreite von 16 Bit dargestellt wird, um dadurch ein komprimiertes zusammengesetztes HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der durch die zweite Bitbreite von 12 Bit dargestellt wird, in Schritt S60 zu erzeugen. Dann sendet die Bilderzeugungseinrichtung 22 in Schritt S60 das komprimierte zusammengesetzte HDR-Bild an den Bildprozessor 34.
Der Bildprozessor 34 verwirft die niederwertigsten vier Bit aus dem digitalen 12-Bit-Pixelwert jedes Pixels des von der Bilderzeugungseinrichtung 22 gesendeten komprimierten zusammengesetzten HDR-Bildes, wodurch ein Ausgabebild mit einem digitalen 8-Bit-Pixelwert jedes Pixels an die Bilderkennungseinrichtung 35 ausgegeben wird. Danach beendet die Bilderzeugungsvorrichtung 10 den aktuellen Bilderzeugungszyklus und geht danach zurück zu Schritt S10, um den nächsten Bilderzeugungszyklus durchzuführen.
Im Folgenden wird ein erstes Beispiel beschrieben, das angibt, wie die Bilderzeugungsvorrichtung 10 arbeitet, um ein zusammengesetztes HDR-Bild zu erzeugen, und ein zweites Beispiel, das angibt, wie die Bilderzeugungsvorrichtung 10 arbeitet, um ein zusammengesetztes HDR-Bild zu erzeugen.
9 stellt schematisch dar:

1. Ein Histogramm H10 der Leuchtdichtepegel des ersten und zweiten Bildes, von denen jedes durch Erfassen einer ersten Szene durch die Kameravorrichtung 20 in einem (m-1)-ten Bilderzeugungszyklus erzeugt wird, wobei M eine ganze Zahl größer 2 ist
2. Einen Verteilbereich der Ziel-Leuchtdichtepegel, der als ein Verteilbereich der Leuchtdichtepegel des Histogramms H10 im (m-1)-ten Bilderzeugungszyklus festgelegt wird
3. Kompressionseigenschaften CC1, die durch die Bilderzeugungseinrichtung 22 im (m-1)-ten Bilderzeugungszyklus gemäß dem ersten Beispiel erzeugt werden

10 stellt ebenso schematisch dar:

1. Ein Histogramm H11 der Leuchtdichtepegel des ersten und zweiten Bildes, von denen jedes durch Erfassen einer zweiten Szene durch die Kameravorrichtung 20 in einem (n-1)-ten Bilderzeugungszyklus erzeugt wird, wobei n eine ganze Zahl größer 2 ist
2. Einen Verteilbereich der Ziel-Leuchtdichtepegel, der als ein Verteilbereich der Leuchtdichtepegel des Histogramms H11 im (n-1)-ten Bilderzeugungszyklus festgelegt wird
3. Kompressionseigenschaften CC2, die durch die Bilderzeugungseinrichtung 22 im (n-1)-ten Bilderzeugungszyklus gemäß dem zweiten Beispiel erzeugt werden

Beispielsweise ist die erste Szene eine durch die Kameravorrichtung 20 als erstes und zweites Bild tagsüber erfasste Szene und die zweite Szene, die sich von der ersten Szene unterscheidet, ist eine durch die Kameravorrichtung 20 erfasste Szene, wenn das Fahrzeug V am Ausgang eines Tunnels fährt.
9 zeigt, dass der Verteilbereich der Ziel-Leuchtdichtepegel entsprechend dem Histogramm H10 festgelegt ist und ein Wert von mindestens einem der Steuerparameter so bestimmt ist, dass der Dynamikumfang des zusammengesetzten Bildes im (m-1)-ten Bilderzeugungszyklus mit dem Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt.
Danach werden das erste und zweite Bild im nächsten m-ten Bilderzeugungszyklus entsprechend dem bestimmten Wert des mindestens einen der Steuerparameter erfasst, so dass ein zusammengesetztes HDR-Bild basierend auf dem ersten und zweiten Bild im m-ten Bilderzeugungszyklus erzeugt wird. Der Dynamikumfang des im m-ten Bilderzeugungszyklus erzeugten zusammengesetzten HDR-Bildes stimmt im Wesentlichen mit dem im (m-1)-ten Bilderzeugungszyklus festgelegten Verteilbereich der Ziel-Leuchtdichtepegel überein.
Zuordnen von digitalen Pixelwerten mit 12 Bit Breite zu den entsprechenden Leuchtdichtepegeln des zusammengesetzten HDR-Bildes innerhalb dem Dynamikumfang des zusammengesetzten HDR-Bildes, d. h. innerhalb dem Verteilbereich der Ziel-Leuchtdichtepegel von mindestens einem Erkennungsziel im zusammengesetzten HDR-Bild, so dass ein komprimiertes zusammengesetztes HDR-Bild erzeugt wird.
Die Kompressionseigenschaften CC1 des zusammengesetzten HDR-Bildes für die Szene 1 weisen auf:

1. eine vorbestimmte erste Kompressionsrate C11 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb einem vorbestimmten Bereich mit niedrigen Leuchtdichtepegeln LR11 ist, der niedriger als ein vorbestimmter erster Leuchtdichtepegel L11 definiert ist
2. eine vorbestimmte zweite Kompressionsrate C12 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb einem vorbestimmten Bereich mit mittleren Leuchtdichtepegeln LR12 ist, der gleich oder höher als der erste Leuchtdichtepegel L11 und niedriger als ein vorbestimmter zweiter Leuchtdichtepegel L12 definiert ist; die zweite Kompressionsrate C12 ist höher als die erste Kompressionsrate C11
3. eine vorbestimmte dritte Kompressionsrate C13 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb einem vorbestimmten Bereich mit hohen Leuchtdichtepegeln LR13 ist, der gleich oder höher als der zweite Leuchtdichtepegel L12 und niedriger als ein vorbestimmter dritter Leuchtdichtepegel L13, der dem höchsten Leuchtdichtepegel des Dynamikumfangs entspricht, definiert ist; die dritte Kompressionsrate C13 ist höher als die zweite Kompressionsrate C12

Ebenso weisen die Kompressionseigenschaften CC2 des zusammengesetzten HDR-Bildes für die Szene 2 auf:

1. eine vorbestimmte erste Kompressionsrate C21 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb einem vorbestimmten Bereich mit niedrigen Leuchtdichtepegeln LR21 ist, der niedriger als ein vorbestimmter erster Leuchtdichtepegel L21 definiert ist
2. eine vorbestimmte zweite Kompressionsrate C22 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb einem vorbestimmten Bereich mit niedrigen Leuchtdichtepegeln LR22 ist, der gleich oder höher als der erste Leuchtdichtepegel L21 und niedriger als ein vorbestimmter zweiter Leuchtdichtepegel L22 definiert ist; die zweite Kompressionsrate C22 ist höher als die erste Kompressionsrate C21
3. eine vorbestimmte dritte Kompressionsrate C23 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb einem vorbestimmten Bereich mit hohen Leuchtdichtepegeln LR23 ist, der gleich oder höher als ein zweiter Leuchtdichtepegel L22 und niedriger als ein vorbestimmter dritte Leuchtdichtepegel L23, der dem höchsten Leuchtdichtepegel des Dynamikumfangs entspricht, definiert ist; die dritte Kompressionsrate C23 ist höher als die zweite Kompressionsrate C22

Das heißt, der Dynamikumfang des zusammengesetzten HDR-Bildes für die erste Szene ist größer als der Dynamikumfang des zusammengesetzten HDR-Bildes für die zweite Szene.
Aus diesem Grund ist die Kompressionsrate C11 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb dem Bereich mit niedrigen Leuchtdichtepegeln LR11 ist, identisch mit der zweiten Kompressionsrate C21 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb dem Bereich mit niedrigen Leuchtdichtepegeln LR21 ist. Im Gegensatz dazu ist die dritte Kompressionsrate C13 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb des Bereichs mit hohen Leuchtdichtepegeln LR21 ist, höher als die dritte Kompressionsrate C23 für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb dem Bereich mit hohen Leuchtdichtepegeln LR23 ist.
Wie oben beschrieben ist die Bilderzeugungsvorrichtung 10 konfiguriert, um alle Leuchtdichtepegel des zusammengesetzten HDR-Bildes innerhalb dem Verteilbereich der Ziel-Leuchtdichtepegel entsprechend der digitalen Pixelwerte festzulegen. Diese Konfiguration reduziert daher die Zuordnung von digitalen Pixelwerten zu Leuchtdichtepegeln des zusammengesetzten HDR-Bildes; die Leuchtdichtepegel entsprechen keinen Erkennungszielen im zusammengesetzten HDR-Bild. Diese Konfiguration stellt auch sicher, dass digitale Pixelwerte den Leuchtdichtepegeln von mindestens einem Erkennungsziel im zusammengesetzten HDR-Bild zugeordnet sind.
Die obige erste Ausführungsform der vorliegenden Erfindung erzielt die folgenden vorteilhaften Effekte eins bis fünf.
Die Bilderzeugungsvorrichtung 10 gemäß der ersten Ausführungsform ist konfiguriert, um einen Wert von mindestens einem der Steuerparameter, die die Bildgebungseinheit 21 steuern, zu bestimmen, um dadurch ein zusammengesetztes HDR-Bild zu erzeugen, dessen Dynamikumfang mit einem Verteilbereich der Ziel-Leuchtdichtepegel, innerhalb dem die Leuchtdichtepegel von mindestens einem Erkennungsziel im zusammengesetzten HDR-Bild verteilt sind, übereinstimmt. Die Bilderzeugungsvorrichtung 10 ist ebenso konfiguriert, um begrenzte digitale Pixelwerte, die durch eine vorbestimmte Bitbreite begrenzt sind, dem Dynamikumfang des erzeugten zusammengesetzten HDR-Bildes zuzuordnen.
Diese Konfiguration erzielt den ersten vorteilhaften Effekt, und zwar Reduzierung der Zuordnung von digitalen Pixelwerten zu Leuchtdichtepegeln des zusammengesetzten HDR-Bildes; die Leuchtdichtepegel entsprechen keinen Erkennungszielen im zusammengesetzten HDR-Bild. Damit können den Leuchtdichtepegeln von mindestens einem Erkennungsziel im zusammengesetzten HDR-Bild digitale Pixelwerte zugeordnet werden.
Die Bilderzeugungsvorrichtung 10 gemäß der ersten Ausführungsform ist konfiguriert, um ein erstes und ein zweites Bild basierend auf den bestimmten Steuerparametern zu erfassen, um dadurch den Dynamikumfang des zusammengesetzten HDR-Bildes, das basierend auf dem ersten und dem zweiten Bild erzeugt wurde, mit dem Verteilbereich der Ziel-Leuchtdichtepegel abzugleichen. Diese Konfiguration erzielt den zweiten vorteilhaften Effekt, und zwar Erzeugung eines klareren Ausgabebildes basierend auf dem zusammengesetzten HDR-Bild an die Bilderkennungseinrichtung 35 im Vergleich mit einem Ausgabebild, das durch Manipulation eines zusammengesetzten HDR-Bildes erlangt wird, um dadurch den Dynamikbereich des zusammengesetzten HDR-Bildes mit dem Verteilbereich der Ziel-Leuchtdichtepegel abzugleichen. Diese Konfiguration reduziert auch die Verarbeitungslast der Bilderzeugungsvorrichtung 10.
Die Bilderzeugungsvorrichtung 10 ist konfiguriert, um den Verteilbereich der Ziel-Leuchtdichtepegel so festzulegen, dass die Anzahl an Pixel der Leuchtdichtepegel, welche höher als der obere Grenzpegel UL sind, kleiner als der vorbestimmte Hoher-Kontrast-Schwellenwert ist. Damit erzielt diese Konfiguration den dritten vorteilhaften Effekt, und zwar Vermeidung des Auftretens von blocked-up shadows oder crushed shadows von mindestens einem Erkennungsziel.
Die Bilderzeugungsvorrichtung 10 ist konfiguriert, um den Verteilbereich der Ziel-Leuchtdichtepegel so festzulegen, dass die Anzahl an Pixel der Leuchtdichtepegel, die niedriger als der untere Grenzpegel LL sind, kleiner als der vorbestimmte Geringer-Kontrast-Schwellenwert ist. Diese Konfiguration erzielt den vierten vorteilhaften Effekt, und zwar Vermeidung des Auftretens von blown-out highlights oder clipped whites von mindestens einem Erkennungsziel.
Die Bilderzeugungsvorrichtung 10 ist konfiguriert, um den Verteilbereich der Ziel-Leuchtdichtepegel festzulegen, während Leuchtdichtepegel-Verteilungen, die höher als der obere Schwellenwert sind, eliminiert werden. Diese Konfiguration erzielt den fünften vorteilhaften Effekt, und zwar Eliminierung von Objekten, die sich deutlich von mindestens einem Erkennungsziel, von dem Verteilbereich der Leuchtdichtepegel, unterscheiden, wodurch digitale Pixelwerte zu den Leuchtdichtepegeln von mindestens einem Erkennungsziel im zusammengesetzten HDR-Bild zugeordnet werden.
Zweite Ausführungsform
Im Folgenden wird die zweite Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die 11 bis 13 beschrieben.
Eine Bilderzeugungsvorrichtung 10A gemäß der zweiten Ausführungsform unterscheidet sich in den folgenden Punkten von der Bilderzeugungsvorrichtung 10. Im Folgenden werden also hauptsächlich die verschiedenen Punkte der Bilderzeugungsvorrichtung 10A gemäß der zweiten Ausführungsform beschrieben und Beschreibungen gleichartiger Teile zwischen der ersten und zweiten Ausführungsform, denen identische oder gleichartige Bezugszeichen zugewiesen sind, weggelassen oder vereinfacht, wodurch redundante Beschreibungen vermieden werden.
Die Bilderzeugungsvorrichtung 10 gemäß der ersten Ausführungsform ist konfiguriert, um einen Wert von mindestens einem der Steuerparameter, die die Bildgebungseinheit 21 steuern, zu bestimmen, um dadurch ein zusammengesetztes HDR-Bild zu erzeugen, dessen Dynamikumfang mit dem Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt, innerhalb welchem die Leuchtdichtepegel von mindestens einem, im zusammengesetzten HDR-Bild umfassten, Erkennungsziel verteilt sind.
Im Gegensatz dazu ist die Bilderzeugungsvorrichtung 10A gemäß der zweiten Ausführungsform konfiguriert, um ein zusammengesetztes HDR-Bild zu erzeugen, dessen Dynamikumfang eine maximale Breite aufweist. Der Dynamikumfang mit seiner maximalen Breite wird als maximaler Dynamikumfang bezeichnet. Dann ist die Bilderzeugungsvorrichtung konfiguriert, um das zusammengesetzte HDR-Bild zu manipulieren, um dadurch ein korrigiertes zusammengesetztes HDR-Bild auszuschneiden, d. h. zu extrahieren, dessen Dynamikumfang eingestellt ist, um mit dem Verteilbereich der Ziel-Leuchtdichtepegel übereinzustimmen. Der maximale Dynamikumfang des zusammengesetzten HDR-Bildes wird zuvor in Abhängigkeit von den Designvorgaben der Kameravorrichtung 20 bestimmt, welche die Empfindlichkeit der lichtempfindlichen Elemente des Bildsensors 212 und den maximalen und minimalen Wert der Verschlusszeit ST der Kameravorrichtung 20 umfassen.
Insbesondere, wie in 11 dargestellt, umfasst eine Bilderzeugungseinrichtung 22A in der Bilderzeugungsvorrichtung 10A keine Kompressionseinheit 222, so dass die Bilderzeugungseinrichtung 22A ein zusammengesetztes HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der durch die erste Bitbreite von 16 Bit dargestellt wird, erzeugt und an einen Bildprozessor 34A des Prozessors 30 ausgibt.
Der Bildprozessor 34A der Bilderzeugungsvorrichtung 10A dient sowohl als die Bereich-Festlegeeinrichtung 31 als auch als die Kompressionseinheit 222 gemäß der ersten Ausführungsform, so dass die Bereich-Festlegeeinrichtung 31 aus dem Prozessor 30 eliminiert ist.
Darüber hinaus ist die Bilderzeugungsvorrichtung 10A mit Bezugnahme auf 12 konfiguriert, um periodisch einen Bilderzeugungszyklus, d. h. einen Bilderzeugungsprozess, auszuführen, der sich teilweise vom in 2 dargestellten Bilderzeugungszyklus unterscheidet.
In Schritt S100 eines aktuellen Bilderzeugungszyklus bestimmt die Parameter-Bestimmungseinrichtung 32 einen Wert von mindestens einem der Steuerparameter, einschließlich der ersten Verschlusszeit ST1, der zweiten Verschlusszeit ST2 und der analogen Verstärkung, so dass der Dynamikumfang eines basierend auf den Steuerparametern erzeugten zusammengesetzten HDR-Bildes mit dem maximalen Dynamikumfang übereinstimmt.
Als nächstes steuert die Bildgebungssteuerung 33 in Schritt S110 die Bildgebungseinheit 21 unter Verwendung der in Schritt S100 bestimmten Steuerparameter, um die Bildgebungseinheit 21 zu veranlassen, ein erstes und zweites Bild während entsprechend unterschiedlichen ersten und zweiten Verschlusszeiten ST1 und ST2 zu erfassen, was dem Vorgang in Schritt S10 ähnlich ist. In Schritt S110 verstärkt die Bildgebungseinheit 21 ebenso sowohl das erste als auch das zweite Bild um die analoge Verstärkung und wandelt, basierend auf der vorbestimmten Bitbreite von 12 Bit, die analogen Pixelsignale (analoge Pixelwerte) des verstärkten ersten und zweiten Bildes in digitale Pixelsignale (digitale Pixelwerte) um, was dem Vorgang in Schritt S10 ähnlich ist.
Als nächstes erlangt die Bilderzeugungseinrichtung 22A in Schritt S120 die von der Bildgebungseinheit 21 gesendeten digitalisierten ersten und zweiten Bilder und kombiniert die digitalisierten ersten und zweiten Bilder miteinander, um ein zusammengesetztes HDR-Bild zu erzeugen, was dem Vorgang in Schritt S20 ähnlich ist. Die digitalen Pixelwerte jedes Pixels des in Schritt S120 erzeugten zusammengesetzten HDR-Bildes wird durch die erste Bitbreite, d. h. 16 Bit, ausgedrückt und der Dynamikumfang des in Schritt S120 erzeugten zusammengesetzten HDR-Bildes wird auf den maximalen Dynamikumfang festgelegt. Das zusammengesetzte HDR-Bild wird von der Bilderzeugungseinrichtung 22 an den Bildprozessor 34A gesendet.
Als nächstes, in Schritt S130, legt der Bildprozessor 34A, der beispielsweise als Bereich-Festlegeeinrichtung dient, einen Verteilbereich der Ziel-Leuchtdichtepegel von mindestens einem Erkennungsziel in Bezug auf das in Schritt S120 erzeugte zusammengesetzte HDR-Bild fest, was dem Vorgang in Schritt S30 ähnlich ist.
Wie 6 stellt 13 schematisch ein Histogramm HA der Leuchtdichtepegel des ersten Bildes (Bild mit langer Verschlusszeit) und des zweiten Bildes (Bild mit kurzer Verschlusszeit) dar. 13 stellt ebenfall schematisch den maximalen Dynamikumfang des zusammengesetzten HDR-Bildes dar.
Nach dem Vorgang in Schritt S130 dient der Bildprozessor 34A beispielsweise als Dynamikbereich-Einstelleinrichtung, um vom in Schritt S120 erzeugten zusammengesetzten HDR-Bild ein korrigiertes HDR-Bild auszuschneiden, d. h. zu erlangen, dessen Dynamikumfang mit dem Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt (siehe 13). Anschließend aktualisiert der Bildprozessor 34 das in Schritt S120 erzeugte zusammengesetzte HDR-Bild zu dem korrigierten zusammengesetzten HRD-Bild.
Als nächstes, in Schritt S150, dient der Bildprozessor 34A beispielsweise als eine Kompressionseinheit, um Kompressionseigenschaften CC zur Komprimierung des in Schritt S140 erzeugten korrigierten zusammengesetzten HDR-Bildes zu erzeugen, was dem Vorgang in Schritt S50 ähnlich ist.
Anschließend, in Schritt S160, dient der Bildprozessor 34A beispielsweise als die Kompressionseinheit, um basierend auf den in Schritt S150 erzeugten Kompressionseigenschaften CC das korrigierte zusammengesetzte HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der durch die erste Bitbreite von 16 Bit dargestellt wird, zu komprimieren, um dadurch ein komprimiertes zusammengesetztes HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der durch die zweite Bitbreite von 12 Bit dargestellt wird, in Schritt S160 zu erzeugen.
In Schritt S160 verwirft der Bildprozessor 34A die vier niederwertigsten Bit des digitalen 12-Bit-Pixelwertes jedes Pixels des komprimierten zusammengesetzten HDR-Bildes, und gibt somit ein Ausgabebild mit einem digitalen 8-Bit-Pixelwert jedes Pixels an die Bilderkennungseinrichtung 35 aus. Danach beendet die Bilderzeugungsvorrichtung 10A den aktuellen Bilderzeugungszyklus und kehrt danach zu Schritt S100 zurück, um den nächsten Bilderzeugungszyklus durchzuführen.
Die obige zweite Ausführungsform der vorliegenden Erfindung erzielt neben den obigen dritten bis fünften vorteilhaften Effekten auch den folgenden sechsten vorteilhaften Effekt.
Insbesondere ist die Bilderzeugungsvorrichtung 10A konfiguriert, um ein zusammengesetztes HDR-Bild zu erzeugen, dessen Dynamikumfang auf den maximalen Dynamikumfang festgelegt ist, und ausschneiden, vom zusammengesetzten HDR-Bild, eines korrigierten zusammengesetzten HDR-Bildes, dessen Dynamikumfang mit dem Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt. Diese Konfiguration reduziert daher die Zuordnung von digitalen Pixelwerten zu Leuchtdichtepegeln des zusammengesetzten HDR-Bildes; die Leuchtdichtepegel entsprechen keinen Erkennungszielen in dem zusammengesetzten HDR-Bild Daher können digitale Pixelwerte den Leuchtdichtepegeln mindestens eines Erkennungsziels im zusammengesetzten HDR-Bild zugeordnet werden.
Dritte Ausführungsform
Das Folgende beschreibt die dritte Ausführungsform der vorliegenden Erfindung.
Eine Bilderzeugungsvorrichtung 10B gemäß der dritten Ausführungsform unterscheidet sich von der Bilderzeugungsvorrichtung 10A in den folgenden Punkten. Im Folgenden werden also hauptsächlich die verschiedenen Punkte der Bilderzeugungsvorrichtung 10B gemäß der dritten Ausführungsform beschrieben, und Beschreibungen von gleichartigen Teilen zwischen der zweiten und dritten Ausführungsform, denen identische oder gleichartige Bezugszeichen zugeordnet sind, weggelassen oder vereinfacht, wodurch redundante Beschreibungen eliminiert werden.
Die Bilderzeugungsvorrichtung 10A gemäß der zweiten Ausführungsform ist konfiguriert, so dass der Bildprozessor 34A ein korrigiertes zusammengesetztes HDR-Bild erzeugt, dessen Dynamikumfang eingestellt ist, um mit dem Verteilbereich der Ziel-Leuchtdichtepegel übereinzustimmen.
Im Gegensatz dazu umfasst die Bilderzeugungsvorrichtung 10B unter Bezugnahme auf 14 eine Bilderzeugungseinrichtung 22B anstelle der Bilderzeugungseinrichtung 22A.
Insbesondere erlangt die Bilderzeugungseinrichtung 22B, d. h. die Kombinationseinheit 221, das von der Bildgebungseinheit 21 gesendete erste und zweite digitalisierte Bild und kombiniert das erste und das zweite digitalisierte Bild miteinander, um ein zusammengesetztes HDR-Bild zu erzeugen (siehe Schritt S120).
Weiter umfasst die Bilderzeugungseinrichtung 22B eine Bildverarbeitungsschaltung 221A, die beispielsweise als eine Bereich-Festlegeeinrichtung dient, um einen Verteilbereich der Ziel-Leuchtdichtepegel mindestens eines Erkennungsziels in Bezug auf das in Schritt S120 erzeugte zusammengesetzte HDR-Bild festzulegen (siehe Schritt S130).
Die Bildverarbeitungsschaltung 221A der Erzeugungseinrichtung 22B dient beispielsweise ebenso als eine Dynamikumfang-Einstelleinrichtung, um vom in Schritt S120 erzeugten zusammengesetzten HDR-Bild ein korrigiertes HDR-Bild auszuschneiden, dessen Dynamikbereich mit dem Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt, wodurch das in Schritt S120 erzeugte zusammengesetzte HDR-Bild zu dem korrigierten zusammengesetzten HDR-Bild aktualisiert wird (siehe Schritt S140).
Als nächstes erzeugt die Bilderzeugungseinrichtung 22B, d. h. die Kompressionseinheit 222, Kompressionseigenschaften CC zur Komprimierung des in Schritt S140 erzeugten korrigierten zusammengesetzten HDR-Bildes (siehe Schritt S150) und komprimiert, basierend auf den in Schritt S150 erzeugten Kompressionseigenschaften CC, das korrigierte zusammengesetzte HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der durch die erste Bitbreite von 16 Bit dargestellt wird, um dadurch ein komprimiertes zusammengesetztes HDR Bild mit einem digitalen Pixelwert jedes Pixels, der durch die zweite Bitbreite von 12 Bit dargestellt wird, zu erzeugen (siehe Schritt S160).
Dann verwirft der Bildprozessor 34 vorbestimmte niederwertigste Bit des digitalen 12-Bit-Pixelwertes jedes Pixels des komprimierten zusammengesetzten HDR-Ausgabebildes von der Bildgebungseinheit 21. Zum Beispiel verwirft der Bildprozessor 34 die niederwertigsten vier Bit des digitalen 12-Bit-Pixelwertes jedes Pixels des komprimierten zusammengesetzten HDR-Bildes, wodurch ein Ausgabebild mit einem digitalen 8-Bit-Pixelwert jedes Pixels an die Bilderkennungseinrichtung 35 ausgegeben wird.
Das heißt, die Bilderzeugungseinrichtung 22B ist programmiert, um die Vorgänge in den Schritten S120 bis S140 durchzuführen, und der Bildprozessor 34 ist programmiert, um die Vorgänge in den Schritten S150 und S160 durchzuführen.
Die obige dritte Ausführungsform der vorliegenden Erfindung erzielt zusätzlich zu den dritten bis fünften vorteilhaften Effekten den obigen sechsten vorteilhaften Effekt.
Die vorliegende Erfindung ist nicht auf die Beschreibungen der ersten bis dritten Ausführungsformen beschränkt, und die Beschreibungen der ersten bis dritten Ausführungsformen können im Rahmen der vorliegenden Erfindung weitgehend modifiziert werden.
In jeder der ersten bis dritten Ausführungsformen wird die Verschlusszeit ST auf die erste Verschlusszeit ST1 und die zweite Verschlusszeit ST2 festgelegt, jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Insbesondere kann die Verschlusszeit ST auf die ersten bis dritten Verschlusszeiten ST1 bis ST3 festgelegt werden, die in absteigender Reihenfolge angeordnet sind, und ein zusammengesetztes HDR-Bild kann basierend auf den ersten bis dritten Verschlusszeiten ST1 bis ST3 erzeugt werden. Zusätzlich kann die Verschlusszeit ST auf vier oder mehr Verschlusszeiten festgelegt werden und ein zusammengesetztes HDR-Bild kann basierend auf den vier oder mehreren Verschlusszeiten erzeugt werden.
Die Funktionen eines Elements in jeder der ersten bis dritten Ausführungsformen können als mehrere Elemente verteilt sein, und die Funktionen, die mehrere Elemente aufweisen, können zu einem Element kombiniert werden. Zumindest ein Teil der Struktur jedes der ersten bis dritten Ausführungsformen kann durch eine bekannte Struktur ersetzt werden, welche die gleiche Funktion wie der zumindest eine Teil der Struktur der entsprechenden Ausführungsform aufweist. Ein Teil der Struktur jeder der ersten bis dritten Ausführungsformen kann weggelassen werden. Zumindest ein Teil der Struktur jeder der ersten bis dritten Ausführungsformen kann zu den Strukturen der anderen Ausführungsform hinzugefügt oder mit den Strukturen der anderen Ausführungsform ersetzt werden. Alle Aspekte, die in den technologischen Ideen enthalten sind, die durch die in den Ansprüchen verwendete Sprache spezifiziert sind, bilden Ausführungsformen der vorliegenden Erfindung.
Die vorliegende Erfindung kann mittels verschiedener Ausführungsformen zusätzlich zu der Bilderzeugungsvorrichtung implementiert werden; die verschiedenen Ausführungsformen weisen Systeme auf, die jeweils die Bilderzeugungsvorrichtung, Programme zum Bedienen eines Computers als einen der Bilderzeugungsvorrichtungen, Speichermedien, welche die Programme speichern, und Bilderzeugungsverfahren aufweisen.
Während die veranschaulichte Ausführungsform der vorliegenden Erfindung hier beschrieben worden ist, ist die vorliegende Erfindung nicht auf die hier beschriebene Ausführungsform beschränkt, sondern umfasst jegliche und alle Ausführungsformen mit Abwandlungen, Auslassungen, Kombinationen (zum Beispiel von Aspekten über verschiedene Ausführungsformen hinweg), Anpassungen und/oder Änderungen, die für den Durchschnittsfachmann basierend auf der vorliegenden Erfindung ersichtlich sind. Die Beschränkungen in den Ansprüchen sind breit zu interpretieren, basierend auf der Sprache, die in den Ansprüchen verwendet wird und sind nicht auf Beispiele beschränkt, die in der vorliegenden Beschreibung oder bei der Verfolgung der Anmeldung beschrieben sind, wobei die Beispiele als nicht-exklusiv auszulegen sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016217320 [0001]

Claims

Bilderzeugungsvorrichtung mit: einer Steuerung, konfiguriert zum Veranlassen einer Kamera, basierend auf Steuerparametern für die Kamera, ein erstes Bild basierend auf einer ersten Verschlusszeit und ein zweites Bild basierend auf einer zweiten Verschlusszeit für jeweils einen ersten und einen zweiten Prozess in Folge zu erfassen, wobei das erste und das zweite Bild jeweils mindestens ein abzubildendes Ziel umfassen, die erste Verschlusszeit länger als die zweite Verschlusszeit ist, und die Steuerparameter die erste Verschlusszeit und die zweite Verschlusszeit umfassen; einer Bildkombiniereinheit, konfiguriert zum Kombinieren des ersten und des zweiten Bildes von jeweils dem ersten und dem zweiten Prozess, um dadurch ein zusammengesetztes Bild mit einem digitalen Pixelwert jedes Pixels davon zu erzeugen, wobei der digitale Pixelwert jedes Pixels einen Leuchtdichtepegel des entsprechenden Pixels durch eine erste Bitbreite darstellt; einer Bereich-Festlegeeinrichtung, konfiguriert zum Einstellen eines Verteilbereichs von Ziel-Leuchtdichtepegeln von mindestens einem Ziel in Bezug auf das zusammengesetzte Bild für jeweils den ersten und den zweiten Prozess, wobei der Verteilbereich der Ziel-Leuchtdichtepegel einen Bereich darstellt, innerhalb dem Leuchtdichtepegel von dem mindestens einem Ziel verteilt sind; einer Kompressionseigenschaften-Erzeugungseinrichtung, konfiguriert zum Erzeugen einer Kompressionseigenschaft zur Komprimierung des digitalen Pixelwerts jedes Pixels des zusammengesetzten Bildes durch eine zweite Bitbreite für jeweils den ersten und den zweiten Prozess, wobei die zweite Bitbreite kleiner als die erste Bitbreite ist; einer Kompressionseinheit, konfiguriert zum Komprimieren des zusammengesetzten Bildes für jeweils den ersten und den zweiten Prozess entsprechend der Kompressionseigenschaft, um dadurch ein komprimiertes zusammengesetztes Bild zu erzeugen; und einer Dynamikumfang-Einstelleinrichtung, konfiguriert zum Einstellen eines Dynamikumfangs des zusammengesetzten Bildes, das für den ersten oder den zweiten Prozesse erzeugt wurde, so dass der Dynamikumfang des für den entsprechenden ersten oder zweiten Prozess erzeugten zusammengesetzten Bildes mit dem durch die Bereich-Festlegeeinrichtung für den ersten Prozess festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei: die Dynamikumfang-Einstelleinrichtung konfiguriert ist, um für den zweiten Prozess einen Wertes von mindestens einem der Steuerparameter zu bestimmen, so dass der Dynamikumfang des für den zweiten Prozess erzeugten zusammengesetzten Bildes mit dem durch die Bereich-Festlegeeinrichtung für den ersten Prozess festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei: die Steuerparameter für den aktuellen Bilderzeugungsprozess für den ersten Prozess so bestimmt werden, dass der Dynamikumfang des zusammengesetzten Bildes für den ersten Prozess mit einem zuvor durch die Designvorgaben der Kamera bestimmten maximalen Dynamikumfang übereinstimmt; und die Dynamikumfang-Einstelleinrichtung konfiguriert ist, um vom durch die Bildkombiniereinheit für den ersten Prozess zusammengesetzten Bild ein korrigiertes zusammengesetztes Bild zu extrahieren, dessen Dynamikumfang mit dem durch die Bereich-Festlegeeinrichtung für den ersten Prozess festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt; und die Kompressionseinheit konfiguriert ist, um entsprechend der Kompressionseigenschaft das korrigierte zusammengesetzte Bild für den ersten Prozess als das zusammengesetzte Bild zu komprimieren.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei: die Steuerparameter für den aktuellen Bilderzeugungsprozess für den ersten Prozess so bestimmt sind, dass der Dynamikumfang des zusammengesetzten Bildes für den ersten Prozess mit einem zuvor durch die Designvorgaben der Kamera bestimmten maximalen Dynamikumfang übereinstimmt; und die Dynamikumfang-Einstelleinrichtung in der Kamera installiert ist und zum Ausschneiden eines korrigierten zusammengesetzten Bildes aus dem durch die Bildkombiniereinheit für den ersten Prozess erzeugten zusammengesetzten Bildes konfiguriert ist, dessen Dynamikumfang mit dem durch die Bereich-Festlegeeinrichtung für den ersten Prozess festgelegten Verteilbereich der Ziel-Leuchtdichtepegel übereinstimmt.
Bilderzeugungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei: eine Bereichbestimmungseinrichtung konfiguriert ist, um den Verteilbereich der Ziel-Leuchtdichtepegel so festzulegen, dass die Anzahl an ersten Pixeln der Leuchtdichtepegel des zusammengesetzten Bildes kleiner als ein vorbestimmter Hoher-Kontrast-Schwellenwert ist, wobei die Leuchtdichtepegel der ersten Pixel höher als eine vorbestimmte Obergrenze sind.
Bilderzeugungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei: die Bereichbestimmungseinrichtung konfiguriert ist, um den Verteilbereich der Ziel-Leuchtdichtepegel so festzulegen, dass die Anzahl an zweiten Pixeln der Leuchtdichtepegel des zusammengesetzten Bildes kleiner ist als ein vorbestimmter Geringer-Kontrast-Schwellenwert ist, wobei die Leuchtdichtepegel der zweiten Pixel niedriger als eine vorbestimmte Untergrenze sind.
Bilderzeugungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei: die Bereichbestimmungseinrichtung konfiguriert ist, um den mindestens einen Leuchtdichtepegel der Leuchtdichtepegel des zusammengesetzten Bildes zu eliminieren, um dadurch den Verteilbereich der Ziel-Leuchtdichtepegel basierend auf den verbleibenden Leuchtdichtepegeln des zusammengesetzten Bildes festzulegen, wenn der mindestens eine Leuchtdichtepegel höher als ein vorbestimmter oberer Grenzwert ist.