DE102017219253A1

DE102017219253A1 - Bilderzeugungsvorrichtung

Info

Publication number: DE102017219253A1
Application number: DE102017219253.4A
Authority: DE
Inventors: Masato Nishikawa
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-10-26
Filing date: 2017-10-26
Publication date: 2018-04-26
Also published as: CN107995411A; JP6665754B2; CN107995411B; US20180114300A1; US10783619B2; JP2018074285A

Abstract

In einer Bilderzeugungsvorrichtung ist eine Festlegeinrichtung zum variablen Festlegen, für ein Bilderfassungsvorgang in einem nächsten Erfassungszyklus, einer ersten und einer zweiten Verschlusszeit und einer Gesamtverstärkung konfiguriert. Die Gesamtverstärkung basiert auf der Kombination einer analogen Verstärkung und einer digitalen Verstärkung. Eine Zuteilungseinheit ist zum Erlangen einer Schwellenverstärkung basierend auf einer ersten und zweiten Verschlusszeit und einer Kompressionseigenschaft konfiguriert. Die Zuteilungseinheit ist zum variablen Zuteilen der Gesamtverstärkung zu der analogen Verstärkung und/oder der digitalen Verstärkung gemäß einem Vergleich zwischen der Gesamtverstärkung, der Schwellenverstärkung und einer Obergrenze für die analoge Verstärkung konfiguriert.

Description

Die vorliegende Anmeldung basiert auf der am 26. Oktober 2016 eingereichten japanischen Patentanmeldung mit der Nummer 2016-209732 , und beansprucht deren Priorität; auf den dortigen Offenbarungsgehalt wird hier vollinhaltlich in seiner Gesamtheit Bezug genommen.
TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Bilderzeugungsvorrichtung zum Kombinieren mehrerer Bilder, um dadurch ein zusammengesetztes Bild zu erzeugen; die mehreren Bilder werden während jeweiliger unterschiedlicher Verschlusszeiten, d.h. Belichtungszeiten, oder mit jeweiligen unterschiedlichen Verschlussgeschwindigkeiten erfasst.
STAND DER TECHNIK
Die japanische Patentanmeldungsveröffentlichung mit der Nummer 2014-109853 offenbart eine Bildgebungsvorrichtung mit einem hohen Dynamikumfang (HDR-Funktion; High Dynamic Range Image). Die HDR-Funktion erhält mehrere Zielbilder, die während jeweiliger unterschiedlicher Verschlusszeiten von einem Bildsensor erfasst werden, und kombiniert die mehreren Zielbilder, um dadurch ein zusammengesetztes Bild zu erzeugen. Das erzeugte zusammengesetzte Bild hat einen höheren Dynamikumfang.
ZUSAMMENFASSUNG
Ein Wert jedes Pixels, d.h. ein Pixelwert eines von einem Bildsensor erfassten Bildes, repräsentiert ein Leuchtdichtepegel, d.h. einen Leuchtdichtewert, des entsprechenden Pixels des Bildes. Ein Leuchtdichtepegel jedes Pixels eines ersten Bildes, das von einem Bildsensor erfasst wird, und ein Leuchtdichtepegel des entsprechenden Pixels eines zweiten Bildes, das von demselben Bildsensor erfasst wird, können sich abhängig von ihrer Umgebung und/oder ihren Verschlusszeiten voneinander unterscheiden während das erste und das zweite Bild jeweils von dem Bildsensor erfasst wird.
Insbesondere unterscheiden sich Pixel-Leuchtdichte-Eigenschaften jedes Pixels eines ersten Bilds, das durch einen Bildsensor während einer ersten Verschlusszeit erfasst wird, von Pixel-Leuchtdichte-Eigenschaften des entsprechenden Pixels eines zweiten Bildes, das durch denselben Bildsensor während einer zweiten Verschlusszeit erfasst wird; die erste Verschlusszeit ist länger als die zweite Verschlusszeit. Aus diesem oder einem anderen Grund werden Verstärkungen verwendet, um die Pixel-Leuchtdichte-Eigenschaften jedes Pixels des zweiten Bildes mit den Pixel-Leuchtdichte-Eigenschaften des entsprechenden Pixels des ersten Bildes in Übereinstimmung zu bringen.
Die Verstärkungen weisen eine analoge Verstärkung auf, die verwendet wird, um analoge Pixelwerte, die als analoge Pixelsignale bezeichnet werden, zu verstärken, die von dem Bildsensor ausgegeben werden. Die Verstärkungen weisen auch eine digitale Verstärkung auf. Die HDR-Funktion wandelt die analogen Pixelwerte (analoge Pixelsignale) von jeweils dem ersten und zweiten Bild basierend auf einer vorgegebenen Bitbreite, d.h. die Anzahl von Bits, in digitale Pixelwerte um; die digitalen Pixelwerte werden als digitale Pixelsignale bezeichnet. Dann verstärkt die HDR-Funktion die digitalen Pixelwerte des zweiten Bildes unter Verwendung der digitalen Verstärkung und erzeugt ein zusammengesetztes Bild basierend auf den digitalen Pixelwerten des ersten Bildes und den verstärkten digitalen Pixelwerten des zweiten Bildes.
Das Verstärken digitaler Pixelsignale eines Bildes unter Verwendung einer solchen digitalen Verstärkung kann zu einer Verringerung der Auflösung des Bildes führen, da zum Beispiel die verstärkten digitalen Pixelwerte einiger Pixel des Bildes die vorgegebene Bitbreite überschreiten können.
Aus diesem Grund verstärkt eine typische Bildgebungsvorrichtung analoge Pixelsignale eines Bildes unter Verwendung einer analogen Verstärkung mit Priorität zum Verstärken entsprechender digitaler Pixelsignale des Bildes unter Verwendung einer digitalen Verstärkung. Danach verstärkt die typische Bildgebungsvorrichtung ein oder mehrere digitale Pixelsignale des Bildes unter Verwendung der digitalen Verstärkung, wenn die Pegel des einen oder der mehreren digitalen Pixelsignale, die basierend auf der analogen Verstärkung verstärkt wurden, nicht einen erforderlichen Signalpegel erreichen.
Leider kann eine Zunahme einer solchen analogen Verstärkung zum Verstärken eines Bildes zu einer Verringerung eines Signal-Rausch-Verhältnisses (S/N-Verhältnis) des Bildes führen. Aus diesem Grund weist das zusammengesetzte Bild ein niedriges S/N-Verhältnis auf, wenn die typische Bildgebungsvorrichtung, die analoge Pixelsignale eines Bildes unter Verwendung einer analogen Verstärkung mit der Priorität verstärkt, entsprechende digitale Pixelsignale des Bildes unter Verwendung einer digitalen Verstärkung zu verstärken, die HDR-Funktion verwendet, um ein zusammengesetztes Bild zu erzeugen. Das S/N-Verhältnis wird nachfolgend einfach als S/N bezeichnet.
Im Hinblick auf die zuvor dargelegten Umstände zielt ein Aspekt der vorliegenden Erfindung darauf ab, Bilderzeugungsvorrichtungen bereitzustellen, die in der Lage sind, das zuvor dargelegte Problem anzugehen.
Insbesondere zielt ein alternativer Aspekt der vorliegenden Erfindung darauf ab, solche Bilderzeugungsvorrichtungen bereitzustellen, von denen jede, basierend auf mehreren Bildern, die während jeweiliger unterschiedlicher Verschlusszeiten erfasst wurden, ein zusammengesetztes Bild mit einem höheren S/N-Verhältnis erzeugen kann.
Gemäß einem beispielhaften Aspekt der vorliegenden Erfindung wird eine Bilderzeugungsvorrichtung bereitgestellt. Die Bilderzeugungsvorrichtung weist eine Bildeinheit auf. Die Bildgebungseinheit ist, in einem aktuellen Erfassungszyklus, zum Durchführen eines Erfassungsvorgangs des Erfassens von einem ersten und zweiten Bild basierend auf jeweils einer ersten und zweiten Verschlusszeit konfiguriert, die sich voneinander unterscheiden, wobei jeweils das erste und zweite Bild einen analogen Pixelwert jedes Pixels aufweist. Die Bildgebungseinheit ist zum Verstärken der analogen Pixelwerte von jeweils dem ersten und zweiten Bild durch eine analoge Verstärkung konfiguriert. Die Bilderzeugungsvorrichtung weist eine Bildkombiniereinheit auf, die zum Umwandeln der analogen Pixelwerte von jeweils dem ersten und zweiten Bild in digitale Pixelwerte eines entsprechenden des ersten und zweiten Bildes konfiguriert ist. Die Bildkombiniereinheit ist zum Kombinieren der digitalen Pixelwerte des ersten Bildes mit den digitalen Pixelwerten des zweiten Bildes konfiguriert, um dadurch ein zusammengesetztes Bild mit einem digitalen Pixelwert jedes Pixels zu erzeugen. Die Bilderzeugungsvorrichtung weist einen Verstärker, der zum Verstärken der digitalen Pixelwerte des zusammengesetzten Bildes durch eine digitale Verstärkung konfiguriert ist, und eine Kompressionseinheit auf. Die Kompressionseinheit ist zum Komprimieren der verstärkten digitalen Pixelwerte des zusammengesetzten Bildes gemäß einer vorgegebenen Kompressionseigenschaft konfiguriert, um dadurch ein komprimiertes zusammengesetztes Bild als ein Ausgabebild zu erzeugen. Die Bilderzeugungsvorrichtung weist eine Festlegeinrichtung auf, die zum variablen Festlegen, für die Bilderfassungsvorgang in einem nächsten Erfassungszyklus, der ersten und zweiten Verschlusszeit und einer Gesamtverstärkung konfiguriert ist, wobei die Gesamtverstärkung auf einer Kombination der analogen Verstärkung und der digitalen Verstärkung basiert. Die Bilderzeugungsvorrichtung weist eine Zuteilungseinheit auf. Die Zuteilungseinheit ist zum Erlangen einer Schwellenverstärkung basierend auf der ersten und zweiten Verschlusszeit und der Kompressionseigenschaft konfiguriert. Die Zuteilungseinheit ist zum variablen Zuteilen der Gesamtverstärkung zu der analogen Verstärkung und/oder der digitalen Verstärkung gemäß einem Vergleich zwischen der Gesamtverstärkung, der Schwellenverstärkung und einer Obergrenze für die analoge Verstärkung konfiguriert.
Diese Konfiguration der Bilderzeugungsvorrichtung teilt die Gesamtverstärkung zu der der analogen Verstärkung und/oder der digitalen Verstärkung gemäß dem Vergleich zwischen der Gesamtverstärkung, der Schwellenverstärkung und der Obergrenze für die analoge Verstärkung ordnungsgemäß zu, im Gegensatz zu der zuvor beschriebenen typischen Bildgebungsvorrichtung . Die typische Bildgebungsvorrichtung verwendet die analoge Verstärkung mit Priorität zu der digitalen Verstärkung unabhängig von dem Vergleich zwischen der Gesamtverstärkung, der Schwellenverstärkung und der Obergrenze für die analoge Verstärkung.
Dies ermöglicht daher, zusammengesetzte Bilder zu erzeugen, die jeweils ein höheres S/N-Verhältnis aufweisen.
Die vorherigen und/oder andere Merkmale und/oder Vorteile verschiedener Aspekte der vorliegenden Erfindung werden im Hinblick auf die nachfolgende Beschreibung in Verbindung mit der zugehörigen Zeichnung weiter klarer. Verschiedene Aspekte der vorliegenden Erfindung können, wo dies übertragbar ist, verschiedene Merkmale und/oder Vorteile aufweisen und/oder ausschließen. Zusätzlich können verschiedene Aspekte der vorliegenden Erfindung ein oder mehrere Merkmale von anderen Ausführungsbeispielen, wo dies übertragbar ist, kombinieren. Die Beschreibungen der Merkmale und/oder Vorteile bestimmter Ausführungsbeispiele sollten nicht so ausgelegt werden, dass sie andere Ausführungsbeispiele oder die Ansprüche beschränken.
Figurenliste
Andere Aspekte der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen in Bezug auf die zugehörige Zeichnung klarer, in denen:

1 ein Blockschaltbild ist, das schematisch ein Beispiel der Struktur eines Geschwindigkeitsregelungssystems gemäß einem vorliegenden Ausführungsbeispiel der vorliegenden Erfindung darstellt;
2 eine graphische Darstellung ist, die ein Beispiel von Kompressionseigenschaften darstellt, die von einer Kompressionseinheit verwendet werden, die in 1 dargestellt ist;
3 eine graphische Darstellung ist, die einen ersten bis dritten Graphen schematisch darstellt, die jeweils die S/N-Verhältnis-Eigenschaften gemäß dem vorliegenden Ausführungsbeispiel darstellen;
4 eine graphische Darstellung ist, welche die S/N-Verhältnis-Eigenschaften eines verstärkten ersten Bildes im Vergleich zu den S/N-Verhältnis-Eigenschaften basierend auf dem ersten Graphen schematisch darstellt;
5 eine graphische Darstellung ist, welche die S/N-Verhältnis-Eigenschaften von jeweils dem verstärkten ersten bis dritten Bild gemäß dem vorliegenden Ausführungsbeispiel schematisch darstellt;
6 eine graphische Darstellung ist, welche die S/N-Verhältnis-Eigenschaften des jeweiligen verstärkten ersten bis dritten Bildes im Vergleich zu den S/N-Verhältnis-Eigenschaften basierend des jeweiligen ersten bis dritten Graphen schematisch darstellt;
7 eine graphische Darstellung ist, die einen Graphen eines zusammengesetzten HDR-Bildes schematisch darstellt, das von einer Kombiniereinheit erzeugt wird, die in 1 dargestellt ist;
8 eine graphische Darstellung ist, welche die S/N-Verhältnis-Eigenschaften eines verstärkten zusammengesetzten HDR-Bildes im Vergleich zu den in 7 dargestellten S/N-Verhältnis-Eigenschaften schematisch darstellt;
9 eine grafische Darstellung ist, die ein Beispiel eines Graphen schematisch darstellt, der die S/N-Verhältnis-Eigenschaften eines komprimierten zusammengesetzten HDR-Bildes darstellt;
10 eine graphische Darstellung ist, die eine Änderung der S/N-Verhältnis-Eigenschaften des komprimierten zusammengesetzten HDR-Bildes schematisch darstellt, wenn die analoge Verstärkung erhöht wird;
11 eine graphische Darstellung ist, die eine Änderung der S/N-Verhältnis-Eigenschaften des komprimierten zusammengesetzten HDR-Bildes schematisch darstellt, wenn die digitale Verstärkung erhöht wird; und
12 ein Flussdiagramm ist, das ein Beispiel einer Parameter-Einstellroutine schematisch darstellt, die von einer in 1 dargestellten Bildverarbeitungseinheit ausgeführt wird.

DETAILIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
Im Folgenden wird ein vorliegendes Ausführungsbeispiel der vorliegenden Erfindung in Bezug auf die zugehörige Zeichnung beschreiben.
Im Folgenden wird ein Fahrunterstützungssystem 1 gemäß dem vorliegenden Ausführungsbeispiel der vorliegenden Erfindung in Bezug auf die 1 bis 9 beschrieben.
In Bezug auf 1 weist das Fahrunterstützungssystem 1, das in einem Fahrzeug V installiert ist, ein Kameramodul 2, eine Bildkombibiereinheit 3, eine Bildverarbeitungseinheit 4 und eine Unterstützungsdurchführungseinheit 5 auf. Zum Beispiel bilden das Kameramodul 2, die Bildkombiniereinheit 3 und die Bildverarbeitungseinheit 4 eine Bilderzeugungsvorrichtung 50 gemäß dem vorliegenden Ausführungsbeispiel.
Das Kameramodul 2 weist eine Bildgebungseinheit 21, eine Bildverstärkungseinheit 22 und eine Parameter-Festlegeinrichtung 23 auf.
Die Bildgebungseinheit 21 weist ein optisches System 211 und einen Bildsensor 212 auf. Das optische System 211 besteht aus zumindest einer Sammellinse und zumindest einem optischen Filter. Die zumindest eine Sammellinse ist konfiguriert, um Licht zu sammeln, und das zumindest eine optische Filter ist konfiguriert, um vorgegebene Komponenten des gesammelten Lichts dort durchzulassen und somit Licht basierend auf den durchgelassenen Komponenten des gesammelten Lichts an den Bildsensor 212 auszugeben.
Der Bildsensor 212 besteht aus lichtempfindlichen Elementen, die jeweils ein ladungsgekoppeltes Bauteil (charge-coupled device, CCD) oder einen sich ergänzenden Metall-Oxid-Halbleiter (complementary metal-oxide-semiconductor, CMOS) -Schalter aufweisen; die lichtempfindlichen Elemente sind in einer zweidimensionalen Reihe angeordnet. Jedes der zweidimensional angeordneten lichtempfindlichen Elemente, das als ein Pixel dient, ist konfiguriert, um eine entsprechende Komponente des von dem optischen System 211 während einer Verschlusszeit ST oder einer Belichtungszeit ausgegebenen Lichts zu empfangen. Die zweidimensional angeordneten lichtempfindlichen Elemente bilden einen Bildgebungsbereich, auf dem Licht empfangen wird, das von dem optischen System 211 ausgegeben wird.
Jedes der zweidimensional angeordneten lichtempfindlichen Elemente ist auch konfiguriert, um die Intensität oder den Leuchtdichtepegel der empfangenen Lichtkomponente in einen analogen Pixelwert oder ein analoges Pixelsignal umzuwandeln, d.h. ein analoges Pixelspannungssignal, das proportional zu dem Leuchtdichtepegel der empfangenen Lichtkomponente ist.
Die Verschlusszeit ST, während der Licht von den zweidimensional angeordneten lichtempfindlichen Elementen empfangen wird, mit anderen Worten, während der die zweidimensional angeordneten lichtempfindlichen Elemente Licht ausgesetzt sind, ist durch die später beschriebene Parameter-Festlegeinrichtung 23 steuerbar. Die Verschlusszeit ST kann auch als Verschlussgeschwindigkeit ausgedrückt werden.
Die Bildverstärkungseinheit 22 ist konfiguriert, um von dem Bildsensor 212 die Pixelsignale, d.h. Pixelwerte, zu erhalten, die jeweils den Leuchtdichtepegel des entsprechenden Pixels als ein Bild, d.h. ein Vollbild darstellen. Weiter ist die Bildverstärkungseinheit 22 konfiguriert, um die Pixelwerte des Bildes um eine vorgegebene analoge Verstärkung Ga zu verstärken, die durch die Parameter-Festlegeinrichtung 23 steuerbar ist. Dann ist die Bildverstärkungseinheit 22 konfiguriert, um die verstärkten Pixelsignale, d.h. verstärkte Pixelwerte, als ein Bild, d.h. ein Vollbild, an die Bildkombiniereinheit 3 auszugeben.
Die Parameter-Festlegeinrichtung 23 ist konfiguriert, um einen Wert der Verschlusszeit ST, der von der Bildgebungseinheit 21 verwendet wird, und einen Wert der analogen Verstärkung Ga, der von der Bildverstärkungseinheit 22 verwendet wird, variabel festzulegen.
Das heißt, die Bildgebungseinheit 21 ist konfiguriert, um Bilder zu erfassen, von denen jedes auf Licht basiert, das durch den Bildsensor 212 während eines entsprechenden Werts der Verschlusszeit ST empfangen wird, der durch die Parameter-Festlegeinrichtung 23 festgelegt wird. Zusätzlich ist die Bildverstärkungseinheit 22 konfiguriert, um die Pixelwerte jedes von der Bildgebungseinheit 21 gesendeten Bildes unter Verwendung eines entsprechenden Wertes der analogen Verstärkung Ga zu verstärken, der durch die Parameter-Festlegeinrichtung 23 festgelegt wird.
Zum Beispiel führt die Bildgebungseinheit 21 gemäß dem vorliegenden Ausführungsbeispiel einen Bilderfassungsvorgang durch, um für einen Bilderfassungszyklus einen Satz des ersten bis dritten Bildes zu erfassen, d.h. erstes bis drittes Originalbild während jeweils der ersten bis dritten unterschiedlichen Verschlusszeiten ST1 bis ST3, die durch die Parameter-Festlegeinrichtung 23 festgelegt werden. Es sei angemerkt, dass die erste Verschlusszeit ST1 länger als die zweite Verschlusszeit ST2 festgelegt wird und die zweite Verschlusszeit ST2 länger als die dritte Verschlusszeit ST3 festgelegt wird. Die Bildgebungseinheit 21 führt periodisch den Bilderfassungszyklus durch, um den Satz des ersten bis dritten Bildes periodisch zu erfassen.
Zusätzlich verstärkt die Bildverstärkungseinheit 22 gemäß dem vorliegenden Ausführungsbeispiel die Pixelwerte von jeweils des ersten bis dritten Bildes unter Verwendung eines Werts der analogen Verstärkung Ga, der durch die Parameter-Festlegeinrichtung 23 festgelegt wird. Dann gibt die Bildverstärkungseinheit 22 jedes des dadurch verstärkten ersten bis dritten Bildes an die Bildkombiniereinheit 3 aus.
Die Bildkombiniereinheit 3 besteht aus einem Analog-Digital (A/D)-Wandler 31, einer Kombiniereinheit 32, einem Verstärker 33 und einer Kompressionseinheit 34. Zum Beispiel ist die Bildkombiniereinheit 3 als ein integrierter-Schaltungs-Chip (Integrated Circuit Chip; IC) ausgebildet. Die Bildkombiniereinheit 3 kann in dem Kameramodul 2 installiert sein.
Der A/D-Wandler 31 wandelt die analogen Pixelsignale (analoge Pixelwerte) von jeweils der ersten bis dritten Bilder basierend auf einer vorgegebenen Bitbreite L, d.h. der Anzahl von Bits wie z.B. 12 Bits, in digitale Pixelsignale (digitale Pixelwerte) um.
Die Kombiniereinheit 32 erhält die digitalisierten ersten bis dritten Bilder von dem A/D-Wandler 31 und kombiniert die digitalisierten ersten bis dritten Bilder, um ein zusammengesetztes HDR-Bild mit einem höheren Dynamikumfang zu erzeugen. Der Dynamikumfang eines Bildes repräsentiert einen Kontrastbereich des Bildes.
Da die erste Verschlusszeit ST1 des ersten Bildes länger als die zweite Verschlusszeit ST2 des zweiten Bildes ist, ist die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das erste Bild empfangene Lichtmenge größer als die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das zweite Bild empfangene Lichtmenge.
Ähnlich, da die zweite Verschlusszeit ST2 des zweiten Bildes länger als die dritte Verschlusszeit ST3 des dritten Bildes ist, ist die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das zweite Bild empfangene Lichtmenge größer als die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das dritte Bild empfangene Lichtmenge. Aus diesem Grund gilt, je länger die Verschlusszeit ST ist, während der ein Bild erfasst wird, desto höher ist die Auflösung der niedrigen Leuchtdichtewerte des Bildes. Zusätzlich ändert sich der durchschnittliche Signalpegel eines Bildes mit der Änderung der Verschlusszeit ST, während der das Bild erfasst wird.
Das heißt, da der durchschnittliche Signalpegel des ersten Bildes größer als der durchschnittliche Signalpegel des zweiten Bildes ist, verstärkt die Kombiniereinheit 32 die digitalen Pixelwerte des zweiten Bildes um eine ersten digitale Verstärkung, um dadurch den digitalen Pixelwert jedes Pixel des zweiten Bildes mit dem digitalen Pixelwert des entsprechenden Pixels des ersten Bildes in Übereinstimmung zu bringen.
Ähnlich, da der durchschnittliche Signalpegel des ersten Bildes größer als der durchschnittliche Signalpegel des dritten Bildes ist, verstärkt die Kombiniereinheit 32 die digitalen Pixelwerte des dritten Bildes um eine zweite digitale Verstärkung, um dadurch den digitalen Pixelwert jedes Pixel des dritten Bildes mit dem digitalen Pixelwert des entsprechenden Pixels des ersten Bildes in Übereinstimmung zu bringen.
Nach dem Verstärkungsvorgang kombiniert die Kombiniereinheit 32 den digitalen Pixelwert jedes Pixels des ersten Bildes, den verstärkten digitalen Pixelwert des entsprechenden Pixels des zweiten Bildes und den verstärkten digitalen Pixelwert des entsprechenden Pixels des dritten Bildes. Diese Kombination erzeugt ein zusammengesetztes HDR-Bild mit einem digitalen Pixelwert jedes Pixels, der ein Leuchtdichtepegel des entsprechenden Pixels repräsentiert; die Bitbreite des digitalen Pixelwerts jedes Pixels des zusammengesetztes HDR-Bild wird auf M Bits festgelegt, wie zum Beispiel 16 Bits, was größer ist als die Bitbreite L, wie zum Beispiel 12 Bits, von jeweils des ersten bis dritten Bildes.
Der Verstärker 33 empfängt das von der Kombiniereinheit 32 gesendete zusammengesetzte HDR-Bild. Dann verstärkt der Verstärker 213 die digitalen Pixelwerte des zusammengesetzten HDR-Bildes durch eine digitale Verstärkung Gd, die durch die Bildverarbeitungseinheit 4 bestimmt wird. Das heißt, der digitale Pixelwert jedes Pixels des zusammengesetzten HDR-Bildes hat M Bits, wie zum Beispiel 16 Bits, und der Leuchtdichtepegel jedes Pixels und der digitale Pixelwert des entsprechenden Pixels in dem zusammengesetzten HDR-Bild weisen untereinander zum Beispiel eine lineare Beziehung auf. Die digitale Verstärkung Gd wird unabhängig von der ersten und zweiten digitalen Verstärkung bestimmt, die von der Kombiniereinheit 32 verwendet werden.
Die Kompressionseinheit 34 komprimiert das zusammengesetzte HDR-Bild, das den digitalen Pixelwert jedes Pixels aufweist, der durch die Bitbreite von M Bits dargestellt wird, um dadurch ein komprimiertes zusammengesetztes HDR-Bild zu erzeugen, das einen digitalen Pixelwert jedes Pixels aufweist, der durch eine Bitbreite von N Bits dargestellt wird, wie zum Beispiel 8 Bits, die kleiner als die M Bits ist. Das heißt, der Leuchtdichtepegel jedes Pixels und der digitale Pixelwert des entsprechenden Pixels in dem komprimierten zusammengesetzten HDR-Bild weisen untereinander eine nichtlineare Beziehung auf. Das komprimierte zusammengesetzte HDR-Bild wird auch als ein ausgegebenes zusammengesetztes HDR-Bild bezeichnet.
Insbesondere komprimiert die Kompressionseinheit 34 das zusammengesetzte HDR-Bild in Übereinstimmung mit vorgegebenen Kompressionseigenschaften, die darin gespeichert sind. Ein Beispiel für die Kompressionseigenschaften ist in 2 im Graphenformat dargestellt.
Insbesondere weisen die in 2 dargestellten Kompressionseigenschaften auf:

1. Eine vorgegebene erste Kompressionsrate für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, die innerhalb eines vorgegebenen niedrigen Kompressionsbereichs liegt, der so definiert ist, dass er niedriger als ein vorgegebener Leuchtdichtepegel L1 ist
2. Eine vorgegebene zweite Kompressionsrate für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, die innerhalb eines vorgegebenen hohen Kompressionsbereichs liegt, der so definiert ist, dass er gleich oder höher als der vorgegebene Leuchtdichtepegel L1 ist; die zweite Kompressionsrate ist höher als die erste Kompressionsrate

Mit anderen Worten wird eine Kompressionsrate C der Kompressionseigenschaften von der ersten Kompressionsrate zu der zweiten Kompressionsrate bei dem Leuchtdichtepegel L1 geändert; der Leuchtdichtepegel L1 wird als ein Kompressionspunkt CP bezeichnet.
Das vorliegende Ausführungsbeispiel verwendet 1 als die erste Kompressionsrate. Das heißt, der niedrige Kompressionsbereich repräsentiert einen Nichtkompressionsbereich, in dem die Leuchtdichtepegel des zusammengesetzten HDR-Bildes nicht komprimiert sind.
Zusammenfassend ist die Bildkombiniereinheit 3 dazu konfiguriert, um basierend auf dem Satz des ersten bis dritten Bildes, der von der Bildgebungseinheit 21 bei jedem aktuellen Bilderfassungszyklus zugeführt wird, ein zusammengesetztes HDR-Bild zu erzeugen und das zusammengesetzte HDR-Bild der Bildverarbeitungseinheit 4 zuzuführen.
Die Bildverarbeitungseinheit 4 ist hauptsächlich als zumindest ein bekannter Mikrocomputer konfiguriert, der eine CPU 41, eine Speichervorrichtung 42, einen Eingabeanschluss 43 und Ausgabeanschlüsse 44d1, 44d2 und 44d3 aufweist. Die Speichervorrichtung 42 weist zum Beispiel zumindest einen Halbleiterspeicher wie zum Beispiel einen RAM, einen ROM und einen Flash-Speicher auf. Diese Halbleiterspeicher sind zum Beispiel nicht flüchtige Speichermedien.
Der Eingabeanschluss 43 kann mit der Bildkombiniereinheit 3 per Kabel oder kabellos kommunizieren. Der Ausgabeanschluss 44d1 kann mit der Unterstützungsdurchführungseinheit 5 per Kabel oder kabellos kommunizieren, und der Ausgabeanschluss 44d2 kann mit der Bildkombiniereinheit 3 per Kabel oder kabellos kommunizieren. Der Ausgabeanschluss 44d3 kann auch per Kabel oder kabellos mit dem Kameramodul 2 kommunizieren.
Zum Beispiel kann die CPU 41 der Bildverarbeitungseinheit 4 ein oder mehrere Programme ausführen, d.h. Sätze von Programmanweisungen, die in der Speichervorrichtung 42 gespeichert sind, wodurch verschiedene Funktionsmodule der Bildverarbeitungseinheit 4 als Softwareoperationen implementiert werden. Mit anderen Worten kann die CPU 41 Programme ausführen, die in der Speichervorrichtung 42 gespeichert sind, wodurch eine oder mehrere Routinen in Übereinstimmung mit dem entsprechenden einen oder den mehreren Programmen ausgeführt werden.
Zum Beispiel ist die CPU 41 gemäß dem ersten Ausführungsbeispiel programmiert, um zumindest eine Zielobjekt-Erfassungsroutine und eine Parameter-Einstellroutine in einem vorgegebenen Steuerzyklus auszuführen. Mit anderen Worten weist die CPU 41 funktional zum Beispiel zumindest eine Zielobjekt-Erfassungseinheit 41a und eine Parameter-Einstelleinheit 41b auf, die zum Beispiel durch die jeweilige Zielobjekt-Erfassungsroutine und Parameter-Einstellroutine implementiert werden.
Die obigen Routinen und/oder die verschiedenen Funktionen der Bildverarbeitungseinheit 4 können als Hardware-Elektronikschaltung implementiert werden. Zum Beispiel können die verschiedenen Funktionen der Bildverarbeitungseinheit 4 durch eine Kombination von elektronischen Schaltungen einschließlich digitaler Schaltungen implementiert werden, die viele logische Gatter, analoge Schaltungen, digitale/analoge Hybridschaltungen oder Hardware/Software-Hybridschaltungen aufweisen.
Mehrere Mikrocomputer können die Bildverarbeitungseinheit 4 bilden.
Die Zielobjekt- Erfassungsroutine, die eine bekannte Routine ist, ist konfiguriert, um basierend auf einem zusammengesetzten HDR-Bild, das von der Bildkombiniereinheit 3 bei jedem Bilderfassungszyklus geliefert wird, verschiedene Zielobjekte, die in dem zusammengesetzten HDR-Bild enthalten sind, zu erfassen und Zielobjektinformationen zu erzeugen, die für jedes der erfassten Zielobjekte indikativ sind. Zu den von der Zielobjekt-Erfassungsroutine zu erfassenden Zielobjekte gehören zum Beispiel Straßenmarkierungen, wie beispielsweise weiße Linien, die auf Straßen gemalt sind, Verkehrszeichen, vorausfahrenden Fahrzeuge, Fußgänger und Hindernisse. Die Zielobjektinformationen für ein Zielobjekt weisen zum Beispiel die relative Position des Zielobjekts relativ zu dem eigenen Fahrzeug und die relative Geschwindigkeit des Zielobjekts relativ zu dem eigenen Fahrzeug auf.
Die Parameter-Einstellroutine ist konfiguriert, um basierend auf einem zusammengesetzten HDR-Bild, das von der Bildkombiniereinheit 3 bei jedem Bilderfassungszyklus geliefert wird, einen Wert von jeweils der Verschlusszeiten ST1 bis ST3, einen Wert der analogen Verstärkung Ga und einen Wert der digitalen Verstärkung Gd als Bilderfassungsparameter einzustellen, die für den nächsten Bilderfassungszyklus verwendet werden. Die detaillierten Informationen über die Parameter-Einstellroutine werden später beschrieben.
Die Unterstützungsdurchführungseinheit 5 ist konfiguriert, um basierend auf den Zielobjektinformationen, die durch die Zielobjekterfassungs-Routine der Bildverarbeitungseinheit 4 erzeugt werden, verschiedene in dem eigenen Fahrzeug installierte Vorrichtungen zu steuern, um dadurch vorgegebene Fahrunterstützungsvorgänge durchzuführen. Die von der Unterstützungsdurchführungseinheit 5 zu steuernden Vorrichtungen weisen zum Beispiel eine Anzeige zum Anzeigen verschiedener Bilder, eine Tonvorrichtung zum Ausgeben eines Alarms und/oder eines Führungsgeräusches, einen Verbrennungsmotor, einen Antriebsstrang und/oder einen Bremsmechanismus auf. Zum Beispiel weisen die Fahrunterstützungsvorgänge auf

1. Einen Spurhalteassistenzvorgang zum Halten des eigenen Fahrzeugs in einer aktuellen Fahrspur
2. Einen Geschwindigkeitsregelungsvorgang zum Steuern der Geschwindigkeit des eigenen Fahrzeugs in Abhängigkeit von zum Beispiel dem Abstand zwischen dem eigenen Fahrzeug und einem vorausfahrenden Fahrzeug
3. Einen Bremsunterstützungsvorgang zum Unterstützen des Abbremsens des eigenen Fahrzeugs
4. Einen Vorgang zum Ausgeben verschiedener Warnungen

Als Nächstes werden im Folgenden die Beziehungen zwischen Signal-Rausch-Verhältnis (S/N-Verhältnis) -Eigenschaften von jeweils des ersten bis dritten Bildes, der analogen Verstärkung Ga und der digitalen Verstärkung Gd beschrieben.
Die S/N-Verhältnis-Eigenschaften, welche die Beziehungen zwischen einer Signalpegelverteilung des ersten Bildes und dem S/N-Verhältnis darstellen, zeigen, dass das S/N-Verhältnis monoton zunimmt, wenn der Signalpegel in der Signalpegelverteilung von niedrig auf hoch ansteigt. Die S/N-Verhältnis-Eigenschaften von jeweils des anderen zweiten und dritten Bildes sind identisch mit den S/N-Verhältnis-Eigenschaften des ersten Bildes.
Zusätzlich ist das S/N-Verhältnis des ersten Bildes bei einem Signalpegel SL1 gesättigt, der niedriger ist als ein Signalpegel SL2 des zweiten Bildes, bei dem das S/N-Verhältnis für das zweite Bild gesättigt ist, da die Lichtmenge, die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das erste Bild empfangen wird, größer ist als die Lichtmenge, die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das zweite Bild empfangen wird. In ähnlicher Weise ist das S/N-Verhältnis des zweiten Bildes bei einem Signalpegel SL2 gesättigt, der niedriger ist als ein Signalpegel SL3 des dritten Bildes, bei dem das S/N-Verhältnis für das dritte Bild gesättigt ist, da die Lichtmenge, die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das zweite Bild empfangen wird, größer ist als die Lichtmenge, die auf dem Bildgebungsbereich des Bildgebungssensors 212 für das dritte Bild empfangen wird.
3 veranschaulicht als ein Graph GF1 ein Beispiel der vorherigen Beziehung zwischen einer Signalpegelverteilung des ersten Bildes, das von dem Bildsensor 212 ausgegeben wird, und der S/N-Verhältnis-Eigenschaften des ersten Bildes. Ähnlich veranschaulicht 3 als jeweilige Graphen GF2 und GF3 ein Beispiel der Beziehung zwischen einer Signalpegelverteilung des zweiten Bildes, das von dem Bildsensor 212 ausgegeben wird, und der S/N-Verhältnis-Eigenschaften des zweiten Bildes und einem Beispiel der Beziehung zwischen einer Signalpegelverteilung des dritten Bilds, das von dem Bildsensor 212 ausgegeben wird, und der S/N-Verhältnis-Eigenschaften des dritten Bildes.
Es sei angemerkt, dass der Graph GF2 die S/N-Verhältnis-Eigenschaften des zweiten Bildes repräsentiert, dessen durchschnittliche Signalpegel mit den durchschnittlichen Signalpegeln des ersten Bildes übereinstimmen, und der Graph GF3 die S/N-Verhältnis-Eigenschaften des dritten Bildes repräsentiert, dessen durchschnittliche Signalpegel mit den durchschnittlichen Signalpegeln des ersten Bildes übereinstimmen.
In jedem der Graphen repräsentiert die vertikale Achse das S/N-Verhältnis und die horizontale Achse repräsentiert den Signalpegel.
Die Bildverstärkungseinheit 22 verstärkt durch die analoge Verstärkung Ga das erste Bild, dessen S/N-Verhältnis-Eigenschaften als Graph GF1 in 3 dargestellt sind, wodurch S/N-Verhältnis-Eigenschaften erhalten werden, deren Graph als GF1A in 4 dargestellt ist.
Insbesondere zeigt 4 die S/N-Verhältnis-Eigenschaften GF1A des verstärkten ersten Bildes im Vergleich zu den S/N-Verhältnis-Eigenschaften GF1.
Das Verstärken des ersten Bildes durch die analoge Verstärkung Ga bedeutet, dass sowohl die Signalkomponenten als auch die Rauschkomponenten, die in den analogen Pixelsignalen des ersten Bildes enthalten sind, verstärkt werden. Diese Verstärkung führt dazu, dass die S/N-Verhältnis-Eigenschaften GF1 des ersten Bildes in der horizontalen Richtung, d.h. in einer Signalpegel-Erhöhungsrichtung, vergrößert wird, um die Form der S/N-Verhältnis-Eigenschaften GF1A aufzuweisen.
Da zu dieser Zeit der Signalpegel L1, bei dem das entsprechende S/N gesättigt ist, unverändert bleibt, ist das S/N der S/N-Verhältnis-Eigenschaften GF1A bei dem gleichen Signalpegel SL1 gesättigt. Dies führt dazu, dass die S/N-Verhältnis-Eigenschaften GF1A niedriger erscheinen als die S/N-Verhältnis-Eigenschaften GF1 des ersten Bildes.
In ähnlicher Weise verstärkt die Bildverstärkungseinheit 22 durch die analoge Verstärkung Ga das zweite und dritte Bild, dessen S/N-Verhältnis-Eigenschaften als Graphen GF2 und GF3 in 3 dargestellt sind, wodurch S/N-Verhältnis-Eigenschaften erhalten werden, deren Graphen als GF2A und GF3A in 5 dargestellt sind.
Das heißt, 5 stellt alle S/N-Verhältnis-Eigenschaften GF1A, GF2A und GF3A dar.
Zusätzlich stellt 6 dar:

1. Die S/N-Verhältnis-Eigenschaften GF1A des verstärkten ersten Bildes im Vergleich zu den S/N-Verhältnis-Eigenschaften GF1 (siehe entsprechende gestrichelte Linie)
2. Die S/N-Verhältnis-Eigenschaften GF2A des verstärkten zweiten Bildes im Vergleich zu den S/N-Verhältnis-Eigenschaften GF2 (siehe entsprechende gestrichelte Linie)
3. Die S/N-Verhältnis-Eigenschaften GF3A des verstärkten dritten Bildes im Vergleich zu den S/N-Verhältnis-Eigenschaften GF3 (siehe entsprechende gestrichelte Linie)

Das heißt, das S/N der S/N-Verhältnis-Eigenschaften GF2A ist bei demselben Signalpegel SL2 gesättigt, und das S/N der S/N-Verhältnis-Eigenschaften GF3A ist bei demselben Signalpegel SL3 gesättigt, der identisch ist mit dem S/N der S/N-Verhältnis-Eigenschaften GF3A, wie oben dargelegt wurde. Das führt zu Folgendem:

1. Die S/N-Verhältnis-Eigenschaften GF1A scheinen niedriger zu sein als die S/N-Verhältnis-Eigenschaften GF1 des ersten Bildes
2. Die S/N-Verhältnis-Eigenschaften GF2A scheinen niedriger zu sein als die S/N-Verhältnis-Eigenschaften GF2 des zweiten Bildes
3. Die S/N-Verhältnis-Eigenschaften GF3A scheinen niedriger zu sein als die S/N-Verhältnis-Eigenschaften GF3 des dritten Bildes

Um die folgenden Beschreibungen zu vereinfachen, entsprechen die S/N-Verhältnis-Eigenschaften des digitalisierten ersten Bildes den S/N-Verhältnis-Eigenschaften GF1A, wie in 6 dargestellt. In ähnlicher Weise entsprechen die S/N-Verhältnis-Eigenschaften des digitalisierten zweiten Bildes den S/N-Verhältnis-Eigenschaften GF2A, wie in 6 dargestellt, und die S/N-Verhältnis-Eigenschaften des digitalisierten dritten Bildes entsprechen den S/N-Verhältnis-Eigenschaften GF3A, wie in 6 dargestellt.
Insbesondere kombiniert die Kombiniereinheit 32 die digitalisierten ersten bis dritten Bilder, um ein zusammengesetztes HDR-Bild zu erzeugen.
7 stellt mittels Verwendung einer gestrichelten Linie einen Graphen CI des zusammengesetzten HDR-Bildes dar, das durch die Kombiniereinheit 32 erzeugt wird. Der Graph CI der S/N-Verhältnis-Eigenschaften des zusammengesetzten HDR-Bildes weist erste bis dritte kontinuierlichen lokale Scheitelpunkte CR1, CR2 und CR3 auf, die den jeweiligen ersten, zweiten und dritten Bild entsprechen. Zwischen den benachbarten lokalen Scheitelpunkten CR1 und CR2 ist ein erstes Wellental TR1 vorgesehen und zwischen den benachbarten lokalen Scheitelpunkten CR2 und CR3 ist ein zweites Wellental TR2 vorgesehen.
Im Folgenden wird beschrieben, warum die S/N-Verhältnis-Eigenschaften des zusammengesetzten HDR-Bildes die Wellenform aufweisen, welche die ersten bis dritten kontinuierliche lokale Scheitelpunkte CR1, CR2 und CR3 aufweisen, die den jeweiligen ersten, zweiten und dritten Bild entsprechen.
Zum Beispiel ist die Kombiniereinheit 32 für jedes Pixel des zusammengesetzten HDR-Bildes konfiguriert zum

1. Auswählen aus einem der digitalen Pixelwerte des entsprechenden Pixels des ersten Bildes, dem digitalen Pixelwert des entsprechenden Pixels des zweiten Bildes und dem digitalen Pixelwert des entsprechenden Pixels des dritten Bildes, oder
2. Zusammenführen von mindestens zwei aus den digitalen Pixelwerten des entsprechenden Pixels des ersten Bildes, dem digitalen Pixelwert des entsprechenden Pixels des zweiten Bildes und dem digitalen Pixelwert des entsprechenden Pixels des dritten Bildes

Zum Beispiel ist die Kombiniereinheit 32 konfiguriert zum

1. Auswählen des digitalen Pixelwertes des ersten Bildes für einen Abschnitt mit niedrigen Leuchtdichtepegel des zusammengesetzten HDR-Bildes
2. Zusammenführen des digitalen Pixelwertes des ersten Bildes und des digitalen Pixelwertes des zweiten Bildes für einen Grenzabschnitt zwischen dem Abschnitt mit niedrigen Leuchtdichtepegel und einem Abschnitt mit mittleren Leuchtdichtepegel des zusammengesetzten HDR-Bildes
3. Auswählen des digitalen Pixelwertes des zweiten Bildes für den Abschnitt mit mittleren Leuchtdichtepegel des zusammengesetzten HDR-Bildes
4. Zusammenführen des digitalen Pixelwertes des zweiten Bildes und des digitalen Pixelwertes des dritten Bildes für einen Grenzabschnitt zwischen dem Abschnitt mit mittleren Leuchtdichtepegel und einem Abschnitt mit hohen Leuchtdichtepegel des zusammengesetzten HDR-Bildes
5. Auswählen des digitalen Pixelwertes des dritten Bildes für den Abschnitt mit hohen Leuchtdichtepegel des zusammengesetzten HDR-Bildes

Dies führt dazu, dass der Graph CI der S/N-Verhältnis-Eigenschaften des zusammengesetzten HDR-Bildes folgendes aufweist

1. Einen ersten Schaltbereich von dem ersten lokalen Scheitelpunkt CR1 zu dem ersten Wellental TR1
2. Einen zweiten Schaltbereich von dem zweiten lokalen Scheitelpunkt CR2 zu dem zweiten Wellental TR2

Der Verstärker 33 verstärkt durch die digitale Verstärkung Gd das zusammengesetzte HDR-Bild, dessen S/N-Verhältnis-Eigenschaften als der Graph CI in 8 dargestellt sind, wodurch die S/N-Verhältnis-Eigenschaften erhalten werden, deren Graph als CIA in 8 dargestellt ist.
Insbesondere zeigt 8 die S/N-Verhältnis-Eigenschaften CIA des verstärkten zusammengesetzten HDR-Bildes im Vergleich zu den S/N-Verhältnis-Eigenschaften CI.
Das Verstärken des zusammengesetzten HDR-Bildes durch die digitale Verstärkung Gd bedeutet, dass sowohl Signalkomponenten als auch Rauschkomponenten, die in den digitalen Pixelsignalen des zusammengesetzten HDR-Bildes enthalten sind, verstärkt werden. Diese Verstärkung führt dazu, dass die S/N-Verhältnis-Eigenschaften CI des zusammengesetzten HDR-Bildes in der horizontalen Richtung vergrößert werden, um die Form der S/N-Verhältnis-Eigenschaften CIA zu erhalten (siehe 8).
Als Nächstes wird im Folgenden beschrieben, wie die Kompressionseinheit 34 das zusammengesetzte HDR-Bild komprimiert.
Ein Signalpegel S, der einem Leuchtdichtepegel L in dem hohen Kompressionsbereich des zusammengesetzten HDR-Bildes entspricht, der höher als der vorgegebene Pegel L1 ist, wird durch die folgende Gleichung (1) ausgedrückt: $S = (L - L 1) \times C + S 1$
Wobei C die zweite Kompressionsrate für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes repräsentiert, der innerhalb des hohen Kompressionsbereichs liegt, die beispielsweise auf 1/8 oder 1/16 festgelegt ist.
Ein Wert SR [dB] des S/N-Verhältnis für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb des niedrigen Kompressionsbereichs liegt, d.h. der Bereich ohne Kompression, wird durch die folgende Gleichung (2) ausgedrückt, und ein Wert SR [dB] des S/N-Verhältnis für den Leuchtdichtepegel eines Pixels des zusammengesetzten HDR-Bildes, der innerhalb des hohen Kompressionsbereichs liegt, wird durch die folgende Gleichung (3) ausgedrückt: $S R [d B] = 20 log 10 (\frac{S}{N})$
$S R [d B] = 20 log 10 (\frac{(L - L 1) \times C + S}{N \times C})$
Das heißt, Leuchtdichtekomponenten von Pixeln innerhalb des hohen Kompressionsbereichs werden durch die Kompressionsrate C komprimiert, um zu dem Leuchtdichtepegel L1 addiert zu werden, während Rauschkomponenten der Pixel einfach komprimiert werden. Dies führt dazu, dass die S/N-Verhältnis-Eigenschaften des zusammengesetzten HDR-Bildes innerhalb des hohen Kompressionsbereichs extrem viel höher sind als die S/N-Verhältnis-Eigenschaften des zusammengesetzten HDR-Bildes innerhalb des niedrigen Kompressionsbereichs.
9 stellt schematisch ein Beispiel eines Graphen COG dar, der die S/N-Verhältnis-Eigenschaften des komprimierten zusammengesetzten HDR-Bildes darstellt, d.h. des ausgegebene zusammengesetzten HDR-Bildes, das durch Komprimieren des zusammengesetzten HDR-Bildes (dessen S/N-Verhältnis-Eigenschaften CIA in 8 dargestellt sind) durch die Kompressionseinheit 34 erzeugt wird.
Obwohl die horizontalen und vertikalen Maßstäbe des Graphen in 9 sich von denen des Graphen in 8 unterscheiden, sind die S/N-Verhältnis-Eigenschaften COG des komprimierten zusammengesetzten HDR-Bildes, die niedriger als der Signalpegel S1 sind, der dem Leuchtdichtepegel L1entspricht, d.h. der Kompressionspunkt CP, im Wesentlichen identisch mit den S/N-Verhältnis-Eigenschaften CIA des zusammengesetzten HDR-Bildes. Im Gegensatz dazu steigen die S/N-Verhältnis-Eigenschaften COG des komprimierten zusammengesetzten HDR-Bildes, die gleich oder höher als der Signalpegel S1 sind, extrem an, basierend auf den Effekten der Kompression durch die Kompressionseinheit 34.
Zu diesem Zeitpunkt führt ein Erhöhen der analogen Verstärkung Ga dazu, dass die S/N-Verhältnis-Eigenschaften COG des komprimierten zusammengesetzten HDR-Bildes aus dem gleichen Grund wie in den 4 und 6 beschrieben, auf die S/N-Verhältnis-Eigenschaften COGA des komprimierten zusammengesetzten HDR-Bildes (siehe 10) fällt.
Zusätzlich führt eine Erhöhung der digitalen Verstärkung Gd zu Folgendem

1. Die S/N-Verhältnis-Eigenschaften COG des komprimierten zusammengesetzten HDR-Bildes innerhalb des niedrigen Kompressionsbereich erstrecken sich in horizontaler Richtung, um S/N-Verhältnis-Eigenschaften COGB aufzuweisen (siehe 11)
2. Die S/N-Verhältnis-Eigenschaften COG des komprimierten zusammengesetzten HDR-Bildes innerhalb des hohen Kompressionsbereichs werden drastisch erhöht, um die S/N-Verhältnis-Eigenschaften COGB aufzuweisen (siehe 11)

Nachstehend wird eine Untergrenze des S/N, die für das zusammengesetzte HDR-Bild erforderlich ist, d.h. das komprimierte zusammengesetzte HDR-Bild, das von der Bildkombiniereinheit 3 erzeugt wird, als A definiert, und ein Verringerungsbetrag des S/N wird, wenn ein aktueller Wert der analogen Verstärkung Ga auf eine vorgegebene Obergrenze geändert wird, als B definiert (siehe 11).
Außerdem ist ein Wert der digitalen Verstärkung Gd, der erforderlich ist, um einen Wert des S/N des zusammengesetzten HDR-Bildes an dem Kompressionspunkt CP sicherzustellen, dessen Signalpegel S1 innerhalb des ersten Schaltbereichs liegt, um höher zu sein als ein Schwellenwert T, als eine Verstärkungsschwelle Gth definiert; der Schwellenwert T wird durch „A + |B|“ ausgedrückt.
Mit anderen Worten, wenn die digitale Verstärkung Gd auf die Verstärkungsschwelle Gth festgelegt wird, wird die Verstärkungsschwelle Gth derart

1. Der Signalpegel S1 des Kompressionspunktes CP innerhalb des ersten Schaltbereichs liegt
2. Das S/N des zusammengesetzten HDR-Bildes am Kompressionspunkt CP gleich oder höher als der Schwellenwert T ist, d.h. der Wert (A+ |B|)

Als nächstes wird im Folgenden die Parameter-Einstellroutine beschrieben, die von der Bildverarbeitungseinheit 4 mit Bezug auf 12 durchgeführt wird.
Die Parameter-Einstellroutine ist so programmiert, dass sie jedes Mal gestartet wird, wenn die Bildverarbeitungseinheit 4 das zusammengesetzte HDR-Bild, das von der Bildkombiniereinheit 3 ausgegeben wird, in einem aktuellen Bilderfassungszyklus empfängt.
Wenn die Parameter-Einstellroutine bei dem aktuellen Bilderfassungszyklus gestartet wird, bestimmt die Bildverarbeitungseinheit 4 jeweilige Werte der Bilderfassungsparameter, welche die Verschlusszeiten ST1 bis ST3 und eine Gesamtverstärkung G für den nächsten Bilderfassungszyklus in Schritt S110 enthalten; die Gesamtverstärkung G wird zum Beispiel basierend auf einer Kombination der analogen Verstärkung Ga und der digitalen Verstärkung Gd basierend auf dem Produkt der analogen Verstärkung Ga und der digitalen Verstärkung Gd definiert, was durch die Gleichung G = Gd × Ga ausgedrückt wird, oder durch die Summe der analogen Verstärkung Ga und der digitalen Verstärkung Gd, was durch die Gleichung G = Gd + Ga ausgedrückt wird.
Zum Beispiel berechnet die Bildverarbeitungseinheit 4 einen gemittelten digitalen Pixelwert aller digitalen Pixelwerte des ausgegebenen zusammengesetzten HDR-Bildes bei dem aktuellen Bilderfassungszyklus und bestimmt basierend auf dem gemittelten digitalen Pixelwert Werte der Verschlusszeiten ST1 bis ST3 und die Gesamtverstärkung G für den nächsten Bilderfassungszyklus in Schritt S110.
Für ein spezifisches Beispiel vergleicht die Bildverarbeitungseinheit 4 den berechneten gemittelten digitalen Pixelwert aller digitalen Pixelwerte des ausgegebenen zusammengesetzten HDR-Bildes bei dem aktuellen Bilderfassungszyklus mit einem vorgegebenen digitalen Zielpixelwert in Schritt S110. Dann bestimmt die Bildverarbeitungseinheit 4 basierend auf dem Vergleichsergebnis Werte der Verschlusszeiten ST1 bis ST3 und die Gesamtverstärkung G für den nächsten Bilderfassungszyklus in Schritt S110.
Wenn zum Beispiel der berechnete gemittelte digitale Pixelwert des ausgegebenen zusammengesetzten HDR-Bildes bei dem aktuellen Bilderfassungszyklus im Wesentlichen die Hälfte des digitalen Zielpixelwertes ist, bestimmt die Bildverarbeitungseinheit 4 Werte der Verschlusszeiten ST1 bis ST3 für den nächsten Bilderfassungszyklus, die ausgehend von den Werten der Verschlusszeiten ST1 bis ST3 für den nächsten Bilderfassungszyklus bei dem aktuellen Bilderfassungszyklus zu verdoppeln sind, oder bestimmt einen Wert der Gesamtverstärkung G für den nächsten Bilderfassungszyklus, der ausgehend von dem Wert der Gesamtverstärkung G bei dem aktuellen Bilderfassungszyklus in Schritt S110 zu verdoppeln ist.
Nach dem Vorgang in Schritt S110 bestimmt die Bildverarbeitungseinheit 4 in Schritt S120, ob die Gesamtverstärkung G höher als die Schwellenverstärkung Gth ist. Nach dem Bestimmen, dass die Gesamtverstärkung G gleich oder niedriger als die Schwellenverstärkung Gth ist (NEIN in Schritt S120), schreitet die Parameter-Einstellroutine zu Schritt S130 fort. Ansonsten schreitet, nach dem Bestimmen, dass die Gesamtverstärkung G höher als die Schwellenverstärkung Gth ist (JA in Schritt S120), die Parameter-Einstellroutine zu Schritt S140 fort.
In Schritt S130 legt die Bildverarbeitungseinheit 4 die digitale Verstärkung Gd auf die Gesamtverstärkung G fest und legt die analoge Verstärkung Ga in Schritt S130 auf 1 fest, und anschließend schreitet die Parameter-Einstellroutine zu Schritt S170 fort.
Im Gegensatz dazu subtrahiert die Bildverarbeitungseinheit 4 in Schritt S140 die Schwellenverstärkung Gth von der Gesamtverstärkung G, um dadurch eine Restverstärkung zu erhalten, d.h. eine erste Überschussverstärkung (G - Gth). Dann bestimmt die Bildverarbeitungseinheit 4 in Schritt S140, ob die Restverstärkung (G - Gth) höher als die Obergrenze Gu ist.
Nach dem Bestimmen, dass die Restverstärkung (G - Gth) gleich oder niedriger als die Obergrenze Gu ist (NEIN in Schritt S140), schreitet die Parameter-Einstellroutine zu Schritt S150 fort. Ansonsten schreitet, nach dem Bestimmen, dass die Restverstärkung (G - Gth) höher als die Obergrenze Gu ist (JA in Schritt S140), die Parameter-Einstellroutine zu Schritt S160 fort.
In Schritt S150 teilt die Bildverarbeitungseinheit 4 die Schwellenverstärkung Gth in der Gesamtverstärkung G der digitalen Verstärkung Gd zu und teilt die Restverstärkung (G - Gth) der analogen Verstärkung Ga zu. Danach schreitet die Parameter-Einstellroutine zu Schritt S170 fort.
In Schritt S160 teilt die Bildverarbeitungseinheit 4 die Obergrenze Gu in der Gesamtverstärkung G der analogen Verstärkung Ga zu und teilt die verbleibende Verstärkung, d.h. eine zweite Überschussverstärkung, die durch (G - Gu) ausgedrückt wird, der digitalen Verstärkung Gd zu. Danach schreitet die Parameter-Einstellroutine zu Schritt S170 fort.
In Schritt S170 sendet die Bildverarbeitungseinheit 4 die in Schritt S110 festgelegten Werte der jeweiligen Verschlusszeiten ST1 bis ST3 an die Parameter-Festlegeinrichtung 23 und sendet den Wert der in einem der Schritte S120, S150 und S160 festgelegten analogen Verstärkung Ga an die Parameter-Festlegeinrichtung 23. In Schritt S170 sendet die Bildverarbeitungseinheit 4 den Wert der in einem der Schritte S120, S150 und S160 festgelegten digitalen Verstärkung Gd an den Verstärker 33. Danach beendet die Bildverarbeitungseinheit 4 die Parameter-Einstellroutine.
Die Parameter-Festlegeinrichtung 23 sendet die Werte der ersten bis dritten Verschlusszeiten ST1 bis ST3 an den Bildsensor 212, so dass der Bildsensor 212 beim nächsten Bilderfassungszyklus folgendes erfassen wird,

1. Ein erstes Bild, während der Wert der ersten Verschlusszeit ST1 von der Parameter-Festlegeinrichtung 23 gesendet wird
2. Ein zweites Bild, während der Wert der zweiten Verschlusszeit ST2 von der Parameter-Festlegeinrichtung 23 gesendet wird
3. Ein drittes Bild, während der Wert der dritten Verschlusszeit ST3 von der Parameter-Festlegeinrichtung 23 gesendet wird

Die Parameter-Festlegeinrichtung 23 sendet den Wert der analogen Verstärkung Ga auch an die Bildverstärkungseinheit 22, so dass der Bildsensor 212 die analogen Pixelwerte von jeweils der beim nächsten Bilderfassungszyklus erfassten ersten bis dritten Bilder durch den Wert der analogen Verstärkung Ga verstärken wird, der von der Parameter-Festlegeinrichtung 23 gesendet wird.
Zusätzlich wird der Verstärker 33 digitale Pixelwerte eines zusammengesetzten HDR-Bildes basierend auf den beim nächsten Bilderfassungszyklus erfassten ersten bis dritten Bildern durch den Wert der digitalen Verstärkung Gd verstärken, der von der Bildverarbeitungseinheit 4 gesendet wird.
Wie zuvor im Detail beschrieben, ist die Bilderzeugungsvorrichtung 50 gemäß dem vorliegenden Ausführungsbeispiel so konfiguriert, dass sie bei einem aktuellen Bilderfassungszyklus die Gesamtverstärkung G für erste bis dritte Bilder, die in dem nächsten Bilderfassungszyklus erfasst werden, zu der digitalen Verstärkung Gd mit Priorität zu der analogen Verstärkung Ga zuteilt, bis die Gesamtverstärkung G gleich oder niedriger als die Schwellenverstärkung Gth ist (siehe Schritte S120 und S130).
Die Bilderzeugungsvorrichtung 50 ist zudem so konfiguriert, dass sie in einem aktuellen Bilderfassungszyklus einen Teil der Gesamtverstärkung G, der höher als die Schwellenverstärkung Gth ist, der analogen Verstärkung Ga mit Priorität zu der digitalen Verstärkung Ga zuteilt, bis die analoge Verstärkung Ga die Obergrenze Gu erreicht (siehe Schritte S140 und S150). Zusätzlich ist die Bilderzeugungsvorrichtung 50 so konfiguriert, dass sie in einem aktuellen Bilderfassungszyklus einen Teil der Gesamtverstärkung G, der höher als die Schwellenverstärkung Gth ist, der digitalen Verstärkung Gd mit Priorität zu der analogen Verstärkung Ga zuteilt, nachdem die analoge Verstärkung Ga die Obergrenze Gu erreicht hat (siehe Schritte S140 und S160).
Diese Konfigurationen der Bilderzeugungsvorrichtung 50 teilt 1 der analogen Verstärkung Ga zu, bis die Gesamtverstärkung G gleich oder niedriger als die Schwellenverstärkung Gth ist, wodurch verhindert wird, dass das S/N des ausgegebenen zusammengesetzten HDR-Bildes aufgrund einer Zunahme der analogen Verstärkung Ga abnimmt, während das S/N des ausgegebenen zusammengesetzten HDR-Bildes derart aufrechterhalten wird, um höher als die Untergrenze A zu sein.
Wenn die Gesamtverstärkung G höher als die Schwellenverstärkung Gth ist, teilen diese Konfigurationen der Bilderzeugungsvorrichtung 50 die Schwellenverstärkung Gth der digitalen Verstärkung Gd und die Restverstärkung (G-Gth) der analogen Verstärkung Ga zu, bis die Restverstärkung (G - Gth) gleich oder niedriger als die Obergrenze Gu ist. Dies verhindert eine Zunahme der analogen Verstärkung Ga, während das S/N des ausgegebenen zusammengesetzten HDR-Bildes aufrechterhalten wird, um höher als die Untergrenze A zu sein, selbst wenn die Gesamtverstärkung G höher als die Schwellenverstärkung Gth ist.
Wenn die Restverstärkung (G - Gth) höher als die Obergrenze Gu ist, weisen oder teilen diese Konfigurationen der Bilderzeugungsvorrichtung 50 die Obergrenze Gu der analogen Verstärkung Ga und die verbleibende Verstärkung (G - Gu) der digitalen Verstärkung zu. Dies verhindert, dass das S/N des ausgegebenen zusammengesetzten HDR-Bildes abfällt, um niedriger als die Untergrenze A zu sein.
Diese Konfigurationen schaffen daher ausgegebene zusammengesetzte HDR-Bilder, die jeweils ein höheres S/N aufweisen, wodurch die Genauigkeit der durchzuführenden Fahrunterstützungssteuerung basierend auf Informationen verbessert wird, die von den erzielten zusammengesetzten HDR-Bildern erhalten werden.
Die vorliegende Erfindung ist nicht auf die Beschreibungen des vorliegenden Ausführungsbeispiels beschränkt, und die Beschreibungen des vorliegenden Ausführungsbeispiels können innerhalb des Schutzumfangs der vorliegenden Erfindung weitgehend abgewandelt werden.
Die Funktionen eines Elements in dem vorliegenden Ausführungsbeispiel können als mehrere Elemente verteilt sein, und die Funktionen, die mehrere Elemente aufweisen, können zu einem Element kombiniert werden. Zumindest ein Teil der Struktur des vorliegenden Ausführungsbeispiels kann durch eine bekannte Struktur ersetzt werden, welche die gleiche Funktion wie der zumindest Teil der Struktur des vorliegenden Ausführungsbeispiels aufweist. Ein Teil der Struktur des vorliegenden Ausführungsbeispiels kann weggelassen werden. Alle Aspekte, die in den technologischen Ideen enthalten sind, die durch die in den Ansprüchen verwendete Sprache spezifiziert sind, bilden Ausführungsbeispiele der vorliegenden Erfindung.
Die vorliegende Erfindung kann mittels verschiedener Ausführungsbeispiele zusätzlich zu der Bilderzeugungsvorrichtung implementiert werden; die verschiedenen Ausführungsbeispiele weisen Systeme auf, die jeweils die Bilderzeugungsvorrichtung, Programme zum Bedienen eines Computers als eine Zuteilungseinheit, Speichermedien, welche die Programme speichern, und Bilderzeugungsverfahren aufweisen.
Während das veranschaulichende Ausführungsbeispiel der vorliegenden Erfindung hier beschrieben worden ist, ist die vorliegende Erfindung nicht auf das hier beschriebene Ausführungsbeispiel beschränkt, sondern umfasst jegliche und alle Ausführungsbeispiele mit Abwandlungen, Auslassungen, Kombinationen (zum Beispiel von Aspekten über verschiedene Ausführungsbeispiele hinweg), Anpassungen und/oder Änderungen, die für den Durchschnittsfachmann basierend auf der vorliegenden Erfindung ersichtlich sind. Die Beschränkungen in den Ansprüchen sind breit zu interpretieren, basierend auf der Sprache, die in den Ansprüchen verwendet wird und sind nicht auf Beispiele beschränkt, die in der vorliegenden Beschreibung oder bei der Verfolgung der Anmeldung beschrieben sind, wobei die Beispiele als nichtexklusiv auszulegen sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016209732 [0001]

Claims

Bilderzeugungsvorrichtung mit: einer Bildeinheit, konfiguriert zum: Durchführen eines Erfassungsvorgangs des Erfassens, in einem aktuellen Erfassungszyklus, von einem ersten und zweiten Bild basierend auf jeweils einer ersten und zweiten Verschlusszeit, die sich voneinander unterscheiden, wobei jeweils das erste und zweite Bild einen analogen Pixelwert jedes Pixels aufweist; und Verstärken der analogen Pixelwerte von jeweils dem ersten und zweiten Bild durch eine analoge Verstärkung; einer Bildkombiniereinheit, konfiguriert zum: Umwandeln der analogen Pixelwerte von jeweils dem ersten und zweiten Bild in digitale Pixelwerte eines entsprechenden des ersten und zweiten Bildes; und Kombinieren der digitalen Pixelwerte des ersten Bildes mit den digitalen Pixelwerten des zweiten Bildes, um dadurch ein zusammengesetztes Bild mit einem digitalen Pixelwert jedes Pixels zu erzeugen; einem Verstärker, der zum Verstärken der digitalen Pixelwerte des zusammengesetzten Bildes durch eine digitale Verstärkung konfiguriert ist; einer Kompressionseinheit, die zum Komprimieren der verstärkten digitalen Pixelwerte des zusammengesetzten Bildes gemäß einer vorgegebenen Kompressionseigenschaft konfiguriert ist, um dadurch ein komprimiertes zusammengesetztes Bild als ein Ausgabebild zu erzeugen; einer Festlegeinrichtung, die zum variablen Festlegen, für den Bilderfassungsvorgang in einem nächsten Erfassungszyklus, der ersten und zweiten Verschlusszeit und einer Gesamtverstärkung konfiguriert ist, wobei die Gesamtverstärkung auf einer Kombination der analogen Verstärkung und der digitalen Verstärkung basiert; und einer Zuteilungseinheit, konfiguriert zum: Erlangen einer Schwellenverstärkung basierend auf der ersten und zweiten Verschlusszeit und der Kompressionseigenschaft; und variablen Zuteilen der Gesamtverstärkung zu der analogen Verstärkung und/oder der digitalen Verstärkung gemäß einem Vergleich zwischen der Gesamtverstärkung, der Schwellenverstärkung und einer Obergrenze für die analoge Verstärkung.
Bilderzeugungsvorrichtung nach Anspruch 1, wobei die Zuteilungseinheit konfiguriert ist zum: Bestimmen, ob die Gesamtverstärkung gleich oder niedriger als die Schwellenverstärkung ist; Zuteilen der gesamten Gesamtverstärkung zu der digitalen Verstärkung beim Bestimmen, dass die Gesamtverstärkung gleich oder niedriger als die Schwellenverstärkung ist; und Bestimmen, ob die Gesamtverstärkung gleich oder niedriger als die Obergrenze für die analoge Verstärkung ist, beim Bestimmen, dass die Gesamtverstärkung höher als die Schwellenverstärkung ist; Zuteilen der Schwellenverstärkung in der Gesamtverstärkung zu der digitalen Verstärkung und einer ersten Überschussverstärkung in der Gesamtverstärkung zu der analogen Verstärkung, beim Bestimmen, dass die Gesamtverstärkung gleich oder niedriger als die Obergrenze für die analoge Verstärkung ist, wobei die erste Überschussverstärkung die Schwellenverstärkung überschreitet; und Zuteilen der Obergrenze für die analoge Verstärkung in der Gesamtverstärkung zu der analogen Verstärkung und einer zweiten Überschussverstärkung zu der digitalen Verstärkung, beim Bestimmen, dass die Gesamtverstärkung höher als die Obergrenze für die analoge Verstärkung ist, wobei die zweite Überschussverstärkung höher als die Obergrenze für die analoge Verstärkung ist.
Bilderzeugungsvorrichtung nach Anspruch 2, wobei: die Kompressionseigenschaft so konfiguriert ist, dass: ein erster Leuchtdichtepegelbereich, der niedriger als der vorgegebene Kompressionspunkt mit einem vorgegebenen Leuchtdichtepegel ist, eine erste Kompressionsrate aufweist; und ein zweiter Leuchtdichtepegelbereich, der gleich oder höher als der vorgegebene Kompressionspunkt ist, eine zweite Kompressionsrate aufweist; die erste Verschlusszeit derart festgelegt wird, um länger als die zweite Verschlusszeit zu sein; eine Signal-Rausch-Verhältnis-Eigenschaft des zusammengesetzten Bildes einen ersten Bereich basierend auf entsprechenden digitalen Pixelwerten des ersten Bildes, einen zweiten Bereich basierend auf entsprechenden digitalen Pixelwerten des zweiten Bildes, und einen Schaltbereich zwischen dem ersten und zweiten Bereich aufweist, wobei der Schaltbereich auf einem entsprechenden digitalen Pixelwert des ersten Bildes und/oder digitalen Pixelwert des zweiten Bildes basiert, wobei ein Signal-Rausch-Verhältnis in dem Schaltbereich mit einer Zunahme einer entsprechenden Signalkomponente in dem Schaltbereich abnimmt; und die Schwellenverstärkung so konfiguriert ist, dass, wenn die digitale Verstärkung auf die Schwellenverstärkung festgelegt wird, der Kompressionspunkt innerhalb des Schaltbereichs liegt und das Signal-Rausch-Verhältnis des zusammengesetzten Bildes am Kompressionspunkt festgelegt wird, um gleich oder höher als eine Summe zu sein, von: einem absoluten Wert eines Betrags einer Abnahme des Signal-Rausch-Verhältnisses des zusammengesetzten Bildes, wenn die analoge Verstärkung zu der Obergrenze zugeteilt wird; und einer Untergrenze des Signal-Rausch-Verhältnisses, das für das zusammengesetzte Bild erforderlich ist.