DE102016117780B4

DE102016117780B4 - Fahrzeugaussenumgebung-Erkennungsvorrichtung

Info

Publication number: DE102016117780B4
Application number: DE102016117780.6A
Authority: DE
Inventors: Seisuke Kasaoki; Meguru Ito
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2015-09-24
Filing date: 2016-09-21
Publication date: 2018-10-04
Anticipated expiration: 2036-09-22
Also published as: DE102016117780A1; CN107045619A; US20170091566A1; US9904860B2; JP2017062582A; JP6132412B2; CN107045619B

Abstract

Fahrzeugaußenumgebung-Erkennungsvorrichtung, welche aufweist:einen Computer, der konfiguriert ist, um zu dienen als:ein Fahrzeugidentifizierer, der aus jedem von mit einer Bildaufnahmeeinheit fortlaufend aufgenommenen Bildern ein vorausfahrendes Fahrzeug und einen vom vorausfahrenden Fahrzeug belegten Fahrzeugbereich identifiziert;einen Kandidatidentifizierer, der, als Lichtquellenkandidat, einen Kandidaten identifiziert, der im identifizierten Fahrzeugbereich als Lichtquelle bestimmbar ist;einen Überbelichtungsidentifizierer, der einen Abschnitt, der eine vorbestimmte Bedingung der Überbelichtung in dem identifizierten Fahrzeugbereich erfüllt, als überbelichtete Lichtquelle identifiziert;eine Bewegungsbetrag-Herleitungseinheit, die einen Bewegungsbetrag der überbelichteten Lichtquelle in einer vorbestimmten Zeitspanne in Bezug auf den Fahrzeugbereich herleitet;einen Bewegte-Überbelichtung-Identifizierer, der die überbelichtete Lichtquelle als bewegte überbelichtete Lichtquelle identifiziert, wenn der Bewegungsbetrag der überbelichteten Lichtquelle gleich oder größer als ein vorbestimmter Schwellenwert des Bewegungsbetrags ist;eine Überbelichtungsbereich-Setzeinheit, die einen vorbestimmten Bereich in Bezug auf die bewegte überbelichtete Lichtquelle als Überbelichtungsbereich setzt; undeinen Leuchtenbestimmer, der, basierend auf unterschiedlichen Bedingungen zwischen dem im Überbelichtungsbereich vorhandenen Lichtquellenkandidat und dem in einem anderen Bereich als dem Überbelichtungsbereich vorhandenen Lichtquellenkandidat bestimmt, ob der identifizierte Lichtquellenkandidat eine leuchtende Leuchte ist.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht die Priorität der japanischen Patentanmeldung Nr. 2015-186781 , eingereicht am 24. September 2015, deren gesamte Inhalte hiermit unter Bezugnahme aufgenommen werden.
HINTERGRUND
Die Erfindung betrifft eine Fahrzeugaußenumgebung-Erkennungsvorrichtung, die eine leuchtende Bremsleuchte eines vorausfahrenden Fahrzeugs identifiziert.
Es ist eine Technik vorgeschlagen worden, bei der ein dreidimensionales Objekt, wie etwa ein dem eigenen Fahrzeug vorausfahrendes Fahrzeug, detektiert wird, um eine Steuerung durchzuführen, welche eine Kollision mit dem vorausfahrenden Fahrzeug vermeidet (d.h. eine Kollisionsvermeidungsfunktion), oder um eine Steuerung durchzuführen, die einen Zwischenfahrzeugabstand zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug auf einem vorbestimmten Abstand hält (d.h. adaptive Fahrtsteuerung (ACC)). Als Beispiel sei auf das japanische Patent JP 3 349 060 B2 verwiesen. Eine ruhigere Kollisionsvermeidungssteuerung oder ACC wird ermöglicht, indem Prozesse eingebaut werden, wie etwa zum Beispiel das Erkennen vom Leuchtzustand einer Lampe des vorausfahrenden Fahrzeugs, und Vermuten eines Verzögerungsbetriebs des vorausfahrenden Fahrzeugs. In anderen Worten, der Leuchtzustand kann Aufleuchten oder Erlöschen sein. Die Lampe kann zum Beispiel eine Bremsleuchte sein, ist aber darauf nicht beschränkt.
Als eine Technik, die den Leuchtzustand der Bremsleuchte des vorausfahrenden Fahrzeugs detektiert, offenbart die japanische ungeprüfte Patentanmeldungsschrift JP 2013 - 109 391 A eine Technik, bei der, als Reaktion auf die Helligkeit der Fahrzeugaußenumgebung, ein Schwellenwert geändert wird, um den Leuchtzustand der Bremsleuchte zu bestimmen. Der Schwellenwert bezieht sich auf eine Größe eines Lichtquellenkandidaten, der aus einem Bild identifiziert werden kann, das von einer Bildaufnahmeeinheit aufgenommen wird, und eine vorbestimmte Helligkeitsbedingung erfüllen kann. Die DE 10 2012 218 534 A1 offenbart ein videobasiertes Verfahren zur Erkennung einer Rückwärtsfahrt, bei dem einzelne helle Flecken mit der Zeit verfolgt werden. Die US 7,619,649 B2 offenbart ein Verfahren zur Erkennung eines Vorausfahrzeugs, bei dem Reflexen durch Sonnenlicht Rechnung getragen wird.
ZUSAMMENFASSUNG
Licht, wie etwa Sonnenlicht, kann von einem Element eines vorausfahrenden Fahrzeugs reflektiert werden. Das Element kann, ohne Einschränkung, eine Bremsleuchtenabdeckung oder ein Heckfenster sein. Wenn das Sonnenlicht reflektiert wird, könnte die Helligkeit eines Abschnitts, von dem das Sonnenlicht reflektiert wird, in dem von der Bildaufnahmeeinheit aufgenommenen Bild hoch werden. Unter diesen Umständen bleibt, in der in JP-A Nr. 2013-109391 offenbarten Technik, eine Bedingung, die sich auf die Helligkeit des Lichtquellenkandidaten bezieht, unabhängig von der Fahrzeugaußenumgebung unverändert. Jedoch verbleibt Raum zur Verbesserung darin, dass der Abschnitt, von dem das Sonnenlicht reflektiert wird, möglicherweise als Lichtquellenkandidat identifiziert wird und somit der Lichtquellenkandidat möglicherweise als leuchtende Bremsleuchte identifiziert werden könnte.
Im Hinblick auf dieses Problem könnte eine Maßnahme darin liegen, den Leuchtzustand einer Bremsleuchte basierend auf einer Helligkeitsänderung des detektierten Lichtquellenkandidaten zu bestimmen. Diese Maßnahme könnte jedoch Schwierigkeiten beinhalten, den Leuchtzustand der Bremsleuchte rasch unter einer Situation zu bestimmen, wo die Information nicht ausreichend akkumuliert ist, wie etwa, aber nicht beschränkt auf, eine Situation unmittelbar nachdem das vorausfahrende Fahrzeug identifiziert ist.
Es ist wünschenswert, eine Fahrzeugaußenumgebung-Erkennungsvorrichtung anzugeben, die es möglich macht, eine leuchtende Leuchte rasch zu identifizieren.
Ein Aspekt der Erfindung gibt eine Fahrzeugaußenumgebung-Erkennungsvorrichtung an, welche einen Computer enthält, der konfiguriert ist, um als Fahrzeugidentifizierer, Kandidatidentifizierer, Überbelichtungsidentifizierer, Bewegungsbetrag-Herleitungseinheit, Bewegte-Überbelichtung-Identifizierer, Überbelichtungsbereichsetzeinheit und Leuchtenbestimmer zu dienen. Der Fahrzeugidentifizierer identifiziert aus jedem von mit einer Bildaufnahmeeinheit fortlaufend aufgenommenen Bildern ein vorausfahrendes Fahrzeug und einen vom vorausfahrenden Fahrzeug belegten Fahrzeugbereich. Der Kandidatidentifizierer identifiziert, als Lichtquellenkandidat, einen Kandidaten, der im identifizierten Fahrzeugbereich als Lichtquelle bestimmbar ist. Der Überbelichtungsidentifizierer identifiziert einen Abschnitt, der eine vorbestimmte Bedingung der Überbelichtung in dem identifizierten Fahrzeugbereich erfüllt, als überbelichtete Lichtquelle. Die Bewegungsbetrag-Herleitungseinheit leitet einen Bewegungsbetrag der überbelichteten Lichtquelle in einer vorbestimmten Zeitspanne in Bezug auf den Fahrzeugbereich her. Der Bewegte-Überbelichtung-Identifizierer identifiziert die überbelichtete Lichtquelle als bewegte überbelichtete Lichtquelle, wenn der Bewegungsbetrag der überbelichteten Lichtquelle gleich oder größer als ein vorbestimmter Schwellenwert des Bewegungsbetrags ist. Die Überbelichtungsbereich-Setzeinheit setzt einen vorbestimmten Bereich in Bezug auf die bewegte überbelichtete Lichtquelle als Überbelichtungsbereich. Der Leuchtenbestimmer bestimmt, basierend auf unterschiedlichen Bedingungen zwischen dem im Überbelichtungsbereich vorhandenen Lichtquellenkandidat und dem in einem anderen Bereich als dem Überbelichtungsbereich vorhandenen Lichtquellenkandidat, ob der identifizierte Lichtquellenkandidat eine leuchtende Leuchte ist.
Der Leuchtenbestimmer kann, basierend auf der Anzahl von Pixeln und/oder der Fläche von Pixeln, die eine Farbbedingung vorbestimmter Intensität erfüllen, bestimmen, ob der identifizierte Lichtquellenkandidat, der in dem anderen Bereich als dem Überbelichtungsbereich vorhanden ist, die leuchtende Leuchte ist. Der Leuchtenbestimmer kann, basierend auf der Anzahl von Pixeln und/oder der Fläche von Pixeln, die eine Farbbedingung größerer Intensität als die Farbbedingung der vorbestimmten Intensität erfüllen, bestimmen, ob der identifizierte Lichtquellenkandidat, der in dem Überbelichtungsbereich vorhanden ist, die leuchtende Leuchte ist.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung kann ferner einen Formbestimmer enthalten. Der Formbestimmer kann einen Kreisförmigkeitsgrad der vom Überbelichtungsidentifizierer identifizierten überbelichteten Lichtquelle herleiten, und die überbelichtete Lichtquelle, deren hergeleiteter Kreisförmigkeitsgrad gleich oder größer als ein vorbestimmter Kreisförmigkeitsschwellenwert ist, extrahieren. Die Bewegungsbetrag-Herleitungseinheit kann den Bewegungsbetrag der vom Formbestimmer extrahierten überbelichteten Lichtquelle herleiten.
Die Überbelichtungssetzeinheit kann den Überbelichtungsbereich setzen, der sich vertikal von der als Mitte dienenden bewegten überbelichteten Lichtquelle erstreckt.
Der Computer ist so konfiguriert, dass er ferner als Flächenwandler dient. Der Flächenwandler kann, in Bezug auf den identifizierten Lichtquellenkandidat, der in dem anderen Bereich als dem Überbelichtungsbereich vorhanden ist, die Anzahl von Pixeln zählen, die die Farbbedingung der vorbestimmten Intensität erfüllt, und, basierend auf einem relativen Abstand von einem vorausfahrenden Fahrzeug, die gezählte Anzahl von Pixeln in eine Fläche umwandeln. Der Flächenwandler kann, in Bezug auf den identifizierten Lichtquellenkandidat, der sich im Überbelichtungsbereich befindet, die Anzahl von Pixeln zählen, die die Farbbedingung der größeren Intensität als die Farbbedingung der vorbestimmten Intensität erfüllen, und, basierend auf dem relativen Abstand vom vorausfahrenden Fahrzeug, die gezählte Anzahl von Pixeln in eine Fläche umwandeln. Der Leuchtenbestimmer bestimmt, dass der identifizierte Lichtquellenkandidat die leuchtende Leuchte ist, wenn die umgewandelte Fläche gleich oder größer als ein vorbestimmter Leuchtzustand-Bestimmungsschwellenwert ist, bei dem eine Leuchte des vorausfahrenden Fahrzeugs als leuchtend bestimmt wird.
Figurenliste

1 ist ein Blockdiagramm, das eine Anschlußbeziehung in einem Umgebungserkennungssystem zeigt.
2 ist ein Funktionsblockdiagramm, das schematische Funktionen einer Fahrzeugaußenumgebung-Erkennungsvorrichtung zeigt.
3 beschreibt ein Farbbild und ein Abstandsbild.
4 beschreibt einen vom Fahrzeugidentifizierer durchgeführten Prozess.
5 beschreibt einen vom Fahrzeugidentifizierer durchgeführten Prozess.
6 beschreibt eine Differenz zwischen einer basierend auf einem ersten Belichtungsmodus durchgeführten Bildaufnahme und einer basierend auf einem zweiten Belichtungsmodus durchgeführten Bildaufnahme.
7 beschreibt Farbschwellenwerte.
8 beschreibt Formen von überbelichteten Lichtquellen mit veränderlichen Reflektionspositionen von einem vorausfahrenden Fahrzeug.
9 beschreibt einen Überbelichtungsbereich.
10 beschreibt eine Austrittsrate eines Lichtquellenkandidaten wegen eines Abschnitts, von dem Sonnenlicht reflektiert wird.
11 fasst Farbbedingungen und Leuchtzustand-Bestimmungsschwellenwerte in Bezug auf Lichtquellenkandidaten zusammen, die sich in der Überbelichtungsbereich und dem Nicht-Überbelichtungsbereich befinden.
12 beschreibt eine Beziehung eines relativen Abstands zwischen einem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug gegenüber der Anzahl von Pixel.
13 ist ein Histogramm, das die Leuchtzustand-Bestimmungsschwellenwerte statistisch beschreibt.
14 ist ein Flussdiagramm, das ein Beispiel eines Fahrzeugaußenumgebung-Erkennungsprozesses zeigt.
15 ist ein Flussdiagramm, das ein Beispiel eines Bremsleuchtenbestimmungsprozesses zeigt.

DETAILLIERTE BESCHREIBUNG
Im Folgenden werden einige bevorzugte, aber nicht einschränkende Ausführungen der Erfindung in Bezug auf die beigefügten Zeichnungen im Detail beschrieben. Merke, dass Größen, Materialien, spezifische Werte und andere Faktoren, die in den jeweiligen Ausführungen dargestellt sind, zum leichteren Verständnis der Erfindung illustrativ sind und den Umfang der Erfindung nicht einschränken sollen, solange nicht anderweitig spezifisch gesagt. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente, die im Wesentlichen die gleiche Funktion und Konfiguration haben, mit den gleichen Bezugszahlen bezeichnet, um eine redundante Beschreibung zu vermeiden. Ferner sind Elemente, die sich nicht direkt auf die Erfindung beziehen, in den Zeichnungen nicht dargestellt.
In den letzten Jahren sind zunehmend Fahrzeuge benutzt worden, die eine Kollisionsverhinderungsfunktion und eine adaptive Fahrtsteuerung (ACC) aufweisen. Die Kollisionsverhinderungsfunktion kann beinhalten, ein Bild einer Straßenumgebung vor dem eigenen Fahrzeug mit einer am Fahrzeug angebrachten Kamera aufzunehmen und ein dreidimensionales Objekt, wie etwa aber nicht beschränkt auf ein vorausfahrendes Fahrzeug, basierend auf Farbinformation und Positionsinformation in dem aufgenommenen Bild zu identifizieren. Durch die Identifikation kann die Kollisionsverhinderungsfunktion eine Kollision mit dem identifizierten dreidimensionalen Objekt vermeiden. Die ACC kann einen Zwischen-Fahrzeug-Abstand zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug auf einem vorbestimmten Abstand halten.
Die Kollisionsverhinderungsfunktion und die ACC können zum Beispiel einen relativen Abstand zwischen dem eigenen Fahrzeug und einem dreidimensionalen Objekt herleiten, das sich vor dem eigenen Fahrzeug befindet. Basierend auf dem hergeleiteten relativen Abstand können die Kollisionsverhinderungsfunktion und die ACC eine Steuerung durchführen, welche eine Kollision mit dem dreidimensionalen Objekt vermeidet, das sich vor dem eigenen Fahrzeug befindet, und, wenn das dreidimensionale Objekt ein Fahrzeug wie etwa ein vorausfahrendes Fahrzeug ist, können sie eine Steuerung ausführen, die den relativen Abstand zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug auf einem vorbestimmten Abstand hält.
Eine Ausführung der Erfindung kombiniert die Kollisionsverhinderungsfunktion und die ACC mit Prozessen, welche zum Beispiel einen Leuchtzustand (Aufleuchten oder Erlöschen) einer Bremsleuchte des vorausfahrenden Fahrzeugs erkennen und einen Verzögerungsbetrieb des vorausfahrenden Fahrzeugs vermuten, um eine glattere bzw. ruhigere Fahrtsteuerung und ACC zu erlangen. Im Folgenden wird ein Umgebungserkennungssystem einer Ausführungsform der Erfindung beschrieben, sowie eine Fahrzeugaußenumgebung-Erkennungsvorrichtung als eine von spezifischen Elementen des Umgebungserkennungssystems.
[Umgebungserkennungssystem 100]
1 ist ein Blockdiagramm, das eine Anschlussbeziehung in einem Umgebungserkennungssystem 100 darstellt. Das Umgebungserkennungssystem 100 kann Bildaufnahmeeinheiten 110, eine Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 sowie eine Fahrzeugsteuereinrichtung (zum Beispiel eine Motorsteuereinheit (ECU)) 130 enthalten, die in einem eigenen Fahrzeug 1 vorgesehen sind. Die Ausführung kann, ohne Einschränkung, zwei Bildaufnahmeeinheiten 110 enthalten.
Die Bildaufnahmeeinheiten 110 können jeweils eine Abbildungseinrichtung enthalten, wie etwa, aber nicht beschränkt auf, eine ladungsgekoppelte Vorrichtung (CCD) und einen Komplementär-Metalloxid-Halbleiter (CMOS). Die Bildaufnahmeeinheiten 110 können jeweils ein Bild vordem eigenen Fahrzeug 1 aufnehmen und ein in Farbwerten ausgedrücktes Farbbild generieren. Die Farbwerte können eine Gruppe von numerischen Werten sein, die durch eine Luminanz (Y) und zwei Farbunterschiede (UV) konfiguriert sind, oder eine Gruppe von numerischen Werten, die durch drei Farbtöne, Rot (R), Grün (G) und Blau (B) konfiguriert sind.
Die zwei Bildaufnahmeeinheiten 110 können so angeordnet sein, dass ihre jeweiligen optischen Achsen entlang einer Fahrtrichtung des eigenen Fahrzeugs 1 im Wesentlichen zueinander parallel sind. Die zwei Bildaufnahmeeinheiten 110 können so angeordnet sein, dass sie in angenähert horizontaler Richtung voneinander getrennt sind. Die Bildaufnahmeeinheiten 110 können fortlaufend Bilddaten für jedes Einzelbild von zum Beispiel, aber nicht beschränkt auf, 1/20 Sekunden (eine Bildaufnahmerate von 20 fps) erzeugen. Die Bilddaten können als Ergebnis der Bildaufnahme erhalten werden, welche an einem Detektionsbereich vor dem eigenen Fahrzeug 1 durchgeführt wird. Identifikationsobjekte, die aus den von den Bildaufnahmeeinheiten 110 generierten Bilddaten zu unterscheiden sind, können ein dreidimensionales Objekt enthalten, welches unabhängig vorhanden ist, sowie auch ein Objekt, das als Teil des dreidimensionalen Objekts identifizierbar ist. Nicht einschränkende Beispiele des unabhängig vorhandenen dreidimensionalen Objekts können ein Fahrzeug, einen Fußgänger, eine Verkehrsleuchte, eine Straße (oder einen Fahrweg), eine Leitplanke und ein Gebäude enthalten. Nicht einschränkende Beispiele des als Teil des dreidimensionalen Objekts identifizierbaren Objekts können eine Bremsleuchte, eine hochliegende Bremsleuchte, eine Heckleuchte, einen Blinker und jedes leuchtende Teil der Verkehrsleuchte enthalten. Die Funktionsblöcke, die gemäß dieser Ausführung nachfolgend beschrieben werden, können ihre jeweiligen Prozesse für jedes Einzelbild als Reaktion auf eine Aktualisierung der Bilddaten ausführen.
Ferner können in dieser Ausführung die Bildaufnahmeeinheiten 110 jeweils, basierend auf einem ersten Belichtungsmodus, die Bildaufnahme des Detektionsbereichs durchführen, um ein erstes Bild zu generieren. Der erste Belichtungsmodus kann eine Belichtungszeit und/oder Blende beinhalten, die auf der Helligkeit der Fahrzeugaußenumgebung beruhen, d.h. zum Beispiel auf einem Messergebnis eines Belichtungsmessers, ist aber darauf nicht beschränkt. Die Bildaufnahmeeinheiten 110 können auch ein zweites Bild generieren, das die Bestimmung erlaubt, ob eine bestimmte Lichtquelle Licht abgibt. Die bestimmte Lichtquelle kann zum Beispiel die Bremsleuchte sein, ist aber darauf nicht beschränkt. Nicht einschränkende Beispiele eines Verfahrens zum Generieren des zweiten Bilds können enthalten: Durchführen der Bildaufnahme unter Verwendung einer Abbildungsvorrichtung mit breitem Dynamikbereich derart, dass eine Unterbelichtung eines nicht-Lichtabgebenden dreidimensionalen Objekts und eine Überbelichtung der Lichtquelle verhindert wird; und Durchführen einer Bildaufnahme des Detektionsbereich unter Verwendung eines zweiten Belichtungsmodus, um das zweite Bild zu generieren. Der zweite Belichtungsmodus kann sich im Belichtungsmodus, zum Beispiel der Belichtungszeit und/oder Blende, vom ersten Belichtungsmodus unterscheiden. Zum Beispiel kann während der Tageszeit die Belichtungszeit des zweiten Belichtungsmodus kürzer sein als die Belichtungszeit des ersten Belichtungsmodus, der an die helle Fahrzeugaußenumgebung angepasst ist, und/oder die Blende des zweiten Belichtungsmodus kann kleiner gemacht werden als die Blende des ersten Belichtungsmodus, um das zweite Bild zu generieren. In dieser Ausführung kann, ohne Einschränkung, das erste Bild und das zweite Bild jeweils als Farbbild verwendet werden. Der erste Belichtungsmodus und der zweite Belichtungsmodus können mit einem der folgenden beispielhaften Verfahren erzielt werden.
Ein Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils die Bildaufnahme basierend auf dem ersten Belichtungsmodus und die Bildaufnahme basierend auf dem zweiten Belichtungsmodus abwechselnd mittels einer Zeitdivision einer periodischen Bildaufnahmezeitgebung durchführen, um hierdurch sequentiell das erste Bild und das zweite Bild zu erzeugen. Ein anderes Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils eine Abbildungseinrichtung enthalten, die zwei Kondensatoren für jedes Pixel hat und erlaubt, dass elektrische Ladungen parallel für diese zwei Kondensatoren geladen werden, und eine Zeitspanne, während der das Laden durch eine Belichtung erfolgt, zwischen den zwei Kondensatoren verändert wird, um hierdurch in paralleler Weise zwei Bilder zu generieren, deren Belichtungsmodi sich voneinander unterscheiden. Ein noch anderes Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils ein Bild zweimal zu voneinander unterschiedlichen Zeiten lesen, während das Laden der elektrischen Ladung in einem einzigen Kondensator erfolgt, um hierdurch in paralleler Weise die zwei Bilder zu generieren, deren Belichtungsmodi sich voneinander unterscheiden. Ein noch anderes Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils einen Satz von Bildaufnahmeeinheiten enthalten, deren Belichtungsmodi sich voneinander unterscheiden (d.h. in dieser Ausführung zwei Sätze der zwei Bildaufnahmeeinheiten 110), um hierdurch ein Bild von jedem der zwei Sätze von Bildaufnahmeeinheiten 110 zu generieren. Die Belichtungszeit, die in jedem der Belichtungsmodi eine dominante Rolle spielt, kann, ohne Einschränkung, in einem Bereich von 1 Millisekunde bis 60 Millisekunden geeignet gesteuert werden.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann die Bilddaten von den zwei Bildaufnahmeeinheiten 110 erhalten und eine Parallaxe (d.h. eine Winkeldifferenz) von den erhaltenen Bilddatenstücken unter Verwendung des sogenannten Musterabgleichs herleiten. Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann dann die basierend auf der Parallaxe hergeleitete Parallaxen-Information den Bilddaten zuordnen, um hierdurch das Abstandsbild zu generieren. Die Parallaxen-Information kann äquivalent zur Dreidimensionale-Position-Information sein, die später im Detail beschrieben wird. Das Farbbild und das Abstandsbild werden später im Detail beschrieben.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann die Farbwerte basierend auf dem Farbbild und die Dreidimensionale-Position-Information basierend auf dem Abstandsbild nutzen, um eine Gruppierung durchzuführen. Die Dreidimensionale-Position-Information kann Positionsinformation eines dreidimensionalen Objekts im realen Raum sein, einschließlich eines relativen Abstands zwischen dem eigenen Fahrzeug 1 und dem dreidimensionalen Objekt. Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann die Gruppierung von Blöcken, wenn Farbwerte einander gleich sind und deren Dreidimensionale-Position-Information einander nahe ist, als einzelnes dreidimensionales Objekt durchführen. Durch Ausführung der Gruppierung kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 identifizieren, welches der Identifikationsobjekte (zum Beispiel das vorausfahrende Fahrzeug) dem dreidimensionalen Objekt im Detektionsbereich vor dem eigenen Fahrzeug 1 entspricht. Zum Beispiel kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 das vorausfahrende Fahrzeug mittels Information zum relativen Abstand oder beliebiger anderer Information identifizieren, und kann ferner eine Position einer Bremsleuchte des vorausfahrenden Fahrzeugs und einen Leuchtzustand der Bremsleuchte mittels der Farbwerte bestimmen. Durch Ausführung der oben beschriebenen beispielhaften Prozesse wird eine Verzögerung des vorausfahrenden Fahrzeugs durch das Aufleuchten der Bremsleuchte rasch sensiert, was es möglich macht, Information zum Sensieren (d.h. Information zum Verzögern des vorausfahrenden Fahrzeugs) für die Kollisionsvermeidungsfunktion und die ACC zu nutzen.
Wenn das dreidimensionale Objekt als vorausfahrendes Fahrzeug identifiziert wird, kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 Faktoren herleiten wie etwa, aber nicht beschränkt auf, eine relative Geschwindigkeit und einen relativen Abstand in Bezug auf das vorausfahrende Fahrzeug, während das vorausfahrende Fahrzeug verfolgt wird, um hierdurch zu bestimmen, ob eine Kollisionsmöglichkeit zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug hoch ist. Wenn bestimmt wird, dass die Kollisionsmöglichkeit hoch ist, kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 einem Fahrer eine Warnanzeige (d.h. eine Meldung) geben, die dem Fahrer die hohe Kollisionsmöglichkeit meldet, und kann auch Information über die hohe Kollisionsmöglichkeit an die Fahrzeugsteuereinrichtung 130 ausgeben. Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann die Warnanzeige mittels einer vor dem Fahrer angeordneten Anzeige 122 durchführen.
Die Fahrzeugsteuereinrichtung 130 kann das eigene Fahrzeug 1 steuern, indem es Information über eine Bedienungseingabe des Fahrers durch ein Lenkrad 132, ein Gaspedal 134 und ein Bremspedal 136 empfängt und die Information zur Bedienungseingabe zu einem Lenkmechanismus 142, einem Antriebsmechanismus 144 und einem Bremsmechanismus 146 schickt. Die Fahrzeugsteuereinrichtung 130 kann den Lenkmechanismus 142, den Antriebsmechanismus 144 und den Bremsmechanismus 146 gemäß Anweisungen von der Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 ansteuern.
Im Folgenden wird eine Konfiguration der Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 im Detail beschrieben. Hier wird im Detail eine beispielhafte Konfiguration beschrieben, die ein Merkmal dieser Ausführung sein kann. Übrigens werden Konfigurationen, die sich weniger auf Merkmale der Ausführung beziehen, nicht im Detail beschrieben.
[Fahrzeugaußenumgebung-Erkennungsvorrichtung 120]
2 ist ein Funktionsblockdiagramm, das schematische Funktionen der Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 darstellt. Bezugnehmend auf 2 kann die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 eine Schnittstelle (I/F) 150, einen Speicher 152 sowie eine zentrale Steuereinrichtung 154 enthalten.
Die Schnittstelle 150 kann Information bilateral zwischen Vorrichtungen austauschen, ohne Einschränkung einschließlich der Bildaufnahmeeinheiten 110 und der Fahrzeugsteuereinrichtung 130. Der Speicher 152 kann einen Direktzugriffsspeicher (RAM), einen Flash-Speicher, ein Festplattenlaufwerk (HDD) oder eine beliebige andere geeignete Speichervorrichtung enthalten. Der Speicher 152 kann verschiedene Informationsstücke speichern, welche für Prozesse notwendig sind, die von den Funktionsblöcken auszuführen sind, wie später beschrieben, und kann die Bilddaten, d.h. das Farbbild und das Abstandsbild, die auf dem ersten Bild und dem zweiten Bild beruhen und von den Bildaufnahmeeinheiten 110 aufgenommen sind, zeitweilig halten.
Die zentrale Steuereinrichtung 154 kann ein Computer sein, der eine integrierte Halbleiterschaltung enthält, und kann Steuereinrichtungen enthalten einschließlich, ohne Einschränkung, der Schnittstelle 150 und des Speichers 152, die durch einen Systembus 156 verbunden sind. Die integrierte Halbleiterschaltung kann Vorrichtungen aufweisen wie etwa, aber nicht beschränkt auf, eine zentrale Prozessoreinheit (CPU), einen Festwertspeicher (ROM), in dem Programme etc. gespeichert sind, und einen Direktzugriffsspeicher (RAM), der als Arbeitsfläche dient. In dieser Ausführung kann die zentrale Steuereinrichtung 154 als Bildprozessormodul 160, Positionsinformations-Herleitungseinheit 162, Fahrzeugidentifizierer 164, Kandidatidentifizierer 166, Überbelichtungsidentifizierer 168, Formbestimmer 170, Bewegungsbetrag-Herleitungseinheit 172, Bewegte-Überbelichtung-Identifizierer 174, Überbelichtungsbereich-Setzeinheit 176, Flächenwandler 178 und Leuchtenbestimmer 180 fungieren. Im Folgenden wird, basierend auf einer Wirkungsweise von jedem der Funktionsblöcke, ein detaillierter Betrieb von jedem der Funktionsblöcke in der Reihenfolge vom Abbildungsprozess, Fahrzeugidentifizierungsprozess, Lichtquellenkandidatidentifizierungsprozess, Überbelichtungsbereich-Setzprozess und Leuchtenbestimmungsprozess beschrieben.
[Bildprozess]
Das Bildprozessormodul 160 kann die Bilddaten (d.h. das erste Bild und das zweite Bild) des Farbbilds von jeder der zwei Bildaufnahmeeinheiten 110 erhalten und eine Parallaxe unter Verwendung des sogenannten Musterabgleichs herstellen. Der Musterabgleich kann beinhalten, einen Block entsprechend einem beliebigen Block, der aus einem der ersten Bilder extrahiert ist, in dem anderen der ersten Bilder zu suchen. Der Block kann zum Beispiel ein Feld von 4 horizontalen Pixeln mal 4 vertikalen Pixeln sein, ist aber darauf nicht beschränkt. Das Bildprozessormodul 160 kann auch für die zweiten Bilder die Parallaxe mittels des Musterabgleichs herleiten. Der hierin benutzte Begriff „horizontal“ bezieht sich auf eine seitliche Richtung eines Bildschirm des aufgenommenen Farbbilds, und der Begriff „vertikal“ bezieht sich auf eine vertikale Richtung des Bildschirm des aufgenommenen Farbbilds.
Als Musterabgleich kann eine Luminanz (d.h. ein Y-Farbdifferenz-Signal) zwischen den zwei Bildern pro Block, der eine beliebige Bildposition angibt, verglichen werden. Nicht einschränkende Beispiele eines solchen Luminanzvergleichsverfahrens können SAD (Summe der absoluten Differenz) enthalten, welche Luminanzdifferenzen erhält, SSD (Summe der quadratischen Intensitätsdifferenz), welche quadrierte Differenzen verwendet, und NCC (normalisierte Kreuz-Korrelation), die Ähnlichkeit der Varianz erhält, die man durch Subtrahieren des durchschnittlichen Luminanzwerts von einem Luminanzwert jedes Pixels erhält. Das Bildprozessormodul 160 kann den vorstehenden Parallaxen-Herleitungsprozess, der auf Blockbasis erfolgt, für alle Blöcke im Detektionsbereich durchführen. Der Detektionsbereich kann zum Beispiel ein Feld von 600 horizontalen Pixeln mal 180 vertikalen Pixeln sein, ist aber darauf nicht beschränkt. In dieser Ausführung kann jeder Block das Feld von 4 horizontalen Pixeln mal 4 vertikalen Pixeln enthalten; jedoch kann für jeden Block eine beliebige Anzahl von Pixeln gesetzt werden.
Das Bildprozessormodul 160 leitet die Parallaxe pro Block her, d.h., leitet die Parallaxe auf Detektions-Auflösungsbasis her. Jedoch kann das Bildprozessormodul 160 bei der Erkennung des Blocks Schwierigkeiten im Hinblick darauf haben, zu welchem Teil eines dreidimensionalen Objekts der Block gehört, im Hinblick auf einen Typ dieses dreidimensionalen Objekts. Daher wird die basierend auf der Parallaxe hergeleitete Parallaxen-Information unabhängig auf Basis der Detektions-Auflösung (zum Beispiel auf der Blockbasis) in Bezug auf den Detektionsbereich hergeleitet, und nicht auf Basis eines dreidimensionalen Objekts.
Die Positionsinformation-Herleitungseinheit 162 kann die Dreidimensionale-Position-Information unter Verwendung eines sogenannten Stereoverfahrens in dem Detektionsbereich basierend auf der Parallaxe herleiten, die von dem Bildprozessormodul 160 für jeden Block hergeleitet wird (d.h. für jedes Teil des dreidimensionalen Objekts erhalten wird). Die dreidimensionale Position-Information kann Informationsstücke zu dem horizontalen Abstand, einer Höhe und dem relativen Abstand enthalten. Das Stereoverfahren kann beinhalten, aus der Parallaxe eines beliebigen Teils des dreidimensionalen Objekts den relativen Abstand zwischen diesem Teil des dreidimensionalen Objekts und den Bildaufnahmeeinheiten 110 unter Verwendung eines Triangulationsverfahrens herleiten. Beim Herleiten der Dreidimensionale-Position-Information kann die Positionsinformation-Herleitungseinheit 162 die Höhe von der Straßenoberfläche eines beliebigen Teils des dreidimensionalen Objekts basierend auf dem relativen Abstand zwischen dem eigenen Fahrzeug 1 (d.h. den Bildaufnahmeeinheiten 110) und dem Teil des dreidimensionalen Objekts sowie basierend auf einem Abstand des Abstandsbilds von einem Punkt auf der Straßenoberfläche zu dem Teil des dreidimensionalen Objekts herleiten. Der Punkt auf der Straßenoberfläche befindet sich an einer Position, welche den gleichen relativen Abstand wie das Teil des dreidimensionalen Objekts hat. Übrigens wird ein Bild, in dem die so hergeleitete Parallaxeninformation (d.h. die dreidimensionale Positionsinformation) den Bilddaten zugeordnet ist, als Abstandsbild bezeichnet, um das Bild von dem oben beschriebenen Farbbild zu unterscheiden.
3 beschreibt das Farbbild 210 und das Abstandsbild 212. 3 beschreibt ein nicht einschränkendes Beispiel, worin das Farbbild (d.h. die Bilddaten) 210, wie in (a) von 3 dargestellt, für den Detektionsbereich 214 mittels der zwei Bildaufnahmeeinheiten 110 generiert wird. Übrigens zeigt (a) von 3 zum leichteren Verständnis schematisch nur eines der zwei Farbbilder 210. In dieser Ausführung kann, ohne Einschränkung, das Bildprozessormodul 160 die Parallaxe für jedes Teil des dreidimensionalen Objekts aus den Farbbildern 210 erhalten, und die Positionsinformation-Herleitungseinheit 162 kann basierend auf der erhaltenen Parallaxe die Dreidimensionale-Position-Information für jedes Teil des dreidimensionalen Objekts herleiten, wodurch das Abstandsbild 212 wie in (b) von 3 dargestellt, gebildet werden kann. Jedes Teil des dreidimensionalen Objekts in dem Abstandsbild 212 kann der Parallaxen-Information an dem entsprechenden Teil des dreidimensionalen Objekts zugeordnet werden. Zu Beschreibungszwecken ist jedes Teil des dreidimensionalen Objekts, wofür die Parallaxen-Information hergeleitet wird, mit einem schwarzen Punkt bezeichnet. Diese Ausführung kann die Farbbilder 210 und die Abstandsbilder 212 basierend auf dem ersten Bild und dem zweiten Bild generieren. Somit kann diese Ausführung das Farbbild 210 basierend auf dem ersten Bild, das Abstandsbild 212 basierend auf dem ersten Bild, das Farbbild 210 basierend auf dem zweiten Bild, und das Abstandsbild 212 basierend auf dem zweiten Bild verwenden.
[Fahrzeugidentifizierungsprozess]
Die 4 und 5 beschreiben jeweils Prozesse, die vom Fahrzeugidentifizierer 164 durchgeführt werden. Der Fahrzeugidentifizierer 164 kann zuerst den Detektionsbereich 214 des Abstandsbilds 212, das auf dem ersten Bild beruht, in eine Mehrzahl von Teilbereichen 216 unterteilen, die in horizontaler Richtung aufgereiht sind. Die Teilbereiche 216 können somit jeweils eine Streifenform haben, wie in (a) von 4 dargestellt. Übrigens kann angenommen werden, dass die streifenförmigen Teilbereiche 216, die durch den Fahrzeugidentifizierer 164 unterteilt sind, zum Beispiel, aber nicht beschränkt auf, eine Reihe von 150 Zeilen bilden, jeweils mit 4 Pixeln für eine horizontale Breite. Zu Beschreibungszwecken wird jedoch ein Beispiel beschrieben, worin der Detektionsbereich 214 in 16 Teilbereiche 216 unterteilt ist.
Der Fahrzeugidentifizierer 164 kann dann, für alle Blöcke, die sich oberhalb der Straßenoberfläche befinden, eine Integration der Anzahl (d.h. Integration der Frequenz von) den relativen Abständen durchführen, die in jedem der segmentierten vorbestimmten Abstände enthalten sind (d.h. Abstandssegmente). Durch Ausführung der Integration kann der Fahrzeugidentifizierer 164 basierend auf der Positionsinformation (d.h. der Dreidimensionale-Position-Information, die von der Positionsinformation-Herleitungseinheit 162 hergeleitet wird) ein Histogramm für jeden der Teilbereiche 216 generieren. Im Ergebnis kann eine Abstandsverteilung 218, wie in (b) von 4 dargestellt, erhalten werden, worin jedes Histogramm mit einem seitlich langgestreckten Rechteck oder Balken bezeichnet ist. In (b) von 4 bezeichnet eine vertikale Richtung die segmentierten vorbestimmten Abstände (d.h. Abstandssegmente), wohingegen die seitliche Richtung die Anzahl der Blöcke bezeichnet (d.h. Frequenz von Blöcken), welche den relativen Abstand für jeden der Abstandssegmente enthält. Übrigens ist (b) von 4 ein virtueller Bildschirm, der bei der Berechnung verwendet wird, und beinhaltet in der Praxis keine Generierung eines visuellen Bildschirms. Der Fahrzeugidentifizierer 164 kann auf die so hergeleitete Abstandsverteilung 218 zurückgreifen, um einen repräsentativen Abstand 220 zu identifizieren (in (b) von 4 mit einem schwarzen Viereck bezeichnet). Der repräsentative Abstand 220 kann der relative Abstand sein, der zu einer Spitze äquivalent ist. Der Begriff „äquivalent zu einer Spitze“ bezieht sich auf einen Spitzenwert oder einen Wert, der sich in der Nähe einer Spitze befindet und eine beliebige Bedingung erfüllt.
Der Fahrzeugidentifizierer 164 kann dann die einander benachbarten Teilbereiche 216 miteinander vergleichen und kann eine Gruppierung der Teilbereiche 216 durchführen, in denen ihre jeweiligen repräsentativen Abstände 220 nahe beieinander liegen (zum Beispiel mit einem Abstand von einem Meter oder weniger in Bezug auf einander angeordnet sind, ohne Einschränkung). Durch Ausführung der Gruppierung kann der Fahrzeugidentifizierer 164 eine oder mehrere Teilbereichgruppen 220 generieren, wie in 5 dargestellt. In einer Situation, wo die drei oder mehr Teilbereiche 216 in dem repräsentativen Abstand 220 nahe beieinander liegen, kann der Fahrzeugidentifizierer 164 alle solche kontinuierlichen Teilbereiche 216 gemeinsam als die Teilbereichgruppe 222 hernehmen. Durch das Gruppieren kann der Fahrzeugidentifizierer 164 eine Identifikation eines beliebigen dreidimensionalen Objekts erlauben, das sich oberhalb der Straßenoberfläche befindet.
Der Fahrzeugidentifizierer 164 kann dann die Gruppierung der Blöcke in der Teilbereichgruppe 222 basierend auf einem Block als Ursprung durchführen, worin der relative Abstand zum repräsentativen Abstand 220 äquivalent ist. Insbesondere kann der Fahrzeugidentifizierer 164 die Gruppierung des Ursprungsblocks und eines beliebigen Blocks durchführen, worin Differenzen jeweils in einem vorbestimmten Bereich vom Ursprungsblock fallen, unter der Annahme, dass diese Blöcke dem gleichen Identifikationsobjekt entsprechen. Differenzen können die Differenz im horizontalen Abstand, die Differenz in der Höhe, und die Differenz im relativen Abstand in Bezug auf den Ursprungsblock enthalten. Der vorbestimmte Bereich kann zum Beispiel 0,1 Meter betragen, ist aber darauf nicht beschränkt. Auf diese Weise kann ein dreidimensionales Objekt 224 als virtuelle Blockgruppe generiert werden. Der vorstehende Bereich kann im realen Raum als Abstand ausgedrückt werden, und kann zum Beispiel vom Hersteller oder einer das Fahrzeug fahrenden Person auf einen beliebigen Wert gesetzt werden, ist aber darauf nicht beschränkt. Der Fahrzeugidentifizierer 164 kann ferner durch die Gruppierung auch die Gruppierung eines beliebigen Blocks durchführen, der neuerlich hinzugefügt ist, basierend auf dem neuerlich hinzugefügten Block als dem Ursprung. Insbesondere kann der Fahrzeugidentifizierer 164 ferner die Gruppierung des neu hinzugefügten Ursprungsblocks und eines beliebigen Blocks durchführen, worin Differenz, einschließlich der Differenz im horizontalen Abstand, der Differenz in der Höhe und der Differenz im relativen Abstand, jeweils in den vorbestimmten Bereich von dem neu hinzugefügten Ursprungsblock fällt. In anderen Worten, alle Gruppen, die als das gleiche Identifikationsobjekt anzunehmen sind, werden dementsprechend durch die Gruppierung gruppiert.
In dieser Ausführung werden die Differenz in dem horizontalen Abstand und die Differenz in der Höhe und die Differenz im relativen Abstand jeweils unabhängig bestimmt, und die Blöcke werden so identifiziert, dass sie zur gleichen Gruppe nur dann gehören, wenn alle Differenzen in den vorbestimmten Bereich fallen. Jedoch kann auch eine beliebige andere Berechnung angewendet werden, um zu identifizieren, dass die Blöcke zur gleichen Gruppe gehören. Zum Beispiel können die Blöcke als zur gleichen Gruppe gehörig identifiziert werden, wenn die mittlere Quadratwurzel der Differenz im horizontalen Abstand, der Differenz in der Höhe und der Differenz im relativen Abstand, ausgedrückt durch √((horizontale Abstandsdifferenz)² + (Höhendifferenz)² + relative Abstandsdifferenz)²) in einen vorbestimmten Bereich fällt. Diese Berechnung erlaubt eine Herleitung der genauen Abstände im realen Raum zwischen den Blöcken, was es möglich macht, die Genauigkeit der Gruppierung zu verbessern.
Wenn das gruppierte dreidimensionale Objekt 224 eine vorbestimmte Bedingung erfüllt, entsprechend einem vordefinierten Fahrzeug, dann kann der Fahrzeugidentifizierer 164 entscheiden, dass das dreidimensionale Objekt 224 das Identifikationsobjekt „Fahrzeug“ ist. Wenn sich zum Beispiel das gruppiert dreidimensionale Objekt 224 auf einer Straße befindet, kann der Fahrzeugidentifizierer 164 bestimmen, ob eine Größe dieses dreidimensionalen Objekts 224 insgesamt äquivalent einer Größe des Identifikationsobjekts „Fahrzeug“ ist. Wenn die Größe des dreidimensionalen Objekts 224 als äquivalent zur Größe des Identifikationsobjekts „Fahrzeug“ bestimmt wird, kann der Fahrzeugidentifizierer 164 das dreidimensionale Objekt 224 als das Identifikationsobjekt „Fahrzeug“ identifizieren. Der Fahrzeugidentifizierer 164 kann auch, als Fahrzeugbereich, einen rechteckigen Bereich identifizieren, den das dreidimensionale Objekt 224, das als das Identifikationsobjekt „Fahrzeug“ identifiziert ist, in dem Bildschirm belegt.
Auf diese Weise erlaubt es die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120, aus dem Abstandsbild 212 als dem ersten Bild ein oder mehrere dreidimensionale Objekte 224 als das Identifikationsobjekt zu extrahieren, wie etwa, aber nicht beschränkt auf, das Fahrzeug (zum Beispiel das vorausfahrende Fahrzeug), was es möglich macht, die Information über die Extraktion für verschiedene Steuerungen zu verwenden. Wenn zum Beispiel ein beliebiges dreidimensionales Objekt 224 im Detektionsbereich 214 als das Fahrzeug identifiziert wird, ist es möglich, eine Steuerung durchzuführen, die das identifizierte Fahrzeug (zum Beispiel das vorausfahrende Fahrzeug) verfolgt, und detektiert Faktoren einschließlich eines relativen Abstands unter einer relativen Beschleunigung, um eine Kollision zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug zu vermeiden, oder um einen Zwischen-Fahrzeug-Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug auf einem sicheren Abstand zu halten.
Um diese Identifikation des vorausfahrenden Fahrzeugs und das Sensieren vom Verhalten des vorausfahrenden Fahrzeugs noch rascher durchzuführen, kann die leuchtende Bremsleuchte unter den Lichtquellenkandidaten bestimmt werden, die sich in dem Fahrzeugbereich befinden, wie unten beschrieben.
[Lichtquellenkandidat-Identifizierungsprozess]
Es ist anzumerken, dass das zweite Bild basierend auf dem zweiten Belichtungsmodus aufgenommen wird, der zum Beispiel, aber nicht beschränkt auf, eine Unterscheidung einer bestimmten Lichtquelle erlaubt. In dieser Ausführung ist, ohne Einschränkung, die Lichtquelle die Bremsleuchte im leuchtenden Zustand. Eine Vorrichtung, die selbst Licht abgibt, wie die Bremsleuchte, macht es möglich, unabhängig von der Helligkeit der Sonne und dem Straßenlicht, hohe Farbwerte zu erhalten. Insbesondere wird die Helligkeit der Bremsleuchte beim Aufleuchten allgemein durch Vorschriften reguliert, was bedeutet, dass es die Durchführung der Bildaufnahme unter Verwendung des Belichtungsmodus, der die Belichtung nur basierend auf einer vorbestimmten Helligkeit erlaubt (zum Beispiel Kurzzeitbelichtung) möglich macht, nur jene Pixel leicht zu extrahieren, die zur Bremsleuchte äquivalent sind.
6 beschreibt eine Differenz zwischen der Bildaufnahme, die basierend auf dem ersten Belichtungsmodus durchgeführt wird, und der Bildaufnahme, die basierend auf dem zweiten Belichtungsmodus durchgeführt wird. (a) von 6 zeigt die Farbbilder 210, deren jedes auf dem im ersten Belichtungsmodus aufgenommenen ersten Bild beruht. Insbesondere zeigt die linke Darstellung in (a) von 6 ein Beispiel, wo eine Heckleuchte leuchtet, wohingegen die rechte Darstellung in (a) von 6 ein Beispiel darstellt, worin sowohl eine Bremsleuchte als auch die Heckleuchte leuchten. Wie aus (a) von 6 ersichtlich, erzeugt der erste Belichtungsmodus, der auf der Helligkeit der Fahrzeugaußenumgebung beruht, kaum einen Unterschied zwischen den Farbwerten an einer Heckleuchtenposition 230, wo die Bremsleuchte nicht leuchtet und die Heckleuchte leuchtet, und den Farbwerten an der Bremsleuchtenposition 232, in der sowohl die Bremsleuchte als auch die Heckleuchte leuchten. Ein Grund dafür ist, dass der erste Belichtungsmodus eine lange Belichtungszeit beinhaltet und dies somit in einer Sättigung der Farbwerte für alle RGB-Komponenten in Bezug auf sowohl die Heckleuchte als auch die Bremsleuchte resultiert.
(b) in 6 zeigt die Farbbilder 210, deren jedes auf dem im zweiten Belichtungsmodus aufgenommenen Bild beruht. Insbesondere zeigt die linke Darstellung in (b) von 6 ein Beispiel, wo die Heckleuchte leuchtet, wohingegen die rechte Darstellung in (b) von 6 ein Beispiel darstellt, wo sowohl die Bremsleuchte als auch die Heckleuchte leuchten. Der zweite Belichtungsmodus kann so eingestellt sein, dass nur die Farbwerte beim Leuchten der Bremsleuchte erhalten werden. Somit erhält, wie aus der linken Darstellung in (b) von 6 ersichtlich, der zweite Belichtungsmodus kaum die Farbwerte, die auf der Helligkeit der Heckleuchte für die Heckleuchtenposition 230 basieren, auch wenn für die Heckleuchte leuchtet. Im Gegensatz hierzu erhält, wie aus der rechten Darstellung in (b) von 6 ersichtlich, der zweite Belichtungsmodus ausreichend unterscheidbar hohe Farbwerte für die Bremsleuchtenposition 232, worin die Bremsleuchte leuchtet.
Der zweite Belichtungsmodus kann so eingestellt werden, dass er die Belichtungszeit aufweist, die bewirkt, dass die R-Komponente als Farbwert der Bremsleuchte in der Abbildungsvorrichtung an die Sättigung grenzt oder nicht. Allgemein haben die Bildaufnahmeeinheiten 110 jeweils einen Dynamikbereich, der signifikant schmaler ist als jener von Menschen, was bedeutet, dass die Farbwerte der Bremsleuchte im Vergleich zur Fahrzeugaußenumgebung relativ zunehmen, wenn die Bildaufnahme basierend auf dem ersten Belichtungsmodus unter lichtarmer Umgebung durchgeführt wird, wie etwa am frühen Abend. In diesem Fall werden nicht nur die R-Komponente sondern auch die G-Komponente und die B-Komponente auf ihre Maximalwerte gesättigt (die Farbwerte haben zum Beispiel Werte von 255) aufgrund der Überlappung der G- und der B-Komponenten mit der R-Komponente, durch die Pixel weiß werden. Im Hinblick auf dieses Problem kann der zweite Belichtungsmodus so eingestellt werden, dass er die Belichtungszeit hat, durch die, beim Leuchten der Bremsleuchte, die R-Komponente an die Sättigung grenzt oder nicht. Dies macht es möglich, nur die R-Komponente am Maximalwert zu extrahieren, während der Einfluss auf die Farbwerte für die G- und B-Komponenten unterdrückt wird, unabhängig von der Umgebung außerhalb des Fahrzeugs. In anderen Worten macht es dies zum Beispiel möglich, eine Differenz im Farbwert zwischen der Bremsleuchte und der Heckleuchte bis zum Maximum sicherzustellen.
In einem bestimmten aber nicht einschränkenden Beispiel, bei dem während der Fahrt am Abend das vorausfahrende Fahrzeug vorhanden ist, kann, wenn der zweite Belichtungsmodus so eingestellt wird, dass die leuchtende Bremsleuchte einen Farbbereich (R) von „200 oder größer“ erfüllt, die leuchtende Heckleuchte auf dem Farbbild 210 erscheinen, das auf dem zweiten Bild beruht, zum Beispiel mit dem Farbbereich (R) von etwa „50“ und einem Farbbereich (B) von etwa „50“. Im Gegensatz hierzu kann die leuchtende Bremsleuchte auf dem Farbbild 210 erscheinen, das auf dem zweiten Bild beruht, zum Beispiel mit dem Farbbereich (R) von „200 oder größer“, dem Farbbereich (G) von „50 oder weniger“ und dem Farbbereich (B) von „50 oder weniger“. Auf diese Weise wird es dem Kandidatidentifizierer 166 möglich, die leuchtende Bremsleuchte mittels des Farbbilds 210 zu identifizieren, das auf dem zweiten Bild beruht. Im Folgenden wird ein Lichtquellenkandidat-Identifizierungsprozess beschrieben, der, als Lichtquellenkandidat, nur solche Kandidaten identifiziert, die als Lichtquellen einschließlich der leuchtenden Bremsleuchte aus dem Farbbild 210 bestimmbar sind, das auf dem zweiten Bild beruht.
7 beschreibt Farbschwellenwerte. Als die Farbschwellenwerte zum Identifizieren der leuchtenden Bremsleuchte aus dem Farbbild 210, das auf dem zweiten Bild beruht, kann die Ausführung, ohne Einschränkung, fünf Farbschwellenwert-Pegel enthalten, nämlich „Gelb (Y)“, „Rot (R)“, „leichtes Dunkelrot im Vergleich zu Rot (WR1)“, „noch dunkleres Rot (WR2)“ und „sehr dunkles Rot (WR3)“, wie in 7 dargestellt. Die Ausführung kann auch, ohne Einschränkung, einen Farbschwellenwert „Überbelichtung“ als Überbelichtungsschwellenwert enthalten, zum Identifizieren eines überbelichteten Lichtquellenkandidaten, wovon Details später beschrieben werden. In dieser Ausführung kann, ohne Einschränkung, eine Standardverschlussgeschwindigkeit im zweiten Belichtungsmodus auf 17 Millisekunden gesetzt werden. Die Ausführung kann auch, mit einer Ausnahme, eine Mehrzahl von Farbbedingungen verwenden, deren jede auf den Farbschwellenwerten beruht, anstatt die Mehrzahl solcher Farbschwellenwerte direkt zu nutzen. Die Farbbedingungen können, ohne Einschränkung, fünf Farbbedingungspegel enthalten, nämlich: „Gelb“ (nachfolgend einfach als „erste Farbbedingung“ bezeichnet); „Gelb“ plus „Rot“ (nachfolgend einfach als „zweite Farbbedingung“ bezeichnet); „Gelb“ plus „Rot“ plus „leichtes Dunkelrot im Vergleich zu Rot“ (nachfolgend einfach als „dritte Farbbedingung“ bezeichnet); „Gelb“ plus „Rot“ plus „leichtes Dunkelrot im Vergleich zu Rot“ plus „noch dunkleres Rot“ (nachfolgend einfach als „vierte Farbbedingung“ bezeichnet); und „Gelb“ plus „Rot“ plus „leichtes Dunkelrot im Vergleich zu Rot“ plus „noch dunkleres Rot“ plus „sehr dunkles Rot“ (nachfolgend einfach als „fünfte Farbbedingung“ bezeichnet). Ein Grund dafür, warum jede der zweiten bis fünften Bedingungen auf der Summe des beliebigen Farbschwellenwerts und eines beliebigen anderen Farbschwellenwerts mit höherer Intensität (Helligkeit) als dieser Farbschwellenwert beruht, ist es, auf geeignete Weise einen Bereich mit höherer Intensität als einer der vorbestimmten Farbschwellenwerte zu bestimmen.
Der Kandidatidentifizierer 166 kann, auf Pixel-weiser Basis, die Farbwerte basierend auf drei Farbtönen R, G und B aus einem Bereich enthalten, der dem Fahrzeugbereich des Farbbilds 210 entspricht, das auf dem zweiten Bild beruht. Ferner kann der Kandidatidentifizierer 166 Pixel identifizieren, in denen die Farbwerte die fünfte Farbbedingung erfüllen, d.h. die Pixel identifizieren, die die Farbwerte entsprechend dem „sehr dunklen Rot“ oder höher beinhalten. Ein Grund dafür ist, dass die Pixel, welche zumindest die Farbwerte entsprechend dem „sehr dunklen Rot“ enthalten, möglicherweise zur leuchtenden Bremsleuchte gehören, die bei der Bildaufnahme aufgenommen werden. Wenn übrigens der Detektionsbereich 214 zum Beispiel, aber nicht beschränkt auf, im verregneten oder wolkigen Wetter ist, kann der Kandidatidentifizierer 166 die Farbwerte nach der Justierung des Weißabgleichs erhalten, um die ursprünglichen Farbwerte zu erhalten.
Wenn die Differenz im horizontalen Abstand, die Differenz in der Höhe und die Differenz im relativen Abstand zwischen den Pixeln, welche gemäß Identifikation die fünfte Farbbedingung erfüllen, jeweils in einen vorbestimmten Bereich fallen, kann der Kandidatidentifizierer 166 die Gruppierung der identifizierten Mehrzahl von Pixeln als einzelner Lichtquellenkandidat durchführen. Der vorbestimmte Bereich kann zum Beispiel 0,1 Meter betragen, ist aber darauf nicht beschränkt. Selbst wenn auf diese Weise die die Bremsleuchte darstellenden Pixel über mehrere Bereiche hinweg vorhanden sind, oder auch wenn die Bremsleuchten, die sich an rechten und linken Seiten des Fahrzeugs befinden, jeweils aus einer Mehrzahl von Leuchten aufgebaut sind, macht es der Kandidatidentifizierer 166 möglich, diese Pixel einzeln so zu erkennen, dass sie zu einer der Bremsleuchten gehören, die sich an rechten und linken Seiten des Fahrzeugs befinden.
[Überbelichtungsbereich-Setzprozess]
Hier kann, in Abhängigkeit von der Außenumgebung wie etwa Sonnenschein-Bedingung, Licht wie etwa das Sonnenlicht oder Licht von einer Straßenlampe, von einer Karosserie, einem Nummernschild, einer Bremsleuchten-Abdeckung, einem Heckfenster oder anderen Fahrzeugteilen reflektiert werden. Dies bewirkt eine Zunahme im Farbwert des Abschnitts, von dem das Licht reflektiert wird, in dem zweiten Bild. Der einfache Vergleich des Farbwerts des identifizierten Lichtquellenkandidaten mit einem festen Schwellenwert könnte daher möglicherweise zu einer fehlerhaften Bestimmung des Abschnitts, von dem das Licht reflektiert wird, als leuchtende Bremsleuchte führen. Obwohl zum Beispiel die Bremsleuchte nicht leuchtet, könnte der Farbwert des Abschnitts, von dem das Sonnenlicht reflektiert wird, höher werden als der feste Schwellenwert, wodurch möglicherweise eine irrtümliche Bestimmung erfolgt, dass die Bremsleuchte leuchtet.
Insbesondere kann in der Außenumgebung, wo das Sonnenlicht vom vorausfahrenden Fahrzeug reflektiert wird, der Farbwert des Abschnitts, von dem das Sonnenlicht reflektiert wird, in dem zweiten Bild hoch werden. Demzufolge kann diese Ausführung beinhalten, einen Überbelichtungsbereich zu setzen, ab dem angenommen wird, dass das Sonnenlicht reflektiert wird. Der Begriff „Überbelichtungsbereich“ bezieht sich auf einen Überbelichtungsabschnitt, von dem das Sonnenlicht reflektiert wird, und eine Überbelichtung verursacht, und einen Abschnitt in der Nähe des überbelichteten Abschnitts. Ein Schwellenwert in Bezug auf den Überbelichtungsbereich kann somit auf einen höheren Wert gesetzt werden als ein Schwellenwert in Bezug auf einen Nicht-Überbelichtungsbereich, von dem angenommen wird, dass das Sonnenlicht nicht reflektiert wird, um die Genauigkeit bei der Detektion der leuchtenden Bremsleuchte zu erhöhen. Übrigens bezieht sich der hier benutzte Begriff „Überbelichtung“ auf einen Pixel oder auf eine Pixelgruppe im zweiten Bild, die als Weiß oder eine Farbe in der Nähe von Weiß gesättigt ist.
In einer bestimmten aber nicht einschränkenden Ausführung kann der Überbelichtungsidentifizierer 168 aus dem Pixeln im Fahrzeugbereich solche Pixel extrahieren, die ein Bedingung der Überbelichtung erfüllen, d.h. Pixel, worin die Farbwerte gleich oder größer als der Überbelichtungsschwellenwert sind (siehe 7). Der Überbelichtungsidentifizierer 168 kann eine Gruppierung der extrahierten mehreren Pixel durchführen, wenn die Differenz im horizontalen Abstand, die Differenz in der Höhe und die Differenz im relativen Abstand zwischen den extrahierten Pixeln jeweils in einem vorbestimmten Bereich von zum Beispiel 0,1 Meter fallen, ist aber darauf nicht beschränkt. Danach kann der Überbelichtungsidentifizierer 168 eine so gruppierte Pixelgruppe als überbelichtete Lichtquelle identifizieren. Übrigens kann der Überbelichtungsfarbschwellenwert als ein Farbwert gesetzt werden, von dem angenommen wird, dass er im zweiten Bild gesättigt ist. In anderen Worten, die überbelichtete Lichtquelle ist hochwahrscheinlich eine Pixelgruppe (oder ein Abschnitt), die durch das Sonnenlicht im zweiten Bild gesättigt ist. In einer Alternative kann der Überbelichtungsidentifizierer 168, als überbelichtete Lichtquelle, den Lichtquellenkandidaten identifizieren, der ein Pixel mit einem Farbwert gleich oder größer dem Überbelichtungsschwellenwert unter den identifizierten Lichtquellenkandidaten enthält.
8 zeigt Formen der überbelichteten Lichtquellen mit veränderlichen Reflektionspositionen von dem vorausfahrenden Fahrzeug. Wie in 8 dargestellt, kann in dem Fahrzeugbereich 240 die überbelichtete Lichtquelle 242, in der das Sonnenlicht vom Heckfenster reflektiert wird, im Wesentlichen kreisförmig sein, weil das Heckfenster eine gekrümmte Oberfläche hat. Unterdessen können in vielen Fällen die überbelichtete Lichtquelle 244, in der das Sonnenlicht von der Karosserie reflektiert wird, und die überbelichtete Lichtquelle 246, in der das Sonnenlicht vom Nummernschild reflektiert wird, aufgrund von unregelmäßiger Reflektion des Sonnenlichts horizontal langgestreckte Formen haben. Der Grund hierfür kann sein, dass die Karosserie und das Nummernschild in Breitenrichtung im Wesentlichen eben sind und komplizierte Formen haben.
Somit können die überbelichtete Lichtquelle 244, worin das Sonnenlicht von der Karosserie reflektiert wird, und die überbelichtete Lichtquelle 246, worin das Sonnenlicht vom Nummernschild reflektiert wird, durch die komplizierten Formen der Karosserie und des Nummernschilds beeinflusst werden. Dies kann in einer Schwierigkeit resultieren, im Fahrzeugbereich 240 den Überbelichtungsbereich, von dem vermutlich das Sonnenlicht reflektiert wird, zu identifizieren.
Im Hinblick auf diese Schwierigkeit kann der Formbestimmer 270 einen Kreisförmigkeitsgrad der überbelichteten Lichtquelle, die vom Überbelichtungsidentifizierer 168 identifiziert wird, herleiten und nur jene überbelichtete Lichtquelle extrahieren, deren so hergeleiteter Kreisförmigkeitsgrad gleich oder größer als ein Kreisförmigkeitsschwellenwert ist. Der Kreisförmigkeitsschwellenwert kann ein Schwellenwert sein, bei dem die Reflektion vom Heckfenster vermutlich auftritt. Hier kann der Kreisförmigkeitsgrad wie folgt hergeleitet werden: ((Fläche der überbelichteten Lichtquelle) × 4π) / (Länge eines Umrisses, der überbelichtete Lichtquelle umgibt)². Der Kreisförmigkeitsschwellenwert kann auf 0,7 (70%) gesetzt werden. Auf diese Weise kann, basierend auf der Form der überbelichteten Lichtquelle, die kreisförmige überbelichtete Lichtquelle, die nahezu kreisförmig ist, als die Lichtquelle identifiziert werden, die aufgrund der Reflektion vom Sonnenlicht überbelichtet ist.
Darüber hinaus kann im zweiten Bild die leuchtende Bremsleuchte konstant die gleiche Positionsrelation zum Fahrzeugbereich 240 haben, während der Abschnitt, dessen Farbwert aufgrund der Reflektion vom Sonnenlicht erhöht ist, sich in Abhängigkeit von der Positionsbeziehung der Sonne zum vorausfahrenden Fahrzeug und eigenen Fahrzeug ändern kann.
Wenn daher die kreisförmige überbelichtete Lichtquelle identifiziert wird, kann die Bewegungsbetrag-Herleitungseinheit 172 die kreisförmige überbelichtete Lichtquelle verfolgen und kann einen Bewegungsbetrag der kreisförmigen überbelichteten Lichtquelle herleiten. In einer bestimmten aber nicht einschränkenden Ausführung kann die Bewegungsbetrag-Herleitungseinheit 172, in Bezug auf jede der kreisförmigen überbelichteten Lichtquellen im zu dieser Zeit erhaltenen zweiten Bild, eine Koordinatendifferenz (di, dj) in den horizontalen und vertikalen Richtungen zwischen einer Mittelkoordinate (iKc, jKc) der kreisförmigen überbelichteten Lichtquelle im zu dieser Zeit erhaltenen zweiten Bild und einer Mittelkoordinate (iTc, jTc) der einen oder mehreren kreisförmigen überbelichteten Lichtquellen in den das letzte oder vorletzte Mal erhaltenen zweiten Bildern herleiten. Übrigens braucht, in Bezug auf die kreisförmige überbelichtete Lichtquelle im das vorletzte Mal erhaltenen zweiten Bild die Bewegungsbetrag-Herleitungseinheit 172 nur jene kreisförmige überbelichtete Lichtquelle verwenden, die der kreisförmigen überbelichteten Lichtquelle im das letzte Mal erhaltenen zweiten Bild nicht zugeordnet ist. In anderen Worten, die Bewegungsbetrag-Herleitungseinheit 172 braucht nur die kreisförmige überbelichtete Lichtquelle zu verwenden, die nicht verfolgt worden ist. Ein Grund hierfür kann wie folgt sein. Wenn die kreisförmige überbelichtete Lichtquelle im das vorletzte Mal erhaltenen zweiten Bild der kreisförmigen überbelichteten Lichtquelle dem das letzte Mal erhaltenen zweiten Bild zugeordnet wird, kann das Verfolgen anhand der kreisförmigen überbelichteten Lichtquelle im das letzte Mal erhaltenen zweiten Bild erfolgen. Die Mittelkoordinate (iKc, jKc) und die Mittelkoordinate (iTc, jTc) können Pixelpositionen in den horizontalen und vertikalen Richtungen von einer vorbestimmten Ursprungsposition im zweiten Bild sein.
Danach kann die Bewegungsbetrag-Herleitungseinheit 172 die kreisförmige überbelichtete Lichtquelle im dieses Mal erhaltenen zweiten Bild der kreisförmigen überbelichteten Lichtquelle im das letzte Mal oder vorletzte Mal erhaltenen zweiten Bild zuordnen, um eine Kombination herzustellen. Die kreisförmige überbelichtete Lichtquelle im dieses Mal erhaltenen zweiten Bild kann die Koordinatendifferenz (di, dj) in den horizontalen und vertikalen Richtungen aufweisen, die gleich oder kleiner als der vorbestimmte Schwellenwert (Tri, Trj) ist, und eine Summe (di + dj) der horizontalen Koordinatendifferenz di und der vertikalen Koordinatendifferenz dj, die minimal ist. Übrigens kann der Schwellenwert Tri als die Anzahl von Pixeln gesetzt werden, die als zum Beispiel 50 cm äquivalent ist, ist aber darauf nicht beschränkt. Der Schwellenwert Trj kann als die Anzahl der Pixel gesetzt werden, die dreimal so hoch wie der Schwellenwert Tri ist (d.h. die Anzahl der Pixel ist äquivalent zu 150 cm).
Darüber hinaus kann, unter den kreisförmigen überbelichteten Lichtquellen in dem dieses Mal erhaltenen zweiten Bild, in Bezug auf die kreisförmige überbelichtete Lichtquelle, die der kreisförmigen überbelichteten Lichtquelle im das letzte Mal oder vorletzte Mal erhaltenen zweiten Bild nicht zugeordnet ist, die Bewegungsbetrag-Herleitungseinheit 172 die relevante kreisförmige überbelichtete Lichtquelle als die neuerlich betrachtete kreisförmige überbelichtete Lichtquelle betrachten (die keine Nachführquelle hat).
Ferner kann, unter der kreisförmigen überbelichteten Lichtquelle in dem das vorletzte Mal erhaltenen zweiten Bild, in Bezug auf die kreisförmige überbelichtete Lichtquelle, die der kreisförmigen überbelichteten Lichtquelle in den das letzte Mal und dieses Mal erhaltenen zweiten Bildern nicht zugeordnet ist, die Bewegungsbetrag-Herleitungseinheit 172 annehmen, dass die Verfolgung ausgesetzt hat, und kann die Verfolgung der relevanten kreisförmigen überbelichteten Lichtquelle beenden.
Dann kann, unter der kreisförmigen überbelichtete Lichtquelle im dieses Mal erhaltenen zweiten Bild, in Bezug auf die kreisförmige überbelichtete Lichtquelle, die der kreisförmigen überbelichteten Lichtquelle im das letzte Mal oder vorletzte Mal erhaltenen zweiten Bild zugeordnet ist, die Bewegungsbetrag-Herleitungseinheit 172 eine dreidimensionale Position (xTi (t), yTi (t), zTi (t)) der Mitte eines rechteckigen Abschnitts, der die kreisförmige überbelichtete Lichtquelle umgibt, basierend auf der von der Positionsinformation-Herleitungseinheit 162 hergeleiteten Parallaxen-Information herleiten. Die Bewegungsbetrag-Herleitungseinheit 172 kann auch eine dreidimensionale Position (xCi (t), yCi (t), zCi (t)) der Mitte des Fahrzeugbereichs 240 basierend auf der von der Positionsinformation-Herleitungseinheit 162 hergeleiteten Parallaxen-Information herleiten.
Danach kann die Bewegungsbetrag-Herleitungseinheit 172 einen Betrag der horizontalen Abweichung dxi (t) = xCi (t) - xTi (t) der kreisförmigen überbelichteten Lichtquelle in Bezug auf die Mitte des Fahrzeugbereichs 240 herleiten. Die Bewegungsbetrag-Herleitungseinheit 172 kann auch einen Integrationswert des Abweichungsbetrags dxi (t) der kreisförmigen überbelichteten Lichtquelle herleiten, deren Verfolgung gestartet worden ist, d.h. der Bewegungsbetrag ∑ddxi (t).
Danach kann die Überbelichtungsbereich-Setzeinheit 176 die kreisförmige überbelichtete Lichtquelle als eine Lichtquelle identifizieren, die durch die Reflektion von Sonnenlicht verursacht wird, wenn der Bewegungsbetrag der relevanten kreisförmigen überbelichteten Lichtquelle gleich oder größer als ein vorbestimmter Schwellenwert des Bewegungsbetrags ist. Der Schwellenwert des Bewegungsbetrags kann zum Beispiel auf 50 cm gesetzt werden, ist aber darauf nicht beschränkt. Nachfolgend kann die durch Reflektion vom Sonnenlicht verursachte Lichtquelle auch als bewegte überbelichtete Lichtquelle bezeichnet werden. Die Überbelichtungsbereich-Setzeinheit 176 kann den Überbelichtungsbereich in die Nähe der bewegten überbelichteten Lichtquelle setzen. Der Überbelichtungsbereich kann ein Bereich sein, in dem der Farbwert aufgrund der Reflektion des Sonnenlichts vermutlich erhöht wird.
9 zeigt den Überbelichtungsbereich 252. 10 zeigt eine Austrittsrate der Lichtquellenkandidaten aufgrund der Reflektion vom Sonnenlicht. In einer bestimmten aber nicht einschränkenden Ausführung, wie in (a) von 9 dargestellt, sei angenommen, dass die drei Lichtquellenkandidaten 250a, 250b und 250c im Fahrzeugbereich 240 identifiziert werden, und der Lichtquellenkandidat 250a als die kreisförmige überbelichtete Lichtquelle identifiziert wird. Es sei, wie in (b) und (c) von 9 dargestellt, angenommen, dass der Lichtquellenkandidat 250a (die kreisförmige überbelichtete Lichtquelle) sich (zwischen mehreren Einzelbildern) im Verlauf der Zeit bewegt, und der Lichtquellenkandidat 250a als die bewegte überbelichtete Lichtquelle identifiziert wird.
In diesem Fall kann, wie in (d) von 9 dargestellt, die Überbelichtungsbereich-Setzeinheit 176 für das Setzen eines Überbelichtungsbereichs 252 sorgen. Der Überbelichtungsbereich 252 kann ein Bereich sein, der sich mit einer vorbestimmten Breite vertikal erstreckt, mit einer horizontalen Mitte des Lichtquellenkandidaten (der bewegten überbelichteten Lichtquelle) 250a, die als Referenz dient. Die Überbelichtungsbereich-Setzeinheit 176 kann auch , als Nicht-Überbelichtungsbereich 254, einen anderen Bereich als den Überbelichtungsbereich 252 in dem Fahrzeugbereich 240 setzen. Der Nicht-Überbelichtungsbereich 254 kann ein Bereich sein, in dem anzunehmen ist, dass er durch die Reflektion vom Sonnenlicht unbeeinflusst ist.
Hier wurde, bezugnehmend auf 10, durch Experimente nachgewiesen, dass die Lichtquellen, die als durch die Reflektion vom Sonnenlicht identifiziert wurden, mit einer hohen Rate innerhalb eines Bereichs von 300 Millimetern oder weniger horizontal austraten, aber mit einer extrem niedrigen Rate in einem Bereich von mehr als 300 Millimetern oder mehr horizontal, von der horizontalen Mitte der bewegten überbelichteten Lichtquelle, die als Referenz dient. Ein Grund hierfür könnte darin liegen, dass bei vielen Fahrzeugen die Heckfenster in Breitenrichtung gekrümmt sind, aber sich die Krümmung in der Höhenrichtung nicht stark ändert. Die Überbelichtungsbereich-Setzeinheit 176 kann daher den Überbelichtungsbereich 252, der sich vertikal mit einer Breite von ±300 Millimeter horizontal im Fahrzeugbereich 240 erstreckt, mit der horizontalen Mitte des Lichtquellenkandidaten (der bewegten überbelichteten Lichtquelle) 250a, die als die Referenz dient, setzen.
Im Folgenden wird ein Leuchtenbestimmungsprozess beschrieben. In dem Leuchtenbestimmungsprozess wird erlaubt, dass die Farbbedingungen und die Leuchtzustand-Schwellenwerte zwischen dem Überbelichtungsbereich 252 und dem Nicht-Überbelichtungsbereich 254 unterschiedlich sind. Die Farbbedingungen und die Leuchtzustand-Bestimmungsschwellenwerte können in der Bestimmung benutzt werden, ob der im Fahrzeugbereich 240 befindliche Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht.
Nachfolgend werden die Leuchtzustand-Bestimmungsschwellenwerte detailliert beschrieben.
[Leuchtenbestimmungsprozess]
11 fasst die Farbbedingungen und die Leuchtzustand-Bestimmungsschwellenwerte in Bezug auf die Lichtquellenkandidaten zusammen, die sich in dem Überbelichtungsbereich 252 und dem Nicht-Überbelichtungsbereich 254 befinden. Wie später im Detail beschrieben, kann der Flächenwandler 178 die Anzahl der Pixel des Lichtquellenkandidaten unter Verwendung der in 11 zusammengefassten Farbbedingungen in eine Fläche umwandeln. Der Leuchtenbestimmer 180 kann, unter Verwendung der Leuchtzustand-Bestimmungsschwellenwerte, bestimmen, ob der sich im Fahrzeugbereich 240 befindliche Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht.
Wie in 11 dargestellt, sind im Nicht-Überbelichtungsbereich 254 die Farbbedingungen entsprechend dem relativen Abstand vom vorausfahrenden Fahrzeug unterschiedlich. Ein Grund hierfür kann folgender sein: Wenn der relative Abstand länger wird, kann der Farbwert der Bremsleuchte, die im zweiten Bild aufgenommen wird, kleiner werden. Dementsprechend kann der Leuchtzustand-Bestimmungsschwellenwerte, der als die Farbbedingung dienen kann, verringert werden, wenn der relative Abstand länger wird, um zu verhindern, dass die leuchtende Bremsleuchte, in Abhängigkeit von den Farbbedingungen, irrtümlich als nicht-leuchtend bestimmt wird.
In dieser Ausführung kann die Farbbedingung des Nicht-Überbelichtungsbereichs 254 als die zweite Farbbedingung gesetzt werden, wenn der relative Abstand gleich oder größer als 0 (null) Meter aber kleiner als 40 Meter ist, als die dritte Farbbedingung, wenn der relative Abstand gleich oder größer als 40 Meter aber kleiner als 60 Meter ist, als die vierte Farbbedingung, wenn der relative Abstand gleich oder größer als 60 Meter aber kleiner als 80 Meter ist, und als die fünfte Farbbedingung, wenn der relative Abstand gleich oder größer als 80 Meter ist. Der Leuchtzustand-Bestimmungsschwellenwert des Nicht-Überbelichtungsbereichs 254 kann als Leuchtzustand-Bestimmungsschwellenwert THL gesetzt werden, der später im Detail beschrieben wird.
Unterdessen kann die Farbbedingung des Überbelichtungsbereichs 252 unabhängig vom relativen Abstand auf die zweite Farbbedingung gesetzt werden, weil die Reflektion des Sonnenlichts sehr wahrscheinlich die Ursache des hohen Farbwerts ist. Der Leuchtzustand-Bestimmungsschwellenwert des Überbelichtungsbereichs 252 kann als Leuchtzustand-Bestimmungsschwellenwert THH gesetzt werden, der höher ist als der Leuchtzustand-Bestimmungsschwellenwerte THL.
Es ist anzumerken, dass die Abmessung des Lichtquellenkandidaten, der die Farbbedingung erfüllt, klein werden könnte und somit die Anzahl der als der Lichtquellenkandidat zu gruppierenden Pixel klein werden könnte, wenn der relative Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug lang ist. Wenn hingegen der relative Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug kurz ist, könnte die Abmessung vom Lichtquellenkandidat, der die Farbbedingung erfüllt, groß werden und könnte somit die Anzahl der als der Lichtquellenkandidat zu gruppierenden Pixel dementsprechend groß werden. Daher kann sich die Anzahl der Pixel, welche die Farbbedingung erfüllt, in Abhängigkeit von einer Veränderung im relativen Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug auch dann verändern, wenn die Bremsleuchte ihren leuchtenden Zustand beibehält. Wenn die Veränderung in der Anzahl der Pixel, welche die Farbbedingung erfüllt, in Abhängigkeit von einer Positionsbeziehung zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug auftritt, obwohl die Bremsleuchte leuchtet, könnte demzufolge möglicherweise das folgende Problem auftreten. Ein Problem ist, dass, selbst wenn die Bremsleuchte leuchtet und somit die Pixel, die vermutlich die Farbbedingungen erfüllen, vorhanden sind, könnte die Anzahl der Pixel, die die Farbbedingung erfüllt, den Schwellenwert nicht erreichen, weil die Veränderung in der Anzahl der Pixel dem übermäßig langen relativen Abstand zurechenbar ist. Im Hinblick auf dieses Problem kann die Ausführung die Anzahl der Pixel, die die Farbbedingung erfüllt, basierend auf dem relativen Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug in eine aktuelle Fläche umwandeln.
12 beschreibt eine Beziehung des relativen Abstands zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug zur Anzahl von Pixeln. In 12 bezeichnet die horizontale Achse den relativen Abstand, während die vertikale Achse die Anzahl der Pixel bezeichnet, die ein dreidimensionales Objekt mit einer vorbestimmten Größe belegt. Wie aus 12 ersichtlich, wird die Anzahl der Pixel kleiner, wenn der relative Abstand länger wird, auch für das gleiche dreidimensionale Objekt, d.h. die gleiche Fläche. Eine solche Änderung in der Anzahl von Pixeln kann durch eine Funktion angenähert werden, worin die Anzahl der Pixel proportional zum relativen Abstand von einem Punkt, wo der relative Abstand 0 (null) ist, bis zu einem Punkt „a“ des relativen Abstands in 12 sein kann. Nach dem Punkt „a“ kann die Anzahl der Pixel proportional zur 3/2-Potenz des relativen Abstands sein. Allgemein ist eine Abmessung des dreidimensionalen Objekts in einem Bild einfach proportional zum relativen Abstand. Im Falle einer Lichtquelle streut jedoch ein scheinbarer Leuchtbereich aufgrund des Einflusses der Lichtemission, wodurch die Beziehung zwischen dem relativen Abstand und der Anzahl der Pixel nicht-linear wird, wie in 12 dargestellt.
Daher kann der Flächenwandler 178 die Anzahl der Pixel zählen, die die Farbbedingung erfüllen (siehe 11), die basierend auf dem relativen Abstand von dem vorausfahrenden Fahrzeug gesetzt ist, und kann, basierend auf der in 12 dargestellten Umkehrfunktion (d.h. Division des relativen Abstands zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug durch die Anzahl der Pixel in 12) die Anzahl der Pixel, welche die Farbbedingung erfüllt, in die Fläche umwandeln. In einer bestimmten aber nicht einschränkenden Ausführung kann, in Bezug auf den Lichtquellenkandidat, der sich in dem Nicht-Überbelichtungsbereich 254 befindet, der Flächenwandler 178 die Anzahl der Pixel zählen, die die zweite Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 0 (null) Meter aber kleiner als 40 Meter ist, kann die Anzahl der Pixel zählen, die die dritte Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 40 Meter aber kleiner als 60 Meter ist, kann die Anzahl der Pixel zählen, die die vierte Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 60 Meter aber kleiner als 80 Meter ist, und kann die Anzahl der Pixel zählen, die die fünfte Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 80 Meter ist. In Bezug auf den Lichtquellenkandidaten, der sich in dem Überbelichtungsbereich 252 befindet, kann der Flächenwandler 178, unabhängig vom relativen Abstand, die Anzahl der Pixel zählen, die die zweite Farbbedingung erfüllt.
Nach dem Zählen kann der Flächenwandler 178 die gezählte Anzahl von Pixeln, basierend auf der in 12 dargestellten Umkehrfunktion (d.h. Division des relativen Abstands zwischen eigenem Fahrzeug 1 und dem vorausfahrenden Fahrzeug durch die Anzahl von Pixeln in 12) in die Fläche umwandeln. Dies reduziert die Größenveränderung vom dreidimensionalen Objekt, was es dem später beschriebenen Leuchtenbestimmer 180 möglich macht, die leuchtende Bremsleuchte mit hoher Genauigkeit zu bestimmen, indem er die so umgewandelte Fläche mit den Leuchtzustandbestimmungs-Schwellenwerten vergleicht.
13 ist ein Histogramm, das die Leuchtzustand-Bestimmungsschwellenwerte statistisch beschreibt. Insbesondere beschreibt 13 Statistiken, die aus einer Fläche eines Abschnitts genommen sind, von der das Sonnenlicht reflektiert ist, und einer Fläche der leuchtenden Bremsleuchte, wobei die horizontale Achse die Frequenz bezeichnet. Wie in 13 beschrieben, ist es statistisch bekannt, dass die Fläche des Abschnitts, von dem das Sonnenlicht reflektiert wird, meistens kleiner ist als die Fläche der leuchtenden Bremsleuchte.
In dieser Ausführung kann daher der Leuchtzustand-Bestimmungsschwellenwert THH statistisch vorbestimmt und im Speicher 152 gespeichert werden. Der Leuchtzustand-Bestimmungsschwellenwert THH kann die Fläche des Abschnitts, von dem das Sonnenlicht reflektiert wird, und die Fläche der leuchtenden Bremsleuchte unterscheiden. Hier kann ein plausibles Verfahren darin liegen, zu bestimmen, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht, in Bezug auf alle Lichtquellenkandidaten, allein unter Verwendung des Leuchtzustand-Bestimmungsschwellenwerts THH. Aber die Lichtquellenkandidaten, die als unterhalb des Leuchtzustand-Bestimmungsschwellenwerts THH liegend bestimmt werden, könnten nicht wenige leuchtende Bremsleuchten enthalten. Dementsprechend kann der Leuchtzustand-Bestimmungsschwellenwerte THL auch statistisch vorbestimmt und im Speicher 152 gespeichert werden. Der Leuchtzustand-Bestimmungsschwellenwert THL kann ein Wert sein, der niedriger als der Leuchtzustand-Bestimmungsschwellenwert THH ist und kleiner ist als die Fläche der leuchtenden Bremsleuchte. Der Leuchtzustand-Bestimmungsschwellenwert THH kann auf den Lichtquellenkandidat im Überbelichtungsbereich 252 angewendet werden, wenn der Farbwert aufgrund der Reflektion vom Sonnenlicht als erhöht angenommen wird, während der Leuchtzustand-Bestimmungsschwellenwert THL auf den Lichtquellenkandidat im Nicht-Überbelichtungsbereich 254 angewendet werden kann, worin angenommen wird, dass die Reflektion vom Sonnenlicht nicht auftritt.
In einer bestimmten aber nicht einschränkenden Ausführung kann der Leuchtenbestimmer 180 vorläufig bestimmen, dass der sich im Nicht-Überbelichtungsbereich 254 befindliche Lichtquellenkandidat die leuchtende Bremsleuchte ist, wenn die Fläche des im Nicht-Überbelichtungsbereich 254 befindlichen Lichtquellenkandidat gleich oder größer als der Leuchtzustand-Bestimmungsschwellenwert THL ist. Unterdessen kann der Leuchtenbestimmer 180 vorläufig bestimmen, dass der sich im Überbelichtungsbereich 252 befindliche Lichtquellenkandidat die leuchtende Bremsleuchte ist, allein in einem Fall, wo die Fläche des sich im Überbelichtungsbereich 252 befindlichen Lichtquellenkandidat gleich oder größer als der Leuchtzustand-Bestimmungsschwellenwert THH ist.
Der Leuchtenbestimmer 180 kann ferner bestimmen, ob der Lichtquellenkandidat, der vorläufig als leuchtende Bremsleuchte bestimmt ist, allein Bedingungen erfüllt, wie, ohne Einschränkung, einen Höhenbereich von „0,3 Meter bis 2,0 Meter“, einen Breitenbereich in der horizontalen Distanz von „0,05 Meter bis 0,2 Meter“ und einen Breitenbereich in der vertikalen Distanz von „0,05 Meter bis 0,2 Meter“. Der Leuchtenbestimmer 180 kann auch bestimmen, ob eine Kombination der Lichtquellenkandidaten als Paar Bedingungen erfüllt, wie ohne Einschränkung, eine Differenz in horizontaler Distanz von „1,4 Meter bis 1,9 Meter“, eine Differenz in vertikaler Distanz von „0,3 Meter oder weniger“ und ein Flächenverhältnis von „50% bis 200%“. Der Leuchtenbestimmer 180 kann das Paar der Lichtquellenkandidaten, die die vorstehenden beispielhaften Bedingungen erfüllen, als leuchtende Bremsleuchte identifizieren. Eine solche Konfiguration, die die Lichtquellenkandidaten als Bremsleuchten nur dann identifiziert, wenn deren Lichtquellenkandidaten sich an ihren jeweiligen Positionen entsprechend den relevanten Positionen eines Fahrzeugs befinden, macht es möglich, eine irrtümliche Erkennung des Lichtquellenkandidaten als Bremsleuchte zu verhindern. In anderen Worten, es lässt sich zum Beispiel verhindern, dass der Lichtquellenkandidat, der nur genauso hell wie die Bremsleuchte aufleuchtet, wie etwa, aber nicht beschränkt auf, eine Nebelleuchte, irrtümlich als die Bremsleuchte erkannt wird.
Nachdem die leuchtende Bremsleuchte auf diese Weise bestimmt ist, kann der Leuchtenbestimmer 180 die bestimmte Bremsleuchte dem „Fahrzeug“ zuordnen, das basierend auf dem ersten Bild durch den oben beschriebenen Belichtungsmodus identifiziert ist.
Wie im Vorstehenden beschrieben, kann, in Bezug auf den Lichtquellenkandidat im Überbelichtungsbereich 252 in der Nähe der überbelichteten Lichtquelle, die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 die Anzahl der Pixel unter Verwendung der Farbbedingung, die gleich oder höher als die Farbbedingung in Bezug auf den Lichtquellenkandidat im Nicht-Überbelichtungsbereich 254 ist, auch dann zählen, wenn der Farbwert der Lichtquelle im Überbelichtungsbereich 252 aufgrund der Reflektion vom Sonnenlicht erhöht ist. Somit wird es möglich, die Fläche unter Berücksichtigung vom Einfluss durch die Reflektion vom Sonnenlicht herzuleiten, und die leuchtende Bremsleuchte genau zu bestimmen. Übrigens kann, in Bezug auf den Lichtquellenkandidat im Überbelichtungsbereich 252, die Anzahl der Pixel auch unter Verwendung der Farbbedingung gezählt werden, die höher ist als die Farbbedingung, die von dem Lichtquellenkandidaten im Nicht-Überbelichtungsbereich 254 verwendet wird.
Ferner kann, in Bezug auf den Lichtquellenkandidat im Überbelichtungsbereich 252 in der Nähe der überbelichteten Lichtquelle, die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 die Bestimmung durchführen, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist, unter Verwendung des unterschiedlichen Leuchtzustand-Bestimmungsschwellenwerts THH, der höher ist als der vom Lichtquellenkandidat im Nicht-Überbelichtungsbereich 254, auch wenn der Farbwert des Lichtquellenkandidat im Überbelichtungsbereich 252 aufgrund der Reflektion vom Sonnenlicht erhöht ist. Somit wird es möglich gemacht, die Bestimmung unter Berücksichtigung vom Einfluss der Reflektion vom Sonnenlicht durchzuführen und die leuchtende Bremsleuchte genauer zu bestimmen.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 kann auch Erfordernisse erübrigen, eine Luminanzänderung der Bremsleuchte kontinuierlich zu detektieren, nachdem das vorausfahrende Fahrzeug identifiziert ist. Somit wird es möglich, die leuchtende Bremsleuchte rasch zu bestimmen.
[Fluss des Fahrzeugaußenumgebung-Erkennungsprozesses]
Nachfolgend wird ein beispielhafter Fluss eines Fahrzeugaußenumgebung-Erkennungsprozesses beschrieben, der von der zentralen Steuereinrichtung 154 auszuführen ist. Der Fahrzeugaußenumgebung-Erkennungsprozess kann den Bildprozess, den Fahrzeugidentifizierungsprozess, den Lichtquellenkandidat-Identifizierungsprozess, den Überbelichtungsbereich-Setzprozess und den Leuchtenbestimmungsprozess enthalten, wie oben beschrieben.
14 ist ein Flussdiagramm, das einen beispielhaften Fluss des Fahrzeugaußenumgebung-Erkennungsprozesses darstellt. 15 ist ein Flussdiagramm, das einen beispielhaften Fluss eines Bremsleuchtenbestimmungsprozesses darstellt. Bezugnehmend auf 14 kann das Bildprozessormodul 160 zunächst das basierend auf dem ersten Belichtungsmodus aufgenommene erste Bild und das basierend auf dem zweiten Belichtungsmodus aufgenommene zweite Bild von den Bildaufnahmeeinheiten 110 erhalten (S300). Das Bildprozessormodul 160 kann danach die Parallaxe aus den erhaltenen Bildern herleiten, und die Positionsinformation-Herleitungseinheit 162 kann die dreidimensionale Positionsinformation entsprechend jedem Teil eines dreidimensionalen Objekts basierend auf der hergeleiteten Parallaxe herleiten (S302). Der Fahrzeugidentifizierer 164 kann danach das Fahrzeug und den Fahrzeugbereich aus den dreidimensionalen Objekten identifizieren, die jeweils basierend auf der dreidimensionalen Positionsinformation gruppiert sind, und kann die relative Position (zum Beispiel deren relativen Abstand) zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug identifizieren (S304).
Der Kandidatidentifizierer 166 kann danach bestimmen, ob ein etwaiges vorausfahrendes Fahrzeug identifiziert worden ist (S306). Wenn kein vorausfahrendes Fahrzeug identifiziert worden ist (NEIN in S306), kann der Kandidatidentifizierer 166 die Einzelbildzahl N der zweiten Bilder zurücksetzen, die nach den Identifizierung des vorausfahrenden Fahrzeugs erhalten werden (S308), und kann den relevanten Fahrzeugaußenumgebung-Erkennungsprozess beenden.
Wenn hingegen das vorausfahrende Fahrzeug identifiziert worden ist (JA in S306), kann der Kandidatidentifizierer 166 die Einzelbildzahl N um eins (1) erhöhen (S310) und kann danach, als den Lichtquellenkandidaten, die Gruppe von Pixeln identifizieren, in denen die Farbwerte die fünfte Farbbedingung erfüllen (S312). Die Gruppe von Pixeln stellt hier das zweite Bild dar. Danach kann der Überbelichtungsidentifizierer 168, als die überbelichtete Lichtquelle, die Gruppe von Pixeln identifizieren, worin die Farbwerte gleich oder größer als der Überbelichtungsschwellenwert sind (S314).
Danach kann der Formbestimmer 170 den Kreisförmigkeitsgrad der vom Überbelichtungsidentifizierer 168 identifizierten überbelichteten Lichtquelle herleiten. Der Formbestimmer 170 kann, als die kreisförmige überbelichtete Lichtquelle, jene überbelichtete Lichtquelle identifizieren, deren so hergeleiteter Kreisförmigkeitsgrad gleich oder größer als der Kreisförmigkeitsschwellenwert ist, der der Reflektion vom Heckfenster zugeordnet ist (S316).
Danach kann die Bewegungsbetrag-Herleitungseinheit 172 die kreisförmige überbelichtete Lichtquelle verfolgen (S318), indem sie die kreisförmige überbelichtete Lichtquelle im das letzte Mal oder vorletzte Mal erhaltenen zweiten Bild der kreisförmigen überbelichteten Lichtquelle im dieses Mal erhaltenen zweiten Bild zuordnet. Somit kann die Bewegungsbetrag-Herleitungseinheit 172 den Bewegungsbetrag in der verfolgten kreisförmigen überbelichteten Lichtquelle herleiten (S320).
Danach kann der Bewegte-Überbelichtung-Identifizierer 174 bestimmen, ob die Einzelbildzahl N gleich oder größer als 100 ist (S322). Wenn die Einzelbildzahl kleiner als 100 ist (NEIN in S322), kann der Bewegte-Überbelichtung-Identifizierer 174 den relevanten Fahrzeugaußenumgebung-Erkennungsprozess beenden.
Wenn hingegen die Einzelbildzahl N gleich oder größer als 100 ist (JA in S322), kann der Bewegte-Überbelichtung-Identifizierer 174 bestimmen, ob der Bewegungsbetrag der kreisförmigen überbelichteten Lichtquelle gleich oder größer als der Schwellenwert des Bewegungsbetrags ist (S324). Wenn der Bewegungsbetrag der kreisförmigen überbelichteten Lichtquelle gleich oder größer als der Schwellenwert des Bewegungsbetrags ist (JA in S324), kann der Bewegte-Überbelichtung-Identifizierer 174, als die bewegte überbelichtete Lichtquelle, jene kreisförmige überbelichtete Lichtquelle identifizieren, deren Bewegungsbetrag gleich oder größer als der Schwellenwert des Bewegungsbetrags ist (S326). Danach kann die Überbelichtungsbereich-Setzeinheit 176 den Überbelichtungsbereich 252 setzen (S328). Der Überbelichtungsbereich 252 kann in einem Bereich von ±300 Millimetern horizontal im Fahrzeugbereich 240 liegen, mit der horizontalen Mitte der bewegten überbelichteten Lichtquelle als der Referenz. Übrigens kann die Überbelichtungsbereich-Setzeinheit 176 auch den gesamten Fahrzeugbereich 240 als den Nicht-Überbelichtungsbereich 254 setzen, in einem Fall, in dem der Bewegungsbetrag der kreisförmigen überbelichteten Lichtquelle kleiner als der Schwellenwert des Bewegungsbetrags ist (NEIN in S324), und keine bewegte überbelichtete Lichtquelle identifiziert worden ist. Wenn die bewegte überbelichtete Lichtquelle identifiziert worden ist und das Setzen des Überbelichtungsbereichs 252 vorgenommen worden ist, kann die Überbelichtungsbereich-Setzeinheit 176, als den Nicht-Überbelichtungsbereich 254, einen Bereich in dem Fahrzeugbereich 240 setzen, der nicht als Überbelichtungsbereich 252 gesetzt ist.
Danach können der Flächenwandler 178 und der Leuchtenbestimmer 180 den Bremsleuchtenbestimmungsprozess durchführen (S330), der die Bestimmung der leuchtenden Bremsleuchte beinhalten kann, und den relevanten Fahrzeugaußenumgebungserkennungsprozess beenden. In einer bestimmten aber nicht einschränkenden Ausführung, bezugnehmend auf 15, kann der Flächenwandler 178 einen der identifizierten aber nicht bestimmten Lichtquellenkandidaten auswählen (S340). Der Flächenwandler 178 kann bestimmen, dass sich der so ausgewählte Lichtquellenkandidat in dem Überbelichtungsbereich 252 befindet (S342). Wenn sich der ausgewählte Lichtquellenkandidat in dem Überbelichtungsbereich 252 befindet (JA in S342), kann der Flächenwandler 178 die Anzahl der Pixel zählen, bei denen die Farbwerte die zweite Farbbedingung erfüllen, und kann die Anzahl der Pixel, basierend auf dem relativen Abstand von dem vorausfahrenden Fahrzeug, in die Fläche umwandeln (S344). Danach kann der Leuchtenbestimmer 180 die so umgewandelte Fläche mit dem Leuchtzustand-Bestimmungsschwellenwert THH vergleichen, um vorläufig zu bestimmen, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht (S346).
Wenn sich hingegen der ausgewählte Lichtquellenkandidat nicht im Überbelichtungsbereich 252 befindet, d.h., wenn sich der ausgewählte Lichtquellenkandidat im Nicht-Überbelichtungsbereich 254 befindet (NEIN in S324), kann der Flächenwandler 178 die Anzahl der Pixel zählen, bei denen die Farbwerte die Farbbedingung gemäß dem relativen Abstand erfüllen (zum Beispiel eine der zweiten bis fünften Farbbedingung), und die Anzahl der Pixel in die Fläche, basierend auf relativen Abstand vom vorausfahrenden Fahrzeug, umwandeln (S348). Danach kann der Leuchtenbestimmer 180 die so umgewandelte Fläche mit dem Leuchtzustand-Bestimmungsschwellenwert THL vergleichen, um vorläufig zu bestimmen, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht (S350).
Der Flächenwandler 178 kann danach bestimmen, ob ein etwaiger nicht bestimmter Lichtquellenkandidat vorhanden ist (S352). Wenn bestimmt wird, dass der nicht bestimmte Lichtquellenkandidat vorhanden ist (JA in S352), kann der Fluss zum Prozess in S340 zurückkehren. Wenn bestimmt wird, dass ein nicht bestimmter Lichtquellenkandidat vorhanden ist (NEIN in S352), kann der Leuchtenbestimmer jenen Lichtquellenkandidat, der vorläufig als die leuchtende Bremsleuchte bestimmt ist, als die leuchtende Bremsleuchte bestimmen, wenn der vorläufig bestimmte Lichtquellenkandidat die Bedingungen, zum Beispiel, aber nicht beschränkt auf, der Position und Größe erfüllt (S354). Dies kann den relevanten Fahrzeugaußenumgebung-Erkennungsprozess abschließen.
Obwohl im Vorstehenden einige bevorzugte Ausführungen der Erfindung als Beispiel in Bezug auf die beigefügten Zeichnungen beschrieben worden sind, ist die Erfindung keineswegs auf die oben beschriebenen Ausführungen beschränkt. Es sollte sich verstehen, dass von Fachkundigen Modifikationen und Veränderungen vorgenommen werden können, ohne vom Umfang abzuweichen, wie er in den beigefügten Ansprüchen definiert ist. Die Erfindung soll auch solche Modifikationen und Veränderungen beinhalten, insofern sie in den Umfang der beigefügten Ansprüche oder deren Äquivalente fallen.
Zum Beispiel wird in einer oben beschriebenen Ausführung in Bezug auf den Lichtquellenkandidat im Nicht-Überbelichtungsbereich 254 und den Lichtquellenkandidat im Überbelichtungsbereich 252 unter Verwendung unterschiedlicher Farbbedingungen und unterschiedlicher Leuchtzustand-Bestimmungsschwellenwerte bestimmt, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht. Die Ausführung ist jedoch darauf nicht beschränkt. In einer alternativen Ausführung wird, in Bezug auf den Lichtquellenkandidat im Nicht-Überbelichtungsbereich 254 und den Lichtquellenkandidat, im Überbelichtungsbereich 252, mit dem gleichen Leuchtzustand-Bestimmungsschwellenwert und den unterschiedlichen Farbbedingungen bestimmt, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht. In einer anderen alternativen Ausführung wird, in Bezug auf den Lichtquellenkandidat im Nicht-Überbelichtungsbereich 254 und den Lichtquellenkandidat im Überbelichtungsbereich 252, mit gleichen Farbbedingungen und unterschiedlichen Leuchtzustand-Bestimmungsschwellenwerten bestimmt, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht.
In einer oben beschriebenen Ausführung wird bestimmt, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht, durch Vergleich der Anzahl von Pixeln, die die Farbbedingung gemäß dem relativen Abstand erfüllt, Umwandeln der Anzahl von Pixeln in die Fläche basierend auf dem relativen Abstand vom vorausfahrenden Fahrzeug, und Vergleichen der so umgewandelten Fläche mit dem Leuchtzustand-Bestimmungsschwellenwert. Die Ausführung ist jedoch darauf nicht beschränkt. In einer alternativen Ausführung wird durch Vergleichen der Anzahl von Pixeln oder der Pixelfläche, die die vorbestimmte Farbbedingung erfüllen, mit dem Leuchtzustand-Bestimmungsschwellenwert bestimmt, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist oder nicht.
In einer oben beschriebenen Ausführung wird bestimmt, ob der Lichtquellenkandidat, der vorläufig als die leuchtende Bremsleuchte bestimmt ist, die Bedingungen erfüllt bezüglich, etwa zum Beispiel, aber nicht beschränkt auf, die Position und die Größe, und es wird der vorläufig bestimmte Lichtquellenkandidat, der die Bedingungen erfüllt, als die leuchtende Bremsleuchte bestimmt. Die Ausführung ist jedoch darauf nicht beschränkt. In einer alternativen Ausführung kann der Lichtquellenkandidat, der vorläufig als die leuchtende Bremsleuchte bestimmt ist, direkt als die leuchtende Bremsleuchte bestimmt werden.
In einer oben beschriebenen Ausführung wird bestimmt, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist. Die Ausführung ist jedoch darauf nicht beschränkt. In einer alternativen Ausführung kann bestimmt werden, ob der Lichtquellenkandidat eine andere leuchtende Lampe ist als die Bremsleuchte.
Wenn in einer oben beschriebenen Ausführung die bewegte überbelichtete Lichtquelle identifiziert wird, kann der Überbelichtungsbereich 252 innerhalb von ±30 Zentimeter horizontal in Bezug auf die bewegte überbelichtete Lichtquelle gesetzt werden. Die Ausführung ist jedoch darauf nicht beschränkt. Wenn in einer alternativen Ausführung die bewegte überbelichtete Lichtquelle identifiziert wird, kann der Überbelichtungsbereich in einem vorbestimmten Bereich (zum Beispiel ±30 Zentimeter) horizontal und vertikal in Bezug auf die bewegte überbelichtete Lichtquelle gesetzt werden.
In einer oben beschrieben Ausführung kann der Formbestimmer 170 die bewegte überbelichtete Lichtquelle identifizieren, indem er den Kreisförmigkeitsgrad der überbelichteten Lichtquelle herleitet, und den Bewegungsbetrag der kreisförmigen überbelichteten Lichtquelle herleiten, deren Kreisförmigkeitsgrad gleich oder größer als der Kreisförmigkeitsschwellenwert ist. Der Formbestimmer 170 kann jedoch die bewegte überbelichtete Lichtquelle identifizieren, indem er die Bewegungsbeträge aller überbelichteten Lichtquellen herleitet. In anderen Worten, der Formbestimmer 170 braucht den Kreisförmigkeitsgrad der überbelichteten Lichtquelle nicht herzuleiten.
In einer oben beschriebenen Ausführung kann die zentrale Steuereinrichtung 154 eine integrierte Halbleiterschaltung sein, die Vorrichtungen beinhalten kann wie etwa z.B. die zentrale Prozessoreinheit (CPU), das ROM und das RAM. Die Ausführung ist jedoch darauf nicht beschränkt. In einer alternativen Ausführung kann die zentrale Steuereinrichtung 154 eine integrierte Schaltung sein wie etwa ein feldprogrammierbares Gate-Array (FPGA) und eine anwenderspezifische integrierte Schaltung (ASIC), ist aber darauf nicht beschränkt. Die zentrale Steuereinrichtung 154 oder eine beliebige andere Steuereinrichtung kann eine oder mehrere zentrale Prozessoreinheiten, einen oder mehrere FPGAs und/oder ein oder mehrere ASICs enthalten.
Die Ausführung gibt auch ein Programm an, welches bewirkt, dass ein Computer als die Fahrzeugaußenumgebung-Erkennungsvorrichtung 120 fungiert, sowie ein Aufzeichnungsmedium, welches das Programm speichert. Das Aufzeichnungsmedium ist computerlesbar. Nicht einschränkende Beispiele des Aufzeichnungsmediums können eine flexible Platte, ein Magnetoptische Platte, DRAM, SRAM, ROM, NVRAM, CD, DVD (eingetragene Handelsmarke), und BD (eingetragene Handelsmarke) enthalten. Der hierin benutzte Begriff „Programm“ kann sich auf einen Datenprozess beziehen, der in einer beliebigen Sprache und in einem beliebigen Beschreibungsverfahren geschrieben ist.
Ein Teil oder alle der Prozesse des hierin offenbarten Fahrzeugaußenumgebungsprozesses brauchen nicht notwendigerweise auf Zeitserienbasis in der Reihenfolge bearbeitet werden, wie sie im beispielhaften Flussdiagramm beschrieben ist. Ein Teil oder alle der Prozesse in dem Fahrzeugaußenumgebungsprozess können einen Parallelprozess oder einen Prozess basierend auf Unterroutinen enthalten.
Eine Fahrzeugaußenumgebung-Erkennungsvorrichtung enthält einen Computer, der konfiguriert ist, um als Fahrzeugidentifizierer, Kandidatidentifizierer, Überbelichtungsidentifizierer, Bewegungsbetrag-Herleitungseinheit, Bewegte-Überbelichtung-Identifizierer, Überbelichtungsbereich-Setzeinheit und Leuchtenbestimmer zu dienen. Der Kandidatidentifizierer identifiziert einen Lichtquellenkandidat. Der Überbelichtungsidentifizierer identifiziert einen überbelichteten Lichtquellenkandidat. Die Bewegungsbetrag-Herleitungseinheit leitet einen Bewegungsbetrag des überbelichteten Lichtquellenkandidaten her. Der Bewegte-Überbelichtung-Identifizierer identifiziert eine bewegte überbelichtete Lichtquelle, wenn der Bewegungsbetrag gleich oder größer als ein Schwellenwert ist. Die Überbelichtungsbereich-Setzeinheit setzt einen Überbelichtungsbereich in Bezug auf die bewegte überbelichtete Lichtquelle. Der Leuchtenbestimmer bestimmt basierend auf unterschiedlichen Bedingungen zwischen dem Lichtquellenkandidat im Überbelichtungsbereich und jenem in einem anderen Bereich als dem Überbelichtungsbereich, ob der identifizierte Lichtquellenkandidat eine leuchtende Leuchte ist.

Claims

Fahrzeugaußenumgebung-Erkennungsvorrichtung, welche aufweist: einen Computer, der konfiguriert ist, um zu dienen als: ein Fahrzeugidentifizierer, der aus jedem von mit einer Bildaufnahmeeinheit fortlaufend aufgenommenen Bildern ein vorausfahrendes Fahrzeug und einen vom vorausfahrenden Fahrzeug belegten Fahrzeugbereich identifiziert; einen Kandidatidentifizierer, der, als Lichtquellenkandidat, einen Kandidaten identifiziert, der im identifizierten Fahrzeugbereich als Lichtquelle bestimmbar ist; einen Überbelichtungsidentifizierer, der einen Abschnitt, der eine vorbestimmte Bedingung der Überbelichtung in dem identifizierten Fahrzeugbereich erfüllt, als überbelichtete Lichtquelle identifiziert; eine Bewegungsbetrag-Herleitungseinheit, die einen Bewegungsbetrag der überbelichteten Lichtquelle in einer vorbestimmten Zeitspanne in Bezug auf den Fahrzeugbereich herleitet; einen Bewegte-Überbelichtung-Identifizierer, der die überbelichtete Lichtquelle als bewegte überbelichtete Lichtquelle identifiziert, wenn der Bewegungsbetrag der überbelichteten Lichtquelle gleich oder größer als ein vorbestimmter Schwellenwert des Bewegungsbetrags ist; eine Überbelichtungsbereich-Setzeinheit, die einen vorbestimmten Bereich in Bezug auf die bewegte überbelichtete Lichtquelle als Überbelichtungsbereich setzt; und einen Leuchtenbestimmer, der, basierend auf unterschiedlichen Bedingungen zwischen dem im Überbelichtungsbereich vorhandenen Lichtquellenkandidat und dem in einem anderen Bereich als dem Überbelichtungsbereich vorhandenen Lichtquellenkandidat bestimmt, ob der identifizierte Lichtquellenkandidat eine leuchtende Leuchte ist.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung nach Anspruch 1, wobei der Leuchtenbestimmer basierend auf der Anzahl von Pixeln und/oder der Fläche von Pixeln, die eine Farbbedingung vorbestimmter Intensität erfüllen, bestimmt, ob der identifizierte Lichtquellenkandidat, der in dem anderen Bereich als dem Überbelichtungsbereich vorhanden ist, die leuchtende Leuchte ist und der Leuchtenbestimmer basierend auf der Anzahl von Pixeln und/oder der Fläche von Pixeln, die eine Farbbedingung größerer Intensität als die Farbbedingung der vorbestimmten Intensität erfüllen bestimmt, ob der identifizierte Lichtquellenkandidat, der in dem Überbelichtungsbereich vorhanden ist, die leuchtende Leuchte ist.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung nach Anspruch 1 oder 2, die ferner einen Formbestimmer aufweist, der einen Kreisförmigkeitsgrad der vom Überbelichtungsidentifizierer identifizierten überbelichteten Lichtquelle herleitet, und die überbelichtete Lichtquelle, deren hergeleiteter Kreisförmigkeitsgrad gleich oder größer als ein vorbestimmter Kreisförmigkeitsschwellenwert ist, extrahiert, wobei die Bewegungsbetrag-Herleitungseinheit den Bewegungsbetrag der vom Formbestimmer extrahierten überbelichteten Lichtquelle herleitet.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Überbelichtungsbereich-Setzeinheit den Überbelichtungsbereich setzt, der sich vertikal von der als Mitte dienenden bewegten überbelichteten Lichtquelle erstreckt.
Die Fahrzeugaußenumgebung-Erkennungsvorrichtung nach Anspruch 2, wobei der Computer konfiguriert ist, um ferner als Flächenwandler zu dienen, der, in Bezug auf den identifizierten Lichtquellenkandidat, der in dem anderen Bereich als dem Überbelichtungsbereich vorhanden ist, die Anzahl von Pixeln zählt, die die Farbbedingung der vorbestimmten Intensität erfüllt, und, basierend auf einem relativen Abstand von einem vorausfahrenden Fahrzeug, die gezählte Anzahl von Pixeln in eine Fläche umwandelt, und der, in Bezug auf den identifizierten Lichtquellenkandidat, der im Überbelichtungsbereich vorhanden ist, die Anzahl von Pixeln zählt, die die Farbbedingung der größeren Intensität als die Farbbedingung der vorbestimmten Intensität erfüllt, und, basierend auf dem relativen Abstand vom vorausfahrenden Fahrzeug, die gezählte Anzahl von Pixeln in eine Fläche umwandelt, und der Leuchtenbestimmer bestimmt, dass der identifizierte Lichtquellenkandidat die leuchtende Leuchte ist, wenn die umgewandelte Fläche gleich oder größer als ein vorbestimmter Leuchtzustand-Bestimmungsschwellenwert ist, bei dem eine Leuchte des vorausfahrenden Fahrzeugs als leuchtend bestimmt wird.