DE102016111304A1

DE102016111304A1 - Fahrzeug-Außenumgebungs-Erkennungsvorrichtung

Info

Publication number: DE102016111304A1
Application number: DE102016111304.2A
Authority: DE
Inventors: Seisuke Kasaoki
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2015-06-26
Filing date: 2016-06-21
Publication date: 2016-12-29
Anticipated expiration: 2036-06-22
Also published as: CN106295493A; JP2017016194A; DE102016111304B4; CN106295493B; JP6236039B2; US10121083B2; US20160379069A1

Abstract

Eine Fahrzeug-Außenumgebungs-Erkennungsvorrichtung enthält einen Computer, der konfiguriert ist, um als Fahrzeugidentifizierer, Kandidatidentifizierer, Verschiebungsbetrag-Herleitungseinheit, Kandidatbeseitiger und Leuchte-Bestimmer zu dienen. Der Fahrzeugidentifizierer identifiziert, aus den jeweiligen aufgenommenen Bildern, ein vorausfahrendes Fahrzeug und einen von dem vorausfahrenden Fahrzeug belegten Fahrzeugbereich. Der Kandidatidentifizierer identifiziert, als Lichtquellenkandidat, einen Kandidaten, der in dem identifizierten Fahrzeugbereich als Lichtquelle bestimmbar ist. Die Verschiebungsbetrag-Herleitungseinheit leitet einen Verschiebungsbetrag des Lichtquellenkandidaten in dem Fahrzeugbereich in einer vorbestimmten Periode her. Der Kandidatbeseitiger beseitigt, aus dem vom Kandidatidentifizierer identifizierten Lichtquellenkandidat, jenen Lichtquellenkandidat, in dem der Verschiebungsbetrag gleich oder größer als ein vorbestimmter Verschiebungsbetrag-Schwellenwert ist. Der Leuchte-Bestimmer bestimmt, ob der Lichtquellenkandidat, der vom Kandidatbeseitiger nicht beseitigt ist, eine leuchtende Leuchte ist.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Erfindung beansprucht die Priorität aus der japanischen Patentanmeldung Nr. 2015-129125 , eingereicht am 26. Juni 2015, deren gesamte Inhalte hiermit unter Bezugnahme aufgenommen werden.
HINTERGRUND
Die Erfindung betrifft eine Fahrzeug-Außenumgebungs-Erkennungsvorrichtung, die eine leuchtende Bremsleuchte eines vorausfahrenden Fahrzeugs identifiziert.
Es ist eine Technik vorgeschlagen worden, bei der ein dreidimensionales Objekt, wie etwa ein vorausfahrendes Fahrzeug, das sich vor einem eigenen Fahrzeug befindet, detektiert wird, um eine Steuerung durchzuführen, die eine Kollision mit dem vorausfahrenden Fahrzeug vermeidet (d. h. eine Kollisions-Vermeidungssteuerung), oder um eine Steuerung durchzuführen, die einen Zwischenfahrzeugabstand zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug auf einem vorbestimmten Abstand hält (zum Beispiel Fahrtsteuerung). Als Beispiel wird auf das japanische Patent Nr. 3349060 verwiesen. Eine harmonischere Fahrtsteuerung wird durch Einbau von Prozessen ermöglicht, wie etwa zum Beispiel dem Erkennen des Aufleuchtens einer Leuchte des vorausfahrenden Fahrzeugs und Vermuten eines Verzögerungsbetriebs des vorausfahrenden Fahrzeugs. Das Aufleuchten kann, in anderen Worten, ein Betätigungszustand einer Bremse sein. Die Leuchte kann zum Beispiel eine Bremsleuchte sein, ist darauf aber nicht beschränkt.
Als Technik, die das Aufleuchten einer Bremsleuchte eines vorausfahrenden Fahrzeugs detektiert, offenbart die japanische ungeprüfte Patentanmeldungsschrift (JP-A) Nr. 2013-109391 eine Technik, bei der ein Schwellenwert als Reaktion auf die Helligkeit der Fahrzeug-Außenumgebung verändert wird, um das Aufleuchten der Stoppleuchte zu bestimmen. Der Schwellenwert bezieht sich auf eine Größe einer Lichtquelle, die aus einem von einer Bildaufnahmeeinheit aufgenommenen Bild identifiziert wird.
ZUSAMMENFASSUNG
Licht, wie etwa Sonnenlicht, kann von einem Element des vorausfahrenden Fahrzeugs reflektiert werden. Das Element kann, ohne Einschränkung, eine Bremsleuchten-Abdeckung oder ein Heckfenster sein. Wenn das Sonnenlicht reflektiert wird, kann die Helligkeit eines Bereichs, von dem das Sonnenlicht reflektiert wird, eine Bedingung der Helligkeit erfüllen, die als Lichtquelle identifizierbar ist. Unter diesen Umständen bleibt, in der in JP-A Nr. 2013-109391 offenbarten Technik, eine Bedingung in Bezug auf die Helligkeit der Lichtquelle unverändert. Daher besteht Raum für eine Verbesserung, dass der Bereich, von dem das Sonnenlicht reflektiert wird, möglicherweise als Lichtquelle identifiziert werden könnte, und somit die Lichtquelle möglicherweise als leuchtende Bremsleuchte identifiziert werden könnte.
Im Hinblick auf dieses Problem könnte eine Maßnahme darin liegen, eine Lichtquelle des identifizierten vorausfahrenden Fahrzeugs für eine bestimmte Zeitdauer fortlaufend zu detektieren, um basierend auf einer Helligkeitsänderung der detektierten Lichtquelle das Aufleuchten einer Bremsleuchte zu bestimmen. Diese Maßnahme kann jedoch Schwierigkeiten bei der Bestimmung vom Aufleuchten der Bremsleuchte in einer Situation beinhalten, wo nicht ausreichend Information akkumuliert wird, wie etwa, aber nicht beschränkt auf, eine Situation unmittelbar nach dem Identifizieren des vorausfahrenden Fahrzeugs.
Es ist wünschenswert, eine Fahrzeug-Außenumgebungs-Erkennungsvorrichtung bereitzustellen, die es möglich macht, eine leuchtende Leuchte genau und rasch zu identifizieren.
Ein Aspekt der Erfindung sieht eine Fahrzeug-Außenumgebungs-Erkennungsvorrichtung vor, welche enthält: einen Computer, konfiguriert, um zu dienen als: ein Fahrzeugidentifizierer, der aus jeweiligen Bildern, die kontinuierlich von einer Bildaufnahmeeinheit aufgenommen werden, ein vorausfahrendes Fahrzeug und einen vom vorausfahrenden Fahrzeug belegten Fahrzeugbereich identifiziert; ein Kandidatidentifizierer, der einen Kandidaten, der in dem identifizierten Fahrzeugbereich als Lichtquelle bestimmbar ist, als Lichtquellenkandidat identifiziert; eine Verschiebungsbetrag-Herleitungseinheit, die einen Verschiebungsbetrag des Lichtquellenkandidaten in dem Fahrzeugbereich in einer vorbestimmten Periode herleitet; ein Kandidatbeseitiger, der von dem vom Kandidatidentifizierer identifizierten Lichtquellenkandidat jenen Lichtquellenkandidat, in dem der Verschiebungsbetrag gleich oder größer als ein vorbestimmter Verschiebungsbetrag-Schwellenwert ist, beseitigt; und ein Leuchte-Bestimmer, der bestimmt, ob der Lichtquellenkandidat, den der Kandidatbeseitiger von dem vom Kandidatidentifizierer identifizierten Lichtquellenkandidat nicht beseitigt hat, eine leuchtende Leuchte ist.
Die Verschiebungsbetrag-Herleitungseinheit kann den Verschiebungsbetrag einer geometrischen Schwerpunktposition des Lichtquellenkandidaten in dem identifizierten Fahrzeugbereich herleiten.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das eine Verbindungsbeziehung in einem Umgebungs-Erkennungssystem darstellt.
2 ist ein Funktionsblockdiagramm, das schematische Funktionen einer Fahrzeug-Außenumgebungs-Erkennungsvorrichtung darstellt.
3 beschreibt ein Farbbild und ein Abstandsbild.
4 beschreibt einen von einem Fahrzeugidentifizierer durchgeführten Prozess.
5 beschreibt einen von dem Fahrzeugidentifizierer durchgeführten Prozess.
6 beschreibt eine Differenz zwischen einem basierend auf einem ersten Belichtungsmodus aufgenommenen Bild und einem basierend auf einem zweiten Belichtungsmodus aufgenommenen Bild.
7 beschreibt Farbschwellenwerte.
8 beschreibt einen Lichtquellenkandidat-Beseitigungsprozess.
9 beschreibt eine Beziehung eines relativen Abstands zwischen dem eigenen Fahrzeug und einem vorausfahrenden Fahrzeug in Bezug auf die Anzahl von Pixeln.
10A und 10B sind jeweils ein Flussdiagramm, das ein Beispiel eines Fahrzeug-Außenumgebungs-Erkennungsprozesses darstellt.
DETAILLIERTE BESCHREIBUNG
Im Folgenden werden einige bevorzugte, aber nicht einschränkende Ausführungen der Erfindung in Bezug auf die beigefügten Zeichnungen im Detail beschrieben. Übrigens sind Größen, Materialien, spezifische Werte und beliebige andere Faktoren, die in den jeweiligen Ausführungen dargestellt sind, zum leichteren Verständnis der Erfindung illustrativ und sollen den Umfang der Erfindung nicht einschränken, solange nicht anderweitig ausdrücklich gesagt. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente, die im Wesentlichen die gleiche Funktion und Konfiguration haben, mit den gleichen Bezugszahlen bezeichnet, um eine redundante Beschreibung zu vermeiden. Ferner sind in den Zeichnungen Elemente, die sich nicht direkt auf die Erfindung beziehen, nicht dargestellt.
In den letzten Jahren sind zunehmend Fahrzeug mit einer sogenannten Kollisions-Verhinderungsfunktion genutzt worden. Die Kollisions-Verhinderungsfunktion kann beinhalten, ein Bild einer Straßenumgebung vor einem eigenen Fahrzeug mit einer am Fahrzeug angebrachten Kamera aufzunehmen und ein dreidimensionales Objekt wie etwa, aber nicht beschränkt auf, ein vorausfahrendes Fahrzeug, basierend auf Farbinformation und Positionsinformation im aufgenommenen Bild zu identifizieren. Durch die Identifizierung kann die Kollisions-Verhinderungsfunktion eine Kollision mit dem identifizierten dreidimensionalen Objekt vermeiden, oder kann einen Zwischenfahrzeugabstand zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug auf einem vorbestimmten Abstand halten (d. h. eine adaptive Fahrtsteuerung (ACC)).
Die Kollisions-Verhinderungsfunktion, welche die ACC enthält, kann zum Beispiel einen relativen Abstand zwischen dem eigenen Fahrzeug und einem dreidimensionalen Objekt herleiten, das sich vor dem eigenen Fahrzeug befindet. Basierend auf dem hergeleiteten relativen Abstand kann die Kollisions-Verhinderungsfunktion, welche die ACC enthält, eine Steuerung durchführen, die die Kollision mit dem dreidimensionalen Objekt vermeidet, das sich vor dem eigenen Fahrzeug befindet, und kann, wenn das dreidimensionale Objekt ein Fahrzeug wie etwa ein vorausfahrendes Fahrzeug ist, eine Steuerung durchführen, die den relativen Abstand zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug auf einem vorbestimmten Abstand hält.
Eine Ausführung der Erfindung kombiniert die Kollisions-Verhinderungsfunktion mit Prozessen, welche zum Beispiel das Aufleuchten einer Bremsleuchte des vorausfahrenden Fahrzeugs erkennen und einen Verzögerungsbetrieb des vorausfahrenden Fahrzeugs vermuten, um eine harmonischere Fahrtsteuerung zu verwirklichen. Im Folgenden wird ein Umgebungs-Erkennungssystem gemäß einer Ausführung der Erfindung und eine Fahrzeug-Außenumgebungs-Erkennungsvorrichtung als eines von bestimmten Elementen des Umgebungs-Erkennungssystems beschrieben.
[Umgebungs-Erkennungssystem 100]
1 ist ein Blockdiagramm, das eine Verbindungs- bzw. Anschlussbeziehung in einem Umgebungs-Erkennungssystem 100 zeigt. Das Umgebungs-Erkennungssystem 100 kann Bildaufnahmeeinheiten 110, eine Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 und eine Fahrzeugsteuereinrichtung (zum Beispiel eine Motorsteuereinheit (ECU)) 130 enthalten, die im eigenen Fahrzeug 1 vorgesehen sind. Die Ausführung kann ohne Einschränkung auch zwei Bildaufnahmeeinheiten 110 enthalten.
Die Bildaufnahmeeinheiten 110 können jeweils eine Abbildungsvorrichtung enthalten, wie etwa, aber nicht beschränkt auf, eine ladungsgekoppelte Vorrichtung (CCD) und einen Komplementär-Metalloxid-Halbleiter (CMOS). Die Bildaufnahmeeinheiten 110 können jeweils ein Bild vor dem eigenen Fahrzeug 1 aufnehmen und ein in Farbwerten ausgedrücktes Farbbild generieren. Die Farbwerte können eine Gruppe von numerischen Werten sein, die durch eine Helligkeit (Y) und zwei Farbunterschiede (UV), oder durch drei Farbtöne von Rot (R), Grün (G) und Blau (B) konfiguriert sein.
Die zwei Bildaufnahmeeinheiten 110 können so angeordnet sein, dass ihre jeweiligen optischen Achsen entlang einer Fahrtrichtung des eigenen Fahrzeugs 1 im Wesentlichen parallel zueinander werden. Die zwei Bildaufnahmeeinheiten 110 können so angeordnet sein, dass sie in im Wesentlichen horizontaler Richtung mit Abstand voneinander angeordnet sind. Die Bildaufnahmeeinheiten 110 können kontinuierlich Bilddaten für jedes Einzelbild von zum Beispiel, aber nicht beschränkt auf, 1/20 Sekunden generieren (mit einer Einzelbildrate von 20 fps). Die Bilddaten können als Ergebnis der Bildaufnahme erhalten werden, die bezüglich des Erfassungsbereichs vor dem eigenen Fahrzeug 1 durchgeführt wird. Identifikationsobjekte, die aus den von den Bildaufnahmeeinheiten 110 erzeugten Bilddaten zu erkennen sind, können ein dreidimensionales Objekt beinhalten, das unabhängig vorhanden ist, sowie auch ein Objekt, das als Teil des dreidimensionalen Objekts identifizierbar ist. Nicht einschränkende Beispiele des unabhängig vorhandenen dreidimensionalen Objekts können ein Fahrzeug enthalten, einen Fußgänger, eine Verkehrsleuchte, eine Straße (oder einen Fahrweg), eine Leitplanke und ein Gebäude. Nicht einschränkende Beispiele des als Teil des dreidimensionalen Objekts identifizierbaren Objekts können eine Bremsleuchte enthalten, eine hochgelegte Bremsleuchte, eine Heckleuchte, einen Blinker und jedes leuchtende Teil der Verkehrsleuchte. Die Funktionsblöcke, die nachfolgend gemäß dieser Ausführung beschrieben werden, können ihre jeweiligen Prozesse für jedes Einzelbild als Reaktion auf die Aktualisierung der Bilddaten ausführen.
Ferner können in dieser Ausführung die Bildaufnahmeeinheiten 110 jeweils, basierend auf einem ersten Belichtungsmodus, die Bildaufnahme des Detektionsbereichs durchführen, um ein erstes Bild zu generieren. Der erste Belichtungsmodus kann die Belichtungszeit und/oder die Blendenöffnung enthalten, die auf der Helligkeit der Fahrzeug-Außenumgebung beruhen, zum Beispiel basierend, aber nicht beschränkt auf, ein Messergebnis eines Belichtungsmessers. Die Bildaufnahmeeinheiten 110 können jeweils auch ein zweites Bild generieren, das die Bestimmung erlaubt, ob eine bestimmte Lichtquelle Licht emittiert. Die bestimmte Lichtquelle kann zum Beispiel die Bremsleuchte sein, ist aber darauf nicht beschränkt. Nicht einschränkende Beispiele eines Verfahrens zum Generieren des zweiten Bilds können enthalten: Durchführen der Bildaufnahme, um eine Unterbelichtung eines kein Licht abgebenden dreidimensionalen Objekts und eine Überbelichtung der Lichtquelle unter Verwendung einer Abbildungsvorrichtung mit breitem Dynamikbereich zu verhindern; und durchführen einer Bildaufnahme des Detektionsbereichs unter Verwendung eines zweiten Belichtungsmodus, um das zweite Bild zu generieren. Der zweite Belichtungsmodus kann sich im Belichtungsmodus, zum Beispiel Belichtungszeit und/oder Blendenöffnung, vom ersten Belichtungsmodus unterscheiden. Zum Beispiel kann während der Tageszeit, in Anpassung an die helle Fahrzeug-Außenumgebung, die Belichtungszeit des zweiten Belichtungsmodus kürzer gemacht werden als die Belichtungszeit des ersten Belichtungsmodus, und/oder kann die Blendenöffnung des zweiten Belichtungsmodus kleiner gemacht werden als die Blendenöffnung des ersten Belichtungsmodus, um das zweite Bild zu generieren. In dieser Ausführung können, ohne Einschränkung, das erste Bild und das zweite Bild jeweils sowohl für ein Farbbild als auch ein Abstandsbild (d. h. ein Reichweitenbild) verwendet werden. Der erste Belichtungsmodus und der zweite Belichtungsmodus können durch eines der folgenden beispielhaften Verfahren erzielt werden.
Ein Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils die Bildaufnahme basierend auf dem ersten Belichtungsmodus und die Bildaufnahme basierend auf dem zweiten Belichtungsmodus abwechselnd mittels einer Zeitteilung einer periodischen Bildaufnahme-Zeitgebung durchführen, um hierdurch sequentiell das erste Bild und das zweite Bild zu generieren. Ein anderes Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils eine Abbildungsvorrichtung enthalten, die zwei Kondensatoren für jedes Pixel aufweist und das Laden von elektrischen Ladungen in paralleler Weise für diese zwei Kondensatoren erlaubt, und eine Zeitdauer, während der das Laden durch eine Belichtung erfolgt, zwischen den zwei Kondensatoren verändert wird, um hierdurch auf paralleler Weise zwei Bilder zu generieren, deren Belichtungsmodus sich voneinander unterscheidet. Ein noch anderes Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils ein Bild zwei Mal lesen, indem Zeitperioden voneinander verändert werden, während das Laden von elektrischen Ladungen an einem einzelnen Kondensator erfolgt, um hierdurch in paralleler Weise die zwei Bilder zu generieren, deren Belichtungsmodus sich voneinander unterscheidet. Ein noch anderes Verfahren kann darin liegen, dass die Bildaufnahmeeinheiten 110 jeweils einen Satz von Bildaufnahmeeinheiten enthalten, die voneinander unterschiedliche Belichtungsmodi haben (d. h. zwei Sätze der zwei Bildaufnahmeeinheiten 110 in dieser Ausführung), um hierdurch ein Bild von jedem der zwei Sätze der Bildaufnahmeeinheiten 110 zu generieren. Die Belichtungszeit, die eine Hauptrolle in jedem der Belichtungsmodi spielt, kann geeignet gesteuert werden, beispielhaft und ohne Einschränkung, in einem Bereich von 1 Millisekunde bis 60 Millisekunden.
Die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 kann die Bilddaten von jeder der zwei Bildaufnahmeeinheiten 110 erhalten, und eine Parallaxe (d. h. eine Winkeldifferenz) aus den erhaltenen Bilddatenstücken unter Verwendung eines sogenannten Musterabgleichs herleiten. Die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 kann dann die basierend auf der Parallaxe hergeleitete Parallaxeninformation den Bilddaten zuordnen, um hierdurch das Abstandsbild zu generieren. Die Parallaxeninformation kann äquivalent zu dreidimensionaler Positionsinformation sein, wie später im Detail beschrieben wird. Eine Beschreibung vom Farbbild und Abstandsbild wird später im Detail angegeben.
Die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 kann die Farbwerte basierend auf dem Farbbild und die dreidimensionale Positionsinformation basierend auf dem Abstandsbild verwenden, um eine Gruppierung durchzuführen. Die dreidimensionale Positionsinformation kann Positionsinformation eines dreidimensionalen Objekts im realen Raum sein, einschließlich einer relativen Position zwischen dem eigenen Fahrzeug 1 und dem dreidimensionalen Objekt. Die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 kann, als einzelnes dreidimensionales Objekt, die Gruppierung von Blöcken durchführen, deren Farbwerte zueinander gleich sind, und die in der dreidimensionalen Positionsinformation einander benachbart sind. Durch die Gruppierung kann die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 identifizieren, welches der Identifikationsobjekte (z. B. das vorausfahrende Fahrzeug) dem dreidimensionalen Objekt in dem Detektionsbereich vor dem eigenen Fahrzeug 1 entspricht. Zum Beispiel kann die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 das vorausfahrende Fahrzeug mittels Information zum relativen Abstand oder beliebiger anderer Information identifizieren, und kann eine Position einer Bremsleuchte des vorausfahrenden Fahrzeugs und das Aufleuchten der Bremsleuchte mittels der Farbwerte erfassen. Durch Ausführung der oben beschriebenen beispielhaften Prozesse wird die Verzögerung des vorausfahrenden Fahrzeugs durch das Aufleuchten der Bremsleuchte rasch erfasst bzw. sensiert, was es möglich macht, Information über das Sensieren (d. h. Information über die Verzögerung des vorausfahrenden Fahrzeugs) für eine Kollisionsverhinderungssteuerung und die ACC zu nutzen.
Wenn das dreidimensionale Objekt als vorausfahrendes Fahrzeug identifiziert ist, kann die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 Faktoren herleiten, wie etwa, aber nicht beschränkt auf, eine relative Geschwindigkeit und einen relativen Abstand in Bezug auf das vorausfahrende Fahrzeug, während das vorausfahrende Fahrzeug verfolgt wird, um hierdurch zu bestimmen, ob eine Kollisionsmöglichkeit zwischen dem eigenen Fahrzeug und dem vorausfahrenden Fahrzeug hoch ist. Wenn bestimmt wird, dass die Kollisionsmöglichkeit hoch ist, kann die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 einem Fahrer eine Warnanzeige geben (d. h. eine Meldung), die dem Fahrer die hohe Kollisionsmöglichkeit meldet, und kann auch Information über die hohe Kollisionsmöglichkeit an die Fahrzeugsteuereinrichtung 130 ausgeben. Die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 kann die Warnanzeige mittels der Anzeige 122 durchführen, die vor dem Fahrer angeordnet ist.
Die Fahrzeugsteuereinrichtung kann das eigene Fahrzeug 1 steuern, indem sie Information zu einer Bedienungseingabe des Fahrers durch ein Lenkrad 132, ein Gaspedal 134 und ein Bremspedal 136 empfängt, und die Information über die Bedienungseingabe zu einem Lenkmechanismus 142, einem Antriebsmechanismus 144 und einem Bremsmechanismus 146 sendet. Die Fahrzeugsteuereinrichtung 130 kann den Antriebsmechanismus 144 und den Bremsmechanismus 146 entsprechend Anweisungen von der Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 steuern.
Im Folgenden wird im Detail eine Konfiguration der Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 beschrieben. So wird im Detail ein beispielhafter Prozess zum Identifizieren des vorausfahrenden Fahrzeugs und ein beispielhafter Prozess der Bestimmung der leuchtenden Bremsleuchte des vorausfahrenden Fahrzeugs beschrieben, deren jeder ein Merkmal dieser Ausführung sein kann. Übrigens wird eine Konfiguration, die sich weniger auf Merkmale der Ausführung bezieht, hier im Detail nicht beschrieben.
[Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120]
2 ist ein Funktionsblockdiagramm, das schematisch Funktionen der Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 zeigt. Bezugnehmend auf 2 kann die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 eine Schnittstelle (I/F) 150, einen Speicher 152 und eine zentrale Steuereinrichtung 154 enthalten.
Die Schnittstelle 150 kann Information bilateral zwischen Vorrichtungen austauschen, einschließlich, aber ohne Einschränkung, der Bildaufnahmeeinheiten 110 und der Fahrzeugsteuereinrichtung 130. Der Speicher 152 kann einen Direktzugriffsspeicher (RAM), einen Flashspeicher, ein Festplattenlaufwerk (HDD) oder eine beliebige andere geeignete Speichervorrichtung enthalten. Der Speicher 152 kann verschiedene Informationsstücke speichern, die für die Prozesse notwendig sind, die von den nachfolgend beschriebenen Funktionsblöcken auszuführen sind, und kann die Bilddaten, d. h. das Farbbild und das Abstandsbild, die auf dem ersten Bild und dem zweiten Bild beruhen, welche von den Bildaufnahmeeinheiten 110 empfangen werden, zeitweilig halten.
Die zentrale Steuereinrichtung 154 kann ein Computer sein, der eine integrierte Halbleiterschaltung enthält, und kann Vorrichtungen, einschließlich, aber ohne Einschränkung, der Schnittstelle 150 und des Speichers 152, durch einen Systembus 156 steuern. Die integrierte Halbleiterschaltung kann Vorrichtungen aufweisen, wie etwa, aber nicht beschränkt auf, eine zentrale Prozessoreinheit (CPU), einen Festwertspeicher (ROM), worin Programme etc. gespeichert sind, sowie einen Direktzugriffspeicher (RAM), der als Arbeitsfläche dient. In dieser Ausführung kann die zentrale Steuereinrichtung 154 als Bildprozessor 160, als Positionsinformations-Herleitungseinheit 162, als Fahrzeugidentifizierer 164, als Kandidatidentifizierer 166, als Verschiebungsbetrag-Herleitungseinheit 168, als Kandidatbeseitiger 170, als Flächenwandler 172 und als Leuchte-Bestimmer 174 fungieren. Im Folgenden wird, basierend auf einem Umriss der Aufgabe jeder dieser Funktionsblöcke, ein detaillierter Betrieb von jedem der Funktionsblöcke in der Reihenfolge vom Bildprozess, Fahrzeug-Identifizierungsprozess, Lichtquellenkandidat-Identifizierungsprozess, Lichtquellenkandidat-Beseitigungsprozess und Leuchte-Bestimmungsprozess beschrieben.
[Bildprozess]
Der Bildprozessor 160 kann die Bilddaten (d. h. das erste Bild und das zweite Bild) von jeder der zwei Bildaufnahmeeinheiten 110 erhalten, und kann die Parallaxe mittels des sogenannten Musterabgleichs herleiten. Der Musterabgleich kann beinhalten, einen Block, der einem beliebigen von einem der ersten Bilder extrahierten Block entspricht, in dem anderen der ersten Bilder zu suchen. Der Block kann zum Beispiel eine Gruppe von vier horizontalen Pixeln mal vier vertikalen Pixeln sein, ist aber darauf nicht beschränkt. Der Bildprozessor 160 kann die Parallaxe auch mittels des Musterabgleichs für die zweiten Bilder herleiten. Der hierin benutzte Begriff „horizontal” bezieht sich auf die seitliche Richtung eines Bildschirms des aufgenommenen Farbbilds, und der Begriff „vertikal” bezieht sich auf die vertikale Richtung des Bildschirms in dem aufgenommenen Farbbild.
Beim Musterabgleich kann eine Helligkeit (d. h. ein Y-Farbdifferenzsignal) zwischen den zwei Bildern pro Block verglichen werden, der eine beliebige Bildposition angibt. Nicht einschränkende Beispiele eines solchen Helligkeit-Vergleichsverfahrens können SAD (Summe der absoluten Differenz) beinhalten, das Helligkeitsdifferenzen erhält, SSD (Summe der quadrierten Intensitätsdifferenz), das quadrierte Differenzen verwendet, und NCC (normalisierte Kreuzkorrelation), das die Ähnlichkeit der Varianz erhält, die durch Subtrahieren eines durchschnittlichen Ähnlichkeitswerts von einem Helligkeitswert jedes Pixels erhalten wird. Der Bildprozessor 160 kann den vorstehenden Parallaxen-Herleitungsprozess, der auf blockweiser Basis erfolgt, für alle Blöcke in dem Detektionsbereich durchführen. Der Detektionsbereich kann zum Beispiel, aber nicht beschränkt auf, eine Gruppe von 600 horizontalen Pixeln mal 180 vertikalen Pixeln sein. In dieser Ausführung kann jeder Block eine Gruppe von vier horizontalen Pixeln mal vier vertikalen Pixeln enthalten; jedoch kann eine beliebige Pixelanzahl für jeden Block gesetzt werden.
Der Bildprozessor 160 leitet die Parallaxe pro Block her, d. h. leitet die Parallaxe basierend auf der Auflösung der Detektion her. Jedoch kann der Bildprozessor 160 Schwierigkeiten bei der Erkennung der Blöcke im Hinblick darauf haben, welches Teil eines dreidimensionalen Objekts zu diesem Block gehört, und im Hinblick auf einen Typ dieses dreidimensionalen Objekts. Daher wird die Parallaxeninformation, die basierend auf der Parallaxe hergeleitet wird, unabhängig von der Auflösung der Detektion (zum Beispiel auf der Block-Basis) in Bezug auf den Detektionsbereich und nicht auf der Basis eines dreidimensionalen Objekts hergeleitet.
Die Positionsinformations-Herleitungseinheit 162 kann die dreidimensionale Positionsinformation unter Verwendung eines sogenannten Stereoverfahrens herleiten, basierend auf der Parallaxe, die vom Bildprozessor 160 für jeden Block (d. h. für jedes Teil des dreidimensionalen Blocks erhalten wird) im Detektionsbereich 214 hergeleitet wird. Die dreidimensionale Positionsinformation kann Informationsstücke zu einem horizontalen Abstand, einer Höhe und dem relativen Abstand enthalten. Das Stereoverfahren kann beinhalten, aus der Parallaxe eines beliebigen Teils des dreidimensionalen Objekts, den relativen Abstand zwischen diesem Teil des dreidimensionalen Objekts und den Bildaufnahmeeinheiten 110 mittels einer Triangulationsmethode herzuleiten. Bei der Herleitung der dreidimensionalen Positionsinformation kann die Positionsinformations-Herleitungseinheit 162 die Höhe eines beliebigen Teils des dreidimensionalen Objekts von einer Straßenoberfläche, basierend auf dem relativen Abstand zwischen dem eigenen Fahrzeug 1 (d. h. den Bildaufnahmeeinheiten 110) und dem Teil des dreidimensionalen Objekts, und basierend auf einem Abstand in dem Abstandsbild 212 von einem Punkt auf der Straßenoberfläche zu dem Teil des dreidimensionalen Objekts herleiten. Der Punkt auf der Straßenoberfläche befindet sich an einer Position, die den gleichen relativen Abstand wie das Teil des dreidimensionalen Objekts hat. Übrigens wird ein Bild, in dem die so hergeleitete Parallaxeninformation (d. h. die dreidimensionale Positionsinformation) den Bilddaten zugeordnet ist, als Abstandsbild bezeichnet, zur Unterscheidung des Bilds von dem oben beschriebenen Farbbild.
3 beschreibt das Farbbild 210 und das Abstandsbild 212. 3 beschreibt ein nicht einschränkendes Beispiel, bei dem das Farbbild (d. h. die Bilddaten) 210, wie in (a) von 3 dargestellt, für den Detektionsbereich 214 mittels der zwei Bildaufnahmeeinheiten 110 generiert wird. Übrigens stellt (a) von 3 zum leichteren Verständnis nur eines der zwei Farbbilder 210 dar. In dieser Ausführung kann ohne Einschränkung der Bildprozessor 160 die Parallaxe für jedes Teil des dreidimensionalen Objekts für die Farbbilder 210 erhalten, und die Positionsinformations-Herleitungseinheit 162 kann basierend auf der erhaltenen Parallaxe die dreidimensionale Positionsinformation für jedes Teil des dreidimensionalen Objekts herleiten, wodurch das Abstandsbild 212 gebildet werden kann, wie es in (b) von 3 dargestellt ist. Jedes Teil des dreidimensionalen Objekts in dem Abstandsbild 212 kann der Parallaxeninformation an dem entsprechenden Teil des dreidimensionalen Objekts zugeordnet sein. Zu Beschreibungszwecken ist jedes Teil des dreidimensionalen Objekts, wofür die Parallaxeninformation hergeleitet wird, mit einem schwarzen Punkt bezeichnet. Die Ausführung kann die Farbbilder 210 und die Abstandsbilder 212 basierend auf dem ersten Bild und dem zweiten Bild generieren. Somit kann diese Ausführung das Farbbild 210 basierend auf dem ersten Bild, das Abstandsbild basierend auf dem ersten Bild, das Farbbild 210 basierend auf dem zweiten Bild und das Abstandsbild 212 basierend auf dem zweiten Bild verwenden.
[Fahrzeug-Identifizierungsprozess]
Die 4 und 5 beschreiben jeweils Prozesse, die vom Fahrzeugidentifizierer 164 durchgeführt werden. Der Fahrzeugidentifizierer 164 kann zuerst den Detektionsbereich 214 des Abstandsbilds 212, das auf dem ersten Bild beruht, in eine Mehrzahl von Teilbereichen 216 unterteilen, die in horizontaler Richtung aufgereiht sind. Die Teilbereiche 216 können somit jeweils eine Streifenform haben, wie in (a) von 4 dargestellt. Übrigens können die streifenförmigen Teilbereiche 216, die vom Fahrzeugidentifizierer 164 unterteilt sind, zum Beispiel, aber nicht beschränkt auf, eine Gruppe von 150 Zeilen jeweils mit vier Pixeln für eine horizontale Breite bilden. Zu Beschreibungszwecken wird jedoch ein Beispiel beschrieben, worin der Detektionsbereich 214 in 16 Teilbereiche 216 unterteilt ist.
Der Fahrzeugidentifizierer 164 kann dann für alle über der Straßenoberfläche befindlichen Blöcke eine Integration der Anzahl (d. h. eine Integration der Häufigkeit von) der relativen Abstände durchführen, die in jedem der segmentierten vorbestimmten Abstände (d. h. Distanzsegmenten) enthalten sind. Durch die Integration kann der Fahrzeugidentifizierer 164 basierend auf der Positionsinformation (d. h. der dreidimensionalen Positionsinformation, die von der Positionsinformations-Herleitungseinheit 162 hergeleitet wird) ein Histogramm für jeden der Teilbereiche 216 generieren. Im Ergebnis kann man eine Abstandsverteilung 218, wie in (b) von 4 dargestellt, erhalten, worin jedes Histogramm mit einem seitlich langgestreckten Rechteck oder Strich bezeichnet ist. In (b) von 4 bezeichnet die vertikale Richtung die segmentierten vorbestimmten Abstände (d. h. Abstandssegmente), wohingegen die seitliche Richtung die Blockanzahl (Häufigkeit von Blöcken) bezeichnet, die den relativen Abstand für jedes der Abstandssegmente enthält. Übrigens ist (b) von 4 ein virtueller Bildschirm, der bei der Berechnung verwendet wird und in der Praxis nicht die Generierung eines visuellen Bildschirms beinhaltet. Der Fahrzeugidentifizierer 164 kann auf die so hergeleitete Abstandsverteilung 218 Bezug nehmen, um einen repräsentativen Abstand 220 zu identifizieren (in (b) von 4 mit einem schwarzen Quadrat bezeichnet). Der repräsentative Abstand 220 kann der relative Abstand sein, der zu einer Spitze äquivalent ist. Der Begriff „äquivalent zu einer Spitze” bezieht sich auf einen Spitzenwert oder einen Wert, der sich in der Nähe einer Spitze befindet und eine beliebige Bedingung erfüllt.
Der Fahrzeugidentifizierer 164 kann dann einander benachbarte Teilbereiche 216 miteinander vergleichen, und kann eine Gruppierung der Teilbereiche 216 durchführen, worin ihre jeweiligen repräsentativen Abstände 220 eng beieinander liegen (zum Beispiel, ohne Einschränkung, mit einem Abstand von einem Meter oder weniger in Bezug aufeinander). Durch Ausführung der Gruppierung kann der Fahrzeugidentifizierer 164 eine oder mehrere Teilbereichgruppen 222 generieren, wie in 5 dargestellt. In einer Situation, wo drei oder mehr Teilbereiche 216 im repräsentativen Abstand 220 eng beieinander liegen, kann der Fahrzeugidentifizierer 164 alle solchen fortlaufenden Teilbereiche 216 zusammen als Teilbereichgruppe 222 setzen. Durch die Gruppierung kann der Fahrzeugidentifizierer 164 eine Identifikation eines beliebigen dreidimensionalen Objekts erlauben, das sich über der Straßenoberfläche befindet.
Der Fahrzeugidentifizierer 164 kann dann eine Gruppierung von Blöcken in der Teilbereichgruppe 222, basierend auf einem Block, als dem Ursprung, durchführen, worin der relative Abstand äquivalent zum repräsentativen Abstand 220 ist. Insbesondere kann der Fahrzeugidentifizierer 164 die Gruppierung des Ursprungsblocks und eines beliebigen Blocks durchführen, worin Differenzen jeweils in einen vorbestimmten Bereich vom ursprünglichen Block fallen, unter der Annahme, dass diese Blöcke demselben Identifikationsobjekt entsprechen. Die Differenzen können die Differenz im horizontalen Abstand beinhalten, die Differenz in der Höhe und die Differenz im relativen Abstand, in Bezug auf den Ursprungsblock. Der vorbestimmte Bereich kann zum Beispiel 0,1 Meter betragen, ist aber darauf nicht beschränkt. Auf diese Weise kann ein dreidimensionales Objekt 224 als eine virtuelle Blockgruppe generiert werden. Der vorstehende Bereich kann durch einen Abstand im realen Raum ausgedrückt werden, und kann auf einen beliebigen Wert gesetzt werden, zum Beispiel, aber nicht eingeschränkt auf, einen Hersteller oder eine das Fahrzeug fahrende Person. Der Fahrzeugidentifizierer 164 kann ferner die Gruppierung eines beliebigen Blocks durchführen, der neuerlich durch die Gruppierung hinzugefügt worden ist, basierend auf dem neuerlich hinzugefügten Block als dem Ursprung. Insbesondere kann der Fahrzeugidentifizierer 164 die Gruppierung des ursprünglich neu hinzugefügten Blocks und eines beliebigen Blocks durchführen, worin die Differenzen, einschließlich der Differenz im horizontalen Abstand, der Differenz in der Höhe und der Differenz im relativen Abstand, jeweils in den vorbestimmten Bereich von dem ursprünglich neu hinzugefügten Block fallen. In anderen Worten, alle Gruppen, die als das gleiche Identifikationsobjekt anzunehmen sind, werden durch das Gruppieren entsprechend gruppiert.
In dieser Ausführung werden die Differenz im horizontalen Abstand, die Differenz in der Höhe und die Differenz im relativen Abstand jeweils unabhängig bestimmt, und die Blöcke werden als zur gleichen Gruppe gehörig nur dann identifiziert, wenn alle Differenzen in den vorbestimmten Bereich fallen. Jedoch kann auch eine beliebige andere Berechnung angewendet werden, um zu identifizieren, dass die Blöcke zur gleichen Gruppe gehören. Zum Beispiel können die Blöcke als zur gleichen Gruppe gehörig identifiziert werden, wenn die mittlere Quadratwurzel der Differenz im horizontalen Abstand, der Differenz in der Höhe und der Differenz im relativen Abstand, ausgedrückt durch √((horizontale Abstandsdifferenz)² + (Höhendifferenz)² + (relative Abstandsdifferenz)²) in einen vorbestimmten Bereich fällt. Diese Berechnung erlaubt die Herleitung von genauen Abständen im realen Raum zwischen den Blöcken, was es möglich macht, die Gruppierungsgenauigkeit zu erhöhen.
Wenn das gruppierte dreidimensionale Objekt 224 einer vorbestimmten Bedingung genügt, die einem vordefinierten Fahrzeug entspricht, dann kann der Fahrzeugidentifizierer 164 entscheiden, dass das dreidimensionale Objekt 224 das Identifikationsobjekt „Fahrzeug” ist. Wenn sich zum Beispiel das gruppierte dreidimensionale Objekt 224 auf einer Straße befindet, kann der Fahrzeugidentifizierer 164 bestimmen, ob eine Größe dieses dreidimensionalen Objekts 224 insgesamt zu einer Größe des Identifikationsobjekts „Fahrzeug” äquivalent ist. Wenn die Größe des dreidimensionalen Objekts 224 insgesamt als äquivalent zur Größe des Identifikationsobjekts „Fahrzeug” bestimmt wird, kann der Fahrzeugidentifizierer 164 das dreidimensionale Objekt 224 als das Identifikationsobjekt „Fahrzeug” identifizieren. Der Fahrzeugidentifizierer 164 kann auch, als Fahrzeugbereich, einen rechteckigen Bereich identifizieren, in dem das dreidimensionale Objekt 224, das als das Identifikationsobjekt „Fahrzeug” identifiziert ist, den Bildschirm belegt.
Auf diese Weise erlaubt die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120 die Extraktion von einem oder mehreren dreidimensionalen Objekten 224 als das Identifikationsobjekt, wie etwa, aber nicht beschränkt auf, das Fahrzeug (zum Beispiel das vorausfahrende Fahrzeug) aus dem Abstandsbild 212 als dem ersten Bild, was es möglich macht, Information zur Extraktion für verschiedene Steuerungen zu nutzen. Wenn zum Beispiel ein beliebiges dreidimensionales Objekt 224 in dem Detektionsbereich 214 als das Fahrzeug identifiziert wird, lässt sich eine Steuerung ausführen, die das identifizierte Fahrzeug (zum Beispiel das vorausfahrende Fahrzeug) verfolgt und Faktoren detektiert, einschließlich dem relativen Abstand und einer relativen Beschleunigung, um eine Kollision zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug zu vermeiden, oder um einen Zwischenfahrzeugabstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug auf einem sicheren Abstand zu halten. Um eine solche Identifikation des vorausfahrenden Fahrzeugs durchzuführen und ein Verhalten des vorausfahrenden Fahrzeugs noch rascher zu sensieren (erfassen), kann die leuchtende Bremsleuchte aus Lichtquellenkandidaten bestimmt werden, die sich in dem Fahrzeugbereich befinden, wie nachfolgend beschrieben.
[Lichtquellenkandidat-Identifizierungsprozess]
Es ist anzumerken, dass das zweite Bild basierend auf dem zweiten Belichtungsmodus aufgenommen wird, was zum Beispiel, aber ohne Einschränkung, erlaubt, eine bestimmte Lichtquelle zu unterscheiden. In dieser Ausführung ist, ohne Einschränkung, die Lichtquelle die Bremsleuchte im leuchtenden Zustand. Eine Vorrichtung, die von selbst Licht abgibt, wie etwa eine Bremsleuchte, macht es möglich, die hohen Farbwerte unabhängig von der Helligkeit der Sonne und von Straßenbeleuchtung (d. h. unabhängig von der Fahrzeug-Außenumgebung) zu erhalten. Insbesondere wird die Helligkeit der Bremsleuchte beim Aufleuchten allgemein durch Vorschriften bestimmt, was bedeutet, dass das Aufnehmen des Bilds unter Verwendung des Belichtungsmodus, der nur eine Belichtung basierend auf einer vorbestimmten Helligkeit (zum Beispiel Kurzzeitbelichtung) erlaubt, es möglich macht, leicht nur jene Pixel zu extrahieren, die der Bremsleuchte äquivalent sind.
6 beschreibt eine Differenz zwischen der Bildaufnahme, die basierend auf dem ersten Belichtungsmodus erfolgt, und der Bildaufnahme, die basierend auf dem zweiten Belichtungsmodus erfolgt. (a) von 6 stellt die Farbbilder 210 dar, deren jedes auf dem ersten Bild beruht, das mit dem ersten Belichtungsmodus aufgenommen wird. Insbesondere stellt die linke Darstellung in (a) von 6 ein Beispiel dar, wo eine Heckleuchte leuchtet, wohingegen die rechte Darstellung (a) von 6 ein Beispiel darstellt, wo sowohl eine Bremsleuchte als auch die Heckleuchte leuchten. Wie aus (a) von 6 ersichtlich, erzeugt der erste Belichtungsmodus, der auf der Helligkeit der Fahrzeug-Außenumgebung beruht, kaum einen Unterschied zwischen den Farbwerten an einer Heckleuchtenposition 230, worin die Bremsleuchte nicht leuchtet und die Heckleuchte leuchtet, und Farbwerten an einer Bremsleuchtenposition 232, worin sowohl die Bremsleuchte als auch die Heckleuchte leuchten. Ein Grund dafür ist, dass der erste Belichtungsmodus eine lange Belichtungszeit beinhaltet, und dies in einer Sättigung der Farbwerte aller RGB-Komponenten in Bezug auf sowohl die Heckleuchte als auch die Bremsleuchte resultiert.
(b) von 6 stellt die Farbbilder 210 dar, deren jedes auf dem zweiten Bild beruht, das mit dem zweiten Belichtungsmodus aufgenommen wird. Insbesondere stellt die linke Darstellung in (b) von 6 ein Beispiel dar, wo die Heckleuchte leuchtet, wohingegen die rechte Darstellung (b) von 6 ein Beispiel darstellt, worin sowohl die Bremsleuchte als auch die Heckleuchte leuchten. Der zweite Belichtungsmodus kann so eingestellt sein, dass man nur die Farbwerte beim Aufleuchten der Bremsleuchte erhält. Somit erhält, wie aus der linken Darstellung (b) von 6 ersichtlich, der zweite Belichtungsmodus kaum die Farbwerte, die auf der Helligkeit der Heckleuchte für die Heckleuchtenposition 230 beruhen, auch wenn die Heckleuchte leuchtet. Im Gegensatz hierzu erhält, wie aus der rechten Darstellung (b) von 6 ersichtlich, der zweite Belichtungsmodus erfolgreich die unterscheidbar starken Farbwerte für die Bremsleuchtenposition 232, worin die Bremsleuchte leuchtet.
Die Belichtungszeit des zweiten Belichtungsmodus kann so eingestellt werden, dass in der Abbildungsvorrichtung die R-Komponente als Farbwert der Bremsleuchte an der Sättigungsgrenze liegt oder nicht. Allgemein haben die Bildaufnahmeeinheiten 110 jeweils einen signifikant schmaleren Dynamikbereich als Menschen, was bedeutet, dass der Farbwert der Bremsleuchte im Vergleich zur Fahrzeug-Außenumgebung relativ ansteigt, wenn die Bildaufnahme basierend auf dem ersten Belichtungsmodus in dämmriger Umgebung durchgeführt wird, wie etwa am frühen Abend. In diesem Fall werden nicht nur die R-Komponente, sondern auch die G-Komponente und die B-Komponente auf ihre Maximalwerte gesättigt (zum Beispiel haben die Farbwerte Werte von 255), aufgrund der Überschneidung der G- und B-Komponenten mit der R-Komponente, wodurch die Pixel weiß werden. Um diesem Problem Rechnung zu tragen, kann die Belichtungszeit des zweiten Belichtungsmodus so eingestellt werden, dass beim Aufleuchten der Bremsleuchte die R-Komponente an der Sättigungsgrenze liegt oder nicht. Dies macht es möglich, nur die R-Komponente am Maximalwert zu extrahieren, während der Einfluss auf die Farbwerte für die G- und B-Komponenten unterdrückt wird, unabhängig von der Umgebung außerhalb des Fahrzeugs. In anderen Worten macht es dies zum Beispiel möglich, eine Farbwertdifferenz zwischen der Bremsleuchte und der Heckleuchte bis zum Maximum sicherzustellen.
In einem bestimmten, aber nicht einschränkenden Beispiel, bei dem sich das vorausfahrende Fahrzeug während des Abends auf der Fahrt befindet, kann, wenn der zweite Belichtungsmodus so eingestellt wird, dass die leuchtende Bremsleuchte einen Farbbereich (R) von „200 oder größer” erfüllt, die leuchtende Heckleuchte auf dem Farbbild 210, das auf dem zweiten Bild beruht, zum Beispiel mit dem Farbbereich (R) von etwa „50”, einem Farbbereich (G) von etwa „50” und einem Farbbereich (B) von etwa „50” erscheint. Im Gegensatz hierzu kann die leuchtende Bremsleuchte auf dem Farbbild 210, das auf dem zweiten Bild beruht, zum Beispiel mit dem Farbbereich (R) von „200 oder größer”, dem Farbbereich (G) von „50 oder weniger” und dem Farbbereich (B) von „50 oder weniger” erscheinen. Auf diese Weise ist der Kandidatidentifizierer 166 in der Lage, die leuchtende Bremsleuchte mittels des Farbbilds 210 zu identifizieren, das auf dem zweiten Bild beruht. Im Folgenden wird ein Lichtquellenkandidat-Identifizierungsprozess beschrieben, der aus dem Farbbild 210, das auf dem zweiten Bild beruht, als Lichtquellenkandidaten solche Kandidaten identifiziert, die als Lichtquellen bestimmbar sind, welche die leuchtende Bremsleuchte enthalten.
7 beschreibt Farbschwellenwerte. Als die Farbschwellenwerte zur Identifizierung der leuchtenden Bremsleuchte aus dem Farbbild 210, das auf dem zweiten Bild beruht, kann die Ausführung, ohne Einschränkung, fünf Ebenen von Farbschwellenwerten enthalten, nämlich „Gelb (Y)”, „Rot (R)”, „leichtes Dunkelrot im Vergleich zur Rot (WR1)”, „noch dunkleres Rot (WR2)” und „sehr dunkles Rot (WR3)”, wie in 7 dargestellt. In dieser Ausführung kann, ohne Einschränkung, eine Standardverschlussgeschwindigkeit im zweiten Belichtungsmodus auf 17 Millisekunden gesetzt werden. Die Ausführung kann auch, mit einer Ausnahme, eine Mehrzahl von Farbbedingungen verwenden, deren jede auf den Farbschwellenwerten beruht, anstatt die Mehrzahl von solchen Farbschwellenwerten direkt zu benutzen. Die Farbbedingungen können, ohne Einschränkung, fünf Ebenen von Farbbedingungen enthalten, nämlich: „Gelb” (nachfolgend einfach als „erste Farbbedingung” bezeichnet); „Gelb” plus „Rot” (nachfolgend einfach als „zweite Farbbedingung” bezeichnet); „Gelb” plus „Rot” plus „leichtes Dunkelrot im Vergleich zu Rot” (nachfolgend einfach als „dritte Farbbedingung” bezeichnet); „Gelb” plus „Rot” plus „leichtes Dunkelrot im Vergleich zu Rot” plus „noch dunkleres Rot” (nachfolgend einfach als „vierte Farbbedingung” bezeichnet); und „Gelb” plus „Rot” plus „leichtes Dunkelrot im Vergleich zu Rot” plus „noch dunkleres Rot” plus „sehr dunkles Rot” (nachfolgend einfach als „fünfte Farbbedingung” bezeichnet). Ein Grund dafür, warum jede der zweiten bis fünften Bedingungen auf der Summe eines Farbschwellenwerts und eines anderen Farbschwellenwerts mit höherer Intensität (Helligkeit) als dieser Farbschwellenwert beruht, ist es, einen Bereich richtig zu bestimmen, der eine höhere Intensität als einer der vorbestimmten Farbschwellenwerte hat.
Der Kandidatidentifizierer 166 kann, auf pixelweiser Basis, die Farbwerte basierend auf drei Farbtönen R, G und B aus dem Farbbild 210 erhalten, das auf dem zweiten Bild beruht. Ferner kann der Kandidatidentifizierer 166 Pixel identifizieren, in denen die Farbwerte die fünfte Farbbedingung erfüllen, d. h. jene Pixel identifizieren, die die Farbwerte entsprechend dem „sehr dunklen Rot” oder höher beinhalten. Ein Grund dafür ist, dass die Pixel, die zumindest die Farbwerte entsprechend dem „sehr dunklen Rot” beinhalten, möglicherweise zur leuchtenden Bremsleuchte gehören, die durch die Bildaufnahme aufgenommen wird. Wenn sich übrigens der Detektionsbereich 214 unter wolkiger Umgebung, verregneter Umgebung oder irgendeiner anderen nicht sonnigen Umgebung befindet, kann der Kandidatidentifizierer 166 die Farbwerte nach Einstellung eines Weißabgleichs erhalten, so dass die richtigen Farbwerte erhalten werden.
Wenn die Differenz im horizontalen Abstand, die Differenz in der Höhe und die Differenz im relativen Abstand zwischen den Pixeln, die als zumindest die fünfte Farbbedingung erfüllend identifiziert sind, jeweils in einen vorbestimmten Bereich fallen, kann der Kandidatidentifizierer 166 eine Gruppierung der identifizierten mehreren Pixel als Einzel-Lichtquellen-Kandidat durchführen. Der vorbestimmte Bereich kann zum Beispiel 0,1 Meter betragen, ist aber darauf nicht beschränkt. Auf diese Weise macht es der Kandidatidentifizierer 166 möglich, individuell jene zur einen der Bremsleuchten gehörenden Pixel zu erkennen, die sich an den linken und rechten Seiten des Fahrzeugs befinden, auch wenn die Pixel, welche die Bremsleuchte darstellen, über mehrere Bereiche hinweg angeordnet sind, oder selbst wenn die Bremsleuchten, die sich an den rechten und linken Seiten des Fahrzeugs befinden, jeweils aus einer Mehrzahl von Lampen aufgebaut sind.
Der Kandidatidentifizierer 166 kann ferner den basierend auf dem ersten Bild identifizierten Fahrzeugbereich dem basierend auf dem zweiten Bild identifizierten Lichtquellenkandidat zuordnen. Der Kandidatidentifizierer 166 kann die Zuordnung basierend auf Stücken von Parallaxeninformation, die durch das Abstandsbild 212, das auf dem ersten Bild beruht, angegeben wird, und durch das Abstandsbild 212, das auf dem zweiten Bild beruht, angegeben wird, durchführen.
Wenn sich ferner der Lichtquellenkandidat im zweiten Bild, welches das letzte Mal erhalten wurde, und der Lichtquellenkandidat im zweiten Bild, das dieses Mal erhalten wird, in einem vorbestimmten Bereich im Fahrzeugbereich befinden, kann der Kandidatidentifizierer 166 diese Lichtquellenkandidaten als derselbe Lichtquellenkandidat einander zuordnen. Der Kandidatidentifizierer 166 kann die Zuordnung jedes Mal durchführen, wenn die ersten und zweiten Bilder erhalten werden. Dies macht es dem Kandidatidentifizierer 166 möglich, den Lichtquellenkandidat zu verfolgen, sobald dieser Lichtquellenkandidat identifiziert ist.
[Lichtquellenkandidat-Beseitigungsprozess]
Es ist zu beachten, dass Licht, wie etwa Sonnenlicht, in Abhängigkeit von einer Sonnenscheinbedingung, d. h. einer Außenumgebung, reflektiert werden könnte. Das Element könnte, ohne Einschränkung, eine Bremsleuchten-Abdeckung oder ein Heckfenster enthalten. Wenn das Sonnenlicht reflektiert wird, könnte ein Bereich, von dem das Sonnenlicht reflektiert wird, in dem zweiten Bild höhere Farbwerte bekommen, was möglicherweise zu einer irrtümlichen Detektion des Bereichs als der Lichtquellenkandidat führt. Insbesondere, wenn das Sonnenlicht von zum Beispiel, aber ohne Einschränkung, der Bremsleuchten-Abdeckung und einem Fahrzeug mit roter Karosserie reflektiert wird, könnte der Bereich, von dem das Sonnenlicht reflektiert wird, einen hohen Farbwert (R) von Rot einnehmen. In diesem Fall könnte der Farbwert (R) manchmal äquivalent zu einem Farbwert werden, wo die Bremsleuchte leuchtet, was zu einem Problem führt, dass ein Teil der Bremsleuchten-Abdeckung oder ein Teil der roten Fahrzeugkarosserie, wovon das Sonnenlicht reflektiert wird, möglicherweise irrtümlich als Bremsleuchte bestimmt werden könnte, die leuchtet, obwohl die Bremsleuchte nicht leuchtet.
Auch ist anzumerken, dass die leuchtende Bremsleuchte im zweiten Bild konsistent die gleiche Position im Fahrzeugbereich belegt. Im Gegensatz hierzu verändert eine Position, wo das Teil, das den hohen Farbwert aufgrund der Reflektion vom Sonnenlicht beinhaltet, den Fahrzeugbereich belegt, sich in dem zweiten Bild in Abhängigkeit von einer Positionsbeziehung der Sonne gegenüber dem vorausfahrenden Fahrzeug und dem eigenen Fahrzeug 1.
Somit kann eine Verschiebungsbetrag-Herleitungseinheit 268 einen Verschiebungsbetrag in den zweiten Bildern des Lichtquellenkandidats herleiten, der sich im Fahrzeugbereich befindet und vom Kandidatidentifizierer 166 identifiziert ist. Der Verschiebungsbetrag kann ein relativer Verschiebungsbetrag von einer vorbestimmten Position im Fahrzeugbereich sein. Die zweiten Bilder können jene sein, die zu 10 Einzelbildern der zweiten Bilder gehören, die vom Kandidatidentifizierer 166 einander zugeordnet werden. In einem bestimmten, aber nicht einschränkenden Beispiel kann die Verschiebungsbetrag-Herleitungseinheit 168 eine geometrische Schwerpunktposition des Lichtquellenkandidats für das anfängliche zweite Bild herleiten, worin der Lichtquellenkandidat zuerst identifiziert wird, und für das zweite Bild, das zu dem 10ten Einzelbild ab dem anfänglichen zweiten Bild gehört. Die Schwerpunktposition kann basierend auf der unteren linken Ecke des Fahrzeugbereichs als dem Ursprung hergeleitet werden. Danach kann die Verschiebungsbetrag-Herleitungseinheit 168, als den Verschiebungsbetrag, einen Abstand von der Schwerpunktposition des Lichtquellenkandidaten im anfänglichen zweiten Bild, worin der Lichtquellenkandidat zuerst identifiziert wird, zur Schwerpunktposition des Lichtquellenkandidaten im zweiten Bild, das zu dem 10ten Einzelbild ab dem anfänglichen zweiten Bild gehört, herleiten. Alternativ kann die Verschiebungsbetrag-Herleitungseinheit 168 den Verschiebungsbetrag im gegenwärtigen Einzelbild in Bezug auf das vorherige Einzelbild herleiten, wenn der Lichtquellenkandidat, der dem Lichtquellenkandidat im vorherigen Einzelbild entspricht, im gegenwärtigen Einzelbild identifiziert wird, und kann die hergeleiteten Verschiebungsbeträge akkumulieren, um hierdurch den Verschiebungsbetrag in den 10 Einzelbildern der zweiten Bilder herzuleiten.
Wenn der von der Verschiebungsbetrag-Herleitungseinheit 168 hergeleitete Verschiebungsbetrag des Lichtquellenkandidaten gleich oder größer als ein vorbestimmter Verschiebungsbetrag-Schwellenwert ist, kann der Kandidatbeseitiger 170 diesen Lichtquellenkandidat von den Lichtquellenkandidaten beseitigen, die dem später beschriebenen Leuchte-Bestimmungsprozess unterzogen werden sollen, aus den Gründen, dass der beseitigte Lichtquellenkandidat zu dem Bereich gehört, der wegen der Reflektion von Sonnenlicht den hohen Farbwert von Rot enthält. Der vorbestimmte Verschiebungsbetrag-Schwellenwert kann zum Beispiel 50 cm betragen, ist aber darauf nicht beschränkt. Sobald der Lichtquellenkandidat beseitigt ist, bleibt der beseitigte Lichtquellenkandidat von den Lichtquellenkandidaten beseitigt, die dem später beschrieben Leuchte-Bestimmungsprozess unterzogen werden sollen, auch wenn der Lichtquellenkandidat entsprechend dem beseitigten Lichtquellenkandidat in einem anschließenden Einzelbild identifiziert wird.
8 beschreibt ein Beispiel eines Lichtquellenkandidat-Beseitigungsprozesses. 8 stellt ein Beispiel dar, bei dem drei Lichtquellenkandidaten 242a, 242b und 242c in dem Fahrzeugbereich 240 identifiziert werden, wie in (a) von 8 dargestellt, und der Lichtquellenkandidat 242a im Laufe der Zeit verschoben wird (d. h. innerhalb der 10 Einzelbilder bewegt wird), wie (b) von 8 dargestellt, und der Verschiebungsbetrag innerhalb der 10 Einzelbilder des Lichtquellenkandidats 242a gleich oder größer als der Verschiebungsbetrag-Schwellenwert wird. In diesem Fall kann der Kandidatbeseitiger 170 den Lichtemissionsquellenkandidat 242a von den Lichtquellenkandidaten beseitigen, wie in (c) von 8 dargestellt.
Anschließend kann im folgenden Leuchte-Bestimmungsprozess bestimmt werden, ob der verbleibende Lichtquellenkandidat unter den Lichtquellenkandidaten, die sich in dem Fahrzeugbereich befinden, ausschließlich des beseitigten Lichtquellenkandidats, die leuchtende Bremsleuchte ist. In anderen Worten, es kann an dem Lichtquellenkandidat, dessen Verschiebungsbetrag über die 10 Einzelbilder kleiner als der Verschiebungsbetrag-Schwellenwert ist, bestimmt werden, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist.
[Leuchte-Bestimmungsprozess]
Es ist anzumerken, dass der Lichtquellenkandidat, der die Farbbedingung erfüllt, eine kleine Abmessung bekommen könnte, und daher die Anzahl der Pixel, die als Lichtquellenkandidat zu gruppieren sind, klein werden könnte, wenn der relative Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug lang ist. Wenn hingegen der relative Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug kurz ist, könnte der Lichtquellenkandidat, der die Farbbedingung erfüllt, eine große Abmessung bekommen, und somit könnte die Anzahl der Pixel, die als der Lichtquellenkandidat zu gruppieren ist, dementsprechend groß werden. Daher kann sich die Anzahl der Pixel, die die Farbbedingung erfüllt, in Abhängigkeit von einer Veränderung im relativen Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug verändern, auch wenn die Bremsleuchte im leuchtenden Zustand bleibt. Wenn die Veränderung in der Anzahl von Pixeln, die die Farbbedingung erfüllt, in Abhängigkeit von einer Positionsbeziehung zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug auftritt, obwohl die Bremsleuchte leuchtet, kann möglicherweise das folgende beispielhafte Problem auftreten. Ein Problem ist, dass, auch wenn die Bremsleuchte leuchtet und somit die Pixel, die vermutlich die Farbbedingung erfüllen, vorhanden sind, die Anzahl der Pixel, die die Farbbedingung erfüllt, infolge der Veränderung der Anzahl der Pixel, die dem übermäßig langen relativen Abstand zuzuordnen ist, den Schwellenwert nicht erfüllen könnte. Um diesem Problem Rechnung zu tragen kann die Ausführung die Anzahl der Pixel, die die Farbbedingung erfüllt, basierend auf dem relativen Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug, in eine tatsächliche Fläche umwandeln.
9 beschreibt eine Beziehung des relativen Abstands zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug in Bezug auf die Anzahl von Pixeln. In 9 bezeichnet die horizontale Achse den relativen Abstand, wohingegen die vertikale Achse die Anzahl von Pixeln bezeichnet, die ein dreidimensionales Objekt mit einer vorbestimmten Größe belegt. Wie aus 9 ersichtlich, wird die Anzahl von Pixeln kleiner, wenn der relative Abstand länger wird, auch bei dem gleichen dreidimensionalen Objekt, d. h. der gleichen Fläche. Eine solche Änderung der Anzahl von Pixeln kann durch eine Funktion angenähert werden, worin die Anzahl von Pixeln proportional zum relativen Abstand von einem Punkt, wo der relative Abstand 0 (Null) ist, bis zu einem Punkt „a” des relativen Abstands in 9 sein kann. Nach dem Punkt „a” kann die Anzahl von Pixeln proportional zu 3/2 Potenz des relativen Abstands sein. Allgemein ist eine Größe eines dreidimensionalen Objekts in einem Bild einfach proportional zum relativen Abstand. Im Falle einer Lichtquelle streut jedoch ein scheinbarer Lichtemissionsbereich aufgrund vom Einfluss der Lichtemission, wodurch die Beziehung zwischen dem relativen Abstand und der Anzahl von Pixeln nichtlinear wird, wie in 9 dargestellt.
Daher kann der Flächenwandler 172 die Anzahl von Pixeln zählen, die eine der Farbbedingungen erfüllt, die basierend auf dem relativen Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug gesetzt sind, und kann, basierend auf einer in 9 dargestellten Umkehrfunktion (d. h. Division des relativen Abstands zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug durch die Anzahl von Pixeln in 9) die Anzahl von Pixeln, die eine der Farbbedingungen erfüllt, in die Fläche umwandeln. In einem bestimmten, aber nicht einschränkenden Beispiel kann der Flächenwandler 172 die Anzahl der Pixel zählen, welche die zweite Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 0 (Null) Meter, aber kleiner als 40 Meter ist, kann die Anzahl von Pixeln zählen, die die dritte Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 40 Meter aber kleiner als 60 Meter ist, kann die Anzahl von Pixeln zählen, die die vierte Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 60 Meter aber kleiner als 80 Meter ist, und kann die Anzahl von Pixeln zählen, die die fünfte Farbbedingung erfüllt, wenn der relative Abstand gleich oder größer als 80 Meter ist.
Nach dem Zählen kann der Flächenwandler 172 die gezählte Anzahl von Pixeln, basierend auf der in 9 dargestellten Umkehrfunktion, in die Fläche umwandeln (d. h. Division des relativen Abstands zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug durch die Anzahl von Pixeln in 9). Dies reduziert die Größenveränderung des dreidimensionalen Objekts, was es dem später beschriebenen Leuchte-Bestimmer 174 möglich macht, die leuchtende Stoppleuchte mit hoher Genauigkeit zu bestimmen, indem er die so umgewandelte Fläche des Lichtquellenkandidats mit einem Schwellenwert vergleicht, der den Leuchtzustand bestimmt, d. h. einem Leuchtzustand-Bestimmungsschwellenwert.
Der Leuchte-Bestimmer 174 kann vorläufig bestimmen, dass der Lichtquellenkandidat die leuchtende Bremsleuchte ist, wenn die Fläche des Lichtquellenkandidats gleich oder größer als der vorbestimmte Leuchtzustand-Bestimmungsschwellenwert ist. Der Leuchte-Bestimmer 174 kann ferner bestimmen, ob der Lichtquellenkandidat, der vorläufig als die leuchtende Bremsleuchte bestimmt ist, allein die Bedingungen, ohne Einschränkung, von Höhenbereich von ”0,3 Meter bis 2,0 Meter”, Breitenbereich in horizontaler Distanz von „0,05 Meter bis 0,2 Meter”, und Breitenbereich in vertikaler Distanz von „0,05 Meter bis 0,2 Meter” erfüllt. Der Leuchte-Bestimmer 174 kann auch bestimmen, ob eine Kombination der Lichtquellenkandidaten als Paar Bedingungen von, ohne Einschränkung, der Differenz in horizontaler Distanz von „1,4 Meter bis 1,9 Meter”, der Differenz in vertikaler Distanz von „0,3 Meter oder weniger” und eines Flächenverhältnisses von „50% bis 200%” erfüllt. Der Leuchte-Bestimmer 174 kann das Paar von Lichtquellenkandidaten, die die vorstehenden beispielhaften Bedingungen erfüllen, als leuchtende Bremsleuchten identifizieren. Eine solche Konfiguration, die die Lichtquellenkandidaten nur dann als Bremsleuchten identifiziert, wenn sich diese Lichtquellenkandidaten an ihren jeweiligen Position entsprechend relevanten Positionen eines Fahrzeugs befinden, macht es möglich, zu verhindern, dass der Lichtquellenkandidat irrtümlich als die Bremsleuchte erkannt wird. In anderen Worten ist es zum Beispiel möglich, zu verhindern, dass der Lichtquellenkandidat, der nur mit der Helligkeit gleich der Helligkeit der Bremsleuchte leuchtet, wie etwa, aber nicht beschränkt auf, eine Nebelschlussleuchte, irrtümlich als die Bremsleuchte erkannt wird.
Nachdem die leuchtende Bremsleuchte auf diese Weise bestimmt ist, kann der Leuchte-Bestimmer 174 die bestimmte Bremsleuchte dem „Fahrzeug” zuordnen, das durch den oben beschriebenen ersten Belichtungsmodus basierend auf dem ersten Bild identifiziert ist.
Wie im Vorstehenden beschrieben, beseitigt die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung 120, von den Lichtquellenkandidaten, einen beliebigen Lichtquellenkandidat, bei dem der Verschiebungsbetrag in einer vorbestimmten Periode (zum Beispiel, aber nicht beschränkt auf, eine Periode äquivalent zu 10 Einzelbildern) gleich oder größer als der Verschiebungs-Schwellenwert ist, und bestimmt, ob der nicht beseitigte Lichtquellenkandidat die leuchtende Bremsleuchte ist. Dies macht es möglich, den Lichtquellenkandidat, bei dem der Farbwert von Rot aufgrund der Reflektion des Sonnenlichts von der Bremsleuchten-Abdeckung, der roten Fahrzeugkarosserie oder einem beliebigen anderen Faktor hoch ist, von Lichtquellenkandidaten, die der Bestimmung der leuchtenden Bremsleuchte zu unterziehen sind, zu beseitigen. Somit wird es möglich, die leuchtende Bremsleuchte genau zu bestimmen. Ferner ist es möglich, die leuchtende Bremsleuchte in einer kurzen Zeitdauer zu bestimmen, wie etwa, aber nicht beschränkt auf, 10 Einzelbilder.
[Fluss des Fahrzeug-Außenumgebungs-Erkennungsprozesses]
Nun wird ein Beispiel vom Fluss eines Fahrzeug-Außenumgebungs-Erkennungsprozesses beschrieben, der von der zentralen Steuereinrichtung 154 auszuführen ist. Der Fahrzeug-Außenumgebungs-Erkennungsprozess kann den Bildprozess, den Fahrzeug-Identifizierungsprozess, den Lichtquellenkandidat-Identifizierungsprozess, den Lichtquellenkandidat-Beseitigungsprozess und den Leuchte-Bestimmungsprozess enthalten, wie oben beschrieben. Der Fahrzeug-Außenumgebungs-Erkennungsprozess kann jedes Mal, wenn die ersten und zweiten Bilder erhalten werden, als Interruptprozess ausgeführt werden.
Die 10A und 10B sind jeweils ein Flussdiagramm, das einen beispielhaften Fluss des Fahrzeug-Außenumgebungs-Erkennungsprozesses darstellt. Bezugnehmend auf 10A kann der Bildprozessor 160 zuerst das basierend auf dem ersten Belichtungsmodus aufgenommene erste Bild und das basierend auf dem zweiten Belichtungsmodus aufgenommene zweite Bild von den Bildaufnahmeeinheiten 110 erhalten (S300). Der Bildprozessor 160 kann danach die Parallaxe von den erhaltenen Bildern herleiten, und die Positionsinformations-Herleitungseinheit 162 kann die dreidimensionale Positionsinformation entsprechend jedem Teil eines dreidimensionalen Objekts basierend auf der hergeleiteten Parallaxe herleiten (S302). Der Fahrzeugidentifizierer 164 kann danach das Fahrzeug und den Fahrzeugbereich von den dreidimensionalen Objekten, die jeweils basierend auf der dreidimensionalen Positionsinformation gruppiert sind, identifizieren, und die relative Position (zum Beispiel den relativen Abstand) zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug identifizieren (S304).
Der Kandidatidentifizierer 166 kann danach die Gruppe von Pixeln, worin die Farbwerte zumindest die fünfte Farbbedingung erfüllen, als den Lichtquellenkandidat identifizieren (S306). Die Gruppe von Pixeln stellt hier das zweite Bild dar. Der Kandidatidentifizierer 166 kann danach den identifizierten Lichtquellenkandidat dem Lichtquellenkandidat im vorherigen Einzelbild zuordnen, um den identifizierten Lichtquellenkandidat zu verfolgen (S308).
Die Verschiebungsbetrag-Herleitungseinheit 168 kann danach einen der nicht bestimmten Lichtquellenkandidaten auswählen (S310) und bestimmen, ob der ausgewählte Lichtquellenkandidat über 10 Einzelbilder identifiziert wird (S312). Der Fluss kann zu einem Prozess in S322 weitergehen, wenn der ausgewählte Lichtquellenkandidat über die 10 Einzelbilder nicht identifiziert wird (NEIN in S312).
Wenn der eine ausgewählte Lichtquellenkandidat über die 10 Einzelbilder identifiziert wird (JA in S312), kann die Verschiebungsbetrag-Herleitungseinheit 168 den Verschiebungsbetrag dieses Lichtquellenkandidaten herleiten (S314). Der Kandidatbeseitiger 170 kann bestimmen, ob der hergeleitete Verschiebungsbetrag des Lichtquellenkandidaten gleich oder größer als der Verschiebungsbetrag-Schwellenwert ist (S316). Wenn der Verschiebungsbetrag des Lichtquellenkandidaten gleich oder größer als der Verschiebungsbetrag-Schwellenwert ist (JA in S316), kann der Kandidatbeseitiger 170 diesen Lichtquellenkandidat von den Lichtquellenkandidaten beseitigen, die dem folgen Leuchte-Bestimmungsprozess zu unterziehen sind, d. h. Prozesse von S324 bis S332 (S318). Wenn der Verschiebungsbetrag des Lichtquellenkandidaten nicht gleich oder größer als der Verschiebungsbetrag-Schwellenwert ist (NEIN in S316), kann der Kandidatbeseitiger 170 diesen Lichtquellenkandidaten als jenen Lichtquellenkandidaten bestimmen, der dem folgenden Leuchte-Bestimmungsprozess zu unterziehen ist, d. h. den Prozessen von S324 bis S332 (S320).
Nach Ausführung von S318 oder S320 kann die Verschiebungsbetrag-Herleitungseinheit 168 bestimmen, ob ein etwaiger nicht bestimmter Lichtquellenkandidat vorhanden ist (S322). Wenn bestimmt wird, dass der nicht bestimmte Lichtquellenkandidat vorhanden ist (JA in S322), kann der Fluss zum Prozess von S310 zurückkehren. Wenn bestimmt wird, dass kein nicht bestimmter Lichtquellenkandidat vorhanden ist (NEIN in S322), kann der Fluss zu einem Prozess in S324 weitergehen. Selbst wenn der Lichtquellenkandidat, der jenem Lichtquellenkandidat entspricht, der in S318 von den Lichtquellenkandidaten beseitigt ist, die dem Leuchte-Bestimmungsprozess zu unterziehen sind (d. h. den Prozessen von S324 bis S332), in S306 identifiziert wird, kann dieser identifizierte Lichtquellenkandidat von den Lichtquellenkandidaten beseitigt werden, die dem Leuchte-Bestimmungsprozess zu unterziehen sind (d. h. den Prozessen von S324 bis S332), ohne die Prozesse von S310 bis S322 auszuführen.
Bezugnehmend auf 10B kann der Flächenwandler 172 danach einen der nicht bestimmten Lichtquellenkandidaten von den Lichtquellenkandidaten auswählen, die im Prozess von S318 nicht beseitigt sind, d. h. von den Lichtquellenkandidaten, die der Bestimmung der leuchtenden Leuchte zu unterziehen sind (S324). Der Flächenwandler 172 kann in dem einen ausgewählten der nicht bestimmten Lichtquellenkandidaten die Anzahl von Pixeln zählen, die eine der Farbbedingungen erfüllen, die auf dem relativen Abstand beruhen, und, basierend auf dem relativen Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug, jene Anzahl von Pixeln, die eine der Farbbedingungen erfüllt, in die Fläche umwandeln (S326). Die Farbbedingung kann hier eine der zweiten bis fünften Farbbedingungen sein. Der Leuchte-Bestimmer 174 kann danach die umgewandelte Fläche mit dem Leuchtzustand-Bestimmungsschwellenwert vergleichen, um vorläufig zu bestimmen, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist (S328).
Der Leuchte-Bestimmer 174 kann danach bestimmen, ob es einen nicht bestimmten Lichtquellenkandidaten unter den Lichtquellenkandidaten gibt, die der Bestimmung der leuchtenden Leuchte zu unterziehen sind (S330). Wenn bestimmt wird, dass der nicht bestimmte Lichtquellenkandidat vorhanden ist (JA in S330), kann der Fluss zum Prozess von S324 zurückkehren. Wenn bestimmt wird, dass kein nicht bestimmter Lichtquellenkandidat vorhanden ist (NEIN in S330), kann der Leuchte-Bestimmer 174 den Lichtquellenkandidat, der vorläufig als die leuchtende Bremsleuchte bestimmt ist, als die leuchtende Bremsleuchte bestimmen, wenn der vorläufig bestimmte Lichtquellenkandidat die Bedingungen von zum Beispiel, aber nicht beschränkt auf, Position und Größe erfüllt (S332). Dies kann den Fahrzeug-Außenumgebungs-Erkennungsprozess abschließen.
Obwohl im Vorstehenden einige bevorzugte Ausführungen der Erfindung als Beispiel unter Bezug auf die beigefügten Zeichnungen beschrieben worden sind, ist die Erfindung keineswegs auf die oben beschriebenen Ausführungen beschränkt. Es sollte angemerkt werden, dass Fachkundige Modifikationen und Veränderungen vornehmen können, ohne vom Umfang abzuweichen, der in den beigefügten Ansprüchen definiert ist. Die Erfindung soll diese Modifikationen und Veränderungen erfassen, insofern sie in den Umfang der beigefügten Ansprüche oder deren Äquivalente fallen.
Zum Beispiel wird in einer oben beschrieben Ausführung das Zählen an der Anzahl von Pixeln des Lichtquellenkandidats durchgeführt, die eine der Farbbedingungen erfüllt, die auf dem relativen Abstand zwischen dem eigenen Fahrzeug 1 und dem vorausfahrenden Fahrzeug beruhen, und die gezählte Anzahl von Pixeln wird, basierend auf dem relativen Abstand, in die Fläche umgewandelt. Ferner wird die umgewandelte Fläche mit dem Leuchtzustand-Bestimmungsschwellenwert verglichen, um zu bestimmen, ob der Lichtquellenkandidat die leuchtende Lampe ist. Jedoch ist die Erfindung darauf nicht beschränkt. In einer alternativen Ausführung kann die Anzahl von Pixeln oder die Pixelfläche, die eine der vorbestimmten Farbbedingungen erfüllen bzw. erfüllt, des Lichtquellenkandidaten mit dem Leuchtzustand-Bestimmungsschwellenwert verglichen werden, um zu bestimmen, ob der Lichtquellenkandidat die leuchtende Leuchte ist.
In einer oben beschriebenen Ausführung wird bestimmt, ob der Lichtquellenkandidat, der vorläufig als die leuchtende Bremsleuchte bestimmt ist, die Bedingungen von zum Beispiel, aber ohne Einschränkung, Position und Größe erfüllt, und der vorläufig bestimmte Lichtquellenkandidat, der die Bedingung erfüllt, wird als die leuchtende Bremsleuchte bestimmt. Die Erfindung ist darauf jedoch nicht beschränkt. In einer alternativen Ausführung kann der Lichtquellenkandidat, der vorläufig als die leuchtende Bremsleuchte bestimmt ist, direkt als die leuchtende Bremsleuchte bestimmt werden.
In einer oben beschriebenen Ausführung wird bestimmt, ob der Lichtquellenkandidat die leuchtende Bremsleuchte ist. Die Erfindung ist jedoch darauf nicht beschränkt. In einer alternativen Ausführung kann bestimmt werden, ob der Lichtquellenkandidat eine andere leuchtende Leuchte als die Bremsleuchte ist.
In einer oben beschriebenen Ausführung kann die zentrale Steuereinrichtung 154 eine integrierte Halbleiterschaltung enthalten, die Vorrichtungen enthalten kann, wie etwa, aber nicht beschränkt auf, die zentrale Prozessoreinheit (CPU), das ROM und das RAM. Die Erfindung ist darauf aber nicht beschränkt. In einer alternativen Ausführung kann die zentrale Steuereinrichtung 154 eine integrierte Schaltung enthalten, wie etwa, aber nicht beschränkt auf, ein feldprogrammierbares Gate-Array (FPGA) und eine anwenderspezifische integrierte Schaltung (ASIC). Die zentrale Steuereinrichtung 154 oder irgendeine andere Steuereinrichtung kann eine oder mehrere zentrale Prozessoreinheiten enthalten, oder ein oder mehrere FPGAs und/oder ein oder mehrere ASICs.
Die Erfindung sieht auch ein Programm vor, das einen Computer veranlasst, als die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung zu fungieren, sowie ein Aufzeichnungsmedium, welches das Programm speichert. Das Aufzeichnungsmedium ist computerlesbar. Nicht einschränkende Beispiele des Aufzeichnungsmediums können eine flexible Platte, eine magnetoptische Platte, ein DRAM, SRAM, ROM, NVRAM, CD, DVD (eingetragene Handelsmarke) und BD (eingetragene Handelsmarke) sein. Hierin bezieht sich der Begriff „Programm” auf einen Datenprozessor, der in einer beliebigen Sprache und einer beliebigen Beschreibungsmethode geschrieben ist.
Ein Teil oder alle der Prozesse in dem hierin offenbarten Fahrzeug-Außenumgebungs-Erkennungsprozess braucht nicht notwendigerweise auf Zeitserienbasis in der Reihenfolge bearbeitet werden, wie sie im beispielhaften Flussdiagramm beschrieben ist. Ein Teil oder alle der Prozesse in dem Fahrzeug-Außenumgebungs-Erkennungsprozess können parallele Bearbeitung oder Bearbeitung basierend auf Unterroutinen beinhalten.
Erfindungsgemäß kann eine Lichtquelle genau und rasch identifiziert werden.
Eine Fahrzeug-Außenumgebungs-Erkennungsvorrichtung enthält einen Computer, der konfiguriert ist, um als Fahrzeugidentifizierer, Kandidatidentifizierer, Verschiebungsbetrag-Herleitungseinheit, Kandidatbeseitiger und Leuchte-Bestimmer zu dienen. Der Fahrzeugidentifizierer identifiziert, aus den jeweiligen aufgenommenen Bildern, ein vorausfahrendes Fahrzeug und einen von dem vorausfahrenden Fahrzeug belegten Fahrzeugbereich. Der Kandidatidentifizierer identifiziert, als Lichtquellenkandidat, einen Kandidaten, der in dem identifizierten Fahrzeugbereich als Lichtquelle bestimmbar ist. Die Verschiebungsbetrag-Herleitungseinheit leitet einen Verschiebungsbetrag des Lichtquellenkandidaten in dem Fahrzeugbereich in einer vorbestimmten Periode her. Der Kandidatbeseitiger beseitigt, aus dem vom Kandidatidentifizierer identifizierten Lichtquellenkandidat, jenen Lichtquellenkandidat, in dem der Verschiebungsbetrag gleich oder größer als ein vorbestimmter Verschiebungsbetrag-Schwellenwert ist. Der Leuchte-Bestimmer bestimmt, ob der Lichtquellenkandidat, der vom Kandidatbeseitiger nicht beseitigt ist, eine leuchtende Leuchte ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015-129125 [0001]
JP 3349060 [0003]
JP 2013-109391 A [0004, 0005]

Claims

Fahrzeug-Außenumgebungs-Erkennungsvorrichtung, welche aufweist: einen Computer, konfiguriert, um zu dienen als: ein Fahrzeugidentifizierer, der aus jeweiligen Bildern, die kontinuierlich von einer Bildaufnahmeeinheit aufgenommen werden, ein vorausfahrendes Fahrzeug und einen vom vorausfahrenden Fahrzeug belegten Fahrzeugbereich identifiziert; ein Kandidatidentifizierer, der einen Kandidaten, der in dem identifizierten Fahrzeugbereich als Lichtquelle bestimmbar ist, als Lichtquellenkandidat identifiziert; eine Verschiebungsbetrag-Herleitungseinheit, die einen Verschiebungsbetrag des Lichtquellenkandidaten in dem Fahrzeugbereich in einer vorbestimmten Periode herleitet; ein Kandidatbeseitiger, der von dem vom Kandidatidentifizierer identifizierten Lichtquellenkandidat jenen Lichtquellenkandidat, in dem der Verschiebungsbetrag gleich oder größer als ein vorbestimmter Verschiebungsbetrag-Schwellenwert ist, beseitigt; und ein Leuchte-Bestimmer, der bestimmt, ob der Lichtquellenkandidat, den der Kandidatbeseitiger von dem vom Kandidatidentifizierer identifizierten Lichtquellenkandidat nicht beseitigt hat, eine leuchtende Leuchte ist.
Die Fahrzeug-Außenumgebungs-Erkennungsvorrichtung nach Anspruch 1, wobei die Verschiebungsbetrag-Herleitungseinheit den Verschiebungsbetrag einer geometrischen Schwerpunktposition des Lichtquellenkandidaten in dem identifizierten Fahrzeugbereich herleitet.