DE102014110213A1

DE102014110213A1 - Fahrzeugaußenumgebungerkennungsvorrichtung

Info

Publication number: DE102014110213A1
Application number: DE102014110213.4A
Authority: DE
Inventors: c/o Fuji Jukogyo K.K. Kido Shinnosuke
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2013-08-05
Filing date: 2014-07-21
Publication date: 2015-02-05
Anticipated expiration: 2034-07-22
Also published as: US9978276B2; CN104346624B; JP2015032179A; JP5886799B2; US20150039212A1; CN104346624A; DE102014110213B4

Abstract

Es wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt. Eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 weist auf ein Fahrtwegvorhersagemodul 166, das einen Fahrtweg, auf dem ein Fahrzeug 1 fährt, vorhersagt, basierend auf einem aktuellen Fahrtzustand des Fahrzeugs 1, ein Fahrtwegbegrenzungsmodul 168, das den vorhergesagten Fahrtweg in der Breitenrichtung des Fahrzeugs begrenzt gemäß zumindest einem oder mehrerer Parameter, ausgewählt aus der Gruppe bestehend aus einer Fahrtgeschwindigkeit des Fahrzeugs, einem Anzeigezustand eines Blinkers, einer Winkelgeschwindigkeit des Fahrzeugs und einem Lenkwinkel, und ein Steuerungseingangidentifizierungsmodul 176, das einen Verkehrsindikator, der vor dem Fahrzeug 1 existiert, identifiziert, basierend auf dem begrenzten Fahrtweg, und der als der Steuerungseingang zu verwenden ist.

Description

Die vorliegende Erfindung betrifft eine Fahrzeugaußenumgebungerkennungsvorrichtung, die eine Außenumgebung eines Fahrzeugs erkennt. Genauer gesagt, die vorliegende Erfindung betrifft eine Fahrzeugaußenumgebungerkennungsvorrichtung, die dazu geeignet ist, einen Verkehrsindikator beziehungsweise eine Verkehrsanzeigeeinrichtung, wie beispielsweise ein Verkehrslichtzeichen (Ampel, etc.) oder ein Verkehrszeichen, zu identifizieren.
Aus dem Stand der Technik ist eine Technologie, beispielsweise eine Kollisionsvermeidungs- beziehungsweise -verhinderungssteuerung, bekannt, die spezifische Objekte detektiert einschließlich eines anderen Fahrzeugs und eines Verkehrslichtzeichens beziehungsweise einer Ampel, die sich vor dem Fahrzeug befinden, und eine Kollision mit dem vorausfahrenden Fahrzeug verhindern, und eine Technologie, wie beispielsweise eine Fahrtsteuerung, die die Farbe der Ampel erkennt und dahingehend steuert, einen Abstand zwischen dem Subjektfahrzeug und einem vorausfahrenden Fahrzeug auf einem sicheren Abstand beizubehalten (siehe zum Beispiel das japanische Patent Nr. 3,349,060 ).
Ein derartiges spezifisches Objekt wird extrahiert von einem Bild, das erhalten wird durch Aufnehmen beziehungsweise Abbilden einer Umgebung außerhalb und vor dem Fahrzeug, basierend auf der Luminanz und Abstandsdaten. Beispielsweise offenbart die japanische ungeprüfte Patentanmeldungsveröffentlichung (JP-A) Nr. 2010-224925 eine Technik zum Aufnehmen eines Farbbildes außerhalb des Fahrzeugs, Gruppieren benachbarter Pixel, und Erkennen einer Lichtquelle, wie beispielsweise ein Verkehrslichtzeichen (Ampel, etc.), basierend auf dem Abstand, der Größe, der Höhe und einer Position eines gruppierten Pixels in Bezug auf einen Fahrtweg des Fahrzeugs.
Die in der JP-A Nr. 2010-224925 offenbarte vorstehend beschriebene Technik erfasst den Fahrtweg des Fahrzeugs von einer Fahrspurlinie auf der Straßenoberfläche, basierend auf einem horizontalen geometrischen Model der Straßenoberfläche in einem realen Raum, und bestimmt ein Verkehrslichtzeichen (Ampel), das beziehungsweise die auf dem Fahrtweg des Fahrzeugs existiert, als ein Verkehrslichtzeichen (Ampel) für das Fahrzeug. Es kann jedoch sein, dass die Fahrspurlinie schwer zu erkennen ist infolge von Wetter, Zeit und/oder der Umgebung außerhalb des Fahrzeugs oder dass überhaupt keine Fahrspurlinie auf der Straßenoberfläche vorhanden ist. In einem solchen Fall ist es möglich, dass Verkehrsindikatoren beziehungsweise Verkehrsanzeigeeinrichtungen, wie beispielsweise Verkehrslichtzeichen (Ampeln, etc.) und Verkehrszeichen, die als Steuerungseingänge zur Steuerung des Fahrzeugs verwendet werden, schwer zu identifizieren sind aufgrund der Außenumgebung des Fahrzeugs.
Eine mögliche Lösung ist es, einen Fahrtweg, auf dem das Fahrzeug fährt, oder einen Kursverlauf, der eine notwendige Breite für die Fahrt des Fahrzeugs in Betracht zieht, basierend auf einem aktuellen Fahrtzustand des Fahrzeugs, wie beispielsweise einer Fahrtgeschwindigkeit, einer Winkelgeschwindigkeit oder einem Lenkwinkel des Fahrzeugs vorherzusagen, ohne sich auf Erkennungsergebnisse von Fahrbahnlinien und dergleichen zu verlassen, und die Verkehrsindikatoren zu identifizieren basierend auf dem Fahrtweg und dergleichen. Der basierend auf dem derzeitigen Fahrtzustand vorhergesagte Fahrtweg kann jedoch nicht mit einem tatsächlichen Fahrtweg übereinstimmen. Beispielsweise ist ein Lenkvorgang zum Ausweichen eines Hindernisses oder zum Wechseln der Fahrspur temporär und der tatsächliche Fahrtweg ist im Wesentlichen eine Gerade, kann jedoch als eine Kurve vorhergesagt werden, basierend auf dem Lenkvorgang. Wenn der Fahrtweg basierend auf dem aktuellen Fahrtzustand nicht mit dem tatsächlichen Fahrtweg übereinstimmt, kann es sein, dass Verkehrsindikatoren, die als Steuerungseingänge verwendet werden sollen, nicht identifiziert werden können und unabsichtlich von den Steuerungseingängen ausgeschlossen werden können.
Die vorliegende Erfindung wurde gemacht im Hinblick auf die vorstehend beschriebenen Umstände und ihr liegt die Aufgabe zugrunde, eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitzustellen, welche eine Genauigkeit des Identifizierens eines Verkehrsindikators (Verkehrsampel, Lichtzeichenanlage, Verkehrszeichen, etc.), der als ein Steuerungseingang des Fahrzeugs zu verwenden ist, verbessert durch Konzipieren einer Identifikation eines Fahrtweges.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt, welche aufweist ein Fahrtwegvorhersagemodul, das einen Fahrtweg, auf dem das Fahrzeug fährt, vorhersagt, basierend auf einem aktuellen Fahrtzustand des Fahrzeugs, ein Fahrtwegbegrenzungsmodul, das den vorhergesagten Fahrtweg in einer Breitenrichtung begrenzt entsprechend zumindest einem oder mehrerer Parameter, ausgewählt aus der Gruppe bestehend aus einer Fahrtgeschwindigkeit des Fahrzeugs, einem Anzeigezustand eines Blinkers, einer Winkelgeschwindigkeit des Fahrzeugs und einem Lenkwinkel, und ein Steuerungseingangidentifizierungsmodul, das einen Verkehrsindikator, der vor dem Fahrzeug existiert, identifiziert, basierend auf dem begrenzten Fahrtweg, und der als Steuerungseingang zu verwenden ist.
Das Fahrtwegbegrenzungsmodul kann den Fahrtweg auf beiden, der linken und rechten, Seiten in der Breitenrichtung begrenzen, wenn die Fahrtgeschwindigkeit des Fahrzeugs ein vorbestimmter Wert ist oder weniger.
Das Fahrtwegbegrenzungsmodul kann den Fahrtweg zu entweder der linken oder der rechten Seite, auf der ein Blinker nicht betätigt ist, begrenzen, wenn der andere Blinker betätigt ist.
Das Fahrtwegbegrenzungsmodul kann für den Ablauf einer vorbestimmten Verlängerungszeit, nachdem die Betätigung des Blinkers beendet wurde, warten, und kann dann die Begrenzung des Fahrtweges löschen.
Wenn die Fahrtgeschwindigkeit des Fahrzeugs ein vorbestimmter Wert ist oder größer und wenn eine Winkelgeschwindigkeit des Fahrzeugs oder ein absoluter Wert eines Lenkwinkels einem vorbestimmten Wert entspricht oder größer ist, kann das Fahrtwegbegrenzungsmodul den Fahrtweg auf beiden, der linken und rechten, Seiten in der Breitenrichtung begrenzen.
Das Fahrtwegbegrenzungsmodul kann den Ablauf einer vorbestimmten Verlängerungszeit, nachdem die Fahrtgeschwindigkeit des Fahrzeugs zu dem vorbestimmten Wert oder geringer wird, oder die Winkelgeschwindigkeit des Fahrzeugs oder der Absolutwert des Lenkwinkels zu dem vorbestimmten Wert oder geringer wird, abwarten und kann dann die Begrenzung des Fahrtweges löschen.
Die vorliegende Erfindung wird im Folgenden, beispielhaft und nicht darauf beschränkt, anhand der Figuren der beigefügten Zeichnungen erläutert, in denen gleiche Bezugszeichen gleiche Elemente anzeigen, und in denen
1 ein Blockschaubild ist, das eine Verbindungsbeziehung eines Umgebungserkennungssystems zeigt,
2 ein Funktionsblockschaubild ist, das schematisch Funktionen einer Fahrzeugaußenumgebungerkennungsvorrichtung zeigt,
3A und 3B Ansichten sind, die ein Luminanzbild und ein Abstandsbild zeigen,
4 eine Ansicht ist, die einen Arbeitsablauf eines Verkehrslichtzeichenidentifizierungsmoduls erläutert,
5 ein Flussdiagramm ist, das einen Arbeitsablauf eines Fahrtwegbegrenzungsmoduls zeigt,
6A und 6B Ansichten sind, die einen begrenzten Fahrtweg zeigen,
7 eine Ansicht ist, die den begrenzten Fahrtweg zeigt,
8 eine Ansicht ist, die den begrenzten Fahrtweg zeigt,
9 eine Ansicht ist, die eine räumliche Beziehung von Verkehrslichtzeichengruppen zeigt,
10 ein Flussdiagramm ist, das einen Arbeitsablauf eines Steuerungseingangidentifizierungsmoduls zeigt,
11 eine Ansicht ist, die einen Versatz des Fahrtweges zeigt,
12 ein Flussdiagramm ist, das einen Ablauf eines Einzelnes-Verkehrslichtzeichen-Prozesses zeigt,
13 eine Ansicht ist, die den Einzelnes-Verkehrslichtzeichen-Prozess illustriert,
14 ein Flussdiagramm ist, das einen Ablauf eines Eine-Seite-Verkehrslichtzeichen-Prozesses illustriert,
15A bis 15C Ansichten sind, die den Eine-Seite-Verkehrslichtzeichen-Prozess illustrieren,
16 eine Ansicht ist, die eine Verkehrslichtzeichengruppe in einem Gleiche-Farbe-Verkehrslichtzeichen-Prozess illustriert,
17 ein Flussdiagramm ist, das einen Ablauf eines Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozesses illustriert,
18A bis 18C Ansichten sind, die den Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozess illustrieren, und
19 eine Ansicht ist, die den Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozess illustriert.
Im Folgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung detailliert unter Bezug auf die beigefügten Zeichnungen beschrieben. Abmessungen, Materialien und anderes, beispielsweise spezifische numerische Werte, die in diesem Ausführungsbeispiel gezeigt sind, sind lediglich Beispiele zum leichteren Verständnis der Erfindung und begrenzen die vorliegende Erfindung nicht, soweit nicht anders im Einzelnen spezifiziert. Es ist zu beachten, dass die vorliegende Beschreibung und die Zeichnungen für Elemente mit im Wesentlichen der gleichen Funktion und Konfiguration gleiche Bezugszeichen verwenden, um redundante Erläuterungen wegzulassen. Zudem ist die Darstellung von Elementen, die sich nicht direkt auf die vorliegende Erfindung beziehen, weggelassen worden.
In den vergangenen Jahren sind Fahrzeuge weit verbreitet, welche mit einer sogenannten Kollisionsvermeidungsfunktion (adaptive Fahrtsteuerung: ACC) ausgerüstet sind. Bei dieser Funktion wird die Straßenumgebung vor dem Fahrzeug von On-board-Kameras, die an dem Fahrzeug angebracht sind, aufgenommen, Objekte wie beispielsweise vorausfahrende Fahrzeuge werden spezifiziert, basierend auf Farbinformation und/oder Positionsinformation innerhalb des Bildes, um eine Kollision mit dem spezifizierten Objekt zu verhindern, und/oder um einen Zwischenfahrzeugabstand bezüglich des vorausfahrenden Fahrzeugs auf einem sicheren Abstand beizubehalten.
Bei solchen Fahrzeugen, die mit einer Fahrzeugaußenumgebungerkennungsvorrichtung ausgerüstet sind, welche die Umgebung außerhalb des Fahrzeugs erkennt, wird ein Fahrtzustand des Fahrzeugs, das mit der Fahrzeugaußenumgebungerkennungsvorrichtung ausgerüstet ist (kann im Folgenden einfach durch „das Fahrzeug” bezeichnet sein), gesteuert durch die Farbe (das heißt Verkehrslichtzeichenfarbe) eines Verkehrslichtzeichens (Verkehrsampel, Lichtzeichenanlage, etc.), das sich vor dem Fahrzeug befindet. Wenn zum Beispiel die Verkehrslichtzeichenfarbe des Verkehrslichtzeichens vor dem Fahrzeug rot ist während der Fahrt unter ACC, kann ein Bremsvorgang angewandt werden, um das Fahrzeug in einen Stoppzustand zu bringen.
Es werden jedoch, beispielsweise bei einer Straßenkreuzung mit klaren Sichtverhältnissen, mehrere Verkehrslichtzeichen gleichzeitig innerhalb eines Detektionsbereichs des Fahrzeugs erkannt. Wenn daher mehrere Verkehrslichtzeichen erkannt werden, muss die Fahrzeugaußenumgebungerkennungsvorrichtung ein oder mehrere Verkehrslichtzeichen identifizieren, welche die Verkehrslichtzeichenfarbe für das Fahrzeug ausstrahlen (diese werden Steuerungseingänge sein) aus der Vielzahl von Verkehrslichtzeichen, und den Fahrtzustand des Fahrzeugs steuern auf der Basis der Verkehrslichtzeichenfarbe. Hierbei kann der Fahrtweg des Fahrzeugs erfasst werden basierend auf einer Fahrspurlinie auf einer Straßenoberfläche und ein Verkehrslichtzeichen, das auf dem Fahrtweg des Fahrzeugs existiert, kann verwendet werden als der Steuerungseingang des Fahrzeugs. Wenn jedoch die Fahrspurlinie schwer zu erkennen ist entsprechend dem Wetter, der Zeit und/oder der Umgebung außerhalb des Fahrzeugs, oder wenn es überhaupt keine Fahrspurlinie auf der Straßenoberfläche gibt, kann das Verkehrslichtzeichen, das als der Steuerungseingang verwendet werden soll, möglicherweise nicht identifiziert werden, abhängig von der Umgebung außerhalb des Fahrzeugs. In diesem Beispiel wird daher eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt, die die Genauigkeit des Identifizierens des Verkehrslichtzeichens, das als Steuerungseingang zur Steuerung des Fahrzeugs verwendet werden soll, verbessern kann, unabhängig von der Umgebung außerhalb des Fahrzeugs.
(Umgebungserkennungssystem 100)
1 ist ein Blockschaubild, das eine Verbindungsbeziehung eines Umgebungserkennungssystems 100 zeigt. Das Umgebungserkennungssystem 100 beinhaltet ein Paar Bildaufnahmevorrichtungen 110, eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 und eine Fahrzeugsteuervorrichtung 130 (welche typischerweise aufweist eine Motorsteuereinheit (ECU)), die alle innerhalb eines Fahrzeugs 1 vorgesehen sind.
Jede Bildaufnahmevorrichtung 110 weist auf einen Bildsensor, der ein oder mehrere ladungsgekoppelte Vorrichtungen (Fotoelemente) (CCDs) oder ein oder mehrere Komplementär-Metalloxid-Halbleiter (CMOSs) aufweist. Die Bildaufnahmevorrichtung 110 kann die Umgebung vor dem Fahrzeug 1 aufnehmen, um ein Farbbild zu erzeugen, das aus drei Farben besteht (R (rot), G (grün), B (blau)), oder ein monochromes Bild. Das Farbbild, das von der Bildaufnahmevorrichtung 110 aufgenommen wird, wird hier als ein Luminanzbild bezeichnet, und das Farbbild wird somit unterschieden von einem Abstandsbild, das später beschrieben wird.
Darüber hinaus sind in diesem Beispiel zwei Abbildungsvorrichtungen 110 so bereitgestellt, dass sie voneinander in im Wesentlichen horizontaler (seitlicher) Richtung beabstandet sind, so dass die optischen Achsen der zwei Bildaufnahmevorrichtungen 110 im Wesentlichen parallel zueinander ausgerichtet sind in der Fahrtrichtung des Fahrzeugs 1. Die Bildaufnahmevorrichtung 110 erzeugt sequentiell Bilddaten, die erhalten werden von einem Bildobjekt oder Bildobjekten, das beziehungsweise die sich in einem Detektionsbereich vor dem Fahrzeug 1 pro Rahmen oder Bild befinden, beispielsweise alle 1/60 Sekunden (60 fps) (Bilder pro Sekunde). Hierbei beinhalten die zu erkennenden Objekte feste Objekte, die unabhängig existieren, wie beispielsweise Fahrzeuge, Fußgänger, Verkehrslichtzeichen (Ampel), Straßen (Fahrtwege) und Leitplanken, sowie Objekte, die als Teile der festen Objekte identifiziert werden können, wie beispielsweise Hecklichter, Blinklichter, lichtaussendende Teile jedes Verkehrslichtzeichens (zum Beispiel Ampel). Jedes Funktionsmodul, das weiter unten beschrieben wird, führt einen Prozess für jedes Bild aus als Reaktion auf das Erneuern solcher Bilddaten als Auslösemoment.
Die Fahrzeugaußenumgebungerkennungsvorrichtung 120 akquiriert Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110, leitet eine Parallaxe zwischen diesen ab durch Verwendung sogenannten Musterabgleichs und assoziiert die abgeleitete Parallaxeinformation (entsprechend eines nachfolgend beschriebenen Tiefenabstands) mit den Bilddaten, um das Abstandsbild zu erzeugen. Das Luminanzbild und das Abstandsbild werden später detailliert beschrieben. Des Weiteren identifiziert die Fahrzeugaußenumgebungerkennungsvorrichtung 120 ein spezifisches Objekt, welches dem Objekt innerhalb des Detektionsbereichs vor dem Fahrzeug 1 entspricht, durch Verwenden der Luminanz, basierend auf dem Luminanzbild, und des Tiefenabstands von dem Fahrzeug 1, basierend auf dem Abstandsbild.
Wenn die Fahrzeugaußenumgebungerkennungsvorrichtung 120 das spezifische Objekt identifiziert, leitet es eine Relativgeschwindigkeit oder dergleichen des spezifischen Objekts (zum Beispiel ein vorausfahrendes Fahrzeug) ab, während es das spezifische Objekt nachverfolgt, und bestimmt daraufhin, ob die Möglichkeit, dass das Fahrzeug 1 mit dem spezifischen Objekt kollidiert, hoch ist. Wenn hierbei bestimmt wird, dass die Möglichkeit der Kollision hoch ist, gibt die Fahrzeugaußenumgebungerkennungsvorrichtung 120 einem Fahrer (Fahrzeugbedienperson) eine Warnanzeige durch eine Anzeigeeinheit 122, die vor dem Fahrer installiert ist, das heißt der Fahrer wird informiert, und gibt eine Information aus, die eine Warnung anzeigt, an die Fahrzeugsteuervorrichtung 130.
Die Fahrzeugsteuervorrichtung 130 empfängt als Eingang Betriebshandlungen des Fahrers durch ein Lenkrad 132, ein Beschleunigungspedal (Gaspedal) 134 und ein Bremspedal 136 und steuert das Fahrzeug 1 durch Übertragen der Eingänge auf einen Lenkmechanismus 142, einen Antriebsmechanismus 144 und einen Bremsmechanismus 146. Des Weiteren steuert die Fahrzeugsteuervorrichtung 130 den Antriebsmechanismus 144 und den Bremsmechanismus 146 entsprechend Instruktionen von der Fahrzeugaußenumgebungerkennungsvorrichtung 120.
Im Folgenden wird eine Konfiguration der Fahrzeugaußenumgebungerkennungsvorrichtung 120 detailliert beschrieben. Hierbei wird ein Identifizierungsprozess des Verkehrslichtzeichens verwendet als Steuerungseingang und der Fahrtweg, der ein Weg ist, auf dem das Fahrzeug 1 fahren wird, welches Merkmale dieses Ausführungsbeispiels sind, wird im Detail beschrieben. Eine Beschreibung von Konfigurationen, die mit diesen Merkmalen nicht im Zusammenhang stehen, wird bei diesem Beispiel weggelassen.
(Fahrzeugaußenumgebungerkennungsvorrichtung 120)
2 ist ein Funktionsblockschaubild, das schematisch Funktionen der Fahrzeugaußenumgebungerkennungsvorrichtung 120 erläutert. Wie in 2 dargestellt, weist die Fahrzeugaußenumgebungerkennungsvorrichtung 120 eine Schnittstellen-(I/F)-Einheit 150, eine Datenhalteeinheit 152 und eine Zentralsteuereinheit 154 auf.
Die I/F-Einheit 150 ist eine Schnittstelle zum bidirektionalen Informationsaustausch mit den Bildaufnahmevorrichtungen 110 und der Fahrzeugsteuervorrichtung 130. Die Datenhalteeinheit 152 weist ein oder mehrere RAMs auf, ein oder mehrere Flashspeicher, ein oder mehrere HDDs, und so weiter, und hält verschiedene Informationen, die erforderlich sind für die Prozesse von jeder nachfolgend erläuterten Funktionseinheit. Zusätzlich hält die Datenhalteeinheit 152 temporär Bilddaten, die von den Bildaufnahmevorrichtungen 110 empfangen werden.
Die Zentralsteuereinheit 154 verfügt über einen oder mehrere integrierte Schaltkreise mit einer oder mehreren zentralen Prozessoreinheiten (CPUs), einen oder mehreren ROMs, in dem ein oder mehrere Programme und dergleichen gespeichert sind, und einem oder mehreren RAMs als Arbeitsbereiche oder dergleichen. Die Zentralsteuereinheit 154 steuert beispielsweise die I/F-Einheit 150 und die Datenhalteeinheit 152 durch einen Systembus 156. In diesem Beispiel funktioniert die Zentralsteuereinheit 154 auch als ein Bildverarbeitungsmodul 160, ein dreidimensionale-(3D)-Positionsinformation-Erzeugungsmodul 162, ein Objektidentifizierungsmodul 164, ein Fahrtwegvorhersagemodul 166, ein Fahrtwegbegrenzungsmodul 168, ein Tiefenabstandakquirierungsmodul 170, ein Verkehrslichtzeichengruppeerzeugungsmodul 172, ein Lateralpositionherleitemodul 174 und ein Steuerungseingangidentifizierungsmodul 176. Im Folgenden werden detaillierte Betriebsweisen beschrieben in der Reihenfolge der Bildverarbeitung, dem Objektidentifizierungsprozess, dem Fahrtwegidentifizierungsprozess und dem Steuerungseingangidentifizierungsprozess, basierend auf allgemeinen Zwecken solcher funktionalen Module.
(Bildverarbeitung)
Das Bildverarbeitungsmodul 160 akquiriert die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und leitet die Parallaxe ab durch Verwendung von sogenanntem Musterabgleich, wie zuvor beschrieben. Der Musterabgleich extrahiert optional einen Block (zum Beispiel eine Matrix von 4 Pixel in horizontaler Richtung x 4 Pixel in vertikaler Richtung) von den Bilddaten, erzeugt von einer der Bildaufnahmevorrichtungen 110, und sucht dann einen Block in den Bilddaten, die von der anderen Bildaufnahmevorrichtung 110 erzeugt wurden, der dem extrahierten Block entspricht. Hierbei bezieht sich der Begriff „horizontal”, wie er hierin verwendet wird, auf Bildbreitenrichtungen des Luminanzbildes, und der Begriff „vertikal”, wie er hierin verwendet wird, bezieht sich auf die Bildvertikalrichtungen des Luminanzbildes, senkrecht zu den Horizontalrichtungen.
Der Musterabgleich kann zwischen den zwei Sätzen von Bilddaten Luminanz (Y-Farbdifferenzsignal) Block für Block vergleichen, wobei sich der Block auf irgendeine Bildposition bezieht. Das Musterabgleichverfahren beinhaltet beispielsweise SAD (Summe von absoluter Differenz), welches eine Differenz in der Luminanz berechnet, SSD (Summe von quadrierter Intensitätdifferenz), welches einen Wert verwendet nach Quadrieren der Differenz, und NCC (normalisierte Querkorrelation), das Ähnlichkeit von Varianzen berechnet, die erhalten werden durch Subtrahieren eines Durchschnittswerts der Luminanz des Pixels von der Luminanz von jedem Pixel. Das Bildverarbeitungsmodul 160 führt den Parallaxeherleitungsprozess Block für Block durch für alle Blöcke, die in dem Detektionsbereich gezeigt sind (zum Beispiel 600 Pixel in horizontaler Richtung × 180 Pixel in vertikaler Richtung). Obwohl hier der Block gebildet ist aus 4 Pixel in horizontaler Richtung × 4 Pixel in vertikaler Richtung, kann die Anzahl von Pixeln, die in jedem Block enthalten sind, optional gesetzt werden.
Es ist zu beachten, dass das Bildverarbeitungsmodul 160 die Parallaxe für jeden Block herleiten kann, der eine Einheit der Detektionsauflösung ist; es kann jedoch nicht erkennen, welchem Teil von welchem Objekt der Block entspricht. Die Parallaxeinformation wird daher unabhängig hergeleitet nicht pro Objekt, sondern pro Detektionsresolution beziehungsweise Detektionsauflösung (das heißt pro Block) in dem Detektionsbereich. Hierbei wird das Bild der Bilddaten, das mit der Parallaxeinformation assoziiert ist, die hierdurch hergeleitet wird (entsprechend dem nachfolgend beschriebenen Tiefenabstand), als das Abstandsbild bezeichnet.
Die 3A und 3B sind Darstellungen, die ein Luminanzbild 210 und ein Abstandsbild 212 zeigen. Es sei beispielsweise angenommen, dass das Luminanzbild 210 (Bilddaten), wie es in 3A gezeigt ist, erzeugt wird für einen Detektionsbereich 214 durch die zwei Bildaufnahmevorrichtungen 110. Zum leichteren Verständnis ist nur eines der zwei Luminanzbilder 210 schematisch dargestellt. In diesem Beispiel berechnet das Bildverarbeitungsmodul 160 die Parallaxe für jeden Block von solch einem Luminanzbild 210 und bildet das Abstandsbild 212, wie in 3B gezeigt. Jeder Block in dem Abstandsbild 212 ist mit der Parallaxe des Blockes assoziiert. Zum Zwecke der Erläuterung sind die Blöcke, für die die Parallaxen hergeleitet werden, durch schwarze Punkte dargestellt.
Zu 2 zurückkehrend, konvertiert das 3D-Positionsinformation-Erzeugungsmodul 162 die Parallaxeinformation für jeden Block in dem Detektionsbereich 214 in dreidimensionale (3D) Positionsinformation, die einen horizontalen (seitlichen) Abstand, eine Höhe und einen Tiefenabstand aufweist, durch Verwenden eines sogenannten Stereoverfahrens, basierend auf dem Abstandsbild 212, das in dem Bildverarbeitungsmodul 160 erzeugt wurde. Hierbei ist das Stereoverfahren ein Verfahren zum Herleiten eines Tiefenabstandes des Objekts in Bezug auf die Bildaufnahmevorrichtungen 110, basierend auf der Parallaxe des Objekts unter Verwendung eines Triangulationsverfahrens. Hierbei leitet das 3D-Positionsinformation-Erzeugungsmodul 162 eine Höhe eines Subjektteils von der Straßenoberfläche her, basierend auf dem Tiefenabstand von dem Subjektteil, und einen detektierten Abstand auf dem Abstandsbild 212 zwischen dem Subjektteil und einem Punkt auf der Straßenoberfläche in dem gleichen Tiefenabstand wie das Subjektteil. Verschiedene bekannte Technologien können angewandt werden bei dem Herleitungsprozess dieses Tiefenabstandes und dem Identifikationsprozess der 3D-Position und deren Beschreibung wird somit hier weggelassen.
(Objektidentifikationsprozess)
Das Objektidentifizierungsmodul 164 identifiziert ein Objekt, dem das Subjektteil (Pixel oder Blöcke) in dem Detektionsbereich 214 entspricht, durch Verwenden der Luminanz, basierend auf dem Luminanzbild 210, und der 3D-Positionsinformation, basierend auf dem Abstandsbild 212. Das Objektidentifizierungsmodul 164 übt auch die Funktion aus als verschiedene Identifizierungsmodule entsprechend dem Objekt, das zu identifizieren ist. In diesem Beispiel weist das Objektidentifizierungsmodul 164 die Funktion auf eines Verkehrslichtzeichenidentifizierungsmoduls, das ein oder mehrere Verkehrslichtzeichen identifiziert, die sich vor dem Fahrzeug 1 befinden, und die Verkehrslichtzeichenfarbe (rot, gelb oder grün), die jedes Verkehrslichtzeichen ausstrahlt.
4 ist eine Ansicht, die einen Arbeitsablauf des Verkehrslichtzeichenidentifizierungsmoduls erläutert. Hierbei wird als ein Beispiel der Identifizierungsvorgang des Identifikationsprozesses von roter Verkehrslichtzeichenfarbe beziehungsweise Ampelfarbe des Verkehrslichtzeichens durch das Verkehrslichtzeichenidentifizierungsmodul beschrieben. Zuerst bestimmt das Verkehrslichtzeichenidentifizierungsmodul, ob die Luminanz eines Subjektteils in dem Luminanzbild 210 in einen Luminanzbereich (zum Beispiel, wenn die Luminanz (R) als ein Referenzwert verwendet wird, die Luminanz (G) 0,5 mal oder weniger ist als der Referenzwert (R) und die Luminanz (B) 0,38 mal oder weniger als der Referenzwert (R) ist) des Objektes (rotes Ampellicht) fällt. Dann, wenn die Luminanzwerte in die Zielluminanzbereiche fallen, wird eine Identifikationsnummer, die das Objekt anzeigt, dem Subjektteil zugeordnet. Hier, wie in der vergrößerten Ansicht von 4 gezeigt, wird die Identifikationsnummer „1” dem Subjektteil zugeordnet, das dem Objekt (rotes Ampellicht) entspricht.
Als Nächstes berechnet das Verkehrslichtzeichenidentifizierungsmodul unter Verwendung des (beliebigen) Subjektteils als einen Referenzpunkt eine Differenz im horizontalen Abstand und eine Differenz in der Höhe zwischen dem betreffenden Subjektteil und einem anderen Subjektteil (eine Differenz in dem Tiefenabstand kann ebenfalls berechnet werden). Dann gruppiert das Verkehrslichtzeichenidentifizierungsmodul den Subjektteil und andere Subjektteile, deren Differenzen in einem vorbestimmten Bereich liegen, da die anderen Subjektteile als zu dem gleichen Objekt gehörend betrachtet werden können (das heißt, die gleichen Identifikationszahlen werden zugeordnet). Diese Subjektteile werden daher als eine einheitliche Subjektteilgruppe betrachtet. Hierbei ist der vorbestimmte Bereich dargestellt durch Abstände in einem realen Raum und irgendein Wert (zum Beispiel 1,0 m) kann als derartige Abstände verwendet werden. Für die durch derartiges Gruppieren neu hinzugefügten Subjektteile gruppiert das Verkehrslichtzeichenidentifizierungsmodul entsprechend, wobei das neu hinzugefügte Subjektteil als ein Referenzpunkt verwendet wird, Subjektteile, deren horizontale Abstandsdifferenzen und die Höhendifferenzen innerhalb des vorbestimmten Bereichs sind und die dahingehend betrachtet werden, das gleiche Objekt (rotes Ampellicht) zu sein. Wenn die Abstände der Subjektteile, denen die gleiche Identifikationsnummer zugeordnet wird, innerhalb des vorbestimmten Bereichs liegen, werden als Ergebnis alle die Subjektteile in die gleiche Gruppe gruppiert. Hier, wie in der vergrößerten Ansicht von 4 dargestellt, sind die Subjektteile, denen die Identifikationszahl beziehungsweise – nummer „1” zugeordnet wurde, in eine Subjektteilgruppe 220 gruppiert.
Als Nächstes bestimmt das Verkehrslichtzeichenidentifizierungsmodul, ob die Subjektteilgruppe 220 vorbestimmte Bedingungen erfüllt, wie beispielsweise einen Höhenbereich (zum Beispiel 4,5 bis 7,0 m), einen Breitenbereich (zum Beispiel 0,05 bis 0,2 m), die Form (zum Beispiel rund), welche dem Objekt zugeordnet sind. Hierbei wird hinsichtlich der Form die Form verglichen mit einem Muster, das dem Objekt vorab zugeordnet ist (Musterabgleich), und die Bedingung wird als erfüllt angesehen, wenn die Korrelation ein vorbestimmter Wert ist oder größer. Dann, wenn die vorbestimmten Bedingungen als erfüllt angesehen werden, wird beschlossen, dass die Subjektteilgruppe 220 das Objekt (rotes Ampellicht) ist. Obwohl das vorstehende Beispiel des Identifizierens gegeben wurde mit rotem Ampellicht als dem Objekt, muss nicht erwähnt werden, dass das Verkehrslichtzeichenidentifizierungsmodul auch das gelbe Ampellicht und das grüne Ampellicht (oder irgendeine andere Farbe) ebenfalls identifizieren kann.
Des Weiteren, wenn die Subjektteilgruppe 220 Merkmale aufweist, die spezifisch für das Objekt sind, kann die Bestimmung des Objekts durchgeführt werden unter Verwendung der Merkmale als die Bestimmungsbedingungen. Beispielsweise, wenn die lichtemittierenden Elemente des Verkehrslichtzeichens aus LEDs bestehen (lichtemittierende Dioden), blinken die lichtemittierenden Elemente auf in einem Zyklus (zum Beispiel 100 Hz), der vom menschlichen Auge nicht erkannt werden kann. Das Verkehrslichtzeichenidentifizierungsmodul kann daher das Objekt bestimmen (rotes Ampellicht) basierend auf der zeitlichen Änderung in der Luminanz des Subjektteils des Luminanzbildes 210, das asynchron zu der Blinkzeit der LEDs akquiriert wird.
(Fahrtwegidentifikationsprozess)
Wie zuvor beschrieben, ist es in diesem Beispiel notwendig, das Verkehrslichtzeichen, das als der Steuerungseingang des Fahrzeugs 1 verwendet werden soll, von einem oder mehreren Verkehrslichtzeichen, die in dem Detektionsbereich 214 vor dem Fahrzeug 1 erkannt werden, zu identifizieren, und den Fahrtzustand des Fahrzeugs 1 basierend auf der Farbe des Verkehrslichtzeichens zu steuern. Das für den Steuerungseingang zu verwendende Verkehrslichtzeichen wird identifiziert basierend auf dem Fahrtweg des Fahrzeugs 1. Daher wird zuerst der Fahrtweg, welches ein Weg ist, auf dem das Fahrzeug 1 fahren wird, identifiziert, basierend auf einem momentanen Fahrtzustand des Fahrzeugs 1, wie beispielsweise einer Fahrtgeschwindigkeit, einer Winkelgeschwindigkeit und/oder einem Lenkwinkel des Fahrzeugs 1.
Der Fahrtweg, der basierend auf dem aktuellen Fahrtzustand vorhergesagt wird, kann jedoch nicht mit einem tatsächlichen Fahrtweg übereinstimmen. Wenn der vorhergesagte Fahrtweg nicht mit dem tatsächlichen Fahrtweg übereinstimmt, kann das Verkehrslichtzeichen, das ursprünglich als der Steuerungseingang verwendet werden sollte, nicht identifiziert werden und das Verkehrslichtzeichen kann unbeabsichtigt von dem Steuerungseingang ausgeschlossen werden. Ein Beispiel eines solchen Falles kann einen Fall beinhalten, wenn der Fahrer des Fahrzeugs mit hoher Geschwindigkeit nach rechts lenkt, ohne einen Blinker zu verwenden, wenn das Fahrzeug 1 geradeaus fährt. In diesem Fall ist der Lenkvorgang nicht als eine Kurvenfahrt nach rechts beabsichtigt, sondern ist sehr wahrscheinlich durchgeführt worden, um einem Hindernis auszuweichen oder eine Fahrspur zu wechseln. Das Verkehrslichtzeichen, welches als der Steuerungseingang verwendet werden sollte, sollte vor und nach dem Lenkvorgang nicht einfach geändert werden, und das Verkehrslichtzeichen sollte identifiziert werden, während der Fahrtzustand behandelt wird als ein Zustand, in dem das Fahrzeug geradeaus fährt. Da jedoch der Fahrtzustand mit der Kurvenfahrt nach rechts assoziiert ist, wird der vorhergesagte Fahrtweg, basierend auf dem aktuellen Fahrtzustand, eine Kurve in einer Richtung nach rechts sein. Das Verkehrslichtzeichen, das ursprünglich als Steuerungseingang verwendet werden sollte, kann daher von dem Steuerungseingang ausgeschlossen werden. Daher wird in diesem Ausführungsbeispiel eine Begrenzung in einer Breitenrichtung für den Fahrtweg vorgesehen.
Das Fahrtwegvorhersagemodul 166 sagt den Fahrtweg vorher, welches ein Weg ist, auf dem das Fahrzeug 1 fahren wird, basierend auf der Winkelgeschwindigkeit (Gierrate) und der Fahrtgeschwindigkeit des Fahrzeugs 1. Wenn ein Lenkwinkel (Lenkung) des Fahrzeugs 1 erhalten werden kann, kann der Fahrtweg auch vorhergesagt werden basierend auf dem Lenkwinkel und der Fahrtgeschwindigkeit. Bezüglich der Ableitung des Fahrtweges können verschiedene existierende Techniken verwendet werden, beispielsweise gemäß der JP-A Nr. 2012-185562 , JP-A Nr. 2010-100120 , JP-A Nr. 2008-130059 und JP-A Nr. 2007-186175 , und deren Erläuterung wird daher hier weggelassen.
Das Fahrtwegbegrenzungsmodul 168 begrenzt den vorhergesagten Fahrtweg in der Breitenrichtung gemäß zumindest einem oder mehrerer Parameter, ausgewählt aus der Gruppe bestehend aus der Fahrtgeschwindigkeit, dem Betätigungszustand des Blinkers, dem Lenkwinkel und der Winkelgeschwindigkeit des Fahrzeugs 1. Somit wird der Fahrtweg identifiziert.
5 ist ein Flussdiagramm, das einen Arbeitsablauf des Fahrtwegbegrenzungsmoduls 168 zeigt, und die 6A und 6B sowie die 7 und 8 sind Darstellungen, die den begrenzten Fahrtweg zeigen. Bezugnehmend auf 5 entwickelt beziehungsweise erstellt das Fahrtwegbegrenzungsmodul 168 zuerst den vorhergesagten Fahrtweg durch das Fahrtwegvorhersagemodul 166 auf einer Straßenoberfläche (S300).
Daraufhin bestimmt das Fahrtwegbegrenzungsmodul 168, ob die Fahrtgeschwindigkeit des Fahrzeugs 1 ein vorbestimmter Wert (zum Beispiel 30 km/h) oder weniger ist (S302). Als Ergebnis, wenn die Fahrtgeschwindigkeit des Fahrzeugs 1 dahingehend bestimmt wird, der vorbestimmte Wert oder weniger zu sein (JA in S302), wechselt das Fahrtwegbegrenzungsmodul 168 ein erstes linkes Begrenzungsflag und ein erstes rechtes Begrenzungsflag auf EIN (S304) und setzt 0 als eine Verlängerungszeit (S306). Hierbei sind das erste linke Begrenzungsflag und ein zweites linkes Begrenzungsflag, das später beschrieben wird, Flags, die Begrenzungen auf der linken Seite der Straßenoberfläche vor dem Fahrzeug 1 anzeigen, und Abstände, auf die der Fahrtweg begrenzt wird, unterscheiden sich voneinander. Das erste rechte Begrenzungsflag und ein zweites rechtes Begrenzungsflag sind Flags, die Begrenzungen auf der rechten Seite auf der Straßenoberfläche vor dem Fahrzeug 1 anzeigen, und Abstände, auf die der Fahrtweg begrenzt wird, unterscheiden sich voneinander. Die Verlängerungszeit ist eine Zeitdauer, während der die Begrenzung zu einem Zeitpunkt aufrechterhalten wird, nachdem die Bedingungen nicht länger erfüllt sind.
Daraufhin bestimmt das Fahrtwegbegrenzungsmodul 168, ob eins von dem ersten linken Begrenzungsflag, dem zweiten linken Begrenzungsflag, dem ersten rechten Begrenzungsflag und dem zweiten rechten Begrenzungsflag EIN ist (S308). Als Ergebnis, wenn eine der Bedingungen erfüllt ist (JA in S308), begrenzt das Fahrtwegbegrenzungsmodul 168 die mit EIN geflaggte beziehungsweise gekennzeichnete Seite (entweder links oder rechts) des erstellten Fahrtwegs (S310). Wenn beispielsweise das erste linke Begrenzungsflag oder das zweite linke Begrenzungsflag EIN ist, begrenzt das Fahrtwegbegrenzungsmodul 168 die linke Seite, und wenn das erste rechte Begrenzungsflag oder das zweite rechte Begrenzungsflag EIN ist, begrenzt das Fahrtwegbegrenzungsmodul 168 die rechte Seite. Genauer gesagt, in einem Fall, in dem das Fahrtwegvorhersagemodul 166 den Fahrtweg vorhersagt, wie in 6A mit einem Pfeil mit gestrichelter Linie gezeigt, wird der Fahrtweg durch vorbestimmte Abstände (zum Beispiel 2 m) von einer Geradeauslinie vor dem Fahrzeug 1 (das heißt eine gerade Linie, die sich von der Mitte des Fahrzeugs 1 in Breitenrichtung nach vorne erstreckt) begrenzt, wenn alle von dem ersten linken Begrenzungsflag oder dem zweiten linken Begrenzungsflag und dem ersten rechten Begrenzungsflag oder dem zweiten rechten Begrenzungsflag EIN sind, wie durch strichpunktierte Linien auf der linken und rechten Seite gezeigt. Als ein Ergebnis wird ein neuer Fahrtweg gebildet, wie durch einen Pfeil mit durchgezogener Linie gezeigt. Hierbei sind die begrenzten Abstände beispielsweise 0 m für das erste linke Begrenzungsflag und das erste rechte Begrenzungsflag und 2 m für das zweite linke Begrenzungsflag und das zweite rechte Begrenzungsflag. Wenn daher das erste linke Begrenzungsflag und das erste rechte Begrenzungsflag EIN sind, wird der begrenzte Fahrtweg gleich der Vorwärtsgeradeauslinie, wie in 6B gezeigt. Alternativ können die begrenzten Abstände feste Werte sein. Wie in 6A und 6B durch Querschraffur gezeigt, kann ein Fahrtweg des Fahrzeugs 1, der eine Breite, die für das Fahrzeug 1 notwendig ist, in Betracht zieht, ausgedrückt werden durch einen gürtelförmigen Bereich mit einer Breite von ±3 m auf der linken und rechten Seite mit Bezug auf den Fahrtweg als eine Mittellinie.
Zurückkehrend zu 5, wenn alle von dem ersten linken Begrenzungsflag, dem zweiten linken Begrenzungsflag, dem ersten rechten Begrenzungsflag und dem zweiten rechten Begrenzungsflag AUS (NEIN in S308) sind, bestimmt das Fahrtwegbegrenzungsmodul 168, ob die Verlängerungszeit bleibt oder ob die Verlängerungszeit größer ist als 0 (S312). Als Ergebnis hält das Fahrtwegbegrenzungsmodul 168 die vorherigen Begrenzungen, wie sie in den 6A und 6B gezeigt sind, aufrecht (S314), wenn die Verlängerungszeit größer als 0 ist (JA in S312), und dekrementiert die Verlängerungszeit (S316). Andererseits, wenn die Verlängerungszeit 0 ist (NEIN in S312), wird jegliche Begrenzung nicht durchgeführt (und, wenn es irgendeine Begrenzung gibt, wird die Begrenzung gelöscht). Hierbei können, obwohl die vorherigen Begrenzungen beibehalten werden, bis die Verlängerungszeit abgelaufen ist, die Begrenzungen aufgeweitet werden (zum Beispiel graduelles Aufweiten der Begrenzungsbreite) während des Verlaufs der Verlängerungszeit und die Begrenzungen können schließlich gelöscht oder eliminiert werden.
7 ist eine Darstellung, die den Grund zum Begrenzen des Fahrtweges erläutert, wenn die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert oder geringer ist. Das Begrenzen des Fahrtwegs, wenn die Fahrtgeschwindigkeit des Fahrzeugs 1 dahingehend bestimmt wird, der vorbestimmte Wert oder geringer zu sein, basiert auf den folgenden Gründen. Es kann beispielsweise ein Verkehrslichtzeichen (Ampel), das nicht das als ein Steuerungseingang zu verwendende Verkehrslichtzeichen ist, jenseits einer gekrümmten Straße 230 mit einem großen Kurvenradius, wie in 7 gezeigt, auf einer Schnellstraße beziehungsweise einer Autobahn oder einer Umgehungsstraße erkannt werden. Wenn das Fahrzeug 1 mit einer hohen Geschwindigkeit fährt (zum Beispiel 30 km/h oder größer), kann eine fehlerhafte Erkennung vermieden werden durch Bestimmen einer seitlichen Position des Verkehrslichtzeichens in Bezug auf den Fahrtweg (Fahrtweglateralposition), wie nachfolgend beschrieben. Wenn jedoch die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert oder geringer ist, ist ein tatsächlicher Bewegungsbetrag des Fahrzeugs 1 klein, selbst wenn der Lenkwinkel und/oder die Winkelgeschwindigkeit groß sind. Die Steuerung wird daher unbeabsichtigt unstabil sein, wenn der Fahrtweg häufig geändert wird entsprechend dem Lenkwinkel. Von dem Fahrzeug sollte angenommen werden, dass es geradeaus fährt, und ein Verkehrslichtzeichen in der Nähe des Fahrzeugs 1 sollte als ein Steuerungseingang verwendet werden. Wenn daher die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert ist oder geringer, wird der Fahrtweg auf ±0 m begrenzt und das Fahrzeug 1 wird gezwungen, geradeaus zu fahren. Darüber hinaus, wenn die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert oder weniger ist, wird die Verlängerungszeit auf 0 gesetzt und die Begrenzung wird sofort gelöscht, wenn die Bedingungen nicht länger erfüllt sind.
Zurückkehrend zu 5, wenn in dem Geschwindigkeitbestimmungsschritt (S302) die Fahrtgeschwindigkeit des Fahrzeugs 1 dahingehend bestimmt wird, der vorbestimmte Wert zu sein oder größer (NEIN in S302), bestimmt das Fahrtwegbegrenzungsmodul 168, ob der Blinker betätigt ist (S318). Als ein Ergebnis, wenn der Blinker betätigt ist (JA in S318), ändert das Fahrtwegbegrenzungsmodul 168 das zweite rechte Begrenzungsflag oder das zweite linke Begrenzungsflag, mit dem der Blinker nicht betätigt ist (S320) und setzt einen vorbestimmten Wert (zum Beispiel 4 Sekunden) für die Verlängerungszeit (S322). Der Prozess wird dann weitergeführt zu dem oben beschriebenen Flagbestimmungsschritt S308. Durch dieses Setzen, beispielsweise, auch wenn das Fahrtwegvorhersagemodul 166 den Fahrtweg vorhersagt, wie in 8 gezeigt mit einem Pfeil mit gestrichelter Linie, wird der Fahrtweg herunterbegrenzt auf einen vorbestimmten Abstand (zum Beispiel 2 m) von der Vorwärtsgeradeauslinie des Fahrzeugs 1 nur zu der rechten Seite, die mit einer strichpunktierten Linie gezeigt ist, wenn der Blinker ein Abbiegen nach links anzeigt, und somit wird ein neuer Fahrtweg gebildet, wie durch den Pfeil mit der durchgezogenen Linie gezeigt.
Hierbei ist der Grund, warum der Fahrtweg begrenzt wird, wenn der Blinker betätigt ist, beispielsweise derjenige, dass es schwer ist sich vorzustellen, dass der Fahrer das Lenkrad nach links dreht, wenn der Blinker ein Abbiegen nach rechts anzeigt, und selbst wenn der Fahrer das Lenkrad nach links dreht, da dies nur ein temporärer Vorgang ist und das Fahrzeug 1 nicht in großem Ausmaß bewegt werden wird, so dass eine irrige Erkennung eines Drehens in die entgegengesetzte Richtung vermieden werden kann.
Zudem behält das Fahrtwegbegrenzungsmodul 168, wenn der Blinker betätigt ist, die gleichen Begrenzungen zu dem Zeitpunkt, in dem der Blinker betätigt ist, bei, selbst nachdem die Betätigung des Blinkers beendet wurde, wartet, bis eine vorbestimmte Verlängerungszeit abgelaufen ist, und löscht dann die Begrenzungen des Fahrtweges. Hierdurch können die Effekte der Steuerungseingangbestimmung als Reaktion auf den Lenkvorgang nach dem Lenken nach links oder rechts oder dem Fahrspurwechsel reduziert werden.
Zurückkehrend zu 5, wenn in dem Blinkerbestimmungsschritt (S318) bestimmt wird, dass der Blinker nicht betätigt ist (NEIN in S318), bestimmt das Fahrtwegbegrenzungsmodul 168 daraufhin, ob ein Absolutwert des Lenkwinkels ein vorbestimmter Wert ist oder größer (zum Beispiel 30 Grad oder größer) (S324). Hierbei wurde bei dem Geschwindigkeitbestimmungsschritt (S302) bestimmt, dass die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert ist oder größer (NEIN in S302). Das heißt, es ist bestimmt worden, dass die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert ist oder größer und dass der Absolutwert des Lenkwinkels der vorbestimmte Wert ist oder größer.
Als ein Ergebnis, wenn der Absolutwert des Lenkwinkels der vorbestimmte Wert ist oder größer (JA in S324), ändert das Fahrtwegbegrenzungsmodul 168 das erste rechte Begrenzungsflag und das erste linke Begrenzungsflag auf EIN (S326) und setzt einen vorbestimmten Wert (zum Beispiel 4 Sekunden) für die Verlängerungszeit (S328). Der Prozess wird dann weitergeführt zu dem zuvor beschriebenen Flagbestimmungsschritt S308. Durch Setzen auf diese Art wird beispielsweise der Fahrtweg begrenzt auf ±0 m und der Fahrtweg wird dazu gezwungen, gerade voraus zu sein.
Hierbei ist der Grund, warum der Fahrtweg begrenzt wird, wenn die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert ist oder größer und der Absolutwert des Lenkwinkels der vorbestimmte Wert ist oder größer, dass in der Situation, in der der Lenkwinkel groß ist, während die Fahrtgeschwindigkeit hoch ist, eine hohe Wahrscheinlichkeit dafür spricht, dass einem vorausfahrenden Fahrzeug ausgewichen oder die Spur gewechselt werden soll, anstatt dass eine Absicht des Fahrens einer Kurve vorliegt. Daher sollte das Verkehrslichtzeichen in der Nähe des Fahrzeugs 1 als ein Steuerungseingang verwendet werden.
Des Weiteren, wenn die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert wird oder größer und der Absolutwert des Lenkwinkels der vorbestimmte Wert wird oder größer, behält das Fahrtwegbegrenzungsmodul 168 die gleichen Begrenzungen zu der Zeit, wenn die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert ist oder größer und der Absolutwert des Lenkwinkels der vorbestimmte Wert ist oder größer, bei, selbst nachdem die Fahrtgeschwindigkeit des Fahrzeugs 1 der vorbestimmte Wert wird oder kleiner und der Absolutwert des Lenkwinkels der vorbestimmte Wert wird oder kleiner, wartet, bis die vorbestimmte Verlängerungszeit abgelaufen ist, und löscht dann die Begrenzungen des Fahrtweges. Hierdurch können die Effekte der Steuerungseingangbestimmung als Reaktion auf den Lenkvorgang nach dem Lenken nach links oder rechts oder dem Fahrspurwechsel reduziert werden.
Wenn bei dem Lenkwinkelbestimmungsschritt (S324) der Absolutwert des Lenkwinkels der vorbestimmte Wert ist oder weniger (NEIN in S324), ändert das Fahrtwegbegrenzungsmodul 168 das erste linke Begrenzungsflag, das zweite linke Begrenzungsflag, das erste rechte Begrenzungsflag und das zweite rechte Begrenzungsflag auf AUS (diejenigen Begrenzungsflags, die bereits auf AUS standen, verbleiben im AUS-Zustand) (S330) und der Prozess wird daraufhin weitergeführt zu dem oben beschriebenen Flagbestimmungsschritt S308. Der Fahrtweg kann durch den obigen Prozess in geeigneter Weise begrenzt werden.
(Steuerungseingangidentifikationsprozess)
Da der Fahrtweg auf diese Weise identifiziert ist, kann das Verkehrslichtzeichen, das als der Steuerungseingang verwendet werden soll, basierend auf dem Fahrtweg identifiziert werden. Das als der Steuerungseingang zu verwendende Verkehrslichtzeichen wird identifiziert aus einem oder mehreren Verkehrslichtzeichen.
Zurückkehrend zu 2, akquiriert das Tiefenabstandakquirierungsmodul 170 einen Tiefenabstand, welches ein Abstand ist vor dem Fahrzeug 1 von dem Fahrzeug 1 zu dem Verkehrslichtzeichen, identifiziert durch das Verkehrslichtzeichenidentifizierungsmodul, basierend auf dem Abstandsbild 212.
Das Verkehrslichtzeichengruppeerzeugungsmodul 172 gruppiert ein oder mehrere Verkehrslichtzeichen, die in einem Bereich angeordnet sind, in dem der akquirierte Tiefenabstand im Vorhinein definiert ist, um eine Verkehrslichtzeichengruppe zu erzeugen. In diesem Beispiel können die mehreren Verkehrslichtzeichengruppen so ausgebildet sein, dass sie voneinander in Tiefenrichtung beabstandet sind.
9 ist eine Darstellung, die eine räumliche Beziehung der Verkehrslichtzeichengruppen zeigt. Mehrere Verkehrslichtzeichengruppen sind vor dem Fahrzeug 1 ausgebildet. Beispielsweise ist in dem Beispiel gemäß 9 eine Verkehrslichtzeichengruppe nahe dem Fahrzeug 1 ausgebildet und die Länge in der Tiefenrichtung ist etwa 60 m. Des Weiteren ist eine andere Verkehrslichtzeichengruppe so ausgebildet, dass sie von der ersten Verkehrslichtzeichengruppe 20 m entfernt ist.
Das Lateralpositionherleitemodul 174 leitet die Fahrtweglateralposition und eine Vorwärtsgeradeauslinielateralposition von einem oder mehreren Verkehrslichtzeichen her, die in jeder Verkehrslichtzeichengruppe enthalten sind. Der Begriff „Fahrtweglateralposition”, der hierbei verwendet wird, bezieht sich auf eine relative Position des Verkehrslichtzeichens in einer Richtung senkrecht zu dem Fahrtweg und der Begriff „Vorwärtsgeradeauslinielateralposition”, der hier verwendet wird, bezieht sich auf eine Relativposition des Verkehrslichtzeichens in einer Breitenrichtung in Bezug auf eine Vorwärtsgeradeauslinie des Fahrzeugs 1. Die Fahrtweglateralposition und die Vorwärtsgeradeauslinielateralposition unterscheiden sich in den Referenzlinien, welche der Fahrtweg beziehungsweise die Vorwärtsgeradeauslinie sind.
Das Steuerungseingangidentifizierungsmodul 176 identifiziert das als der Steuerungseingang zu verwendende Verkehrslichtzeichen aus der Vielzahl von Verkehrslichtzeichen basierend auf der Anzahl von Verkehrslichtzeichen, ob die Verkehrslichtzeichen auf sowohl der linken als auch der rechten Seite bezüglich des beschränkten Fahrtweges gelegen sind und ob die Farben der Verkehrslichtzeichen der Vielzahl von Verkehrslichtzeichen die gleichen sind. In diesem Beispiel identifiziert das Steuerungseingangidentifizierungsmodul 176 das als der Steuerungseingang zu verwendende Verkehrslichtzeichen entsprechend der Anzahl von Verkehrslichtzeichen in einer Verkehrslichtzeichengruppe und der Fahrtweglateralposition, basierend auf dem Fahrtweg.
10 ist ein Flussdiagramm, das einen Betriebsablauf des Steuerungseingangidentifizierungsmoduls 176 zeigt. Bezugnehmend auf 10 bestimmt das Steuerungseingangidentifizierungsmodul 176, ob lediglich ein Verkehrslichtzeichen in einer Verkehrslichtzeichengruppe existiert (S350). Als Ergebnis wird, wenn es lediglich ein Verkehrslichtzeichen gibt (JA in S350), der Prozess zu dem Einzelnes-Verkehrslichtzeichen-Prozess weitergeleitet (S352).
Andererseits, wenn mehrere Verkehrslichtzeichen existieren (NEIN in S350), bestimmt das Steuerungseingangidentifizierungsmodul 176, ob die mehreren Verkehrslichtzeichen auf beiden Seiten, das heißt auf der linken und rechten Seite, des Fahrtweges angeordnet sind (S354). Als ein Ergebnis wird, wenn die Verkehrslichtzeichen nicht auf der linken und der rechten Seite des Fahrtweges angeordnet sind, das heißt die Verkehrslichtzeichen sich lediglich auf einer Seite befinden (NEIN in S354), der Prozess weitergeleitet zu dem Eine-Seite-Verkehrslichtzeichen-Prozess (S356). Es ist zu beachten, dass bei dem Anordnungsbestimmungsschritt (S354) der Fahrtweg vorübergehend versetzt ist, um die Genauigkeit der Erkennung zu verbessern.
11 ist eine Ansicht, die den Versatz des Fahrtweges zeigt. Bei dem Anordnungsbestimmungsschritt (S354) versetzt das Steuerungseingangidentifizierungsmodul 176 den von dem Fahrtwegvorhersagemodul 166 und dem Fahrtwegbegrenzungsmodul 168 identifizierten Fahrtweg, dargestellt mit einem Pfeil mit gestrichelter Linie, um 2 m nach rechts von dem Fahrzeug 1, um einen Fahrtweg zu erzeugen, der mit einem Pfeil mit durchgezogener Linie gezeigt ist. Die Verkehrslichtzeichen werden in verschiedenen Weisen moderiert und können sich beispielsweise von einer Seitenstraße auf der linken Seite des Fahrzeugs 1 erstrecken und die leuchtenden Teile können auf dem Fahrtweg des Fahrzeugs 1 existieren. In einem solchen Fall können die Verkehrslichtzeichen irregulär auf einer linken oder rechten Seite des Fahrtweges auftauchen, abhängig von der tatsächlichen Fahrtposition des Fahrzeugs 1. Das Verkehrslichtzeichen, das auf der linken Seite des Fahrtweges bestimmt werden sollte, kann dann irrtümlicherweise als auf der rechten Seite des Fahrtweges angeordnet erkannt werden und es kann dann beispielsweise der Eine-Seite-Verkehrslichtzeichen-Prozess S356 ausgeführt werden. Daher wird der Fahrtweg selbst temporär um 2 m nach rechts versetzt, um das Verkehrslichtzeichen, das auf dem Fahrtweg des Fahrzeugs 1 existiert und mit einer hohen Wahrscheinlichkeit als Steuerungseingang verwendet wird, als ein Verkehrslichtzeichen auf der linken Seite zu bestimmen. Obwohl hier die Versatzweite 2 m ist, kann die Versatzweite jeglichen Wert annehmen, solange sie größer ist als 1,5 m, welches die Hälfte eines möglichen Abstandes zwischen Fahrspurlinien ist (das heißt 3 m). Es ist zu beachten, dass, da die Positionen der Verkehrslichtzeichen in einigen Ländern differieren, ein solcher Versatz unnötig sein kann, beispielsweise außerhalb von Japan.
Zurückkehrend zu 10, wenn die Verkehrslichtzeichen auf sowohl der linken als auch der rechten Seite des Fahrtweges angeordnet sind (JA in S354), bestimmt das Steuerungseingangidentifizierungsmodul 176, ob die Verkehrslichtzeichenfarben von allen Verkehrslichtzeichen der Verkehrslichtzeichengruppe die gleichen sind (S358). Als Ergebnis wird, wenn die Verkehrslichtzeichenfarben alle die gleichen sind (JA in S358), der Prozess weitergeführt zu dem Gleiche-Farbe-Verkehrslichtzeichen-Prozess (S360) und, andererseits, wenn die Verkehrslichtzeichenfarben nicht die gleichen sind (NEIN in S358), wird der Prozess weitergeführt zu der Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozess (S362). Nachfolgend wird der Einzelnes-Verkehrslichtzeichen-Prozess (S352), der Eine-Seite-Verkehrslichtzeichen-Prozess (S356), der Gleiche-Farbe-Verkehrslichtzeichen-Prozess (S360) und der Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozess (S362) jeweils detailliert beschrieben.
(Einzelnes-Verkehrslichtzeichen-Prozess: S352)
12 ist ein Flussdiagramm, das einen Ablauf des Einzelnes-Verkehrslichtzeichen-Prozesses zeigt, und 13 ist eine Ansicht, die den Einzelnes-Verkehrslichtzeichen-Prozess erläutert.
Wenn nur ein Verkehrslichtzeichen in einer Verkehrslichtzeichengruppe existiert, bestimmt das Steuerungseingangidentifizierungsmodul 176, ob die Vorwärtsgeradeauslinielateralposition des betroffenen Verkehrslichtzeichens auf der rechten Seite von einer vorbestimmten Randposition (zum Beispiel –7,5 m) ist (S370). Die Vorzeichen der Randposition zeigen Richtungen der Vorwärtsgeradeauslinielateralposition an, wobei ein Plus (+) rechts und Minus (–) links anzeigt. Als ein Ergebnis bestimmt das Steuerungseingangidentifizierungsmodul 176, wenn das Verkehrslichtzeichen auf der rechten Seite der vorbestimmten Randposition angeordnet ist, wie in 13 mit der Querschraffierung gezeigt (JA in S370), ob die Fahrtweglateralposition des Verkehrslichtzeichens in einen vorbestimmten Bereich (ein dritter vorbestimmter Bereich: zum Beispiel –7 m bis +7 m) fällt und ob die Vorwärtsgeradeauslinielateralposition in einen vorbestimmten Bereich (ein vierter vorbestimmter Bereich: zum Beispiel –10 m bis +10 m) fällt (S372). Als ein Ergebnis verwendet das Steuerungseingangidentifizierungsmodul 176, wenn sowohl die Fahrtweglateralposition als auch die Vorwärtsgeradeauslinielateralposition die Bedingungen erfüllen (JA in S372), das Verkehrslichtzeichen als den Steuerungseingang (S374).
Bei dem oben beschriebenen Signalpositionbestimmungsschritt (S372) ist das Verkehrslichtzeichen, das die Bedingungen von sowohl der Fahrtweglateralposition als auch der Vorwärtsgeradeauslinielateralposition erfüllt, ein Verkehrslichtzeichen, das nahe dem Fahrzeug 1 existiert. Das Verkehrslichtzeichen, das als der Steuerungseingang verwendet werden kann, kann daher in geeigneter Weise extrahiert werden.
Andererseits, wenn die Vorwärtsgeradeauslinielateralposition des Verkehrslichtzeichens auf der linken Seite der vorbestimmten Randposition ist (NEIN in S370) oder wenn entweder die Fahrtweglateralposition oder die Vorwärtsgeradeauslinielateralposition die entsprechenden Bedingungen nicht erfüllt (NEIN in S372), verwendet das Steuerungseingangidentifizierungsmodul 176 das Verkehrslichtzeichen nicht als den Steuerungseingang (S376).
(Eine-Seite-Verkehrslichtzeichen-Prozess: S356)
14 ist ein Flussdiagramm, das einen Ablauf des Eine-Seite-Verkehrslichtzeichen-Prozesses darstellt, und 15 ist eine Ansicht, die den Eine-Seite-Verkehrslichtzeichen-Prozess zeigt.
Wenn die Verkehrslichtzeichengruppe mehrere Verkehrslichtzeichen enthält und die Fahrtweglateralpositionen der mehreren Verkehrslichtzeichen nicht auf beiden Seiten des Fahrtwegs, das heißt der linken und rechten Seite, angeordnet sind, das heißt, wie in 15A gezeigt, wenn die mehreren Verkehrslichtzeichen lediglich auf einer Seite, das heißt entweder der rechten Seite oder der linken Seite, in Bezug auf den Fahrtweg existieren (hier nur auf der linken Seite in 15A), extrahiert das Steuerungseingangidentifizierungsmodul 176 ein Verkehrslichtzeichen, dessen Fahrtweglateralposition am nächsten an dem Fahrtweg liegt, als einen Kandidaten des Steuerungseingangs (S380). Daraufhin bestimmt das Steuerungseingangidentifizierungsmodul 176, ob die Fahrtweglateralposition des Verkehrslichtzeichens, das dem Fahrtweg am nächsten ist, in den vorbestimmten Bereich (der erste vorbestimmte Bereich: zum Beispiel –2 m bis +2 m) fällt, und die Fahrtweglateralposition des Verkehrslichtzeichens, das von dem Fahrtweg am weitesten entfernt ist, in den vorbestimmten Bereich (der zweite vorbestimmte Bereich: zum Beispiel –5 m bis +5 m) fällt (S382). Wenn als Ergebnis beide, das am nächsten gelegene Verkehrslichtzeichen und das am weitesten entfernt gelegene Verkehrslichtzeichen, die entsprechenden Bedingungen erfüllen (JA in S382), verwendet das Steuerungseingangidentifizierungsmodul 176 das Verkehrslichtzeichen, das am nächsten an dem Fahrtweg liegt, und Verkehrslichtzeichen, die die gleiche Verkehrslichtzeichenfarbe haben, als den Steuerungseingang, während alle anderen Verkehrslichtzeichen mit anderen Verkehrslichtzeichenfarben nicht als der Steuerungseingang verwendet werden (S384).
Andererseits, wenn entweder das nächste Verkehrslichtzeichen oder das am weitesten entfernte Verkehrslichtzeichen die entsprechenden Bedingungen nicht erfüllt, oder wenn sowohl das nächste Verkehrslichtzeichen als auch das am weitesten entfernte Verkehrslichtzeichen die entsprechenden Bedingungen nicht erfüllen (NEIN in S382), werden keine Verkehrslichtzeichen in der Verkehrslichtzeichengruppe als der Steuerungseingang verwendet (S386).
Gemäß dem Eine-Seite-Verkehrslichtzeichen-Prozess S356 wird die Fahrtweglateralposition des Verkehrslichtzeichens, das am weitesten von dem Fahrtweg entfernt ist, ebenfalls bestimmt, zusätzlich zu dem Verkehrslichtzeichen, das dem Fahrtweg am nächsten ist, und anders als bei dem Einzelnes-Verkehrslichtzeichen-Prozess S352. Dies basiert auf den folgenden Gründen. Beispielsweise können auf einer Schnellfahrstraße beziehungsweise Autobahn oder einer Umgehungsstraße jenseits einer gekrümmten Straße 230 mit einem großen Krümmungsradius, wie in 15B gezeigt, Verkehrslichtzeichen, die nicht als Steuerungseingänge verwendet werden sollten, erkannt werden, die in 15B durch einen mit einer gepunkteten Linie dargestellten Kreis umgeben sind. Andere Straßen, die neben einer solchen Schnellfahrstraße oder Autobahn angeordnet sind, eine Umgehungsstraße oder dergleichen können Ausfallstraßen oder Hauptverkehrsadern sein und dergleichen und haben in vielen Fällen eine große Straßenbreite. Die von dem Kreis mit einer gestrichelten Linie in 15C umrandeten Verkehrslichtzeichen, die vor einem Straßenversatz an einer vorbestimmten Stelle 232 angeordnet sind, wie in 15C gezeigt, sollten als Steuerungseingänge verwendet werden. Die Straße mit einem derartigen Versatz kann eine Seitenstraße oder dergleichen sein und in vielen Fällen eine geringe Straßenbreite aufweisen. Wenn somit in diesem Beispiel, fokussierend auf den Unterschied in der Straßenbreite, die Straßenbreite groß ist, das heißt ein Abstand zwischen den Verkehrslichtzeichen groß ist, wird die Verkehrslichtzeichengruppe nicht als die Steuerungseingänge verwendet, und, andererseits, wenn die Straßenbreite klein ist, das heißt der Abstand zwischen den Verkehrslichtzeichen gering ist, wird die Verkehrslichtzeichengruppe als die Steuerungseingänge verwendet. Da eine solche Bestimmung durchgeführt wird, wird lediglich die Verkehrslichtzeichengruppe, bei der die Fahrtweglateralposition des am weitesten von dem Fahrtweg entfernten Verkehrslichtzeichen in den vorbestimmten Bereich fällt, dahingehend bestimmt, Steuerungseingänge zu sein.
Anders als bei dem Einzelnes-Verkehrslichtzeichen-Prozess S352 wird die Bestimmung, ob die Vorwärtsgeradeauslinielateralposition in den vorbestimmten Bereich (der vierte vorbestimmte Bereich: zum Beispiel –10 m bis +10 m) fällt, nicht durchgeführt bei dem Eine-Seite-Verkehrslichtzeichen-Prozess S356, sondern die in Rede stehende Bestimmung der Vorwärtsgeradeauslinielateralposition kann hinzugefügt werden als eine der Bedingungen wie bei dem Einzelnes-Verkehrslichtzeichen-Prozess S352. Hierdurch kann die Genauigkeit des Identifizierens der als die Steuerungseingänge zu verwendenden Verkehrslichtzeichen weiter verbessert werden.
Wenn somit die Verkehrslichtzeichen lediglich auf einer der beiden Seiten, der linken oder der rechten Seite, des Fahrtweges existieren, können die Verkehrslichtzeichen, wenn sie nahe genug angeordnet sind, um die vorbestimmten Bedingungen zu erfüllen, als die Steuerungseingänge verwendet werden, und, andererseits, wenn die Verkehrslichtzeichen nicht nahe genug angeordnet sind, können sie als Verkehrslichtzeichen einer anderen Fahrtstrecke als dem Fahrtweg des Fahrzeugs 1 angesehen werden und können von den Steuerungseingängen ausgeschlossen werden.
(Gleiche-Farbe-Verkehrslichtzeichen-Prozess: S360)
16 ist ein Schaubild, das eine Verkehrslichtzeichengruppe in dem Gleiche-Farbe-Verkehrslichtzeichen-Prozess zeigt. Wenn die Fahrtweglateralpositionen der mehreren Verkehrslichtzeichen auf beiden Seiten, das heißt der linken und rechten Seite, des Fahrtwegs angeordnet sind und wenn die Verkehrslichtzeichenfarben von all den Verkehrslichtzeichen der Verkehrslichtzeichengruppe die gleichen sind, verwendet das Steuerungseingangidentifizierungsmodul 176 bedingungslos alle die Verkehrslichtzeichen der Verkehrslichtzeichengruppe als die Steuerungseingänge.
(Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozess: S362)
17 ist ein Flussdiagramm, das einen Ablauf des Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozesses zeigt, und die 18 und 19 sind Schaubilder, die den Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozess darstellen.
Wenn die Fahrtweglateralpositionen der mehreren Verkehrslichtzeichen auf beiden (linke und rechte) Seiten des Fahrtweges angeordnet sind und wenn die Verkehrslichtzeichenfarben der Verkehrslichtzeichen der Verkehrslichtzeichengruppe nicht die gleichen sind (das heißt, wenn zumindest zwei oder mehrere Verkehrslichtzeichenfarben existieren), versetzt das Steuerungseingangidentifizierungsmodul 176 den Fahrtweg, um die Genauigkeit der Erkennung zu verbessern (S390).
Wenn das Fahrzeug 1 auf einer Fahrstraße fährt, auf einer rechten Fahrspur einer Straße mit mehreren Fahrspuren, wie in 18A gezeigt, kann der Abstand des Verkehrslichtzeichens, das als der Steuerungseingang verwendet werden soll, von dem Fahrtweg größer werden als derjenige des Verkehrslichtzeichens, das nicht als der Steuerungseingang verwendet werden soll. Es besteht daher eine Möglichkeit, dass das Verkehrslichtzeichen, das nicht als der Steuerungseingang verwendet werden soll, als ein Kandidat des Steuerungseingangs extrahiert werden kann. Aus diesem Grunde versetzt das Steuerungseingangidentifizierungsmodul 176, wie in 18B gezeigt, den Fahrtweg, der durch einen Pfeil mit gestrichelter Linie gezeigt ist, um 4 m von dem Fahrzeug 1 nach links, um einen Fahrtweg zu erzeugen, der durch einen Pfeil mit durchgezogener Linie gezeigt ist. Hierdurch kann das Verkehrslichtzeichen, das sich auf der linken Seite des Fahrzeugs 1 befindet, vorzugsweise als der Kandidat des Steuerungseingangs verwendet werden. Obwohl hier die Versatzweite 4 m ist, kann jede andere Versatzweite ausgewählt werden, solange sie größer ist als der mögliche Abstand zwischen den Fahrspuren (das heißt 3 m).
Wenn jedoch, wie in 18C gezeigt, lediglich eine Fahrspur auf einer Straße auf der Strecke des Fahrzeugs 1 existiert, besteht eine Möglichkeit, dass das Verkehrslichtzeichen, das als der Steuerungseingang verwendet werden soll, weiter entfernt liegen kann als der Fahrtweg, wenn der Fahrtweg um 4 m versetzt wird. Aus diesem Grunde ist das Versetzen begrenzt auf den Fahrtweg, wenn ein Verkehrslichtzeichen zum ersten Mal erreicht wird, das heißt ein nächstes Verkehrslichtzeichen auf der linken Seite des Fahrtweges vor dem Versatz.
Zurückkehrend zu 17 extrahiert das Steuerungseingangidentifizierungsmodul 176 ein Verkehrslichtzeichen, dessen Fahrtweglateralposition am nächsten an dem Fahrtweg liegt, als einen Kandidaten des Steuerungseingangs (S392). Daraufhin bestimmt das Steuerungseingangidentifizierungsmodul 176, ob die Fahrtweglateralposition des Verkehrslichtzeichens, das am nächsten an dem Fahrtweg liegt, in den vorbestimmten Bereich (zum Beispiel –7 m bis +7 m) fällt (S394). Als ein Ergebnis, wenn die Fahrtweglateralposition in den vorbestimmten Bereich fällt (JA in S394), verwendet das Steuerungseingangidentifizierungsmodul 176 das Verkehrslichtzeichen, das am nächsten an dem Fahrtweg liegt, sowie Verkehrslichtzeichen, die die gleiche Verkehrslichtzeichenfarbe haben, als die Steuerungseingänge und verwendet all diejenigen anderen Verkehrslichtzeichen, die andere Verkehrslichtzeichenfarben haben, nicht als die Steuerungseingänge, wie in 19 gezeigt (S396).
Andererseits, wenn die Fahrtweglateralposition des Verkehrslichtzeichens, das am nächsten an dem Fahrtweg liegt, nicht in den vorbestimmten Bereich fällt (NEIN in S394), wird kein Verkehrslichtzeichen in der Verkehrslichtzeichengruppe als die Steuerungseingänge verwendet (S398).
Wie zuvor beschrieben, wenn das Verkehrslichtzeichen nahe genug angeordnet ist, um die vorbestimmten Bedingungen zu erfüllen, wenn Verkehrslichtzeichenfarben der Verkehrslichtzeichen der Verkehrslichtzeichengruppe nicht die gleichen sind, kann das Verkehrslichtzeichen als der Steuerungseingang verwendet werden, und, anderenfalls, wenn das Verkehrslichtzeichen nicht nahe genug angeordnet ist, kann das Verkehrslichtzeichen von den Steuerungseingängen ausgeschlossen werden, da das Verkehrslichtzeichen dahingehend betrachtet werden kann, ein Verkehrslichtzeichen eines Fahrtweges zu sein, der nicht der Fahrtweg des Fahrzeugs 1 ist.
In diesem Beispiel wird eine nach der anderen Verkehrslichtzeichengruppe von den Verkehrslichtzeichengruppen, die näher an dem Fahrzeug 1 sind (das heißt zu dem Fahrzeug 1 hin), von (einer oder mehreren) Verkehrslichtzeichengruppen, erzeugt von dem Verkehrslichtzeichengruppeerzeugungsmodul 172, extrahiert, und eines von dem Einzelnes-Verkehrslichtzeichen-Prozess (S352), dem Eine-Seite-Verkehrslichtzeichen-Prozess (S356), dem Gleiche-Farbe-Verkehrslichtzeichen-Prozess (S360) oder dem Unterschiedliche-Farbe-Verkehrslichtzeichen-Prozess (S362), die oben beschrieben wurden, wird für die extrahierte Verkehrslichtzeichengruppe ausgeführt. Dann werden eines oder mehrere Verkehrslichtzeichen, die als der Steuerungseingang beziehungsweise die Steuerungseingänge verwendet werden sollen, und eine Verkehrslichtzeichenfarbe identifiziert für jede der Verkehrslichtzeichengruppen.
Wenn somit die Verkehrslichtzeichenfarbe identifiziert ist, steuert die Fahrzeugaußenumgebungerkennungsvorrichtung 120 den Fahrtzustand des Fahrzeugs 1 entsprechend der Verkehrslichtzeichenfarbe des Verkehrslichtzeichens, das als der Steuerungseingang zu verwenden ist. Wenn beispielsweise eine Verkehrslichtzeichenfarbe eines Verkehrslichtzeichens in einer Verkehrslichtzeichengruppe, die am nächsten an dem Fahrzeug 1 ist, rot ist, wird das Fahrzeug 1 gebremst, basierend auf der Farbe rot, und, andererseits, wenn die Verkehrslichtzeichenfarbe grün ist, wird auf eine andere Verkehrslichtzeichenfarbe eines anderen Verkehrslichtzeichens in einer anderen Verkehrslichtzeichengruppe, die am zweitnächsten an dem Fahrzeug 1 ist, Bezug genommen, um die Steuerung auszuführen, basierend auf der zweiten Verkehrslichtzeichenfarbe.
Wie zuvor beschrieben, kann die Fahrzeugaußenumgebungerkennungsvorrichtung 120 dieses Ausführungsbeispiels in geeigneter Art und Weise das Verkehrslichtzeichen identifizieren, das als der Steuerungseingang des Fahrzeugs 1 verwendet werden soll, basierend auf der Anzahl von Verkehrslichtzeichen, ob die Verkehrslichtzeichen auf beiden Seiten, das heißt der linken und rechten Seite, des Fahrtweges angeordnet sind, und ob die Verkehrslichtzeichenfarben der mehreren Verkehrslichtzeichen die gleichen sind, selbst wenn die mehreren Verkehrslichtzeichen in unterschiedlichen Anordnungen angeordnet sind. Es wird daher möglich, die Genauigkeit der Identifikation zu verbessern. Des Weiteren kann die Genauigkeit des Identifizierens des Verkehrslichtzeichens weiter verbessert werden durch Begrenzen des Fahrtweges in der Breitenrichtung, um den Fehler des vorhergesagten Fahrtweges zu reduzieren, basierend auf dem Fahrtzustand in Bezug auf den tatsächlichen Fahrtweg, und der Ausschluss von Verkehrslichtzeichen, die als der Steuerungseingang verwendet werden sollten, von dem Steuerungseingang kann vermieden werden.
Des Weiteren sind eines oder mehrere Programme, die bewirken, dass ein Computer als die Fahrzeugaußenumgebungerkennungsvorrichtung 120 funktioniert, oder ein oder mehrere Speichermedien, auf denen das beziehungsweise die Programme gespeichert sind, wie beispielsweise Floppy-Discs, magnetooptische Discs, ROMS, CDs, DVDs, BDs (Blu-ray Discs), die von dem Computer lesbar sind, bereitgestellt. Es ist zu beachten, dass der Begriff „Programm”, wie er hierin verwendet wird, einen oder mehrere Datensätze betrifft, die in irgendeiner Sprache geschrieben sind und Verfahren beschreiben.
Obwohl zuvor ein geeignetes Ausführungsbeispiel der vorliegenden Erfindung unter Bezug auf die beigefügten Zeichnungen beschrieben wurde, ist die vorliegende Erfindung nicht auf dieses Beispiel beschränkt. Es versteht sich, dass der Fachmann verschiedene Änderungen und Modifikationen in Betracht ziehen kann, die innerhalb des Umfangs der beigefügten Patentansprüche liegen, und es versteht sich, dass der technische Umfang der vorliegenden Erfindung ebenfalls solche Abweichungen einschließt.
Des Weiteren wird bei dem oben beschriebenen Ausführungsbeispiel der Fahrtweg begrenzt, basierend auf der Identifikation des als der Steuerungseingang zu verwendenden Verkehrslichtzeichens. Der Steuerungseingang ist jedoch nicht auf das Verkehrslichtzeichen beschränkt und verschiedenartige Verkehrsindikatoren, die dem Fahrzeug eine Verkehrssteuerung auferlegen, zum Beispiel Verkehrszeichen, können ebenfalls als Steuerungseingänge verwendet werden. Die als die Steuerungseingänge des Fahrzeugs 1 zu verwendenden Verkehrsindikatoren können daher bei diesem Ausführungsbeispiel identifiziert werden basierend auf dem Fahrtweg, unabhängig von der Außenumgebung außerhalb des Fahrzeugs, und somit kann die Genauigkeit der Identifikation verbessert werden. Zudem kann der Fehler zwischen dem vorhergesagten Wert und dem tatsächlichen Wert des Fahrtweges reduziert werden durch Begrenzen des Fahrtweges in der Breitenrichtung. Die Genauigkeit der Identifikation der Verkehrsindikatoren, zusätzlich zu Verkehrslichtzeichen, kann daher weiter verbessert werden.
Zudem wird bei dem oben beschriebenen Ausführungsbeispiel die Begrenzung des Fahrtweges in der Breitenrichtung als ein Beispiel beschrieben. Es kann jedoch der Kursverlauf anstelle des Fahrtweges in der Breitenrichtung begrenzt werden, wenn der Kursverlauf identifiziert werden kann.
Des Weiteren können, obwohl geeignete Werte als die vorbestimmten Werte gezeigt wurden, der vorbestimmte Bereich, die vorbestimmten Bedingungen, der vorbestimmte Abstand und die vorbestimmte Verlängerungszeit, wie sie in dem Ausführungsbeispiel oben beschrieben wurden, optional durch andere als diese Werte ersetzt werden.
Es ist zudem zu beachten, dass es nicht notwendig ist, jeden der Prozesse des Fahrtwegidentifikationsprozesses und des Steuerungseingangidentifikationsprozesses, wie sie zuvor beschrieben wurden, in der zeitlichen Reihenfolge, wie sie in den Flussdiagrammen gezeigt sind, abzuarbeiten, sondern dass die Verarbeitung auch parallele Prozesse oder Unterprogramme enthalten kann.
Die vorliegende Erfindung betrifft eine Fahrzeugaußenumgebungerkennungsvorrichtung, die die Außenumgebung des Fahrzeugs erkennt, und insbesondere kann die vorliegende Erfindung verwendet werden für eine Fahrzeugaußenumgebungerkennungsvorrichtung, die geeignet ist zum Identifizieren von Verkehrsindikatoren wie beispielsweise Verkehrslichtzeichen (Ampeln) und Verkehrszeichen.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es wird eine Fahrzeugaußenumgebungerkennungsvorrichtung bereitgestellt. Eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 weist auf ein Fahrtwegvorhersagemodul 166, das einen Fahrtweg, auf dem ein Fahrzeug 1 fährt, vorhersagt, basierend auf einem aktuellen Fahrtzustand des Fahrzeugs 1, ein Fahrtwegbegrenzungsmodul 168, das den vorhergesagten Fahrtweg in der Breitenrichtung des Fahrzeugs begrenzt gemäß zumindest einem oder mehrerer Parameter, ausgewählt aus der Gruppe bestehend aus einer Fahrtgeschwindigkeit des Fahrzeugs, einem Anzeigezustand eines Blinkers, einer Winkelgeschwindigkeit des Fahrzeugs und einem Lenkwinkel, und ein Steuerungseingangidentifizierungsmodul 176, das einen Verkehrsindikator, der vor dem Fahrzeug 1 existiert, identifiziert, basierend auf dem begrenzten Fahrtweg, und der als der Steuerungseingang zu verwenden ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 3349060 [0002]
JP 2010-224925 A [0003, 0004]
JP 2012-185562 A [0059]
JP 2010-100120 A [0059]
JP 2008-130059 A [0059]
JP 2007-186175 A [0059]

Claims

Fahrzeugaußenumgebungerkennungsvorrichtung, umfassend: ein Fahrtwegvorhersagemodul, das den Fahrtweg, auf dem ein Fahrzeug fährt, vorhersagt, basierend auf einem aktuellen Fahrtzustand des Fahrzeugs, ein Fahrtwegbegrenzungsmodul, das den vorhergesagten Fahrtweg in der Breitenrichtung des Fahrzeugs begrenzt, entsprechend von zumindest einem oder mehreren Parametern, ausgewählt aus der Gruppe bestehend aus einer Fahrtgeschwindigkeit des Fahrzeugs, einem Anzeigezustand eines Blinkers, einer Winkelgeschwindigkeit des Fahrzeugs und einem Lenkwinkel, und wobei ein Steuerungseingangidentifizierungsmodul einen Verkehrsindikator, der vor dem Fahrzeug existiert, identifiziert, basierend auf dem begrenzten Fahrtweg, und der als Steuerungseingang verwendet werden soll.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 1, wobei das Fahrtwegbegrenzungsmodul den Fahrtweg auf beiden Seiten, der linken und rechten Seite, in der Breitenrichtung begrenzt, wenn die Fahrtgeschwindigkeit des Fahrzeugs ein vorbestimmter Wert ist oder geringer.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 1 oder 2, wobei das Fahrtwegbegrenzungsmodul den Fahrtweg begrenzt auf die linke oder rechte Seite, für die ein Blinker nicht betätigt ist, wenn der andere Blinker betätigt ist.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 3, wobei das Fahrtwegbegrenzungsmodul den Ablauf einer vorbestimmten Verlängerungszeit, nachdem die Betätigung des Blinkers beendet ist, abwartet und dann die Begrenzung des Fahrtweges löscht.
Fahrzeugaußenumgebungerkennungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei, wenn die Fahrtgeschwindigkeit des Fahrzeugs ein vorbestimmter Wert ist oder größer, und wenn die Winkelgeschwindigkeit des Fahrzeugs oder ein Absolutwert des Lenkwinkels ein vorbestimmter Wert ist oder größer, das Fahrtwegbegrenzungsmodul den Fahrtweg auf beiden Seiten, der linken und rechten Seite, in der Breitenrichtung begrenzt.
Fahrzeugaußenumgebungerkennungsvorrichtung nach Anspruch 5, wobei das Fahrtwegbegrenzungsmodul den Ablauf einer vorbestimmten Verlängerungszeit, nachdem die Fahrtgeschwindigkeit des Fahrzeugs der vorbestimmte Wert wird oder geringer oder die Winkelgeschwindigkeit des Fahrzeugs oder der Absolutwert des Lenkwinkels der vorbestimmte Wert wird oder geringer, abwartet und dann die Begrenzung des Fahrtweges löscht.