-
QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
-
Der gesamte Inhalt der
japanischen Prioritätsanmeldung Nr. 2018-185559 , eingereicht am 28. September 2018, wird hiermit unter Bezugnahme aufgenommen.
-
HINTERGRUND
-
Die Erfindung betrifft eine Fahrspurlinienerkennungsvorrichtung, die eine eine Fahrspur begrenzende Fahrspurlinie identifiziert.
-
Es ist ein typisches Fahrassistenzsystem bekannt geworden, das eine Fahrspureinhaltesteuerung oder eine Fahrspurabweichungs-Verhinderungssteuerung durchführt. Bei der Fahrspureinhaltesteuerung wird eine Fahrumgebung vor einem eigenen Fahrzeug detektiert, das auf einer normalen Straße oder einer Schnellstraße fährt. Auf der Basis der Information zur detektierten Fahrumgebung werden Fahrspurlinien (zum Beispiel weiße Linien) erkannt, die eine Fahrspur begrenzen, auf der das eigene Fahrzeug fährt. Ein Soll-Fahrkurs wird in die Mitte zwischen den rechten und linken Fahrspurlinien gelegt, und das eigene Fahrzeug wird veranlasst, entlang dem Soll-Fahrkurs zu fahren. Bei der Fahrspurabweichungs-Verhinderungssteuerung wird ein Alarm erzeugt, wenn das eigene Fahrzeug von den erkannten Fahrspurlinien abweicht, um die Aufmerksamkeit des Fahrers zu erwecken.
-
Um die Steuerung zu ermöglichen, die veranlasst, dass das eigene Fahrzeug genau entlang der Fahrspur fährt, ist es erforderlich, die rechten und linken Fahrspurlinien, die als Referenzlinien dienen, konstant zu erkennen. Eine Technik zum Erkennen der rechten und linken Fahrspurlinien ist zum Beispiel in der japanischen ungeprüften Patentanmeldung Nr.
JP 2011-73529 A offenbart. Bei dieser Technik werden Merkmalsgrößen von Fahrspurlinien auf der Basis von Information zur Fahrumgebung vor dem eigenen Fahrzeug detektiert, die zum Beispiel von einer fahrzeugeigenen Kamera erhalten wird. Danach wird die Zuverlässigkeit der erkannten Fahrspurlinien auf der Basis der Merkmalsgrößen berechnet und bewertet. Nur wenn die Fahrspurlinien als hoch zuverlässig bewertet werden, wird die Fahrassistenzsteuerung ausgeführt, um hierdurch Fehlfunktionen zu verhindern.
-
In einer solchen typischen Technik, wie sie zum Beispiel in der
JP 2011 -
73529 A offenbart ist, nimmt die Zuverlässigkeit ab, wenn die Fahrspurlinien teilweise unterbrochen sind, weil sie zum Beispiel teilweise mit Schnee bedeckt sind, teilweise ausgeblichen sind oder wegen des Vorhandenseins einer Kreuzung. Diese abnehmende Zuverlässigkeit bewirkt, dass die Fahrassistenzsteuerung aufgehoben wird. Um die Fahrassistenzsteuerung erneut zu starten, nachdem die Fahrspurlinien wieder entdeckt worden sind oder nachdem das eigene Fahrzeug eine Kreuzung durchfahren hat, muss die Zuverlässigkeit der Fahrspurlinien erneut ausgewertet werden.
-
ZUSAMMENFASSUNG
-
Ein Aspekt der Erfindung gibt eine Fahrspurlinienerkennungsvorrichtung an. Die Fahrspurlinienerkennungsvorrichtung enthält eine Erfassungseinheit, einen Extraktor sowie einen Identifizierer, der einen Speicher und einen Schätzer enthält. Die Erfassungseinheit ist konfiguriert, um Fahrumgebungsinformation zu einer Fahrumgebung vor einem eigenen Fahrzeug zu erfassen. Der Extraktor ist konfiguriert, um Merkmalsgrößen von Fahrspurlinienkomponenten von Fahrspurlinien aus jedem von Einzelbildern auf Basis der von der Erfassungseinheit erfassten Fahrumgebungsinformation zu extrahieren. Die Fahrspurlinien begrenzen jeweils eine rechte Seite und eine linke Seite einer Fahrspur, auf der das eigene Fahrzeug fährt. Die Einzelbilder sind auf einen vorbestimmten Suchbereich gerichtet, der sich von einem Bereich vor dem eigenen Fahrzeug zu einem Bereich fern von dem eigenen Fahrzeug erstreckt. Der Identifizierer ist konfiguriert, um die Fahrspurlinien auf der Basis der vom Extraktor extrahierten Merkmalsgrößen zu identifizieren. Der Speicher ist konfiguriert, um die vom Extraktor extrahierten Merkmalsgrößen zu speichern. Der Schätzer ist konfiguriert, um, wenn die Merkmalsgrößen nach einem Übergang von einem Zustand, in dem die Fahrspurlinien identifizierbar sind, zu einem Zustand, wo die Fahrspurlinien nicht identifizierbar sind, erneut extrahiert werden, auf Basis der in dem Speicher gespeicherten Merkmalsgrößen die Fahrspurlinien nach dem Übergang zu dem Zustand, in dem die Fahrspurlinien nicht identifizierbar sind, zu schätzen.
-
Figurenliste
-
Die beigefügten Zeichnungen sollen für ein weiteres Verständnis der Offenbarung dienen und sind in diese Beschreibung eingebaut und stellen Teil derselben dar. Die Zeichnungen illustrieren Ausführungsbeispiele und dienen zusammen mit der Beschreibung dazu, die Prinzipien der Erfindung zu erläutern.
- 1 ist ein Blockdiagramm einer beispielhaften Konfiguration eines Fahrassistenzsystems gemäß einer Ausführung der Erfindung.
- 2 ist ein Blockdiagramm eines Bildverarbeitungssystems in dem in 1 dargestellten Fahrassistenzsystem.
- 3 ist ein Flussdiagramm einer beispielhaften Routine zum Erkennen einer Fahrspurlinie gemäß einer Ausführung der Erfindung.
- 4 ist ein Flussdiagramm einer beispielhaften Unterroutine zum Bewerten der Erkennung der Fahrspurlinie gemäß einer Ausführung der Erfindung.
- 5 ist ein Flussdiagramm einer beispielhaften Routine zum Erkennen der Fahrspurlinie nach Aufhebung der Fahrassistenzsteuerung gemäß einer Ausführung der Erfindung.
- 6 ist ein Erläuterungsdiagramm der Erfassung von Bildern und Zonen durch eine Bildgebungseinheit.
- 7 ist ein Kenndiagramm von Luminanzcharakteristiken einer horizontalen Linie, die Fahrspurlinien quert, wobei (a) von 7 eine Luminanzänderung darstellt und (b) von 7 eine Randintensität darstellt.
- 8 ist ein Diagramm eines Zuverlässigkeitsbewertungszählers.
- 9 ist ein Erläuterungsdiagramm einer beispielhaften Situation, in der die Fahrspurlinien teilweise unterbrochen sind, während das eigene Fahrzeug eine Kreuzung durchfährt.
- 10 ist ein Erläuterungsdiagramm einer beispielhaften Situation, in der die Fahrspurlinien teilweise unterbrochen sind, während das eigene Fahrzeug die Fahrspuren wechselt.
- 11 ist ein Erläuterungsdiagramm einer teilweise unterbrochenen Fahrspurlinie.
-
DETAILLIERTE BESCHREIBUNG
-
Im Folgenden werden einige Ausführungen der Erfindung unter Bezug auf die beigefügten Zeichnungen beschrieben. Übrigens ist die folgende Beschreibung auf illustrative Beispiele der Erfindung gerichtet und soll die Erfindung nicht einschränken. Faktoren, einschließlich ohne Einschränkung von numerischen Werten, Formen, Materialien, Komponenten, Positionen der Komponenten und wie die Komponenten miteinander verbunden sind, sind nur illustrativ und sollen die Erfindung nicht einschränken. Ferner sind in den folgenden Ausführungsbeispielen Elemente, die nicht im allgemeinsten unabhängigen Anspruch der Erfindung genannt sind, optional und können nach Bedarf vorgesehen werden. Die Zeichnungen sind schematisch und brauchen nicht maßstabsgetreu zu sein. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente, die im Wesentlichen die gleiche Funktion und Konfiguration haben mit den gleichen Zahlen bezeichnet, um eine redundante Beschreibung zu vermeiden.
-
Um die Fahrassistenzsteuerung nach Aufhebung der Fahrassistenzsteuerung aufgrund teilweise unterbrochener Fahrspurlinien, die rechte und linke Seiten einer Fahrspur begrenzen, auf der das eigene Fahrzeug fährt, erneut zu starten, ist zusätzliche Zeit erforderlich, um die Zuverlässigkeit der Fahrspurlinien zu bewerten.
-
Dies kann zu einer Verzögerung bei der Erkennung der Fahrspurlinien führen, und wiederum zu einer Verzögerung beim Wiederstarten der Fahrassistenzsteuerung. Wenn die Fahrassistenzsteuerung trotz der Erkennung der Fahrspurlinien durch den Fahrer nicht wieder gestartet würde, könnte eine etwaige Fehlpassung mit der Erkennung durch den Fahrer auftreten, was dem Fahrer ein unangenehmes Gefühl geben könnte.
-
Dementsprechend ist es wünschenswert, eine Fahrspurlinienerkennungsvorrichtung anzugeben, die es möglich macht, die Fahrassistenzsteuerung auch nach zeitweiliger Aufhebung der Fahrassistenzsteuerung aufgrund unterbrochener Fahrspurlinien, die eine Fahrspur begrenzen, auf der das eigene Fahrzeug fährt, früher erneut zu starten, und somit zu verhindern, dass der Fahrer ein seltsames Gefühl bekommt.
-
1 zeigt ein Fahrassistenzsystem A gemäß einem Ausführungsbeispiel der Erfindung. Das Fahrassistenzsystem A kann ein Bildverarbeitungssystem B und ein Lenksteuersystem C enthalten. Das Bildverarbeitungssystem B enthält eine Bildgebungseinheit 1, einen Bildprozessor 2 sowie einen Fahrspurlinienschätzer 9. In einer Ausführung können die Bildgebungseinheit 1 und der Bildprozessor 2 als „Erfassungseinheit“ dienen, die eine Fahrumgebungsinformation erfasst. In einer Ausführung kann der Fahrspurlinienschätzer 9 als „Identifizierer“ dienen. Das Lenksteuersystem C kann ein Lenksteuergerät 10 und einen Lenkaktuator 11 enthalten. Der Lenkaktuator 11 kann zum Beispiel einen Elektromotor oder einen Hydraulikdruckmotor enthalten.
-
Das Lenksteuergerät 10 kann zum Beispiel einen Mikrocomputer enthalten. Das Lenksteuergerät 10 kann mit dem Lenkaktuator 11 über eine fahrzeugeigene Kommunikationsleitung 12 verbunden sein, wie etwa ein Controller Area Network (CAN), um eine bidirektionale Kommunikation zwischen dem Lenksteuergerät 10 und dem Lenkaktuator 11 herzustellen. Das Lenksteuergerät 10 kann eine Fahrassistenzsteuerung ausführen, einschließlich einer Fahrspureinhaltesteuerung oder einer Fahrspurabweichungs-Verhinderungssteuerung, die veranlasst, dass das eigene Fahrzeug M (siehe 9 bis 11) entlang einer Fahrspur fährt.
-
In dem Ausführungsbeispiel kann das Lenksteuergerät 10 einen Winkel eines Lenkrads (nachfolgend als „Lenkradwinkel“ bezeichnet) auf der Basis eines von dem Bildverarbeitungssystem B empfangenen Signals bestimmen. Der Lenkradwinkel kann so definiert sein, dass er das eigene Fahrzeug M auf der Mitte einer Fahrspur fahren lässt, die zwischen einer rechten Fahrspurlinie Lr und einer linken Fahrspurlinie LI definiert ist (siehe 9 bis 11). Wenn vorhergesagt wird, dass das eigene Fahrzeug M von der rechten Fahrspurlinie Lr und der linken Fahrspurlinie LI abweicht, kann der Lenkradwinkel in einer Richtung gelegt werden, die der Abweichung entgegengesetzt ist, um die Abweichung zu verhindern. Das Lenksteuergerät 10 kann zu dem Lenkaktuator 11 das Lenkdrehmoment senden, das dem definierten Lenkradwinkel entspricht.
-
Der Lenkaktuator 11 kann die Lenkung auf der Basis des von dem Lenksteuergerät 10 empfangenen Lenkdrehmoments betätigen, um eine Fahrtrichtung des eigenen Fahrzeugs M einzustellen.
-
Bezugnehmend auf 2 kann die Bildgebungseinheit 1 in dem Bildverarbeitungssystem B eine Stereokamera mit einer Hauptkamera 1a und einer Nebenkamera 1b enthalten. Die Hauptkamera 1a und die Nebenkamera 1b können zum Beispiel über einem Rückspiegel und neben einer vorderen Windschutzscheibe angeordnet sein. Die Hauptkamera 1a und die Nebenkamera 1b können mit regulären Intervallen von einer Achse seitlich beabstandet sein, die sich in der Mitte der Breite des eigenen Fahrzeugs M erstreckt, um dazwischen eine vorbestimmte Grundlinienlänge zu definieren. Die Hauptkamera 1a und die Nebenkamera 1b können jeweils eine Bildgebungsvorrichtung enthalten, wie etwa eine ladungsgekoppelte Vorrichtung (CCD) oder einen Komplementär-Metalloxid-Halbleiter (CMOS). Diese Bildgebungsvorrichtungen können ein Bild einer Fahrumgebung vor dem eigenen Fahrzeug M aufnehmen. Das aufgenommene Bild kann eine Fahrspur enthalten, auf der das eigene Fahrzeug M fährt.
-
Analoge Bilder, die jeweils von der Hauptkamera 1a und der Nebenkamera 1b aufgenommen werden, können als Paar zum Bildprozessor 2 gesendet werden. Der Bildprozessor 2 kann einen A/D-Wandler 3, einen Bildkorrektor 4, einen Bilddatenspeicher 5 und einen Distanzdatenprozessor 6 enthalten. Die paarigen analogen Bilder, die von der Hauptkamera 1a und der Nebenkamera 1b aufgenommen worden sind, können an jeweiligen A/D-Wandlern 3a und 3b im A/D-Wandler 3 in digitale Bilder umgewandelt werden, die jeweils eine vorbestimmte Luminanz haben. Die digitalen Bilder können zu dem Bildkorrektor 4 gesendet werden.
-
Der Bildkorrektor 4 kann die digitalen Bilder korrigieren. Zum Beispiel kann der Bildkorrektor 4 eine Verschiebung oder Rauschen aufgrund eines Positionsfehlers zwischen der Hauptkamera 1a und der Nebenkamera 1b entfernen, um die Luminanz der digitalen Bilder zu korrigieren. Auf der Basis des Ausgangssignals von der Hauptkamera 1a können Referenzbilddaten erzeugt werden, und auf der Basis des Ausgangssignals von der Nebenkamera 1b können Vergleichsbilddaten erzeugt werden. Die Referenzbilddaten und die Vergleichsbilddaten können in dem Bilddatenspeicher 5 gespeichert werden und können auch zu dem Distanzdatenprozessor 6 gesendet werden.
-
Der Distanzdatenprozessor 6 kann einen Bildprozessor 7 und einen Distanzdatenspeicher 8 enthalten. Der Bildprozessor 7 kann das gleiche Objekt, das in den Referenzbilddaten und den Vergleichsbilddaten erscheint, auf der Basis einer Parallaxe zwischen den Referenzbilddaten und den Vergleichsbilddaten erkennen. Der Bildprozessor 7 kann auch eine Distanz (nachfolgend als „Distanzdaten“ bezeichnet) von dem eigenen Fahrzeug M zu dem erkannten Objekt mittels Triangulation berechnen. Die Distanzdaten können in dem Distanzdatenspeicher 8 gespeichert werden. Auf diese Weise können der Bilddatenspeicher 5 und der Distanzdatenprozessor 6 Fahrumgebungsinformation zur Fahrumgebung vor dem eigenen Fahrzeug M erfassen. Die Fahrumgebungsinformation kann Daten zu Fahrspurlinien enthalten.
-
Der Fahrspurlinienschätzer 9 kann einen Fahrspurlinienerkennungsbewerter 9a, einen Nach-Aufhebungs-Anfangsbewerter 9b sowie einen Datenspeicher 9c enthalten, der Merkmalsgrößen speichert. In einer Ausführung kann der Nach-Aufhebungs-Anfangsbewerter 9b als „Schätzer“ dienen. In einer Ausführung kann der Datenspeicher 9c als „Speicher“ dienen.
-
Der Fahrspurlinienerkennungsbewerter 9a kann aus dem im Bilddatenspeicher 5 gespeicherten Bild Punktgruppen extrahieren, die potentiellen Fahrspurlinien entsprechen (nachfolgend als „potentielle Fahrspurlinienpunkte“ bezeichnet), die eine rechte Seite und eine linke Seite der Fahrspur definieren, auf der das eigene Fahrzeug M fährt. Durch Verbinden der potentiellen Fahrspurlinienpunkte zu einer geraden Linie oder einer gekrümmten Linie kann eine Fahrspurlinie erkannt werden. Alternativ kann eine Fahrspurlinie durch Musterabgleich mit einem vorab gespeicherten Fahrspurlinienmodell erkannt werden. Übrigens brauchen der Typ (zum Beispiel durchgehende Linie oder gestrichelte Linie) und die Farbe (zum Beispiel Weiß oder Gelb) der Fahrspurlinie nicht unterschieden werden.
-
In einem Ausführungsbeispiel kann der Fahrspurlinienerkennungsbewerter 9a eine Gruppe von potentiellen Fahrspurlinienpunkten extrahieren, indem er eine Luminanzänderung entlang der Breite der Straße auf der Bildebene bewertet. Der Fahrspurlinienerkennungsbewerter 9a kann eine Fahrspurlinie erkennen, indem er Zeitseriendaten an der Gruppe der potentiellen Fahrspurlinienpunkte bearbeitet.
-
Bezugnehmend auf 7 kann der Fahrspurlinienerkennungsbewerter 9a zum Beispiel mehrere horizontale Suchlinien, die sich entlang der Breite des eigenen Fahrzeugs M erstrecken, nach einem Rand absuchen, an dem eine Luminanzänderung größer als ein vorbestimmter Pegel ist. Der Fahrspurlinienerkennungsbewerter 9a kann hierdurch ein Paar eines Fahrspurlinienstartpunkts Ps eines Fahrspurlinienendpunkts Pe pro Suchlinie in einem in dem Bild gelegten Fahrspurliniendetektionsbereich detektieren. In anderen Worten, der Fahrspurlinienerkennungsbewerter 9a kann den Fahrspurlinienstartpunkt Ps und den Fahrspurlinienendpunkt Pe auf der Basis einer Randintensität detektieren. Der Fahrspurlinienerkennungsbewerter 9a kann, als potentiellen Fahrspurlinienbereich, einen vorbestimmten Bereich extrahieren, der zwischen dem Fahrspurlinienstartpunkt Ps und dem Fahrspurlinienendpunkt Pe definiert ist. Übrigens repräsentiert das Zeichen „WL“ in 7 die Breite der Fahrspurlinie.
-
Danach kann der Fahrspurlinienerkennungsbewerter 9a Zeitseriendaten auf Raumkoordinaten der potentiellen Fahrspurlinienpunkte bearbeiten, um Annäherungsmodelle der rechten und linken Fahrspurlinien zu erzeugen. Die Zeitseriendaten an den Raumkoordinaten der potentiellen Fahrspurlinienpunkte können auf einer Verlagerung des eigenen Fahrzeugs P pro Zeiteinheit beruhen. Der Fahrspurlinienerkennungsbewerter 9a kann Fahrspurlinien auf der Basis der Annäherungsmodelle erkennen. Beispiele der Annäherungsmodelle der Fahrspurlinien können ein Annäherungsmodell enthalten, das durch Verbinden von durch Hough-Transformation erhaltenen geradlinigen Komponenten erzeugt wird, sowie ein Annäherungsmodell, das mittels einer linearen oder quadratischen Annäherung erzeugt wird.
-
Darüber hinaus kann der Fahrspurlinienerkennungsbewerter 9a die Zuverlässigkeit der Komponenten bewerten, die von den potentiellen Fahrspurlinienpunkten hergeleitet sind. In anderen Worten, der Fahrspurlinienerkennungsbewerter 9a kann bewerten, ob Linienkomponenten sicher jenen Fahrspurlinien entsprechen, die die rechten und linken Seiten der Fahrspur begrenzen, auf der das eigene Fahrzeug M fährt. Auf der Basis des Ergebnisses der Bewertung kann der Fahrspurlinienerkennungsbewerter 9a bestimmen, ob die Linienkomponenten sicher den Fahrspurlinien entsprechen. Dies verhindert das Auftreten von Fehlfunktionen der Fahrassistenzsteuerung aufgrund einer Fehlerkennung. Zum Beispiel wird eine Fehlerkennung in der Fahrassistenzsteuerung verhindert, die verursacht werden könnte, wenn die Fahrspurlinie unterbrochen ist, wenn die Fahrspurlinie aufgrund eines Fahrspurwechsels in horizontaler Richtung zeitweilig fehlt, oder wenn die Fahrspurlinie zum Beispiel mit Schnee bedeckt ist.
-
Der Fahrspurlinienerkennungsbewerter 9a kann die Linienkomponenten, die von den potentiellen Fahrspurlinienpunkten hergeleitet sind, im Hinblick auf die Zuverlässigkeit oder die Gewissheit, eine Fahrspurlinie zu sein, auf der Basis mehrerer Merkmalsgrößen bewerten, die von jedem Einzelbild erhalten werden. Beispiele der für die Bewertung verwendeten Merkmalsgrößen können die Länge des Bereichs zwischen dem Fahrspurlinienstartpunkt und dem Fahrspurlinienendpunkt (d.h. die Anzahl von Pixeln), die Randintensität, die Luminanz, das Verhältnis der Gruppe der Fahrspurlinienendpunkte zur Gruppe der Fahrspurlinienstartpunkte auf der Linienkomponente, sowie die Höhe des potentiellen Fahrspurlinienpunkts von der Straßenoberfläche in jedem der Einzelbilder enthalten. Der Fahrspurlinienerkennungsbewerter 9a kann die Zuverlässigkeit der Linienkomponenten auf der Basis der extrahierten mehreren Merkmalsgrößen bewerten. Der Fahrspurlinienerkennungsbewerter 9a kann bewerten, dass die extrahierten Linienkomponenten sicher Fahrspurlinien entsprechen, wenn die Merkmalsgrößen jeweils mit einem vorbestimmten Skalenwert oder höher ratiert werden.
-
Der Fahrspurlinienerkennungsbewerter 9a kann die Fahrspurlinien zum Beispiel gemäß einer in 3 dargestellten Fahrspurlinienerkennungsroutine erkennen.
-
Die Routine kann mit Schritt S1 starten, worin die Zuverlässigkeit der Erkennung der linken Fahrspurlinie bewertet wird. Danach kann in Schritt S2 die Zuverlässigkeit der Erkennung den rechten Fahrspurlinie bewertet werden. Die Erkennungsbewertung in den Schritten S1 und S2 kann gemäß einer in 4 dargestellten Fahrspurlinienerkennungsbewertungs-Unterroutine ausgeführt werden. Übrigens kann die Unterroutine auch individuell in jedem der Schritte S1 und S2 ausgeführt werden. Der Buchstabe „x“ in 4 kann somit in Schritt S1 als „l“ gelesen werden, und in Schritt S2 als „r“.
-
Die Unterroutine kann mit Schritt S11 starten, worin die Merkmalsgröße αx der Fahrspurlinienkomponente extrahiert werden kann. Die Merkmalsgröße αl kann der linken Fahrspurlinienkomponente in Schritt S1 entsprechen, und die Merkmalsgröße ar einer rechten Fahrspurlinienkomponente in Schritt S2. In einer Ausführung kann der Fahrspurlinienerkennungsbewerter 9a, der den Prozess in Schritt S11 ausführt, als „Extraktor“ dienen.
-
Wie oben beschrieben, extrahiert der Fahrspurlinienerkennungsbewerter 9a in zeitserieller Folge die Merkmalsgrößen αln (n = 1, 2, 3, 4, 5 ...) aus jedem einer vorbestimmten Anzahl von Einzelbildern (zum Beispiel zehn Einzelbildern). Die vorbestimmte Anzahl von Einzelbildern ist auf einen vorbestimmten Bereich gerichtet, der sich von einem Bereich vor dem eigenen Fahrzeug zu einem vom eigenen Fahrzeug M fernen Bereich erstreckt. Die extrahierten Merkmalsgröße αln (n = 1,2, 3, 4, 5 ...) können dazu benutzt werden, die Fahrspurlinienkomponente zu bewerten.
-
Danach kann in Schritt S12 der Fahrspurlinienerkennungsbewerter 9a die Zuverlässigkeit oder die Gewissheit, die Fahrspurlinie der Fahrspurlinienkomponente zu sein, auf der Basis der extrahierten Merkmalsgrößen bewerten. Zuerst können die Merkmalsgrößen αln (n = 1, 2, 3, 4, 5, ...) im Hinblick auf die Zuverlässigkeit auf einer vorbestimmten Skala bewertet werden (zum Beispiel auf einer Skala von ein bis vier). Die auf der vorbestimmten Skala bewertete Zuverlässigkeit kann einer Zeitserien-Bewertung unterzogen werden. Die Zeitserien-Bewertung kann mittels eines Zuverlässigkeitbewertungszählers durchgeführt werden.
-
Zum Beispiel können in Bezug auf 8 die Merkmalsgrößen αl1, αl2, αl3, αl4, αl5 ..., die aus einer vorbestimmten Anzahl von Einzelbildern (zum Beispiel zehn Einzelbildern) für die Bewertung der Zuverlässigkeit extrahiert sind, mittels eines Zuverlässigkeitbewertungszählers gezählt werden, bis alle diese Merkmalsgrößen einen Schwellenwert erreichen.
-
Wenn alle diese Merkmalsgrößen den Schwellenwert erreichen, kann die Prozedur zu Schritt S13 weitergehen. In Schritt S13 kann der Fahrspurlinienerkennungsbewerter 9a bestimmen, ob die Merkmalsgrößen αln (n = 1, 2, 3, 4, 5, ...) jeweils mit einem vorbestimmten Skalenwert oder höher ratiert sind. Im Falle der Auswertung auf einer Vier-Punkt-Skala kann der Fahrspurlinienerkennungsbewerter 9a zum Beispiel bestimmen, ob die Merkmalsgrößen αln mit drei oder höher ratiert werden. Wenn die Merkmalsgrößen αln (n = 1, 2, 3, 4, 5, ...) eines vorbestimmten Anteils oder mehr mit einem vorbestimmten Skalenwert oder höher ratiert werden, kann der Fahrspurlinienerkennungsbewerter 9a bestimmen, dass die Fahrspurlinienkomponenten sicher einer Fahrspurlinie entsprechen, und die Prozedur kann zu Schritt S14 weitergehen. Wenn die Merkmalsgrößen αln von weniger als dem vorbestimmten Anteil mit einem vorbestimmten Skalenwert oder höher bewertet werden, kann der Fahrspurlinienerkennungsbewerter 9a bestimmen, dass die Fahrspurlinie unterbrochen ist, oder dass die Fahrspurlinie nicht erkannt wird, und die Prozedur kann zu Schritt S15 abzweigen. In einem alternativen Ausführungsbeispiel kann der Fahrspurlinienerkennungsbewerter 9a in Schritt S13 bestimmen, dass die Fahrspurlinie nur dann erkannt wird, wenn alle diese Merkmalsgrößen αln mit einem vorbestimmten Skalenwert oder höher ratiert werden, und die Prozedur kann zu Schritt S14 weitergehen.
-
In Schritt S14 können die Merkmalsgrößen, die mit einem höheren Skalenwert ratiert sind oder eine hohe Zuverlässigkeit haben, in dem Datenspeicher 9c gespeichert werden, und die Prozedur kann zu Schritt S16 weitergehen.
-
In Schritt S15 kann der Wert eines Nach-Aufhebungs-Fahrspurlinienerkennungs-Flags Fxa (entsprechend Fla in Schritt S1 und Fra in Schritt S2) geprüft werden. Wenn der Wert des Nach-Aufhebungs-Fahrspurlinienerkennungs-Flags Fxa 1 ist (Fxa = 1), d.h. wenn beide Nach-Aufhebungs-Fahrspurlinienerkennungs-Flags Fla und Fra gesetzt sind, kann die Prozedur zu Schritt S16 weitergehen. Wenn das Nach-Aufhebungs-Fahrspurlinienerkennungs-Flag Fxa 0 ist (Fxa = 9), d.h. wenn eines oder beide der Nach-Aufhebungs-Fahrspurlinienerkennungs-Flags Fla und Fra gelöscht sind, kann die Prozedur zu Schritt S17 weitergehen. Übrigens kann das Nach-Aufhebungs-Fahrspurlinienerkennungs-Flag Fxa auch gemäß einer in 5 dargestellten Nach-Aufhebungs-Fahrspurlinienerkennungsroutine gesetzt werden, die weiter im Folgenden wird.
-
In Schritt S16 kann ein Steuerzulassungs-Flag Fx (entsprechend FI in Schritt S1 und Fr in Schritt S2) gesetzt werden (Fx : 1), und die Prozedur kann die Unterroutine verlassen.
-
In Schritt S17 kann das Steuerzulassungs-Flag Fx gelöscht werden (FI : 0), und kann die Prozedur die Unterroutine verlassen.
-
Danach kann die Prozedur zu Schritt S3 in 3 weitergehen. In Schritt S3 kann der Wert eines Steuerzulassungs-Flags Fl für die linke Fahrspurlinie L1 geprüft werden. Wenn der Wert des Steuerzulassungs-Flags Fl gleich 1 ist (FI = 1), kann die Prozedur zu Schritt S4 weitergehen. Wenn der Wert des Steuerzulassungs-Flags FI gleich 0 ist (FI = 0), kann die Prozedur zu Schritt S6 springen.
-
In Schritt S4 kann der Wert des Steuerzulassungs-Flags Fr für die rechte Fahrspurlinie Lr geprüft werden. Wenn der Wert des Steuerzulassungs-Flags Fr gleich 1 ist (Fr = 1), kann die Prozedur zu Schritt S5 weitergehen. Wenn der Wert des Steuerzulassungs-Flags Fr gleich 0 ist (Fr = 0), kann die Prozedur zu Schritt S6 abzweigen.
-
Wenn die rechte Fahrspurlinie Lr und die linke Fahrspurlinie LI beide erkannt werden, kann in Schritt S5 ein Steuerzulassungsbefehl ausgegeben werden, und die Prozedur kann die Routine verlassen. Wenn eine oder beide der rechten und linken Fahrspurlinien nicht erkannt werden, kann in Schritt S6 ein Steueraufhebungsbefehl ausgegeben werden und kann die Prozedur die Unterroutine verlassen.
-
In einer in 6 dargestellten beispielhaften Situation, in der die Fahrspurlinie in einer Zone I klar erkennbar ist, können die Merkmalsgrößen, die in zeitserieller Folge aus mehreren (zum Beispiel 10) Einzelbildern extrahiert sind (in 6 mit den horizontalen Linien angegeben), mit einem hohen Skalenwert ratiert werden und haben somit eine hohe Zuverlässigkeit. Wenn das eigene Fahrzeug M vorwärts fährt, kann eine Zone II teilweise in einem Bereich enthalten sein, der von der Hauptkamera 1a und der Nebenkamera 1b der Bildgebungsvorrichtung 1 detektiert wird. Da die in der Zone II detektierte Fahrspurlinie unterbrochen ist, nehmen die Skalenwerte der Merkmalsgröße graduell ab, was die Zuverlässigkeit senkt.
-
Der Wert des Nach-Aufhebungs-Fahrspurlinienerkennungs-Flags Fxa (entsprechend Fla für die linke Fahrspurlinie L1 und Fra für die rechte Fahrspurlinie Lr) kann zum Beispiel gemäß der in 5 dargestellten Nach-Aufhebungs-Fahrspurlinienerkennungsroutine gesetzt oder gelöscht werden.
-
Die Routine kann individuell für die linke Fahrspurlinienkomponente und die rechte Fahrspurlinienkomponente ausgeführt werden. Der Buchstabe „x“ in 5 kann somit in der Routine für die linke Fahrspurlinienkomponente als „I“ gelesen werden, und in der Routine für die rechte Fahrspurlinienkomponente als „r“.
-
Die Routine kann mit Schritt S21 starten, in der der Wert des Steuerzulassungs-Flags Fx geprüft werden kann. Wenn der Wert des Steuerzulassungs-Flags Fx gleich 0 ist (Fx = 0), kann die Prozedur zu Schritt S22 weitergehen. In Schritt S22 können die Merkmalsgrößen αln (n = 1, 2, 3, 4, 5, ...) aus einem oder mehreren (zum Beispiel zwei bis vier) Einzelbildern extrahiert werden, bis alle diese Merkmalsgrößen einen vorbestimmten Schwellenwert erreichen, bei dem ein erneuter Start der Fahrassistenzsteuerung erlaubt wird.
-
Wenn alle diese Merkmalsgrößen αln (n = 1, 2, 3, 4, 5, ...) den vorbestimmten Schwellenwert erreichen, kann die Prozedur zu Schritt 23 weitergehen. In Schritt S23 können die Daten zu den Merkmalsgrößen, die mit einem hohen Skalenwert ratiert sind, aus dem Datenspeicher 9c gelesen werden. Danach können in Schritt S24 die aus dem Datenspeicher 9c gelesenen Merkmalsgrößen mit entsprechenden Merkmalsgrößen, die gegenwärtig extrahiert werden, verglichen werden, um die Differenz dazwischen zu berechnen.
-
Danach kann in Schritt S25 bestimmt werden, ob alle diese Differenzen zwischen den Merkmalsgrößen in einen vorbestimmten Bereich fallen. Wenn alle diese Differenzen in den vorbestimmten Bereich fallen, können die Fahrspurlinienkomponenten, die nach der Aufhebung der Fahrassistenzsteuerung detektiert werden, als der Fahrspurlinie entsprechend bestimmt werden, und die Prozedur kann zu Schritt S26 weitergehen. Wenn die Differenzen den vorbestimmten Bereich überschreiten, kann bestimmt werden, dass die Fahrspurlinienkomponenten nicht detektiert werden oder die Komponenten wahrscheinlich solche Fahrspurlinienkomponenten sind, die nicht der Fahrspurlinie entsprechen, und die Prozedur kann zu Schritt S27 weitergehen.
-
In Schritt S26 kann das Nach-Aufhebungs-Fahrspurlinienerkennungs-Flag Fxa gesetzt werden (Fxa : 1), und die Prozedur kann die Routine verlassen. Wenn die Routine zu Schritt S27 abzweigt, kann das Nach-Aufhebungs-Fahrspurlinienerkennungs-Flag Fxa gelöscht werden (Fxa : 0), und die Prozedur kann die Routine verlassen.
-
Das Nach-Aufhebungs-Fahrspurlinienerkennungs-Flag Fxa kann in Schritt S15 in 4 gelesen werden. Wenn das Nach-Aufhebungs-Fahrspurlinienerkennungs-Flag Fxa gleich 1 ist (d.h. Fxa = 1), kann die Prozedur zu Schritt S16 weitergehen. In Schritt S16 kann das Steuerzulassungs-Flag Fx gesetzt werden (Fx : 1). Wenn das Nach-Aufhebungs-Fahrspurlinienerkennungs-Flag Fxa gleich 0 ist (Fxa = 0), kann die Prozedur zu Schritt S17 weitergehen, und kann das Steuerzulassungs-Flag Fx gelöscht werden (Fx : 0).
-
Der Wert des Steuerzulassungs-Flags Fx (entsprechend FI für die linke Fahrspurlinie und Fr für die rechte Fahrspurlinie) kann in den Schritten S3 und S4 geprüft werden. Wenn die vorbestimmten Bedingungen erfüllt sind, kann in Schritt S5 die Ausführung der Fahrassistenzsteuerung zugelassen werden.
-
In der in 6 dargestellten beispielhaften Situation, in der die Fahrassistenzsteuerung zeitweilig aufgehoben wird, weil die Fahrspurlinie teilweise unterbrochen ist, und in der die Fahrspurlinienkomponenten danach in einer Zone III detektiert werden, können die Merkmalsgrößen, die von der durchgehenden Fahrspurlinie extrahiert worden sind und mit einem hohen Skalenwert ratiert worden sind, mit den jeweiligen Merkmalsgrößen, die gegenwärtig extrahiert werden, verglichen werden. Wenn die Differenzen dazwischen in einen vorbestimmten Bereich fallen, können die Fahrspurlinienkomponenten, die nach der Aufhebung der Fahrassistenzsteuerung extrahiert worden sind, als solche bestimmt werden, die sicher der Fahrspurlinie entsprechen.
-
Demzufolge wird es auch nach der zeitweiligen Aufhebung aufgrund der unterbrochenen Fahrspurlinien Lr und LI, die die Fahrspur begrenzen, auf der das eigene Fahrzeug fährt, möglich, die Fahrspurlinien früher zu erkennen, um die Fahrassistenzsteuerung erneut zu starten. Dies macht es möglich, ein seltsames Gefühl des Fahrers zu vermeiden.
-
In einer in 9 dargestellten beispielhaften Situation können die aus dem Datenspeicher 9c gelesenen Merkmalsgrößen ab der Einfahrt des eigenen Fahrzeugs M in eine Kreuzung bis zur Ausfahrt des eigenen Fahrzeugs M aus der Kreuzung gespeichert bzw. zurückgehalten werden. Nachdem das eigene Fahrzeug die Kreuzung durchfahren hat, können mehrere Einzelbilder der rechten Fahrspurlinie Lr und der linken Fahrspurlinie LI aufgenommen werden. Die Merkmalsgrößen können von den aufgenommenen Einzelbildern extrahiert werden. Die Merkmalsgrößen können mit aus dem Datenspeicher 9c gelesenen Merkmalsgrößen verglichen werden, um die Differenzen dazwischen zu bestimmen. Falls die Differenzen in einen vorbestimmten Bereich fallen, können die Fahrspurlinienkomponenten, die nach der Aufhebung der Fahrassistenzsteuerung detektiert werden, als der Fahrspurlinie entsprechend bestimmt werden. Das Ergebnis der Fahrspurlinienerkennung ist im Wesentlichen das gleiche wie das Ergebnis der Fahrspurlinienerkennung durch den Fahrer.
-
In einer in 10 dargestellten anderen beispielhaften Situation fährt das eigene Fahrzeug M unvermeidbar über die rechte Fahrspurlinie Lr, während es die Fahrspur von der linken Fahrspur zu einer benachbarten rechten Fahrspur wechselt. Während das eigene Fahrzeug M die rechte Fahrspurlinie Lr quert, bewegt sich im von der Bildgebungseinheit 1 aufgenommenen Bild die linke Fahrspurlinie LI nach links, und gleichzeitig bewegt sich in von der Bildgebungseinheit 1 aufgenommenen Bild die rechte Fahrspurlinie Lr von rechts nach links. Danach befindet sich die rechte Fahrspurlinie Lr an der linken Seite des eigenen Fahrzeugs M, und befindet sich eine andere Fahrspurlinie an der rechten Seite des eigenen Fahrzeugs. In dieser Situation werden die Fahrspurlinien als teilweise unterbrochen erkannt.
-
Wenn sich das eigene Fahrzeug M von der linken Fahrspur zur mittleren Fahrspur bewegt, wird die rechte Fahrspurlinie Lr der linken Fahrspur zur linken Fahrspurlinie L1 der mittleren Fahrspur, und es wird zusätzlich eine andere rechte Fahrspurlinie Lr detektiert. Diese Fahrspurlinien haben vermutlich im Wesentlichen die gleichen Merkmale miteinander, weil die linke Fahrspur und die mittlere Fahrspur zum gleichen Fahrweg gehören. Nachdem sich die Stellung des eigenen Fahrzeugs M stabilisiert hat, können die Merkmalsgrößen der rechten Fahrspurlinie Lr und der linken Fahrspurlinie LI der mittleren Fahrspur mit den Merkmalsgrößen der rechten Fahrspurlinie Lr und der linken Fahrspurlinie LI der linken Fahrspur verglichen werden. Dies erlaubt eine frühere Erkennung der Fahrspurlinien.
-
Auch in einer anderen beispielhaften Situation, in der das eigene Fahrzeug M auf der gleichen Fahrspur weiter fährt, wie in 11 dargestellt, wird die Fahrspurlinienerkennung in einem Fahrspurlinien-fehlen-Bereich Lng manchmal behindert, in dem die linke Fahrspurlinie LI teilweise ausgeblichen ist oder teilweise mit Schnee oder anderen Materialien bedeckt ist. Im Hinblick auf dieses Problem kann gemäß einigen Ausführungsbeispielen der Erfindung die Fahrspurlinie LI unmittelbar nach Wiederentdeckung der Fahrspurlinie LI erkannt werden, wie im in 9 dargestellten Fall für die Kreuzung. Das Ergebnis der Fahrspurlinienerkennung ist im Wesentlichen das gleiche wie das Ergebnis der Fahrspurlinienerkennung durch den Fahrer.
-
Wie oben beschrieben, werden gemäß jedem Ausführungsbeispiel der Erfindung die Merkmalsgrößen der Fahrspurlinienkomponenten nach zeitweiliger Aufhebung der Fahrassistenzsteuerung aufgrund der unterbrochenen Linien Lr und LI extrahiert, die die Fahrspur begrenzen, auf der das eigene Fahrzeug M fährt. Die Merkmalsgrößen, die nach der Aufhebung der Fahrassistenzsteuerung extrahiert werden, können mit jeweiligen Merkmalsgrößen vergleichen werden, die vor der Aufhebung der Fahrassistenzsteuerung gespeichert wurden, und mit einem hohen Skalenwert ratiert werden, um die Differenzen dazwischen zu berechnen. Wenn die Differenzen in einen vorbestimmten Bereich fallen, werden die Fahrspurlinienkomponenten als der Fahrspurlinie entsprechend bestimmt. Dies erlaubt eine frühzeitige Erkennung der aus der unterbrochenen Fahrspurlinie detektierten Fahrspurlinienkomponenten als die Fahrspurlinie Lr und LI. Dementsprechend ist es möglich, die Fahrassistenzsteuerung im Wesentlichen zur gleichen Zeit wie die Erkennung der Fahrspurlinien durch den Fahrer erneut zu starten, was ein seltsames Gefühl des Fahrers vermeidet.
-
Obwohl oben einige Ausführungsbeispiele der Erfindung beschrieben sind, sind die vorstehenden Ausführungen lediglich Beispiele und sollen den Umfang der Erfindung nicht einschränken. In einem anderen Ausführungsbeispiel kann zusätzlich eine Breite zwischen der rechten Fahrspurlinie und der linken Fahrspurlinie als eine der Merkmalsgrößen detektiert werden. Es versteht sich, dass an den vorstehenden Ausführungsbeispielen Modifikationen und Veränderungen vorgenommen werden können. Es versteht sich auch, dass in den oben beschriebenen Ausführungsbeispielen verschiedene Weglassungen, Austauschmaßnahmen und Modifikationen vorgenommen werden können, ohne vom Umfang und Idee der Erfindung abzuweichen. Die Erfindung soll solche Modifikationen und Veränderungen beinhalten, insofern sie in den Umfang der beigefügten Ansprüche oder deren Äquivalente fallen.
-
Der Bildprozessor 2 und der Fahrspurschätzer 9, die in 2 dargestellt sind, sind durch eine Schaltung implementierbar, die zumindest eine integrierte Halbleiterschaltung enthält, wie etwa zumindest einen Prozessor (zumindest eine zentrale Prozessoreinheit (CPU)), zumindest eine anwenderspezifische integrierte Schaltung (ASIC), und/oder zumindest ein feldprogrammierbares Gate Array (FPGA). Zumindest ein Prozessor ist durch Lesen von Instruktionen von zumindest einem maschinenlesbaren nicht-flüchtigen berührbaren Medium konfigurierbar, um alle oder einen Teil der Funktionen des Bildprozessors 2 und des Fahrbahnlinienschätzers 9 durchzuführen. Ein solches Medium kann zahlreiche Formen einnehmen, einschließlich aber nicht beschränkt auf einen beliebigen Typ von magnetischem Medium wie etwa einer Festplatte, einen beliebigen Typ von optischem Medium wie etwa einer CD und einer DVD, einen beliebigen Typ von Halbleiterspeicher (d.h. Halbleiterschaltung) wie etwa einem flüchtigen Speicher und einem nicht-flüchtigen Speicher. Der flüchtige Speicher kann ein DRAM und ein SRAM enthalten, und der nicht-flüchtige Speicher kann ein ROM und ein NVRAM enthalten. Die ASIC ist eine integrierte Schaltung (IC), die kundenspezifiziert ist, um alle oder einen Teil der Funktionen des Bildprozessors 2 und des Fahrspurlinienschätzers 9, die in 2 dargestellt sind, durchzuführen, und das FPGA ist eine integrierte Schaltung, die ausgestaltet ist, um nach der Herstellung zu deren Durchführung konfiguriert ist.
-
Eine Fahrspurlinienerkennungsvorrichtung enthält eine Erfassungseinheit, einen Extraktor sowie einen Identifizierer, der einen Speicher und einen Schätzer. Die Erfassungseinheit erfasst Fahrumgebungsinformation zu einer Fahrumgebung vor einem eigenen Fahrzeug. Der Extraktor extrahiert Merkmalsgrößen von Fahrspurlinienkomponenten von Fahrspurlinien aus jeweiligen Einzelbildern auf Basis der von der Erfassungseinheit erfassten Fahrumgebungsinformation. Der Identifizierer identifiziert die Fahrspurlinien auf der Basis der vom Extraktor extrahierten Merkmalsgrößen. Der Speicher speichert die vom Extraktor extrahierten Merkmalsgrößen. Wenn die Merkmalsgrößen nach einem Übergang von einem Zustand, in dem die Fahrspurlinien identifizierbar sind, zu einem Zustand, in dem die Fahrspurlinien nicht identifizierbar sind, erneut extrahiert werden, schätzt der Schätzer auf Basis der in dem Speicher gespeicherten Merkmalsgrößen die Fahrspurlinien nach dem Übergang zu dem Zustand, in dem die Fahrspurlinien nicht identifizierbar sind.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2018185559 [0001]
- JP 2011073529 A [0004]
- JP 2011 A [0005]
- JP 73529 A [0005]
