-
Die Erfindung betrifft ein Verfahren zur Führung eines autonom fahrenden Fahrzeuges auf einer schneebedeckten Straße, bei welchem ein Bild der schneebedeckten Straße vor dem Fahrzeug aufgenommen wird, welches hinsichtlich einer Fahrspur ausgewertet wird und woraus eine Fahrtrajektorie des Fahrzeuges bestimmt wird.
-
Aus der
DE 10 2009 050 504 A1 ist ein Verfahren zum Detektieren eines freien Pfades durch eine Analyse einer topografischen Veränderung bekannt. Dieses Verfahren umfasst das Detektieren durch eine Vereinigung mehrerer Analysen, indem ein Bild von einer Kameraeinrichtung aufgenommen wird und das Bild durch eine Analyse einer Detektion eines freien Pfades analysiert wird, um einen freien Fahrpfad in dem Bild zu ermittein. Der freie Fahrpfad wird dazu verwendet, um das Fahrzeug zu navigieren.
-
In Zukunft werden automatisch fahrende LKWs auf Straßen und Autobahnen unterwegs sein. Insbesondere bei schlechten Wetterverhältnissen, wie Schneefall, kann eine vorgegebene Zielspur von dem autonom fahrenden Fahrzeug nicht erkannt werden, da Fahrbahnmarkierungen durch die schneebedeckte Fahrbahn nicht zu erkennen sind. Einer Spedition ist es aber nicht zumutbar, bei schlechten Witterungsverhältnissen ihre Transportlogik ruhen zu lassen.
-
Aufgabe der Erfindung ist es, ein Verfahren anzugeben, bei welchem auch bei schneebedeckter Fahrbahn ein autonomes Fahren von Fahrzeugen jederzeit möglich ist.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
-
Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass das Bild der schneebedeckten Fahrbahn hinsichtlich der Fahrspur mit einem neuronalen Netzwerk ausgewertet wird, wobei das Fahrzeug in der von dem neuronalen Netzwerk ermittelten Fahrspur geführt wird. Dies hat den Vorteil, dass bei Feststellung einer schneebedeckten Fahrbahn ein Sondermodus in dem autonom fahrenden Fahrzeug aktiviert wird, der aus der Fahrbahn eine bereits befahrene Fahrspur ermittelt und darauf die Fahrtrajektorie des Fahrzeuges bestimmt. Mithilfe des neuronalen Netzwerkes lässt sich eine besonders detaillierte Auswertung der schneebedeckten Fahrbahn hinsichtlich vorhergehender Fahrspuren ermitteln.
-
Vorteilhafterweise werden auf dem Bild durch vorhergehende Verkehrsteilnehmer auf der schneebedeckten Fahrbahn mit einer niedergedrückten oder weggefahrenen Schneedecke bedeckte Fahrbahnbereiche erfasst, die durch das neuronale Netzwerk hinsichtlich der Fahrspur ausgewertet werden, wobei das Fahrzeug in diesen Fahrbahnbereichen nachgeführt wird. Somit werden durch das neuronale Netzwerk Fahrbahnbereiche erfasst, wo etwas Schnee schon weggeräumt ist oder wo mitunter teilweise Spurmarkierungen sichtbar sind.
-
In einer Ausgestaltung werden die Fahrbahnbereiche anhand von Reifenspuren oder Reifenrillen von vorhergehenden Fahrzeugen ausgewertet. Diese Auswertung von Reifenspuren bzw. Reifenrillen ermöglicht die Ermittlung einer zuverlässigen Fahrspur des autonom fahrenden Fahrzeuges, da davon auszugehen ist, dass andere Verkehrsteilnehmer diesen Fahrbahnbereich unbeschadet passiert haben.
-
In einer Variante werden die Fahrbahnbereiche durch ein vorausfahrendes Fahrzeug geschaffen, welchem das autonom fahrende Fahrzeug folgt. Dieses dem vorausfahrenden Fahrzeug Folgen erlaubt eine sichere Fahrweise des autonom fahrenden Fahrzeuges bei unangemessenen Witterungsbedingungen.
-
In einer Ausführungsform wird die Fahrtrajektorie des autonom fahrenden Fahrzeuges durch eine kartengestützte Spurzuweisung bestimmt. Damit wird sichergestellt, dass sich die neu ermittelte Fahrspur auch tatsächlich noch auf einer in der Karte ausgewiesenen Straße befindet.
-
Vorteilhafterweise wird das neuronale Netzwerk zur Erkennung der Fahrspur mit einer vorgegebenen Anzahl von Bilderfassungsdaten trainiert. Die Fahrspurerkennung mittels des neuronalen Netzwerkes wird umso genauer je mehr Bilderfassungsdaten in dem neuronalen Netzwerk gespeichert sind.
Eine Weiterbildung der Erfindung betrifft ein autonom fahrendes Fahrzeug, umfassend eine Bilderfassungseinheit zur Erfassung einer Fahrbahn in Fahrtrichtung, welche mit einer Bildauswerteeinheit verbunden ist, die mit einer Recheneinheit zur Bestimmung einer Fahrtrajektorie gekoppelt ist.
-
Damit autonom fahrende Fahrzeuge auch bei schneebedeckter Fahrbahn ihre Fahrspur finden, ist ein neuronales Netzwerk zur Ermittlung einer Fahrspur auf einer schneebedeckten Fahrbahn Bestandteil der Bildauswerteeinheit, welches zur Erkennung der Fahrspur bei einer qualitativ unzureichenden Fahrspurerkennung von einem Entscheidungsmodul aktivierbar ist.
-
Vorteilhafterweise ist das neuronale Netzwerk in einem Semantikmodul der Bildauswerteeinheit gespeichert. Somit werden genaue Fahrspur-charakterisierende Daten von der Bildauswerteeinheit bereitgestellt.
-
In einer Ausführungsform ist die Fahrbahn als mehrspurige Fahrbahn ausgebildet, bei welcher ein autonom fahrendes Nutzfahrzeug fährt. Insbesondere bei der Fahrt von LKWs auf Autobahnen lässt sich das beschriebene Verfahren bevorzugt einsetzen.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigen:
- 1 ein Ausführungsbeispiel des erfindungsgemäßen autonom fahrenden Fahrzeuges,
- 2 ein Ausführungsbeispiel einer Recheneinheit des autonom fahrenden Fahrzeuges gemäß 1,
- 3 ein Ausführungsbeispiel einer Bildverarbeitungseinheit,
- 4 Beispiele für verschneite Fahrbahnsituationen,
- 5 ein Ausführungsbeispiel zum Training eines neuronalen Netzwerkes.
-
In 1 ist ein Ausführungsbeispiel eines autonom fahrenden Fahrzeuges 1 dargestellt. Das autonom fahrende Fahrzeug umfasst eine Kamera 3, welche die Umgebung des Fahrzeuges 1 in dessen Fahrtrichtung aufnimmt. Die Kamera 3 ist mit einer Recheneinheit 5 verbunden, welche mit einer Vielzahl von Sensoren, wie Drehratensensoren 7 , Ultraschall- 9 oder Lidar-Sensoren 11 verbunden ist. Gleichzeitig besteht eine drahtlose Verbindung 13 zu einem GPS-Sender und eine drahtlose Verbindung 15 zu einem Backend-Server. All diese Daten werden an die Recheneinheit 5 ausgegeben.
-
In der Recheneinheit 5 ist eine Bildauswerteeinheit 17 vorhanden, welche die Bilder der Kamera 3 mithilfe eines neuronalen Netzwerkes auswertet. Die Daten der Bildauswerteeinheit 17 werden genauso wie die Sensordaten und die GPS- und Backend-Verbindungen an ein Fusions- und Lokalisationsmodul 19 weitergegeben. Dieses Fusions- und Lokalisationsmodul 19 wertet diese Vielzahl von Daten aus und gibt die bewerteten Daten an ein Trajektorie-Bestimmungsmodul 21 aus, welches die Fahrtrajektorie des Fahrzeuges 1 bestimmt. (2).
-
In 3 ist die Bildauswerteeinheit 17 dargestellt, welche ein Stereomodul 23, ein Semantikmodul 25 und weitere Module 27 umfasst, wobei das neuronale Netzwerk im Semantikmodul 25 abgelegt ist. Mittels dieser Module 23, 25, 27 werden die von der Kamera 3 ausgegebenen Bilder ausgewertet. Die Bildauswerteeinheit 17 übersendet an die Fusions- und Lokalisationsmodule 19 fusionsrelevante Daten.
-
In 4 sind verschiedene Beispiele für eine schneebedeckte Fahrbahn dargestellt, die noch nicht geräumt ist und für welche mithilfe des erfindungsgemäßen Verfahrens eine Fahrspur ermittelt werden soll. Dabei ist mit der Fläche A eine sichere Fahrspur gekennzeichnet, während die Fläche B eine unsichere Fahrspur darstellt.
-
Bei der Fahrt des Fahrzeuges 1 nimmt die Kamera 3 kontinuierlich Bilder von der Umgebung vor dem Fahrzeug 1 auf, wie sie in 4 gezeigt sind. Die Fahrbahnsituation wird in dem Spurselektionsmodul 29 des Trajektorie-Bestimmungsmoduls 21 ausgewertet. Sobald die Spurselektion keine qualitativ ausreichende Spur mehr liefert, aktiviert ein Spezialspurmodul 31 die Daten des neuronalen Netzwerkes zur Auswertung der Bilddaten ( 2). Dies erfolgt insbesondere immer dann, wenn sich das autonom fahrende Fahrzeug 1 auf einer unsicheren Fahrspur B bewegt. Entsprechend der Auswertung wird dann entschieden, ob das Fahrzeug 1 auf dieser Fahrspur weiterbewegt wird oder in eine Fahrspur wechselt, wo die Fahrbahnverhältnisse besser sind. Soll sich das Fahrzeug 1 auf der vorhandenen schneebedeckten Fahrspur weiterbewegen, so werden Fahrbahnbereiche daraufhin untersucht, ob schon Fahrspuren oder weggedrückter Schnee vorhanden ist, was darauf schließen lässt, dass schon andere Fahrzeuge sicher diese Bereiche passiert haben. Ist dies der Fall, so wird die Fahrtrajektorie des Fahrzeuges 1 entsprechend aufbereitet und Signale an die Aktorik 33 des Fahrzeuges 1 ausgegeben, bei welcher insbesondere die Lenkung und die Bremse bzw. ein ESP-System des Fahrzeuges 1 mit neuen Daten versorgt werden. Auch Hupe und Blinkeinrichtungen können dann automatisch betätigt werden.
-
In dem Fall, dass das autonom fahrende Fahrzeug 1 von der schneebedeckten Fahrspur auf eine schneefreie Fahrspur gewechselt ist, wird aber auch die ursprüngliche schneebedeckte Fahrspur weiter gescannt. Ist die Qualität dieser ursprünglichen Fahrspur wieder lange ausreichend hoch, so kann ein Spurwechsel zurück eingeleitet werden.
-
Wenn auch das neuronale Netzwerk der Bildverarbeitungseinheit 17 keine ausreichende Spurqualität mehr liefert, muss das Fahrzeug 1 an einer sicheren Stelle anhalten werden und mit dem Backend-Server Kontakt aufnimmt. Eine autonome Weiterfahrt ist dann bis eine Räumung stattfindet, nicht möglich.
-
In 5 sind Beispiele dargestellt, die zum Training des neuronalen Netzwerkes 35 verwendet werden. Dabei werden mit gelabelten Daten dem neuronalen Netzwerk 35 eine befahrbare Fahrspur und eine schneebedeckte Fahrspur angezeigt.
-
Das beschriebene Verfahren ist nicht nur bei schlechten Witterungsbedingungen, sondem auch bei Sandverwehungen, wie beispielsweise in Wüsten, einsetzbar.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 3
- Kamera
- 5
- Recheneinheit
- 7
- Drehratensensor
- 9
- Ultraschallsensor
- 11
- Lidarsensor
- 13
- drahtlose Verbindung
- 15
- drahtlose Verbindung
- 17
- Bildauswerteeinheit
- 19
- Fusions- und Lokalisationsmodul
- 21
- Trajektorie-Bestimmungsmodul
- 23
- Stereomodul
- 25
- Semantikmodul
- 27
- Modul
- 29
- Spurselektionsmodul
- 31
- Spezialspurmodul
- 33
- Aktorik
- 35
- neuronales Netzwerk
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009050504 A1 [0002]
