-
Nachfolgend werden ein System zur Erkennung einer Richtungsfahrbahn, ein Kraftfahrzeug sowie ein Computerprogrammprodukt hierzu beschrieben.
-
Kraftfahrzeuge sollen ihre Fahrer in Zukunft immer besser unterstützen, z. B. durch Abgabe präziser Fahrhinweise. Außerdem sollen Kraftfahrzeuge in absehbarer Zeit in der Lage sein, automatisiert zu fahren. Zu beiden Zwecken ist es erforderlich, Straßen zutreffend zu klassifizieren, da Fahrempfehlungen bzw. abgeleitete Fahrparameter von der Art der Straße abhängen.
-
Zudem hat sich gezeigt, dass Kartendaten nicht immer aktuell sind, sodass eine rein auf Kartendaten basierende Beurteilung einer Fahrsituation und eine Abgabe eines darauf basierenden Fahrhinweises möglicherweise falsch sein kann, was mögliches Fehlverhalten eines Fahrers zur Folge haben kann. Auch das Verlassen auf externe Dienstleister kann möglicherweise aufgrund der Latenzzeiten bis zur Aktualisierung der Daten zu Fehleinschätzungen führen.
-
Aus der
DE 10 2012 218 362 A1 ist ein Verfahren zum Schätzen eines Straßentyps bekannt, das durch eine elektronische Rechenvorrichtung ausgeführt wird, wobei von auf einer Sensormessung basierenden Umfeld Daten empfangen werden und ein Straßentyp mit Hilfe eines Entscheidungsbaums, basierend auf den Umfelddaten geschätzt wird, wobei der Straßentyp mit Hilfe eines Zustandsautomaten, basierend auf den Umfelddaten geschätzt werden und anschließendes Bilden einer Gesamteinschätzung des Straßentyps, basierend auf der Schätzung mit Hilfe des Entscheidungsbaums und der Schätzung mit Hilfe des Zustandsautomaten.
-
Nachteilig hieran ist, dass die Schätzung rein auf den Umfelddaten basiert.
-
Aufgabe ist es somit, Systeme, Kraftfahrzeuge und Computerprogrammprodukte der eingangs genannten Art dahingehend weiterzubilden, dass die Erkennung einer Richtungsfahrbahn mit höherer Genauigkeit stattfinden kann.
-
Die Aufgabe wird gelöst durch ein System zur Erkennung einer Richtungsfahrbahn gemäß Anspruch 1, ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 9 sowie ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 10. Weiterführende Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Ein hier beschriebenes System zur Erkennung einer Richtungsfahrbahn weist ein neuronales Netzwerk und wenigstens einen Sensor zur Erfassung von Fahrbahninformationen auf, wobei ein Navigationssystem zur Identifikation des Orts der erfassten Informationen vorgesehen ist, wobei des neuronale Netzwerk selbstlernend ausgebildet ist, wobei Daten des wenigstens einen Sensors und des Navigationssystems an das neuronale Netzwerk mittels einer Kommunikationsverbindung übermittelbar sind, wobei das neuronale Netzwerk dazu ausgebildet ist, eine Richtungsfahrbahn anhand der Daten des Sensors und des Navigationssystems zu erkennen.
-
Es wurde gefunden, dass die Erkennungsgenauigkeit zur Erkennung einer Richtungsfahrbahn bei Verwendung von Sensordaten zur Erfassung von Fahrbahninformationen und Navigationssystemdaten in einem neuronalen Netzwerk, das selbstlernend ausgebildet ist, höher ist als bei den bislang bekannten Systemen. Durch die Verwendung eines selbstlernenden neuronalen Netzwerks kann die Erkennungswahrscheinlichkeit im Laufe der Zeit weiter erhöht werden.
-
Die Daten des Navigationssystems können in einen entsprechenden Entscheidungsalgorithmus eine weitere Vergleichsgröße darstellen, die bei der Entscheidung, um welche Art von Richtungsfahrbahn es sich handelt, berücksichtigt werden kann. Außerdem können die Daten des Navigationssystems die Daten mit dem Ort der Aufnahme derselben korrelieren.
-
Gemäß einer ersten weiterführenden Ausgestaltung kann das neuronale Netzwerk in einem Rechenzentrum angeordnet sein, wobei der wenigstens eine Sensor und das Navigationssystem in einem Kraftfahrzeug angeordnet sind. Durch Vorsehen des neuronalen Netzwerks in einem Rechenzentrum kann eine größere Rechenleistung als in einem Kraftfahrzeug vorgehalten werden, was die Erkennungsqualität erhöht und zudem die zugeführte Datenmenge vergrößert, da Daten von vielen Kraftfahrzeugen gleichzeitig im Rechenzentrum verarbeitet werden können. Dies bedingt eine schnellere Verbesserung des Erkennungsalgorithmus.
-
In einer alternativen Ausgestaltung kann das neuronale Netzwerk im Kraftfahrzeug vorgesehen sein oder es können parallele neuronale Netzwerke in einem Rechenzentrum und in einem Kraftfahrzeug vorgesehen sein, wobei das neuronale Netzwerk im Kraftfahrzeug durch das neuronale Netzwerk im Rechenzentrum trainierbar ist. Hierdurch kann ein optimierter Algorithmus, der wenig Rechenleistung erfordert, im Kraftfahrzeug umgesetzt werden, was dann von Vorteil ist, wenn keine Kommunikationsverbindung zwischen Rechenzentrum und Kraftfahrzeug besteht.
-
In einer anderen weiterführenden Ausgestaltung kann dem wenigstens einen Sensor und dem neuronalen Netzwerk eine Recheneinheit zwischengeschaltet sein, wobei die Recheneinheit zur Selektion von an das neuronale Netzwerk zu sendenden Informationen ausgebildet ist. Auf diese Weise kann die erforderliche Bandbreite zur Übermittlung der Daten reduziert werden und es können redundante Daten aussortiert werden. Zudem können unbrauchbare Daten eliminiert werden, z. B. offensichtlich unzuverlässige oder fehlerhafte Daten.
-
In einer anderen weiterführenden Ausgestaltung kann die Recheneinheit mit einem Pufferspeicher ausgestattet sein. In dem Pufferspeicher können entsprechende Daten des Sensors und des Navigationssystems zwischengespeichert werden, bis sie an das neuronale Netzwerk übermittelt werden können. Dies ist hilfreich bei schwachen Bandbreiten, wie sie u. a. bei schlechten oder schwankender Qualität unterliegenden Funkverbindungen bestehen können.
-
In einer anderen weiterführenden Ausgestaltung kann der wenigstens eine Sensor eine Kamera umfassen, wobei die Daten der Kamera Bilder umfassen. Mit Hilfe einer entsprechenden Kamera können Bilder von in Fahrtrichtung vorausliegenden Teilen der Fahrbahn aufgenommen werden, in denen sich Merkmale finden können, die zur Erkennung einer Richtungsfahrbahn herangezogen werden können. Hierzu können Spurerkennungen, Leitplankenerkennungen, Fahrtrichtungen von anderen Verkehrsteilnehmern, Geschwindigkeiten, Abstände zwischen Kraftfahrzeugen und dergleichen zählen. Die Verwendung von Bildern ist hilfreich zur Eingabe einer Vielzahl von möglicherweise relevanten Informationen. So lassen beispielsweise drei oder mehr Fahrspuren auf eine Überlandstrecke schließen. Auch eine Mittelleitplanke kann eine Überlandstraße, zum Beispiel eine Autobahn, nahelegen.
-
Weitere mögliche Sensoren können zum Beispiel Radar-, Lidar- oder Ultraschallsensoren sein.
-
In einer anderen weiterführenden Ausgestaltung kann die Kamera dazu eingerichtet sein, Straßenschilder zu erfassen. Straßenschilder können erkannt und hieraus Informationen über die Fahrbahn abgeleitet werden. Hierzu können Farben, Formen und Inhalte der Straßenschilder analysiert werden. Gewisse Straßenschilder schließen gewisse Fahrbahntypen aus, beispielsweise schließt ein Ortseingangsschild eine Autobahn aus. Andere Straßenschilder weisen eindeutig auf bestimmte Fahrbahntypen hin, beispielsweise in Deutschland blaue Straßenschilder auf eine Autobahn.
-
Die Kamera kann gemäß einer Ausgestaltung dadurch dazu eingerichtet werden, Straßenschilder zu erfassen, dass ihre Ausrichtung und/oder ihr Blickfeld groß genug sind, um typische Straßenschildpositionen (über der Fahrbahn oder rechts der Fahrbahn, oberhalb einer typischen Fahrgastzellenhöhe) zu erfassen. In manchen Ausgestaltungen können mehrere Kameras vorgesehen sein, z. B. eine zur Erfassung von Straßenschildern, eine andere zur Erfassung des Verkehrsgeschehens.
-
In einer anderen weiterführenden Ausgestaltung sind in dem Navigationssystem Straßeninformationen hinterlegt. Diese Straßeninformationen können Informationen über die Richtungsfahrbahn enthalten. Solche Informationen sind in Navigationssystemen häufig hinterlegt, da sie mit erlaubten Höchstgeschwindigkeiten zusammenhängen. Entsprechende Straßeninformationen können dazu dienen, als weitere Vergleichsgröße herangezogen zu werden.
-
Eine andere weiterführende Ausgestaltung sieht vor, dass das Navigationssystem einen Kartenspeicher aufweist, wobei in dem Kartenspeicher Informationen des neuronalen Netzwerks speicherbar sind. Entsprechende Informationen können somit aktueller gehalten werden als Informationen, die bei Auslieferung des Kraftfahrzeugs oder bei sporadischen Aktualisierungen der Kartendaten aufgespielt werden.
-
Ein erster unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einem System der vorgenannten Art.
-
Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von einer Recheneinheit ausführt werden, bewirken, dass die Recheneinheit dazu eingerichtet ist, ein Verfahren zur Erkennung von Richtungsfahrbahnen auszuführen, wobei das Computerprogrammprodukt einen selbstlernenden Algorithmus aufweist, wobei von der Recheneinheit zugeführte Informationen wenigstens eines Sensors und Informationen eines Navigationssystems verarbeitet werden und eine Richtungsfahrbahn erkannt wird. Ein entsprechendes Computerprogrammprodukt kann parallel die Daten eines Sensors sowie Informationen eines Navigationssystems verarbeiten und aus diesen Informationen eine Richtungsfahrbahn erkennen. Dadurch, dass das Computerprogrammprodukt einen selbstlernenden Algorithmus aufweist, kann die Erkennungsrate im Laufe der Zeit gesteigert werden.
-
In einer weiterführenden Ausgestaltung kann vorgesehen sein, dass die Informationen Bilder sind, wobei in den Bildern Straßenschilder, Fahrtrichtungen von anderen Kraftfahrzeugen, Anzahl von Fahrspuren, Mittelstreifen und/oder Leitplanken erkannt werden. All diese Details können zur Ermittlung einer Richtungsfahrbahn sinnvoll sein. Die entsprechenden Details können zum Beispiel in Bildern leicht erkannt werden.
-
In einer weiterführenden Ausgestaltung kann eine zeitliche Abfolge von Bildern verarbeitet werden. Eine solche zeitliche Abfolge von Bildern kann beispielsweise ein Video sein oder eine Abfolge von Einzelaufnahmen mit entsprechendem Zeitstempel. Der Vergleich mehrerer aufeinanderfolgender Bilder in Verbindung mit ihrem zeitlichen Zusammenhang kann sinnvoll sein, um Informationen, wie Geschwindigkeiten anderer Verkehrsteilnehmer, insbesondere Relativgeschwindigkeiten, zu ermitteln.
-
In einer anderen weiterführenden Ausgestaltung kann ein Filteralgorithmus zum Herausfiltern der wichtigsten Informationen der Verarbeitung der Informationen vorgeschaltet sein. Auf diese Weise wird der selbstlernende Algorithmus nicht mit der Verarbeitung von Informationen belastet, die nicht zur Erkennung einer Richtungsfahrbahn beitragen können.
-
Ein anderer weiterführender Gegenstand betrifft ein Verfahren zur Erkennung einer Richtungsfahrbahn, wobei einem neuronalen Netzwerk von einem Sensor zur Erfassung von Fahrbahninformationen sowie von einem Navigationssystem Fahrbahninformationen sowie der Ort der Fahrbahninformationen zugeführt werden, wobei das neuronale Netzwerk dazu ausgebildet ist, anhand der Daten des Sensors und des Navigationssystems eine Richtungsfahrbahn zu erkennen.
-
In einer ersten weiterführenden Ausgestaltung ist das neuronale Netzwerk ein selbstlernendes neuronales Netzwerk, das seine Erkennungsalgorithmen im Laufe der Zeit verbessert.
-
In einer anderen weiterführenden Ausgestaltung kann der wenigstens eine Sensor eine Kamera sein und die Informationen Bildinformationen sein, wobei die Bildinformationen ausgewertet werden.
-
In einer anderen weiterführenden Ausgestaltung kann eine zeitliche Abfolge von Bildern verarbeitet werden.
-
In einer anderen weiterführenden Ausgestaltung kann vorgesehen sein, dass die Informationen gefiltert werden, bevor sie von dem selbstlernenden Algorithmus verarbeitet werden.
-
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:
-
1 ein System zur Erkennung einer Richtungsfahrbahn;
-
2 eine Verkehrssituation sowie
-
3 ein Ablaufdiagramm des Verfahrens.
-
1 zeigt ein System 2 (gestrichelt umrahmt) zur Erkennung einer Richtungsfahrbahn.
-
Das System 2 weist eine in einem Kraftfahrzeug 4 angeordnete Frontkamera 6 auf, die mit einer Recheneinheit 8 verbunden ist. Die Recheneinheit 8 weist einen Speicher 10 zur Speicherung von Daten und einem Computerprogrammprodukt auf. Der Speicher 10 kann als Pufferspeicher bzw. Zwischenspeicher dienen.
-
Des Weiteren ist ein Navigationssystem 12 vorgesehen, das ebenfalls mit der Recheneinheit 8 verbunden ist und Daten an die Recheneinheit 8 übermitteln kann.
-
Das Navigationssystem 12 weist einen Kartenspeicher 13 auf. Der Kartenspeicher 13 speichert Kartendaten und Richtungsfahrbahndaten. Der Kartenspeicher 13 ist in der vorliegenden Ausführungsform beschreibbar, um insbesondere Richtungsfahrbahndaten ergänzen oder aktualisieren zu können.
-
Die Recheneinheit 8 ist des Weiteren mit einem Kommunikationsmodul 14 verbunden. Mittels des Kommunikationsmoduls 14 können Daten mit einem außerhalb des Kraftfahrzeuges 4 Rechenzentrum 20 ausgetauscht werden.
-
Das Rechenzentrum 20 weist ein neuronales Netzwerk 22 auf, das selbstlernend ausgebildet ist. Das Rechenzentrum 20 weist desweiteren ein Kommunikationsmodul 24 auf, über das eine Kommunikationsverbindung mit dem Kommunikationsmodul 14 des Kraftfahrzeugs 4 hergestellt werden kann.
-
Während der Fahrt nimmt das Kraftfahrzeug 4 Bilder mittels der Kamera 6 auf und übermittelt diese an die kraftfahrzeugeigene Recheneinheit 8. Gleichzeitig werden mittels des Navigationssystems 12 Positionsdaten sowie möglicherweise im Navigationssystem 12 hinterlegte Richtungsfahrbahninformationen geladen und mit dem jeweils aufgenommenen Bild oder einer Bildsequenz verknüpft. Auf diese Weise kann eine Zuordnung zwischen dem Bild und dem jeweiligen Aufnahmeort erreicht werden.
-
Die Recheneinheit 8 filtert die Bilddaten nach Brauchbarkeit und selektiert die unwichtigen Bilder aus. Die selektierten Bilder werden mittels einer bestehenden Kommunikationsverbindung an das Rechenzentrum 20 gesendet, wo sie von dem neuronalen Netzwerk 22 verarbeitet werden. Je nach Verbindungsqualität werden die Bilder im Speicher 10 zwischengespeichert. Das neuronale Netzwerk 22 berechnet, um welche Art Richtungsfahrbahn es sich handelt und sendet eine entsprechende Rückmeldung an das Kraftfahrzeug 4.
-
Zusätzlich zu einer Kamera 6 können weitere Sensoren vorhanden sein, beispielsweise Radar, Lidar, Ultraschall oder dergleichen.
-
2 zeigt eine typische Straßensituation, wie sie von der Kamera 6 aufgenommen wird.
-
Das Kraftfahrzeug 4 fährt auf einer Straße 30. Die Straße hat mehrere Spuren 30.1 bis 30.3. Die Spuren sind durch Linien 32.1, 32.2 voneinander getrennt. Zudem befinden sich Fahrbahnbegrenzungslinien 34.1 und 34.2 im Blickfeld.
-
Am Straßenrand können ein oder mehrere Schilder 36 vorgesehen sein. Zudem ist ein weiteres in dieselbe Richtung fahrendes Kraftfahrzeug 38 zu sehen.
-
Das neuronale Netzwerk 22 kann diese Informationen aus dem aufgenommenen Bild verarbeiten und hieraus Rückschlüsse über die Art der Richtungsfahrbahn ziehen. Insbesondere entsprechende Schilder können einen Hinweis darauf geben, um welche Art von Fahrbahn es sich handelt. Dies kann durch Form und Farbe sowie Inhalt vorgegeben sein. Auch die Relativgeschwindigkeit des Kraftfahrzeugs 38 kann Rückschlüsse darauf zulassen, um welche Fahrbahn es sich handelt.
-
3 zeigt ein Ablaufdiagramm des Verfahrens.
-
In einem ersten Schritt wird ein Bild mit der Frontkamera 6 aufgenommen. Parallel dazu wird die Position des Kraftfahrzeugs 4 mittels des Navigationssystems 12 erfasst.
-
Die Daten werden in einem nächsten Schritt von der Recheneinheit 10 zusammengeführt und gefiltert.
-
Anschließend werden die Daten an ein Rechenzentrum 20 übermittelt. Das Rechenzentrum 20 berechnet mit Hilfe des selbstlernenden neuronalen Netzwerks 22, um welche Art Fahrbahn es sich handelt.
-
In einem weiteren Schritt wird das Ergebnis der Berechnung zurück an das Kraftfahrzeug 4 übermittelt.
-
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 2
- System
- 4
- Kraftfahrzeug
- 6
- Kamera
- 8
- Recheneinheit
- 10
- Speicher
- 12
- Navigationssystem
- 13
- Kartenspeicher
- 14
- Kommunikationsmodul
- 20
- Rechenzentrum
- 22
- neuronales Netzwerk
- 24
- Kommunikationsmodul
- 30
- Straße
- 30.1–30.3
- Spuren
- 32.1, 32.2
- Linien
- 34.1, 34.2
- Fahrbahnbegrenzungslinien
- 36
- Schilder
- 38
- Kraftfahrzeug
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012218362 A1 [0004]
