-
Die Erfindung betrifft ein Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug.
-
Im Kontext von autonomem Fahren ist es erforderlich, das Handeln des eigenen Fahrzeugs und der weiteren Verkehrsteilnehmer genau zu bestimmen und/oder vorherzusagen. Zur Wahrnehmung ihrer Umgebung sind autonome Fahrzeuge mit einer Vielzahl unterschiedlicher Sensoren, wie zum Beispiel LIDAR, Ultraschallsensoren, Radar oder Kameras ausgestattet. Durch die Fusion der genannten Sensoren kann ein sogenanntes Umfeldmodell erstellt werden, das die erkannten Objekte (Personen, Autos, Straße, Schilder, etc.) und deren Standort im Bezug zum eigenen Fahrzeug erfasst. So können beispielsweise die Daten eines Radarsystems mit denen eines visuellen Kamerasystems kombiniert werden um zuverlässiger Verkehrsteilnehmer bei verschiedenen Wetterverhältnissen zu erkennen. Gleichzeitig kann über visuelle Spurenerkennung der Straßenverlauf erfasst werden. Darüber hinaus kann das Umfeldmodell Information hinsichtlich einer Straßeninformation oder auch des Wetters umfassen.
-
Das Umfeldmodell wird kontinuierlich mit den neuesten Sensordetektionen aktualisiert. Dadurch wird ermöglicht, dass aus der zeitlichen Veränderung der Positionen der Verkehrsteilnehmer deren Verhalten zumindest teilweise abgeleitet werden kann.
-
Durch die Vielzahl der verbauten Sensoren und der Komplexität des Fahrzeugumfelds wird es immer schwieriger das Verhalten mit regelbasierten Ansätzen zu ermitteln. Stattdessen werden immer häufiger Verfahren der künstlichen Intelligenz (KI) bzw. des maschinellen Lernens (ML) eingesetzt.
-
Die eingesetzten KI Algorithmen, insbesondere neuronale Netze, sind mathematische Modelle deren Parameter gelernt werden müssen. Neuronale Netze zählen dabei zu den Methoden des überwachten Lernens. Das bedeutet, dass zum Lernen der Parameter nicht nur alle relevanten Daten aus dem Umfeldmodell vorgegeben werden müssen, sondern diese Daten darüber hinaus auch mit Informationen über das vorliegende Verhalten (die Grundwahrheit) anderer Verkehrsteilnehmer angereichert werden müssen, welche nicht direkt aus dem Umfeldmodell bezogen werden können. Ein Datensatz kann so zum Beispiel Kamerabilder umfassen, welche ein vorausfahrendes Fahrzeug sechs Sekunden lang abbilden. Darüber hinaus kann ein Trainingsdatensatz aber auch eine mit den Kamerabildern assoziierte Handlung speichern. Zum Beispiel kann der Trainingssatz angeben, dass ein vorausfahrendes Fahrzeug über die gezeigten sechs Sekunden einen Spurwechsel ausführt.
-
Zum Trainieren eines Algorithmus der künstlichen Intelligenz sind in der Regel eine sehr große Anzahl von Trainingsdatensätzen notwendig. Das Erzeugen dieser Trainingsdatensätze ist sehr aufwändig. Ein gängiges Verfahren ist, die Trainingsdaten manuell mit der Grundwahrheit anzureichern, das heißt die Daten werden von Experten manuell annotiert („gelabelt“). Aufgrund der hohen Datenmenge ist dieser Prozess langwierig und teuer.
-
Eine weitere Möglichkeit gelabelte Trainingsdaten zu erzeugen besteht darin, Daten vollautomatisch zu annotieren. Dabei können feste Regeln definiert werden, bei deren Erfüllung eine bestimmte Aktion als ausgeführt gilt. Zum Beispiel kann bei einem Spurwechsel eines Fahrzeugs fest definiert werden, dass ein Spurwechsel als erfolgt gilt, wenn der Abstand eines Fahrzeugreferenzpunkts zu einem Spurzentrum einen bestimmten Wert annimmt.
-
Die Position des Fahrzeugs im Bezug zu seinem Spurzentrum kann aus dem Umfeldmodell aus der Position des Fahrzeugs und der Position der erkannten Spur abgeleitet werden. Ein Problem bei letztgenannten Verfahren besteht darin, dass es durch Sensorungenauigkeiten zu einer Oszillation in der Spurzugehörigkeit kommen kann. So kann ein einzelner Spurwechsel eines Fahrzeugs wegen Sensorungenauigkeiten dazu führen, dass das System statt eines Spurwechsels mehrere, zum Beispiel drei, Spurwechsel erkennt. Solche Ergebnisse sind nicht zufriedenstellend, da die Algorithmen des maschinellen Lernens mit fehlerhaften Trainingsdaten keine zufriedenstellenden Ergebnisse liefern.
-
Es ist daher Aufgabe der vorliegenden Erfindung ein Verfahren zum Bestimmen eines Spurwechsels anzugeben, welches die vorstehend genannten Nachteile adressiert. Es ist ferner Aufgabe der Erfindung ein Verfahren anzugeben, das ein automatisches Annotieren von Trainingsdaten ermöglicht. Darüber hinaus soll ein Verfahren angegeben werden, welches möglichst ohne menschliche Interaktion auskommt. Es ist ferner Aufgabe der Erfindung, ein entsprechendes computerlesbares Speichermedium sowie ein Fahrzeug anzugeben.
-
Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1, ein computerlesbares Speichermedium nach Anspruch 13 und durch ein Fahrzeug nach Anspruch 14.
-
Insbesondere wird die Aufgabe gelöst durch ein Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, bevorzugt eines PKWs, folgende Schritte aufweisend:
- - Laden eines Spurwechselmodells und von Positionsdaten des Fahrzeugs, wobei die Positionsdaten eine Entfernung des Fahrzeugs zu einem Spurzentrum einer Spur angeben;
- - Bestimmen einer Spurwechselangabe, wobei das Bestimmen unter Verwendung der Positionsdaten und des Spurwechselmodells ausgeführt wird.
-
Ein Kern der Erfindung ist, dass das Bestimmen der Spurwechselangabe unter Verwendung von Positionsdaten und eines Spurwechselmodells ausgeführt wird. Dadurch, dass mehrere Informationsquellen genutzt werden, kann die Genauigkeit der Spurwechselangabe erhöht werden. Darüber hinaus erlaubt das beschriebene Verfahren eine Ausführung auf einem Server sowie auf einem Fahrzeug selbst. Die Positionsdaten können sich auf das eigene Fahrzeug oder auf ein sich in der Umgebung befindliches Fahrzeug beziehen.
-
Das Spurzentrum kann durch visuelle Verfahren bestimmt werden, zum Beispiel durch das Bestimmen von zwei äußeren Fahrbahnmarkierungen, so dass die Mitte bestimmt werden kann. Es ist ferner möglich, dass das Spurzentrum explizit in den Positionsdaten angegeben ist. Die Entfernung kann in Zentimetern, Millimetern oder Metern angegeben sein.
-
Zur Bestimmung der Entfernung des Fahrzeugs zu einem Spurzentrum kann für das Fahrzeug ein Fahrzeugreferenzpunkt definiert werden. Beispielsweise kann der geometrische Mittelpunkt des Fahrzeugs als Fahrzeugreferenzpunkt herangezogen werden. Es ist ferner möglich, den Fahrzeugreferenzpunkt an die Anordnung eines Sensors im Fahrzeug zu koppeln, so dass das durch den Sensor aufgespannte Koordinatensystem auch zur Bestimmung der Entfernung herangezogen wird. In einer Ausführungsform können die Positionsdaten mindestens zwei Datenpunkte umfassen, wobei jeder Datenpunkte die Entfernung eines Fahrzeugreferenzpunktes des Fahrzeugs zu einem Spurzentrum einer Fahrbahn zu einem bestimmten Zeitpunkt angeben kann.
-
Es ist von Vorteil, wenn eine zeitliche Entwicklung der Abstände des Fahrzeugreferenzpunkts zu dem Spurzentrum in den Positionsdaten abgebildet wird. Damit kann verhindert werden, dass ein einmaliges oder kurzzeitiges Wechseln der Spur bereits als ein dauerhafter Spurwechsel erkannt wird. Somit wird ein Oszillieren der Spurzuordnung wirksam verhindert.
-
In einer Ausführungsform kann das Bestimmen ein Detektieren einer Unstetigkeitsstelle, insbesondere eines Vorzeichenwechsels, in den Positionsdaten umfassen.
-
Eine besonders einfache Implementierung ergibt sich, wenn lediglich ein Vorzeichenwechsel in den Abständen detektiert werden muss. Da die Positionsdaten einen Abstand zu einem Spurzentrum angeben können, kommt es bei einem Wechsel der Spur zu einem Wechsel des Vorzeichens, da sich die Referenzspur ändert und die Position zum Spurzentrum eine vorzeichenbehaftete Distanz ist. Daher findet der Vorzeichenwechsel genau dann statt, wenn das Fahrzeug über eine Fahrbahnmarkierung auf eine andere Spur wechselt. Zusätzlich zu dem Vorzeichenwechsel kommt es zu einem Sprung im Abstandswert, der als Unstetigkeitsstelle in Erscheinung tritt. Das liegt daran, dass der Abstandswert abrupt von einem hohen positiven Wert auf einen hohen negativen Wert (bzw. von einem hohen negativen Wert auf einen hohen positiven Wert) springt.
-
In einer Ausführungsform kann das Spurwechselmodell als ein Convolutional Neural Network (CNN) ausgebildet sein.
-
Ein CNN ist besonders gut geeignet zeitvariable Daten zu analysieren bzw. zu klassifizieren. Somit ist eine besonders effiziente und hochgenaue Implementierung gegeben. Darüber hinaus ist es möglich, dass zusätzlich zu dem Detektieren einer Unstetigkeitsstelle bzw. eines Vorzeichenwechsels ein komplexes Muster erkannt wird, welches einen Spurwechsel anzeigt. Somit wird die Oszillationsanfälligkeit der Spurzuordnung weiter verringert. Außerdem wird die Genauigkeit der Klassifikation erhöht. Darüber hinaus lassen sich CNN kompakt speichern, sodass wenig Speicherplatz verwendet wird.
-
In einer Ausführungsform kann das Verfahren ein Berechnen einer zweidimensionalen Projektion unter Verwendung eines Umfeldmodells umfassen, wobei das Bestimmen unter Berücksichtigung des Umfeldmodells und/oder der zweidimensionalen Projektion ausgeführt werden kann.
-
In einer Ausführungsform kann eine/die zweidimensionale Projektion unter Verwendung eines durch Bilddaten und/oder Kameradaten angegebenen Bildausschnitts berechnet sein.
-
Durch das Umfeldmodell kann eine Darstellung des Fahrzeugs und seiner Umgebung angegeben sein. In der beschriebenen Ausführungsform unter Verwendung von Bilddaten und/oder Kameradaten eine zweidimensionale Projektion berechnet bzw. bestimmt werden, z.B. als Bildausschnitt der Kameradaten. Es ist von Vorteil, bei der Bestimmung eine zweidimensionale Projektion zu verwenden, da so die zu verarbeitende Datenmenge im Vergleich zu allen Daten des Umfeldmodells, reduziert wird.
-
In einer Ausführungsform kann die zweidimensionale Projektion durch den/einen Bildausschnitt einer auf das Fahrzeug bezogenen Rückansicht oder Vorderansicht gebildet sein.
-
Die zweidimensionale Projektion kann derart berechnet sein, dass sie das Heck oder die Front des Fahrzeugs zusammen mit der Fahrbahn zeigt. In einer Ausführungsform kann die zweidimensionale Projektion zumindest teilweise eine Fahrbahnmarkierung und das Fahrzeug angeben.
-
In den beschriebenen Ausführungsformen wird die zweidimensionale Projektion genau so gewählt, dass die Abschnitte des Umfeldmodells erfasst werden, die zum Bestimmen einer Spurwechselangabe vorteilhaft sind. So erlaubt es das Verwenden einer Rückansicht oder einer Vorderansicht, das Fahrzeug zusammen mit der Fahrbahn bzw. der aktuellen Spur abzubilden. Somit wird die Menge der zu verarbeitenden Daten reduziert und eine schnelle Verarbeitung gewährleistet.
-
In einer Ausführungsform kann das Umfeldmodell durch Kameradaten, Abstandssensordaten, ein Straßenmodell und/oder Kartendaten gebildet sein, insbesondere mittels Sensorfusion.
-
Das Umfeldmodell kann eine Vielzahl unterschiedlicher Daten umfassen. Insbesondere jedoch Kameradaten, die von den an dem Fahrzeug angeordneten Kameras erfasst wurden. Dazu haben Fahrzeuge üblicherweise Kameras, die die Umgebung des Fahrzeugs aufnehmen. Diese Daten können mittels Sensorfusion zusammengefasst werden, so dass eine dreidimensionale Darstellung der Umgebung erzeugt werden kann. Unter einer Kamera kann im Rahmen dieser Anmeldung eine Kamera mit CCD Sensor, CMOS (auch APS)-Sensor verstanden werden. Kameras können Kameras für sichtbares Licht oder auch Infrarotkameras umfassen.
-
Darüber hinaus können die Daten mit Sensorabstandsdaten angereichert werden. So können auch die Abstände zu benachbarten Objekten genau wiedergegeben werden. Sensorabstandsdaten können z.B. durch Ultraschallsensoren, Lidar- oder Radarsensoren bereitgestellt werden, die in der Außenhaut eines Fahrzeugs angeordnet sein können.
-
Letztendlich ist es ferner möglich, Kartendaten zu verwenden, um das Umfeldmodell anzureichern. So umfassen Kartendaten die Anordnung von Gebäuden oder Straßenbreiten. Somit kann ein hochgenaues Modell der Umwelt eines Fahrzeugs erzeugt werden. Dies ist besonders im Hinblick auf das autonome Fahren von großer Bedeutung. Durch das Verwenden unterschiedlicher Sensordaten, die von unterschiedlichsten Sensoren geliefert werden, wird die Genauigkeit des Umfeldmodells erhöht. Im Umkehrschluss bedeutet dies, dass auch die Bestimmung der Spurwechselangabe genauer durchgeführt werden kann.
-
In einer Ausführungsform kann ein/das Straßenmodell mindestens eine Angabe zu einem Straßenbelag, einem Rollwiderstand und/oder einer Anzahl von Spuren einer Fahrbahn umfassen.
-
Das Straßenmodell kann die Eigenschaften einer Straße angeben.
Von besonderem Interesse für die vorliegende Erfindung ist die Anzahl von Spuren, die eine Fahrbahn aufweist. So kann in dem Straßenmodell an jeder geographischen Position die Anzahl der dort vorliegenden Spuren gespeichert sein. Das Verwenden eines Straßenmodells zur Bestimmung einer Spurwechselangabe, die einen Spurwechsels angibt, erhöht weiterhin die Genauigkeit der Spurwechselerkennung.
-
In einer Ausführungsform können die Positionsdaten eine Eingabe für ein/das Spurwechselmodell bilden, wobei die Spurwechselangabe angeben kann, ob das Fahrzeug einen Spurwechsel ausführt, ausführen wird und/oder ausgeführt hat.
-
In einer Ausführungsform kann das Spurwechselmodell als eine Funktion implementiert sein, die in Abhängigkeit der Positionsdaten eine binäre Entscheidung treffen kann, ob das Fahrzeug einen Spurwechsel ausführt, ihn ausführen wird und/oder ausgeführt hat. Insbesondere ist von Vorteil, wenn nicht bloß ein ausgeführter Spurwechsel erkannt wird, sondern auch die Intention, einen Spurwechsel auszuführen. Damit wird die Reaktionsgeschwindigkeit des Spurwechselmodells weiter erhöht.
-
In einer Ausführungsform kann das Verfahren ein Anlernen eines Klassifikators umfassen, insbesondere eines neuronalen Netzes, unter Verwendung einer Vielzahl von Spurwechselangaben.
-
Es ist also auch möglich, die durch das Verfahren bestimmten Spurwechselangaben zu verwenden, um einen weiteren Klassifikator zu trainieren, der im Fahrzeug während des Betriebs zur Erkennung eines Spurwechsels eingesetzt wird. Dieser Klassifikator kann die Bestimmung einer Spurwechselangabe unter Verwendung von vom Fahrzeug aufgezeichneten Daten ausführen. Somit entfällt ein aufwändiges Annotieren von Trainingsdaten. Dieser Prozess kann wie gezeigt vollautomatisch ausgeführt werden. Dadurch kann einerseits eine deutlich höhere Geschwindigkeit in der Erstellung eines solchen Klassifikators erzielt werden und die Kosten können gesenkt werden. Bei dem Klassifikator kann es sich ebenfalls um ein neuronales Netz handeln, vorzugsweise um ein Convolutional Neural Network (CNN).
-
Die Aufgabe wird ferner insbesondere durch ein computerlesbares Speichermedium gelöst, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren wie es vorstehend beschrieben wurde, zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
-
Es ergeben sich ähnliche oder identische Vorteile, wie sie mit dem vorstehenden Verfahren beschrieben wurden.
-
Die Aufgabe wird ferner gelöst durch ein Fahrzeug, umfassend:
- - ein computerlesbares Speichermedium, wie vorstehend beschrieben;
- - eine Fahrzeugrecheneinrichtung, die dazu ausgebildet ist, auf dem Speichermedium gespeicherte Instruktionen auszuführen.
-
Es ist also möglich, dass das vorstehend beschriebene Verfahren in einem Fahrzeug ausgeführt wird. Dadurch entfällt eine Bearbeitung der Daten in einem Rechenzentrum bzw. auf einem Server. Dadurch wird eine Übertragung der Daten überflüssig. In einer weiteren Ausführungsform kann das Fahrzeug eine Fahrzeugkommunikationseinrichtung zur Übertragung von Positionsdaten an einen Server umfassen, wobei der Server die Schritte zum Bestimmen einer Spurwechselangabe ausführt. Insbesondere kann auf dem Server das Anlernen eines Klassifikators ausgeführt werden.
-
Die Aufgabe wird insbesondere gelöst durch ein Fahrzeug, insbesondere ein autonom fahrendes Fahrzeug, umfassend mindestens eine Recheneinrichtung, die dazu ausgebildet ist, das Fahrzeug zumindest teilweise unter Verwendung einer Logik, insbesondere unter Verwendung eines Klassifikators, bevorzugt eines neuronalen Netzes, zu steuern, die unter Verwendung einer Vielzahl von Spurwechselangaben erzeugt, insbesondere angelernt, ist, wobei die Vielzahl von Spurwechselangaben nach einem der vorstehend beschriebenen Verfahren bestimmt ist.
-
Ein Fahrzeug kann daher eine Logik verwenden, um im Betrieb das Spurwechselverhalten von anderen Verkehrsteilnehmer zu bestimmen. Somit wird die Sicherheit im Verkehr erhöht. Ferner wird das Steuern des Fahrzeugs sicherer bzw. die Verlässlichkeit wird erhöht.
-
Im Folgenden wird die Erfindung anhand von Figuren näher erläutert.
-
Dabei zeigt
- 1a eine schematische Darstellung eines Fahrzeugs, welches einen Spurwechsel ausführt;
- 1b einen Graphen von Entfernungsdaten des Fahrzeugs der 1a;
- 2 einen Graphen, der eine Unstetigkeitsstelle aufweist;
- 3 eine schematische Darstellung der zweidimensionalen Projektion eines Umfeldmodells;
- 4 eine schematische Darstellung der Verarbeitung einer zweidimensionalen Projektion durch ein Convolutional Neural Network (CNN);
- 5 eine schematische Darstellung der Verarbeitung einer zweidimensionalen Projektion und von Positionsdaten durch einen Algorithmus; und
- 6 eine schematische Darstellung eines Fahrzeugs und eines Servers.
-
Im Folgenden werden für gleiche oder gleichwirkende Teile dieselben Bezugsziffern verwendet.
-
Die 1a zeigt in einer schematischen Darstellung ein Fahrzeug, welches einen Spurwechsel ausführt. Dabei zeigt die 1a eine Fahrbahn 2, die zwei Spuren 3, 3' aufweist. In die Spuren 3, 3' sind jeweils Fahrbahnzentren 4, 4' eingezeichnet. Die 1a zeigt von unten nach oben den zeitlichen Ablauf eines Spurwechsels, der durch das in der 1a gezeigte Fahrzeugs 1 ausgeführt wird. Im unteren Bereich der 1a befindet sich das Fahrzeug 1 auf der linken Spur 3 der Fahrbahn 2. Der Abstand des Fahrzeugs 1 zum Spurzentrum 3 beträgt zu Anfang des Spurwechsels 0 Meter. Hinsichtlich des Fahrzeugs 1 ist zur Bestimmung des Abstands D ein Fahrzeugreferenzpunkt definiert. Im gezeigten Ausführungsbeispiel wird als Fahrzeugreferenzpunkt der geometrische Mittelpunkt des Fahrzeugs 1 angenommen. Dabei wird zur Bestimmung des Abstands des Fahrzeugreferenzpunktes des Fahrzeugs 1 zu dem Spurzentrum 3 die kürzeste Verbindung gemessen, das heißt die Länge der Verbindung, die senkrecht von dem Spurzentrum 4 zu dem Fahrzeugreferenzpunkt verläuft.
-
Beim Durchführen eines Spurwechsels von der linken Spur 3 zu der rechten Spur 3', wird der Abstand D von dem Spurzentrum 4 zu dem Fahrzeugreferenzpunkt solange größer, bis das Fahrzeug 1 die zwischen den Spuren 3, 3' angeordnete Fahrbahnmarkierung 5 überschreitet. Entscheidend ist, dass der Abstand D zu dem Spurzentrum 4, 4' gemessen wird, auf dem sich das Fahrzeug 1 zurzeit befindet. Die Informationen, auf welcher Spur, 3, 3' sich das Fahrzeug 1 zurzeit befindet, kann durch ein Umfeldmodell des Fahrzeugs 1 bestimmt werden. Wird jedoch nur das Umfeldmodell berücksichtigt, kann es zu Fehlern kommen.
-
In dem Moment, in dem das Fahrzeug 1 über die Fahrbahnmarkierung 5 fährt, kommt es zu einem Vorzeichenwechsel des Abstands D zum Spurzentrum 4, 4' der aktuellen Spur des Fahrzeugs 1. Im gezeigten Ausführungsbeispiel der 1a wird angenommen, dass der auf der linken Spur 3 eingezeichnete Abstand D positiv ist. Der Abstand D', den das Fahrzeug in der rechten Spur 3' aufweist, wird als negativ angenommen. Dieses Verhalten ist in der 1b noch einmal dargestellt. Zum Bestimmen, ob ein Spurwechsel vorliegt, kann somit bei Betrachtung des Graphen der 1b geprüft werden, ob ein Vorzeichenwechsel stattfindet. Darüber hinaus ist es möglich, festzustellen, ob eine Unstetigkeitsstelle vorherrscht.
-
Im Ausführungsbeispiel der 1b weist das Fahrzeug zum Zeitpunkt t0 einen positiven Abstand D zum Spurzentrum 4 der linken Spur 3 auf. Zum Zeitpunkt t1 passiert das Fahrzeug 1 die Fahrbahnmarkierung 5, so dass der Abstand D' zum Spurzentrum 4' negativ ist. Dies ist in der 1b durch den Sprung zum Zeitpunkt t1 dargestellt.
-
Bei der ausschließlichen Verwendung der Spurdaten des Umfeldmodells kann es bei der Bestimmung, ob ein Spurwechsel vorliegt, zu vielen Fehlern bei der Erkennung der Spurwechsel kommen. Diese Problematik ist in der 2 dargestellt.
-
Die 2 zeigt einen Graphen, der jenem der 1b entspricht. Dabei kommt es zum Zeitpunkt t0 zu einem Sprung von der Distanzkurve 6. Ein einfaches nur auf einem Vorzeichenwechsel basierendes Verfahren würde an dieser Stelle einen Spurwechsel detektieren. Wie die 2 zeigt, ist der Sprung an der Unstetigkeitsstelle 8 jedoch einer Messungenauigkeit geschuldet und die Distanzkurve gibt zum Zeitpunkt t2 wieder einen positiven Wert für den Abstand D an. Somit würde ein regelbasiertes System insgesamt drei Spurwechsel detektieren, obwohl nur ein Spurwechsel tatsächlich stattgefunden hat. Diese Problematik wird auch als Oszillation bezeichnet.
-
Die vorliegende Erfindung erkennt bei dem in der 2 gezeigten Verhalten lediglich einen einzigen Spurwechsel.
-
Die 3 zeigt, wie die Daten eines Umfeldmodells 10 zur Bestimmung des Spurwechsels zusammen mit Bilddaten nutzbar gemacht werden können. Das Umfeldmodell 10, in der 3 auf der rechten Seite gezeigt, umfasst Informationen hinsichtlich eines Fahrzeugmodells 11 und einer Straße. Insbesondere umfasst das Umfeldmodell 10 Informationen hinsichtlich des Fahrzeugmodells 11 und seiner geographischen Anordnung in Spurmodellen 13, 13'.
-
Die Bildebene 20 zeigt Bilddaten. In dem Ausführungsbeispiel erzeugt eine Kamera des Fahrzeugs 1 Bilddaten, die die Straße und vorrausfahrende oder folgende Fahrzeuge abbilden. Somit stehen das Umfeldmodell 10 und die Bilddaten zur Bestimmung eines Spurwechsels zur Verfügung. Die Bilddaten können derart reduziert werden, dass nur ein Bildausschnitt weiter behandelt wird, der die Rückansicht eines vorrausfahrenden Fahrzeugs zeigt oder die Vorderansicht eines folgenden Fahrzeugs. Unter Verwendung eines Klassifikators, z.B. eines künstlichen neuronalen Netzwerks wie eines CNN, kann der Spurwechsel erkannt werden. Besonders gute Ergebnisse werden erzielt, wenn die Daten des Umfeldmodells 10 und die Bilddaten als Eingabeparameter dienen für den Klassifikator dienen.
-
Im Ausführungsbeispiel der 3 ist die in dem Fahrzeug 1 derart angeordnet, dass die Bildebene 20 das vorausfahrende Fahrzeug 22 und einen Abschnitt der Straße zeigen.. Darüber hinaus zeigen die Bilddaten die Fahrbahnmarkierung 25 und Spuren 23, 23'. Darüber hinaus sind ferner die Spurzentren 24, 24' eingezeichnet. Für die weitere Verwendung wird nun aus der Bildebene 20 ein Bildausschnitt bzw. eine Bounding-Box 21 gewählt, die das Fahrzeug 22 umfasst sowie einen Teil der Spur 23.
-
Die Bounding-Box 21 umfasst ferner einen Teil der Fahrbahnmarkierung 25. Es ist somit möglich, da angenommen wird, dass die Dimensionen bzw. Abmessungen des Fahrzeugmodells 22 bekannt sind, einen Abstand des Fahrzeugs bzw. eines Fahrzeugreferenzpunktes zu der Fahrbahnmarkierung zu bestimmen. Darüber hinaus ist es möglich zu bestimmen, auf welcher Seite einer Fahrbahnmarkierung sich das Fahrzeug 22 befindet.
-
Die 4 zeigt exemplarisch, wie der Inhalt der Bounding-Box, das heißt der Bildausschnitt der Bildebene 20 durch ein Convolutional Neural Network (CNN) verarbeitet werden kann. Das Convolutional Neural Network 30 der 4 umfasst fünf Schichten 33, 35, 37, 38, 39. Das Eingabebild 31 entspricht der Bounding-Box 21 der 3. Da es sich bei dem Modell 30 um ein Convolutional Neural Network handelt, wird eine Vielzahl sogenannter Kernel verwendet, um das Eingabebild 31 zu verarbeiten. Insbesondere scannt jeder Kernel über die Pixel des Eingabebilds 31 in einer sequenziellen Art und Weise. Zum Beispiel von links oben nach unten rechts. Ein Parameter, der sogenannte „Stride“ gibt an, um wie viele Pixel jeder Kernel bei jeder Bewegung verschoben werden soll.
-
Darüber hinaus gibt die Kernelgröße an, wie groß der Teil des Eingabebildes 31 ist, der verarbeitet werden soll. Somit wird in Abhängigkeit von der Größe des Eingabebilds 31, der Kernelgröße und es Strides die Größe der ersten Merkmalskarten 33 (feature maps) bestimmt. Jede Merkmalskarte entspricht dabei einem Merkmalsdetektor. Zum Beispiel kann eine erste Merkmalskarte dazu ausgebildet sein, Ecken oder Kanten zu erkennen. Die erste Merkmalskarte könnte somit eine Karte von Ecken in dem Eingabebild 31 darstellen. Eine zweite Merkmalskarte könnte Kanten angeben.
-
In der nächsten Schicht des Convolutional Neural Networks 30, sind eine zweite Schicht von zweiten Merkmalskarten 35 angeordnet, die durch Subsampling 34 erzeugt werden. In dieser Schicht werden die ersten Merkmalskarten 33 auf zweite Merkmalskarten 35 reduziert. Es entsteht somit eine kompaktere Darstellung. Ein Vorteil ist, dass somit die Größe des Convolutional Neural Network 30 reduziert wird. Dadurch wird das Training vereinfacht und die Vorhersagegeschwindigkeit erhöht.
-
Aus den vier zweiten Merkmalskarten 35 wird durch eine Faltungsoperation 36 (convolution) eine Menge dritter Merkmalskarten 37 erzeugt, wie dies bereits für die erste Merkmalskarte 33 beschrieben wurde. Das Resultat der dritten Merkmalskarten 37 wird als Eingabe eines sogenannten Feed Forward Neural Networks verwendet. Dieses Feed Forward Neural Network ist ein vollständig verbundenes Netz, welches zwei Schichten 38 und 39 umfasst.
-
Die Ausgabeschicht 39 kann eine sogenannte Softmax-Schicht sein, die es ermöglichen jedes Eingabebild 31 in eine von mehreren Klassen einzuteilen.
In dem Ausführungsbeispiel der 4 wird als Ausgabe der Ausgabeschicht 39 eine Spurwechselangabe 40 erzeugt, die angibt, ob auf dem Eingabebild 31 ein Spurwechsel erkennbar ist. In einer Ausführungsform ist somit vorgesehen, dass nur zwei Klassen verwendet werden.
-
Die 5 zeigt ein weiteres Ausführungsbeispiel der Erfindung. Bei dem Ausführungsbeispiel der 5 wird neben dem Eingabebild 21 bzw. 31 zusätzlich das Umfeldmodell 10 als Eingabe in das Convolutional Neural Network verwendet. Das Umfeldmodell 10 kann dabei insbesondere ein Straßenmodell umfassen, so dass zusätzliche Informationen über den Belag oder einen Rollwiderstand bei der Bestimmung einer Spurwechselangabe 40 berücksichtigt werden können. Darüber hinaus kann auch ein über das Umfeldmodell 10 generierter Spurindex berücksichtigt werden.
-
Ein Spurindex kann angeben, in welcher Spur sich ein Fahrzeug 1 bzw. Fahrzeugmodell 11 befindet. Dabei wird zur Bestimmung des Spurindexes jedoch lediglich auf Informationen zurückgegriffen, die durch das Umfeldmodell 10 unmittelbar angegeben werden. Darüber hinaus können weitere Fahrzeugdaten, wie Geschwindigkeit, Querbeschleunigung oder Vorwärtsbeschleunigung berücksichtigt werden.
-
Die 5 zeigt demnach ein Ausführungsbeispiel, welches auf eine große Anzahl von Informationen zurückgreifen kann, um so eine genaue Spurwechselangabe 40 zu bestimmen. Die Bestimmung der Spurwechselangabe 40 erfolgt durch ein Convolutional Neural Network, wie es im Hinblick auf die 4 detailliert beschrieben wurde.
-
Die 6 zeigt ein weiteres Ausführungsbeispiel, bei der ein Fahrzeug 50 über eine Fahrzeugkommunikationseinrichtung 54 mit einem Server 60 bzw. einer Serverkommunikationseinrichtung 61 kommunikativ verbunden ist. Das Fahrzeug 50 umfasst neben der Fahrzeugkommunikationseinrichtung 54 ein Perzeptionssystem 53, zum Beispiel ein Stereokamerasystem oder andere Kameras. Darüber hinaus ist eine Speichereinrichtung 52 und eine Klassifikationseinrichtung 51 vorgesehen. Das Fahrzeug 50 kann in einem Ausführungsbeispiel als Testfahrzeug eingesetzt werden, welches Daten sammelt und diese an den Server 60 überträgt. Das bedeutet, dass die Klassifizierung bzw. das Annotieren der durch das Fahrzeug 50 bereitgestellten Daten auf dem Server 60 durch die dargestellte Serverrecheneinrichtung 62 ausgeführt wird. Die annotierten Daten können auf dem Server 60 in der Serverspeichereinrichtung 62 abgespeichert werden. Unter Verwendung der annotierten Daten, kann der Server 60 einen Klassifikator trainieren, der dazu ausgebildet ist, anhand von Kameradaten und/oder eines Umfeldmodells eine Spurwechselangabe zu bestimmen.
-
Der durch den Server trainierte Klassifikator kann durch die Klassifikationseinrichtung 51 des Fahrzeugs 50 ausgeführt werden. Somit ist das Fahrzeug 50 in Zukunft in der Lage, jederzeit einen Spurwechsel sicher zu erkennen. Dabei kann das das Fahrzeug 50 auf aufgezeichnete Sensordaten, z.B. Bilddaten, zurückgreifen, um eine Klassifikation auszuführen.
-
Bei dem Server 60 kann es sich in einem Ausführungsbeispiel um ein Rechenzentrum oder einen Cluster handeln. Somit können eine Vielzahl unterschiedlicher Komponenten eingesetzte werden, um die Funktion des gezeigten Servers zu implementieren. Insbesondere kann der Server 60 dazu ausgebildet sein, Daten von einer Vielzahl von unterschiedlichen Fahrzeugen zu empfangen und unter Verwendung der Daten der Vielzahl von Fahrzeugen einen Klassifikator wie vorstehen beschrieben, zu trainieren.
-
An dieser Stelle sei angemerkt, dass jede der vorstehend beschrieben Ausführungsformen und Ausführungsbeispiele beliebig mit einem anderen Ausführungsbeispiel bzw. einer Ausführungsform kombinierbar ist.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Fahrbahn
- 3, 3'
- Spur
- 4, 4'
- Spurzentrum
- 5
- Fahrbahnmarkierung
- 6, 7
- Distanzkurven
- 8
- Unstetigkeitsstelle
- 10
- Umfeldmodell
- 11
- Fahrzeugmodell
- 13, 13'
- Spurmodell
- 14
- Spurzentrummodell
- 15
- Fahrbahnmarkierungsmodell
- 20
- Bildebene
- 21
- Bounding-Box
- 22
- Fahrzeug
- 23, 23'
- Spur
- 24
- Spurzentrum
- 25
- Fahrbahnmarkierung
- 30
- Convolutional Neural Network (CNN)
- 31
- Eingabebild
- 32
- erste Faltung
- 33
- erste Merkmalskarten (feature maps)
- 34
- subsampling
- 35
- zweite Merkmalskarten (feature maps)
- 36
- zweite Faltung
- 37
- dritte Merkmalskarten (feature maps)
- 38
- vollständig verbundene Schicht
- 39
- Ausgabeschicht
- 40
- Spurwechselangabe
- 50
- Fahrzeug
- 51
- Klassifikationseinrichtung
- 52
- Speichereinrichtung
- 53
- Perzeptionssystem
- 54
- Fahrzeug kommunikationseinrichtung
- 60
- Server
- 61
- Serverkommunikationseinrichtung
- 62
- Serverspeichereinrichtung
- 63
- Serverrecheneinrichtung
- D, D'
- Entfernung zum Fahrbahnzentrum
- t0, t1, t1
- Zeitpunkt
- t
- Zeitachse
- d
- Distanzachse
- P
- Projektion
