-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Bestimmen einer Trajektorie eines Fahrzeugs. Des Weiteren betrifft die Erfindung ein Steuergerät, ein Fahrzeugsystem, ein Computerprogramm und ein computerlesbares Medium zum Ausführen des genannten Verfahrens.
-
Stand der Technik
-
Zur Planung und/oder Prädiktion von Manövern zum teil- oder vollautomatisierten Steuern eines Fahrzeugs können unter anderem maschinell gelernte Modelle eingesetzt werden. Beispielsweise können künstliche neuronale Netze verwendet werden, um zukünftige Wegpunkte für ein Ego-Fahrzeug als Manöverplan oder multimodale Prädiktion für andere Verkehrsteilnehmer zu generieren, Steuersignale wie Beschleunigungs- oder Lenkwinkelsignale zu berechnen oder eine zeitabhängige Kostenfunktion für einen klassischen Trajektorienplaner zu erstellen.
-
Hierbei können beispielsweise verfügbare Karteninformationen wie Spurmarkierungen, Zebrastreifen, Haltelinien o. Ä. in einem semantischen Belegungsgitter dargestellt werden. Ein entsprechend trainierter datenbasierter Manöverplaner bzw. Manöverprädiktor kann dann anhand des Belegungsgitters und eines aktuellen Fahrzustands des Ego-Fahrzeugs bestimmen, welche Manöver sinnvoll sind bzw. wo sich Trajektorien aufteilen könnten. Das Training eines solchen Manöverplaners bzw. Manöverprädiktors kann sehr aufwendig sein, da hierzu in der Regel eine relativ große Menge an Trainingsdaten erforderlich ist.
-
Ein Beispiel für einen Ansatz, bei dem ein Satz aufgenommener Trajektorien als Anker benutzt wird und zur Laufzeit die wahrscheinlichsten Anker und Offsets relativ zu diesen Ankern prädiziert werden, ist im folgenden Fachartikel beschrieben: Y. Chai et al., „MultiPath: Multiple Probabilistic Anchor Trajectory Hypotheses for Behavior Prediction“, arxiv:1910.05449, 2019.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Bestimmen einer Trajektorie eines Fahrzeugs, ein entsprechendes Steuergerät, ein entsprechendes Fahrzeugsystem, ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Medium gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
-
Vorteile der Erfindung
-
Ausführungsformen der vorliegenden Erfindung ermöglichen es in vorteilhafter Weise, den Trainingsaufwand beim Trainieren eines Manöverplaners und/oder Manöverprädiktors deutlich zu reduzieren. Ferner kann damit die Prädiktion unrealistischer Trajektorien, beispielsweise aufgrund eines sogenannten Mode Collapse, bei dem eine Prädiktion, die multimodal sein sollte, zu einer unrealistischen Mode zusammenfällt, vermieden werden.
-
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Bestimmen einer Trajektorie eines Fahrzeugs. Das Verfahren umfasst zumindest die folgenden Schritte: Empfangen von Sensordaten, die von einer Sensorik zum Erfassen einer Umgebung und/oder eines Fahrzustands des Fahrzeugs erzeugt wurden, insbesondere in einem Steuergerät des Fahrzeugs; Generieren von Objektdaten aus den Sensordaten durch ein Objekterkennungsmodul, wobei die Objektdaten Positionen und/oder Orientierungen von Objekten in der Umgebung des Fahrzeugs relativ zum Fahrzeug anzeigen; Bestimmen mindestens eines Pfades durch ein Pfadgeneriermodul durch Verarbeiten der Objektdaten zusammen mit Referenzdaten, die mögliche Pfade zwischen Referenzpunkten in einer aus einer digitalen Karte erzeugten Referenzrepräsentation der Umgebung des Fahrzeugs anzeigen, wobei jedem Referenzpunkt eine Position und/oder Orientierung des Fahrzeugs zugeordnet ist und die digitale Karte ein Straßennetz in der Umgebung des Fahrzeugs abbildet; und Bestimmen der Trajektorie basierend auf dem mindestens einen Pfad durch ein Trajektoriengeneriermodul.
-
Das Verfahren kann beispielsweise automatisch durch einen Prozessor ausgeführt werden, beispielsweise durch einen Prozessor des Steuergeräts des Fahrzeugs. Das Verfahren kann alternativ auch außerhalb eines Fahrzeugs, beispielsweise auf einem zentralen Server ausgeführt werden. In diesem Fall kann das Verfahren beispielsweise auf einem Hochleistungsrechner ausgeführt werden.
-
Die im Vorangehenden und im Folgenden genannten Module des Steuergeräts können als Software und/oder Hardware implementiert sein.
-
Das Fahrzeug kann ein Kraftfahrzeug, etwa in Form eines Pkw, Lkw, Busses oder eines Motorrads, sein. Im weiteren Sinn kann unter einem Fahrzeug auch ein autonomer, mobiler Roboter verstanden werden.
-
Die Sensorik kann mindestens einen Umfeldsensor wie beispielsweise eine Kamera, einen Radar-, Lidar- oder Ultraschallsensor und/oder mindestens einen Fahrdynamiksensor wie beispielsweise einen Beschleunigungs-, Raddrehzahl- oder Lenkradwinkelsensor aufweisen. Darüber hinaus kann die Sensorik einen Ortungssensor zur Bestimmung einer absoluten Position des Fahrzeugs mithilfe eines globalen Navigationssatellitensystems wie GPS, GLONASS o. Ä. aufweisen.
-
Es ist möglich, dass das Fahrzeug mit einem Fahrerassistenzsystem bzw. Robotersteuersystem zum teil- oder vollautomatisierten Ansteuern einer Aktorik basierend auf den Sensordaten ausgestattet ist. Das Fahrerassistenz- bzw. Robotersteuersystem kann als Hardware und/oder Software in dem Steuergerät des Fahrzeugs implementiert sein.
-
Die Aktorik kann konfiguriert sein, um das Fahrzeug zu lenken, zu beschleunigen und/oder abzubremsen. Hierzu kann die Aktorik beispielsweise einen Lenkaktor, einen Bremsaktor, ein Motorsteuergerät, einen elektrischen Antriebsmotor oder eine Kombination aus mindestens zwei der genannten Beispiele umfassen.
-
Die Objektdaten können beispielsweise unter zusätzlicher Berücksichtigung von Objektdaten eines früheren Zeitschritts, d. h. eines vorherigen Zustands der Objekte, und/oder eines Bewegungsmodells bezüglich der Objekte und/oder des Fahrzeugs generiert werden. Dies kann auch als zeitliches Tracking bezeichnet werden. Zusätzlich zur Position und/oder Orientierung der Objekte können die Objektdaten Geschwindigkeiten, Beschleunigungen und/oder Attribute der Objekte anzeigen. Ein Attribut kann beispielsweise eine (Fahrzeug-)Klasse, Abmessungen des Objekts o. Ä. sein. Bei den Geschwindigkeiten bzw. Beschleunigungen kann es sich beispielsweise um Longitudinalgeschwindigkeiten bzw. Longitudinalbeschleunigungen handeln.
-
Die Referenzpunkte können in einem definierten Abstand zueinander angeordnet sein, der konstant oder auch variabel sein kann. Der Abstand zwischen den Referenzpunkten kann beispielsweise richtungsabhängig sein. Möglich ist etwa, dass die Referenzpunkte in Fahrtrichtung des Fahrzeugs einen anderen, beispielsweise größeren Abstand als quer zur Fahrtrichtung des Fahrzeugs haben.
-
Beispielsweise ist es möglich, dass nicht jedem Referenzpunkt explizit eine Orientierung des Fahrzeugs zugeordnet wird. Vielmehr kann sich diese aus dem Pfadsegment von einem vorhergehenden Referenzpunkt und/oder in Abhängigkeit von einem Pfadsegment zu einem nachfolgenden Referenzpunkt ergeben. Anders ausgedrückt kann es mehrere mögliche Orientierungen des Fahrzeugs für einen Referenzpunkt geben, wobei eine davon für einen Pfad tatsächlich entsteht und/oder ausgewählt wird.
-
Jeder mögliche Pfad kann mindestens zwei der Referenzpunkte miteinander verbinden. Ein jeweiliger Verlauf der möglichen Pfade ist somit durch die Referenzpunkte vorgegeben. Unterschiedliche Pfade können sich in mindestens einem Referenzpunkt voneinander unterscheiden. Der durch das Pfadgenerierungsmodul ausgegebene Pfad kann beispielsweise aus den möglichen Pfaden ausgewählt worden sein.
-
Genauer gesagt können die Referenzpunkte über Pfadsegmente miteinander verbunden werden, wobei aus diesen Pfadsegmenten schließlich ein Pfad zusammengebaut werden kann. Beispielsweise kann ein künstliches neuronales Netz trainiert worden sein, um wahrscheinliche und/oder gewünschte Übergänge in Form der Pfadsegmente einzufärben, wobei Pfade dann als Samples aus diesen Übergängen generiert werden können.
-
Beispielsweise kann das Pfadgenerierungsmodul konfiguriert sein, um den Pfad aus durch das künstliche neuronale Netz eingefärbten Pfadsegmenten zu generieren, beispielsweise durch Aneinanderreihen dieser Pfadsegmente.
-
Das Pfadgeneriermodul kann konfiguriert sein, um die Pfade so zu berechnen, dass sie sich ausschließlich oder zumindest größtenteils innerhalb befahrbarer Bereiche der Umgebung des Fahrzeugs erstrecken. Beispielsweise können die Pfade als Bezierkurven berechnet werden. Möglich sind aber auch andere Kurvendarstellungen. Es ist möglich, dass das Pfadgeneriermodul konfiguriert ist, um die Pfade unter Berücksichtigung bestimmter kinematischer und/oder dynamischer Bedingungen bezüglich des Fahrzeugs und/oder bezüglich anderer Verkehrsteilnehmer und/oder unter Berücksichtigung von Komfortbedingungen zu berechnen. Ein Pfad kann beispielsweise aus den Objektdaten und Referenzdaten mehrerer aufeinanderfolgender Zeitschritte berechnet werden.
-
In der digitalen Karte können beispielsweise geografische Koordinaten des Straßennetzes hinterlegt sein. Zusätzlich können Verkehrsregeln bezüglich des Straßennetzes in der digitalen Karte hinterlegt sein. Auch können in der digitalen Karte Informationen über Objekte in der Umgebung des Fahrzeugs, wie etwa andere Verkehrsteilnehmer, Gebäude, Verkehrsschilder, Bewuchs o. Ä., hinterlegt sein und gegebenenfalls fortlaufend aktualisiert werden, beispielsweise basierend auf den Sensordaten.
-
Die Referenzrepräsentation kann beispielsweise ein Graph sein, dessen Knoten die Referenzpunkte sein können und/oder dessen Kanten die Pfade sein können. Möglich sind aber auch andere Repräsentationsformen. Beim Erzeugen der Referenzrepräsentation können die Referenzpunkte beispielsweise entsprechend dem Straßennetz in der digitalen Karte gesetzt werden. Die Referenzrepräsentation kann online und/oder offline erzeugt worden sein. Somit kann die Generierung unrealistischer Pfade vermieden werden. Zudem kann der Trainingsaufwand im Vergleich zu Ansätzen, bei denen anhand eines semantischen Belegungsgitters maschinell gelernt wird, welche Bereiche des semantischen Belegungsgitters befahrbar sind oder nicht, deutlich reduziert werden.
-
Kurz zusammengefasst kann mit dem hier vorgestellten Ansatz gewährleistet werden, dass prädizierte Trajektorien auch tatsächlich fahrbar sind, d. h. bestimmten kinematischen und/oder dynamischen Anforderungen und einer gegebenen Straßentopologie entsprechen. Dies kann beispielsweise dadurch erreicht werden, dass Manöveranker aus Pfadkomponenten in einem Koordinatensystem des Ego-Fahrzeugs so definiert werden, dass sowohl dynamische Randbedingungen bezüglich des Ego-Fahrzeugs als auch Fahrbarkeitsbeschränkungen eingehalten werden. Zur Laufzeit kann dann beispielsweise in einer datenbasierten Planung bestimmt werden, welche Transitionen zwischen den Manöverankern und welche Geschwindigkeitsveränderungen stattfinden sollen. Darauf aufbauend kann ein klassischer Suchalgorithmus wie beispielsweise A* Trajektorien zusammensetzen: eine Trajektorie bei der Planung und gegebenenfalls mehrere Trajektorien bei der Prädiktion.
-
Der hier vorgestellte Ansatz kann verwendet werden, um Manöverplanung und Prädiktion kombiniert zu lösen. Der Manöverplanung nachgelagert, können die generierten Trajektorien beispielsweise auf Kollisionsfreiheit geprüft werden oder in einem deutlich kürzeren Horizont zusätzlich geglättet werden.
-
Ein zweiter Aspekt der Erfindung betrifft ein Steuergerät mit einem Prozessor, der konfiguriert ist, um das Verfahren gemäß einer Ausführungsform des ersten Aspekts der Erfindung auszuführen. Wie weiter oben erwähnt, kann das Steuergerät Hardware- und/oder Softwaremodule umfassen. Zusätzlich zum Prozessor kann das Steuergerät einen Speicher und Datenkommunikationsschnittstellen zur Datenkommunikation mit Peripheriegeräten umfassen. Merkmale des Verfahrens gemäß einer Ausführungsform des ersten Aspekts der Erfindung können auch Merkmale des Steuergeräts sein und umgekehrt.
-
Ein dritter Aspekt der Erfindung betrifft ein Fahrzeugsystem, das eine Sensorik (siehe oben) zum Erfassen einer Umgebung und/oder eines Fahrzustands eines Fahrzeugs und ein Steuergerät gemäß einer Ausführungsform des zweiten Aspekts der Erfindung umfasst. Merkmale des Verfahrens gemäß einer Ausführungsform des ersten Aspekts der Erfindung können auch Merkmale des Fahrzeugsystems sein und umgekehrt.
-
Ein vierter Aspekt der Erfindung betrifft ein Computerprogramm. Das Computerprogramm umfasst Befehle, die einen Prozessor bei Ausführung des Computerprogramms durch den Prozessor veranlassen, das Verfahren gemäß einer Ausführungsform des ersten Aspekts der Erfindung auszuführen.
-
Ein fünfter Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem das Computerprogramm gemäß einer Ausführungsform des dritten Aspekts der Erfindung gespeichert ist. Das computerlesbare Medium kann ein flüchtiger oder nicht flüchtiger Datenspeicher sein. Beispielsweise kann das computerlesbare Medium eine Festplatte, ein USB-Speichergerät, ein RAM, ROM, EPROM oder Flash-Speicher sein. Das computerlesbare Medium kann auch ein einen Download eines Programmcodes ermöglichendes Datenkommunikationsnetzwerk wie etwa das Internet oder eine Datenwolke (Cloud) sein.
-
Merkmale des Verfahrens gemäß einer Ausführungsform des ersten Aspekts der Erfindung können auch Merkmale des Computerprogramms und/oder des computerlesbaren Mediums sein und umgekehrt.
-
Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.
-
Gemäß einer Ausführungsform wurde die Referenzrepräsentation so erzeugt, dass die Referenzpunkte und/oder die möglichen Pfade auf und/oder am Rand von Straßen des Straßennetzes liegen. Dadurch kann die Generierung unrealistischer, beispielsweise außerhalb der Straßen verlaufender Pfade vermieden werden.
-
Gemäß einer Ausführungsform wurde die Referenzrepräsentation so erzeugt, dass die Referenzpunkte auf Fahrspurbegrenzungslinien und/oder auf Fahrspurmittellinien liegen. Zusätzlich oder alternativ kann die Referenzrepräsentation so erzeugt worden sein, dass die Referenzpunkte zwischen benachbarten Fahrspurbegrenzungslinien und/oder zwischen benachbarten Fahrspurmittellinien liegen. Damit können geeignete Referenzdaten mit relativ geringem Aufwand aus in der digitalen Karte abgebildeten Straßenmarkierungen bereitgestellt werden.
-
Gemäß einer Ausführungsform umfasst das Verfahren ferner einen Schritt des Vorverarbeitens der Referenzdaten durch ein dem Pfadgeneriermodul vorgeschaltetes Vorverarbeitungsmodul. Dabei werden durch die Referenzdaten definierte Abstände zwischen den Referenzpunkten abhängig von mindestens einem der folgenden Kriterien variiert: einer aktuellen Geschwindigkeit des Fahrzeugs; einem aktuellen Straßenverlauf; einer Entfernung der Referenzpunkte relativ zum Fahrzeug. Anders ausgedrückt können sich unterschiedliche Abschnitte der Referenzrepräsentation in ihrer Auflösung voneinander unterscheiden. Dadurch kann die Genauigkeit des Verfahrens erhöht werden.
-
Gemäß einer Ausführungsform ist das Straßennetz durch ein Belegungsgitter abgebildet. Anders ausgedrückt kann die digitale Karte eine Rasterkarte sein. Ein solches Belegungsgitter kann sehr detaillierte Informationen über eine Vielzahl unterschiedlicher Objekte in der Umgebung des Fahrzeugs bereitstellen. Durch Erzeugen der Referenzrepräsentation aus einem solchen Belegungsgitter können die Referenzpunkte entsprechend genau gesetzt werden.
-
Gemäß einer Ausführungsform sind die Positionen und/oder Orientierungen der Objekte und/oder den Objekten zugeordnete Objektklassen Gitterzellen des Belegungsgitters zugeordnet. Die Positionen und/oder Orientierungen der Objekte und/oder die Objektklassen können beispielsweise durch einen entsprechend trainierten Regressor und/oder Klassifikator, etwa in Form eines künstlichen neuronalen Netzes, aus den Sensordaten bestimmt werden. Somit kann die Referenzrepräsentation zusätzlich unter Berücksichtigung der (sensorisch erfassten) Positionen und/oder Orientierungen der Objekte und/oder der Objektklassen erzeugt werden.
-
Gemäß einer Ausführungsform umfasst das Objekterkennungsmodul ein künstliches neuronales Netz zum Generieren der Objektdaten. Zusätzlich oder alternativ kann auch das Pfadgeneriermodul ein künstliches neuronales Netz zum Verarbeiten der Objektdaten zusammen mit den Referenzdaten umfassen. Das künstliche neuronale Netz kann beispielsweise ein mehrschichtiges Perzeptron, ein faltendes neuronales Netz, auch Convolutional Neural Network oder kurz CNN genannt, ein rekurrentes neuronales Netz, auch Recurrent Neural Network oder kurz RNN genannt, ein Long-short-term-memory-Netz, kurz LSTM-Netz genannt, ein Transformer Network oder eine Kombination aus mindestens zwei der genannten Beispiele sein. Dadurch kann eine hohe Genauigkeit des Verfahrens bei überschaubarem Trainingsaufwand erreicht werden.
-
Gemäß einer Ausführungsform sind die Pfade und/oder die möglichen Pfade Bezierkurven. Damit können die Pfade bzw. die möglichen Pfade mit geringem Rechenaufwand zwischen verschiedenen Koordinatensystemen transformiert werden.
-
Gemäß einer Ausführungsform bestimmt das Pfadgeneriermodul in jedem Zeitschritt mindestens zwei Pfade, wobei jeder der mindestens zwei Pfade mit einer Wahrscheinlichkeit gewichtet ist. Dementsprechend bestimmt das Trajektoriengeneriermodul die Trajektorie basierend auf den mindestens zwei Pfaden abhängig von deren Wahrscheinlichkeiten. Anders ausgedrückt können mehrere alternative Pfade für die Dauer eines Prädiktionshorizontes berechnet werden, wobei die alternativen Pfade unterschiedliche Prioritäten haben. Die Trajektorie kann dann beispielsweise basierend auf dem Pfad mit der höchsten Wahrscheinlichkeit oder den Pfaden mit den höchsten Wahrscheinlichkeiten bestimmt werden. Somit kann die Auswahl geeigneter Pfade für die Bestimmung der Trajektorie vereinfacht werden.
-
Gemäß einer Ausführungsform bestimmt das Pfadgeneriermodul zusätzlich für jeden Pfad mindestens einen zeitlichen Verlauf einer Sollgeschwindigkeit des Fahrzeugs. Dabei bestimmt das Trajektoriengeneriermodul die Trajektorie zusätzlich basierend auf dem mindestens einen zeitlichen Verlauf der Sollgeschwindigkeit des Fahrzeugs. Anders ausgedrückt kann das Pfadgeneriermodul konfiguriert sein, um neben pfadbasierten Transitionen auch geschwindigkeitsbasierte Transitionen zwischen den Referenzpunkten zu bestimmen. Somit kann dem Trajektoriengeneriermodul neben einer Pfadinformation eine Zeitinformation für die Bestimmung der Trajektorie bereitgestellt werden.
-
Gemäß einer Ausführungsform bestimmt das Pfadgeneriermodul den mindestens einen Pfad durch zusätzliches Verarbeiten der Sensordaten. Zusätzlich oder alternativ bestimmt das Pfadgeneriermodul den mindestens einen zeitlichen Verlauf der Sollgeschwindigkeit des Fahrzeugs durch zusätzliches Verarbeiten der Sensordaten. Dabei können die Sensordaten beispielsweise eine gemessene Entfernung und/oder Geschwindigkeit des Fahrzeugs relativ zu den Objekten anzeigen. Damit kann die Genauigkeit des Verfahrens erhöht werden.
-
Figurenliste
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
- 1 zeigt schematisch ein Fahrzeugsystem gemäß einem Ausführungsbeispiel der Erfindung.
- 2 zeigt schematisch ein Fahrzeug mit dem Fahrzeugsystem aus 1.
- 3 zeigt schematisch Pfade, die in einem Verfahren gemäß einem Ausführungsbeispiel der Erfindung bestimmt wurden.
-
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleich wirkende Merkmale.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Fahrzeugsystem 100, das eine Sensorik 102 zum Erfassen einer Umgebung eines Fahrzeugs 103 (siehe auch 2) und/oder eines Fahrzustands des Fahrzeugs 103 sowie ein Steuergerät 104 umfasst. Das Steuergerät 104 umfasst ein Objekterkennungsmodul 106, ein Pfadgeneriermodul 108 und ein Trajektoriengeneriermodul 110. Diese und etwaige weitere Module des Steuergeräts 104 können beispielsweise in Form eines Computerprogramms in einem Speicher 112 des Steuergeräts 104 hinterlegt sein und durch Ausführen des Computerprogramms durch einen Prozessor 114 des Steuergeräts 104 ausgeführt werden.
-
Das Objekterkennungsmodul 106 empfängt von der Sensorik 102 erzeugte Sensordaten 116 und generiert daraus Objektdaten 118, die Positionen und/oder Orientierungen von Objekten 120 in der Umgebung des Fahrzeugs 103 relativ zum Fahrzeug 103 anzeigen. Zusätzlich können die Objektdaten 118 Objektklassen der Objekte 120, wie beispielsweise „vorausfahrendes Fahrzeug“, „Radfahrer“, Fußgänger“ oder „Fahrspurmarkierung“, anzeigen.
-
Die Positionen und/oder Orientierungen der Objekte 120 und deren Objektklassen können beispielsweise in einer digitalen Karte 122 abgespeichert werden, die ein Straßennetz 123 in der Umgebung des Fahrzeugs 103 abbildet. Die digitale Karte 122 kann beispielsweise als Belegungsgitter implementiert sein und in dem Speicher 112 hinterlegt sein.
-
Die Objektdaten 118 werden zusammen mit Referenzdaten 124 in das Pfadgeneriermodul 108 eingegeben, das daraus Pfaddaten 126 generiert. Die Pfaddaten 126 definieren mindestens einen Pfad 128 zwischen Referenzpunkten 130 in einer aus der digitalen Karte 122 erzeugten Referenzrepräsentation 132 der Umgebung des Fahrzeugs 103. Dabei ist jedem Referenzpunkt 130 eine Sollposition und/oder Sollorientierung des Fahrzeugs 103 zugeordnet. Der Pfad 128 kann beispielsweise aus einer durch die Referenzdaten 124 definierten Menge möglicher Pfade 128' zwischen den Referenzpunkten 130 ausgewählt werden.
-
Die Pfade 128, 128' können jeweils zwei oder auch mehr als zwei der Referenzpunkte 130 miteinander verbinden. Wie in 1 zu erkennen, können die Referenzpunkte 130 innerhalb und/oder am Rand befahrbarer Bereiche der Umgebung des Fahrzeugs 103 liegen. In diesem Beispiel kennzeichnen die Referenzpunkte 130 in der digitalen Karte 122 hinterlegte Fahrspurmarkierungen und Fahrspurmitten. Beispielsweise können die Referenzpunkte 130 entlang der Fahrspurmarkierungen und Fahrspurmitten in definierten Abständen verteilt sein (siehe auch 3).
-
Schließlich berechnet das Trajektoriengeneriermodul 110 aus den Pfaddaten 126 Trajektoriendaten 134, die mindestens eine Trajektorie für das Fahrzeug 103 definieren.
-
Es ist möglich, dass die Pfaddaten 126 zusätzlich zu den Pfaden 128 zeitliche Verläufe einer Sollgeschwindigkeit des Fahrzeugs 103 bezüglich der Pfade 128 umfassen. Hierzu kann das Pfadgeneriermodul 108 konfiguriert sein, um zusätzlich zu den Objektdaten 118 und den Referenzdaten 124 die Sensordaten 116 zu verarbeiten. Die Sensordaten 116 können dabei beispielsweise eine gemessene Entfernung und/oder Geschwindigkeit des Fahrzeugs 103 relativ zu den Objekten 120 anzeigen. Somit kann die Sollgeschwindigkeit des Fahrzeugs 103, genauer deren Änderung über mehrere aufeinanderfolgende Zeitschritte, mit hoher Genauigkeit geschätzt werden.
-
Die Referenzdaten 124 werden in diesem Beispiel zusätzlich durch ein dem Pfadgeneriermodul 108 vorgeschaltetes Vorverarbeitungsmodul 135 vorverarbeitet. Hierbei können durch die Referenzdaten 124 definierte Abstände zwischen den Referenzpunkten 130 angepasst werden, beispielsweise basierend auf den Sensordaten 116. Möglich ist etwa, dass die Abstände zwischen den Referenzpunkten 130, und somit eine Auflösung der Referenzrepräsentation 132, lokal und/oder global geändert wird, beispielsweise in Abhängigkeit von einer Istgeschwindigkeit des Fahrzeugs 103, einer jeweiligen Entfernung der Referenzpunkte 130 relativ zu einer Istposition des Fahrzeugs 103 und/oder einem durch die Referenzpunkte 130 gekennzeichneten Fahrspurverlauf. Unter Fahrspurverlauf kann beispielsweise die Krümmung einer Fahrspurbegrenzungslinie und/oder Fahrspurmittellinie in der digitalen Karte 122 verstanden werden, wobei die Referenzpunkte 130 auf der Fahrspurbegrenzungslinie bzw. Fahrspurmittellinie liegen können (siehe auch 3).
-
Zur Generierung der Pfaddaten 126 kann das Steuergerät 104 beispielsweise einen entsprechend trainierten Algorithmus in Form eines künstlichen neuronalen Netzes 136 ausführen. Möglich ist etwa, dass das Objekterkennungsmodul 106 ein erstes künstliches neuronales Netz 136a zum Generieren der Objektdaten 118 umfasst und/oder das Pfadgeneriermodul 108 ein zweites künstliches neuronales Netz 136b zum Generieren der Pfaddaten 126 umfasst.
-
Wie in 2 gezeigt, kann das Steuergerät 104 konfiguriert sein, um basierend auf den Sensordaten 116 ein Steuersignal 200 zum teil- oder vollautomatisierten Ansteuern einer Aktorik 202 des Fahrzeugs 103 zu generieren. Die Aktorik 202 kann eine Komponente des Fahrzeugsystems 100 sein. Das Steuersignal 200 kann die Aktorik 202 veranlassen, das Fahrzeug 103 so zu lenken, zu beschleunigen und/oder abzubremsen, dass es der durch das Trajektoriengeneriermodul 110 bestimmten Trajektorie folgt.
-
3 zeigt beispielhaft einen Abschnitt einer zweispurigen Straße in der Referenzrepräsentation 132. Fahrspurmitten sind mit zwei fetten Linien angedeutet. Die gestrichelte Linie kennzeichnet eine Fahrspurmarkierung zwischen den Fahrspurmitten. Wie in 3 zu sehen, können die Referenzpunkte 130 auf den Linien und/oder zwischen zwei benachbarten Linien liegen. Eingezeichnet sind ferner beispielhafte Pfade 128, 128' sowie ein vorausfahrendes Fahrzeug 120, 300.
-
Die Ergebnisse einer ankerbasierten, d. h. auf den Referenzpunkten 130 basierenden Prädiktion eines ersten Pfades 302 und eines zweiten Pfades 304 für das Fahrzeug 103 sind beispielhaft mit kleinen Rechtecken markiert. Die Pfade 302 bzw. 304 sind zusätzlich mit Wahrscheinlichkeiten, hier beispielhaft mit 72 % bzw. 28 %, gewichtet. Zu beachten ist, dass die Trajektorien aus dem zweiten Pfad 304 nicht zwingend mit dem vorausfahrenden Fahrzeug 120, 300 kollidieren müssen, da dem zweiten Pfad 304 ein Sollgeschwindigkeitsverlauf zugeordnet werden kann, der einen Abbremsvorgang abbildet.
-
Die Referenzrepräsentation 132 kann beispielsweise dadurch aus der digitalen Karte 122 erzeugt werden, dass zunächst Posen darauf gesampelt werden. Dieses Sampling kann zufällig oder deterministisch, etwa entlang der Fahrspurmitten und/oder Fahrspurmarkierungen, erfolgen. Dabei können die Posen mit für das Fahrzeug 103 fahrbaren Pfaden 128, 128' verbunden werden. Es können transformationsinvariante Pfaddarstellungen wie beispielsweise Bezierkurven zur Darstellung der Pfade 128, 128' verwendet werden, bei denen nur die Kontrollpunkte transformiert werden müssen. Damit kann die Referenzrepräsentation 132 effizient in ein Fahrzeugkoordinatensystem des Fahrzeugs 103 transformiert werden. Durch eine Vorberechnung und anschließende Transformation der Referenzpunkte 130 und/oder der Pfade 128, 128' können zeitlich konsistente Manöver abgefahren werden. Die Referenzpunkte 130 und/oder die Pfade 128, 128' sollten so bestimmt werden, dass sie gewisse kinematische Randbedingungen bezüglich des Fahrzeugs 103 erfüllen. Somit werden Manöver vermieden, die kinematisch nicht sinnvoll sind oder das Fahrzeug 103 von der Fahrbahn wegführen könnten.
-
Wie bereits erwähnt, kann die Referenzrepräsentation 132 in einem optionalen Vorverarbeitungsschritt oder einem optionalen separaten Prozess an eine aktuelle Situation des Fahrzeugs 103 angepasst werden. Beispielsweise kann das Sampling der Referenzpunkte 130 an eine aktuelle Geschwindigkeit des Fahrzeugs 103 angepasst werden, indem die Abstände zwischen den Referenzpunkten 130 in kurvigen Streckenabschnitten im Vergleich zu geraden Streckenabschnitten reduziert werden oder mit zunehmender Entfernung zum Fahrzeug 103 vergrößert werden.
-
Möglich ist auch, dass die Referenzpunkte 130 unter Berücksichtigung von in der digitalen Karte 122 hinterlegten Infrastrukturmerkmalen generiert werden. Beispielsweise kann das Setzen der Referenzpunkte 130 auf Straßenbereiche verhindert werden, die gemäß geltenden Verkehrsregeln oder aus sonstigen Gründen nicht überfahren werden dürfen oder sollten. Beispiele dafür sind Straßen- oder Fahrstreifensperrungen, Baustellenbereiche, parallel geführte Radwege oder verschmutzte oder beschädigte Fahrbahnabschnitte. Somit kann die Effizienz eines nachfolgenden, beispielsweise maschinell gelernten Manöverplanungs- und/oder Manöverprädiktionsmodells gesteigert werden, da mehr nutzbare Trajektorien je verfügbarer Recheneinheit resultieren.
-
Zur Laufzeit kann die generierte Referenzrepräsentation 132 zunächst in das Fahrzeugkoordinatensystem transformiert werden. Die Pfade 128, 128' können ausgehend vom Fahrzeug 103 und unter Berücksichtigung dynamischer Zwangsbedingungen zu den nächstliegenden oder auch zu weiter entfernten Referenzpunkten 130 gebildet werden. Ein datenbasierter Manöverplaner kann beispielsweise anschließend durch Klassifikation und/oder Gewichtung der Referenzpunkte 130 bestimmen, zwischen welchen Referenzpunkten 130 ausgehend von einer Position des Fahrzeugs 103 Transitionen stattfinden sollen. Dabei kann entweder eine einzige Transitionskette ausgegeben werden oder es können mehrere, mit Wahrscheinlichkeiten gewichtete Transitionsketten ausgegeben werden (siehe 3). Durch mehrere, mit Wahrscheinlichkeiten gewichtete Transitionsketten können Multimodalitäten präzise abgebildet werden. Zudem kann der datenbasierte Manöverplaner für die Dauer eines Prädiktionshorizontes, beispielsweise 10 s, Geschwindigkeitsänderungen in festen Zeitschritten, beispielsweise von jeweils 1 s, ausgeben.
-
Es ist möglich, dass für jede Pfadtransitionskette mehrere Geschwindigkeitstransitionsketten ausgegeben werden, um unterschiedliches zeitliches Verhalten entlang der Pfade 128, 128' zu erzeugen. Der Aufbau der Pfad- und Geschwindigkeitstransitionsketten kann entweder auf einmal, auch One-Shot genannt, oder rekurrent erfolgen. Zusätzlich kann die Generierung der Pfad- und Geschwindigkeitstransitionsketten dahingehend erweitert werden, dass neben den tatsächlichen Posen- und/oder Geschwindigkeitsänderungswerten Offsets bezüglich dieser Werte ausgegeben werden.
-
Um die Pfad- und Geschwindigkeitstransitionsketten in eine oder mehrere Trajektorien zu übersetzen, kann das Trajektoriengeneriermodul 110 jedes Paar aus einer Pfad- und Geschwindigkeitstransitionskette beispielsweise folgendermaßen verarbeiten. Zunächst wird die Geschwindigkeitstransitionskette in eine Funktion eines zurückgelegten Streckenabschnitts über der Zeit überführt. Dies kann durch Berechnung mittels einer parametrischen Funktion, beispielsweise eines Polynoms, oder durch Abrufen von Werten aus einer Lookup-Tabelle erfolgen. Anschließend werden anhand der Pfadtransitionskette zu Abtastzeitpunkten der jeweiligen Trajektorie gehörende Referenzpunkte 130 bzw. Posen ermittelt. Dabei kann beispielsweise ein Spline aus den durch die Pfadtransitionskette festgelegten Pfaden 128, 128' zusammengesetzt und an den entsprechenden Streckenabschnitten ausgewertet werden. Optional können die Trajektorien anschließend mit einem geeigneten Verfahren auf Kollisionen geprüft und/oder geglättet werden.
-
Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
