DE102022131178B3

DE102022131178B3 - Verfahren zum automatisierten Führen eines Fahrzeugs sowie Verfahren zum Erzeugen eines hierzu fähigen Modells des Maschinellen Lernens sowie Prozessorschaltung und Fahrzeug

Info

Publication number: DE102022131178B3
Application number: DE102022131178.3A
Authority: DE
Inventors: Sascha Rosbach; Simon Grossjohann
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2022-11-24
Filing date: 2022-11-24
Publication date: 2024-02-08
Anticipated expiration: 2042-11-25

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum automatisierten Führen eines Fahrzeugs (10) durch eine Umgebung (13), umfassend die Schritte: Eingeben zumindest einer Umgebungskarte (52) in ein Modell des Maschinellen Lernens und mittels des Modells Erzeugen einer weiteren Umgebungskarte (52) als Ausgabe-Umgebungskarte (51), welche eine in Pixeln (54) ortscodierte Repräsentation eines Bewertungsmaßes (61) für die Umgebung (13) enthält, Planen einer Vielzahl von möglichen Fahrtrajektorien (40), wobei die jeweilige mögliche Fahrtrajektorie (40) eine Bewegungsbahn (17) des Fahrzeugs (10) durch die Umgebung (13) angibt, und für die möglichen Fahrtrajektorien (40) jeweils Projizieren der Bewegungsbahn (17) der jeweiligen möglichen Fahrtrajektorie (40) auf die Ausgabe-Umgebungskarte (51) und dadurch Ermitteln der von der möglichen Fahrtrajektorie (40) abgedeckten Pixel (54); Aufsummieren von Pixelwerten (55) der abgedeckten Pixel (54) zu einem Summenwert für die jeweilige mögliche Fahrtrajektorie (40), und Führen des Fahrzeugs (10) durch die Umgebung (13) gemäß der dadurch als am geeignetsten erkannten Fahrtrajektorie.

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zum automatisierten Führen eines Fahrzeugs durch eine Umgebung, das heißt, das Fahrzeug soll kollisionsfrei mittels einer automatisierten Längsführung und/oder Querführung durch die Umgebung gefahren werden. Hierzu ist eine Fahrtrajektorie zu planen, entlang welcher das Fahrzeug geführt werden kann. Sind in der Umgebung weitere bewegte Objekte zugegen, kann das Planen einer solchen Fahrtrajektorie numerisch sehr komplex werden. Die Erfindung umfasst auch ein Verfahren zum Erzeugen eines Modells des maschinellen Lernens, insbesondere eines künstlichen neuronalen Netzwerks, mittels welchem die Planung der Fahrtrajektorie unterstützt werden kann. Zu der Erfindung gehören auch ein entsprechendes Modell des maschinellen Lernens und eine Ausgabe-Umgebungskarte, mittels welcher die Planung der Trajektorie numerisch vereinfacht werden kann. Schließlich umfasst die Erfindung auch eine Prozessorschaltung und ein Fahrzeug, welche zum Durchführen der Verfahren geeignet sind.
Ein System zum automatisierten Führen eines Fahrzeugs durch eine Umgebung ist beispielsweise aus der US 2022/0035 375 A1 bekannt. Danach wird durch eine Sensorschaltung des Fahrzeugs die Umgebung erfasst und anhand der hierdurch ermittelten Umgebungsdaten die Planung einer Fahrtrajektorie für eine kollisionsfreie Fahrt ermöglicht. Anhand der so geplanten Fahrtrajektorie kann dann da Fahrzeug durch Ansteuern einer entsprechenden Aktuatorik für die Längsführung (Beschleunigen und Bremsen) und Querführung (Lenken) entlang der geplanten Fahrtrajektorie durch die Umgebung geführt werden.
Eine besondere Schwierigkeit beim Planen einer solchen Fahrtrajektorie stellen andere Fahrzeuge oder allgemein andere Objekte dar, die sich gleichzeitig mit dem Fahrzeug in der Umgebung bewegen. Um diese beim Planen einer Fahrtrajektorie berücksichtigen zu können, ist im Stand der Technik im Allgemeinen vorgesehen, die Bewegungen der anderen Objekte für einen vorausliegenden Planungszeitraum zu prädizieren. Die Kombination aus Prädiktion von Bewegungen anderer Objekte und der Planung der eigenen Fahrtrajektorie führt zu einer numerisch komplexen Lösung, für deren Implementierung in einem Fahrzeug entsprechend große Rechenressourcen erforderlich sind.
In einer wissenschaftlichen Veröffentlichung von Lee et al. (Keuntaek Lee, David Isele, Evangelos A. Theodorou, Sangjae Bae, „Spatiotemporal Costmap Inference for MPC Via Deep Inverse Reinforcement Learning“, IEEE ROBOTICS AND AUTOMATION LETTERS, VOL. 7, NO. 2, APRIL 2022) ist beschrieben, dass eine Umgebung eines Fahrzeugs in Form von mehreren unterschiedlichen Umgebungskarten beschrieben werden kann, in welchen jeweils Objektmerkmale der umgebenden Objekte, beispielsweise deren Fahrgeschwindigkeit und/oder Fahrtrichtung, codiert sein kann. Diese Kartographierung erfolgt ortscodiert, indem die jeweiligen Werte der Objektmerkmale als Pixelwerte in Pixeln der Umgebungskarte abgebildet werden. Bewegungen der Objekte in der Umgebung des Fahrzeugs werden dadurch beschrieben, dass für unterschiedliche Zeitschritte jeweils eine eigene Umgebungskarte ermittelt wird, so dass ein zeitlicher Verlauf durch eine Abfolge von Umgebungskarten beschrieben ist. Anhand dieser Abfolge von Umgebungskarten wird dann mittels eines künstlichen neuronalen Netzwerks eine Fahrtrajektorie ermittelt. Durch Codieren der Bewegung der Objekte in einer Abfolge von Umgebungskarten ist dieses Verfahren zum Ermitteln einer Fahrtrajektorie aber numerisch sehr komplex und erfordert ein entsprechendes künstliches neuronales Netzwerk, das auch zeitliche Abfolgen interpretieren kann.
Eine weitere Druckschrift, in welcher die Erstellung von Umgebungskarten thematisiert wird, ist DE 10 2020 210 379 A1 . Hierin wird vorgeschlagen, die ermittelten Umgebungsdaten zu ordnen und je nach Datentyp auf verschiedene Umgebungskarten zu schreiben. So wird zum Beispiel vorgeschlagen, Informationen zum Verhalten von Verkehrsteilnehmern und/oder Wetterinformationen auf eine Karte zu schreiben, während die nächste Karte zum Beispiel Karteninformationen zur Positionsbestimmung des Egofahrzeugs enthalten kann und eine weite Karte beispielsweise dann Verkehrsregelinformationen enthält. Diese Informationen werden jeweils räumlich in Pixeln dargestellt, wobei einem Pixel auf jeder Karte jeweils die gleiche geografische Position beschreibt. Somit hat man mehrere in räumlicher Relation angeordnete Schichten, welche anschließend zur Berechnung einer Fahrtrajektorie verwendet werden.
Ein Algorithmus, welcher allgemein Trajektorien basierend auf dem Training über ein neuronales Netz bereitstellt, wird in der Druckschrift DE 10 2019 219 241 A1 vorgestellt. Hierbei werden während mindestens einer Mission die Bewegungstrajektoren schlechter geschützter Verkehrsteilnehmer mittels Sensoren aufgezeichnet und daraus eine mittlere Trajektore sowie die durchschnittliche Abweichung davon berechnet. Diese Daten wiederum dienen zum Training eines neuronalen Netzes, wodurch ein Verkehrteilnehmeralgorithmus anschließend Bewegungstrajektorien schlechter geschützter Verkehrsteilnehmer simuliert werden können.
Der Erfindung liegt die Aufgabe zugrunde, eine numerisch in einem Fahrzeug implementierbare Lösung bereitzustellen, um eine Fahrtrajektorie in einer Umgebung mit bewegten Objekten zu planen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Als eine Lösung umfasst die Erfindung ein computerimplementiertes Verfahren zum automatisierten Führen eines Fahrzeugs durch eine Umgebung. Das Verfahren kann in dem Fahrzeug beispielsweise durch eine Prozessorschaltung ausgeführt werden, wie sie im Weiteren noch beschrieben ist. Das Verfahren umfasst die folgenden Schritte:

• Ermitteln von Merkmalsdaten der Umgebung: Diese Merkmalsdaten können einen jeweiligen Ort von Objekten der Umgebung beschreiben und dabei zumindest einige der Merkmalsdaten statische Objektmerkmale und zumindest einige der Merkmalsdaten dynamische Objektmerkmale der Objekte darstellen. Die Merkmalsdaten können auch als Beobachtungsdaten bezeichnet werden, da sie auf einer Umgebungsbeobachtung beruhen können. Die Merkmalsdaten können Sensordaten aus einer Sensorschaltung des Fahrzeugs und/oder aus solchen Sensordaten abgeleitete oder hergeleitete Beobachtungsdaten umfassen, wie es an sich für ein Fahrzeug mit automatisierter Fahrfunktion zum automatisierten Führen bekannt ist, und/oder sie können auf den an sich bekannten Car-2-X-Nachrichten einer Funkkommunikation beruhen, um nur Beispiele zu nennen. Die Merkmalsdaten können beispielsweise einer dynamischen Umgebungskarte entnommen sein, wie sie in einem Fahrzeug mit automatisierter Fahrfunktion zum Beschreiben der Umgebung und der darin befindlichen Objekte mittels einer Sensorfusion erzeugt werden kann. Insbesondere können durch die Merkmalsdaten auch die dynamischen Objektmerkmale beschrieben sein, beispielsweise eine Fahrgeschwindigkeit und/oder eine Fahrtrichtung des jeweiligen Objekts. Als Objekte können beispielsweise andere Verkehrsteilnehmer, also beispielsweise andere Fahrzeuge, erfasst sein. Als statisches Objekt kann beispielsweise eine Position und/oder ein geometrischer Verlauf einer Fahrbahnbegrenzung und/oder einer Fahrbahnmittellinie erfasst sein.
• Ermitteln einer oder mehrerer Umgebungskarten der Umgebung, wobei die jeweilige Umgebungskarte eine in Pixeln ortscodierte Repräsentation der Objektmerkmale für den jeweiligen Ort der Objekte enthält: Allgemein ist hier vorgesehen, dass durch die „ortscodierte Repräsentation“ eine Topographie oder Topologie der Objektmerkmale beschrieben ist, also die jeweilige Umgebung in der Umgebungskarte als Bild (Image) beispielsweise aus einer Vogelperspektive dargestellt ist, so dass jedes Pixel einem entsprechenden Ort in der Umgebung entspricht. Mit dem Objektmerkmal ist somit auch der jeweilige Ort, an welchem das Objektmerkmal in der Umgebung vorliegt, angegeben und das Objektmerkmal ist durch den Pixelwert des entsprechenden Pixels quantifiziert oder ausgedrückt. Die zumindest eine Umgebungskarte, das heißt die eine oder mehrere Umgebungskarten, stellt somit jeweils ein Abbild der Umgebung in Bezug auf unterschiedliche Aspekte, nämlich in Bezug auf unterschiedliche Objektmerkmale, dar. Solche Objektmerkmale können in der beschriebenen Weise Objekttyp und/oder Geschwindigkeit des jeweiligen Objekts und/oder räumliche Ausrichtung und/oder eine Randbedingung (z.B. Befahrbarkeit und/oder zulässige Geschwindigkeit) sein.
• Eingeben der zumindest einen Umgebungskarte in ein Modell des Maschinellen Lernens: Mittels des Modells wird eine weitere Umgebungskarte als Ausgabe-Umgebungskarte erzeugt, welche eine in Pixeln ortscodierte Repräsentation eines Bewertungsmaßes für die Umgebung enthält, z.B. die Eignung für die Befahrbarkeit durch das zu führende Fahrzeug. Die zumindest eine Umgebungskarte, also der Input des Modells, wird durch das Modell als Bild oder graphisch interpretiert und es wird daraus als Ausgabe-Umgebungskarte ein weiteres Bild (Image) der Umgebung erzeugt, beispielsweise aus der Vogelperspektive. Das Modell des maschinellen Lernens kann hierzu beispielsweise eine semantische Segmentierung auf die zumindest eine Umgebungskarte anwenden. Das Modell wird also genutzt, um aus zumindest einer Umgebungskarte als Eingangsdaten eine neue Umgebungskarte als Ausgabe-Umgebungskarte zu erzeugen, wobei die Pixelwerte der Ausgabe-Umgebungskarte mittels des Modells aus den Pixelwerten der zumindest einen eingegebenen Umgebungskarte erzeugt werden. Durch entsprechendes Trainieren eines solchen Modells des maschinellen Lernens können hierdurch unterschiedliche Bewertungsmaße aus der zumindest einen (Eingabe-)Umgebungskarte durch die beschriebene bildliche oder pixelbasierte Verarbeitung der Objektmerkmale erzeugt werden.
• Planen einer Vielzahl von möglichen Fahrtrajektorien, wobei die jeweilige mögliche Fahrtrajektorie eine Bewegungsbahn des Fahrzeugs durch die Umgebung umfasst: Solche möglichen oder potentiellen oder nutzbaren Fahrtrajektorien können durch einen so genannten Planer für autonomes Fahren oder automatisiertes Fahren erzeugt werden. Entsprechende Planer sind aus dem Stand der Technik bekannt. Die Fahrtrajektorien können jeweils zusätzlich zu der beschriebenen Bewegungsbahn, also der Abfolge von Aufenthaltsorten des Fahrzeugs in der Umgebung, auch beispielsweise ein Geschwindigkeitsprofil, also Geschwindigkeitswerte der Fahrgeschwindigkeit des Fahrzeugs an unterschiedlichen Ortspunkten der Bewegungsbahn, umfassen. Aus der Vielzahl der möglichen Fahrtrajektorien muss nun die geeignetste oder eine geeignete Fahrtrajektorie für die Verwendung beim Führen des Fahrzeugs ausgewählt werden.
• für die möglichen Fahrtrajektorien erfolgt daher jeweils ein Projizieren der Bewegungsbahn der jeweiligen möglichen Fahrtrajektorie auf zumindest ein jeweiliges Pixel der Ausgabe-Umgebungskarte und dadurch werden die von der möglichen Fahrtrajektorie abgedeckten Pixel ermittelt: Mit anderen Worten wird ermittelt, wo die Bewegungsbahnen der Fahrtrajektorien in der Ausgabe-Umgebungskarte verlaufen. Durch die bildbasierte Beschreibung der Verkehrssituation in der Umgebung durch die zumindest eine Umgebungskarte und in der daraus erzeugten Ausgabe-Umgebungskarte ist dieses Projizieren der Fahrtrajektorien mittels geometrischer Berechnungsschritte möglich, wie sie im Stand der Technik entnommen werden können.
• Aufsummieren von Pixelwerten der abgedeckten Pixel der Ausgabe-Umgebungskarte zu einem Summenwert für die mögliche Fahrtrajektorie: Anhand der Ausgabe-Umgebungskarte und dem darin ortsbasiert in den Pixelwerten codierten Bewertungsmaß (z.B. der Eignung für das Befahren durch das zu führende Fahrzeug) kann also jede Fahrtrajektorie entlang ihrer Bewegungsbahn durch die Pixelwerte der von ihr abgedeckten Pixel bewertet werden. Zu beachten ist hierbei, dass anders als im Stand der Technik keine Abfolge mehrerer Ausgabe-Umgebungskarten zum Beschreiben der zeitlichen Abfolge in der Verkehrssituation notwendig ist. Es reicht eine einzige Ausgabe-Umgebungskarte, um eine Bewertung der Fahrtrajektorie entlang ihrer gesamten Bewegungsbahn zu bewerten. Diese Bewertung wird durch den Summenwert beschrieben oder signalisiert.
• für die jeweilige mögliche Fahrtrajektorie erfolgt ein Ermitteln jeweils eines Eignungswerts für deren Verwendung in der Umgebung, wobei in den jeweiligen Eignungswert zumindest ihr Summenwert aus der Projektion einberechnet wird: Hier wird zwischen dem „Eignungswert“ und dem „Summenwert“ unterschieden, um auszudrücken, dass ein solcher Eignungswert für eine Fahrtrajektorie zusätzlich zu dem Summenwert noch zumindest einen weiteren Analysewert umfassen kann: Beispielsweise kann zusätzlich in dem Eignungswert ausgedrückt werden, ob durch die Fahrtrajektorie beispielsweise eine Verkehrsregel verletzt wird, weil sie beispielsweise eine Fahrgeschwindigkeit oberhalb einer Geschwindigkeitsbegrenzung vorsieht. In einer einfachen Implementierung kann der Eignungswert dem Summenwert entsprechen.
• Auswählen derjenigen der möglichen Fahrtrajektorien, deren Eignungswert die Fahrtrajektorie als optimalste (zu verwendende) Fahrtrajektorie signalisiert:
- Beispielsweise kann also für den Fall, dass ein Eignungswert eine umso größere Eignung ausdrückt, je größer der Wert ist, die Fahrtrajektorie mit dem größten Eignungswert ausgewählt werden. Drückt der Eignungswert dagegen beispielsweise einen Kostenwert aus, so ist natürlich die Fahrtrajektorie mit dem geringsten Eignungswert die „optimalste“.
• Führen des Fahrzeugs durch die Umgebung durch Ansteuern einer Aktuatorik des Fahrzeugs für eine Längsführung und/oder eine Querführung des Fahrzeugs gemäß der ausgewählten Fahrtrajektorie: Da die Fahrtrajektorie an sich durch einen Planer erzeugt werden kann, wie er im Stand der Technik verfügbar ist, ist die Fahrtrajektorie vollständig oder vollwertig für das Führen des Fahrzeugs geeignet, enthält also die für das Fahrzeug notwendigen Informationen zum Erzeugen von Steuerbefehlen für die Längsführung und/oder Querführung.

Durch die Erfindung ergibt sich der Vorteil, dass die Bewertung der geplanten möglichen Fahrtrajektorie ohne eine weitere Auswertung des Zeitverlaufs erfolgen kann, indem auch dynamische Objektmerkmale der Objekte der Umgebung im graphischen Erscheinungsbild der Ausgabe-Umgebungskarte codiert oder bewertet oder quantifiziert sind, d.h. durch deren Pixelwerte. Durch Projizieren der vom Planer erzeugten, möglichen Fahrtrajektorien auf diese Ausgabe-Umgebungskarte kann in der beschriebenen Weise der Summenwert als Integral oder Summe entlang der Bewegungsbahn der Fahrtrajektorie und der hierdurch überstrichenen oder erfassten oder abgedeckten Pixel mit ihren Pixelwerten in der Ausgabe-Umgebungskarte erfolgen.
Dies ist numerisch eine günstige oder ressourcensparende Implementierung beim Bewerten oder Planen von möglichen Fahrtrajektorien in Bezug auf dynamische Objektmerkmale von bewegten Objekten in einer Umgebung des Fahrzeugs.
Die Erfindung umfasst auch Weiterentwicklungen, durch die sich zusätzliche Vorteile ergeben.
Eine Weiterentwicklung umfasst, dass das Modell des Maschinellen Lernens dazu trainiert ist, aus den Pixelwerten der zumindest einen Umgebungskarte jeweilige Pixelwerte von Pixeln der Ausgabe-Umgebungskarte zu ermitteln, welche eine Wahrscheinlichkeit angeben, dass das Pixel innerhalb eines vorgegebenen zukünftigen Zeitraums kollisionsfrei und/oder Verkehrsregel-konform nutzbar ist. Das Modell kann also anhand der zumindest einen Umgebungskarte, welche die Objektmerkmale zum aktuellen Zeitpunkt beschreibt, durch Inferenz oder durch „Bilderkennung“ in der zumindest einen Umgebungskarte erkennen oder durch Inferenz oder Regression ermitteln, ob die Bewegungsbahn einer jeweiligen möglichen Fahrtrajektorie der zu führenden Fahrzeugs einen kollisionsfreien und/oder verkehrsregelkonformen Verlauf bewirkt. Kollisionsfrei ist eine Bewegungsbahn insbesondere dann, wenn keines der bewegten Objekte durch das Fahrzeug berührt wird. Verkehrsregel-konform ist eine Fahrtrajektorie insbesondere dann, wenn sich bei deren Befolgung oder Umsetzung durch das Fahrzeug keine für die Umgebung geltende Verkehrsvorschrift verletzt wird oder jede geltende Verkehrsvorschrift eingehalten wird. Zum Trainieren des Modells können Umgebungskarten von Verkehrssituationen zu einem vorgegebenen Startzeitpunkt bereitgestellt werden und beispielsweise durch Simulation oder Aufzeichnen von realen Verkehrssituationen entsprechende Ablaufdaten für einen Ablauf der Verkehrssituation ab dem Startzeitpunkt erzeugt werden und daraus dann ideale oder das Vorwissen aus den Ablaufdaten nutzende Fahrtrajektorien berechnet werden, durch deren Projektion in eine Trainings-Ausgabe-Umgebungskarte dann eine ideale oder korrekte oder von dem Modell zu erzeugende Ausgabe-Umgebungskarte erzeugt oder künstlich erstellt werden kann. Eine solche Ausgabe-Umgebungskarte kann dann als Trainingsziel oder Label für ein Training des Modells des maschinellen Lernens zugrunde gelegt werden. Ein solches Modell kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks, insbesondere eines Faltungsnetzwerks (CNN - Convolutional Neural Network) erzeugt werden. Ein solches Faltungsnetzwerk hat sich beim Interpretieren von Umgebungskarten, welche ein graphisches Erscheinungsbild der Objektdaten z.B. in Vogelperspektive darstellen, als besonders geeignet erwiesen.
Eine Weiterentwicklung umfasst entsprechend, dass durch die jeweilige Umgebungskarte die Umgebung zweidimensional abgebildet wird und ein jeweiliger Pixelwert einem Merkmalswert eines jeweiligen Objektmerkmals entspricht. Die zweidimensionale Abbildung kann z.B. in einer Vogelperspektive der Umgebung erfolgen. Die zweidimensionale Abbildung der Umgebung in der jeweiligen Umgebungskarte kann die Proportionen oder Längenverhältnisse der Umgebung ebenfalls beschreiben oder eine topologische Transformation, beispielsweise eine Verzerrung und/oder Stauchung und/oder Scherung und/oder Rotation, aufweisen. Durch Umgebungskaten als zweidimensionale Abbildung kann das Modell des maschinellen Lernens die jeweilige Umgebungskarte mit den Mitteln einer Bildverarbeitung oder Computer-Vision verarbeiten, um dann beispielsweise die eingangs beschriebene semantische Segmentierung oder allgemein ein Ausgabebild als Ausgabe-Umgebungskarte zu erzeugen.
Eine Weiterentwicklung hierzu umfasst, dass der jeweilige Pixelwert zumindest einer Umgebungskarte aus dem Merkmalswert des Objektmerkmals durch Normieren des Merkmalswerts auf ein aktuelles Fahrzeugmerkmal des Fahrzeugs, insbesondere eine aktuelle Fahrgeschwindigkeit des Fahrzeugs, ermittelt wird. Indem die Merkmalswerte oder der jeweilige Merkmalswert in Bezug zu einem Merkmalswert des Fahrzeugs selber gesetzt wird, insbesondere in Bezug auf die aktuelle Fahrgeschwindigkeit, ergibt sich eine relative Beurteilung oder Beschreibung der Umgebung. Somit kann diese Beschreibung, wie sie durch die Umgebungskarte beschrieben ist, für unterschiedliche Verkehrssituationen, insbesondere für unterschiedliche Fahrgeschwindigkeiten, genutzt werden. Es wird dann beispielsweise jeweils lediglich auf die Relativgeschwindigkeit der Objekte zum Fahrzeug abgestellt, was die jeweilige Umgebungskarte bei unterschiedlichen absoluten Geschwindigkeitswerten nutzbar oder gültig macht.
Eine Weiterentwicklung umfasst, dass die zumindest eine Umgebungskarte zumindest eine der folgenden umfasst:

• eine Geschwindigkeitskarte, in welcher Pixelwerte eine Objektgeschwindigkeit und/oder Objektrotation (Gierrate) des an dem jeweiligen Pixel kartographierten Objekts angeben, wobei insbesondere für eine Fahrbahn eine für diese geltende Geschwindigkeitsbegrenzung eingetragen ist. Die „Geschwindigkeitskarte“ kann bewegte Objekte und optional auch „Merkmalswerte“ für statische Objekte, beispielsweise die Fahrbahn angeben, also beispielsweise die geltende Geschwindigkeitsbegrenzung. Diese kann beispielsweise einer Mittellinie der jeweiligen Fahrbahn (Englisch Lane oder Track) zugeordnet sein.
• eine Richtungskarte, in welcher Pixelwerte Bewegungsrichtungen des an dem jeweiligen Pixel kartographierten Objekts angeben, wobei insbesondere für eine Fahrbahn eine für diese vorgeschriebene Fahrtrichtung eingetragen ist. Durch die Richtungskarte kann in dem Modell beispielsweise eine Prädiktion der Bewegung des zumindest einen Objekts eintrainiert oder erkannt werden.
• eine Abstandskarte, in welcher Pixelwerte einen Streckenabstand zu einem vorgegebenen Fahrziel des Fahrzeugs angeben. Hierdurch können von den möglichen Fahrtrajektorien all diejenigen ausgewählt oder aussortiert oder entfernt werden, welche von dem Fahrziel wegführen oder an diesem vorbeiführen.
• eine Begrenzungskarte, in welcher Pixelwerte einen Begrenzungstyp einer Begrenzung eines dem Fahrzeug für dessen Fahrt zur Verfügung stehenden Bereichs angeben. Mit einer Begrenzungskarte kann eine Bewertung einer möglichen Fahrtrajektorie erfolgen, welche zu einem Verlassen der Fahrbahn und/oder zu einer Kollision mit einer Fahrbahnbegrenzung führen würde.
• eine Beschleunigungskarte, in welcher Pixelwerte Beschleunigungswerten einer Fahrbeschleunigung von einem oder einigen oder jedem der Objekte entsprechen. Mittels einer Beschleunigungskarte kann eine Erkennung der Bewegung der Objekte unterstützt werden.

Eine Weiterentwicklung umfasst, dass beim Planen der möglichen Fahrtrajektorien, wie sie der Planer erzeugt, zunächst eine zukünftige Bewegung und/oder Dynamik und/oder prädizierte zukünftige Bewegung der Objekte unberücksichtigt bleibt. Die möglichen oder potentiellen Fahrtrajektorien selbst können also in einem ersten Schritt ohne die Notwendigkeit erzeugt oder berechnet werden, die zukünftige Bewegung oder Fahrbewegung der Objekte berücksichtigen zu müssen. Die möglichen Fahrtrajektorien können jeweils somit beispielsweise ausschließlich in Bezug auf stationäre Objekte und/oder eine Kinematik oder Fahrdynamik des Fahrzeugs selbst, beispielsweise Beschleunigungswerte und/oder Lenkwinkel, optimiert oder berechnet sein. Die Interaktion oder die Koordination mit den bewegten Objekten in der Umgebung kann dann anschließend durch Projizieren der möglichen Fahrtrajektorien auf die Ausgabe-Umgebungskarte und die Berechnung des besagten Summenwerts erfolgen.
Eine Weiterentwicklung umfasst, dass das Planen der möglichen Fahrtrajektorien umfasst, dass ausgehend von einer aktuellen Position des Fahrzeugs in der Umgebung eine Abfolge von zukünftigen Fahrzuständen des Fahrzeugs berechnet wird, indem der jeweilige in der Abfolge nächste Zustand aus dem in der Abfolge vorhergehenden Zustand durch eine Aktion betreffend eine Längsführung (Beschleunigung) und/oder Querführung (Radlenkwinkel) des Fahrzeugs ermittelt wird, wobei eine Ausführungswahrscheinlichkeit für die jeweilige Aktion aus statischen und/oder kinematischen Merkmalen des Fahrzeugs berechnet wird. Somit kann eine potentielle oder mögliche Fahrtrajektorie durch den Planer in Bezug auf beispielsweise Fahrkomfort und/oder Materialschonung oder Bauteilschutz des Fahrzeugs maximiert werden.
Eine Weiterentwicklung umfasst, dass in zumindest einem Betriebsmodus der Summenwert und/oder der Eignungswert der jeweiligen Fahrtrajektorie frei von einer Bewegungsprädiktion der Objekte, die sich in Bewegung befinden, durchgeführt wird. Das Verfahren kann somit in einem Betriebsmodus, wenn beispielsweise durch die Merkmalsdaten der Umgebung keine Prädiktion der Bewegung der Objekte möglich ist, weil Objekte oder zumindest ein Objekt beispielsweise optisch oder sensorisch (beispielsweise auch für Radar und/oder Lidar) abgeschattet ist, eine Prädiktion der Bewegung der Objekte unmöglich ist, allein anhand der Ausgabe-Umgebungskarte bewertet werden. Es kann zumindest einen weiteren Betriebsmodus geben, beispielsweise einen Hybridmodus, in welchem zusätzlich zu der Ausgabe-Umgebungskarte auch eine Bewegungsprädiktion genutzt werden kann. Die weiter oben beschriebene „Prädiktion“ für das Erzeugen der Ausgabe-Umgebungskarte erfolgt durch das Modell lediglich implizit, indem die Pixelwerte der zumindest einen Umgebungskarte auf Pixelwerte der Ausgabe-Umgebungskarte abgebildet werden und hierin durch das Training implizit die beim Training erfolgte Prädiktion der Bewegung in den Trainingsdaten berücksichtigt ist. Eine tatsächliche Prädiktion der aktuell in der Umgebung befindlichen Objekte erfolgt hierbei durch das Modell bevorzugt nicht.
Um das Verfahren durchzuführen, ist das beschriebene Modell des maschinellen Lernens zu verwenden. Dies kann in der beschriebenen Weise durch die beschriebenen Trainingsdaten mittels eines Algorithmus für das Training eines Modells des maschinellen Lernens, beispielsweise einer Backpropagation oder eines IRL (Inverse Re-Enforcement Learning) erfolgen.
Als eine weitere Lösung umfasst die Erfindung ein Verfahren zum Erzeugen eines Modells des Maschinellen Lernens für das beschriebene Verfahren, umfassend die Schritte:

• Ermitteln von historischen Ablaufdaten, welche einen zeitlichen Ablauf einer vergangenen Verkehrssituation beschreiben, in welcher in Bewegung befindliche Objekte in einer Referenzumgebung fahren. Die „Ablaufdaten“ können zyklisch erfasste Merkmalsdaten der Umgebung während des Verlaufs oder des Ablaufs der Verkehrssituation umfassen, also die Verkehrssituation zu unterschiedlichen aufeinanderfolgenden Zeitpunkten beschreiben oder ein jeweiliges Abbild der Verkehrssituation signalisieren. Eine Zykluszeit der Abtastrate der Ablaufdaten kann in einem Bereich von 0.1 Sekunden bis 2 Sekunden liegen. Als Referenzumgebung kann beispielsweise ein Kreisverkehr oder eine Kreuzung oder ein Autobahnabschnitt vorgesehen sein. Als Verkehrssituation kann beispielsweise das Durchfahren der Referenzumgebung durch Objekte und/oder ein Überholmanöver durch die Ablaufdaten beschrieben sein. Solche Ablaufdaten können beispielsweise mittels eines Testfahrzeugs auf Testfahrten ermittelt werden.
• Ermitteln einer Vielzahl von zulässigen oder idealen Fahrtrajektorien, welche für ein Fahrzeug in der Verkehrssituation für eine kollisionsfreie und/oder verkehrsregel-konforme Fahrt durch die Referenzumgebung möglich wären, wobei beim Ermitteln dieser Fahrtrajektorien die durch die Ablaufdaten beschriebene Bewegung der Objekte als vorgegebenes Vorwissen vorgegeben wird und wobei die jeweilige zulässige oder ideale Fahrtrajektorie eine Bewegungsbahn für das Fahrzeug durch die Referenzumgebung umfasst und der Fahrtrajektorie zumindest ein Bewertungswert der Fahrtrajektorie zugeordnet wird. Die zulässigen Fahrtrajektorien können durch einen Planer ermittelt werden, der nun allerdings eine Variante darstellt, die auf prädizierte Bewegungsdaten der Objekte zurückgreift, die aber nicht prädiziert sind, sondern aus den Ablaufdaten entnommen werden. Ein solcher Planer ist ein aus dem Stand der Technik bekannter typischer oder standardmäßig verwendeter Planer. Anstelle der prädizierten Bewegungen der Objekte werden allerdings die wahren oder bekannten Bewegungen eingegeben, wie sie ja durch die Ablaufdaten als Vorwissen bekannt sind. Sie dienen also als Randbedingung oder es wird eine Planung rückschauend mit dem Vorwissen über die Bewegung der Objekte durch den Planer durchgeführt. Ein solcher Planer kann einer Fahrtrajektorie auch einen Bewertungswert für die Fahrtrajektorie insgesamt oder für einzelne Ortspunkte der Fahrtrajektorie angeben. Ein solcher Bewertungswert kann einen Kostenwert oder einen Belohnungswert darstellen, der angibt, in welchem Maße die Fahrtrajektorie in Bezug auf ein Bewertungsmaß bewertet oder günstig oder gewünscht ist. Beispielsweise kann ein solcher Bewertungswert angeben, wie komfortabel die Fahrtrajektorie ist, wozu beispielsweise Querbeschleunigungswerte und/oder Bremsbeschleunigungswerte, wie sie in einem Fahrzeug durch die Fahrtrajektorie resultieren würden, berücksichtigt werden.
• Ermitteln einer pixelbasierten Ausgabe-Umgebungskarte der Referenzumgebung, in welcher als Pixelwerte von Pixeln der Ausgabe-Umgebungskarte der kleinste oder größte Bewertungswert der das Pixel mit ihrer Bewegungsbahn abdeckenden zulässigen oder idealen Fahrtrajektorien oder eine Kombination der Bewertungswerte dieser Fahrtrajektorien eingetragen ist. Die geplanten oder ermittelten zulässigen oder idealen Fahrtrajektorien stellen insofern „ideale“ Fahrtrajektorien dar, als dass sie das Vorwissen über die Bewegung der Objekte aus den Ablaufdaten enthalten. Sie sind insofern „zulässig“, als dass sie kollisionsfrei und/oder Verkehrsregel-konform geplant werden konnten oder wurden, weil die Ablaufdaten als Vorwissen genutzt werden konnten. Projiziert man nun die Bewegungsbahnen dieser idealen oder zulässigen Fahrtrajektorien in eine Umgebungskarte, erhält man die pixelbasierte Ausgabe-Umgebungskarte. Diese enthält keine Zeitinformation mehr über den Ablauf oder den Verlauf der Fahrtrajektorien, bewertet aber jedes Pixel, indem der kleinste oder größte Bewertungswert (je nach Bewertungsmaß) oder eine Kombination der Bewertungswerte, beispielsweise der Mittelwert, als Pixelwert eingetragen wird. Eine solche Ausgabe-Umgebungskarte stellt auch das ideale Ausgaberesultat des Modells des maschinellen Lernens dar, selbst wenn dieses lediglich die zumindest eine Umgebungskarte zum Startzeitpunkt der Fahrtrajektorien als Eingabe erhält und kein Vorwissen aus Ablaufdaten mehr nutzen kann. Somit stellt also diese Ausgabe-Umgebungskarte der idealen Fahrtrajektorie ein Label oder Annotationsdaten für einen Trainingsalgorithmus, also das Trainingsziel, dar.
• Ermitteln zumindest einer Umgebungskarte der Referenzumgebung als Input für das zu trainierende Modell, wobei die jeweilige Umgebungskarte eine in Pixeln ortscodierte Repräsentation von Objektmerkmalen der Objekte zum Startzeitpunkt der Verkehrssituation unter Ausschluss der Ablauflaufdaten für den Verlauf der Verkehrssituation enthält.
• Trainieren des Modells mit der zumindest einen Umgebungskarte als Eingangsdaten und der Ausgabe-Umgebungskarte als Labeldaten (Trainingsziel).

Die Implementierung des Trainings kann mit einem Algorithmus aus dem Stand der Technik erfolgen, wie es bereits beschrieben wurde.
Eine Weiterentwicklung umfasst hierzu, dass das Modell und das Training auf einem künstlichen Neuronalen Netzwerk zur Bild-zu-Bild-Übersetzung beruht. Das Training beruht somit auf einem Neural Network zur Bild zu Bild Übersetzung, welches in die Gruppe der Generativen Modelle fällt. Mögliche Varianten sind die „conditional GAN“ Ausführungen, jedoch gibt es ebenso andere Modell Varianten, die ebenfalls Anwendung finden können, so z.B. Weiterentwicklungen von Diffusion Models. Eine bevorzugte Variante sieht vor, dass das Modell (und dessen Training) auf einem Generative Adversarial Network, GAN, beruht. Ein solches GAN hat sich als ideal für das Erzeugen von künstlichen Bildern aus Referenzbildern ergeben, weshalb es sich auch in vorteilhafter Weise eignet, aus der zumindest einen Umgebungskarte die Ausgabe-Umgebungskarte zu erzeugen, die ebenfalls in Pixeln ortscodiert „Bildmerkmale“, nämlich das Bewertungsmaß oder die Bewertungswerte der Umgebung angibt oder beschreibt. Zum Bewerten der idealen oder zulässigen Fahrtrajektorie kann als Bewertungsmaß beispielsweise eine Kritikalität der Fahrtrajektorie genutzt werden.
Eine Weiterentwicklung umfasst, dass das Bewertungsmaß, wie es in der Ausgabe-Umgebungskarte codiert ist, eine Kritikalität der Fahrtrajektorie in Bezug auf Abstände und/oder Relativgeschwindigkeiten zu den Objekten angibt. Eine solche Kritikalität kann beispielsweise angeben, dass sie umso größer oder ungünstiger oder schlechter ist, je kleiner der Abstand zu anderen Objekten ist. Genauso kann eine umso größere Relativgeschwindigkeit in Bezug auf Objekte, deren Bewegungsbahn sich mit der Bewegungsbahn des Fahrzeugs kreuzt, zu einer vergrößerten Kritikalität oder Verschlechterung der Bewertung der Fahrtrajektorie führen oder vorgesehen sein.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei den Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem jeweiligen Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Als eine weitere Lösung umfasst die Erfindung einen Datensatz eines Modells des Maschinellen Lernens und einen Datenträger umfassend den Datensatz und die Verwendung des Modells des Maschinellen Lernens zum automatisierten Führen eines Fahrzeugs, wobei das Modell durch ein hier beschriebenes Verfahren erzeugt ist. Ein solcher Datensatz eines Modells kann beispielsweise in einem Rechenzentrum erzeugt sein und in ein Fahrzeug oder eine Prozessorschaltung eines Fahrzeugs übertragen werden.
Als eine weitere Lösung umfasst die Erfindung eine Ausgabe-Umgebungskarte und einen Datenträger umfassend die Ausgabe-Umgebungskarte, die in einem hier beschriebenen Verfahren erzeugt sind. Eine solche Ausgabe-Umgebungskarte kann beispielsweise durch einen Cloud-Service oder Internet-Service außerhalb des Fahrzeugs berechnet werden und in das Fahrzeug übertragen werden.
Als eine weitere Lösung umfasst die Erfindung eine Prozessorschaltung, die Programmcode umfasst, der bei Ausführen durch die Prozessorschaltung diese veranlasst, ein hier beschriebenes Verfahren durchzuführen. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein. Die Prozessorschaltung der Prozessorschaltung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen. Die Prozessorschaltung kann beispielsweise als ein Steuergerät oder als ein Verbund aus mehreren Steuergeräten eines Fahrzeugs implementiert sein. Die Prozessorschaltung kann zusätzlich oder alternativ dazu in einem Cloud-Datendienst oder einem so genannten Edge-Computer implementiert sein und über eine Funkverbindung mit dem Fahrzeug kommunizieren. Als verteilte Prozessorschaltung kann die Prozessorschaltung teilweise im Fahrzeug und teilweise in einem Cloud-Dienst oder Internet-Server implementiert sein.
Als eine weitere Lösung umfasst die Erfindung ein Fahrzeug mit der beschriebenen Prozessorschaltung. Das erfindungsgemäße Fahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet. Das Fahrzeug kann auch als Roboter ausgestaltet sein.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform zumindest eines der erfindungsgemäßen Verfahren auszuführen. Das Speichermedium kann z. B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z. B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z. B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z. B. C) und/oder als Programmskript (z. B. Python) bereitgestellt sein.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Fahrzeugs mit einer Ausführungsform der erfindungsgemäßen Prozessorschaltung;
2 eine Skizze zur Veranschaulichung von möglichen Fahrtrajektorien für das Fahrzeug, wie sie durch einen Trajektorienplaner ermittelt worden sein können;
3 eine Skizze zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens, bei welcher zumindest eine Umgebungskarte einer Umgebung des Fahrzeugs mittels eines Modells des maschinellen Lernens verarbeitet wird, um eine Ausgabe-Umgebungskarte zu erzeugen;
4 ein Flussschaudiagramm zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens;
5 ein Flussschaudiagramm zur Veranschaulichung eines Trainings für ein Modell des maschinellen Lernens; und
6 eine Skizze zur Veranschaulichung des Trainings.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Fahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen, handeln kann. In dem Fahrzeug 10 kann eine Prozessorschaltung 11 bereitgestellt sein, die einen oder mehrere Mikroprozessoren aufweisen kann und die beispielsweise durch ein oder mehrere Steuergeräte des Fahrzeugs 10 gebildet sein kann. Mittels der Prozessorschaltung 11 kann in dem Fahrzeug 10 eine automatisierte Fahrfunktion 12 bereitgestellt sein, durch welche das Fahrzeug 10 durch eine Umgebung 13 automatisiert, das heißt, ohne ein Zutun eines menschlichen Fahrers, gelenkt oder gefahren oder geführt werden kann. Hierzu kann die Fahrfunktion 12 Steuerbefehle 14 an eine Aktuatorik 15 des Fahrzeugs 10 ausgeben und die Aktuatorik 15 kann gemäß den Steuerbefehlen 14 eine Längsführung (Beschleunigen und Bremsen) und/oder eine Querführung (Lenken) in dem Fahrzeug 10 durchführen. Hierdurch kann das Fahrzeug 10 von der Fahrfunktion 12 entlang einer Fahrtrajektorie 16 geführt werden, welche eine Bewegungsbahn 17 und für einzelne oder unterschiedliche Ortspunkte O der Bewegungsbahn 17 einen Geschwindigkeitswert umfassen kann.
Zum Ermitteln der Fahrtrajektorie 16 kann diese durch einen Planer, d.h. eine Trajektorienplanung T, ermittelt und der Fahrfunktion 12 bereitgestellt werden. Die Trajektorienplanung T kann darauf beruhen, dass das Fahrzeug 10 beispielsweise mittels einer Sensorschaltung 18 mit zumindest einem Umgebungssensor Sensordaten 19 der Umgebung 13 erfasst und hierdurch beispielsweise Objekte 20 in der Umgebung 13 in den Sensordaten 19 abbildet. Der zumindest eine Sensor der Sensorschaltung 18 kann beispielsweise eine Kamera und/oder ein Radar und/oder ein Lidar und/oder zumindest einen Ultraschallsensor umfassen. Ein Erfassungsbereich 21 der Sensorschaltung 18 kann in die Umgebung 13 ausgerichtet sein.
Zusätzlich oder alternativ dazu können mittels einer Kommunikationsschaltung 22 Nachrichten 23 von anderen Objekten 20 empfangen werden, wie dies beispielsweise mittels der Car-2-X-Technologie an sich bekannt ist. Die anderen Objekte 20 können beispielsweise Verkehrsteilnehmer sein, also Fahrzeuge. Zusätzlich oder alternativ können aus zumindest einer Navigationsdatenbank 24 Kartendaten 25 zugrunde gelegt werden, mittels welchen beispielsweise ein Fahrbahnverlauf einer Fahrbahn 26, auf welcher das Fahrzeug 10 zu einem Fahrziel 27 geführt werden soll, kartographiert sein können. Fahrbahnmarkierungen können auch als weitere Objekte 20 beispielsweise mittels der Sensorschaltung 18 erfasst werden.
Die aus der Umgebung 13 erfassten können durch eine Umfeldüberwachung oder Umgebungsüberwachung 30 aggregiert oder fusioniert werden und daraus kann eine Umfeldkarte oder Umgebungskarte 31 ermittelt werden, also ein digitales Modell der Umgebung 13 mit den darin erkannten Objekten 20. Von den Objekten 20 können auch aktuell bekannte oder ermittelte dynamische Objektmerkmale 47, beispielsweise eine aktuelle Fahrgeschwindigkeit und/oder Drehbewegung (Gierrate) der Objekte 20 ermittelt werden, was z.B. mittels Radar und/oder eines Tracking über mehrere Messzyklen möglich ist.
2 zeigt beispielhaft eine solche Umgebungskarte 31, die durch die Umfeld- oder Umgebungsüberwachung 30 für eine Fahrsituation oder Verkehrssituation 32 erzeugt worden sein kann. Dargestellt ist eine Vogelperspektive auf die Verkehrssituation 32, bei welcher das Fahrzeug 10 als Ego-Fahrzeug sich beispielsweise in dem in 2 gezeigten Beispiel in einem Kreisverkehr 33 bewegen kann. Als weitere bewegte Objekte 20 können beispielsweise andere Verkehrsteilnehmer, also beispielsweise andere Fahrzeuge, detektiert oder kartographiert worden sein. Auch Fahrbahnbegrenzungen, also beispielsweise Fahrbahnmarkierungen 34 können als Objekte 20 kartographiert sein.
Insgesamt stellt die Umgebungskarte 31 eine Form von Merkmalsdaten 35 dar (siehe 1), welche an die Trajektorienplanung T übergeben werden können. Anhand der Merkmalsdaten 35 kann die Trajektorienplanung T mehrere unterschiedliche mögliche Fahrtrajektorien 40 planen, die in an sich bekannter Weise darauf beruhen können, dass eine Fahrzeugkinematik des Fahrzeugs 10 unter Berücksichtigung beispielsweise der Fahrbahnmarkierungen 34 geplant werden können.
Aus diesen möglichen Fahrtrajektorien 40 muss dann eine Auswahl getroffen werden, um eine zu verwendende Fahrtrajektorie 16 zu ermitteln, wozu Eignungswerte 41 durch die Trajektorienplanung T ermittelt werden können, um diejenige der möglichen Fahrtrajektorien 40 als Fahrtrajektorie 16 auszuwählen, die gemäß ihrem Eignungswert 41 die beste Eignung aufweist. Zum Ermitteln des jeweiligen Eignungswerts 41 können unterschiedliche Kriterien zugrunde gelegt werden, beispielsweise die Einhaltung von für die Verkehrssituation 32 geltenden Verkehrsvorschriften und/oder eine energiesparende Fahrweise. Das Ermitteln von Eignungswerten 41 für geplante Trajektorien ist Stand der Technik.
Ein besonderes Kriterium oder eine besondere Bewertung oder Berücksichtigung muss dabei den dynamischen Objekten, also den bewegten Objekten 45, also anderen Verkehrsteilnehmern, gelten.
Aus dem Stand der Technik ist hierzu bekannt, für das Ermitteln der möglichen Fahrtrajektorien 40 eine Bewegungsprädiktion 46 zu berechnen, um für unterschiedliche zukünftige Zeitpunkte ermitteln zu können, wo sich das jeweilige Objekt 20 befinden wird, um hierdurch dann beim Planen oder Auswerten der möglichen Fahrtrajektorien 40 die zukünftige Position der bewegten Objekte 45 berücksichtigen zu können.
Bei dem Fahrzeug 10 kann mittels der Prozessorschaltung 11 auf Grundlage eines im Folgenden beschriebenen Verfahrens ganz oder teilweise auf eine solche Bewegungsprädiktion 46 für andere, bewegte Objekte 45 verzichtet werden.
3 illustriert, wie bei der Trajektorienplanung T mittels eines Modells 50 des maschinellen Lernens, beispielsweise einem DCNN (Deep Convolutional Neuronal Network) eine weitere Umgebungskarte, die hier als Ausgabe-Umgebungskarte 51 bezeichnet ist, weil sie eine Ausgabe oder einen Output des Modells 50 darstellt, bezeichnet ist. Das Modell 50 kann hierbei eine Bildauswertung oder eine Computer-Vision-Auswertung von einer oder mehrerer Umgebungskarten 52 durchführen, die als Input oder Eingabe 53 dem Modell 50 bereitgestellt werden. Die Ausgabe-Umgebungskarte 51 kann beispielsweise als eine semantische Segmentierung der Umgebungskarten 52 erzeugt werden.
Jede der Umgebungskarten 52 kann auf Grundlage der Merkmalsdaten und den darin kartographierten oder ortszugeordneten oder ortscodierten Objektmerkmalen, also Position und/oder Objekttyp und/oder dynamische Objektmerkmale 47, ausgestaltet sein. Die Umgebungskarten 52 können als pixelbasierte Bilder erzeugt sein, in welchen für unterschiedliche Bildelemente oder Pixel (Picture Elements) 54 jeweils ein Pixelwert 55 angegeben ist. Der Übersichtlichkeit halber sind nur einige der Pixel 54 einer der Umgebungskarten 52 dargestellt. Eine Umgebungskarte 52 kann beispielsweise Pixel mit einer Auflösung im Bereich von beispielsweise 200 x 200 bis 4.000 x 4.000 umfassen, um nur beispielhafte, mögliche Auflösungen der Darstellung oder Abbildung der Verkehrssituation 32 in der jeweiligen Umgebungskarte 52 zu nennen. Die Pixelwerte 55 können für die Umgebung 13 in jeweils einer der Umgebungskarte 52 unterschiedliche der Objektmerkmale codieren oder repräsentieren, wobei sich durch den Ort des jeweiligen Pixels 54 in der Umgebungskarte 52 eine Ortscodierung oder Ortsangabe ergibt. Es kann hierbei eine Verzerrung oder ein Warping der Ortsangaben für die Umgebung 13 erfolgen, um beispielsweise eine einheitliche Proportion, beispielsweise quadratische Umgebungskarten 52 zu unterschiedlichen Verkehrssituationen 32 erzeugen zu können. Dies unterstützt das Modell 50 bei der Datenverarbeitung.
Eine Umgebungskarte 52 kann beispielsweise die für die Fahrbahn 26 geltenden Spurmittellinien 56 angeben, wobei die Pixelwerte 55 der Spurmittellinien 56 eine Repräsentation des Umgebungsmerkmals „Geschwindigkeitsbegrenzung“ oder „maximal zulässige Fahrgeschwindigkeit“ angeben können. Eine Umgebungskarte 52 kann für bewegte Objekte 45 beispielsweise in an den Pixeln 54, die aktuell von den Objekten 45 bedeckt sind, eine Codierung oder Repräsentation von deren aktueller Fahrgeschwindigkeit und/oder Gierrate enthalten.
Eine Umgebungskarte 52 kann als Pixelwerte Entfernungswerte 57 in Bezug zu dem aktuellen Fahrziel 27 angeben. Das aktuelle Fahrziel 27 kann beispielsweise aus einer Navigationsanwendung oder einem Navigationssystem des Fahrzeugs 10 bekannt sein.
Eine Umgebungskarte 52 kann beispielsweise zu Fahrbahnbegrenzungen 58 einen jeweiligen Begrenzungstyp 59, also ein Label oder eine Typbezeichnung oder Typklasse für die Fahrbahnbegrenzungen 58 angeben.
Es können eine oder mehrere Umgebungskarten 52 in der beschriebenen Weise erzeugt werden. Der Fachmann kann eine Auswahl weiterer möglicher Objektmerkmale für die Kartographierung oder Erzeugung von Umgebungskarten 52 auswählen.
Die Umgebungskarten 52 können als Eingabe 53 durch das Modell 50 verarbeitet werden, so dass sich als dessen Output oder Ausgabe die Ausgabe-Umgebungskarte 51 ergibt, in welcher in deren Pixeln 54 durch die Pixelwerte 55 für den jeweiligen Ort in der Umgebung 13, der durch das Pixel repräsentiert ist, ein Bewertungswert 60 eines vorgegebenen Bewertungsmaßes 61, beispielsweise in Bezug auf Kollisionsrisiko oder Aufenthaltswahrscheinlichkeit, enthalten sein kann. Ausgehend von der Ausgabe-Umgebungskarte 51 kann dann jede der ermittelten möglichen Fahrtrajektorien 40 in die Ausgabe-Umgebungskarte 51 hineinprojiziert werden, das heißt, die durch die Fahrtrajektorie 40 beschriebene Bewegungsbahn 17 kann in die Ausgabe-Umgebungskarte 51 abgebildet werden, wodurch die von der Fahrtrajektorie 40 abgedeckten Pixel der Ausgabe-Umgebungskarte 51 ermittelt werden. Die Pixelwerte dieser abgedeckten oder überfahrenen Pixel können zu einem Summenwert S aufsummiert werden, der als der Eignungswert 41 verwendet werden kann oder bei der Berechnung des Eignungswertes 41 eine Eingabegröße oder einen Parameter darstellen kann, falls noch weitere Bewertungsmaße zugrunde gelegt werden.
4 zeigt Details der möglichen Betriebsweise der Trajektorienplanung T, wie sie in der Prozessorschaltung 11 implementiert sein kann. Gestrichelte Linien 80 zeigen solche Signalpfade und Prozessschritte, wie sie für das Training genutzt werden können. Das Erzeugen der idealen Ausgabe-Umgebungskarte M0 kann durch den Schritt S10 durchgeführt werden.
Dargestellt ist, wie für die Trajektorienplanung T ein Inferenz-Prozess 82 bereitgestellt werden kann, der vorsehen kann, aus den Merkmalsdaten 35 in einem Schritt S11 die Umgebungskarten 52 zu erzeugen, die als Eingabe 53 in einer Bild-Übersetzung mittels des Modells des maschinellen Lernens 50 durch Anwenden der Interferenz mittels des Modells 50 aus der Eingabe 53 die Ausgabe-Umgebungskarte 51 erzeugt. Dies entspricht einem Vorgang, wie er durch eine Bildverarbeitung mittels eines Modells des maschinellen Lernens erzeugt werden kann.
Die Eingabe 53 kann mehrere Umgebungskarten 52 umfassen oder beschreiben, wobei einander entsprechende Pixel der mehreren Umgebungskarten 52 jeweils einen Wert eines dem Pixel zugeordneten Vektorwerts darstellen kann, wie dies an sich auch für farbige Bilder bekannt ist, wo Pixel ein Vektorwert mit drei Einträgen, beispielsweise Rot, Grün, Blau, vorgesehen ist. Um also z.B. drei Umgebungskarten 52 zusammenzufassen, entspricht ein Pixelwerte einem Vektor mit drei Einträgen.
Die eigentliche Trjaktorienplanung T der Fahrtrajektorien kann vorsehen, dass die aus den Merkmalsdaten 35 konstruierte Umgebungskarte 31 beispielsweise mittels einer Distanztransformation 83 in eine vorgegebene Form gebracht wird. Die Umgebungskarte 31 kann dann dazu verwendet werden, die möglichen Fahrtrajektorien 40 mit ihren Bewertungswerten 41 zu ermitteln, wie dies an sich für Trajektorienplaner bekannt ist. Der Trajektorienplaner 84 kann aus dem Stand der Technik entnommen sein. In vorteilhafter Weise muss hierbei nicht die Fahrdynamik oder Bewegung der Objekte 20 berücksichtigt werden. Es kann eine Auswahl oder ein so genanntes Pruning 85 angewendet werden, um die Anzahl der möglichen Fahrtrajektorien 40 in an sich bekannter Weise zu reduzieren oder auf relevante Fahrtrajektorien zu gruppieren. Die möglichen Fahrtrajektorien 40 können in der beschriebenen Weise wie in 3 veranschaulicht mit der Ausgabe-Umgebungskarte 51 kombiniert werden. Mittels einer Konkatenierung 86 können auch weitere Daten aus den Merkmalsdaten 35 berücksichtigt werden. Durch das Integrieren oder Aufsummieren der Pixelwerte 55 (siehe 3) können für die möglichen Fahrtrajektorien 40 der jeweilige Summenwert S berechnet werden. Im Falle des Trainings können die Objektbewegungen 70 und Vorwissen 87 (Deep Prior) beim Bewerten der möglichen Fahrtrajektorien 40 berücksichtigt werden. Die möglichen Fahrtrajektorien 40 können somit dahingehend reduziert werden, dass sie auch die Objektbewegungen 70 berücksichtigen. Die so ausgewählten Fahrtrajektorien stellen dann die zulässigen Fahrtrajektorien 72 oder idealen Fahrtrajektorien 72 dar. Im Falle des Betriebs im Feld oder bei der Benutzung ohne Training, kann ohne die zukünftig bekannte Objektbewegung 70 und ohne das Vorwissen 87 der Summenwert S auf der Ausgabe-Umgebungskarte 51 erfolgen. Die so mit der Pixelsumme oder dem Summenwert S jeweils bewerteten Fahrtrajektorien 40 können dann in einer Auswahl S12 mit weiteren Bewertungsmaßen, beispielsweise einer Plausibilitätsprüfung 90 und/oder einer Prüfung auf Komfort 91 und/oder einer Kostenfunktion 92 zusätzlich bewertet werden, um insgesamt für jede Fahrtrajektorie den beschriebenen Eignungswert 41 zu ermitteln. Diejenige Fahrtrajektorie mit dem Eignungswert 41, der ein Optimum in Bezug auf das Maß des Eignungswerts 41 darstellt, kann dann als zu verwendende Fahrtrajektorie 16 an die Ansteuerung oder Fahrfunktion 12 übergeben, die dann die beschriebenen Steuerbefehle 14 zum Abfahren oder Befolgen der Fahrtrajektorie 16 erzeugen kann.
5 veranschaulicht nochmal zum Training des Modells, dass für unterschiedliche Verkehrssituationen 32 (siehe 2) jeweilige historische Ablaufdaten betreffend die Objektbewegung 70 von Objekten bereitgestellt werden können, die als Trainingsdaten 95 dem Training 96 bereitgestellt werden können. Die Objektbewegungen 70 repräsentieren hier die Ablaufdaten, die aber noch andere Angaben umfassen können. Durch einen Trajektorienplaner 97 können die idealen oder zulässigen Fahrtrajektorien 72 ermittelt werden, die dann in einem Datenspeicher 98 in der beschriebenen Weise als Ausgabe-Umgebungskarten M0 gespeichert werden können, die als Label für das Training 99, bei welchem die zu den Trainingsdaten 95 erzeugten Umgebungskarte 52 auf eine Ausgabe-Umgebungskarte 51 abgebildet werden, die dann mit der zugehörigen oder den Umgebungskarten 52 zugeordneten Ausgabe-Umgebungskarte M0 verglichen werden, um das Modell 50 in an sich bekannter Weise beispielsweise mittels einem Back-Propagation-Algorithmus anzupassen.
6 zeigt eine Veranschaulichung, wie Trainingsdaten zum Trainieren des Modells des maschinellen Lernens erzeugt werden können. Das Training kann beispielsweise auf der Grundlage einer Ausgestaltung des Modells als GAN erfolgen und/oder durch den an sich bekannten Back-Propagation-Algorithmus.
Für das Training können historische Ablaufdaten genutzt werden, welche für Objekte 20 beobachtete Objektbewegungen 70 beschreiben, die sich nach einem vorgegebenen Startzeitpunkt T0 ereignet haben. Für den Startzeitpunkt T0 kann dann eine Trajektorienplanung T durchgeführt werden, die annimmt, dass sich das Fahrzeug zum Startzeitpunkt T0 an einem Startort 71 befindet. 6 zeigt eine untere Kartenebene M0 und eine obere Kartenebene M1, die beide dieselbe Region abdecken, also deckungsgleich sind.
In der Kartenebene M1 ist für das Fahrzeug 10 das Ergebnis der Trajektorienplanung T in Form von idealen oder zulässigen Fahrtrajektorien 72 in Form von deren Bewegungsbahn ab dem Zeitpunkt T0, also in relativer Zukunft zum Startzeitpunkt T0, dargestellt. Die Fahrtrajektorien 72 sind dahingehend ideal, als dass sie von dem Trajektorienplaner mit den historischen Ablaufdaten geplant werden konnten, das heißt, die tatsächliche Objektbewegungen 70 der Objekte 20 ist bei den geplanten Fahrtrajektorien 72 berücksichtigt. Die Fahrtrajektorien 72 können dann auf Pixel 54 der Umgebungskarte M0 projiziert werden, wobei an Schnittpunkten 74, an welchen Bewegungsbahnen der Fahrtrajektorien 72 dasselbe Pixel 54 abdecken, mittels einer Aggregierungsfunktion 76 kombiniert werden können, wobei in 6 beispielhaft die Maximumsfunktion und die Durchschnittsfunktion symbolisiert sind. Die Aggregierungsfunktion 76 kann auf jeweilige Bewertungswerte 77 angewendet werden, die der jeweiligen Fahrtrajektorie 72 zugeordnet sein können, beispielsweise ein Maß für einen Komfort (resultierende Beschleunigungswerte) und/oder ein Maß für eine Fahrweise (Aggressivität, Relativgeschwindigkeiten zu Verkehrsteilnehmern) und/oder einen Sicherheitsabstand zu den Objekten 20, um nur Beispiele für an sich bekannte Bewertungsmaße für Fahrtrajektorien 72 zu nennen.
In der Umgebungskarte M0 ergeben sich somit für die Pixel 54 Pixelwerte 55, die angeben, dass ein jeweiliges Pixel 54 mit einer der Fahrtrajektorien 72 erreicht werden kann und hierbei der Bewertungswert gemäß der Aggregierungsfunktion 76 erreicht werden kann. Für Bereiche, die von keiner der Fahrtrajektorien 72 erreicht werden, kann ein Standardwert verwendet werden, der angibt, dass dieses Pixel 54 für die Benutzung gesperrt oder blockiert ist. Eine Fahrtrajektorie 72 kann einen oder mehrere Bewertungswerte, beispielsweise eine ortsabhängige Bewertung, umfassen.
Die derart erzeugte Umgebungskarte M0 kann als ideale Ausgabe-Umgebungskarte oder Ground-Truth für den Trainingsalgorithmus, also das zu erreichende Trainingsergebnis verwendet werden, wie dies an sich für das Training eines Modells des maschinellen Lernens bekannt ist.
Eine geeignete, beispielhafte Implementierung kann aus S. Rosbach, V. James, S. Großjohann, S. Homoceanu, and S. Roth, „Driving with Style: Inverse Reinforcement Learning in GeneralPurpose Planning for Automated Driving", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Seiten 2658-2665, Nov. 2019, entnommen werden. Ein GAN zur Erzeugung von Umgebungskarten kann beispielsweise mittels der Beschreibung aus J. Ho and S. Ermon, „Generative adversarial imitation learning," in Advances in Neural Information Processing Systems, 2016, pp. 4565-4573, und der Beschreibung aus O. Ronneberger, P. Fischer, and T. Brox, „U-Net: Convolutional Networks for Biomedical Image Segmentation“, May 2015, implementiert werden. Die Kodierung der Strategiebewertung in Pixeln ermöglicht es zweidimensionalen Faltungsnetzen (CNN) vorteilhafte Positionen in einer Umgebungskarte zu bewerten. Das neuronale Netz nimmt als Eingabe rechteckige Bilder (Umgebungskarten), d.h. das Eingabebild wird in der Größe an die Anforderungen des neuronalen Netzes angepasst wird, und die Ausgabe des neuronalen Netzes wird auf die ursprüngliche Größe der Abmessungen des Eingangsbildes angepasst. Somit kann das neuronale Netz mit unterschiedlichen Verzerrungen zurechtkommen, die von der Form des Zustandsraumes abhängen können (z.B. längliche Umgebungskarten von langgestreckten Autobahnabschnitten gegenüber quadratischen Umgebungskarten von Kreisverkehren). Das Generatornetz einen GAN verwendet bevorzugt die Architektur wie das U-Net Segmentierungsnetz aus der oben genannten Veröffentlichung. Es wurde angepasst, um Bilder der Größe 512x512 als Eingabe zu erhalten und auszugeben durch Hinzufügen eines weiteren Faltungsblocks mit Merkmalskarten.
Insgesamt zeigen die Beispiele, wie ein Training für ein künstliches Neuronales Netzwerk und eine Methode zur Verwendung des Netzwerks in einem automatisiert fahrenden Fahrzeug bereitgestellt werden kann. Es kann eine Interaktion oder Koordination des automatisierten Fahrzeugs mit anderen bewegten Objekten erfolgen.

Claims

Computerimplementiertes Verfahren zum automatisierten Führen eines Fahrzeugs (10) durch eine Umgebung (13), umfassend die Schritte: • Ermitteln von Merkmalsdaten (35) der Umgebung (13), wobei die Merkmalsdaten (35) einen jeweiligen Ort von Objekten (20) der Umgebung (13) und zumindest einige der Merkmalsdaten (35) dynamische Objektmerkmale (47) der Objekte (20) beschreiben, • Ermitteln zumindest einer Umgebungskarte (52) der Umgebung (13), wobei die jeweilige Umgebungskarte (52) eine in Pixeln (54) ortscodierte Repräsentation der Objektmerkmale (47) für den jeweiligen Ort der Objekte (20) enthält, • Eingeben der zumindest einen Umgebungskarte (52) in ein Modell des Maschinellen Lernens und mittels des Modells Erzeugen einer weiteren Umgebungskarte (52) als Ausgabe-Umgebungskarte (51), welche eine in Pixeln (54) ortscodierte Repräsentation eines Bewertungsmaßes (61) für die Umgebung (13) enthält, • Planen einer Vielzahl von möglichen Fahrtrajektorien (40), wobei das Planen der jeweiligen möglichen Fahrtrajektorie (40) eine jeweilige Bewegungsbahn (17) des Fahrzeugs (10) durch die Umgebung (13) ergibt, • für die möglichen Fahrtrajektorien (40) jeweils Projizieren der Bewegungsbahn (17) der jeweiligen möglichen Fahrtrajektorie (40) auf zumindest ein jeweiliges Pixel (54) der Ausgabe-Umgebungskarte (51) und dadurch Ermitteln der von der möglichen Fahrtrajektorie (40) abgedeckten Pixel (54) und Aufsummieren von Pixelwerten (55) der abgedeckten Pixel (54) der Ausgabe-Umgebungskarte (51) zu einem Summenwert für die jeweilige mögliche Fahrtrajektorie (40), • für die jeweilige mögliche Fahrtrajektorie (40) Ermitteln jeweils eines Eignungswerts (41) für deren Verwendung in der Umgebung (13), wobei in den jeweiligen Eignungswert (41) der möglichen Fahrtrajektorie (40) zumindest ihr Summenwert einberechnet wird, • Auswählen derjenigen der möglichen Fahrtrajektorien (40), deren Eignungswert (41) die Fahrtrajektorie als optimalste oder zu verwendende Fahrtrajektorie signalisiert, • Führen des Fahrzeugs (10) durch die Umgebung (13) durch Ansteuern einer Aktuatorik (15) des Fahrzeugs (10) für eine Längsführung und/oder eine Querführung des Fahrzeugs (10) gemäß der ausgewählten Fahrtrajektorie.
Verfahren nach Anspruch 1, wobei das Modell des Maschinellen Lernens dazu trainiert ist, aus Pixelwerten (55) der zumindest einen Umgebungskarte (52) jeweilige Pixelwerte (55) von Pixeln (54) der Ausgabe-Umgebungskarte (51) zu ermitteln, welche eine Wahrscheinlichkeit angeben, dass ein durch das Pixel (54) repräsentierter Umgebungsbereich der Umgebung (13) innerhalb eines vorgegebenen zukünftigen Zeitraums kollisionsfrei und/oder verkehrsregel-konform nutzbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die jeweilige Umgebungskarte (52) die Umgebung (13) zweidimensional abgebildet wird und ein jeweiliger Pixelwert (55) einem Merkmalswert eines jeweiligen Objektmerkmals entspricht.
Verfahren nach Anspruch 3, wobei der jeweilige Pixelwert (55) zumindest einer der zumindest einen Umgebungskarte (52) aus dem Merkmalswert des Objektmerkmals durch Normieren des Merkmalswerts auf ein aktuelles Fahrzeugmerkmal des Fahrzeugs (10), insbesondere eine aktuelle Fahrgeschwindigkeit des Fahrzeugs (10), gebildet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest eine Umgebungskarte (52) zumindest eine der folgenden umfasst: • eine Geschwindigkeitskarte, in welcher Pixelwerte (55) eine Objektgeschwindigkeit und/oder Objektrotation des an dem jeweiligen Pixel (54) kartographierten Objekts (20) angeben, wobei insbesondere für eine Fahrbahn (26) eine für diese geltende Geschwindigkeitsbegrenzung eingetragen ist, • eine Richtungskarte, in welcher Pixelwerte (55) Bewegungsrichtungen des an dem jeweiligen Pixel (54) kartographierten Objekts (20) angeben, wobei insbesondere für eine Fahrbahn (26) eine für diese vorgeschriebene Fahrtrichtung eingetragen ist, • eine Abstandskarte, in welcher Pixelwerte (55) einen Streckenabstand zu einem vorgegebenen Fahrziel (27) des Fahrzeugs (10) angeben, • eine Begrenzungskarte, in welcher Pixelwerte (55) einen Begrenzungstyp (59) einer Begrenzung eines dem Fahrzeug (10) für dessen Fahrt zur Verfügung stehenden Bereichs angeben, • eine Beschleunigungskarte, in welcher Pixelwerte (55) Beschleunigungswerten einer Fahrbeschleunigung von einem oder einigen oder jedem der Objekte (20) entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Planen der möglichen Fahrtrajektorien (40) eine Bewegung und/oder Dynamik und/oder prädizierte zukünftige Bewegung der Objekte (20) unberücksichtigt bleibt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Planen der möglichen Fahrtrajektorien (40) umfasst, dass ausgehend von einer aktuellen Position des Fahrzeugs (10) in der Umgebung (13) eine Abfolge von zukünftigen Fahrzuständen des Fahrzeugs (10) berechnet wird, indem der jeweilige in der Abfolge nächste Zustand aus dem in der Abfolge vorhergehenden Zustand durch eine Aktion betreffend eine Längsführung und/oder Querführung des Fahrzeugs (10) ermittelt wird, wobei eine Ausführungswahrscheinlichkeit für die Aktion aus statischen und/oder kinematischen Merkmalen des Fahrzeugs (10) berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in zumindest einem Modus der Summenwert und/oder der Eignungswert (41) der jeweiligen möglichen Fahrtrajektorie (40) frei von einer Bewegungsprädiktion (46) derjenigen Objekte (20), die sich in Bewegung befinden, durchgeführt wird.
Verfahren zum Erzeugen eines Modells des Maschinellen Lernens für ein Verfahren nach einem der vorhergehenden Ansprüche, umfassend die Schritte: • Ermitteln von historischen Ablaufdaten (70), welche einen zeitlichen Ablauf einer vergangenen Verkehrssituation (32) beschreiben, in welcher in Bewegung befindliche Objekte (20) in einer Referenzumgebung (13) fahren, • Ermitteln einer Vielzahl von zulässigen Fahrtrajektorien (72), welche für ein Fahrzeug (10) in der Verkehrssituation (32) für eine kollisionsfreie und/oder verkehrsregel-konforme Fahrt durch die Referenzumgebung (13) möglich wären, wobei beim Ermitteln der Fahrtrajektorien die durch die Ablaufdaten (70) beschriebene Bewegung der Objekte (20) als vorgegebenes Vorwissen (87) vorgegeben wird und wobei die jeweilige zulässige Fahrtrajektorie (72) eine Bewegungsbahn (17) für das Fahrzeug (10) durch die Referenzumgebung (13) umfasst und der Fahrtrajektorie zumindest ein Bewertungswert (60) der Fahrtrajektorie zugeordnet wird, • Ermitteln einer pixelbasierten Ausgabe-Umgebungskarte (51) der Referenzumgebung (13), in welcher als Pixelwerte (55) von Pixeln (54) der Umgebungskarte (52) der kleinste oder größte Bewertungswert (60) der das Pixel (54) mit ihrer Bewegungsbahn (17) abdeckenden Fahrtrajektorien oder eine Kombination der Bewertungswerte (60) dieser Fahrtrajektorien eingetragen ist, • Ermitteln zumindest einer Umgebungskarte (52) der Referenzumgebung (13), wobei die jeweilige Umgebungskarte (52) eine in Pixeln (54) ortscodierte Repräsentation von Objektmerkmalen (47) der Objekte (20) zu einem Startzeitpunkt (T0) der Verkehrssituation (32) unter Ausschluss der Ablauflaufdaten für den Verlauf der Verkehrssituation (32) enthält, • Trainieren des Modells mittels der zumindest einen Umgebungskarte (52) als Eingangsdaten und der Ausgabe-Umgebungskarte (51) als Labeldaten.
Verfahren nach Anspruch 9, wobei das Modell und/oder das Training auf einem künstlichen Neuronalen Netzwerk zur Bild-zu-Bild-Übersetzung beruht.
Verfahren nach Anspruch 9 oder 10, wobei das Bewertungsmaß eine Kritikalität der Fahrtrajektorie in Bezug auf Abstände und/oder Relativgeschwindigkeiten zu den Objekten (20) angibt.
Datensatz eines Modells des Maschinellen Lernens und/oder Datenträger umfassend den Datensatz und/oder Verwendung des Modells des Maschinellen Lernens zum automatisierten Führen eines Fahrzeugs (10), wobei das Modell durch ein Verfahren nach einem der Ansprüche 9 bis 11 erzeugt ist.
Ausgabe-Umgebungskarte (51) und/oder Datenträger umfassend die Ausgabe-Umgebungskarte (51), die in einem Verfahren nach einem der vorhergehenden Verfahrensansprüche erzeugt ist.
Prozessorschaltung (11), die Programmcode umfasst, der bei Ausführen durch die Prozessorschaltung (11) diese veranlasst, ein Verfahren nach einem der vorhergehenden Verfahrensansprüche durchzuführen.
Fahrzeug (10) mit einer Prozessorschaltung (11) nach Anspruch 14.