DE102023114901A1 - Steuerparameterbasierter suchraum für fahrzeugbewegungsplanung - Google Patents

Steuerparameterbasierter suchraum für fahrzeugbewegungsplanung Download PDF

Info

Publication number
DE102023114901A1
DE102023114901A1 DE102023114901.6A DE102023114901A DE102023114901A1 DE 102023114901 A1 DE102023114901 A1 DE 102023114901A1 DE 102023114901 A DE102023114901 A DE 102023114901A DE 102023114901 A1 DE102023114901 A1 DE 102023114901A1
Authority
DE
Germany
Prior art keywords
vehicle
trajectory
sequence
control parameters
spatial representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102023114901.6A
Other languages
English (en)
Inventor
Robert Beaudoin
Benjamin Riviere
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of DE102023114901A1 publication Critical patent/DE102023114901A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zum Erzeugen einer Trajektorie für ein Fahrzeug auf Grundlage eines abstrakten Raums von Steuerparametern, die mit dem Fahrzeug assoziiert sind, kann Anwenden eines maschinellen Lernmodells umfassen, um eine abstrakte Raumdarstellung der Trajektorie zu bestimmen, die eine Abfolge mit dem Fahrzeug assoziierter Steuerparameter beinhaltet. Beispielsweise kann eine Anwendung des maschinellen Lernmodells Durchführen einer Suche im abstrakten Raum beinhalten, der durch Steuerparameter parametrisiert ist, die Ableitungen der Position des Fahrzeugs enthalten. Zu Beispielen für Steuerparameter zählen Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung und Schnappen. Eine physische Raumdarstellung der Trajektorie kann bestimmt werden, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird. Eine Bewegung des Fahrzeugs kann auf Grundlage zumindest der physischen Raumdarstellung der Trajektorie gesteuert werden. Zudem werden Systeme und Computerprogrammprodukte angegeben.

Description

  • HINTERGRUND
  • Ein autonomes Fahrzeug ist in der Lage, seine Umgebung mit minimalen oder gar keinen menschlichen Eingaben zu erfassen und durch diese zu navigieren. Um das Fahrzeug sicher entlang eines ausgewählten Wegs zu navigieren, kann das Fahrzeug auf einen Bewegungsplanungsprozess zurückgreifen, um eine oder mehrere Trajektorien durch seine unmittelbare Umgebung zu erzeugen und auszuführen. Die Trajektorie des Fahrzeugs kann auf Grundlage des aktuellen Zustands des Fahrzeugs selbst und der Bedingungen in der Umgebung des Fahrzeugs erzeugt werden, zu der sowohl bewegliche Objekte wie andere Fahrzeuge und Fußgänger als auch unbewegliche Objekte wie Gebäude und Straßenmasten gehören können. Die Trajektorie kann zum Beispiel erzeugt werden, um Kollisionen zwischen dem Fahrzeug und den in seiner Umgebung vorhandenen Objekten zu vermeiden. Darüber hinaus kann die Trajektorie so erzeugt werden, dass das Fahrzeug in Übereinstimmung mit anderen wünschenswerten Eigenschaften fährt, wie z.B. Weglänge, Fahrqualität oder -komfort, benötigte Fahrzeit, Einhaltung von Verkehrsregeln, Befolgung von Fahrpraktiken und/oder dergleichen. Der Bewegungsplanungsprozess kann ferner Aktualisieren der Trajektorie des Fahrzeugs und/oder Erzeugen einer neuen Trajektorie für das Fahrzeug in Reaktion auf Änderungen des Zustands des Fahrzeugs und seiner Umgebung beinhalten.
  • KURZBESCHREIBUNG DER FIGUREN
    • 1 ist eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems beinhaltet, implementiert werden kann;
    • 2 ist ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System beinhaltet;
    • 3 ist ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme von 1 und 2;
    • 4A ist ein Diagramm bestimmter Komponenten eines autonomen Systems;
    • 4B ist ein Diagramm einer Implementierung eines neuronalen Netzes;
    • 4C und 4D sind Diagramme, die einen beispielhaften Betrieb eines CNN veranschaulichen;
    • 5A ist ein Blockdiagramm, das ein Beispiel für ein System zum Erzeugen einer Trajektorie für ein Fahrzeug veranschaulicht;
    • 5B ist ein Blockdiagramm, das ein Beispiel für ein System zum Erzeugen einer Trajektorie für ein Fahrzeug veranschaulicht;
    • 6 ist ein Flussdiagramm, das ein Beispiel für einen Prozess zum Trainieren eines maschinellen Lernmodells durch inverses Verstärkungslernen (inverse reinforcement learning, IRL) veranschaulicht;
    • 7 zeigt ein Flussdiagramm, das ein Beispiel für einen Prozess veranschaulicht, bei dem ein maschinelles Lernmodell die Belohnung für eine vorgeschlagene Aktion bestimmt;
    • 8 ist ein schematisches Diagramm, das ein Beispiel für eine Monte-Carlo-Baumsuche (Monte Carlo tree search, MCTS) zeigt; und
    • 9 zeigt ein Flussdiagramm, das ein Beispiel für einen Prozess zum Erzeugen einer Trajektorie für ein Fahrzeug auf Grundlage eines abstrakten Raums veranschaulicht.
  • AUSFÜHRLICHE BESCHREIBUNG
  • In der nachfolgenden Beschreibung werden zu Erläuterungszwecken zahlreiche konkrete Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Offenbarung zu vermitteln. Es versteht sich jedoch, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen auch ohne diese konkreten Einzelheiten umgesetzt werden können. In einigen Fällen werden hinlänglich bekannte Strukturen und Vorrichtungen in Blockdiagrammform veranschaulicht, um eine unnötige Verunklarung von Aspekten der vorliegenden Offenbarung zu vermeiden.
  • Konkrete Anordnungen oder Ordnungen schematischer Elemente, wie solche, die Systeme, Vorrichtungen, Module, Anweisungsblöcke, Datenelemente und/oder dergleichen darstellen, sind zur leichteren Beschreibung in den Zeichnungen veranschaulicht. Ein Fachmann versteht jedoch, dass die konkrete Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Reihenfolge oder Abfolge der Verarbeitung oder eine Trennung von Prozessen erforderlich ist, soweit dies nicht ausdrücklich beschrieben ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden können, sofern dies nicht ausdrücklich beschrieben ist.
  • Wenn ferner in den Zeichnungen Verbindungselemente wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, eine Beziehung oder einen Zusammenhang zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, so ist das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, keine Beziehung oder kein Zusammenhang vorliegen kann. Mit anderen Worten sind einige Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen in den Zeichnungen nicht veranschaulicht, um die Offenbarung nicht zu verunklaren. Zusätzlich kann zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet werden, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen darzustellen. Wenn beispielsweise ein Verbindungselement Kommunikation von Signalen, Daten oder Anweisungen (z.B. „Software-Anweisungen“) darstellt, sollte ein Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z.B. einen Bus) repräsentieren kann, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
  • Auch wenn die Ausdrücke „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen zur Beschreibung verschiedener Elemente verwendet werden, ist nicht beabsichtigt, dass diese Elemente durch diese Ausdrücke eingeschränkt werden. Die Ausdrücke „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als zweiter Kontakt bezeichnet werden und entsprechend ein zweiter Kontakt als erster Kontakt, ohne vom Umfang der beschriebenen Ausführungsformen abzuweichen. Sowohl beim ersten Kontakt als auch beim zweiten Kontakt handelt es sich um Kontakte, jedoch nicht um denselben Kontakt.
  • Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen vorliegend verwendete Terminologie ist nur zum Zweck der Beschreibung konkreter Ausführungsformen enthalten und soll nicht einschränkend sein. Die Singularformen „ein/eine“ und „der/die/das“, wie sie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den beiliegenden Ansprüchen verwendet werden, sollen ebenso die Pluralformen einschließen und können synonym mit „eine/r oder mehrere“ oder „mindestens ein/e“ verwendet werden, sofern nicht durch den Kontext eindeutig anders angegeben. Zudem versteht es sich, dass sich der Ausdruck „und/oder“ wie vorliegend verwendet auf sämtliche mögliche Kombinationen aus einem oder mehreren der zugehörigen aufgeführten Elemente bezieht und diese umfasst. Es versteht sich ferner, dass die Ausdrücke „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, soweit in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
  • Vorliegend beziehen sich die Bezeichnungen „Kommunikation“ und „kommunizieren“ auf den Empfang und/oder den Erhalt und/oder die Übertragung und/oder den Transfer und/oder die Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen repräsentiert werden). Wenn eine Einheit (z.B. eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) mit einer anderen Einheit in Kommunikation steht, bedeutet dies, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder Informationen an die andere Einheit zu senden (z.B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die drahtgebundener und/oder drahtloser Art ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und der zweiten Einheit modifiziert, verarbeitet, weitergeleitet und/oder geroutet werden. So kann zum Beispiel eine erste Einheit auch dann mit einer zweiten Einheit in Kommunikation stehen, wenn die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen an die zweite Einheit überträgt. Als weiteres Beispiel kann eine erste Einheit mit einer zweiten Einheit in Kommunikation stehen, wenn mindestens eine Zwischeneinheit (z.B. eine dritte Einheit, die sich zwischen der ersten und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen an die zweite Einheit weiterleitet. In einigen Ausführungsformen kann sich eine Nachricht auf ein Netzpaket (z.B. ein Datenpaket und/oder dergleichen) beziehen, das Daten enthält.
  • Vorliegend soll der Ausdruck „falls“ wahlweise so ausgelegt werden, dass er in Abhängigkeit vom Zusammenhang „wenn“, „bei“, „in Reaktion auf Bestimmen“, „in Reaktion auf Erkennen“ und/oder dergleichen bedeutet. Gleichermaßen wird die Formulierung „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] erkannt wird“ je nach Kontext wahlweise als „bei Bestimmen“, „in Reaktion auf Bestimmen“, „bei Erkennen [der angegebenen Bedingung oder des angegebenen Ereignisses]“, „in Reaktion auf Erkennen [der angegebenen Bedingung oder des angegebenen Ereignisses]“ und/oder dergleichen bedeutend ausgelegt. Vorliegend sollen zudem die Ausdrücke „hat/weist auf“, „haben/aufweisen“, „aufweisend“ oder dergleichen offene Ausdrücke sein. Ferner soll der Ausdruck „basierend auf“ „zumindest teilweise basierend auf“ bedeuten, insofern nichts anderes ausdrücklich angegeben ist.
  • Es wird nun ausführlicher Bezug auf Ausführungsformen genommen, zu denen Beispiele in den beiliegenden Zeichnungen veranschaulicht sind. In der nachfolgenden ausführlichen Beschreibung werden zahlreiche konkrete Einzelheiten dargelegt, um ein vollständiges Verständnis der verschiedenen beschriebenen Ausführungsformen zu gewährleisten. Ein Fachmann versteht jedoch, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese konkreten Einzelheiten umgesetzt werden können. In anderen Fällen wurden hinlänglich bekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, um eine unnötige Verschleierung von Aspekten der Ausführungsformen zu vermeiden.
  • Allgemeiner Überblick
  • Gemäß einigen Aspekten und/oder Ausführungsformen beinhalten und/oder implementieren vorliegend beschriebene Systeme, Verfahren und Computerprogrammprodukte einen Bewegungsplaner für ein Fahrzeug (z.B. ein autonomes Fahrzeug), der eine Trajektorie für das Fahrzeug auf Grundlage eines abstrakten Raums mit dem Fahrzeug assoziierter Steuerparameter erzeugt. Die resultierende Trajektorie kann dazu verwendet werden, die Bewegung des Fahrzeugs so zu steuern, dass eine Kollision zwischen dem Fahrzeug und einem oder mehreren Objekten in der Umgebung des Fahrzeugs vermieden wird. Darüber hinaus kann die resultierende Trajektorie in einigen Fällen durch Begrenzen des abstrakten Raums auf Grundlage bestimmter kinematischer und/oder physikalischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, zudem zusätzliche wünschenswerte Eigenschaften erfüllen, wie beispielsweise eine Weglänge, eine Fahrqualität oder einen Fahrkomfort, eine erforderliche Fahrzeit, Einhaltung von Verkehrsregeln, Befolgung von Fahrpraktiken und/oder dergleichen.
  • Durch die Implementierung vorliegend beschriebener Systeme, Verfahren und Computerprogrammprodukte werden Methoden für Bewegungsplanung sowie zum Trainieren eines für Bewegungsplanung verwendeten maschinellen Lernmodells bereitgestellt. Beispielsweise kann ein maschinelles Lernmodell trainiert werden, um eine abstrakte Raumdarstellung der Trajektorie zu erzeugen, die eine Abfolge von Steuerparametern für das Fahrzeug beinhaltet. Zu den Steuerparametern können eine oder mehrere Ableitungen einer Position des Fahrzeugs zählen, wie z.B. Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung, Schnappen und/oder dergleichen. Eine physische Raumdarstellung der Trajektorie kann bestimmt werden, indem die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird, z.B. eine Abfolge zweidimensionaler Raumkoordinaten oder dreidimensionaler Raumkoordinaten für das Fahrzeug. Das Abbilden aus der Abfolge von Steuerparametern auf die Abfolge von Positionen kann durch Lösen eines Anfangswertproblems erreicht werden, wobei eine erste Funktion, die die Abfolge von Steuerparametern auf diskrete Zeitschritte abbildet, integriert wird, um eine zweite Funktion zu erzeugen, die die Abfolge von Positionen auf diskrete Zeitschritte abbildet. Die zweite Funktion, die die Abfolge von Positionen auf diskrete Zeitschritte abbildet, kann ferner auf Grundlage einer oder mehrerer mit dem Fahrzeug assoziierter Anfangsbedingungen bestimmt werden.
  • In 1 ist eine beispielhafte Umgebung 100 dargestellt, in der sowohl Fahrzeuge mit autonomen Systemen als auch Fahrzeuge ohne solche Systeme betrieben werden. Wie veranschaulicht wird, beinhaltet die Umgebung 100 Fahrzeuge 102a-102n, Objekte 104a-104n, Routen 106a-106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110, ein Netzwerk 112, ein entfernt angeordnetes AV- (autonomes Fahrzeug) System 114, ein Fuhrparkverwaltungssystem 116 und ein V21-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110, das Netzwerk 112, das AV-System 114, das Fuhrparkverwaltungssystem 116 und das V21-System 118 sind über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen miteinander verbunden (z.B. stellen diese eine Verbindung zur Kommunikation her und/oder dergleichen). In einigen Ausführungsformen sind die Objekte 104a-104n über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen mit den Fahrzeugen 102a-102n und/oder der Fahrzeug-zu-Infrastruktur- (V21-) Vorrichtung 110 und/oder dem Netzwerk 112 und/oder dem AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 und/oder dem V2I-System 118 verbunden.
  • Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und kollektiv als Fahrzeuge 102 bezeichnet) beinhalten mindestens eine Vorrichtung, die zum Transportieren von Gütern und/oder Menschen ausgelegt ist. In einigen Ausführungsformen sind die Fahrzeuge 102 so ausgelegt, dass sie über das Netzwerk 112 mit der V21-Vorrichtung 110, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 in Kommunikation stehen. In einigen Ausführungsformen beinhalten die Fahrzeuge 102 Autos, Busse, Lastkraftwagen, Züge und/oder dergleichen. In einigen Ausführungsformen sind die Fahrzeuge 102 gleich oder ähnlich wie die vorliegend beschriebenen Fahrzeuge 200 (siehe 2). In einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem Verwalter eines autonomen Fuhrparks assoziiert. In einigen Ausführungsformen fahren die Fahrzeuge 102 entlang jeweiliger Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet), wie vorliegend beschrieben. In einigen Ausführungsformen beinhalten ein oder mehrere Fahrzeuge 102 ein autonomes System (z.B. ein autonomes System, das dem autonomen System 202 gleicht oder ähnelt).
  • Zu den Objekten 104a-104n (einzeln als Objekt 104 und gemeinsam als Objekte 104 bezeichnet) zählen beispielsweise mindestens ein Fahrzeug, mindestens ein Fußgänger, mindestens ein Radfahrer, mindestens ein Gebilde (z.B. ein Gebäude, ein Schild, ein Hydrant usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z.B. für eine bestimmte Zeit an einem festen Ort) oder mobil (z.B. mit einem Geschwindigkeitsvektor und mindestens einer Trajektorie). In einigen Ausführungsformen sind die Objekte 104 mit entsprechenden Standorten in dem Bereich 108 assoziiert.
  • Die Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils mit einer Abolge von Aktionen (auch als Trajektorie bezeichnet) assoziiert (z.B. geben sie diese vor), die Zustände miteinander verbinden, entlang derer ein AV navigieren kann. Jede Route 106 beginnt mit einem Anfangszustand (z.B. einem Zustand, der einem ersten raumzeitlichen Standort, einem Geschwindigkeitsvektor und/oder dergleichen entspricht) und einem Endzielzustand (z.B. einem Zustand, der einem zweiten raumzeitlichen Standort entspricht, der sich vom ersten raumzeitlichen Standort unterscheidet) oder einer Zielregion (z.B. einem Teilraum akzeptabler Zustände (z.B. Endzustände)). In einigen Ausführungsformen beinhaltet der erste Zustand einen Standort, an dem ein Individuum oder Individuen durch das AV abzuholen ist/sind, und der zweite Zustand oder die zweite Region beinhaltet einen Standort oder Standorte, an dem/denen das Individuum oder die Individuen, das/die durch das AV abgeholt wurde/n, abzusetzen ist/sind. In einigen Ausführungsformen beinhalten die Routen 106 eine Vielzahl von akzeptablen Zustandsabfolgen (z.B. eine Vielzahl von raumzeitlichen Standortabfolgen), wobei die Vielzahl von Zustandsabfolgen mit einer Vielzahl von Trajektorien assoziiert ist (z.B. diese definiert). In einem Beispiel beinhalten die Routen 106 nur übergeordnete Aktionen oder ungenaue Zustandsorte, wie z.B. eine Reihe verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorgeben. Zusätzlich oder alternativ können die Routen 106 genauere Aktionen oder Zustände beinhalten, wie etwa zum Beispiel spezifische Zielspuren oder genaue Standorte innerhalb der Spurbereiche und eine angezielte Geschwindigkeit an diesen Positionen. In einem Beispiel beinhalten die Routen 106 eine Vielzahl präziser Zustandsabfolgen entlang der mindestens einen Abfolge übergeordneter Aktionen mit einem begrenzten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination aufeinanderfolgender Iterationen von Zustandsabfolgen mit begrenztem Horizont kumulativ einer Vielzahl von Trajektorien entspricht, die zusammen die übergeordnete Route bilden, um im endgültigen Zielzustand oder der Zielregion anzukommen.
  • Der Bereich 108 beinhaltet einen physischen Bereich (z.B. eine geografische Region), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel beinhaltet der Bereich 108 mindestens einen Staat (z.B. ein Land, eine Provinz, einen einzelnen Staat einer Vielzahl von Staaten, die zu einem Land gehören, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In einigen Ausführungsformen beinhaltet der Bereich 108 mindestens eine benannte Durchgangsstraße (im Folgenden als „Straße“ bezeichnet), wie z.B. eine Autobahn, eine Fernstraße, eine Parkstraße, eine Stadtstraße usw. Zusätzlich oder alternativ beinhaltet der Bereich 108 in einigen Beispielen mindestens einen unbenannten Verkehrsweg wie eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines freien und/oder unbebauten Grundstücks, einen Feldweg usw. In einigen Ausführungsformen beinhaltet eine Straße mindestens eine Fahrspur (z.B. einen Teil der Straße, der durch Fahrzeuge 102 befahren werden kann). In einem Beispiel beinhaltet eine Straße mindestens eine Fahrspur, die mit mindestens einer Fahrspurmarkierung assoziiert ist (z.B. auf Grundlage dieser Markierung identifiziert wird).
  • Die Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110 (manchmal auch als Fahrzeug-zu-Infrastruktur- oder Fahrzeug-zu-Alles- (V2X-) Vorrichtung bezeichnet) beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit Fahrzeugen 102 und/oder dem V21-Infrastruktursystem 118 in Kommunikation steht. In einigen Ausführungsformen ist die V21-Einrichtung 110 so ausgelegt, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 in Kommunikation steht. In einigen Ausführungsformen beinhaltet die V21-Vorrichtung 110 eine Hochfrequenzkennungs- (Radio Frequency Identification, RFID-) Vorrichtung, Verkehrsschilder, Kameras (z.B. zweidimensionale (2D-) und/oder dreidimensionale (3D-) Kameras), Fahrspurmarkierungen, Straßenlaternen, Parkuhren usw. In einigen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, direkt mit den Fahrzeugen 102 zu kommunizieren. Zusätzlich oder alternativ ist in einigen Ausführungsformen die V21-Vorrichtung 110 so ausgelegt, dass sie über das V21-System 118 mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 kommuniziert. In einigen Ausführungsformen ist die V21-Vorrichtung 110 so ausgelegt, dass sie über das Netzwerk 112 mit dem V21-System 118 kommuniziert.
  • Das Netzwerk 112 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel beinhaltet das Netzwerk 112 ein Mobilfunknetz (z.B. ein LTE- (Long Term Evolution) Netz, ein 3G- (dritte Generation) Netz, ein 4G-(vierte Generation) Netz, ein 5G- (fünfte Generation) Netz, ein CDMA- (code division multiple access, Codemultiplex-Vielfachzugriff-) Netz usw.), ein öffentliches Mobilfunknetz (PLMN, public land mobile network), ein lokales Netzwerk (local area network, LAN), ein Weitverkehrsnetz (wide area network, WAN), ein Stadtnetz (metropolitan area network, MAN), ein Telefonnetz (z.B. das öffentliche Telefonnetz (PSTN, public switched telephone network)), ein privates Netzwerk, ein Ad-hoc-Netz, ein Intranet, das Internet, ein glasfaserbasiertes Netzwerk, ein Cloud-Computing-Netzwerk usw., eine Kombination einiger oder aller dieser Netzwerke und/oder dergleichen.
  • Das entfernt angeordnete AV-System 114 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem Netzwerk 112, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 in Kommunikation steht. In einem Beispiel beinhaltet das entfernt angeordnete AV-System 114 einen Server, eine Gruppe von Servern und/oder andere ähnliche Vorrichtungen. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 zusammen mit dem Fuhrparkverwaltungssystem 116 angeordnet. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 an der Installation einiger oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines AV-Computers, von einem AV-Computer implementierter Software und/oder dergleichen. In einigen Ausführungsformen wartet (z.B. aktualisiert und/oder ersetzt) das entfernt angeordnete AV-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
  • Das Fuhrparkverwaltungssystem 116 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie sich in Kommunikation mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem V2I-Infrastruktursystem 118 befindet. In einem Beispiel beinhaltet das Fuhrparkverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere derartige Vorrichtungen. In einigen Ausführungsformen ist das Fuhrparkverwaltungssystem 116 mit einem Fahrgemeinschaftsunternehmen assoziiert (z.B. einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (z.B. Fahrzeuge, die autonome Systeme beinhalten, und/oder Fahrzeuge, die keine autonomen Systeme beinhalten), und/oder dergleichen).
  • In einigen Ausführungsformen beinhaltet das V21-System 118 mindestens eine Vorrichtung, die dazu ausgelegt ist, über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 in Kommunikation zu stehen. In einigen Beispielen ist das V21-System 118 dazu ausgelegt, über eine andere Verbindung als das Netzwerk 112 mit der V21-Vorrichtung 110 in Kommunikation zu stehen. In einigen Ausführungsformen beinhaltet das V21-System 118 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In einigen Ausführungsformen ist das V21-System 118 mit einer Stadtverwaltung oder einer privaten Institution (z.B. einer privaten Institution, die die V21-Vorrichtung 110 verwaltet und/oder dergleichen) assoziiert.
  • Die Anzahl und Anordnung der in 1 dargestellten Elemente ist lediglich beispielhaft. Es können zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten vorhanden sein. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens ein anderes Element von 1 durchgeführt beschrieben werden. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen ausführen, die als von mindestens einem anderen Satz von Elementen der Umgebung 100 ausgeführt beschrieben sind.
  • Gemäß 2 beinhaltet das Fahrzeug 200 (das dem Fahrzeug 102 aus 1 gleichen oder ähneln kann) das autonome System 202, das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206 und das Bremssystem 208 oder ist mit diesen assoziiert. In einigen Ausführungsformen ist das Fahrzeug 200 gleich oder ähnlich wie das Fahrzeug 102 (siehe 1). In einigen Ausführungsformen ist das autonome System 202 so ausgelegt, dass es dem Fahrzeug 200 die Fähigkeit zum autonomen Fahren verleiht (z.B. mindestens eine fahrautomatisierungs- oder manöverbasierte Funktion, ein Merkmal, eine Vorrichtung und/oder dergleichen implementiert, die es ermöglichen, dass das Fahrzeug 200 teilweise oder vollständig ohne menschliches Eingreifen betrieben werden kann, einschließlich, ohne Einschränkung, vollständig autonomer Fahrzeuge (z.B. Fahrzeuge, die auf menschliches Eingreifen verzichten, wie ADS-betriebene Fahrzeuge der Stufe 5), hochautonome Fahrzeuge (z.B. Fahrzeuge, die in bestimmten Situationen auf menschliches Eingreifen verzichten, wie ADS-betriebene Fahrzeuge der Stufe 4), bedingt autonome Fahrzeuge (z.B. Fahrzeuge, die in begrenzten Situationen auf menschliches Eingreifen verzichten, wie ADS-betriebene Fahrzeuge der Stufe 3) und/oder dergleichen. In einer Ausführungsform beinhaltet das autonome System 202 operative oder taktische Funktionen, die erforderlich sind, um das Fahrzeug 200 im Straßenverkehr zu betreiben und eine dynamische Fahraufgabe (dynamic driving task, DDT) teilweise oder ganz und dauerhaft auszuführen. In einer anderen Ausführungsform beinhaltet das autonome System 202 ein Fahrassistenzsystem (Advanced Driver Assistance System, ADAS), das Funktionen zur Unterstützung des Fahrers enthält. Das autonome System 202 unterstützt verschiedene Stufen der Fahrautomatisierung, die von keiner Fahrautomatisierung (z.B. Stufe 0) bis zur vollständigen Fahrautomatisierung (z.B. Stufe 5) reichen. Für eine ausführliche Beschreibung von vollautonomen Fahrzeugen und hochgradig autonomen Fahrzeugen wird auf SAE International`s Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatischen Straßen-Kraftfahrzeug-Fahrsystemen), der hiermit in seiner Gesamtheit einbezogen wird, verwiesen. In einigen Ausführungsformen ist das Fahrzeug 200 mit einem Verwalter eines autonomen Fuhrparks und/oder einem Fahrgemeinschaftsunternehmen assoziiert.
  • Das autonome System 202 beinhaltet eine Sensorsuite, die eine oder mehrere Vorrichtungen wie etwa Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c und Mikrofone 202d beinhaltet. In einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen beinhalten (z.B. Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (siehe unten), Odometriesensoren, die Daten im Zusammenhang mit einer Anzeige einer zurückgelegten Strecke des Fahrzeugs 200 erzeugen, und/oder dergleichen). In einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren Vorrichtungen, die im autonomen System 202 enthalten sind, um Daten im Zusammenhang mit der Umgebung 100 wie vorliegend beschrieben zu erzeugen. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere vorliegend beschriebene Systeme verwendet werden, um die Umgebung (z.B. die Umgebung 100) zu beobachten, in der sich das Fahrzeug 200 befindet. In einigen Ausführungsformen beinhaltet das autonome System 202 eine Kommunikationsvorrichtung 202e, einen AV-Computer 202f, ein Drive-by-Wire- (DBW-) System 202h und eine Sicherheitssteuereinheit 202g.
  • Die Kameras 202a beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Kameras 202a beinhalten mindestens eine Kamera (z.B. eine Digitalkamera mit einem Lichtsensor wie beispielsweise einer ladungsgekoppelten Vorrichtung (charge-coupled device, CCD), eine Wärmebildkamera, eine Infrarot- (IR-) Kamera, eine Ereigniskamera und/oder dergleichen), um Bilder mit physischen Objekten (z.B. Autos, Busse, Bordsteine, Menschen und/oder dergleichen) aufzunehmen. In einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In einigen Beispielen erzeugt die Kamera 202a Kameradaten, die mit einem Bild assoziierte Bilddaten enthalten. In diesem Beispiel können die Bilddaten mindestens einen dem Bild entsprechenden Parameter (z.B. Bildeigenschaften wie Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) angeben. In einem solchen Beispiel kann das Bild in einem Format vorliegen (z.B. RAW, JPEG, PNG und/oder dergleichen). In einigen Ausführungsformen beinhaltet die Kamera 202a eine Vielzahl unabhängiger Kameras, die an einem Fahrzeug konfiguriert (z.B. positioniert) sind, um Bilder zum Zweck der Stereopsis (räumliches Sehen) aufzunehmen. In einigen Beispielen beinhaltet die Kamera 202a eine Vielzahl von Kameras, die Bilddaten erzeugen und die Bilddaten an den AV-Computer 202f und/oder ein Fuhrparkverwaltungssystem (z.B. ein Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnlich ist) übertragen. In einem solchen Beispiel bestimmt der AV-Computer 202f eine Tiefe zu einem oder mehreren Objekten in einem Sichtfeld von mindestens zwei Kameras der Vielzahl von Kameras auf Grundlage der Bilddaten von den mindestens zwei Kameras. In einigen Ausführungsformen sind die Kameras 202a so ausgelegt, dass sie Bilder von Objekten innerhalb einer Entfernung von den Kameras 202a aufnehmen (z.B. bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen). Dementsprechend beinhalten die Kameras 202a Merkmale wie Sensoren und Objektive, die für die Wahrnehmung von Objekten optimiert sind, die sich in einer oder mehreren Entfernungen zu den Kameras 202a befinden.
  • In einer Ausführungsform beinhaltet die Kamera 202a mindestens eine Kamera, die so ausgelegt ist, dass sie ein oder mehrere Bilder im Zusammenhang mit einer oder mehreren Ampeln, Straßenschildern und/oder anderen physischen Objekten aufnimmt, die optische Navigationsinformationen liefern. In einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten im Zusammenhang mit einem oder mehreren Bildern. In einigen Beispielen erzeugt die Kamera 202a TLD-(traffic light detection, TLD - Ampelerkennungs-) Daten, die mit einem oder mehreren Bildern assoziiert sind, die ein Format (z.B. RAW, JPEG, PNG und/oder dergleichen) beinhalten. In einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen vorliegend beschriebenen Systemen, die Kameras enthalten, dadurch, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld beinhalten kann (z.B. ein Weitwinkelobjektiv, ein Fischaugenobjektiv, ein Objektiv mit einem Betrachtungswinkel von etwa 120 Grad oder mehr und/oder dergleichen), um Bilder über möglichst viele physische Objekte zu erzeugen.
  • Die LiDAR- (light detection and ranging, Lichtabstandsmessung) Sensoren 202b beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die LiDAR-Sensoren 202b beinhalten ein System, das dazu ausgelegt ist, Licht von einem Lichtemitter (z.B. einem Lasersender) zu übertragen. Durch die LiDAR-Sensoren 202b emittiertes Licht beinhaltet Licht (z.B. Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. In einigen Ausführungsformen trifft von den LiDAR-Sensoren 202b emittiertes Licht während des Betriebs auf ein physisches Objekt (z.B. ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b zurückreflektiert. In einigen Ausführungsformen durchdringt das von den LiDAR-Sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. Die LiDAR-Sensoren 202b beinhalten zudem mindestens einen Lichtdetektor, der das Licht detektiert, das vom Lichtemitter emittiert wurde, nachdem das Licht auf ein physisches Objekt traf. In einigen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den LiDAR-Sensoren 202b assoziiert ist, ein Bild (z.B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der LiDAR-Sensoren 202b enthaltenen Objekte repräsentiert. In einigen Beispielen erzeugt das mindestens eine mit dem LiDAR-Sensor 202b assoziierte Datenverarbeitungssystem ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z.B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einem solchen Beispiel wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der LiDAR-Sensoren 202b zu bestimmen.
  • Die Radar- (radio detection and ranging, Funkabstandsmessung) Sensoren 202c beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Radarsensoren 202c beinhalten ein System, das so ausgelegt ist, dass es Funkwellen (entweder gepulst oder kontinuierlich) überträgt. Die durch die Radarsensoren 202c übertragenen Funkwellen beinhalten Funkwellen, die innerhalb eines vorbestimmten Spektrums liegen In einigen Ausführungsformen treffen durch die Radarsensoren 202c übertragene Funkwellen während des Betriebs auf ein physisches Objekt und werden zu den Radarsensoren 202c zurückreflektiert. In einigen Ausführungsformen werden die durch die Radarsensoren 202c übertragenen Funkwellen von einigen Objekten nicht reflektiert. In einigen Ausführungsformen erzeugt mindestens ein mit den Radarsensoren 202c assoziiertes Datenverarbeitungssystem Signale, die die in einem Sichtfeld der Radarsensoren 202c enthaltenen Objekte darstellen. Beispielsweise erzeugt das mindestens eine mit dem Radarsensor 202c assoziierte Datenverarbeitungssystem ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z.B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einigen Beispielen wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der Radarsensoren 202c zu bestimmen.
  • Die Mikrofone 202d beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Mikrofone 202d beinhalten ein oder mehrere Mikrofone (z.B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten erzeugen, die mit den Audiosignalen assoziiert sind (z.B. diese repräsentieren). In einigen Beispielen beinhalten die Mikrofone 202d Wandlervorrichtungen und/oder ähnliche Vorrichtungen. In einigen Ausführungsformen können ein oder mehrere vorliegend beschriebene Systeme die von den Mikrofonen 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zum Fahrzeug 200 (z.B. eine Entfernung und/oder dergleichen) auf Grundlage der mit den Daten assoziierten Audiosignale bestimmen.
  • Die Kommunikationsvorrichtung 202e beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, dem AV-Computer 202f, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung beinhalten, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnlich ist. In einigen Ausführungsformen beinhaltet die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug- (V2V-) Kommunikationsvorrichtung (z.B. eine Vorrichtung, die eine drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
  • Der AV-Computer 202f beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet der AV-Computer 202f eine Vorrichtung wie etwa eine Client-Vorrichtung, eine mobile Vorrichtung (z.B. ein Mobiltelefon, ein Tablet und/oder dergleichen), einen Server (z.B. eine Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Grafikverarbeitungseinheiten und/oder dergleichen beinhaltet) und/oder dergleichen. In einigen Ausführungsformen gleicht oder ähnelt der AV-Computer 202f dem vorliegend beschriebenen AV-Computer 400. Zusätzlich oder alternativ ist in einigen Ausführungsformen der AV-Computer 202f so ausgelegt, dass er mit einem AV-System (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 aus 1 gleicht oder ähnelt), einem Fuhrparkverwaltungssystem (z.B. einem Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V21-Vorrichtung (z.B. einer V21-Vorrichtung, die der V2I-Vorrichtung 110 aus 1 gleicht oder ähnelt), und/oder einem V2l-System (z.B. einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) in Kommunikation steht.
  • Die Sicherheitssteuereinheit 202g beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet die Sicherheitssteuereinheit 202g eine oder mehrere Steuereinheiten (elektrische Steuereinheiten, elektromechanische Steuereinheiten und/oder dergleichen), die so ausgelegt sind, dass sie Steuersignale erzeugen und/oder übertragen, um eine oder mehrere Vorrichtungen des Fahrzeugs 200 (z.B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. In einigen Ausführungsformen ist die Sicherheitssteuereinheit 202g dazu ausgelegt, Steuersignale zu erzeugen, die gegenüber Steuersignalen Vorrang haben (z.B. überschreiben), die durch den AV-Computer 202f erzeugt und/oder übertragen werden.
  • Das DBW-System 202h beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit der Kommunikationsvorrichtung 202e und/oder dem AV-Computer 202f in Kommunikation steht. In einigen Beispielen beinhaltet das DBW-System 202h eine oder mehrere Steuereinheiten (z.B. elektrische Steuereinheiten, elektromechanische Steuereinheiten und/oder dergleichen), die so ausgelegt sind, dass sie Steuersignale erzeugen und/oder übertragen, um eine oder mehrere Vorrichtungen des Fahrzeugs 200 (z.B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinheiten des DBW-Systems 202h so ausgelegt, dass sie Steuersignale erzeugen und/oder übertragen, um mindestens eine andere Vorrichtung (z.B. einen Blinker, Scheinwerfer, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu betreiben.
  • Das Antriebsstrangsteuersystem 204 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, mit dem DBW-System 202h in Kommunikation zu stehen. In einigen Beispielen beinhaltet das Antriebsstrangsteuersystem 204 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale vom DBW-System 202h und das Antriebsstrangsteuersystem 204 bewirkt, dass das Fahrzeug 200 eine Fahrzeugbewegung in Längsrichtung vollzieht, beispielsweise anfängt, sich vorwärtszubewegen, aufhört, sich vorwärtszubewegen, anfängt, sich rückwärtszubewegen, aufhört, sich rückwärtszubewegen, in eine Richtung beschleunigt, in eine Richtung abbremst, oder eine seitliche Fahrzeugbewegung vollzieht, beispielsweise nach links abbiegt, nach rechts abbiegt und/oder dergleichen. In einem Beispiel bewirkt das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (z.B. Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich mindestens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
  • Das Lenkungssteuersystem 206 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. In einigen Beispielen beinhaltet das Lenkungssteuersystem 206 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen bewirkt das Lenkungssteuersystem 206, dass sich die beiden Vorderräder und/oder die beiden Hinterräder des Fahrzeugs 200 nach links oder rechts drehen, um zu bewirken, dass das Fahrzeug 200 nach links oder rechts abbiegt. Mit anderen Worten veranlasst das Lenkungssteuersystem 206 die für die Regulierung der y-Achsen-Komponente der Fahrzeugbewegung erforderlichen Aktivitäten.
  • Das Bremssystem 208 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit reduziert und/oder stationär bleibt. In einigen Beispielen beinhaltet das Bremssystem 208 mindestens eine Steuereinheit und/oder einen Aktuator, die/der so ausgelegt ist, dass sie/er einen oder mehrere Bremssättel, die mit einem oder mehreren Rädern des Fahrzeugs 200 assoziiert sind, veranlasst, sich an einem entsprechenden Rotor des Fahrzeugs 200 zu schließen. Zusätzlich oder alternativ beinhaltet das Bremssystem 208 in einigen Beispielen ein automatisches Notbrems- (automatic emergency braking, AEB) System, ein regeneratives Bremssystem und/oder dergleichen.
  • In einigen Ausführungsformen beinhaltet das Fahrzeug 200 mindestens einen (nicht explizit dargestellten) Plattformsensor, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. In einigen Beispielen beinhaltet das Fahrzeug 200 Plattformsensoren wie einen GPS- (Global Positioning System) Empfänger, eine Trägheitsmesseinheit (inertial measurement unit, IMU), einen Raddrehzahlsensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen. Auch wenn das Bremssystem 208 in 2 auf der hinteren Seite des Fahrzeugs 200 dargestellt ist, kann sich das Bremssystem 208 überall im Fahrzeug 200 befinden.
  • 3 veranschaulicht eine schematische Darstellung einer Vorrichtung 300. Wie dargestellt, beinhaltet die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Speicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302. In einigen Ausführungsformen entspricht die Vorrichtung 300 mindestens einer Vorrichtung der Fahrzeuge 102 (z.B. mindestens einer Vorrichtung eines Systems der Fahrzeuge 102), mindestens einer Vorrichtung des Systems 500 und/oder einer oder mehreren Vorrichtungen des Netzwerks 112 (z.B. einer oder mehreren Vorrichtungen eines Systems des Netzwerks 112). In einigen Ausführungsformen beinhalten eine oder mehrere Vorrichtungen der Fahrzeuge 102 (z.B. eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102), eine oder mehrere Vorrichtungen des Systems 500 und/oder eine oder mehrere Vorrichtungen des Netzwerks 112 (z.B. eine oder mehrere Vorrichtungen eines Systems des Netzwerks 112) mindestens eine Vorrichtung 300 und/oder mindestens eine Komponente der Vorrichtung 300. Wie in 3 gezeigt, beinhaltet die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Speicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314.
  • Der Bus 302 beinhaltet eine Komponente, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. In einigen Fällen beinhaltet der Prozessor 304 einen Prozessor (z.B. eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU) und/oder dergleichen), ein Mikrofon, einen digitalen Signalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z.B. ein frei programmierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um mindestens eine Funktion auszuführen. Der Speicher 306 beinhaltet Direktzugriffsspeicher (RAM), Nur-LeseSpeicher (ROM) und/oder eine andere Art von dynamischer und/oder statischer Speichervorrichtung (z.B. Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die Daten und/oder Anweisungen zur Verwendung durch den Prozessor 304 speichert.
  • Die Speicherkomponente 308 speichert Daten und/oder Software bezüglich des Betriebs und der Verwendung der Vorrichtung 300. In einigen Beispielen beinhaltet die Speicherkomponente 308 eine Festplatte (z.B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte, eine Solid-State-Platte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
  • Die Eingabeschnittstelle 310 beinhaltet eine Komponente, die es der Vorrichtung 300 ermöglicht, Informationen zu empfangen, z.B. über Benutzereingaben (z.B. eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen). Zusätzlich oder alternativ beinhaltet die Eingabeschnittstelle 310 in einigen Ausführungsformen einen Sensor, der Informationen erfasst (z.B. einen GPS-(Global Positioning System) Empfänger, einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 beinhaltet eine Komponente, die Ausgabeinformationen von der Vorrichtung 300 bereitstellt (z.B. eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
  • In einigen Ausführungsformen beinhaltet die Kommunikationsschnittstelle 314 eine Sendeempfänger-ähnliche Komponente (z.B. einen Sendeempfänger, einen separaten Empfänger und Sender und/oder dergleichen), die es der Vorrichtung 300 ermöglicht, mit anderen Vorrichtungen über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen zu kommunizieren. In einigen Beispielen ermöglicht die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. In einigen Beispielen beinhaltet die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz- (radio frequency, RF-) Schnittstelle, eine USB- (Universal Serial Bus) Schnittstelle, eine Wi-Fi®-Schnittstelle, eine Zellularnetzwerkschnittstelle und/oder dergleichen.
  • In einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere vorliegend beschriebene Prozesse durch. Die Vorrichtung 300 führt diese Prozesse basierend darauf durch, dass der Prozessor 304 Softwareanweisungen ausführt, die durch ein computerlesbares Medium gespeichert werden, wie etwa den Speicher 305 und/oder die Speicherkomponente 308. Ein computerlesbares Medium (z.B. ein nichtflüchtiges computerlesbares Medium) ist vorliegend als eine nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung beinhaltet Speicherplatz, der sich innerhalb einer einzelnen physischen Speicherungsvorrichtung befindet, oder Speicherplatz, der über mehrere physische Speicherungsvorrichtungen verteilt ist.
  • In einigen Ausführungsformen werden Softwareanweisungen von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherkomponente 308 eingelesen. Bei ihrer Ausführung bewirken die im Speicher 306 und/oder in der Speicherkomponente 308 gespeicherten Softwareanweisungen, dass der Prozessor 304 einen oder mehrere vorliegend beschriebene Prozesse durchführt. Zusätzlich oder alternativ werden festverdrahtete Schaltungsanordnungen anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. Somit sind vorliegend beschriebene Ausführungsformen nicht auf eine bestimmte Kombination von Hardware-Schaltungsanordnung und Software beschränkt, sofern nicht ausdrücklich anders angegeben.
  • Der Speicher 306 und/oder die Speicherkomponente 308 beinhalten einen Datenspeicher oder mindestens eine Datenstruktur (z.B. eine Datenbank und/oder dergleichen). Die Vorrichtung 300 ist in der Lage, Informationen aus dem Datenspeicher oder der mindestens einen Datenstruktur in dem Speicher 306 oder der Speicherkomponente 308 zu empfangen, darin zu speichern, Informationen zu übermitteln oder darin gespeicherte Informationen zu durchsuchen. In einigen Beispielen beinhalten die Informationen Netzwerkdaten, Eingabedaten, Ausgabedaten oder eine beliebige Kombination aus diesen.
  • In einigen Ausführungsformen ist die Vorrichtung 300 so ausgelegt, dass sie Softwareanweisungen ausführt, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (z.B. einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) gespeichert sind. Vorliegend bezieht sich die Bezeichnung „Modul“ auf mindestens eine im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherte Anweisung, die bei Ausführung durch den Prozessor 304 und/oder durch einen Prozessor einer anderen Vorrichtung (z.B. einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) die Vorrichtung 300 (z.B. mindestens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. In einigen Ausführungsformen wird ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
  • Die Anzahl und Anordnung der in 3 dargestellten Komponenten ist lediglich beispielhaft. In einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 veranschaulicht beinhalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z.B. eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen durchführen, die als durch eine andere Komponente oder einen anderen Satz von Komponenten der Vorrichtung 300 durchgeführt beschrieben werden.
  • 4 veranschaulicht ein beispielhaftes Blockdiagramm eines AV-Computers 400 (manchmal auch als „AV-Stapel“ (AV stack) bezeichnet). Wie veranschaulicht ist, beinhaltet der AV-Computer 400 ein Wahrnehmungssystem 402 (manchmal als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als Steuermodul bezeichnet) und eine Datenbank 410. In einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z.B. dem AV-Computer 202f des Fahrzeugs 200) enthalten und/oder implementiert. Zusätzlich oder alternativ sind in einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten (z.B. einem oder mehreren Systemen, die dem AV-Computer 400 gleichen oder ähneln, und/oder dergleichen). In einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten, die sich in einem Fahrzeug und/oder in mindestens einem entfernt angeordneten System wie vorliegend beschrieben befinden. In einigen Ausführungsformen sind beliebige und/oder alle Systeme, die im AV-Computer 400 enthalten sind, in Software (z.B. in Softwareanweisungen, die im Speicher gespeichert sind), Computerhardware (z.B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen (ASICs), frei programmierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen aus Computersoftware und Computerhardware implementiert. Es versteht sich zudem, dass in einigen Ausführungsformen der AV-Computer 400 so ausgelegt ist, dass er mit einem entfernt angeordneten System kommuniziert (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 gleicht oder ähnelt, einem Fuhrparkverwaltungssystem 116, das dem Fuhrparkverwaltungssystem 116 gleicht oder ähnelt, einem V21-System, das dem V2I-System 118 gleicht oder ähnelt, und/oder dergleichen).
  • In einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten im Zusammenhang mit mindestens einem physischen Objekt (z.B. Daten, die vom Wahrnehmungssystem 402 zur Erkennung des mindestens einen physischen Objekts verwendet werden) in einer Umgebung und klassifiziert das mindestens eine physische Objekt. In einigen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die von mindestens einer Kamera (z.B. den Kameras 202a) erfasst wurden, wobei das Bild mit einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera assoziiert ist (z.B. diese darstellt). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt basierend auf einer oder mehreren Gruppierungen physischer Objekte (z.B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). In einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten, die mit der Klassifizierung der physischen Objekte assoziiert sind, an das Planungssystem 404 auf Grundlage des Klassifizierens der physischen Objekte durch das Wahrnehmungssystem 402.
  • In einigen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einem Zielort assoziiert sind, und erzeugt Daten, die mit mindestens einer Route (z.B. den Routen 106) assoziiert sind, entlang derer ein Fahrzeug (z.B. die Fahrzeuge 102) zu einem Zielort fahren kann. In einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (z.B. Daten, die mit der vorstehend beschriebenen Klassifizierung physischer Objekte zusammenhängen), und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. Mit anderen Worten kann das Planungssystem 404 taktische funktionsbezogene Aufgaben ausführen, die für den Betrieb des Fahrzeugs 102 im Straßenverkehr erforderlich sind. Zu taktischen Maßnahmen gehört das Manövrieren des Fahrzeugs im Verkehr während einer Fahrt, darunter, ohne jedoch hierauf eingeschränkt zu sein, das Entscheiden, ob und wann ein anderes Fahrzeug überholt oder die Fahrspur gewechselt werden soll, oder das Auswählen einer geeigneten Geschwindigkeit, Beschleunigung, Verlangsamung usw. In einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Verbindung mit einer aktualisierten Position eines Fahrzeugs (z.B. der Fahrzeuge 102) vom Lokalisierungssystem 406, und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
  • In einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten, die mit einem Standort eines Fahrzeugs (z.B. der Fahrzeuge 102) in einem Bereich assoziiert sind (z.B. diesen darstellen). In einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten im Zusammenhang mit mindestens einer Punktwolke, die von mindestens einem LiDAR-Sensor (z.B. den LiDAR-Sensoren 202b) erzeugt wurden. In bestimmten Beispielen empfängt das Lokalisierungssystem 406 Daten im Zusammenhang mit mindestens einer Punktwolke von mehreren LiDAR-Sensoren, und das Lokalisierungssystem 406 erzeugt eine kombinierte Punktwolke auf Grundlage jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungssystem 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D-) und/oder einer dreidimensionalen (3D-) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs in dem Bereich basierend darauf, dass das Lokalisierungssystem 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In einigen Ausführungsformen beinhaltet die Karte eine kombinierte Punktwolke des Bereichs, die vor der Navigation des Fahrzeugs erzeugt wird. In einigen Ausführungsformen beinhalten Karten, ohne jedoch hierauf eingeschränkt zu sein, hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Fahrbahn beschreiben (z.B. Verkehrsgeschwindigkeit, Verkehrsaufkommen, Anzahl der Fahrspuren für den Auto- und Radverkehr, Fahrspurbreite, Fahrspurrichtungen oder Fahrspurmarkierungstypen und -orte oder Kombinationen davon), sowie Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben. In einigen Ausführungsformen wird die Karte in Echtzeit auf Grundlage der vom Wahrnehmungssystem empfangenen Daten erzeugt.
  • In einem anderen Beispiel empfängt das Lokalisierungssystem 406 GNSS-(Global Navigation Satellite System, globales Navigationssatellitensystem) Daten, die von einem GPS- (Global Positioning System, globales Positionsbestimmungssystem) Empfänger erzeugt werden. In einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten im Zusammenhang mit dem Standort des Fahrzeugs in dem Bereich, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Bereich. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Bereich auf Grundlage des Breiten- und des Längengrads des Fahrzeugs. In einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten im Zusammenhang mit der Position des Fahrzeugs. In einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten im Zusammenhang mit der Position des Fahrzeugs auf Grundlage des Bestimmens der Position des Fahrzeugs durch das Lokalisierungssystem 406. In einem solchen Beispiel beinhalten die Daten im Zusammenhang mit der Position des Fahrzeugs Daten, die mit einer oder mehreren semantischen Eigenschaften entsprechend der Position des Fahrzeugs assoziiert sind.
  • In einigen Ausführungsformen empfängt das Steuersystem 408 Daten im Zusammenhang mit mindestens einer Trajektorie vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs. In einigen Beispielen empfängt das Steuersystem 408 Daten im Zusammenhang mit mindestens einer Trajektorie vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs, indem es Steuersignale erzeugt und überträgt, um ein Antriebsstrangsteuersystem (z.B. das DBW-System 202h, das Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenkungssteuersystem (z.B. das Lenkungssteuersystem 206) und/oder ein Bremssystem (z.B. das Bremssystem 208) in Betrieb zu setzen. Das Steuersystem 408 ist beispielsweise so ausgelegt, dass es betriebliche Funktionen wie eine seitliche Fahrzeugbewegungssteuerung oder eine Fahrzeuglängsbewegungssteuerung ausführt. Die seitliche Fahrzeugbewegungssteuerung bewirkt Aktivitäten, die für die Regulierung der y-Achsen-Komponente der Fahrzeugbewegung notwendig sind. Die Fahrzeuglängsbewegungssteuerung bewirkt Aktivitäten, die für die Regulierung der x-Achsen-Komponente der Fahrzeugbewegung erforderlich sind. In einem Beispiel, in dem eine Trajektorie eine Linkskurve beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um das Lenkungssteuersystem 206 zu veranlassen, einen Lenkwinkel des Fahrzeugs 200 einzustellen, wodurch bewirkt wird, dass das Fahrzeug 200 nach links abbiegt. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um andere Vorrichtungen (z.B. Scheinwerfer, Blinker, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, ihren Zustand zu ändern.
  • In einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell (z.B. mindestens ein mehrschichtiges Perzeptron (multilayer perceptron, MLP), mindestens ein neuronales Faltungsnetz (convolutional neural network, CNN), mindestens ein rekurrentes neuronales Netz (RNN), mindestens einen Autoencoder, mindestens einen Transformator und/oder dergleichen). In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell allein oder in Kombination mit einem oder mehreren der vorstehend angemerkten Systeme. In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell als Teil einer Pipeline (z.B. einer Pipeline zum Identifizieren eines oder mehrerer Objekte in einer Umgebung und/oder dergleichen). Ein Beispiel einer Implementierung eines maschinellen Lernmodells ist nachstehend mit Bezug auf 4B-4D enthalten.
  • In der Datenbank 410 werden Daten gespeichert, die an das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 übertragen, von diesen empfangen und/oder aktualisiert werden. In einigen Beispielen beinhaltet die Datenbank 410 eine Speicherkomponente (z.B. eine Speicherkomponente, die der Speicherkomponente 308 aus 3 gleicht oder ähnelt), die Daten und/oder Software im Zusammenhang mit dem Betrieb speichert und mindestens ein System des AV-Computers 400 verwendet. In einigen Ausführungsformen speichert die Datenbank 410 Daten im Zusammenhang mit 2D- und/oder 3D-Karten mindestens eines Bereichs. In einigen Beispielen speichert die Datenbank 410 Daten im Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Bezirks, eines Bundesstaates, eines Staates (z.B. eines Landes) und/oder dergleichen. In einem solchen Beispiel kann ein Fahrzeug (z.B. ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einer oder mehrerer befahrbarer Regionen (z.B. einspurige Straßen, mehrspurige Straßen, Autobahnen, Nebenstraßen, Geländepfade und/oder dergleichen) fahren und mindestens einen LiDAR-Sensor (z.B. einen LiDAR-Sensor, der den LiDAR-Sensoren 202b gleicht oder ähnelt) veranlassen, Daten im Zusammenhang mit einem Bild zu erzeugen, das die in einem Sichtfeld des mindestens einen LiDAR-Sensors enthaltenen Objekte darstellt.
  • In einigen Ausführungsformen kann die Datenbank 410 auf einer Vielzahl von Vorrichtungen implementiert werden. In einigen Beispielen ist die Datenbank 410 in einem Fahrzeug (z.B. einem Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt), einem AV-System (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 gleicht oder ähnelt), einem Fuhrparkverwaltungssystem (z.B. einem Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnelt), einem V21-System (z.B. einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) und/oder dergleichen enthalten.
  • Gemäß 4B ist ein Diagramm einer Implementierung eines maschinellen Lernmodells veranschaulicht. Genauer ist ein Diagramm einer Implementierung eines neuronalen Faltungsnetzes (CNN) 420 veranschaulicht. Zu Veranschaulichungszwecken wird die folgende Beschreibung des CNN 420 in Bezug auf eine Implementierung des CNN 420 durch das Wahrnehmungssystem 402 bereitgestellt. Es versteht sich jedoch, dass in einigen Beispielen das CNN 420 (z.B. eine oder mehrere Komponenten des CNN 420) durch andere Systeme verschieden von oder zusätzlich zu dem Wahrnehmungssystem 402, wie das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408, implementiert wird. Wenngleich das CNN 420 bestimmte Merkmale beinhaltet, wie vorliegend beschrieben, sind diese Merkmale für Veranschaulichungszwecke bereitgestellt und sollen die vorliegende Offenbarung nicht beschränken.
  • Das CNN 420 beinhaltet eine Vielzahl von Faltungsschichten, einschließlich einer ersten Faltungsschicht 422, einer zweiten Faltungsschicht 424 und einer Faltungsschicht 426. In einigen Ausführungsformen beinhaltet das CNN 420 eine Subsampling-Schicht 428 (manchmal als eine Pooling-Schicht bezeichnet). In einigen Ausführungsformen haben die Subsampling-Schicht 428 und/oder andere Subsampling-Schichten eine Dimension (d.h. eine Menge an Knoten), die kleiner ist als eine Dimension eines vorgelagerten (Upstream-) Systems. Da die Subsampling-Schicht 428 eine Dimension aufweist, die kleiner ist als eine Dimension einer Upstream-Schicht, konsolidiert das CNN 420 die Datenmenge, die mit der initialen Eingabe und/oder der Ausgabe einer Upstream-Schicht assoziiert ist, um dadurch die Menge an Berechnungen zu verringern, die notwendig sind, damit das CNN 420 weitere (Downstream-) Faltungsoperationen durchführt. Zusätzlich oder alternativ konsolidiert das CNN 420, da die Subsampling-Schicht 428 mit mindestens einer Subsampling-Funktion assoziiert ist (z.B. ausgelegt ist, diese durchzuführen) (wie nachstehend mit Bezug auf 4C und 4D beschrieben), die Menge an Daten, die mit der initialen Eingabe assoziiert ist.
  • Das Wahrnehmungssystem 402 führt Faltungsoperationen basierend darauf durch, dass das Wahrnehmungssystem 402 jeweilige Eingaben und/oder Ausgaben bereitstellt, die mit sowohl der ersten Faltungsschicht 422, der zweiten Faltungsschicht 424 als auch der Faltungsschicht 426 assoziiert sind, um jeweilige Ausgaben zu erzeugen. In einigen Beispielen implementiert das Wahrnehmungssystem 402 das CNN 420 basierend darauf, dass das Wahrnehmungssystem 402 Daten als Eingabe in die erste Faltungsschicht 422, die zweite Faltungsschicht 424 und die Faltungsschicht 426 bereitstellt. In einem solchen Beispiel liefert das Wahrnehmungssystem 402 die Daten als Eingabe in die erste Faltungsschicht 422, die zweite Faltungsschicht 424 und die Faltungsschicht 426 basierend darauf, dass das Wahrnehmungssystem 402 Daten von einem oder mehreren verschiedenen Systemen empfängt (z.B. einem oder mehreren Systemen eines Fahrzeugs, das gleich oder ähnlich ist wie das Fahrzeug 102, einem entfernt angeordneten AV-System, das gleich oder ähnlich ist wie das entfernt angeordnete AV-System 114, einem Fuhrparkverwaltungssystem, das gleich oder ähnlich ist wie das Fuhrparkverwaltungssystem 116, einem V21-System, das gleich oder ähnlich ist wie das V21-System 118, und/oder dergleichen). Eine ausführliche Beschreibung von Faltungsoperationen ist nachstehend mit Bezug auf 4C enthalten.
  • In einigen Ausführungsformen liefert das Wahrnehmungssystem 402 Daten im Zusammenhang mit einer Eingabe (als eine initiale Eingabe bezeichnet) in die erste Faltungsschicht 422, und das Wahrnehmungssystem 402 erzeugt Daten im Zusammenhang mit einer Ausgabe unter Verwendung der ersten Faltungsschicht 422. In einigen Ausführungsformen stellt das Wahrnehmungssystem 402 eine durch eine Faltungsschicht erzeugte Ausgabe als Eingabe in eine andere Faltungsschicht bereit. Zum Beispiel stellt das Wahrnehmungssystem 402 die Ausgabe der ersten Faltungsschicht 422 als Eingabe in die Subsampling-Schicht 428, die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 bereit. In einem solchen Beispiel wird die erste Faltungsschicht 422 als eine Upstream-Schicht bezeichnet, und die Subsampling-Schicht 428, die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 werden als Downstream-Schichten bezeichnet. In ähnlicher Weise stellt das Wahrnehmungssystem 402 in einigen Ausführungsformen die Ausgabe der Subsampling-Schicht 428 an die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 bereit, und in diesem Beispiel würde die Subsampling-Schicht 428 als eine Upstream-Schicht bezeichnet werden, und die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 würden als Downstream-Schichten bezeichnet werden.
  • In einigen Ausführungsformen verarbeitet das Wahrnehmungssystem 402 die Daten, die mit der dem CNN 420 bereitgestellten Eingabe assoziiert sind, bevor das Wahrnehmungssystem 402 die Eingabe an das CNN 420 liefert. Beispielsweise verarbeitet das Wahrnehmungssystem 402 die Daten, die mit der dem CNN 420 bereitgestellten Eingabe assoziiert sind, basierend darauf, dass das Wahrnehmungssystem 402 Sensordaten (z.B. Bilddaten, LiDAR-Daten, Radardaten und/oder dergleichen) normalisiert.
  • In einigen Ausführungsformen erzeugt das CNN 420 eine Ausgabe basierend darauf, dass das Wahrnehmungssystem 402 Faltungsoperationen durchführt, die mit jeder Faltungsschicht assoziiert sind. In einigen Beispielen erzeugt das CNN 420 eine Ausgabe basierend darauf, dass das Wahrnehmungssystem 402 Faltungsoperationen durchführt, die mit jeder Faltungsschicht und einer initialen Eingabe assoziiert sind. In einigen Ausführungsformen erzeugt das Wahrnehmungssystem 402 die Ausgabe und liefert die Ausgabe als eine vollständig verknüpfte Schicht 430. In einigen Beispielen liefert das Wahrnehmungssystem 402 die Ausgabe der Faltungsschicht 426 als die vollständig verknüpfte Schicht 430, wobei die vollständig verknüpfte Schicht 430 Daten beinhaltet, die mit mehreren Merkmalswerten assoziiert sind, bezeichnet als F1, F2 ... FN. In diesem Beispiel beinhaltet die Ausgabe der Faltungsschicht 426 Daten, die mit einer Vielzahl von Ausgabemerkmalswerten assoziiert sind, die eine Vorhersage repräsentieren.
  • In einigen Ausführungsformen identifiziert das Wahrnehmungssystem 402 eine Vorhersage aus einer Vielzahl von Vorhersagen basierend darauf, dass das Wahrnehmungssystem 402 einen Merkmalswert identifiziert, der mit der höchsten Wahrscheinlichkeit assoziiert ist, dass es sich um die korrekte Vorhersage aus der Vielzahl von Vorhersagen handelt. Wenn beispielsweise die vollständig verknüpfte Schicht 430 Merkmalswerte F1, F2, ... FN beinhaltet und F1 der größte Merkmalswert ist, identifiziert das Wahrnehmungssystem 402 die mit F1 assoziierte Vorhersage als die korrekte Vorhersage aus der Vielzahl von Vorhersagen. In einigen Ausführungsformen trainiert das Wahrnehmungssystem 402 das CNN 420 darauf, die Vorhersage zu erzeugen. In einigen Beispielen trainiert das Wahrnehmungssystem 402 das CNN 420 darauf, die Vorhersage zu erzeugen, basierend darauf, dass das Wahrnehmungssystem 402 dem CNN 420 Trainingsdaten im Zusammenhang mit der Vorhersage bereitstellt.
  • Gemäß 4C und 4D ist ein Diagramm eines beispielhaften Betriebs eines CNN 440 durch das Wahrnehmungssystem 402 veranschaulicht. In einigen Ausführungsformen gleicht oder ähnelt das CNN 440 (z.B. eine oder mehrere Komponenten des CNN 440) dem CNN 420 (z.B. einer oder mehreren Komponenten des CNN 420) (siehe 4B).
  • In Schritt 450 liefert das Wahrnehmungssystem 402 Daten, die mit einem Bild assoziiert sind, als Eingabe in ein CNN 440 (Schritt 450). Beispielsweise liefert, wie veranschaulicht, das Wahrnehmungssystem 402 die Daten, die mit dem Bild assoziiert sind, an das CNN 440, wobei das Bild ein Graustufenbild ist, das als Werte repräsentiert ist, die in einem zweidimensionalen (2D-) Array gespeichert sind. In einigen Ausführungsformen können die Daten, die mit dem Bild assoziiert sind, Daten beinhalten, die mit einem Farbbild assoziiert sind, wobei das Farbbild als Werte repräsentiert ist, die in einem dreidimensionalen (3D-) Array gespeichert sind. Zusätzlich oder alternativ können die Daten, die mit dem Bild assoziiert sind, Daten beinhalten, die mit einem Infrarotbild, einem Radarbild und/oder dergleichen assoziiert sind.
  • In Schritt 455 führt das CNN 440 eine erste Faltungsfunktion durch. Beispielsweise führt das CNN 440 die erste Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die das Bild repräsentieren, als Eingabe in ein oder mehrere Neuronen (nicht ausdrücklich veranschaulicht), die in der ersten Faltungsschicht 442 enthalten sind, bereitstellt. In diesem Beispiel können die Werte, die das Bild repräsentieren, Werten entsprechen, die eine Region des Bildes repräsentieren (manchmal als ein rezeptives Feld bezeichnet). In einigen Ausführungsformen ist jedes Neuron mit einem Filter (nicht ausdrücklich veranschaulicht) assoziiert. Ein Filter (manchmal als ein Kernel bezeichnet) ist als ein Array von Werten repräsentierbar, das in der Größe den Werten entspricht, die als Eingabe in das Neuron bereitgestellt werden. In einem Beispiel kann ein Filter dazu ausgelegt sein, Kanten (z.B. horizontale Linien, vertikale Linien, gerade Linien und/oder dergleichen) zu identifizieren. In folgenden Faltungsschichten können die mit Neuronen assoziierten Filter dazu ausgelegt sein, sukzessive komplexere Muster (z.B. Bögen, Objekte und/oder dergleichen) zu identifizieren.
  • In einigen Ausführungsformen führt das CNN 440 die erste Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die jedem des einen oder der mehreren in der ersten Faltungsschicht 442 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 440 die Werte, die jedem des einen oder der mehreren in der ersten Faltungsschicht 442 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multiplizieren, um einen einzelnen Wert oder ein Array von Werten als eine Ausgabe zu erzeugen. In einigen Ausführungsformen wird die kollektive Ausgabe der Neuronen der ersten Faltungsschicht 442 als eine gefaltete Ausgabe bezeichnet. In einigen Ausführungsformen, in denen jedes Neuron das gleiche Filter aufweist, wird die gefaltete Ausgabe als eine Merkmalskarte (feature map) bezeichnet.
  • In einigen Ausführungsformen liefert das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 an Neuronen einer Downstream-Schicht. Für Verdeutlichungszwecke kann eine Upstream-Schicht eine Schicht sein, die Daten an eine andere Schicht (als eine Downstream-Schicht bezeichnet) überträgt. Beispielsweise kann das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 an entsprechende Neuronen einer Subsampling-Schicht liefern. In einem Beispiel liefert das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 an entsprechende Neuronen der ersten Subsampling-Schicht 444. In einigen Ausführungsformen fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die jedem Neuron der Downstream-Schicht geliefert werden. Beispielsweise fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die jedem Neuron der ersten Subsampling-Schicht 444 geliefert werden. In einem solchen Beispiel bestimmt das CNN 440 einen finalen Wert, der jedem Neuron der ersten Subsampling-Schicht 444 bereitzustellen ist, basierend auf den Aggregaten aller Werte, die jedem Neuron geliefert werden, und einer Aktivierungsfunktion, die mit jedem Neuron der ersten Subsampling-Schicht 444 assoziiert ist.
  • In Schritt 460 führt das CNN 440 eine erste Subsampling-Funktion durch. Beispielsweise kann das CNN 440 eine erste Subsampling-Funktion basierend darauf durchführen, dass das CNN 440 die Werte, die durch die erste Faltungsschicht 442 ausgegeben werden, an entsprechende Neuronen der ersten Subsampling-Schicht 444 liefert. In einigen Ausführungsformen führt das CNN 440 die erste Subsampling-Funktion basierend auf einer Aggregationsfunktion durch. In einem Beispiel führt das CNN 440 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 440 die maximale Eingabe unter den Werten bestimmt, die einem gegebenen Neuron geliefert werden (als Max-Pooling-Funktion bezeichnet). In einem anderen Beispiel führt das CNN 440 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 440 die durchschnittliche Eingabe unter den Werten bestimmt, die einem gegebenen Neuron geliefert werden (als Average-Pooling-Funktion bezeichnet). In einigen Ausführungsformen erzeugt das CNN 440 eine Ausgabe basierend darauf, dass das CNN 440 die Werte jedem Neuron der ersten Subsampling-Schicht 444 liefert, wobei die Ausgabe manchmal als gefaltete Subsampling-Ausgabe bezeichnet wird.
  • In Schritt 465 führt das CNN 440 eine zweite Faltungsfunktion durch. In einigen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion auf eine ähnliche Weise durch, wie das CNN 440 die vorstehend beschriebene erste Faltungsfunktion durchführte. In einigen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die durch die erste Subsampling-Schicht 444 ausgegeben werden, als Eingabe in ein oder mehrere Neuronen (nicht ausdrücklich veranschaulicht), die in der zweiten Faltungsschicht 446 enthalten sind, bereitstellt. In einigen Ausführungsformen ist jedes Neuron der zweiten Faltungsschicht 446 mit einem Filter assoziiert, wie vorstehend beschrieben. Das eine oder die mehreren mit der zweiten Faltungsschicht 446 assoziierten Filter können dazu ausgelegt sein, komplexere Muster als das Filter zu identifizieren, das mit der ersten Faltungsschicht 442 assoziiert ist, wie vorstehend beschrieben.
  • In einigen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die jedem des einen oder der mehreren in der zweiten Faltungsschicht 446 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 440 die Werte, die jedem des einen oder der mehreren in der zweiten Faltungsschicht 446 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multiplizieren, um einen einzelnen Wert oder ein Array von Werten als eine Ausgabe zu erzeugen.
  • In einigen Ausführungsformen liefert das CNN 440 die Ausgaben jedes Neurons der zweiten Faltungsschicht 446 an Neuronen einer Downstream-Schicht. Beispielsweise kann das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 an entsprechende Neuronen einer Subsampling-Schicht liefern. In einem Beispiel liefert das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 an entsprechende Neuronen der zweiten Subsampling-Schicht 448. In einigen Ausführungsformen fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die jedem Neuron der Downstream-Schicht geliefert werden. Beispielsweise fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die jedem Neuron der zweiten Subsampling-Schicht 448 geliefert werden. In einem solchen Beispiel bestimmt das CNN 440 einen finalen Wert, der jedem Neuron der zweiten Subsampling-Schicht 448 bereitzustellen ist, basierend auf den Aggregaten aller Werte, die jedem Neuron geliefert werden, und einer Aktivierungsfunktion, die mit jedem Neuron der zweiten Subsampling-Schicht 448 assoziiert ist.
  • In Schritt 470 führt das CNN 440 eine zweite Subsampling-Funktion durch. Beispielsweise kann das CNN 440 eine zweite Subsampling-Funktion basierend darauf durchführen, dass das CNN 440 die Werte, die durch die zweite Faltungsschicht 446 ausgegeben werden, an entsprechende Neuronen der zweiten Subsampling-Schicht 448 liefert. In einigen Ausführungsformen führt das CNN 440 die zweite Subsampling-Funktion basierend darauf durch, dass das CNN 440 eine Aggregationsfunktion verwendet. In einem Beispiel führt das CNN 440 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 440 die maximale Eingabe oder eine durchschnittliche Eingabe unter den Werten, die einem gegebenen Neuron bereitgestellt werden, bestimmt, wie vorstehend beschrieben. In einigen Ausführungsformen erzeugt das CNN 440 eine Ausgabe basierend darauf, dass das CNN 440 die Werte jedem Neuron der zweiten Subsampling-Schicht 448 liefert.
  • In Schritt 475 liefert das CNN 440 die Ausgabe jedes Neurons der zweiten Subsampling-Schicht 448 an vollständig verknüpfte Schichten 449. Beispielsweise liefert das CNN 440 die Ausgabe jedes Neurons der zweiten Subsampling-Schicht 448 an vollständig verknüpfte Schichten 449, um zu bewirken, dass die vollständig verknüpften Schichten 449 eine Ausgabe erzeugen. In einigen Ausführungsformen sind die vollständig verknüpften Schichten 449 dazu ausgelegt, eine Ausgabe zu erzeugen, die mit einer Vorhersage assoziiert ist (manchmal als eine Klassifikation bezeichnet). Die Vorhersage kann eine Indikation beinhalten, dass ein Objekt, das in dem als Eingabe in das CNN 440 bereitgestellten Bild enthalten ist, ein Objekt, einen Satz von Objekten und/oder dergleichen beinhaltet. In einigen Ausführungsformen führt das Wahrnehmungssystem 402 eine oder mehrere Operationen durch und/oder liefert die mit der Vorhersage assoziierten Daten an ein anderes vorliegend beschriebenes System.
  • In 5A und 5B sind Diagramme eines Systems 500 zum Implementieren eines Prozesses zum Erzeugen einer Trajektorie für ein Fahrzeug gemäß einigen Ausführungsformen des vorliegenden Gegenstands veranschaulicht. Das System 500 kann in ein Fahrzeug integriert werden (z.B. in das in 1 gezeigte Fahrzeug 102, das in 2 gezeigte Fahrzeug 200 usw.). Das System 500 beinhaltet einen oder mehrere Statussensoren 502, einen oder mehrere Umgebungssensoren, einen AV-Stapel 506, eine Systemüberwachung (system monitor, SysMon) 508, einen Bewegungsplaner 510 und eine Drive-by-Wire-Komponente 514. Das System 500 kann zudem eine Belohnungsfunktionskomponente 522 und eine Sicherheitsregelkomponente 524 beinhalten, von denen eine oder beide in den Systemen des Fahrzeugs gespeichert werden können.
  • Der Bewegungsplaner 510 kann ein maschinelles Lernmodell 512 anwenden (wie die in Verbindung mit 4B-D diskutierten), um eine Trajektorie zu erzeugen, die eine Abfolge von Aktionen (AKT 1, AKT 2, ... AKT N) 520 beinhaltet. Die Trajektorie (z.B. die Abfolge von Aktionen 520) kann als ein Satz von Anweisungen gespeichert werden, die vom Fahrzeug während der Fahrzeit zur Ausführung eines bestimmten Manövers verwendet werden können. Das maschinelle Lernmodell 512 kann so trainiert werden, dass es eine Trajektorie erzeugt, die mit dem aktuellen Szenario des Fahrzeugs übereinstimmt, das eine Vielzahl von Bedingungen beinhalten kann, die von den Fahrzeugsystemen überwacht werden. Das aktuelle Szenario des Fahrzeugs kann beispielsweise die Lage (z.B. Position, Orientierung und/oder dergleichen) des Fahrzeugs und der Objekte in der Umgebung des Fahrzeugs beinhalten. Zusätzlich oder alternativ kann das aktuelle Szenario des Fahrzeugs auch den Zustand und/oder den Status (health) des Fahrzeugs beinhalten, wie z.B. Kurs, Fahrgeschwindigkeit, Reifendruck, Ölstand, Getriebeöltemperatur und/oder dergleichen. Die mit dem aktuellen Szenario des Fahrzeugs assoziierten Bedingungen können als Eingaben für das maschinelle Lernmodell 512 dienen, das so trainiert werden kann, dass es eine korrekte Trajektorie für das Fahrzeug in seinem aktuellen Szenario erzeugt. Die korrekte Trajektorie für das Fahrzeug kann beispielsweise eine Abfolge von Aktionen 520 sein, die eine Kollision zwischen dem Fahrzeug und einem oder mehreren Objekten in der Umgebung des Fahrzeugs vermeiden. In einigen Fällen kann die korrekte Trajektorie für das Fahrzeug es dem Fahrzeug ferner ermöglichen, in Übereinstimmung mit bestimmten wünschenswerten Eigenschaften zu arbeiten, wie z.B. Weglänge, Fahrqualität oder -komfort, benötigte Fahrzeit, Einhaltung von Verkehrsregeln, Befolgung von Fahrpraktiken und/oder dergleichen.
  • In einigen Fällen kann das maschinelle Lernmodell 512 durch inverses Verstärkungslernen (inverse reinforcement learning, IRL) trainiert werden, bei dem das maschinelle Lernmodell 512 so trainiert wird, dass es die Belohnungsfunktion 522 auf Grundlage von Demonstrationen einer Expertenverhaltensrichtlinie (z.B. einer oder mehreren Simulationen) lernt, die die korrekten Trajektorien für das Fahrzeug in einer Vielzahl von Szenarien enthält. Die Belohnungsfunktion 522 kann einer Abfolge von Aktionen 520, die eine Trajektorie für das Fahrzeug bilden, eine kumulative Belohnung zuweisen, die davon abhängt, wie gut die Trajektorie mit einer korrekten Trajektorie (z.B. einer Trajektorie, die am ehesten mit einem Expertenverhalten übereinstimmt) für das aktuelle Szenario des Fahrzeugs übereinstimmt. Dementsprechend kann das maschinelle Lernmodell 512 durch Maximieren der von der Belohnungsfunktion 522 zugewiesenen Belohnung beim Bestimmen einer Trajektorie für das Fahrzeug eine Trajektorie (z.B. die Abfolge von Aktionen 520) bestimmen, die angesichts des aktuellen Szenarios des Fahrzeugs am ehesten mit einem Expertenverhalten übereinstimmt. So kann beispielsweise eine Trajektorie, die mit einem Expertenverhalten übereinstimmt, eine Kollision zwischen dem Fahrzeug und einem oder mehreren Objekten in der Umgebung des Fahrzeugs vermeiden. Zusätzlich oder alternativ kann eine Trajektorie, die mit Expertenverhalten übereinstimmt, dem Fahrzeug ermöglichen, in Übereinstimmung mit bestimmten wünschenswerten Eigenschaften zu arbeiten, wie z.B. Weglänge, Fahrqualität oder - komfort, benötigte Fahrzeit, Einhaltung von Verkehrsregeln, Befolgung von Fahrpraktiken und/oder dergleichen.
  • In einigen Ausführungsformen kann das maschinelle Lernmodell 512 eine Trajektorie für das Fahrzeug bestimmen, indem es einen großen Suchraum möglicher Trajektorien durchsucht, um auf Grundlage der Belohnungsfunktion 522 eine Trajektorie zu identifizieren, die am besten mit einem Expertenverhalten übereinstimmt. Zum Beispiel kann das maschinelle Lernmodell 512 eine Trajektorie für das Fahrzeug bestimmen, indem es eine Monte-Carlo-Baumsuche (MCTS) durchführt, bei der die Trajektorie aus dem untersuchten Teil des Suchraums oder einem nicht untersuchten Teil des Suchraums ausgewählt wird. Im letzteren Fall kann ein nicht untersuchter Teil des Suchraums untersucht werden, indem der Suchraum erweitert und eine oder mehrere Simulationen durchgeführt werden, um die Belohnungen zu bestimmen, die mit den Trajektorien assoziiert sind, die den nicht untersuchten Teil des Suchraums belegen.
  • Zur weiteren Veranschaulichung zeigt 5B ein Blockdiagramm, das ein weiteres Beispiel des Systems 500 zum Erzeugen einer Trajektorie für ein Fahrzeug veranschaulicht, bei dem eine Bewegungsplanung 545 für das Fahrzeug Durchführen einer oder mehrerer Simulationen 550 zur Untersuchung der nicht untersuchten Teile eines Suchraums (z.B. eines Suchbaums) beinhalten kann. Wie bereits erwähnt, kann die Bewegungsplanung 545 vom Bewegungsplaner 510 durchgeführt werden, der in einigen Ausführungsformen ein Teil des Planungssystems 404 ist. Wie in 5B dargestellt, kann während der Simulation 550 eine Richtlinie 552 angewendet werden, um zumindest auf Grundlage eines aktuellen simulierten Zustands 554 des Fahrzeugs eine vorgeschlagene Aktion 556 zu bestimmen. Ein Durchführen der vorgeschlagenen Aktion 556, während sich das Fahrzeug im aktuellen simulierten Zustand 554 befindet, kann einen Übergang vom aktuellen simulierten Zustand 554 zu einem nächsten simulierten Zustand 558 auslösen. Wie in 5B gezeigt, kann eine Vorhersage 553 einschließlich des nächsten simulierten Zustands 558 gemacht werden. Darüber hinaus kann beispielsweise auf Grundlage der Belohnungsfunktion 522 eine mit dem Übergang vom aktuellen simulierten Zustand 554 zum nächsten simulierten Zustand 558 assoziierte skalare Belohnung 560 bestimmt werden. Dementsprechend kann die kumulative Belohnung, die mit einer Trajektorie assoziiert ist, die die vorgeschlagene Aktion 556 beinhaltet, die skalare Belohnung 560 beinhalten. Des Weiteren kann eine Trajektorie, die die vorgeschlagene Aktion 556 beinhaltet, ausgewählt werden, wenn diese Trajektorie am ehesten mit einem Expertenverhalten übereinstimmt, das die mit der Trajektorie assoziierte kumulative Belohnung angibt.
  • Unter erneuter Bezugnahme auf 5A kann das Fahrzeug Statussensoren 502 und Umgebungssensoren 504 zum Messen und/oder Überwachen verschiedener Bedingungen am oder um das Fahrzeug beinhalten. Zum Beispiel können die Statussensoren 502 des Fahrzeugs verschiedene Parameter überwachen, die mit dem Zustand und/oder dem Status des Fahrzeugs assoziiert sind. Beispiele für Zustandsparameter können Kurs, Fahrgeschwindigkeit und/oder dergleichen beinhalten. Beispiele für Statusparameter sind Reifenfülldruck, Ölstand, Getriebeöltemperatur usw. In einigen Ausführungsformen enthält das Fahrzeug separate Sensoren zum Messen und/oder Überwachen seines Zustands und seines Status. Die Statussensoren 502 liefern Daten, die einem oder mehreren Parametern des aktuellen Zustands und/oder Status des Fahrzeugs entsprechen, an den AV-Stapel 506, bei 501, und die Systemüberwachung 508, bei 503.
  • Die Umgebungssensoren des Fahrzeugs (z.B. Kamera, LIDAR, SONAR usw.) 504 können verschiedene Bedingungen in der Umgebung des Fahrzeugs überwachen. Zu solchen Bedingungen können Parameter anderer Objekte in der Umgebung des Fahrzeugs gehören, z.B. die Geschwindigkeit, Position und/oder Orientierung eines oder mehrerer Fahrzeuge, Fußgänger und/oder dergleichen. Wie in 5A gezeigt, können die Umgebungssensoren 504 Daten, die einem oder mehreren Parametern der Fahrzeugumgebung entsprechen, an die Systemüberwachung 508, bei 505, liefern.
  • In einigen Ausführungsformen steuert der AV-Stapel 506 das Fahrzeug während des Betriebs. Zudem kann der AV-Stapel 506 verschiedene Trajektorien (z.B. Anhalten in der Spur, auf die Seite fahren usw.) an den Bewegungsplaner 510 bei 509 liefern und ein oder mehrere Signale (einschließlich mit der Ausführung eines ausgewählten MRM assoziierter Signale) 507 an die Drive-by-Wire-Komponente 514 liefern. Die Drive-by-Wire-Komponente 514 kann diese Signale zum Betrieb des Fahrzeugs verwenden.
  • Die Systemüberwachung 508 empfängt Fahrzeug- und Umgebungsdaten 503, 505 von den Statussensoren 502 bzw. 504. Anschließend verarbeitet sie die Daten und liefert die verarbeiteten Daten an den Bewegungsplaner 510 und insbesondere an das maschinelle Lernmodell 512, bei 511. Das maschinelle Lernmodell 512 verwendet die Daten 509, 511, die vom AV-Stapel 506 bzw. von der Systemüberwachung 508 empfangen werden, um eine Trajektorie, einschließlich der Abfolge von Aktionen 520, für das Fahrzeug zu erzeugen. Sobald die Trajektorie durch das maschinelle Lernmodell 512 bestimmt wurde, kann der Bewegungsplaner 510 ein oder mehrere Signale 513, die die Trajektorie angeben, an die Drive-by-Wire-Komponente 514 übertragen.
  • In einigen Ausführungsformen können eine oder mehrere Trajektorien für das Fahrzeug (z.B. Abfolgen von Aktionen 520) vom System 500 vorgeladen/vorgespeichert werden. Darüber hinaus kann der Bewegungsplaner 510, z.B. während eines Trainings des maschinellen Lernmodells 512, zusätzliche Trajektorien erzeugen und speichern und/oder die vorgeladenen/vorgespeicherten Trajektorien verfeinern sowie erzeugte Trajektorien verfeinern, wenn weitere Sensordaten und/oder andere Informationen im Zusammenhang mit dem Status des Fahrzeugs, der Umgebung usw. empfangen werden. Zusätzlich zu den bereitgestellten Sensordaten und/oder vorgeladenen/vorgespeicherten Trajektorien kann das maschinelle Lernmodell 512 trainiert werden, um eine oder mehrere Sicherheitsregeln 524 und Belohnungswerte zu implementieren, die von der Belohnungsfunktion 522 bereitgestellt werden. Die Belohnungswerte werden auf Grundlage der Daten 523 (z.B. Fahrzeugbedingungen, Bedingungen in der Umgebung des Fahrzeugs und/oder dergleichen), die der Belohnungsfunktion 522 von der Systemüberwachung 508 zugeführt werden, etwaiger erzeugter (oder ausgewählter) Trajektorien sowie der Sicherheitsregeln 524 erzeugt.
  • 6 bis 10 veranschaulichen Diagramme einer Implementierung eines Prozesses zum Erzeugen einer Trajektorie für ein Fahrzeug auf Grundlage eines abstrakten Raums, der durch einen oder mehrere Steuerparameter des Fahrzeugs parametrisiert wird. Beispielsweise kann ein Bewegungsplaner (z.B. der Bewegungsplaner 510) auf Grundlage eines abstrakten Raums, der durch Ableitungen einer Position eines Fahrzeugs parametrisiert ist, eine oder mehrere Trajektorien zum Navigieren des Fahrzeugs (z.B. eines autonomen Fahrzeugs wie der Fahrzeuge 102a-102n, der Fahrzeuge 200 und/oder dergleichen) entlang eines ausgewählten Wegs erzeugen. Beispielsweise kann der Bewegungsplaner in aufeinanderfolgenden Zeitintervallen Trajektorien für das Fahrzeug erzeugen, die mit den in jedem Zeitintervall herrschenden Bedingungen übereinstimmen. Dementsprechend kann der Bewegungsplaner auf Grundlage der zu einem ersten Zeitpunkt t1 vorliegenden Bedingungen eine erste Trajektorie für das Fahrzeug erzeugen, bevor die erste Trajektorie aktualisiert wird oder eine zweite Trajektorie für das Fahrzeug auf Grundlage der Bedingungen erzeugt wird, die zu einem zweiten Zeitpunkt t2 vorliegen. Zu den zum ersten Zeitpunkt t1 und zum zweiten Zeitpunkt t2 vorliegenden Bedingungen können die Lage (z.B. Position, Ausrichtung und/oder dergleichen) des Fahrzeugs und jedes Objekts in der Umgebung des Fahrzeugs zählen.
  • Der Bewegungsplaner kann ein maschinelles Lernmodell (z.B. das maschinelle Lernmodell 512) beinhalten, das darauf trainiert ist, für eine Vielzahl von Szenarien, denen das Fahrzeug begegnen kann, eine Trajektorie zu erzeugen, die eine Abfolge von Aktionen (manchmal auch als Manöver bezeichnet) zum Navigieren des Fahrzeugs entlang eines ausgewählten Wegs beinhaltet. Wie vorstehend beschrieben, kann die korrekte Trajektorie für ein Szenario eine solche sein, die am ehesten mit einem Expertenverhalten übereinstimmt. Beispielsweise kann die korrekte Trajektorie für ein Szenario eine Trajektorie sein, die eine Kollision zwischen dem Fahrzeug und einem oder mehreren Objekten in der Umgebung des Fahrzeugs vermeidet. Darüber hinaus kann in einigen Fällen die korrekte Trajektorie für ein Szenario eine Trajektorie sein, die es dem Fahrzeug ermöglicht, in Übereinstimmung mit bestimmten wünschenswerten Eigenschaften zu arbeiten, einschließlich beispielsweise einer Weglänge, einer Fahrqualität oder einem Fahrkomfort, einer benötigten Fahrzeit, einer Einhaltung von Verkehrsregeln, einer Befolgung von Fahrpraktiken und/oder dergleichen.
  • Das maschinelle Lernmodell kann durch Verstärkungslernen trainiert werden, bei dem das maschinelle Lernmodell so trainiert wird, dass es eine Richtlinie lernt, die den kumulativen Wert der Belohnungsfunktion R maximiert. Beispiele für Methoden des Verstärkungslernens sind inverses Verstärkungslernen (IRL), assoziatives Verstärkungslernen, tiefes Verstärkungslernen, sicheres Verstärkungslernen und teilüberwachtes Verstärkungslernen (partially supervised reinforcement learning, PSRL). Eine Richtlinie im Kontext einer Bewegungsplanung kann die Wahrscheinlichkeit angeben, mit der das maschinelle Lernmodell angesichts des aktuellen Szenarios (oder des Zustands) des Fahrzeugs eine bestimmte Aktion (z.B. aus einem Satz möglicher Aktionen) auswählt. Das aktuelle Szenario des Fahrzeugs kann die Lage (z.B. Position, Ausrichtung und/oder dergleichen) des Fahrzeugs und jedes Objekts in der Umgebung des Fahrzeugs beinhalten. Auch wenn jede Aktion mit einer unmittelbaren Belohnung assoziiert sein kann, kann das maschinelle Lernmodell so trainiert werden, dass es eine Aktion auswählt, die die kumulative Belohnung der gesamten Abfolge von Aktionen maximiert, die die vom maschinellen Lernmodell erzeugte Trajektorie bilden. Diese Trajektorie kann mit einer maximalen kumulativen Belohnung assoziiert sein, indem eine Kollision zwischen dem Fahrzeug und den Objekten in der Umgebung des Fahrzeugs vermieden wird. Alternativ und/oder zusätzlich kann die Trajektorie mit einer maximalen kumulativen Belohnung assoziiert sein, indem das Fahrzeug in die Lage versetzt wird, in Übereinstimmung mit bestimmten wünschenswerten Eigenschaften zu arbeiten, einschließlich beispielsweise einer Weglänge, einer Fahrqualität oder einem Fahrkomfort, einer benötigten Fahrzeit, einer Einhaltung von Verkehrsregeln, einer Befolgung von Fahrpraktiken und/oder dergleichen.
  • 6 zeigt ein Flussdiagramm, das ein Beispiel für einen Prozess zum Trainieren des maschinellen Lernmodells durch inverses Verstärkungslernen (inverse reinforcement learning, IRL) veranschaulicht. In Fällen, in denen das maschinelle Lernmodell einem inversen Verstärkungslernen (IRL) unterzogen wird, kann das Trainieren des maschinellen Lernmodells Lernen einer Belohnungsfunktion R beinhalten, die mit Expertenverhalten übereinstimmt. 6 zeigt zum Beispiel, dass das maschinelle Lernmodell auf Grundlage von Demonstrationen von Expertenverhalten, das die richtigen Trajektorien für das Fahrzeug in einer Vielzahl von Szenarien beinhalten kann, trainiert werden kann, um die Belohnungsfunktion R zu lernen. Somit kann das maschinelle Lernmodell die gelernte Belohnungsfunktion R anwenden, wenn es für eine Eingabe, die ein aktuelles Szenario des Fahrzeugs beinhaltet, eine Ausgabe erzeugt, die eine Trajektorie für das Fahrzeug beinhaltet. Um die Trajektorie des Fahrzeugs zu erzeugen, kann das maschinelle Lernmodell beispielsweise einen Satz möglicher Aktionen für das Fahrzeug herausgreifen und die gelernte Belohnungsfunktion R anwenden, um die mit jeder Aktion assoziierte Belohnung zu bestimmen.
  • 7 zeigt ein Flussdiagramm, das ein Beispiel für einen Prozess veranschaulicht, bei dem das maschinelle Lernmodell die Belohnung für eine vorgeschlagene Aktion f bestimmt. Wie in 7 gezeigt, können das Szenario des Fahrzeugs und die Aktion f mit einem oder mehreren Merkmalen assoziiert sein. Zu Beispielen für Merkmale zählen Kollisionen mit anderen Fahrwegen, Entfernung zum Ziel, Querbeschleunigung des Fahrzeugs, Fahrzeuggeschwindigkeit, Kursausrichtung, Nähe zur Streckenmitte und Trajektoriekopplung. Bei einigen Merkmalen kann es sich um gelernte Merkmale handeln, die durch das maschinelle Lernmodell extrahiert werden (z.B. das „Backbone-“ oder Merkmalsextraktionsnetzwerk des maschinellen Lernmodells), während andere Merkmale handgefertigte Merkmale sein können, die durch einen separaten Algorithmus extrahiert werden. Durch Training wie z.B. inverses Verstärkungslernen (IRL) kann das maschinelle Lernmodell für jedes Merkmal eine Merkmalsgewichtung lernen, die angibt, wie wichtig das Merkmal beim Bestimmen der nächsten Aktion auf der Trajektorie des Fahrzeugs ist. Beispielsweise kann eine Querbeschleunigung des Fahrzeugs mit einer ersten Merkmalsgewichtung verknüpft sein, die höher ist als eine zweite Merkmalsgewichtung einer Kursausrichtung, aber niedriger als eine dritte Merkmalsgewichtung, die mit einer Nähe zur Streckenmittellinie assoziiert ist. Dementsprechend kann das trainierte maschinelle Lernmodell in dem in 7 gezeigten Beispiel die gelernten Merkmalsgewichtungen auf die Merkmale des Szenarios und die vorgeschlagene Aktion f anwenden, um eine Belohnung für die vorgeschlagene Aktion f zu bestimmen. Das maschinelle Lernmodell kann ferner auf Grundlage der mit der vorgeschlagenen Aktion f assoziierten Belohnung eine Trajektorie für das Fahrzeug erzeugen, die die vorgeschlagene Aktion f einschließt (oder ausschließt).
  • Wie vorstehend beschrieben, kann die Bewegungsplanung für das Fahrzeug Anwenden eines maschinellen Lernmodells (z.B. des maschinellen Lernmodells 512) beinhalten, das einen Suchraum möglicher Trajektorien durchsucht, um eine Trajektorie für das Fahrzeug zu identifizieren, die angesichts des aktuellen Szenarios des Fahrzeugs am ehesten mit einem Expertenverhalten übereinstimmt. In einigen Ausführungsformen kann das maschinelle Lernmodell einen abstrakten Raum durchsuchen, der durch einen oder mehrere Steuerparameter für das Fahrzeug parametrisiert ist, anstatt einen physischen Raum, der durch eine oder mehrere Positionen des Fahrzeugs parametrisiert ist. Dementsprechend kann das maschinelle Lernmodell angewendet werden, um eine abstrakte Raumdarstellung der Trajektorie zu bestimmen, die eine Abfolge von Steuerparametern beinhaltet, bevor die Abfolge von Steuerparametern auf eine Abfolge von Positionen abgebildet wird, um eine physische Raumdarstellung der Trajektorie zu bilden.
  • Zu den Steuerparametern können in einigen Fällen eine oder mehrere Ableitungen einer Position des Fahrzeugs zählen, wie z.B. Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung, Schnappen und/oder dergleichen. Alternativ können Änderungen eines Steuerparameters, wie Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung oder Schnappen, im Verlauf einer Trajektorie mit mehreren Parametern wie z.B. einem Polynom niedrigen Grades modelliert werden. Zum Beispiel kann die abstrakte Raumdarstellung der Trajektorie einen ersten Steuerparameter des Fahrzeugs (z.B. einen ersten Geschwindigkeitsvektor, eine erste Beschleunigung, eine erste Überbeschleunigung oder ein erstes Schnappen) zu einem ersten Zeitpunkt t1 gefolgt von einem zweiten Steuerparameter des Fahrzeugs (z.B. einem zweiten Geschwindigkeitsvektor, einer zweiten Beschleunigung, einer zweiten Überbeschleunigung oder einem zweiten Schnappen) zu einem zweiten Zeitpunkt t2 beinhalten. Der erste Steuerparameter des Fahrzeugs (z.B. ein erster Geschwindigkeitsvektor, eine erste Beschleunigung, eine erste Überbeschleunigung oder ein erstes Schnappen) zu dem ersten Zeitpunkt t1 und der zweite Steuerparameter des Fahrzeugs (z.B. ein zweiter Geschwindigkeitsvektor, eine zweite Beschleunigung, eine zweite Überbeschleunigung oder ein zweites Schnappen) zu dem zweiten Zeitpunkt t2 können beispielsweise durch Lösen eines entsprechenden Anfangswertproblems auf eine erste Position des Fahrzeugs zum ersten Zeitpunkt t1 und die zweite Position des Fahrzeugs zum zweiten Zeitpunkt t2 abgebildet werden. Auch wenn verschiedene vorliegend beschriebene Ausführungsformen eine oder mehrere Ableitungen der Position des Fahrzeugs als Beispiele für Steuerparameter beinhalten, sind natürlich auch andere Beispiele für Steuerparameter möglich.
  • Der abstrakte Raum und die Suche darin können beschränkt werden, um eine oder mehrere kinematische und/oder physische Beschränkungen des Fahrzeugs zu berücksichtigen. Beispielsweise kann der abstrakte Raum und die Suche darin so beschränkt werden, dass Steuerparameter (z.B. Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung oder Schnappen) ausgeschlossen werden, die für das Fahrzeug physikalisch undurchführbar sind oder mit unerwünschten Eigenschaften assoziiert sind (z.B. schlechte Fahrqualität oder schlechter Fahrkomfort). Dementsprechend sind die resultierenden Trajektorien, nachdem sie vom abstrakten Raum auf den physischen Raum abgebildet wurden, besser mit dem Fahrzeug kompatibel und stimmen besser mit Expertenrichtlinien überein, während sie gleichzeitig weniger und weniger auffällige Artefakte aufweisen. Im Gegensatz dazu kann ein physischer Raum, der durch die Positionen des Fahrzeugs parametrisiert ist, eine unverhältnismäßig große Anzahl physikalisch undurchführbarer oder unerwünschter Trajektorien enthalten. Es ist nicht praktikabel, den physischen Raum oder eine Suche darin auf physikalisch durchführbare oder wünschenswerte Trajektorien zu beschränken. Eine Trajektorie, die durch eine Suche im physischen Raum erzeugt wird, berücksichtigt nicht die kinematischen und/oder physischen Beschränkungen des Fahrzeugs und ist daher weniger kompatibel mit dem Fahrzeug und weniger konsistent mit Expertenrichtlinien.
  • In einigen Ausführungsformen kann die Anwendung des maschinellen Lernmodells (z.B. des maschinellen Lernmodells 512) Durchführen einer Monte-Carlo-Baumsuche in einem abstrakten Raum beinhalten, um die abstrakte Raumdarstellung der Trajektorie zu bestimmen. Zur weiteren Veranschaulichung ist 8 ein schematisches Diagramm, das ein Beispiel für eine Monte-Carlo-Baumsuche (MCTS) zeigt, die von einem Bewegungsplaner (z.B. dem Bewegungsplaner 510) durchgeführt werden kann, um eine Trajektorie für ein Fahrzeug (z.B. ein autonomes Fahrzeug wie die Fahrzeuge 102a-102n, die Fahrzeuge 200 und/oder dergleichen) zu erzeugen.
  • Gemäß 8 kann eine Monte-Carlo-Baumsuche (MCTS) eines abstrakten Raums, der durch einen oder mehrere Steuerparameter des Fahrzeugs parametrisiert ist, Durchlaufen eines Suchbaums beinhalten, wobei die Knoten des Suchbaums verschiedene Steuerparameter (z.B. Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung und Schnappen) darstellen und die Kanten, die die Knoten miteinander verbinden, Aktionen (z.B. Bremsen, Beschleunigen, Gieren und/oder dergleichen) darstellen, die Übergänge zwischen aufeinanderfolgenden Knoten auslösen. Knoten im Suchbaum können beispielsweise verschiedenen Zuständen des Fahrzeugs und seiner Umgebung entsprechen, wozu auch andere Fahrzeuge in der Nähe zählen. Die Zustände des Fahrzeugs und seiner Umgebung können zudem historische Daten beinhalten, was bedeutet, dass die Zustände nicht auf die aktuellen Zustände des Fahrzeugs und seiner Umgebung zu einem beliebigen Zeitpunkt begrenzt sind, sondern auch die früheren Zustände des Fahrzeugs und seiner Umgebung (z.B. die letzten 2 Sekunden und/oder dergleichen) umfassen. Eine oder mehrere Aktionen können einen Übergang von einem aktuellen Zustand in einen oder mehrere hypothetische zukünftige Zustände auslösen. Sowohl Zustände als auch Aktionen können ganz oder teilweise aus abstrakten Steuerparametern gebildet werden. Ein Zustand kann beispielsweise den physischen Standort des Fahrzeugs beinhalten, während eine Aktion einen oder mehrere abstrakte Steuerparameterwerte (z.B. Überbeschleunigung und/oder dergleichen) beinhalten kann, in einigen Fällen als lineare Funktion der Zeit. Der nächste Zustand für eine bestimmte Aktion kann dann durch Lösen eines Anfangswertproblems berechnet werden. Alternativ können die Aktionen als Summen von Basisfunktionen (z.B. Tschebyschow-Polynome, Sinuskurven und/oder dergleichen) definiert werden, die entweder die zukünftigen Positionen oder Geschwindigkeitsvektoren des Fahrzeugs beschreiben, wobei es sich in diesem Fall bei den abstrakten Steuerparametern um die zur Kombination dieser Basisfunktionen verwendeten Gewichtungen handeln kann.
  • Wie in 8 gezeigt, kann die Monte-Carlo-Baumsuche im abstrakten Raum Auswählen einer Trajektorie (z.B. einer Abfolge von Steuerparametern) aus einem untersuchten Teil des abstrakten Raums beinhalten. Alternativ kann die Monte-Carlo-Baumsuche im abstrakten Raum ferner Untersuchen eines nicht untersuchten Teils des abstrakten Raums sowie Bestimmen beinhalten, ob eine Trajektorie daraus ausgewählt werden soll. Wie in 8A gezeigt, kann das Untersuchen eines nicht untersuchten Teils des abstrakten Raums beispielsweise Erweitern des Suchbaums um einen oder mehrere zusätzliche Nachfolger-Knoten beinhalten, die von Knoten im untersuchten Teil des abstrakten Raums abstammen können. Im Falle einer Monte-Carlo-Baumsuche kann das Erweitern des Suchbaums auf Grundlage einer Zufallsstichprobe des abstrakten Raums erfolgen, d.h. die zusätzlichen Nachfolger-Knoten werden zufällig ausgewählt.
  • Nach dem Erweitern des Suchbaums kann die Untersuchung des nicht untersuchten Teils des abstrakten Raums ferner Durchführen einer oder mehrerer Simulationen (z.B. der Simulation 550) beinhalten, um eine simulierte Trajektorie zu erzeugen, die eine Abfolge von Steuerparametern beinhaltet (z.B. eine Abfolge von vorgeschlagenen Aktionen 556, die jeweils einen Übergang vom aktuellen simulierten Zustand 554 zum nächsten simulierten Zustand 558 auslösen). Eine Aktion und der Übergang von einem ersten Knoten, der einem ersten Steuerparameter entspricht, zu einem zweiten Knoten, der einem zweiten Steuerparameter entspricht, der durch die Aktion ausgelöst wird, können mit einer Belohnung Q (z.B. der skalaren Belohnung 560) assoziiert sein, die durch eine Belohnungsfunktion (z.B. die Belohnungsfunktion 522) bestimmt wird. Wie in 8A gezeigt, können die skalaren Belohnungen Q, die mit jedem Übergang in der simulierten Trajektorie assoziiert sind, während der Rückpropagierungsphase der Monte-Carlo-Baumsuche (MCTS) bestimmt werden.
  • In einigen Ausführungsformen kann der Bewegungsplaner (z.B. der Bewegungsplaner 510) nach dem Bestimmen einer abstrakten Raumdarstellung einer Trajektorie für das Fahrzeug (z.B. durch Durchführung einer Monte-Carlo-Baumsuche im abstrakten Raum) eine physische Raumdarstellung der Trajektorie bestimmen. Während die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern wie Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung oder Schnappen beinhalten kann, kann die physische Raumdarstellung der Trajektorie eine Abfolge von Positionen wie zwei- oder dreidimensionale Raumkoordinaten beinhalten. Die Abfolge von Steuerparametern kann durch Lösen eines Anfangswertproblems auf die Abfolge von Positionen abgebildet werden, wobei eine erste Funktion, die die Abfolge von Steuerparametern auf diskrete Zeitschritte abbildet, integriert wird, um eine zweite Funktion zu erzeugen, die die Abfolge von Positionen auf diskrete Zeitschritte abbildet. Die zweite Funktion, die die Abfolge von Positionen auf diskrete Zeitschritte abbildet, kann ferner auf Grundlage einer oder mehrerer mit dem Fahrzeug assoziierter Anfangsbedingungen bestimmt werden.
  • 9 zeigt ein Flussdiagramm, das ein Beispiel für einen Prozess 900 zum Erzeugen einer Trajektorie für ein Fahrzeug (z.B. ein autonomes Fahrzeug) auf Grundlage eines abstrakten Raums veranschaulicht. In einigen Ausführungsformen werden eine oder mehrere der Operationen, die mit Bezug auf den Prozess 900 beschrieben sind, (z.B. vollständig, teilweise und/oder dergleichen) durch den Bewegungsplaner 510 durchgeführt. Zusätzlich oder alternativ werden in einigen Ausführungsformen ein oder mehrere Schritte, die mit Bezug auf den Prozess 1000 beschrieben sind, (z.B. vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen separat von oder einschließlich des Bewegungsplaners 510 durchgeführt.
  • Bei 902 kann ein maschinelles Lernmodell angewendet werden, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen. Beispielsweise kann ein maschinelles Lernmodell (z.B. das maschinelle Lernmodell 512) angewendet werden, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug (z.B. ein autonomes Fahrzeug wie die Fahrzeuge 102a-102n, die Fahrzeuge 200 und/oder dergleichen) zu bestimmen, die eine Abfolge von Steuerparametern wie beispielsweise einen ersten Steuerparameter des Fahrzeugs (z.B. einen ersten Geschwindigkeitsvektor, eine erste Beschleunigung, eine erste Überbeschleunigung oder ein erstes Schnappen) zu einem ersten Zeitpunkt t1 gefolgt von einem zweiten Steuerparameter des Fahrzeugs (z.B. einen zweiten Geschwindigkeitsvektor, eine zweite Beschleunigung, eine zweite Überbeschleunigung oder ein zweites Schnappen) zu einem zweiten Zeitpunkt t2 beinhaltet. In einigen Ausführungsformen kann die Anwendung des maschinellen Lernmodells (z.B. des maschinellen Lernmodells 512) Durchführen einer Monte-Carlo-Baumsuche (MCTS) in einem abstrakten Raum beinhalten, der durch einen oder mehrere Steuerparameter des Fahrzeugs parametrisiert wird. Die Monte-Carlo-Baumsuche kann Durchlaufen eines Suchbaums beinhalten, wobei die Knoten des Suchbaums verschiedene Steuerparameter (z.B. Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung und Schnappen) darstellen und die Kanten, die die Knoten miteinander verbinden, Aktionen (z.B. Bremsen, Beschleunigen, Gieren und/oder dergleichen) darstellen, die Übergänge zwischen aufeinanderfolgenden Knoten auslösen. Darüber hinaus kann die Monte-Carlo-Baumsuche beinhalten, dass aus einem untersuchten Teil oder einem nicht untersuchten Teil des Suchbaums auf Grundlage einer Belohnungsfunktion (z.B. der Belohnungsfunktion 522), die durch die Demonstration eines Expertenverhaltens gelernt wurde, eine Trajektorie ausgewählt wird, die eine maximale kumulative Belohnung aufweist.
  • Bei 904 kann eine physische Raumdarstellung der Trajektorie auf Grundlage der abstrakten Raumdarstellung der Trajektorie bestimmt werden. In einigen Ausführungsformen kann die abstrakte Raumdarstellung der Trajektorie, die eine Abfolge mit dem Fahrzeug assoziierter Steuerparameter beinhaltet, auf eine physische Raumdarstellung der Trajektorie abgebildet werden, die eine Abfolge von Positionen des Fahrzeugs beinhaltet. Beispielsweise können der erste Steuerparameter des Fahrzeugs (z.B. ein erster Geschwindigkeitsvektor, eine erste Beschleunigung, eine erste Überbeschleunigung oder ein erstes Schnappen) zu dem ersten Zeitpunkt t1 und der zweite Steuerparameter des Fahrzeugs (z.B. ein zweiter Geschwindigkeitsvektor, eine zweite Beschleunigung, eine zweite Überbeschleunigung oder ein zweites Schnappen) zu dem zweiten Zeitpunkt t2 auf eine erste Position des Fahrzeugs zum ersten Zeitpunkt t1 und die zweite Position des Fahrzeugs zum zweiten Zeitpunkt t2 abgebildet werden. Das Abbilden aus der Abfolge von Steuerparametern auf die Abfolge von Positionen kann durch Lösen eines Anfangswertproblems erreicht werden, wobei eine erste Funktion, die die Abfolge von Steuerparametern auf diskrete Zeitschritte abbildet, integriert wird, um eine zweite Funktion zu erzeugen, die die Abfolge von Positionen auf diskrete Zeitschritte abbildet. Des Weiteren kann die zweite Funktion, die die Abfolge von Positionen auf diskrete Zeitschritte abbildet, ferner auf Grundlage einer oder mehrerer mit dem Fahrzeug assoziierter Anfangsbedingungen bestimmt werden.
  • Bei 906 kann eine Bewegung des Fahrzeugs auf Grundlage der physischen Raumdarstellung der Trajektorie gesteuert werden. In einigen Ausführungsformen kann die physische Raumdarstellung der Trajektorie, die eine Abfolge von Positionen des Fahrzeugs beinhaltet, einer Abfolge von Aktionen (z.B. der Abfolge von Aktionen 520) zum Navigieren des Fahrzeugs (z.B. eines autonomen Fahrzeugs wie der Fahrzeuge 102a-102n, der Fahrzeuge 200 und/oder dergleichen) auf einem ausgewählten Weg entsprechen. Beispielsweise kann gemäß 5A die durch Anwenden des maschinellen Lernmodells (z.B. des maschinellen Lernmodells 512) erzeugte Trajektorie an die Drive-by-Wire-Komponente 514 zur Ausführung bereitgestellt werden.
  • Wie vorstehend beschrieben, können der abstrakte Raum und die Suche darin so beschränkt werden, dass sie eine oder mehrere kinematische und/oder physische Beschränkungen in Verbindung mit dem Fahrzeug widerspiegeln, z.B. durch Ausschließen von Steuerparametern (z.B. Geschwindigkeitsvektor, Beschleunigung, Überbeschleunigung oder Schnappen), die für das Fahrzeug physikalisch nicht durchführbar oder mit unerwünschten Eigenschaften assoziiert sind (z.B. schlechte Fahrqualität oder schlechter Fahrkomfort). Auf diese Weise kann die auf Grundlage des abstrakten Raums identifizierte Trajektorie besser mit dem Fahrzeug kompatibel sein und besser mit Expertenrichtlinien übereinstimmen, während sie gleichzeitig weniger und weniger auffällige Artefakte aufweist. Dementsprechend kann das Fahrzeug (z.B. die Drive-by-Wire-Komponente) die in der Trajektorie enthaltene Abfolge von Aktionen (z.B. die Abfolge von Aktionen 520) ausführen, um das Fahrzeug so zu navigieren, dass eine Kollision mit anderen Objekten in der Umgebung des Fahrzeugs vermieden wird. Darüber hinaus kann die auf Grundlage des abstrakten Raums erzeugte Trajektorie es dem Fahrzeug ermöglichen, in Übereinstimmung mit anderen wünschenswerten Eigenschaften zu arbeiten, wie z.B. Weglänge, Fahrqualität oder -komfort, benötigter Fahrzeit, Einhaltung von Verkehrsregeln, Befolgung von Fahrpraktiken und/oder dergleichen.
  • Gemäß einigen nicht einschränkenden Ausführungsformen oder Beispielen wird ein Verfahren bereitgestellt, umfassend: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs zumindest auf Grundlage der physischen Raumdarstellung der Trajektorie.
  • Gemäß einigen nicht einschränkenden Ausführungsformen oder Beispielen wird ein System bereitgestellt, umfassend: mindestens einen Prozessor und mindestens ein nichtflüchtiges Speichermedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs zumindest auf Grundlage der physischen Raumdarstellung der Trajektorie.
  • Gemäß einigen nicht einschränkenden Ausführungsformen oder Beispielen wird mindestens ein nichtflüchtiges computerlesbares Medium bereitgestellt, das eine oder mehrere Anweisungen speichert, die bei Ausführung durch mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs zumindest auf Grundlage der physischen Raumdarstellung der Trajektorie.
  • Weitere nicht einschränkende Aspekte oder Ausführungsformen sind in den nachstehenden nummerierten Klauseln aufgeführt:
  • Klausel 1: Verfahren, umfassend: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs zumindest auf Grundlage der physischen Raumdarstellung der Trajektorie.
  • Klausel 2: Verfahren nach Klausel 1, wobei jeder Übergang zwischen aufeinanderfolgenden Knoten eine Aktion umfasst, die mit einer durch eine Belohnungsfunktion bestimmten Belohnung assoziiert ist, und wobei die Suche auf Grundlage der Belohnungsfunktion so durchgeführt wird, dass die Abfolge von Steuerparametern, die die abstrakte Raumdarstellung der Trajektorie umfasst, mit einer maximalen kumulativen Belohnung assoziiert ist.
  • Klausel 3: Verfahren nach Klausel 2, ferner umfassend: unter Verwendung des mindestens einen Datenprozessors erfolgendes Trainieren des maschinellen Lernmodells, um die Belohnungsfunktion auf Grundlage einer oder mehrerer Demonstrationen von Expertenverhalten zu lernen.
  • Klausel 4: Verfahren nach Klausel 3, wobei das maschinelle Lernmodell durch Anwenden von inversem Verstärkungslernen (IRL) und/oder assoziativem Verstärkungslernen und/oder tiefem Verstärkungslernen und/oder sicherem Verstärkungslernen und/oder teilüberwachtem Verstärkungslernen (PSRL) trainiert wird.
  • Klausel 5: Verfahren nach einer der Klauseln 2 bis 4, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
  • Klausel 6: Verfahren nach einer der Klauseln 1 bis 5, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
  • Klausel 7: Verfahren nach einer der Klauseln 1 bis 6, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
  • Klausel 8: Verfahren nach einer der Klauseln 1 bis 7, wobei die Abfolge von Steuerparametern einen ersten Steuerparameter des Fahrzeugs zu einem ersten Zeitpunkt und einen zweiten Steuerparameter des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  • Klausel 9: Verfahren nach Klausel 8, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine Ableitung einer Position des Fahrzeugs umfassen.
  • Klausel 10: Verfahren nach einer der Klauseln 8 bis 9, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils einen Geschwindigkeitsvektor, eine Beschleunigung, eine Überbeschleunigung oder ein Schnappen umfassen.
  • Klausel 11: Verfahren nach einer der Klauseln 8 bis 10, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine polynomische Darstellung niedrigen Grades eines Geschwindigkeitsvektors, einer Beschleunigung, einer Überbeschleunigung oder eines Schnappens umfassen.
  • Klausel 12: Verfahren nach einer der Klauseln 1 bis 11, wobei die Abfolge von Positionen eine erste Position des Fahrzeugs zu einem ersten Zeitpunkt und eine zweite Position des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  • Klausel 13: Verfahren nach Klausel 12, wobei die erste Position und die zweite Position jeweils einen Satz zweidimensionaler Raumkoordinaten oder einen Satz dreidimensionaler Raumkoordinaten umfassen.
  • Klausel 14: System, umfassend: mindestens einen Prozessor und mindestens ein nichtflüchtiges Speichermedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs zumindest auf Grundlage der physischen Raumdarstellung der Trajektorie.
  • Klausel 15: System nach Klausel 14, wobei jeder Übergang zwischen aufeinanderfolgenden Knoten eine Aktion umfasst, die mit einer durch eine Belohnungsfunktion bestimmten Belohnung assoziiert ist, und wobei die Suche auf Grundlage der Belohnungsfunktion so durchgeführt wird, dass die Abfolge von Steuerparametern, die die abstrakte Raumdarstellung der Trajektorie umfasst, mit einer maximalen kumulativen Belohnung assoziiert ist.
  • Klausel 16: System nach Klausel 15, wobei die Arbeitsschritte ferner umfassen: unter Verwendung des mindestens einen Datenprozessors erfolgendes Trainieren des maschinellen Lernmodells, um die Belohnungsfunktion auf Grundlage einer oder mehrerer Demonstrationen von Expertenverhalten zu lernen.
  • Klausel 17: System nach Klausel 16, wobei das maschinelle Lernmodell durch Anwenden von inversem Verstärkungslernen (IRL) und/oder assoziativem Verstärkungslernen und/oder tiefem Verstärkungslernen und/oder sicherem Verstärkungslernen und/oder teilüberwachtem Verstärkungslernen (PSRL) trainiert wird.
  • Klausel 18: System nach einer der Klauseln 14 bis 17, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
  • Klausel 19: System nach einer der Klauseln 14 bis 18, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
  • Klausel 20: Verfahren nach einer der Klauseln 14 bis 19, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
  • Klausel 21: System nach einer der Klauseln 14 bis 20, wobei die Abfolge von Steuerparametern einen ersten Steuerparameter des Fahrzeugs zu einem ersten Zeitpunkt und einen zweiten Steuerparameter des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  • Klausel 22: System nach Klausel 21, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine Ableitung einer Position des Fahrzeugs umfassen.
  • Klausel 23: System nach einer der Klauseln 21 bis 22, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils einen Geschwindigkeitsvektor, eine Beschleunigung, eine Überbeschleunigung oder ein Schnappen umfassen.
  • Klausel 24: System nach einer der Klauseln 21 bis 23, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine polynomische Darstellung niedrigen Grades eines Geschwindigkeitsvektors, einer Beschleunigung, einer Überbeschleunigung oder eines Schnappens umfassen.
  • Klausel 25: System nach einer der Klauseln 14 bis 24, wobei die Abfolge von Positionen eine erste Position des Fahrzeugs zu einem ersten Zeitpunkt und eine zweite Position des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  • Klausel 26: System nach Klausel 25, wobei die erste Position und die zweite Position jeweils einen Satz zweidimensionaler Raumkoordinaten oder einen Satz dreidimensionaler Raumkoordinaten umfassen.
  • Klausel 27: Ein oder mehrere nichtflüchtige Speichermedien, die Anweisungen speichern, die bei Ausführung durch den mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs zumindest auf Grundlage der physischen Raumdarstellung der Trajektorie.
  • Klausel 28: Ein oder mehrere nichtflüchtige Speichermedien nach Klausel 27, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
  • Klausel 29: Ein oder mehrere nichtflüchtige Speichermedien nach einer der Klauseln 27 bis 28, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
  • Klausel 30: Ein oder mehrere nichtflüchtige Speichermedien nach einer der Klauseln 27 bis 29, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
  • In der vorstehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf zahlreiche konkrete Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Dementsprechend sind die Beschreibung und die Zeichnungen als veranschaulichend anstatt beschränkend aufzufassen. Der alleinige und ausschließliche Indikator für den Schutzumfang der Erfindung und dafür, was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt wird, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, die aus dieser Anmeldung hervorgehen, in der spezifischen Form, in der diese Ansprüche hervorgehen, einschließlich nachfolgender Korrekturen. Alle vorliegend ausdrücklich festgelegten Definitionen von Bezeichnungen, die in solchen Ansprüchen enthalten sind, gelten für die Bedeutung der in den Ansprüchen verwendeten Bezeichnungen. Wenn in der vorstehenden Beschreibung oder in den nachstehenden Ansprüchen der Ausdruck „ferner umfassend“ verwendet wird, kann das, was auf diesen Satz folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Unterentität eines zuvor erwähnten Schritts oder einer zuvor erwähnten Entität sein.
  • Die folgenden Aspekte sind ebenfalls Teil der Erfindung:
    1. 1. Verfahren, umfassend:
      • unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen;
      • unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und
      • unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs auf Grundlage zumindest der physischen Raumdarstellung der Trajektorie.
    2. 2. Verfahren nach Aspekt 1, wobei jeder Übergang zwischen aufeinanderfolgenden Knoten eine Aktion umfasst, die mit einer durch eine Belohnungsfunktion bestimmten Belohnung assoziiert ist, und wobei die Suche auf Grundlage der Belohnungsfunktion so durchgeführt wird, dass die Abfolge von Steuerparametern, die die abstrakte Raumdarstellung der Trajektorie umfasst, mit einer maximalen kumulativen Belohnung assoziiert ist.
    3. 3. Verfahren nach Aspekt 2, ferner umfassend:
      • unter Verwendung des mindestens einen Datenprozessors erfolgendes Trainieren des maschinellen Lernmodells, um die Belohnungsfunktion auf Grundlage einer oder mehrerer Demonstrationen von Expertenverhalten zu lernen.
    4. 4. Verfahren nach Aspekt 3, wobei das maschinelle Lernmodell durch Anwenden von inversem Verstärkungslernen (IRL) und/oder assoziativem Verstärkungslernen und/oder tiefem Verstärkungslernen und/oder sicherem Verstärkungslernen und/oder teilüberwachtem Verstärkungslernen (PSRL) trainiert wird.
    5. 5. Verfahren nach einem der Aspekte 2 bis 4, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
    6. 6. Verfahren nach einem der Aspekte 1 bis 5, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
    7. 7. Verfahren nach einem der Aspekte 1 bis 6, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
    8. 8. Verfahren nach einem der Aspekte 1 bis 7, wobei die Abfolge von Steuerparametern einen ersten Steuerparameter des Fahrzeugs zu einem ersten Zeitpunkt und einen zweiten Steuerparameter des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
    9. 9. Verfahren nach Aspekt 8, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine Ableitung einer Position des Fahrzeugs umfassen.
    10. 10. Verfahren nach einem der Aspekte 8 bis 9, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils einen Geschwindigkeitsvektor, eine Beschleunigung, eine Überbeschleunigung oder ein Schnappen umfassen.
    11. 11. Verfahren nach einem der Aspekte 8 bis 10, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine polynomische Darstellung niedrigen Grades eines Geschwindigkeitsvektors, einer Beschleunigung, einer Überbeschleunigung oder eines Schnappens umfassen.
    12. 12. Verfahren nach einem der Aspekte 1 bis 11, wobei die Abfolge von Positionen eine erste Position des Fahrzeugs zu einem ersten Zeitpunkt und eine zweite Position des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
    13. 13. Verfahren nach Aspekt 12, wobei die erste Position und die zweite Position jeweils einen Satz zweidimensionaler Raumkoordinaten oder einen Satz dreidimensionaler Raumkoordinaten umfassen.
    14. 14. System, umfassend:
      • mindestens einen Prozessor und
      • mindestens ein nichtflüchtiges Speichermedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen:
        • unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen;
        • unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und
        • unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs auf Grundlage zumindest der physischen Raumdarstellung der Trajektorie.
    15. 15. System nach Aspekt 14, wobei jeder Übergang zwischen aufeinanderfolgenden Knoten eine Aktion umfasst, die mit einer durch eine Belohnungsfunktion bestimmten Belohnung assoziiert ist, und wobei die Suche auf Grundlage der Belohnungsfunktion so durchgeführt wird, dass die Abfolge von Steuerparametern, die die abstrakte Raumdarstellung der Trajektorie umfasst, mit einer maximalen kumulativen Belohnung assoziiert ist.
    16. 16. System nach Aspekt 15, wobei die Arbeitsschritte ferner umfassen:
      • unter Verwendung des mindestens einen Datenprozessors erfolgendes Trainieren des maschinellen Lernmodells, um die Belohnungsfunktion auf Grundlage einer oder mehrerer Demonstrationen von Expertenverhalten zu lernen.
    17. 17. System nach Aspekt 16, wobei das maschinelle Lernmodell durch Anwenden von inversem Verstärkungslernen (IRL) und/oder assoziativem Verstärkungslernen und/oder tiefem Verstärkungslernen und/oder sicherem Verstärkungslernen und/oder teilüberwachtem Verstärkungslernen (PSRL) trainiert wird.
    18. 18. System nach einem der Aspekte 14 bis 17, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
    19. 19. System nach einem der Aspekte 14 bis 18, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
    20. 20. System nach einem der Aspekte 14 bis 19, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
    21. 21. System nach einem der Aspekte 14 bis 20, wobei die Abfolge von Steuerparametern einen ersten Steuerparameter des Fahrzeugs zu einem ersten Zeitpunkt und einen zweiten Steuerparameter des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
    22. 22. System nach Aspekt 21, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine Ableitung einer Position des Fahrzeugs umfassen.
    23. 23. System nach einem der Aspekte 21 bis 22, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils einen Geschwindigkeitsvektor, eine Beschleunigung, eine Überbeschleunigung oder ein Schnappen umfassen.
    24. 24. System nach einem der Aspekte 21 bis 23, wobei der erste Steuerparameter und der zweite Steuerparameter jeweils eine polynomische Darstellung niedrigen Grades eines Geschwindigkeitsvektors, einer Beschleunigung, einer Überbeschleunigung oder eines Schnappens umfassen.
    25. 25. System nach einem der Aspekte 14 bis 24, wobei die Abfolge von Positionen eine erste Position des Fahrzeugs zu einem ersten Zeitpunkt und eine zweite Position des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
    26. 26. System nach Aspekt 25, wobei die erste Position und die zweite Position jeweils einen Satz zweidimensionaler Raumkoordinaten oder einen Satz dreidimensionaler Raumkoordinaten umfassen.
    27. 27. Ein oder mehrere nichtflüchtige Speichermedien, die Anweisungen speichern, die bei Ausführung durch mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen:
      • unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen;
      • unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und
      • unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs auf Grundlage zumindest der physischen Raumdarstellung der Trajektorie.
    28. 28. Ein oder mehrere nichtflüchtige Speichermedien nach Aspekt 27, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
    29. 29. Ein oder mehrere nichtflüchtige Speichermedien nach einem der Aspekte 27 bis 28, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
    30. 30. Ein oder mehrere nichtflüchtige Speichermedien nach einem der Aspekte 27 bis 29, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.

Claims (28)

  1. Verfahren, umfassend: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei jeder Steuerparameter in der Abfolge von Steuerparametern einer Ableitung einer Position des Fahrzeugs entspricht, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs auf Grundlage zumindest der physischen Raumdarstellung der Trajektorie.
  2. Verfahren nach Anspruch 1, wobei jeder Übergang zwischen aufeinanderfolgenden Knoten eine Aktion umfasst, die mit einer durch eine Belohnungsfunktion bestimmten Belohnung assoziiert ist, und wobei die Suche auf Grundlage der Belohnungsfunktion so durchgeführt wird, dass die Abfolge von Steuerparametern, die die abstrakte Raumdarstellung der Trajektorie umfasst, mit einer maximalen kumulativen Belohnung assoziiert ist.
  3. Verfahren nach Anspruch 2, ferner umfassend: unter Verwendung des mindestens einen Datenprozessors erfolgendes Trainieren des maschinellen Lernmodells, um die Belohnungsfunktion auf Grundlage einer oder mehrerer Demonstrationen von Expertenverhalten zu lernen.
  4. Verfahren nach Anspruch 3, wobei das maschinelle Lernmodell durch Anwenden von inversem Verstärkungslernen (IRL) und/oder assoziativem Verstärkungslernen und/oder tiefem Verstärkungslernen und/oder sicherem Verstärkungslernen und/oder teilüberwachtem Verstärkungslernen (PSRL) trainiert wird.
  5. Verfahren nach Anspruch 2, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
  6. Verfahren nach Anspruch 1, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
  7. Verfahren nach Anspruch 1, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
  8. Verfahren nach Anspruch 1, wobei die Abfolge von Steuerparametern einen ersten Steuerparameter des Fahrzeugs zu einem ersten Zeitpunkt und einen zweiten Steuerparameter des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  9. Verfahren nach Anspruch 1, wobei jeder Steuerparameter in der Abfolge von Steuerparametern einen Geschwindigkeitsvektor, eine Beschleunigung, eine Überbeschleunigung oder ein Schnappen umfasst.
  10. Verfahren nach Anspruch 1, wobei jeder Steuerparameter in der Abfolge von Steuerparametern ferner ein Polynom niedrigen Grades umfasst, das eine Änderung in zwei oder mehr aufeinanderfolgenden Steuerparametern modelliert.
  11. Verfahren nach Anspruch 1, wobei die Abfolge von Positionen eine erste Position des Fahrzeugs zu einem ersten Zeitpunkt und eine zweite Position des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  12. Verfahren nach Anspruch 11, wobei die erste Position und die zweite Position jeweils einen Satz zweidimensionaler Raumkoordinaten oder einen Satz dreidimensionaler Raumkoordinaten umfassen.
  13. System, umfassend: mindestens einen Prozessor und mindestens ein nichtflüchtiges Speichermedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen: Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei jeder Steuerparameter in der Abfolge von Steuerparametern einer Ableitung einer Position des Fahrzeugs entspricht, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und Steuern einer Bewegung des Fahrzeugs auf Grundlage zumindest der physischen Raumdarstellung der Trajektorie.
  14. System nach Anspruch 13, wobei jeder Übergang zwischen aufeinanderfolgenden Knoten eine Aktion umfasst, die mit einer durch eine Belohnungsfunktion bestimmten Belohnung assoziiert ist, und wobei die Suche auf Grundlage der Belohnungsfunktion so durchgeführt wird, dass die Abfolge von Steuerparametern, die die abstrakte Raumdarstellung der Trajektorie umfasst, mit einer maximalen kumulativen Belohnung assoziiert ist.
  15. System nach Anspruch 14, wobei die Arbeitsschritte ferner umfassen: unter Verwendung des mindestens einen Datenprozessors erfolgendes Trainieren des maschinellen Lernmodells, um die Belohnungsfunktion auf Grundlage einer oder mehrerer Demonstrationen von Expertenverhalten zu lernen.
  16. System nach Anspruch 15, wobei das maschinelle Lernmodell durch Anwenden von inversem Verstärkungslernen (IRL) und/oder assoziativem Verstärkungslernen und/oder tiefem Verstärkungslernen und/oder sicherem Verstärkungslernen und/oder teilüberwachtem Verstärkungslernen (PSRL) trainiert wird.
  17. System nach Anspruch 13, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
  18. System nach Anspruch 13, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
  19. System nach Anspruch 13, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
  20. System nach Anspruch 13, wobei die Abfolge von Steuerparametern einen ersten Steuerparameter des Fahrzeugs zu einem ersten Zeitpunkt und einen zweiten Steuerparameter des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  21. System nach Anspruch 13, wobei jeder Steuerparameter in der Abfolge von Steuerparametern einen Geschwindigkeitsvektor, eine Beschleunigung, eine Überbeschleunigung oder ein Schnappen umfasst.
  22. System nach Anspruch 13, wobei jeder Steuerparameter in der Abfolge von Steuerparametern ferner ein Polynom niedrigen Grades umfasst, das eine Änderung in zwei oder mehr aufeinanderfolgenden Steuerparametern modelliert.
  23. System nach Anspruch 13, wobei die Abfolge von Positionen eine erste Position des Fahrzeugs zu einem ersten Zeitpunkt und eine zweite Position des Fahrzeugs zu einem zweiten Zeitpunkt beinhaltet.
  24. System nach Anspruch 23, wobei die erste Position und die zweite Position jeweils einen Satz zweidimensionaler Raumkoordinaten oder einen Satz dreidimensionaler Raumkoordinaten umfassen.
  25. Ein oder mehrere nichtflüchtige Speichermedien, die Anweisungen speichern, die bei Ausführung durch mindestens einen Prozessor den mindestens einen Prozessor zu Folgendem veranlassen: unter Verwendung mindestens eines Datenprozessors erfolgendes Anwenden eines maschinellen Lernmodells, um eine abstrakte Raumdarstellung einer Trajektorie für ein Fahrzeug zu bestimmen, wobei die abstrakte Raumdarstellung der Trajektorie eine Abfolge von Steuerparametern beinhaltet, die mit dem Fahrzeug assoziiert sind, wobei jeder Steuerparameter in der Abfolge von Steuerparametern einer Ableitung einer Position des Fahrzeugs entspricht, wobei das maschinelle Lernmodell die abstrakte Raumdarstellung der Trajektorie bestimmt, indem es zumindest eine Monte-Carlo-Baumsuche (MCTS) in einem Suchbaum mit einer Vielzahl von Knoten durchführt, die eine Vielzahl verschiedener Steuerparameter darstellen; unter Verwendung des mindestens einen Datenprozessors erfolgendes Bestimmen einer physischen Raumdarstellung der Trajektorie, indem zumindest die Abfolge von Steuerparametern auf eine Abfolge von Positionen für das Fahrzeug abgebildet wird; und unter Verwendung des mindestens einen Datenprozessors erfolgendes Steuern einer Bewegung des Fahrzeugs auf Grundlage zumindest der physischen Raumdarstellung der Trajektorie.
  26. Ein oder mehrere nichtflüchtige Speichermedien nach Anspruch 25, wobei die Suche im Suchbaum auf Grundlage einer oder mehrerer kinematischer Beschränkungen und/oder physischer Beschränkungen, die mit dem Fahrzeug assoziiert sind, begrenzt wird, um zu verhindern, dass ein oder mehrere Steuerparameterwerte in der abstrakten Raumdarstellung der Trajektorie enthalten sind.
  27. Ein oder mehrere nichtflüchtige Speichermedien nach Anspruch 26, wobei die abstrakte Raumdarstellung der Trajektorie und die physische Raumdarstellung der Trajektorie auf Grundlage einer oder mehrerer Anfangsbedingungen des Fahrzeugs bestimmt werden.
  28. Ein oder mehrere nichtflüchtige Speichermedien nach Anspruch 25, wobei die Abfolge von Steuerparametern auf die Abfolge von Positionen für das Fahrzeug abgebildet wird, indem zumindest eine erste Funktion integriert wird, die der Abfolge von Steuerparametern entspricht, und zumindest auf Grundlage der integrierten ersten Funktion und einer oder mehrerer Anfangsbedingungen des Fahrzeugs eine zweite Funktion bestimmt wird, die der Abfolge von Positionen entspricht.
DE102023114901.6A 2022-06-08 2023-06-06 Steuerparameterbasierter suchraum für fahrzeugbewegungsplanung Pending DE102023114901A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/835,789 2022-06-08
US17/835,789 US11634158B1 (en) 2022-06-08 2022-06-08 Control parameter based search space for vehicle motion planning

Publications (1)

Publication Number Publication Date
DE102023114901A1 true DE102023114901A1 (de) 2023-12-14

Family

ID=86059908

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023114901.6A Pending DE102023114901A1 (de) 2022-06-08 2023-06-06 Steuerparameterbasierter suchraum für fahrzeugbewegungsplanung

Country Status (5)

Country Link
US (2) US11634158B1 (de)
KR (1) KR102645965B1 (de)
CN (1) CN117195678A (de)
DE (1) DE102023114901A1 (de)
GB (1) GB2619614B (de)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746706B2 (ja) * 2016-10-03 2020-08-26 三菱電機株式会社 自動運転制御パラメータ変更装置および自動運転制御パラメータ変更方法
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10353390B2 (en) * 2017-03-01 2019-07-16 Zoox, Inc. Trajectory generation and execution architecture
US10671076B1 (en) * 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US11243532B1 (en) * 2017-09-27 2022-02-08 Apple Inc. Evaluating varying-sized action spaces using reinforcement learning
EP3864574A1 (de) * 2018-10-16 2021-08-18 Five AI Limited Planung und vorhersage von autonomem fahrzeug
KR20200129045A (ko) * 2019-05-07 2020-11-17 모셔널 에이디 엘엘씨 차량의 궤적을 계획 및 업데이트하기 위한 시스템 및 방법
US11577754B2 (en) * 2019-06-04 2023-02-14 Motional Ad Llc Autonomous vehicle operation using linear temporal logic
US11875678B2 (en) * 2019-07-19 2024-01-16 Zoox, Inc. Unstructured vehicle path planner
US11945472B2 (en) * 2020-08-28 2024-04-02 Motional Ad Llc Trajectory planning of vehicles using route information

Also Published As

Publication number Publication date
GB2619614B (en) 2024-07-24
US11634158B1 (en) 2023-04-25
CN117195678A (zh) 2023-12-08
KR102645965B1 (ko) 2024-03-11
GB2619614A (en) 2023-12-13
KR20230169858A (ko) 2023-12-18
GB202308532D0 (en) 2023-07-26
US20240059319A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
DE102020111682A1 (de) Systeme und verfahren zum implementieren einer autonomen fahrzeugreaktion auf ein sensorversagen
DE102021132853A1 (de) Auf deep learning basierende kamerakalibrierung
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
DE102022102187A1 (de) High-fidelity-daten-getriebene multimodale simulation
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
DE102021132082A1 (de) Ende-zu-ende-system-training unter verwendung vereinigter bilder
DE102021132199A1 (de) Bestimmen von Objektmobilitätsparametern unter Verwendung einer Objektsequenz
DE102022119204A1 (de) Systeme und Verfahren zur effizienten Schätzung einer Fahrzeugausdehnung
DE102021132851A1 (de) Fahrzeugbetrieb unter verwendung von manövererzeugung
DE102022100218A1 (de) Umgebungsbeschränkungs- und Sensoranomaliesystem und -verfahren
DE102022122456A1 (de) Auf maschinellem lernen basierte klassifizierung einer punktwolkenausrichtung
DE102022131625A1 (de) Bordsteinbasierte merkmalsextraktion für lokalisierung und fahrspurerkennung mittels radar
DE102022106461A1 (de) Systeme und verfahren zur kameraausrichtung
DE102023111485A1 (de) Nachverfolgungssegmentbereinigung nachverfolgter objekte
DE102021131489A1 (de) Semantische annotation von sensordaten unter verwendung unzuverlässiger kartenannotationseingaben
DE102022100041A1 (de) Betriebseinhüllendenerkennung mit situationsbeurteilung unter verwendung von metriken
DE102023107233A1 (de) Auswahl von fahrzeugaktionen auf grundlage simulierter zustände
DE102022103060A1 (de) Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten
DE102022105579A1 (de) Graphenerkundung zur regelbuchtrajektorieerzeugung
DE102023108247A1 (de) Tracker-Positionsaktualisierungen zur Erzeugung von Fahrzeugtrajektoren
DE102023101853A1 (de) Erzeugung von Trajektorien unter Verwendung diverser Trajektorien
DE102022133254A1 (de) Antennenüberwachung und -auswahl
DE102022102214A1 (de) Verfahren und Systeme zur Agent-Priorisierung
DE102021133740A1 (de) Erlernen der identifikation sicherheitskritischer szenarien für ein autonomes fahrzeug
DE102022103427A1 (de) Systeme und verfahren zur behandlung des verhaltens von ampeln

Legal Events

Date Code Title Description
R012 Request for examination validly filed