DE102020134346A1

DE102020134346A1 - Technologie zum generalisieren von erfahrungen für sicheres fahren für die verhaltensvorhersage automatisierter fahrzeuge

Info

Publication number: DE102020134346A1
Application number: DE102020134346.9A
Authority: DE
Inventors: Ignacio J. Alvarez; Vy Vo; Javier Felip Leon; David Israel Gonzalez Aguirre; Javier Perez-Ramirez; Javier Sebastian Turek; Mariano Tepper
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2020-06-27
Filing date: 2020-12-21
Publication date: 2021-12-30
Also published as: US11702105B2; CN113844461A; US20210001884A1

Abstract

Systeme, Einrichtungen und Verfahren können Technologie bereitstellen, die über ein erstes neuronales Netzwerk wie etwa ein Gitternetzwerk einen ersten Vektor, der eine Vorhersage eines zukünftigen Verhaltens eines autonomen Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit erzeugt. Die Technologie kann außerdem über ein zweites neuronales Netzwerk wie etwa ein Hindernisnetzwerk einen zweiten Vektor, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit erzeugen, und über ein drittes neuronales Netzwerk wie etwa ein Ortsnetzwerk eine zukünftige Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor bestimmen, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert. Die Technologie kann auch Betätigungsbefehle zum Navigieren des autonomen Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug erstellen.

Description

TECHNISCHES GEBIET
Ausführungsformen betreffen allgemein automatisierte Steuersysteme. Insbesondere betreffen Ausführungsformen Technologie für automatisierte Fahrzeugsteuersysteme, die Wissen über sicheres Fahren in kognitive Räume codiert und eine aktuelle Fahrszene gegenüber zuvor erlerntem Fahrwissen evaluiert.
HINTERGRUND
Automatisierte Steuersysteme können in einer Vielfalt von Umgebungen verwendet werden, wie etwa beispielsweise autonomen Fahrzeugsystemen. Autonome Fahrzeugumgebungen stellen jedoch schwierige Herausforderungen dar. Während menschliche Fahrer im Allgemeinen unerwartete Fahrsituationen gut evaluieren und korrekte Sicherheitsbeurteilungen vornehmen können, die einen guten Ausgleich zwischen Sicherheit und Nützlichkeit beibehalten, sind automatisierte Fahrsysteme nicht in der Lage, solch eine Aufgabe so gut wie Menschen zu handhaben. Es ist gewöhnlich schwierig, die Systemlogik, die diese Entscheidungen steuert, als Fahrrichtlinie bekannt, auf alle Fahrsituationen zu generalisieren. Die Entscheidungsfindung hängt von den berücksichtigten wahrgenommenen Umgebungsfaktoren sowie einigen verinnerlichten Fahrregeln ab, die in Logik ausgedrückt oder durch Beispiele erlernt werden könnten. Einige Fahrrichtlinienansätze nutzen somit Regelsätze für Kollisionsvermeidung und Pfadverfolgung sowie Verkehrssignaleinschränkungen. Andere Ansätze basieren auf statistischem Lernen, um interne Repräsentationen aus Rohdaten als Funktionsannäherungen an die Abbildung von einer Sensoreingabe auf Steuerbefehle über verschiedene und rauschbehaftete Bedingungen zu erstellen. Eine Anzahl dieser Ansätze - wie etwa Deep Learning - leidet jedoch häufig unter Datenarmutsproblemen, bei denen die zugrundeliegende Struktur durch spärliche, aber komplexe Beziehungen charakterisiert ist. Einige Ansätze, die Sicherheitsprüfungen basierend auf kinematisch abgeleiteten Formeln durchführen und übliche Fahrregeln codieren, können ferner auf mehrere Straßengeometrien und Fahrsituationen generalisierbar sein, aber falls sich die spezielle Fahrumgebung von den über Verhalten getroffenen Annahmen unterscheidet, werden sich diese Verhalten radikal von jenen der umliegenden Fahrzeuge unterscheiden, was übermäßig vorsichtiges Verhalten im besten Fall oder gefährlich aggressives in anderen Fällen erzeugt.
Figurenliste
Die verschiedenen Vorteile der Ausführungsformen werden einem Fachmann durch Lesen der folgenden Beschreibung und der beigefügten Ansprüche und durch Bezugnahme auf die folgenden Zeichnungen ersichtlich, in denen Folgendes gilt:

1 ist ein Diagramm, das eine 2-dimensionale Repräsentation der Verteilung von Ortszellen und Gitterzellen im Hippocampus und eine Abbildung von Fahrzeugposition und -bewegung veranschaulicht;
2 ist ein Diagramm, das Komponenten eines Beispiels eines autonomen Fahrzeugsystems gemäß einer oder mehreren Ausführungsformen veranschaulicht;
3 ist ein Diagramm, das ferner Aspekte eines Beispiels eines autonomen Fahrzeugsystems gemäß einer oder mehreren Ausführungsformen veranschaulicht;
4 ist ein Blockdiagramm eines Beispiels einer Fahrrichtlinienarchitektur für ein autonomes Fahrzeugsystem gemäß einer oder mehreren Ausführungsformen;
5 ist ein Diagramm, das ein Beispiel eines Gitternetzwerks für eine Fahrrichtlinienarchitektur gemäß einer oder mehreren Ausführungsformen veranschaulicht;
6 ist ein Diagramm, das ein Beispiel eines Hindernisnetzwerks für eine Fahrrichtlinienarchitektur gemäß einer oder mehreren Ausführungsformen veranschaulicht;
7 ist ein Diagramm, das ein Beispiel eines Ortsnetzwerks für eine Fahrrichtlinienarchitektur gemäß einer oder mehreren Ausführungsformen veranschaulicht;
8 ist ein Diagramm, das ein Beispiel eines Teilsatzes begrenzter Aufgaben, die der Fahrrichtlinienarchitektur bereitgestellt werden, gemäß einer oder mehreren Ausführungsformen veranschaulicht;
9 ist ein Diagramm, das Beispiele eines unerwarteten Hindernisverhaltens und der Systemreaktion gemäß einer oder mehrerer Ausführungsformen veranschaulicht;
10A-10C stellen Flussdiagramme bereit, die den Betrieb eines Beispiels einer Fahrrichtlinienarchitektur für ein autonomes Fahrzeug gemäß einer oder mehreren Ausführungsformen veranschaulichen;
11 ist ein Blockdiagramm, das ein Beispiel eines leistungsfähigkeitsverbesserten Rechensystems gemäß einer oder mehreren Ausführungsformen veranschaulicht;
12 ist ein Blockdiagramm, das eine beispielhafte Halbleitereinrichtung gemäß einer oder mehreren Ausführungsformen veranschaulicht;
13 ist ein Blockdiagramm, das ein Beispiel eines Prozessors gemäß einer oder mehreren Ausführungsform veranschaulicht; und
14 ist ein Blockdiagramm, das ein Beispiel eines mehrprozessorbasierten Rechensystems gemäß einer oder mehreren Ausführungsformen veranschaulicht.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Im Allgemeinen stellen Ausführungsformen eine Fahrrichtlinienarchitektur (d. h. Untersystem) für ein autonomes Fahrzeugsystem bereit, die Wissen über Fahrverhalten für automatisierte Fahrzeuge generalisiert, um zuvor ungesehene Fahrbedingungen sicher zu handhaben. Ausführungsformen stellen außerdem eine Codierung von Wissen über sicheres Fahren in kognitive Räume in der Lernphase für die Fahrrichtlinie bereit. Zusätzlich beinhalten Ausführungsformen Technologie, die Ähnlichkeitsbewertungen zwischen aktuellen Situationen und vorherigen Erfahrungen durch Messen einer Aktivierungszeit in Gitterzellen, die einen Abruf von Erfahrungen auslösen, bestimmen wird, wobei abgerufenen Erfahrungen in Abhängigkeit von Standort, Agentenähnlichkeit und externen Bedingungen Gewichte zugewiesen werden können.
Insbesondere verwenden Ausführungsformen eine Multinetzwerkstruktur, in der ein ortszellenartiges Netzwerk an Eingaben trainiert wird, die von einem gitterzellenartigen Netzwerk und/oder einem hindernisartigen Netzwerk empfangen werden. Eine Belohnungsfunktion kann (z. B. über einen Sicherheitssupervisor) basierend auf Sicherheitsmaßnahmen an der Ausgabe des Ortsnetzwerks bereitgestellt werden. Zur Laufzeit sagt das Gitternetzwerk das Verhalten des Ego-Fahrzeugs vorher, während ein oder mehrere Hindernisnetzwerke das Verhalten anderer Fahrzeuge in der Nähe des Ego-Fahrzeugs vorhersagen. Das Ortsnetzwerk bestimmt eine Trajektorie des Ego-Fahrzeugs basierend auf externen Eingaben sowie der Reaktion vom Gitter- und Hindernisnetzwerk.
Erlernen von Navigationsaufgaben im Hippocampus: kognitive Räume
In Ausführungsformen können die Fahrrichtlinie und ihre Architektur analog zu dem Hippocampus-Gebiet im menschlichen Gehirn funktionieren. Die Hippocampusformation ist ein für Gedächtnis und räumliche Navigation kritischer Bereich im Gehirn. Es wurde vorgeschlagen, dass Ortszellen und Gitterzellen im hippocampalentorhinalen System Repräsentationen kognitiver Karten als eine Weise zum Einprägen der geometrischen Beziehungen zwischen verschiedenen abstrakten Merkmalen bilden. Siehe Bellmund, J. L., Gärdenfors, P., Moser, E. I., & Doeller, C. F: „Navigating cognition: Spatial codes for human thinking“, Science, Band 362 Nr. 6415 (9. November 2018), eaat6766. Ortszellen im Hippocampus sind aktiv, wenn ein Tier eine Position in einer speziellen Umgebung einnimmt. Im Gegensatz dazu sind Gitterzellen kontextunabhängig und feuern bei regelmäßigen hexagonalen Gitterpunkten in einer beliebigen Umgebung. Es wird angenommen, dass Gitterzellen ein Koordinatensystem der Umgebung bereitstellen, während Ortszellen egozentrische Positionsinformationen zur Eigenlokalisierung bereitstellen. Zusammen enthält die Aktivierung der Orts- und Gitterzellen genug Informationen, um den euklidischen Raum, oder allgemeiner einen gegebenen kognitiven Raum, zu navigieren.
1 ist ein Diagramm, das eine 2-dimensionale Repräsentation der Verteilung von Ortszellen und Gitterzellen im Hippocampus veranschaulicht (links, Bezeichnung 101). Wie an der linken Seite von 1 gezeigt, werden die Ortszellen 102 durch die größeren weißen Kreise repräsentiert, wobei Verbindungen zwischen Ortszellen mit gestrichelten Linien gezeigt sind. An der linken Seite der Figur sind außerdem Gitterzellen 103 gezeigt, die durch die kleineren schwarzen Kreise repräsentiert werden, wobei Verbindungen zwischen Gitterzellen mit gestrichelten Linien gezeigt sind. Wie an der rechten Seite von 1 gezeigt (Bezeichnung 104), ist eine Kreuzung veranschaulicht, bei der ein Fahrzeug an mehreren Punkten innerhalb der Kreuzung positioniert ist, wie etwa beispielsweise, falls das Fahrzeug durch die Kreuzung fährt und nach links abbiegt. Die Position eines Autos in der Kreuzung kann auf den Standort der aktiven Ortszellen, und die Bewegung (Handlungen) auf Aktivierungsmuster der Gitterzellen abgebildet werden. Nummern der Position des Autos entsprechen der räumlichen Abbildung des Autos im Hippocampus-Netzwerk (siehe Markierungen 1, 2 und 3).
Automatisierte Fahrsysteme können über einen Zyklus von Wahrnehmung, Planung und Betätigung arbeiten, bei dem ein aus einer Reihe von Sensoren (z. B. Kameras, Radar, Lidar, IMU, GPS usw.) bestehendes System eine virtuelle Repräsentation der Welt erzeugt, und ein Entscheidungslogiksystem, d. h. Fahrrichtlinie, eine allgemeine Route vom Ausgangsort zum Zielort plant und kurzzeitige Trajektorien zum Navigieren von Hindernissen bestimmt, was die Fahrzeugintegrität beibehält, während Verkehrsregeln befolgt werden. 2 ist ein Diagramm, das Komponenten eines Beispiels eines autonomen Fahrzeugsystems 200 gemäß einer oder mehreren Ausführungsformen veranschaulicht, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Das autonome Fahrzeugsystem 200 kann mehrere Module oder Untersysteme beinhalten, einschließlich eines Wahrnehmungsmoduls 202, eines Umgebungsmoduls 204, eines Fahrrichtlinienmoduls 206 und eines Betätigungsmoduls 208. Das Wahrnehmungsmodul 202 und das Umgebungsmodul 204 können Wahrnehmungsmerkmale mittels Sensoren (z. B. Lidar-, Radar-, Kamera- und Standortinformationen) sammeln und sie verarbeiten, um Standortinformationen und kinematische Informationen bezüglich Hindernissen (z. B. relevante Agenten und Objekte) in der Umgebung des Ego-Fahrzeugs zu erhalten. Diese Informationen können dem Fahrrichtlinienmodul 206, das Merkmale der in den folgenden Figuren ausführlicher beschriebenen Fahrrichtlinienarchitektur implementieren kann, als eine Eingabe bereitgestellt werden. Die Ausgabe des Fahrrichtlinienmoduls 206 kann dem Betätigungsmodul 208, das Betätigungsbefehle zum Steuern der Lenkungs-, Beschleunigungs- und/oder Bremsfunktionen des autonomen Fahrzeugs ausführen kann, als eine Eingabe bereitgestellt werden.
Fahrrichtlinie basierend auf kognitiver Karte
3 ist ein Diagramm 300, das ferner Aspekte eines Beispiels eines autonomen Fahrzeugsystems gemäß einer oder mehreren Ausführungsformen veranschaulicht, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Wie in einer Übersicht hoher Ebene in der Figur gezeigt, kann eine Fahrrichtlinienarchitektur in einem automatisierten Fahrsystem arbeiten, um beim Vorhandensein anderer Fahrzeuge unter Verwendung eines kognitiven Raums zum Abrufen generalisierten Wissens sicher zu navigieren. Sensoreingaben und andere Eingaben können in einen Beobachtungsvektor codiert werden, der Straßengeometrie, Sequenzen vorheriger Handlungen für andere Straßenagenten bis zu einem gegebenen Zeithorizont und Umgebungsbedingungen (z. B. regnerisch, sonnig) beinhaltet. Ausführungsformen der Fahrrichtlinienarchitektur können eine zukünftige Handlungssequenz für das Ego-Fahrzeug innerhalb eines spezifizierten Zeithorizonts bereitstellen, die dem Betätigungssystem zur Befehlseingabe übergeben wird. Neben dem z. B. durch einen Routenplaner bereitgestellten Fahrzeugziel kann eine Sicherheitssupervisorkomponente in die Fahrrichtlinie einbezogen sein, die die Befehlssequenz liest und, falls erforderlich, Einschränkungen an den Befehlen anwendet, um Sicherheitsgarantien bereitzustellen. Beispielsweise können Ausführungsformen mit dem mathematischen RSS(Responsibility-Sensitive Safety)-Framework, eingeführt von Intel^® und Mobileye für den autonomen Fahrzeugbetrieb, integriert sein, um Sicherheitsprüfungen mit umliegenden Agenten durchzuführen und aktive Einschränkungen für die Fahrrichtlinie bereitzustellen. In Ausführungsformen kann ein Sicherheitsbelohnungswert an der Fahrrichtlinie z. B. über RSS basierend auf der durch die Fahrrichtlinie erzeugten Trajektorie des Ego-Fahrzeugs angewendet werden. In manchen Ausführungsformen könnte eine ähnliche Sicherheitsbelohnung durch Messen eines Mindestabstands zu umliegenden Fahrzeugen und Maximieren der Belohnung für längere Abstände oder durch Bereitstellen einiger Verkehrsregelheuristiken und Überwachen der Einhaltung dieser Regeln erhalten werden. Sicherheitskriterien können allgemein so verstanden werden, dass sie Regeln oder Leitlinien zur Kollisionsvermeidung beinhalten, beispielsweise durch Erstellen einer Mindestabstandsmetrik während einer speziellen Situation. Sicherheitskriterien können auch lokale Straßenregeln beinhalten, wie etwa Höchstgeschwindigkeit im Straßensegment, Einhalten von Signalen und/oder Erlauben - oder Verbieten - gewisser Manöver (z. B. an Kreuzungen). Lokale Straßenregeln sind nicht notwendigerweise auf Sicherheit beschränkt und können lokales Verhalten beinhalten. In manchen Ausführungsformen können lokale Straßenregeln als eine separate Liste oder andere Dateneingabe bereitgestellt werden.
4 ist ein Blockdiagramm eines Beispiels einer Fahrrichtlinienarchitektur 400 für ein autonomes Fahrzeugsystem gemäß einer oder mehreren Ausführungsformen, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Gemäß Ausführungsformen kann die Fahrrichtlinienarchitektur 400 aus mehreren miteinander verbundenen neuronalen Netzwerken 410 bestehen, analog zu dem Ökosystem der Zellen im Hippocampusgebiet, um eine kognitive Karte zu erzeugen. Beispielsweise können solche neuronalen Netzwerke Folgendes beinhalten: ein erstes neuronales Netzwerk 420, wie etwa ein Gitternetzwerk, das mit dem Vorhersagen des Verhaltens des Ego-Fahrzeugs beauftragt ist; ein oder mehrere zweite neuronale Netzwerke 430, wie etwa ein oder mehrere Hindemisnetzwerke, die mit dem Vorhersagen des Verhaltens anderer Hindernisse (wie etwa anderer Fahrzeuge) beauftragt sind; und ein drittes neuronales Netzwerk 440, wie etwa ein Ortsnetzwerk, das mit dem Ausgeben einer Trajektorie des Ego-Fahrzeugs basierend auf einer externen Eingabe sowie der Anregungsreaktion vom Gitter- und Hindernisnetzwerk beauftragt ist. Um zeitliche Sequenzen zu verarbeiten, kann jedes der drei neuronalen Netzwerke aus einem Typ einer rekurrenten neuronalen Netzwerkeinheit bestehen, dem LSTM-Netzwerk (LSTM: Long Short-Term Memory - Langer Kurzzeitspeicher). Allgemein gesagt ist ein Netzwerk mit langem Kurzzeitspeicher ein rekurrentes neuronales Netzwerk, das eine oder mehrere Speicherzellen einschließt, um es im Vergleich zu anderen Sequenzlernmodellen gegenüber der zeitlichen Verzögerungslänge weniger empfindlich zu machen. Sowohl das erste neuronale Netzwerk 420, das eine bzw. die mehreren zweiten neuronalen Netzwerke 430 als auch das dritte neuronale Netzwerk 440 können in einem FPGA-Beschleuniger (FPGA: feldprogrammierbares Gate-Array) implementiert werden. In manchen Ausführungsformen können das erste neuronale Netzwerk 420 und/oder das eine bzw. die mehreren zweiten neuronalen Netzwerke 430 und/oder das dritte neuronale Netzwerk 440 in einer anwendungsspezifischen integrierten Schaltung (ASIC) oder mittels eines Prozessors mit Software oder in einer Kombination eines Prozessors mit Software und eines FPGA oder einer ASIC implementiert werden.
Die Fahrrichtlinienarchitektur 400 kann als eine Eingabe Fahrzeugbeobachtungsvektoren 450 empfangen. Die Fahrzeugbeobachtungsvektoren 450 können aus Sensordaten (wie etwa beispielsweise Kameras, Radar, Lidar usw.), Kartendaten und anderen Daten, die Informationen über Fahrzeuge und andere Hindernisse in der Nähe des Ego-Fahrzeugs bereitstellen, erhalten werden und können solch andere Informationen beinhalten wie Straßengeometrie und lokale Umgebungsbedingungen (z. B. Wetter, Tageszeit usw.). In manchen Ausführungsformen können die eingegebenen Fahrzeugbeobachtungsvektoren 450 von einem Wahrnehmungsmodul (z. B. über das Wahrnehmungsmodul 202 und/oder das Umgebungsmodul 204, wie in der schon besprochenen 2 gezeigt) erhalten werden, wie etwa ein Wahrnehmungsmodul, wie in Verbindung mit RSS verwendet. In manchen Ausführungsformen können die eingegebenen Fahrzeugbeobachtungsvektoren 450 über eine Sensorschnittstelle 455 empfangen werden. Die Fahrrichtlinienarchitektur 400 kann auch als eine Eingabe Routenplanungsdaten 460 von einem Routenplaner und/oder Sicherheitsrückmeldedaten (z. B. Sicherheitsbelohnungsdaten) 465 von einem Sicherheitssupervisor (der über RSS bereitgestellt werden kann) empfangen.
Das erste neuronale Netzwerk 420, das ein Gitternetzwerk sein kann, wie ferner hierin mit Bezug auf 5 beschrieben, kann über die Fahrzeugbeobachtungsvektoren 450 als Eingabe Daten bezüglich des Ego-Fahrzeugs empfangen. Das erste neuronale Netzwerk 420 kann vorhergesagte Aktivierungen erzeugen, die die zukünftige Position oder das zukünftige Verhalten des Ego-Fahrzeugs repräsentieren. Das zweite neuronale Netzwerk 430, das ein Hindernisnetzwerk sein kann, wie ferner hierin mit Bezug auf 6 beschrieben, kann über die Fahrzeugbeobachtungsvektoren 450 als Eingabe Daten bezüglich bestehender Hindernisse auf der Straße (z. B. andere Fahrzeuge) empfangen. Das zweite neuronale Netzwerk 430 kann vorhergesagte Aktivierungen erzeugen, die die zukünftigen Positionen oder Verhalten dieser Hindernisse repräsentieren. In manchen Ausführungsformen kann die Fahrrichtlinienarchitektur 400 mehrere zweite neuronale Netzwerke 430 beinhalten, die jeweils ein Hindernisnetzwerk sein können, um eine Anzahl von Hindernissen zu bearbeiten. Beispielsweise kann, da die Anzahl von Hindernissen variabel ist, jedes zweite neuronale Netzwerk 430 zur Laufzeit so instanziiert werden, wie basierend auf den Eingabedaten und der repräsentierten Anzahl von Hindernissen notwendig sein kann. Das dritte neuronale Netzwerk 440, das ein Ortsnetzwerk sein kann, wie hierin ferner mit Bezug auf 7 beschrieben, kann über die Fahrzeugbeobachtungsvektoren 450 als Eingabe die Ego-Fahrzeug-Verhaltensvorhersagen vom ersten neuronalen Netzwerk 420, die Hindernisverhaltensvorhersagen von einem oder mehreren zweiten neuronalen Netzwerken 430 sowie Routenplanungsdaten 460 und/oder Sicherheitsrückmeldedaten 465 empfangen. Das dritte neuronale Netzwerk 440 kann eine zukünftige Ego-Fahrzeug-Trajektorie 470 erzeugen, die eine zukünftige geplante Ausgabetrajektorie für das Ego-Fahrzeug repräsentieren kann.
Die vom dritten neuronalen Netzwerk 440 resultierende zukünftige Ego-Fahrzeug-Trajektorie 470 kann als Eingabe in das Fahrzeugnavigationsbetätigungsuntersystem 480 bereitgestellt werden, das Betätigungsbefehle zum Steuern von Lenkungs-, Beschleunigungs- und/oder Bremsfunktionen zur Verwendung bei der Navigation und Steuerung des autonomen Fahrzeugs ausführen kann. Zusätzlich kann auch eine Sicherheitskriterieneingabe 490 von einem Sicherheitsmodul oder Sicherheitssupervisor durch das Fahrzeugnavigationsbetätigungsuntersystem 480 bei der Navigation und Steuerung des autonomen Fahrzeugs angewendet werden. Es sollte angemerkt werden, dass, obwohl die Beschreibung hierin spezifische Beispiele des ersten neuronalen Netzwerks 420, des zweiten neuronalen Netzwerks 430 und des dritten neuronalen Netzwerks 440 bereitstellt, es viele mögliche Instanziierungen der drei neuronalen Netzwerke gibt, die in der Fahrrichtlinienarchitektur 400 zum Ausführen der wie hierin beschriebenen Merkmale und Funktionen angewendet werden können.
Gitternetzwerkarchitektur
5 ist ein Diagramm, das ein Beispiel eines Gitternetzwerks 500 für eine Fahrrichtlinienarchitektur gemäß einer oder mehreren Ausführungsformen veranschaulicht, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Das Gitternetzwerk 500 kann analog zu Gitterzellen arbeiten, die mit dem Vorhersagen zukünftiger Belegungsorte assoziiert sind, und kann angewendet werden, um das Verhalten des Ego-Fahrzeugs zu bestimmen. Die Architektur für das Gitternetzwerk 500 kann drei Schichten beinhalten: eine rekurrente Schicht, eine lineare Schicht und eine Ausgabeschicht. Die rekurrente Schicht kann ein LSTM 510 sein, der Ortszellenanregung projiziert, und kann eine Zelle mit N verborgenen Einheiten beinhalten. Als Eingabe in die Schicht ist der Ego-Fahrzeug-Beobachtungsvektor 520 ein Vektor e_(t-h), der die Ego-Fahrzeug-Beobachtungen im definierten historischen Zeithorizont repräsentiert. Der Vektor kann durch die zeitlich geordnete Verknüpfung von Ego-Fahrzeug-Stellung (Position und Orientierung), -Geschwindigkeit, Straßengeometrie und Umgebungszustand gebildet werden:
$\begin{array}{l} e_{(t - h)} = [(e_{p o s e_{(t - h)}}, e_{v e l o c i t y_{(t - h)}}, r o a d_{g e o m_{(t - h)}}, e n v_{s t a t e_{(t - h)}}),... \\ ..., (e_{p o s e_{(t)}}, e_{v e l o c i t y_{(t)}}, r o a d_{g e o m_{(t)}}, e n v_{s t a t e_{(t)}})] \end{array}$
Straßengeometrie und Umgebungszustand werden innerhalb des historischen Zeithorizonts allgemein statisch sein. Straßengeometrie kann die geografische Definition von Fahrbahnen (befahrbare Oberflächen und Abgrenzungen), in denen das Ego-Fahrzeug fahren muss, in einer Polygon-Repräsentation enthalten. Der Umgebungszustand kann Kontextinformationen bezüglich externer Bedingungen (Nicht-Fahrbedingungen) enthalten, die das Verhalten beeinflussen könnten, wie etwa Beleuchtung (Tag/Nacht), Wetterbedingungen usw., und kann als Kontext für die gemessenen Stellungs- und Geschwindigkeitsbeobachtungen bereitgestellt werden. Optional kann dieser Vektor durch das Hinzufügen eines neuronalen Netzwerks wie etwa eines Variations-Auto-Codierers komprimiert werden, sodass ein kleinerer latenter Vektor als Eingabe in das Gitternetzwerk 500 übergeben werden könnte.
Der anfängliche Zellenzustand und verborgene Zustand des LSTM 510 können durch eine lineare Transformation der Ground-Truth-Messung von Ego_Standort zur Zeit 0 initialisiert werden. Die Parameter der Transformationen können während des Trainings durch Minimieren der Kreuzentropie zwischen den Ortszellenvorhersagen und den als Eingabe bereitgestellten Ground-Truth-Messungen optimiert werden:
$l_{0} = W^{c p} e_{0} + W^{c d} h_{0}$
$m_{0} = W^{h p} e_{0} + W^{h d} h_{0}$
Die Ausgabe des LSTM 510, m_t, kann dann zu einer SoftMax-Schicht 530 übergeben werden, die die SoftMax-Funktion aufruft, um vorhergesagte Ortszellenaktivierungen y_t zu erzeugen. Die Ausgabe, das vorhergesagte Ego-Fahrzeug-Verhalten 540, ist ein Vektor y_ego_(t+h), der aus Werten im Bereich [0-1] bestehen kann, die die Wahrscheinlichkeit einer Ego-Fahrzeug-Ortsbelegung repräsentieren. Die Ausgabe repräsentiert somit eine vorhergesagte zukünftige Trajektorie des Ego-Fahrzeugs und kann, wie in 5 veranschaulicht, als ein Satz von Werten in einem 2D-Gitter visualisiert werden (gezeigt in dem Beispielgitter für das Ego-Fahrzeug, das mit einer geraden Trajektorie fährt).
Hindernisnetzwerkarchitektur
6 ist ein Diagramm, das ein Beispiel eines Hindernisnetzwerks 600 für eine Fahrrichtlinienarchitektur gemäß einer oder mehreren Ausführungsformen veranschaulicht, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Das Hindernisnetzwerk 600 kann die gleiche oder eine ähnliche Architektur beinhalten, wie für das schon besprochene Gitternetzwerk 500 (5) gezeigt und beschrieben ist, und kann analog zu Objektzellen im Hippocampus arbeiten, von denen angenommen wird, dass sie Objekte im 3D-Raum überwachen und Bewegungen vorhersagen. In Ausführungsformen kann das Hindernisnetzwerk 600 auf eine Weise funktionieren, die der des Gitternetzwerks 500 ähnlich ist, in dem Sinne, dass es Verhalten vorhersagen muss, aber mit einem Fokus auf andere Straßenagenten, basierend auf Eingabeinformationen über bestehende Hindernisse (einschließlich anderer Fahrzeuge) auf der Straße. Somit kann das Hindernisnetzwerk 600 beispielsweise einen Rekurrente-Schicht-LSTM 610, der Ortszellenanregung projiziert, sowie eine lineare Schicht und eine Ausgabeschicht beinhalten.
Ein Hindernisnetzwerk 600 soll auf das Verhalten eines einzelnen Hindernisses fokussieren. Falls es somit N Hindernisse gibt, die im aktuellen Verkehrsszenario innerhalb des zu analysierenden Straßensegments vorhanden sind, können N Hindernisnetzwerke 600 zur Laufzeit instanziiert werden, wobei jedes Hindernisnetzwerk 600 auf eines der N Hindernisse fokussiert. Als Eingabe in das Hindernisnetzwerk 600 für Hindernis i, ist ein Hindernis⁽ⁱ⁾-Beobachtungsvektor 620 ein Vektor $o_{(t - h)}^{i},$
der die Hindernisbeobachtungen in dem definierten historischen Zeithorizont repräsentiert. Dieser Vektor, ähnlich dem Eingabevektor für das Gitternetzwerk 500, kann durch die zeitlich geordnete Verknüpfung der Hindernisstellung (Position und Orientierung), Hindernisgeschwindigkeit, Straßengeometrie und Umgebungszustand gebildet werden:
$\begin{array}{l} o^{i}_{(t - h)} = [(o_{p o s e_{(t - h)}}^{i}, o_{v e l o c i t y_{(t - h)}}^{i}, r o a d_{g e o m_{(t - h)}}, e n v_{s t a t e_{(t - h)}}),... \\ ..., (o_{p o s e_{(t)}}^{i}, o_{v e l o c i t y_{(t)}}^{i}, r o a d_{g e o m_{(t)}}, e n v_{s t a t e_{(t)}})] \end{array}$
Auf ähnliche Weise wie das Gitternetzwerk 500 kann für das Hindernisnetzwerk 600 die Ausgabe des LSTM 610, m_t, zu einer SoftMax-Schicht 630 übergeben werden, die die SoftMax-Funktion aufruft, um vorhergesagte Ortszellenaktivierungen y_t zu erzeugen. Die Ausgabe für Hindernis⁽ⁱ⁾, das vorhergesagte Hindernis⁽ⁱ⁾-Verhalten 640, ist ein Vektor $y_o_{()} .$
Die Ausgabe repräsentiert somit eine vorhergesagte zukünftige Trajektorie des Hindernisses⁽ⁱ⁾ und kann, wie in 6 veranschaulicht, als ein Satz von Werten in einem 2D-Gitter visualisiert werden (gezeigt in dem Beispielgitter für ein sich bewegendes Fahrzeug, das von der linken Seite einer möglichen Kreuzung kommt und eine Linksabbiegung durchführt - die eine Abbiegung in den Pfad des in 5 abgebildeten Ego-Fahrzeugs sein könnte).
Ortsnetzwerkarchitektur
7 ist ein Diagramm, das ein Beispiel eines Ortsnetzwerks 700 für eine Fahrrichtlinienarchitektur gemäß einer oder mehreren Ausführungsformen veranschaulicht, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Das Ortsnetzwerk ist das letzte neuronale Netzwerk der schon besprochenen Fahrrichtlinienarchitektur 400 in 4 (das Ortsnetzwerk ist als das dritte neuronale Netzwerk 400 in 4 gezeigt). Die Architektur für das Ortsnetzwerk 700 kann eine rekurrente Schicht beinhalten, die ein LSTM 710 sein kann, und kann von einer SoftMax-Schicht gefolgt werden (die die SoftMax-Funktion aufruft). Das Ortsnetzwerk 700 kann daran arbeiten, das Fahrverhalten für das Ego-Fahrzeug als eine Sequenz innerhalb eines Zeithorizonts h basierend auf einem Satz von Eingaben auszugeben, der (wie in 7 gezeigt) Folgendes beinhalten kann: den Ego-Fahrzeug-Beobachtungsvektor 720, der die Eingabe des negativen Zeithorizontfensters repräsentiert; das vorhergesagte Hindernis⁽ⁱ⁾-Verhalten 725, das den vorhergesagten Standort eines Hindernisses (z. B. eines anderen Fahrzeugs) repräsentiert und das schon besprochene vorhergesagte Hindernis⁽ⁱ⁾-Verhalten 640 in 6 sein kann, (und wie oben besprochen, falls es N Hindernisse gibt, die in dem aktuellen Verkehrsszenario innerhalb des zu analysierenden Straßensegments vorhanden sind, würde es N eingesetzte Hindernisnetzwerke geben, die zu N Eingaben von vorhergesagten Hinternisverhalten 725 führen); das vorhergesagte Ego-Fahrzeug-Verhalten 730, das die vorhergesagten Standorte des Ego-Fahrzeugs im letzten Zeitfenster repräsentiert und das schon besprochene vorhergesagte Ego-Fahrzeug-Verhalten 540 in 5 sein kann; und die Routenplanungseingabe 735, die den durch das Fahrzeugroutensystem bereitgestellten Zielort g_t repräsentiert. Zusätzlich kann das Ortsnetzwerk eine Sicherheitsrückmeldung 740 (z. B. als eine Belohnung oder Sicherheitsbewertung) von einem Sicherheitssupervisor oder Sicherheitsüberwachungssystem (Sicherheitsüberwacher) empfangen, der/das die zuvor ausgegebene Trajektorie hinsichtlich der Sicherheit und der Fahrregeleinhaltung überwacht. Basierend auf den Eingaben kann das Ortsnetzwerk 700 eine zukünftige Ego-Fahrzeug-Trajektorie 750 erzeugen, die eine zukünftige geplante Ausgabetrajektorie für das Ego-Fahrzeug, die eine Handlungssequenz (z. B. Sequenz des geplanten zukünftigen Verhaltens) darstellt, repräsentieren kann.
Angesichts aller dieser Eingaben und der Trajektorieausgabe sollten die verborgenen Einheiten im Ortsnetzwerk-LSTM 710 eine Repräsentation der tatsächlichen räumlichen Belegung des Ego-Fahrzeugs über einen Bereich von Zeitpunkten enthalten - d. h. arbeiten, um eine Repräsentation analog zu Ortszellen zu bilden.
Der LSTM 710 des Ortsnetzwerks 700 kann als eine Architektur eines LSTM-A3C(Action Critic)-Netzwerks ausgebildet sein. Als ein A3C-Netzwerk kann der LSTM 710 eine Richtlinienfunktion π(a_t+h|s_t-h, θ) implementieren (für ein neuronales Netzwerk, das durch θ parametrisiert ist), die, in Anbetracht eines historischen Zustands vom negativen Zeithorizont zur Gegenwart, eine Handlungssequenz bereitstellt (Trajektorievorhersage oder Sequenz des geplanten zukünftigen Verhaltens). Für Trainingszwecke wird eine Annäherung für die Wertefunktion V (s_t+h, θ) bestimmt (für ein neuronales Netzwerk, das durch θ parametrisiert ist), wobei der Wert von V die Schätzung einer erwarteten Belohnung ist, die dann in der nächsten Iteration mit dem über die Sicherheitsrückmeldung R_t gegebenen Wert abgeglichen wird.
Wie in 7 veranschaulicht, verknüpft die Eingabe in das Ortsnetzwerk 700 die Ausgabe des Gitternetzwerks y_ego_(t+h) (Bezeichnung 730) sowie die Ausgabe einer variablen Anzahl von Hindernisnetzwerken $\sum_{i = 0}^{N} y_o_{(t + h)}^{i}$
(falls vorhanden) (Bezeichnung 725), einen Ortsvektor p_t, der die aktuelle Fahrsituation vom Standpunkt des Ego-Fahrzeugs aus repräsentiert (Bezeichnung 720), den Zielstandort g_t (Bezeichnung 735), der durch das Routenplanungssystem bereitgestellt wird, und die Belohnung R_t (Bezeichnung 740), die durch das Sicherheitsüberwachungssystem basierend auf der letzten Trajektorieausgabe a_t-h gegeben wird. Der Richtlinienverlust kann wie folgt ausgedrückt werden: $L_{G O P_n e t} = L_{π} + α L_{V} + β L_{H}$
wobei α und β Abzugskoeffizienten sind, $L_{π}$
der erwartete Verlust im Zeithorizont ist, $L_{V}$
der gemeldete Verlust vom Sicherheitsüberwachungssystem ist und $L_{H}$
ein Regularisierungsterm ist, um Szenarien zu berücksichtigen, die dem Netzwerk noch nicht untergekommen sind.
Generalisierung des Wissens über sicheres Fahren
Es wurde vorgeschlagen, dass, falls Netzwerke von Ortszellen und Netzwerke von Gitterzellen korrekt erstellt wurden, eine Generalisierung von Wissen automatisch durch Vektorberechnungen im Raum stattfinden. Siehe Bellmund, J. L., Gärdenfors, P., Moser, E. I., & Doeller, C. F, „Navigating cognition: Spatial codes for human thinking“, Science, Band 362 Nr. 6415 (9. November 2018), eaat6766. Analog betrachtet können Ausführungsformen der Fahrrichtlinienarchitektur nach deren Training Fahrwissen generalisieren, das an neuen Eingabevektoren (d. h. neuen Szenarien) anzuwenden ist, die zuvor noch nicht aufgetreten sind. Beispielsweise kann eine neue Umgebungseingabe (Vektor) eine andere Anzahl von Agenten auf einer zuvor gefahrenen Straße beinhalten, oder das autonome Fahrzeug kann in einer vollständig neuen Umgebung gefahren werden, die den gleichen allgemeinen Regeln folgt.
Der Grad, mit dem Fahrwissen generalisiert werden kann, kann durch Messen des Abstands zwischen der internen Repräsentation innerhalb des Netzwerks (d. h. ein latenter Raum basierend auf den verborgenen Einheiten des Ortsnetzwerks 700) während des Trainings zu einer Zeit t und den Netzwerkaktivierungen basierend auf einer neu bereitgestellten Eingabe evaluiert werden. Dies kann durch „Checkpointing“ des latenten Raums des LSTM 710 zu einer gewissen Zeit erzielt werden, was eine Momentaufnahme des erlernten Wissens erzeugt. Nachdem eine neue Eingabe bereitgestellt ist, kann dann eine Prüfung der Differenz dieses Vektors gegenüber dem neu gebildeten latenten Raum, der aus der neuen Eingabe resultiert, durchgeführt werden. Falls es keine Differenz zwischen diesen gibt, oder falls die Differenz kleiner als eine gewisse Schwelle ist, kann geschlussfolgert werden, dass das interne Wissen der Fahrrichtlinienarchitektur schon die Eingabe enthält (z. B. die neue Eingabe ist für die Architektur „nicht überraschend“).
Generalisierung gegenüber neuen Straßennetzen
Ausführungsformen liefern die Fähigkeit, in neuen Umgebungen ohne die Notwendigkeit für erneutes Training kompetent zu navigieren. Durch das Bereitstellen der wesentlichen vorverarbeiteten Informationen über einen kurzen Zeithorizont besteht keine Notwendigkeit, dass die Fahrrichtlinie vollständige Weltkarten lernt und erlernt, wie diese zu navigieren sind. Ein der Fahrrichtlinienarchitektur bereitgestellter Teilsatz begrenzter Aufgaben kann für Trainingszwecke eingesetzt werden und ausreichend sein, damit die Fahrrichtlinie einen begrenzten Satz von Straßengeometrien und Situationen lernt, die dann generalisiertes Wissen innerhalb der Fahrrichtlinienarchitektur werden können, was der Fahrrichtlinie gestattet, gegenüber Variationen in der realen Welt, wie etwa neuartige Straßenbiegungen oder neuartige mehrspurige Netzwerke oder komplexe Kreuzungen, effektiv zu navigieren.
8 liefert ein Diagramm 800, das ein Beispiel eines Teilsatzes begrenzter Aufgaben veranschaulicht, die der Fahrrichtlinienarchitektur bereitgestellt werden können, gemäß einer oder mehreren Ausführungsformen, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. In 8 sind mehrere Beispiele von Teilen eines vom Ego-Fahrzeug zu durchfahrenden Straßennetzes gezeigt, wobei Rauten die Ego-Fahrzeug-Position repräsentieren und Sterne das Ziel für das Horizontfenster repräsentieren. Die veranschaulichenden Trainingsaufgaben beinhalten beispielsweise ein gerades zweispuriges Straßensegment 801, ein gebogenes zweispuriges Straßensegment 802, ein gerades mehrspuriges Straßensegment 803, ein mehrspuriges Straßensegment 804 mit einer Zufahrt (z. B. Auffahrt) und eine Kreuzung 805 zwischen einem Paar von zweispurigen Straßensegmenten. Ausführungsformen können so trainiert werden, dass das Ego-Fahrzeug auf jedem Straßensegment sicher und in den ordnungsgemäßen Fahrbahnen fährt.
Generalisierung gegenüber unsicherem oder unerwartetem Hindernisverhalten
In Ausführungsformen kann während des Trainings der Fahrrichtlinienarchitektur die Anzahl vorhandener Hindernisse auf der Straße mit individuellen Verhaltensvorhersagen, die durch das Hindernisnetzwerk bereitgestellt werden, abstrahiert werden. Während der Laufzeit können neue oder unsichere Verhalten auftreten, die nicht während der Trainingsphase beobachtet wurden, wie etwa beispielsweise aggressive Schneiden oder Straßenverletzungen. Ausführungsformen können eine Eingabe wie etwa eine Sicherheitsrückmeldung oder eine Belohnung von einem Sicherheitssupervisor (z. B. schon besprochene Sicherheitsrückmeldung 465 in 4) einbeziehen, um Mindestabstand-Sicherheitsmetriken zu berechnen, die während des Trainings einbezogen und als Sicherheitsgarantien an der erzeugten Ego-Fahrzeug-Trajektorie angewendet werden, um das falsch fahrende Hindernis zu vermeiden, solange das Verhalten durch die im Sicherheitssupervisor eingebetteten vorhersehbaren Annahmen unterstützt wird.
9 ist ein Diagramm 900, das Beispiele eines auftretenden unerwarteten Hindernisverhaltens und der Systemreaktion veranschaulicht, gemäß einer oder mehreren Ausführungsformen, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. In 9 sind Beispiele von Teilen eines vom Ego-Fahrzeug zu durchfahrenden Straßennetzes gezeigt, wobei Rauten die Ego-Fahrzeug-Position repräsentieren und Sterne das Ziel für das Horizontfenster repräsentieren. In Rahmen 901 sind zwei Szenarien zur Zeit to veranschaulicht. Im linken Beispiel befindet sich das Ego-Fahrzeug auf einem geraden mehrspurigen Straßensegment mit anderen Fahrzeugen. Ein vorhergesagter Pfad 902 für das nächstgelegene Fahrzeug wird berechnet, aber im Verhalten der realen Welt kann das Fahrzeug vom Pfad 903 abweichen, was eine potenzielle Gefahr für das Ego-Fahrzeug erzeugt. Im rechten Beispiel des Rahmens 901 befindet sich das Ego-Fahrzeug auf einem gebogenen zweispurigen Straßensegment mit einem anderen nahegelegenen Fahrzeug. Ein vorhergesagter Pfad 904 für das nahegelegene Fahrzeug wird berechnet, aber im Verhalten der realen Welt kann das Fahrzeug vom Pfad 905 abweichen, was eine andere potenzielle Gefahr für das Ego-Fahrzeug erzeugt.
In Rahmen 910 sind die gleichen zwei Szenarien zur Zeit t₁ veranschaulicht. Im linken Beispiel hat das nächstgelegene Fahrzeug auf dem Pfad 911 angefangen, sich in die durch das Ego-Fahrzeug belegte Fahrbahn zu bewegen. Das System kann Längs- und Querabstände 912 zwischen dem Ego-Fahrzeug und dem falsch fahrenden Fahrzeug im Pfad 911 bestimmen und zweckmäßige Befehle anwenden, z. B. Lenkung und Bremsen, um das Ego-Fahrzeug mit minimalen sicheren Abständen vom falsch fahrenden Fahrzeug zu halten. Im rechten Beispiel ist das nahegelegene Fahrzeug auf dem Pfad 913 in die durch das Ego-Fahrzeug belegte Fahrbahn eingefahren. Das System kann Längs- und Querabstände 914 zwischen dem Ego-Fahrzeug und dem falsch fahrenden Fahrzeug im Pfad 913 bestimmen und zweckmäßige Befehle anwenden, z. B. Lenkung und Bremsen, um das Ego-Fahrzeug mit minimalen sicheren Abständen vom falsch fahrenden Fahrzeug zu halten.
Die 10A-10C liefern Flussdiagramme eines Prozesses 1000 zum Betreiben eines Beispiels einer Fahrrichtlinienarchitektur für ein autonomes Fahrzeug gemäß einer oder mehreren Ausführungsformen, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Der Prozess 100 kann in der hierin mit Bezug auf die schon besprochene 4 beschriebene Fahrrichtlinienarchitektur 400 implementiert werden. Insbesondere kann der Prozess 1000 in einem oder mehreren Modulen als ein Satz von Logikbefehlen implementiert werden, die in einem maschinen- oder computerlesbaren Speicherungsmedium gespeichert sind, wie etwa einem Direktzugriffsspeicher (RAM), einem Nur-Lese-Speicher (ROM), einem programmierbaren ROM (PROM), Firmware, einem Flash-Speicher usw., in konfigurierbarer Logik, wie etwa zum Beispiel programmierbaren Logik-Arrays (PLAs), feldprogrammierbaren Gate-Arrays (FPGAs), komplexen programmierbaren Logikvorrichtungen (CPLDs), in Logikhardware mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel von Technologie mit einer anwendungsspezifischen integrierten Schaltung (ASIC), einem komplementären Metalloxidhalbleiter (CMOS) oder Transistor-Transistor-Logik (TTL), oder eine beliebige Kombination davon.
Zum Beispiel kann ein Computerprogrammcode zum Ausführen von in dem Prozess 1000 gezeigten Operationen in beliebiger Kombination von einer oder mehreren Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache, wie etwa zum Beispiel JAVA, SMALLTALK, C++ oder dergleichen, und herkömmlicher prozeduraler Programmiersprachen, wie etwa zum Beispiel der Programmiersprache „C“, oder ähnlicher Programmiersprachen. Zusätzlich dazu könnten Logikanweisungen Assembler-Anweisungen, Befehlssatzarchitektur(ISA)-Anweisungen, Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Zustandseinstellungsdaten, Konfigurationsdaten für eine integrierte Schaltungsanordnung, Zustandsinformationen, die eine elektronische Schaltungsanordnung personalisieren, und/oder andere strukturelle Komponenten beinhalten, die nativ für die Hardware sind (z. B. Host-Prozessor, Zentralverarbeitungseinheit/CPU, Mikrocontroller usw.).
Mit Bezug auf 10A liefert der veranschaulichte Verarbeitungsblock 1010 Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens des Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugstellung und einer Fahrzeuggeschwindigkeit. Das erste neuronale Netzwerk kann das schon besprochene erste neuronale Netzwerk 420 (4) oder das schon besprochene Gitternetzwerk 500 (5) beinhalten. Die Fahrzeugstellung kann die aktuelle Position des Fahrzeugs und/oder die aktuelle Orientierung des Fahrzeugs beinhalten.
Der veranschaulichte Verarbeitungsblock 1015 liefert Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisstellung und einer Hindemisgeschwindigkeit. Das zweite neuronale Netzwerk kann das schon besprochene zweite neuronale Netzwerk 430 (4) oder das schon besprochene Hindernisnetzwerk 600 (6) beinhalten. Die Hindernisstellung kann die aktuelle Position des Hindernisses und/oder die aktuelle Orientierung des Hindernisses beinhalten. Das Hindernis kann ein anderes Fahrzeug sein.
Der veranschaulichte Verarbeitungsblock 1020 liefert Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert. Das dritte neuronale Netzwerk kann das schon besprochene dritte neuronale Netzwerk 440 (4) oder das schon besprochene Ortsnetzwerk 700 (7) beinhalten. Die zukünftige Trajektorie kann die schon besprochene zukünftige Ego-Fahrzeug-Trajektorie 470 (4) oder die schon besprochene zukünftige Ego-Fahrzeug-Trajektorie 750 (7) beinhalten.
Der veranschaulichte Verarbeitungsblock 1030 liefert Erstellen von Betätigungsbefehlen zum Navigieren des autonomen Fahrzeugs basierend auf der bestimmten zukünftigen Trajektorie für das Fahrzeug. Betätigungsbefehle können einen oder mehrere Befehle zum Lenken, Bremsen oder Beschleunigen beinhalten.
Jetzt mit Bezug auf 10B liefert der veranschaulichte Verarbeitungsblock 1040 Erzeugen des ersten Vektors (Block 1010) und Erzeugen des zweiten Vektors (Block 1015) zusätzlich basierend auf Straßengeometrie und Umgebungszustand. Die Straßengeometrie kann eine geografische Definition von Fahrbahnen beinhalten, wie etwa befahrbare Oberflächen und Abgrenzungen, auf denen das Ego-Fahrzeug fahren muss. Der Umgebungszustand kann lokale Umgebungsbedingungen beinhalten, wie etwa z. B. Wetter, Tageszeit usw. Der veranschaulichte Verarbeitungsblock 1045 liefert Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner basierend auf Straßengeometrie, Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort.
Der veranschaulichte Verarbeitungsblock 1050 liefert Verwenden eines beschränkten Satzes von Straßengeometrien und/oder eines Satzes von Mindestabstand-Sicherheitsmetriken, um das System zu trainieren. Ein solches Training kann an dem ersten neuronalen Netzwerk, dem zweiten neuronalen Netzwerk und dem dritten Netzwerk durchgeführt werden, und diese neuronalen Netzwerke können zusammen als eine Einheit trainiert werden. Die beschränkten Straßengeometrien für das Training können Teile eines Straßennetzes beinhalten, wie etwa beispielsweise ein gerades zweispuriges Straßensegment, ein gebogenes zweispuriges Straßensegment, ein gerades mehrspuriges Straßensegment, ein mehrspuriges Straßensegment mit Zufahrt (z. B. Auffahrt) und/oder eine Kreuzung zwischen einem Paar von zweispurigen Straßensegmenten, wie mit Bezug auf die schon besprochene 8 veranschaulicht.
Jetzt mit Bezug auf 10C liefert der veranschaulichte Verarbeitungsblock 1060 Überwachen von Betätigungsbefehlen zum Navigieren des autonomen Fahrzeugs. Das Überwachen von Betätigungsbefehlen kann z. B. durch einen Sicherheitssupervisor oder ein Sicherheitsüberwachungssystem durchgeführt werden, der/das die zuvor ausgegebene Ego-Fahrzeug-Trajektorie überwacht. Der Sicherheitssupervisor oder das Sicherheitsüberwachungssystem kann sich mit der Fahrrichtlinienarchitektur in Kommunikation befinden oder mit dieser integriert sein. Der veranschaulichte Verarbeitungsblock 1065 liefert Einschränken eines oder mehrerer Fahrzeugbetätigungsbefehle, um eine unsichere Bedingung abzuschwächen. Der veranschaulichte Verarbeitungsblock 1070 liefert Liefern von Informationen für den Sicherheitsrückmeldeprozess.
11 zeigt ein Blockdiagramm, das ein beispielhaftes Rechensystem 10 zum Codieren von Wissen über sicheres Fahren in kognitive Räume für eine automatisierte Fahrzeugnavigation veranschaulicht, gemäß einer oder mehreren Ausführungsformen, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Das System 10 kann im Allgemeinen Teil einer elektronischen Vorrichtung/Plattform sein, die Rechen- und/oder Kommunikationsfunktionalität (z. B. Server, Cloud-Infrastruktursteuerung, Datenbanksteuerung, Notebook-Computer, Desktop-Computer, Personal Digital Assistant/PDA, Tablet-Computer, konvertierbares Tablet, Smartphone usw.), Bildgebungsfunktionalität (z. B. Kamera, Camcorder), Medienabspielfunktionalität (z. B. Smart-Fernseher/-TV), Wearable-Funktionalität (z. B. Armbanduhr, Brille, Kopfbedeckung, Fußbekleidung, Schmuck), Fahrzeugfunktionalität (z. B. Auto, Lastwagen, Motorrad), robotische Funktionalität (z. B. autonomer Roboter), Internet-der-Dinge(IoT)-Funktionalität usw. oder eine beliebige Kombination davon aufweist. In dem veranschaulichten Beispiel kann das System 10 einen Host-Prozessor 12 (z.B. Zentralverarbeitungseinheit/CPU) mit einer integrierten Speichersteuerung (IMC: Integrated Memory Controller) 14 beinhalten, die mit einem Systemspeicher 20 gekoppelt sein kann. Der Host-Prozessor 12 kann eine beliebige Art von Verarbeitungsvorrichtung, wie etwa z. B. Mikrocontroller, Mikroprozessor, RISC-Prozessor, ASIC usw., zusammen mit assoziierten Verarbeitungsmodulen oder -schaltungsanordnungen beinhalten. Der Systemspeicher 20 kann ein beliebiges nichtflüchtiges maschinen- oder computerlesbares Speicherungsmedium beinhalten, wie etwa RAM, ROM, PROM, EEPROM, Firmware, Flash-Speicher usw., konfigurierbare Logik, wie etwa zum Beispiel PLAs, FPGAs, CPLDs, und Hardwarelogik mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel ASIC, CMOS oder TTL-Technologie, oder eine beliebige Kombination davon, die zum Speicher von Anweisungen 28 geeignet ist.
Das System 10 kann auch ein Eingabe/Ausgabe(E/A)-Untersystem 16 beinhalten. Das E/A-Untersystem 16 kann beispielsweise mit einer oder mehreren Eingabe/Ausgabe(E/A)-Vorrichtungen 17, einer Netzwerksteuerung 24 (z.B. drahtgebundene und/oder drahtlose NIC) und einer Speicherung 22 kommunizieren. Die Speicherung 22 kann aus einem beliebigen geeigneten nichtflüchtigen maschinen- oder computerlesbaren Speichertyp bestehen (z. B. Flash-Speicher, DRAM, SRAM (statischer Direktzugriffsspeicher), Solid-State-Laufwerk (SSD), Festplattenlaufwerk (HDD), optische Platte usw.). Die Speicherung 22 kann eine Massenspeicherung beinhalten. In manchen Ausführungsformen können der Host-Prozessor 12 und/oder das E/A-Untersystem 16 mit der Speicherung 22 (insgesamt oder Teile davon) über die Netzwerksteuerung 24 kommunizieren. In manchen Ausführungsformen kann das System 10 auch einen Grafikprozessor 26 (z. B. Grafikverarbeitungseinheit/GPU) und einen KI-Beschleuniger 27 beinhalten. In manchen Ausführungsformen kann das System 10 auch ein Wahrnehmungsuntersystem 18 (z. B. einschließlich eines oder mehrerer Sensoren und/oder Kameras) und/oder ein Betätigungsuntersystem 19 beinhalten. In einer Ausführungsform kann das System 10 auch eine nicht gezeigte Visionsverarbeitungseinheit (VPU) beinhalten.
Der Host-Prozessor 12 und das E/A-Untersystem 16 können zusammen auf einem Halbleiter-Die als ein System-on-Chip (SoC) 11 implementiert werden, mit einer durchgezogenen Linie umrandet gezeigt. Das SoC 11 kann daher als eine Recheneinrichtung zur autonomen Fahrzeugsteuerung arbeiten. In manchen Ausführungsformen kann das SoC 11 auch den Systemspeicher 20 und/oder die Netzwerksteuerung 24 und/oder den Grafikprozessor 26 und/oder den KI-Beschleuniger 27 beinhalten (mit gestrichelten Linien umrandet gezeigt). In manchen Ausführungsformen kann das SoC 11 auch andere Komponenten des Systems 10 beinhalten.
Der Host-Prozessor 12, das E/A-Untersystem 16, der Grafikprozessor 26, der KI-Beschleuniger 27 und/oder die VPU können Programmanweisungen 28 ausführen, die vom Systemspeicher 20 und/oder der Speicherung 22 abgerufen werden, um einen oder mehrere Aspekte des wie hierin mit Bezug auf die 10A-10C beschriebenen Prozesses 1000 durchzuführen. Somit kann die Ausführung der Anweisungen 28 das SoC 11 zur Ausführung von Folgendem veranlassen: Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens des Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit, Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit, und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert. Das System 10 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 200, der Fahrrichtlinienarchitektur 400, des Gitternetzwerks 500, des Hindernisnetzwerks 600 und/oder des Ortsnetzwerks 700 implementieren, wie hierin mit Bezug auf die 2-7 beschrieben. Das System 10 wird daher als leistungsfähigkeitsverbessert angesehen, zumindest zu dem Ausmaß, dass Fahrerfahrungen durch Codieren des Wissen über sicheres Fahren in kognitive Räume generalisiert werden können.
Computerprogrammcode zum Ausführen der oben beschriebenen Prozesse kann in beliebiger Kombination von einer oder mehreren Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache, wie zum Beispiel JAVA, JAVASCRIPT, PYTHON, SMALLTALK, C++ oder dergleichen, und/oder herkömmlicher prozeduraler Programmiersprachen, wie etwa der Programmiersprache „C“, oder ähnlicher Programmiersprachen, und als die Programmanweisungen 28 implementiert werden. Zusätzlich dazu können die Programmanweisungen 28 Assembler-Anweisungen, Befehlssatzarchitektur(ISA)-Anweisungen, Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Zustandseinstellungsdaten, Konfigurationsdaten für eine integrierte Schaltungsanordnung, Zustandsinformationen, die eine elektronische Schaltungsanordnung personalisieren, und/oder andere strukturelle Komponenten beinhalten, die nativ für die Hardware sind (z. B. Host-Prozessor, Zentralverarbeitungseinheit/CPU, Mikrocontroller, Mikroprozessor usw.).
Die E/A-Vorrichtungen 17 können eine oder mehrere Eingabevorrichtungen beinhalten, wie etwa einen Touchscreen, eine Tastatur, eine Maus, eine cursorgesteuerte Vorrichtung, einen Touchscreen, ein Mikrofon, eine Digitalkamera, einen Videorekorder, einen Camcorder, biometrische Scanner und/oder Sensoren; Eingabevorrichtungen können verwendet werden, um Informationen einzugeben und mit dem System 10 und/oder anderen Vorrichtungen zu interagieren. Die E/A-Vorrichtungen 17 können auch eine oder mehrere Ausgabevorrichtungen beinhalten, wie etwa eine Anzeige (z. B. Touchscreen, Flüssigkristallanzeige/LCD, Leuchtdiodenanzeige/LED-Anzeige, Plasmatafeln usw.), Lautsprecher und/oder andere visuelle oder auditive Ausgabevorrichtungen. Die Eingabe- und/oder Ausgabevorrichtungen können z. B. zum Bereitstellen einer Benutzeroberfläche verwendet werden.
12 zeigt ein Blockdiagramm, das eine beispielhafte Halbleitereinrichtung 30 zum Codieren von Wissen über sicheres Fahren in kognitive Räume für eine automatisierte Fahrzeugnavigation veranschaulicht, gemäß einer oder mehreren Ausführungsformen, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Die Halbleitereinrichtung 30 kann z. B. als ein Chip, ein Die oder ein anderes Halbleiter-Package implementiert werden. Die Halbleitereinrichtung 30 kann ein oder mehrere Substrate 32 beinhalten, die aus z. B. Silizium, Saphir, Galliumarsenid usw. bestehen. Die Halbleitereinrichtung 30 kann außerdem Logik 34 beinhalten, die aus z. B. einem oder mehreren Transistorarrays und anderen mit dem einen oder den mehreren Substraten 32 gekoppelten Integrierte-Schaltung(IC)-Komponenten besteht. Die Logik 34 kann zumindest teilweise in konfigurierbarer Logik oder Logikhardware mit fester Funktionalität implementiert werden. Die Logik 34 kann das oben mit Bezug auf 11 beschriebene System-on-Chip (SoC) 11 implementieren. Somit kann die Logik 34 einen oder mehrere Aspekte des oben beschriebenen Prozesses implementieren, einschließlich des Prozesses 1000 zum Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens des Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit, Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit, und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert, wie hierin mit Bezug auf die 10A-10C beschrieben. Die Logik 34 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 200, der Fahrrichtlinienarchitektur 40, des Gitternetzwerks 500, des Hindernisnetzwerks 600 und/oder des Ortsnetzwerks 700 implementieren, wie hierin mit Bezug auf die 2-7 beschrieben. Die Einrichtung 30 wird daher als leistungsfähigkeitsverbessert angesehen, zumindest zu dem Ausmaß, dass Fahrerfahrungen durch Codieren des Wissens über sicheres Fahren in kognitive Räume generalisiert werden können.
Die Halbleitereinrichtung 30 kann unter Verwendung beliebiger geeigneter Halbleiterherstellungsprozesse oder -techniken hergestellt werden. Beispielsweise kann die Logik 34 Transistorkanalgebiete beinhalten, die in dem (den) Substrat(en) 32 positioniert (z. B. eingebettet) sind. Somit ist die Grenzfläche zwischen der Logik 34 und dem (den) Substrat(en) 32 möglicherweise kein abrupter Übergang. Die Logik 34 kann auch als eine Epitaxieschicht enthaltend angesehen werden, die auf einem anfänglichen Wafer des Substrats (der Substrate) 34 aufgewachsen wird.
13 ist ein Blockdiagramm, das einen beispielhaften Prozessorkern 40 gemäß einer oder mehreren Ausführungsformen veranschaulicht, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Der Prozessorkern 40 kann der Kern für eine beliebige Art von Prozessor sein, wie etwa einen Mikroprozessor, einen eingebetteten Prozessor, einen Digitalsignalprozessor (DSP), einen Netzwerkprozessor oder eine andere Vorrichtung zum Ausführen von Code. Obwohl in 13 nur ein Prozessorkern 40 veranschaulicht ist, kann ein Verarbeitungselement alternativ dazu mehr als einen des in 13 veranschaulichten Prozessorkerns 40 beinhalten. Der Prozessorkern 40 kann ein Single-Thread-Kern sein oder für mindestens eine Ausführungsform kann der Prozessorkern 40 ein Multithread-Kern in dem Sinne sein, dass er mehr als einen Hardware-Thread-Kontext (oder „logischen Prozessor“) pro Kern beinhalten kann.
13 veranschaulicht außerdem einen Speicher 41, der mit dem Prozessorkern 40 gekoppelt ist. Der Speicher 41 kann ein beliebiger aus einer breiten Vielfalt von Speichern sein (einschließlich verschiedener Schichten einer Speicherhierarchie), die einem Fachmann bekannt sind oder anderweitig zur Verfügung stehen. Der Speicher 41 kann eine oder mehrere Anweisungen des Codes 42 beinhalten, die durch den Prozessorkern 40 auszuführen sind. Der Code 42 kann einen oder mehrere Aspekte des hierin mit Bezug auf die 10A-10C beschriebenen Prozesses 1000 implementieren. Der Prozessorkern 40 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 200, der Fahrrichtlinienarchitektur 400, des Gitternetzwerks 500, des Hindernisnetzwerks 600 und/oder des Ortsnetzwerks 700 implementieren, wie hierin mit Bezug auf die 2-7 beschrieben. Der Prozessorkern 40 folgt einer Programmsequenz von Befehlen, die durch den Code 42 angegeben wird. Jeder Befehl kann in einen Frontend-Teil 43 eintreten und durch einen oder mehrere Decodierer 44 verarbeitet werden. Der Decodierer 44 kann eine Mikrooperation, wie etwa eine Mikrooperation mit fester Breite, in einem vordefinierten Format als seine Ausgabe erzeugen oder kann andere Befehle, Mikrobefehle oder Steuersignale, die den ursprünglichen Codebefehl widerspiegeln, erzeugen. Der veranschaulichte Frontend-Teil 43 beinhaltet auch eine Registerumbenennungslogik 46 und eine Scheduling-Logik 48, die allgemein Ressourcen zuweisen und die Operation entsprechend dem Konvertierungsbefehl zur Ausführung in eine Warteschlange setzen.
Der Prozessorkern 40 ist eine Ausführungslogik 50 mit einem Satz von Ausführungseinheiten 55-1 bis 55-N aufweisend gezeigt. Manche Ausführungsformen können eine Anzahl von Ausführungseinheiten beinhalten, die spezifischen Funktionen oder Sätzen von Funktionen dediziert sind. Andere Ausführungsformen können nur eine Ausführungseinheit oder eine Ausführungseinheit, die eine spezielle Funktion durchführen kann, beinhalten. Die veranschaulichte Ausführungslogik 50 führt die durch Codebefehle spezifizierten Operationen durch.
Nach der Beendigung der Ausführung der durch die Codebefehle spezifizierten Operationen zieht eine Backend-Logik 58 die Befehle des Codes 42 zurück. Bei einer Ausführungsform erlaubt der Prozessorkern 40 eine Ausführung außerhalb der Reihenfolge, benötigt aber einen Rückzug der Befehle in Reihenfolge. Eine Rückzugslogik 59 kann eine Vielfalt von Formen annehmen, wie Fachleuten bekannt ist (z. B. Umordnungspuffer oder dergleichen). Auf diese Art und Weise wird der Prozessorkern 40 während der Ausführung des Codes 42 zumindest hinsichtlich der durch den Decodierer erzeugten Ausgabe, der Hardwareregister und Tabellen, die durch die Registerumbenennungslogik 46 genutzt werden, und beliebiger durch die Ausführungslogik 50 modifizierter Register (nicht gezeigt) transformiert.
Obwohl in 13 nicht veranschaulicht, kann ein Verarbeitungselement andere Elemente auf dem Chip mit dem Prozessorkern 40 beinhalten. Ein Verarbeitungselement kann zum Beispiel eine Speichersteuerlogik zusammen mit dem Prozessorkern 40 beinhalten. Das Verarbeitungselement kann eine E/A-Steuerlogik beinhalten und/oder kann eine E/A-Steuerlogik beinhalten, die mit der Speichersteuerlogik integriert ist. Das Verarbeitungselement kann auch einen oder mehrere Caches beinhalten.
14 ist ein Blockdiagramm, das ein Beispiel eines mehrprozessorbasierten Rechensystems 60 gemäß einer oder mehreren Ausführungsformen veranschaulicht, unter Bezugnahme auf hierin beschriebene Komponenten und Merkmale, einschließlich unter anderem der Figuren und der assoziierten Beschreibung. Das Mehrprozessorsystem 60 beinhaltet ein erstes Verarbeitungselement 70 und ein zweites Verarbeitungselement 80. Obwohl zwei Verarbeitungselemente 70 und 80 dargestellt sind, ist zu verstehen, dass eine Ausführungsform des Systems 60 auch nur ein derartiges Verarbeitungselement beinhalten kann.
Das System 60 ist als ein Punkt-zu-Punkt-Interconnect-System veranschaulicht, bei dem das erste Verarbeitungselement 70 und das zweite Verarbeitungselement 80 über ein Punkt-zu-Punkt-Interconnect 71 gekoppelt sind. Es versteht sich, dass ein beliebiges oder alle der in 14 veranschaulichten Interconnects als ein Multi-Drop-Bus anstelle eines Punkt-zu-Punkt-Interconnects implementiert werden können.
Wie in 14 gezeigt, kann jedes der Verarbeitungselemente 70 und 80 Mehrkernprozessoren einschließlich eines ersten und zweiten Prozessorkerns (d. h. Prozessorkerne 74a und 74b und Prozessorkerne 84a und 84b) sein. Derartige Kerne 74a, 74b, 84a, 84b können dazu ausgelegt sein, Befehlscode auf eine ähnliche Art und Weise zu der oben in Verbindung mit 13 besprochenen auszuführen.
Jedes Verarbeitungselement 70, 80 kann mindestens einen gemeinsam genutzten Cache 99a, 99b beinhalten. Der gemeinsam genutzte Cache 99a, 99b kann Daten (z. B. Befehle) speichern, die durch eine oder mehrere Komponenten des Prozessors, wie etwa die Kerne 74a, 74b bzw. 84a, 84b, genutzt werden. Der gemeinsam genutzte Cache 99a, 99b kann zum Beispiel Daten, die in einem Speicher 62, 63 gespeichert sind, für einen schnelleren Zugriff durch Komponenten des Prozessors lokal cachen. Bei einer oder mehreren Ausführungsformen kann der gemeinsam genutzte Cache 99a, 99b einen oder mehrere Mittebenen-Caches beinhalten, wie etwa Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, einen Last-Level-Cache (LLC) und/oder Kombinationen davon.
Obwohl nur mit zwei Verarbeitungselementen 70, 80 gezeigt, ist zu verstehen, dass der Schutzumfang der Ausführungsformen nicht darauf beschränkt ist. Bei anderen Ausführungsformen können in einem gegebenen Prozessor ein oder mehrere zusätzliche Verarbeitungselemente vorhanden sein. Alternativ dazu können ein oder mehrere Verarbeitungselemente 70, 80 ein Element außer einem Prozessor sein, wie etwa ein Beschleuniger oder ein feldprogrammierbares Gate-Array. Ein oder mehrere zusätzliche Verarbeitungselemente können zum Beispiel einen oder mehrere zusätzliche Prozessoren, die derselbe sind wie ein erster Prozessor 70, einen oder mehrere zusätzliche Prozessoren, die heterogen oder asymmetrisch zu einem Prozessor, einem ersten Prozessor 70 sind, Beschleuniger (wie etwa z. B. Grafikbeschleuniger oder Digitalsignalverarbeitungseinheiten (DSP-Einheiten)), feldprogrammierbare Gate-Arrays oder ein beliebiges anderes Verarbeitungselement beinhalten. Es kann eine Vielfalt von Unterschieden zwischen den Verarbeitungselementen 70, 80 hinsichtlich eines Spektrums relevanter Metriken geben, einschließlich architektonischer, mikroarchitektonischer, thermischer, Leistungsverbrauchscharakteristiken und dergleichen. Diese Unterschiede können sich im Endeffekt als Asymmetrie und Heterogenität unter den Verarbeitungselementen 70, 80 manifestieren. Für mindestens eine Ausführungsform können sich die verschiedenen Verarbeitungselemente 70, 80 in demselben Die-Package befinden.
Das erste Verarbeitungselement 70 kann ferner eine Speichersteuerungslogik (MC) 72 und Punkt-zu-Punkt(P-P)-Schnittstellen 76 und 78 beinhalten. Gleichermaßen kann das zweite Verarbeitungselement 80 eine MC 82 und P-P-Schnittstellen 86 und 88 beinhalten. Wie in 14 gezeigt, koppeln die MCs 72 und 82 die Prozessoren mit jeweiligen Speichern, nämlich einem Speicher 62 und einem Speicher 63, die Teile eines Hauptspeichers sein können, der lokal an die jeweiligen Prozessoren angeschlossen ist. Obwohl die MC 72 und 82 als in die Verarbeitungselemente 70, 80 integriert veranschaulicht ist, kann die MC für alternative Ausführungsformen eine diskrete Logik außerhalb der Verarbeitungselemente 70, 80 sein, anstatt darin integriert zu sein.
Das erste Verarbeitungselement 70 und das zweite Verarbeitungselement 80 können über P-P-Interconnects 76 bzw. 86 mit einem E/A-Untersystem 90 gekoppelt sein. Wie in 14 gezeigt, beinhaltet das E/A-Untersystem 90 P-P-Schnittstellen 94 und 98. Des Weiteren beinhaltet das E/A-Untersystem 90 eine Schnittstelle 92, um das E/A-Untersystem 90 mit einer Hochleistungs-Grafik-Engine 64 zu koppeln. Bei einer Ausführungsform kann ein Bus 73 verwendet werden, um die Grafik-Engine 64 mit dem E/A-Untersystem 90 zu koppeln. Alternativ dazu kann ein Punkt-zu-Punkt-Interconnect diese Komponenten koppeln.
Im Gegenzug kann das E/A-Untersystem 90 über eine Schnittstelle 96 mit einem ersten Bus 65 gekoppelt sein. Bei einer Ausführungsform kann der erste Bus 65 ein PCI-Bus (PCI - Peripheral Component Interconnect) oder ein Bus, wie etwa ein PCI-Express-Bus oder ein anderer E/A-Interconnect-Bus der dritten Generation sein, obwohl der Schutzumfang der Ausführungsformen nicht darauf beschränkt ist.
Wie in 14 gezeigt, können verschiedene E/A-Vorrichtungen 65a (z. B. biometrische Scanner, Lautsprecher, Kameras, Sensoren) zusammen mit einer Busbrücke 66, die den ersten Bus 65 mit einem zweiten Bus 67 koppeln kann, mit dem ersten Bus 65 gekoppelt sein. In einer Ausführungsform kann der zweite Bus 67 ein Low-Pin-Count-Bus (LPC-Bus) sein. Verschiedene Vorrichtungen können bei einer Ausführungsform mit dem zweiten Bus 67 gekoppelt sein, einschließlich zum Beispiel einer Tastatur/Maus 67a, einer oder mehrerer Kommunikationsvorrichtungen 67b und einer Datenspeicherungseinheit 68, wie etwa eines Laufwerks oder einer anderen Massenspeicherungsvorrichtung, die Code 69 beinhalten kann. Der veranschaulichte Code 69 kann einen oder mehrere Aspekte der oben beschriebenen Prozesse implementieren, einschließlich des hierin mit Bezug auf die 10A-10C beschriebenen Prozesses 1000. Der veranschaulichte Code 69 kann dem schon besprochenen Code 42 (13) ähneln. Des Weiteren kann eine Audio-E/A 67c mit dem zweiten Bus 67 gekoppelt sein und eine Batterie 61 kann das Rechensystem 60 mit Leistung versorgen. Das System 60 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 200, der Fahrrichtlinienarchitektur 400, des Gitternetzwerks 500, des Hindernisnetzwerks 600 und/oder des Ortsnetzwerks 700 implementieren, wie hierin mit Bezug auf die 2-7 beschrieben.
Es sei angemerkt, dass andere Ausführungsformen in Betracht gezogen werden. Zum Beispiel kann ein System anstelle der Punkt-zu-Punkt-Architektur von 14 einen Multi-Drop-Bus oder eine andere derartige Kommunikationstopologie implementieren. Die Elemente von 14 können außerdem alternativ dazu unter Verwendung von mehr oder weniger integrierten Chips als in 14 gezeigt partitioniert sein.
Ausführungsformen von jedem der obigen Systeme, Vorrichtungen, Komponenten und/oder Verfahren, einschließlich des Systems 10, der Halbleitereinrichtung 30, des Prozessorkerns 40, des Systems 60, des autonomen Fahrzeugsystems 200, der Fahrrichtlinienarchitektur 400, des Gitternetzwerks 500, des Hindernisnetzwerks 600, des Ortsnetzwerks 700 und/oder beliebiger anderer Systemkomponenten, können in Hardware, Software oder eine beliebigen geeigneten Kombination davon implementiert werden. Zum Beispiel können Hardwareimplementierungen konfigurierbare Logik beinhalten, wie etwa zum Beispiel programmierbare Logikarrays (PLAs), feldprogrammierbare Gate-Arrays (FPGAs), komplexe programmierbare Logikvorrichtungen (CPLD) oder Logikhardware mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel Technologie mit anwendungsspezifischer integrierter Schaltung (ASIC), komplementärem Metalloxidhalbleiter (CMOS) oder Transistor-Transistor-Logik (TTL), oder einer beliebigen Kombination davon.
Alternativ oder zusätzlich können alle oder Teile der vorstehenden Systeme und/oder Komponenten und/oder Verfahren in einem oder mehreren Modulen als ein Satz von Logikanweisungen implementiert sein, die in einem maschinen- oder computerlesbaren Speicherungsmedium, wie etwa einem Direktzugriffspeicher (RAM), Nur-Lese-Speicher (ROM), programmierbaren ROM (PROM), Firmware, Flash-Speicher usw., die durch einen Prozessor oder eine Rechenvorrichtung ausgeführt werden sollen, gespeichert sind. Zum Beispiel kann Computerprogrammcode zum Ausführen der Operationen der Komponenten in einer beliebigen Kombination von einer oder mehreren Betriebssystem(OS)-anwendbaren/-geeigneten Programmiersprachen geschrieben sein, einschließlich einer objektorientierten Programmiersprache, wie etwa PYTHON, PERL, JAVA, SMALLTALK, C++, C# oder dergleichen, und herkömmlicher prozeduraler Programmiersprachen, wie etwa der Programmiersprache „C“, oder ähnlicher Programmiersprachen.
Zusätzliche Anmerkungen und Beispiele:
Beispiel 1 beinhaltet ein Fahrzeugrechensystem, das umfasst: eine Sensorschnittstelle zum Erhalten von Daten für ein Fahrzeug und Daten für ein oder mehrere externe Hindernisse, und einen mit der Sensorschnittstelle gekoppelten Prozessor, wobei der Prozessor ein oder mehrere Substrate und mit dem einen oder den mehreren Substraten gekoppelte Logik beinhaltet, wobei die Logik zumindest teilweise in konfigurierbarer Logik und/oder Hardwarelogik mit fester Funktionalität implementiert wird, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ausgelegt ist zum Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens des Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit, Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit, und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
Beispiel 2 beinhaltet das System des Beispiels 1, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
Beispiel 3 beinhaltet das System des Beispiels 2, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
Beispiel 4 beinhaltet das System des Beispiels 3, wobei die Logik ferner ausgelegt ist zum Erstellen von Betätigungsbefehlen zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug.
Beispiel 5 beinhaltet das System des Beispiels 4, wobei die Logik ferner eine Sicherheitskomponente zum Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs, Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingungen und Bereitstellen von Informationen für die Sicherheitsrückmeldung umfasst.
Beispiel 6 beinhaltet das System eines der Beispiele 1-5, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des System verwendet werden.
Beispiel 7 beinhaltet eine Halbleitervorrichtung, die ein oder mehrere Substrate und mit dem einen oder den mehreren Substraten gekoppelte Logik umfasst, wobei die Logik zumindest teilweise in konfigurierbarer Logik und/oder Hardwarelogik mit fester Funktionalität implementiert wird, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ausgelegt ist zum Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit, Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit, und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
Beispiel 8 beinhaltet die Halbleitereinrichtung des Beispiels 7, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
Beispiel 9 beinhaltet die Halbleitereinrichtung des Beispiels 8, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
Beispiel 10 beinhaltet die Halbleitereinrichtung des Beispiels 9, wobei die Logik ferner ausgelegt ist zum Erstellen von Betätigungsbefehlen zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug.
Beispiel 11 beinhaltet die Halbleitereinrichtung des Beispiels 10, wobei die Logik ferner eine Sicherheitskomponente zum Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs, Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingungen und Bereitstellen von Informationen für die Sicherheitsrückmeldung umfasst.
Beispiel 12 beinhaltet die Halbleitereinrichtung eines der Beispiele 7-11, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des ersten neuronalen Netzwerks, des zweiten neuronalen Netzwerks und des dritten neuronalen Netzwerks zusammen als eine Einheit verwendet werden.
Beispiel 13 beinhaltet die Halbleitereinrichtung des Beispiels 7, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik Transistorkanalgebiete beinhaltet, die innerhalb des einen oder der mehreren Substrate positioniert sind.
Beispiel 14 beinhaltet mindestens ein nichtflüchtiges computerlesbares Speicherungsmedium, das einen Satz von Anweisungen umfasst, die bei Ausführung durch ein Rechensystem bewirken, dass das Rechensystem Folgendes ausführt: Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit, Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit, und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
Beispiel 15 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 14, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
Beispiel 16 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 15, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
Beispiel 17 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 16, wobei die Anweisungen bei ihrer Ausführung ferner bewirken, dass das Rechensystem Betätigungsbefehle zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug erstellt.
Beispiel 18 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 17, wobei die Anweisungen bei ihrer Ausführung ferner bewirken, dass das Rechensystem Folgendes ausführt: Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs, Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingungen und Bereitstellen von Informationen für die Sicherheitsrückmeldung.
Beispiel 19 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium eines der Beispiele 14-18, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des ersten neuronalen Netzwerks, des zweiten neuronalen Netzwerks und des dritten neuronalen Netzwerks zusammen als eine Einheit verwendet werden.
Beispiel 20 beinhaltet ein Verfahren zum Betreiben eines autonomen Fahrzeugs, umfassend: Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens des Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit, Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit, und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
Beispiel 21 beinhaltet das Verfahren des Beispiels 20, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
Beispiel 22 beinhaltet das Verfahren des Beispiels 21, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
Beispiel 23 beinhaltet das Verfahren des Beispiels 22, ferner umfassend Erstellen von Betätigungsbefehlen zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug.
Beispiel 24 beinhaltet das Verfahren des Beispiels 23, ferner umfassend Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs, Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingungen und Bereitstellen von Informationen für die Sicherheitsrückmeldung.
Beispiel 25 beinhaltet das Verfahren eines der Beispiele 20-24, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des ersten neuronalen Netzwerks, des zweiten neuronalen Netzwerks und des dritten neuronalen Netzwerks zusammen als eine Einheit verwendet werden.
Beispiel 26 beinhaltet eine Einrichtung, die Mittel zum Durchführen des Verfahrens nach einem der Beispiele 20-24 umfasst.
Somit liefert die hierin beschriebene Technologie eine Generalisierung von Fahrerfahrungen unabhängig vom Standort, der Anzahl von einbezogenen Agenten und externer Bedingungen, selbst wenn möglicherweise keine Fülle von Daten verfügbar ist. Die Technologie ermöglicht auch einem autonomen Fahrzeugsystem, zuvor nicht gesehene Fahrbedingungen sicher basierend auf der Codierung des Wissens über sicheres Fahren in kognitive Räume zu handhaben.
Ausführungsformen sind zur Verwendung mit allen Typen von Halbleiter-Integrierte-Schaltung(„IC“)-Chips anwendbar. Beispiele für diese IC-Chips beinhalten unter anderem Prozessoren, Steuerungen, Chipsatzkomponenten, programmierbare Logikarrays (PLAs), Speicherchips, Netzwerkchips, Systems-on-Chip (SoC), SSD/NAND-Steuerung-ASICs und dergleichen. Zusätzlich dazu sind in manchen der Zeichnungen Signalleiterleitungen mit Linien repräsentiert. Manche können unterschiedlich sein, um mehr Signalpfadbestandteile anzuzeigen, eine Nummernbezeichnung aufweisen, um eine Anzahl von Signalpfadbestandteilen anzugeben, und/oder Pfeile an einem oder mehreren Enden aufweisen, um die primäre Informationsflussrichtung anzugeben. Dies sollte jedoch nicht auf eine beschränkende Weise ausgelegt werden. Vielmehr kann ein derartiges hinzugefügtes Detail in Verbindung mit einem oder mehreren Ausführungsbeispielen verwendet werden, um ein einfacheres Verständnis einer Schaltung zu ermöglichen. Jegliche repräsentierten Signalleitungen, ob sie zusätzliche Information aufweisen oder nicht, können tatsächlich ein oder mehrere Signale umfassen, die sich in mehreren Richtungen bewegen können, und können mit einer beliebigen geeigneten Art von Signalschema implementiert werden, z. B. digitalen oder analogen Leitungen, die mit differenziellen Paaren, Optikfaserleitungen und/oder Single-Ended-Leitungen, implementiert werden.
Es sind möglicherweise beispielhafte Größen/Modelle/Werte/Bereiche gegeben worden, obwohl Ausführungsformen nicht auf dieselben beschränkt sind. Wenn sich Herstellungstechniken (z. B. Fotolithografie) im Laufe der Zeit weiterentwickeln, wird erwartet, dass Vorrichtungen kleinerer Größe hergestellt werden könnten. Zusätzlich dazu sind wohlbekannte Leistungs-/Masseverbindungen zu IC-Chips und anderen Komponenten möglicherweise in den Figuren zur Vereinfachung und Besprechung gezeigt oder nicht, um gewisse Aspekte der Ausführungsformen nicht unklar zu machen. Ferner können Anordnungen in Blockdiagrammform dargestellt sein, um zu vermeiden, Ausführungsformen unklar zu machen, und auch angesichts der Tatsache, dass Einzelheiten im Bezug auf die Implementierung derartiger Blockdiagrammanordnungen in hohem Maße von dem Rechensystem abhängen, innerhalb dessen die Ausführungsform implementiert werden soll, d. h., derartige Einzelheiten sollten wohl im Geltungsbereich eines Fachmanns liegen. Wenn spezielle Einzelheiten (z. B. Schaltungen) dargelegt sind, um Ausführungsbeispiele zu beschreiben, sollte es einem Fachmann ersichtlich sein, dass Ausführungsformen ohne diese speziellen Einzelheiten oder mit einer Variation davon praktiziert werden können. Die Beschreibung ist somit als veranschaulichend statt als beschränkend aufzufassen.
Der Ausdruck „gekoppelt“ kann hier verwendet werden, um sich auf einem beliebigen Typ von Beziehung, direkt oder indirekt, zwischen den fraglichen Komponenten zu beziehen, und kann für elektrische, mechanische, fluide, optische, elektromagnetische, elektromechanische oder andere Verbindungen anwendbar sein. Zusätzlich dazu werden die Ausdrucke „erster“, „zweiter“ usw. hierin nur zur Erleichterung der Erörterung verwendet werden und tragen keine besondere zeitliche oder chronologische Bedeutung, sofern nicht anders angegeben.
Wie in dieser Anmeldung und den Ansprüchen verwendet, kann eine Liste von Gegenständen, die durch den Ausdruck „eines oder mehrere von“ verbunden sind, eine beliebige Kombination der aufgelisteten Begriffe bedeuten. Beispielsweise können die Phrasen „A, B und/oder C“ A; B; C; A und B; A und C; B und C oder A, B und C bedeuten.
Fachleute auf dem Gebiet werden aus der vorstehenden Beschreibung erkennen, dass die umfassenden Techniken der Ausführungsformen in einer Vielzahl von Formen implementiert werden können. Wenngleich also die Ausführungsformen in Verbindung mit bestimmten Beispielen davon beschrieben wurden, sollte der wahre Schutzumfang der Ausführungsformen nicht auf diese beschränkt sein, da weitere Modifikationen für den Fachmann bei einer Analyse der Zeichnungen, der Spezifikation und der folgenden Ansprüche offensichtlich werden.

Claims

Fahrzeugrechensystem, das Folgendes umfasst: eine Sensorschnittstelle zum Erhalten von Daten für ein Fahrzeug und Daten für ein oder mehrere externe Hindernisse; und einen mit der Sensorschnittstelle gekoppelten Prozessor, wobei der Prozessor ein oder mehrere Substrate und mit dem einen oder den mehreren Substraten gekoppelte Logik beinhaltet, wobei die Logik zumindest teilweise in konfigurierbarer Logik und/oder Hardwarelogik mit fester Funktionalität implementiert wird, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ausgelegt ist zum: Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens des Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit; Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit; und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
System nach Anspruch 1, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
System nach Anspruch 2, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellte Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
System nach Anspruch 3, wobei die Logik ferner ausgelegt ist zum Erstellen von Betätigungsbefehlen zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug.
System nach Anspruch 4, wobei die Logik ferner eine Sicherheitskomponente umfasst zum: Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs; Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingung; und Bereitstellen von Informationen für die Sicherheitsrückmeldung.
System nach einem der Ansprüche 1-5, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des Systems verwendet werden.
Halbleitereinrichtung, die Folgendes umfasst: ein oder mehrere Substrate; und Logik, die mit dem einen oder den mehreren Substraten gekoppelt ist, wobei die Logik zumindest teilweise in konfigurierbarer Logik und/oder Hardwarelogik mit fester Funktionalität implementiert wird, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ausgelegt ist zum: Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit; Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit; und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
Halbleitereinrichtung nach Anspruch 7, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
Halbleitereinrichtung nach Anspruch 8, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
Halbleitereinrichtung nach Anspruch 9, wobei die Logik ferner ausgelegt ist zum Erstellen von Betätigungsbefehlen zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug.
Halbleitereinrichtung nach Anspruch 10, wobei die Logik ferner eine Sicherheitskomponente umfasst zum: Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs; Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingung; und Bereitstellen von Informationen für die Sicherheitsrückmeldung.
Halbleitervorrichtung nach einem der Ansprüche 7-11, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des ersten neuronalen Netzwerks, des zweiten neuronalen Netzwerks und des dritten neuronalen Netzwerks zusammen als eine Einheit verwendet werden.
Halbleitereinrichtung nach einem der Ansprüche 7-11, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik Transistorkanalgebiete beinhaltet, die in dem einen oder den mehreren Substraten positioniert sind.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien, die einen Satz von Anweisungen umfassen, die bei ihrer Ausführung durch ein Rechensystem bewirken, dass das Rechensystem Folgendes ausführt: Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit; Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit; und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 14, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 15, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 16, wobei die Anweisungen bei ihrer Ausführung ferner bewirken, dass das Rechensystem Betätigungsbefehle zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug erstellt.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 17, wobei die Anweisungen bei ihrer Ausführung ferner bewirken, dass das Rechensystem Folgendes ausführt: Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs; Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingung; und Bereitstellen von Informationen für die Sicherheitsrückmeldung.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach einem der Ansprüche 14-18, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des ersten neuronalen Netzwerks, des zweiten neuronalen Netzwerks und des dritten neuronalen Netzwerks zusammen als eine Einheit verwendet werden.
Verfahren zum Betreiben eines autonomen Fahrzeugs, umfassend: Erzeugen, über ein erstes neuronales Netzwerk, eines ersten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines Fahrzeugs repräsentiert, basierend auf einer aktuellen Fahrzeugposition und einer Fahrzeuggeschwindigkeit; Erzeugen, über ein zweites neuronales Netzwerk, eines zweiten Vektors, der eine Vorhersage eines zukünftigen Verhaltens eines externen Hindernisses repräsentiert, basierend auf einer aktuellen Hindernisposition und einer Hindernisgeschwindigkeit; und Bestimmen, über ein drittes neuronales Netzwerk, einer zukünftigen Trajektorie für das Fahrzeug basierend auf dem ersten Vektor und dem zweiten Vektor, wobei die zukünftige Trajektorie eine Sequenz des geplanten zukünftigen Verhaltens für das Fahrzeug repräsentiert.
Verfahren nach Anspruch 20, wobei das erste neuronale Netzwerk ein LSTM-Netzwerk (LSTM: Langer Kurzzeitspeicher) umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das Fahrzeug, und der erste Vektor eine Wahrscheinlichkeit einer Fahrzeugortsbelegung repräsentiert, wobei das zweite neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen vorhergesagter Ortszellenaktivierungen für das externe Hindernis, und der zweite Vektor eine Wahrscheinlichkeit einer Hindernisortsbelegung repräsentiert, und wobei das dritte neuronale Netzwerk ein LSTM-Netzwerk umfasst, das ausgelegt ist zum Erzeugen einer zukünftigen Handlungssequenz für das Fahrzeug.
Verfahren nach Anspruch 21, wobei das Erzeugen des ersten Vektors ferner auf einer Straßengeometrie und einem Umgebungszustand basiert, wobei das Erzeugen des zweiten Vektors ferner auf der Straßengeometrie und dem Umgebungszustand basiert, und wobei das Bestimmen der zukünftigen Trajektorie für das Fahrzeug ferner auf der Straßengeometrie, dem Umgebungszustand, einer durch einen Sicherheitsüberwacher bereitgestellten Sicherheitsrückmeldung und einem durch einen Fahrzeugroutenplaner bereitgestellten Zielort basiert.
Verfahren nach Anspruch 22, ferner umfassend Erstellen von Betätigungsbefehlen zum Navigieren des Fahrzeugs basierend auf der zukünftigen Trajektorie für das Fahrzeug.
Verfahren nach Anspruch 23, das ferner Folgendes umfasst: Überwachen der Betätigungsbefehle zum Navigieren des Fahrzeugs; Einschränken eines oder mehrerer der Betätigungsbefehle zum Abschwächen einer unsicheren Bedingungen; und Bereitstellen von Informationen für die Sicherheitsrückmeldung.
Verfahren nach einem der Ansprüche 20-24, wobei ein beschränkter Satz von Straßengeometrien und/oder ein Satz von Mindestabstand-Sicherheitsmetriken zum Trainieren des ersten neuronalen Netzwerks, des zweiten neuronalen Netzwerks und des dritten neuronalen Netzwerks zusammen als eine Einheit verwendet werden.