DE102020132559A1

DE102020132559A1 - Technologie zum anwenden von fahrnormen zur verhaltensvoritersage automatisierter fahrzeuge

Info

Publication number: DE102020132559A1
Application number: DE102020132559.2A
Authority: DE
Inventors: Guixiang Ma; Ignacio Alvarez; Nesreen Ahmed; Nicole Beckage
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2020-06-25
Filing date: 2020-12-08
Publication date: 2021-12-30
Also published as: US20200324794A1; CN113850363A; BR102021001832A2

Abstract

Systeme, Einrichtungen und Verfahren können Technologie bereitstellen, die eine Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien erzeugt, die von externen Objektdaten für mehrere externe Objekte, wie etwa Fahrzeuge, abgeleitet werden. Die Technologie kann auch über ein erstes neuronales Netzwerk, wie etwa ein Graph-Attention-Netzwerk, eine Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen erzeugen und über ein zweites neuronales Netzwerk, wie etwa ein Netzwerk mit langem Kurzzeitspeicher, vorhergesagte Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen bestimmen. Die Technologie kann auch das Verhalten eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und Echtzeitwahrnehmungsfehlerinformationen modifizieren.

Description

TECHNISCHES GEBIET
Ausführungsformen betreffen allgemein automatisierte Steuersysteme. Insbesondere betreffen Ausführungsformen Technologie, die Fahrnormen lernt und in automatisierten Fahrzeugsteuersystemen anwendet.
HINTERGRUND
Automatisierte Steuersysteme können in einer Vielfalt von Umgebungen verwendet werden, wie etwa beispielsweise autonomen Fahrzeugumgebungen. Das Fahren eines Fahrzeugs erfordert häufig die Interpretation von subtilen indirekten Hinweisen, um das Verhalten anderer Verkehrsagenten vorherzusagen. Diese Hinweise sind häufig relational. In Anbetracht dessen, dass der Satz von erlaubten (sicheren) Handlungen, die ein Fahrzeug ausführen kann, durch die Kommunikationsfähigkeit des fahrenden Agenten beschränkt ist, sind Fahrer häufig auf lokale Fahrnormen und erwartetem Verhalten unter Verwendung von Schlussfolgerung (Reasoning) und Vorhersehbarkeit angewiesen, um effizient und sicher zu agieren. Die Fähigkeit, Hinweise implizit oder explizit zu kommunizieren, hilft bei der Gewährleistung sicherer Fahrbedingungen. Obwohl eine direkte Interaktion zwischen Objekten in einem Fahrumfeld eine deutliche Gefahr darstellt, können indirekte Interaktionen zwischen Fahrzeugen und anderen Objekten entlang der Straße die Sicherheit und Interpretierbarkeit von Fahrzeughandlungen erhöhen. Fahrer gewinnen eine erhebliche Menge an Informationen über nahegelegene Fahrzeuge basierend auf der Einhaltung von normativem Fahrverhalten durch die Fahrzeuge (und Fahrer). Beispielsweise können indirekte Interaktionen zwischen Fahrzeugen den Wunsch des Spurwechsels, bevorstehende Verkehrsverzögerungen und mehr kommunizieren. Kommunikationen zwischen Fahrzeugen oder zwischen einem Fußgänger und einem Fahrzeug ist inhärent relational, da die beiden Agenten Informationen unter Verwendung eines vereinbarten Vokabulars austauschen müssen. Abweichungen von Fahrnormen können Sicherheitsherausforderungen für autonome (d. h. selbstfahrende) Fahrzeuge in gemischten Verkehrsumgebungen darstellen.
Figurenliste
Die verschiedenen Vorteile der Ausführungsformen werden einem Fachmann durch Lesen der folgenden Beschreibung und der beigefugten Ansprüche und durch Bezugnahme auf die folgenden Zeichnungen ersichtlich, in denen Folgendes gilt:

1 ist ein Diagramm, das Komponenten eines Beispiels für ein autonomes Fahrzeugsystem veranschaulicht, gemäß einer oder mehreren Ausführungsformen;
2 ist ein Blockdiagramm eines Beispiels für ein relationales Reasoning-System für ein autonomes Fahrzeug gemäß einer oder mehreren Ausführungsformen;
3 ist ein Diagramm, das ein Beispiel eines Graphenextraktionsmoduls eines relationalen Reasoning-Systems veranschaulicht, gemäß einer oder mehreren Ausführungsformen;
4 ist ein Diagramm, das ein Beispiel eines Graph-Attention(Aufmerksamkeit)-Netzwerks eines relationalen Reasoning-Systems veranschaulicht, gemäß einer oder mehreren Ausführungsformen;
5 ist ein Diagramm, das ein Beispiel für ein Netzwerk mit langem Kurzzeitspeicher eines relationalen Reasoning-Systems veranschaulicht, gemäß einer oder mehreren Ausführungsformen;
6 liefert ein Flussdiagramm, das einen Betrieb eines Beispiels für ein relationales Reasoning-System für ein autonomes Fahrzeug veranschaulicht, gemäß einer oder mehreren Ausführungsformen;
7 ist ein Blockdiagramm, das ein Beispiel für ein leistungsfähigkeitsverbessertes Rechensystem veranschaulicht, gemäß einer oder mehreren Ausführungsformen;
8 ist ein Blockdiagramm, das eine beispielhafte Halbleitereinrichtung gemäß einer oder mehreren Ausführungsformen veranschaulicht;
9 ist ein Blockdiagramm, das ein Beispiel für einen Prozessor veranschaulicht, gemäß einer oder mehreren Ausführungsformen; und
10 ist ein Blockdiagramm, das ein Beispiel für ein mehrprozessorbasiertes Rechensystem veranschaulicht, gemäß einer oder mehreren Ausführungsformen.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Im Allgemeinen liefern Ausführungsformen ein relationales Reasoning-System für ein autonomes Fahrzeug, das das Verhalten von Verkehrsteilnehmern in einer Fahrumgebung vorhersagt. Ausfühnmgsformen liefern auch die effiziente Vorhersage zukünftiger Trajektorien von Verkehrsagenten und die Quantifizierung der Abweichung zwischen dem beobachteten Verhalten und dem vorhergesagten Verhalten für die Trajektorieplanung und für Sicherheitsberechnungen. Zusätzlich beinhalten Ausführungsformen Technologie, die aus relationalen Informationen Nutzen zieht und dafür trainiert wird, die Kenntnis über Fahrnormen zu codieren. Insbesondere verwenden Ausführungsformen ein Graph-Attention-Netzwerk, um relationale Einbettungen zu lernen, die dann in ein rekurrentes neuronales Netzwerk eingespeist werden. Das rekurrente neuronale Netzwerk liefert Trajektorievorhersagen für ein autonomes Fahrzeug sowie für Nachbarfahrzeuge und Objekte und detektiert potenzielle Kollisionen.
Ausführungsformen des relationalen Reasoning-Systems versehen autonome Fahrzeuge mit der Fähigkeit des Lernens und Schlussfolgems über regionales und lokales Fahrverhalten, um eine Absicht vorherzusagen und die Kommunikation zwischen Autos auf der Straße und die Kommunikation zwischen anderen Individuen wie etwa Fahrradfahrern und Fußgängern zu verbessern. Eine relationale Kommunikation zwischen Agenten in einem Transportumfeld ist stark auf die Einhaltung vorhersehbarer und vereinbarter Handlungen/Reaktionen angewiesen, die als lokale Fahrnormen angesehen werden können. Der Agent muss nicht nur ein Verhalten erkennen, sondern auch entscheiden, ob eine spezifische Handlung kommunikativ ist. Nach der Entscheidung, dass eine Handlung eine Absicht kommunizieren soll, muss der Fahragent dann eine Interpretation für die Absicht bereitstellen. Die gleichen Handlungen in einem anderen geografischen Gebiet und einer anderen kontextabhängigen Situation könnten viele andere Dinge kommunizieren. Gemäß Ausführungsformen kann das System schnell auf neue Situationen und neue Orte generalisiert werden, die einen einzigartigen Satz von Normen aufweisen.
Beispielsweise legt der Großteil der zugrundeliegenden Schlussfolgerung, die autonome Fahrzeuge (d. h. selbstfahrende Autos) unterstützt, den Schwerpunkt auf Erkennung und Trajektorievorhersagen von Objekten innerhalb eines speziellen Sicherheitsradius des selbstfahrenden Autos. Obwohl gezeigt wurde, dass dies gewisse Sicherheitsniveaus garantiert, vernachlässigt es viele der Arten relationaler Informationen, die auch verwendet werden könnten, um die Sicherheit und Vorhersagbarkeit eines selbstfahrenden Systems zu erhöhen. In dem Fall einer indirekten Kommunikation zwischen zwei Agenten werden relationale Informationen wichtiger als Informationen auf Objektebene, und eine Kommunikation zwischen Fahrern ist für die Straßensicherheit wichtig. Ausführungsformen verwenden Einbettungen eines neuronalen Netzwerks, um relationale Informationen zu lernen, die für verschiedene Arten von relationalem Reasoning (Schlussfolgerung) in Bezug auf selbstfahrende Autos verwendet werden können, mit dem Schwerpunkt auf Sicherheitsentscheidungen und Verifizierung selbstfahrender Autos hinsichtlich der Erweiterung der Objektdetektion, um Trajektorien erkannter Objekte zu inferieren und mögliche Kollisionen zu detektieren, und auf die resultierenden Auswirkungen von Kollisionen oder Vermeidungen auf die Umgebung. Solche Ausführungsformen detektieren nicht nur Objekte in der Szene, sondern auch den Grund dafür, wie diese Objekte innerhalb einer sich ständig ändernden Umgebung interagieren werden. Um Ambiguität zu verringern und die Menge an rechnerischem Reasoning zu erhöhen, die ein selbstfahrendes Auto erreichen kann, repräsentieren Ausführungsformen zusätzlich normatives Fahrverhalten und vergleichen mögliche indirekte Kommunikation mit normativem Verhalten, indem bedeutungsvolle Interaktionen identifiziert werden, normative Interaktionen in der spezifischen Situation in Betracht gezogen werden und die potenzielle Abweichung vom normativen Verhalten mit der Verhaltensabsicht verglichen wird.
1 ist ein Diagramm, das Komponenten eines Beispiels für ein autonomes Fahrzeugsystem 100 veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Das autonome Fahrzeugsystem 100 kann mehrere Module oder Untersysteme beinhalten, einschließlich eines Wahrnehmungsmoduls 102, eines Umgebungsmoduls 104, eines Planungsmoduls 106 und eines Antriebsmoduls 108. Das Wahrnehmungsmodul 102 und das Umgebungsmodul 104 können Wahrnehmungsmerkmale über Sensoren (z. B. Lidar-, Radar-, Kamera- und Standortinformationen) sammeln und diese verarbeiten, um Lokalisierungsinformationen und kinematische Informationen bezüglich relevanter Agenten und Objekte in der Umgebung des Ego-Fahrzeugs zu erhalten.
Diese Informationen können als Eingabe in das Planungsmodul 106 bereitgestellt werden, das Merkmale des in den folgenden Figuren ausführlicher beschriebenen relationalen Reasoning-Systems ausführen kann. In manchen Ausführungsformen kann das Planungsmodul 106 einige oder alle der in der aufgespannten Veranschaulichung in 1 gezeigten Komponenten beinhalten. Die Ausgabe des Planungsmoduls 106 kann als Eingabe in das Antriebsmodul 108 bereitgestellt werden, das Antriebsbefehle zum Steuern der Lenkungs-, Beschleunigungs- und/oder Bremsfunktionen des autonomen Fahrzeugs ausführen kann.
2 ist ein Blockdiagramm eines Beispiels für ein relationales Reasoning-System 200 für ein autonomes Fahrzeug, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Ausführungsformen liefern ein Framework (d. h. Untersystem) basierend auf zwei neuronalen Netzwerken, das als Eingabe verarbeitete Wahrnehmungsmerkmale empfängt (einschließlich z. B. Lokalisierungsinformationen und kinematischen Informationen), die Trajektorienhistorien bereitstellen, die sich auf das Ego-Fahrzeug zusammen mit anderen Fahrzeugen und Objekten beziehen. Die Trajektorienhistorien können durch ein Graphenextraktionsmodul in Graphen umgewandelt werden und in ein erstes neuronales Netzwerk zur Fahrnormcodierung eingespeist werden, was im Gegenzug in ein zweites neuronales Netzwerk zur Trajektorievorhersage eingespeist werden kann. Die Trajektorievorhersage kann zum Benachrichtigen von Antriebsbefehlen verwendet werden. Das erste neuronale Netzwerk kann ein Graph-Attention(GAT)-Netzwerk zum Codieren von Fahrnormen und Agenten-zu-Agenten-Kommunikation mit den räumlichen und zeitlichen Informationen von der Fahrszene in einem relationalen Modell sein. Diese relationale Repräsentation kann dann dem zweiten neuronalen Netzwerk bereitgestellt werden, das ein rekurrentes Netzwerk mit langem Kurzzeitspeicher (LSTM) sein kann, um die Trajektorien des autonomen Fahrzeugs und interagierender Objekte vorherzusagen. Das GAT-LSTM-Framework kann eine Trainingsrückmeldung empfangen, die die vorhergesagten mit tatsächlichen Trajektorien spezifischer Objekte, die innerhalb des Umfangs des autonomen Fahrzeugsystems interagieren, vergleicht. In Ausführungsformen kann das Graphenextraktionsmodul in in einem Prozessor ausgeführter Software implementiert werden, und die GAT- und LSTM-Netzwerke können in einem Beschleuniger mit feldprogrammierbarem Gate-Array (FPGA) implementiert werden. Auf diese Weise kann der Hauptteil des Modells (d. h. der GAT-LSTM) effizient im FPGA trainiert werden, während das Durchführen des Graphenextraktionsmoduls im Prozessor die Speicherzugriffsanforderungen und die anderweitig im FPGA durchzuführende Berechnung reduzieren kann. In einer Ausführungsform können die GAT- und LSTM-Netzwerke in einer Kombination eines Prozessors und eines FPGA implementiert werden.
Während der Inferenz kann dieses Framework zukünftige Trajektorien vorhersagen und eine Abweichung zwischen vorhergesagten Trajektorien und beobachteten Trajektorien evaluieren. Die vorhergesagten Trajektorien können Echtzeitwahrnehmungsfehlerinformationen in der Berechnung jeder Trajektorie beinhalten, was das Navigationsverhalten des autonomen Fahrzeugs beeinflusst. In manchen Ausführungsformen können die vorhergesagten Trajektorien sowie Echtzeitwahrnehmungsfehlerinformationen mit Sicherheitskriterien gekoppelt werden, um Fahrverhaltensbeschränkungen bereitzustellen.
Wie in 2 gezeigt, kann ein relationales Reasoning-System 200 ein Framework beinhalten, das ein Graphenextraktionsmodul 210, ein erstes neuronales Netzwerk 220 und ein zweites neuronales Netzwerk 230 umfasst. Das Graphenextraktionsmodul 210, wie ferner mit Bezug auf 3 beschrieben, kann eine Reihe zeitgestempelter Objektgraphen basierend auf eingegebenen verarbeiteten Fahrzeug- und Objektdaten 240 erzeugen. Die eingegebenen verarbeiteten Fahrzeug- und Objektdaten 240 können aus Sensordaten (wie etwa beispielsweise Kameras, Radar, Lidar usw.), Kartendaten und anderen Daten, die Informationen über Fahrzeuge und andere Objekte in der Nähe des Ego-Fahrzeugs bereitstellen, erhalten werden und können über eine Sensorschnittstelle 245 empfangen werden. In manchen Ausführungsformen können die eingegebenen verarbeiteten Fahrzeug- und Objektdaten 240 von einem Wahrnehmungsmodul (z. B. über das Wahrnehmungsmodul 102 und/oder das Umgebungsmodul 104, wie in 1 gezeigt und schon besprochen) erhalten werden. Das Wahrnehmungsmodul kann z. B. ein Wahmehmungsmodul wie etwa jenes sein, das in Verbindung mit dem mathematischen RSS(Responsibility-Sensitive Safety)-Framework, eingeführt von Intel^® und Mobileye, für den Betrieb eines autonomen Fahrzeugs verwendet wird. Zusätzliche Daten wie etwa indirekte Interaktionen zwischen Fahrzeugen (z. B. Lichthupe) oder zwischen Fahrzeug/Fußgänger/Fahrradfahrer (z. B. manuelles Abbiegesignal) und andere Indikatoren (z. B. Abbiegesignale, Bremsleuchten, Hupen, Lichter und Sirenen von Noteinsatzfahrzeugen) können auch in die eingegebenen Fahrzeug- und Objektdaten 240 eingeschlossen werden. In einer Ausführungsform können Lokalbedingungsdaten 250 auch in das Graphenextraktionsmodul 210 eingegeben und zusammen mit den verarbeiteten Fahrzeug- und Objektdaten in die erzeugten zeitgestempelten Objektgraphen einbezogen werden. Die Lokalbedingungsdaten 250 können beispielsweise Wetterbedingungen und/oder Tageszeit und/oder Wochentag und/oder Tag des Jahres und/oder feste Hindernisse usw. beinhalten.
Das erste neuronale Netzwerk 220, das ein Graph-Attention(GAT)-Netzwerk sein kann, wie hierin in 4 ausführlicher beschrieben, kann als Eingabe die Reihe zeitgestempelter Objektgraphen empfangen und Einbettungen erlernen, die Fahrnormen umfassen, um eine Reihe von relationalen Objektrepräsentationen zu erzeugen. Das zweite neuronale Netzwerk 230, das ein rekurrentes Netzwerk mit langem Kurzzeitspeicher (LSTM) sein kann, wie hierin in 5 zusätzlich beschrieben, kann als Eingabe die Reihe von relationalen Objektrepräsentationen empfangen, um vorhergesagte Objekttrajektorien für das Ego-Fahrzeug und andere externe Objekte (einschließlich anderer Fahrzeuge) zu bestimmen. Durch das Kombinieren eines Graph-Attention-Netzwerks zum Lernen relationaler und räumlicher Interaktionen zwischen Verkehrsagenten mit einem Netzwerk mit langem Kurzzeitspeicher zum Lernen von Änderungen und Abhängigkeiten jedes Verkehrsagenten über einen längeren Zeitraum mittels Rekursion, setzt dieses Framework sowohl die Vorteile des relationalen Reasoning als auch die des Lernens der zeitlichen Sequenz mit neuronalen Netzwerken wirksam ein, die auf das Codieren von Fahrnormen ausgerichtet sind, um die Trajektorievorhersage zu verbessern.
Die vorhergesagten Fahrzeugtrajektorien 206 (d. h. Vorhersage zukünftiger Trajektorien der Fahrzeuge), die aus dem zweiten neuronalen Netzwerk 230 resultieren, können als Eingabe in ein Fahrzeugnavigationsaktoruntersystem 270 zur Verwendung bei der Navigation und Steuerung des autonomen Fahrzeugs bereitgestellt werden. Zusätzlich können eine Routenplanungseingabe 280 von einem Routenplanungsmodul und eine Sicherheitskriterieneingabe 285 von einem Sicherheitsmodul auch durch das Fahrzeugnavigationsaktoruntersystem 270 bei der Navigation und Steuerung des autonomen Fahrzeugs angewendet werden. Informationen wie etwa Verkehrszeichen, Straßenregeln (z. B. auf der rechten Seite der Straße fahren, außer beim Überholen rechts halten, Überholen nur bei gestrichelter Linie usw.), können durch das Routenplanungsmodul genutzt werden, um die Routenplanungseingabe 280 zu beeinflussen.
3 ist ein Diagramm 300, das ein Beispiel für ein Graphenextraktionsmodul 310 eines relationalen Reasoning-Systems veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Das Graphenextraktionsmodul 310 kann allgemein in das schon besprochene Graphenextraktionsmodul 210 (2) integriert werden. Das Graphenextraktionsmodul 310 kann als Eingabe Fahrzeug- und Objektkoordinatendaten 320 empfangen. Die Fahrzeug- und Objektkoordinatendaten 320, die ein Vektor sein können, können aus identifizierten relevanten Objekten und ihren Standorten, die in den Sensordaten (z. B. Video und/oder Bilder) erschienen, bestimmt werden. Die Fahrzeug- und Objektkoordinatendaten 320 können beispielsweise Koordinaten für das Ego-Fahrzeug und für andere Fahrzeuge in der Nähe des Ego-Fahrzeugs beinhalten, wie etwa z. B. andere Autos, Lastwagen, Busse, Motorräder, Traktoren usw. Diese Koordinaten können mit einer Reihe von Intervallen über ein spezielles Historienzeitfenster {t_c-h+1,...,t_c} gemessen werden. In dieser Hinsicht können die Fahrzeug- und Objektkoordinatendaten 320 Fahrzeug- und Objekttrajektorienhistorien über das Messungszeitfenster repräsentieren. In manchen Ausführungsformen können die Fahrzeug- und Objektkoordinatendaten 320 die schon besprochenen eingegebenen verarbeiteten Fahrzeug- und Objektdaten 240 (2) umfassen. In einer Ausführungsform können Lokalbedingungsdaten 330, die ein Vektor sein können, auch in das Graphenextraktionsmodul 310 eingegeben werden. In einer Ausführungsform können die Lokalbedingungsdaten 330 die schon besprochenen Lokalbedingungsdaten 250 ( 2) umfassen.
Das Graphenextraktionsmodul 310 kann die Fahrzeug- und Objektkoordinatendaten 320 durch Berechnen einer Distanz für jedes Paar von Objekten und basierend auf deren Koordinatenwerten verarbeiten. Ein Graph G_s = {V_s, E_s} kann dann für jeden Zeitpunkt erzeugt werden, wobei jeder Knoten im Graphen ein Objekt repräsentiert und eine Kante zwischen Knoten und vorhanden ist, falls <, wobei eine Schwellendistanz ist. Sobald alle der Koordinaten für das Historienzeitfenster verarbeitet wurden, werden die Trajektorienhistorien in Graphen umgewandelt. Das heißt, die Koordinaten (Objektstandorte/Bilder) zu Zeitstempeln {t_c-h+1,...,t_c} werden in zeitgestempelte Graphen $G_{t_{c - h + 1}}, \dots, G_{t_{c}}$
umgewandelt. Unter Annahme der Ausgabesammlung zeitgestempelter Objektgraphen 340 und der Koordinatenwerte (,) für jeden Knoten zu jedem Zeitstempel , kann eine Trajektorievorhersage auf dem Vorhersagen der Koordinatenwerte für die Knoten zu zukünftigen Zeitpunkten {t_c+1,t_c+2,...,t_c+f) basieren, wobei die Größe des zukünftigen Fensters ist, für das eine Vorhersage zu erhalten ist.
Die zeitgestempelten Objektgraphen 340 können als eine Zeitreihe zweidimensionaler Graphen 345 visualisiert werden, wobei jede Ebene einen Graphen repräsentiert, der für einen der speziellen Zeitstempel erstellt wird und jeder Knoten in einem Graphen eine Objektposition repräsentiert. Wie erstellt können die Graphen natürlich mehr als zwei Dimensionen repräsentieren. Beispielsweise kann jeder erzeugte Graph drei Dimensionen umfassen (die die Objektposition in einem 3-dimensionalen Raum repräsentieren). Graphen mit zusätzlichen Dimensionen können basierend auf zusätzlichen Eingabevektoren erzeugt werden.
4 ist ein Diagramm 400, das ein Beispiel für ein Graphen-Attention-Netzwerk 410 eines relationalen Reasoning-Systems veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Allgemein gesagt ist das Graphen-Attention-Netzwerk ein neuronales Netzwerk, das an graphenstrukturierten Daten arbeitet, indem neuronale Netzwerkschichten gestapelt werden, in denen Knoten in der Lage sind, die Merkmale in ihrer Nachbarschaft zu beachten. Das Graphen-Attention-Netzwerk 410 kann allgemein in das schon besprochene erste neuronale Netzwerk 220 (2) integriert sein. Das Graphen-Attention-Netzwerk 410 ist dazu ausgebildet, die relationalen Interaktionen zwischen den Knoten in den Graphen zu erfassen, d. h. die räumlichen Interaktionen zwischen den Verkehrsagenten, die Informationen über die Fahrnorm an diesem Geostandort codieren. Ein Satz zeitgestempelter Objektgraphen 420 liefert einen Satz von Knotenmerkmalen (d. h. die Koordinatenwerte für jeden Verkehrsagenten) als Eingabe in das Graphen-Attention-Netzwerk 410. Jeder Verkehrsagent wird als ein Knoten in einem Graphen repräsentiert, und die Kanten bezeichnen eine bedeutungsvolle Beziehung zwischen zwei Agenten. Die relationale Repräsentation wird mittels Training an Daten gefördert, bei denen Interaktionen zwischen Objekten möglich und/oder kommunikativ sind, sodass das Modell Fahrnormen in unterschiedlichen Umgebungen lernen wird.
Das Graphen-Attention-Netzwerk 410 kann eine Anzahl (M) gestapelter neuronaler Netzwerkschichten beinhalten, und jede Vorwärtskopplungsaktivierungsschicht des neuronalen Netzwerks erzeugt einen neuen Satz latenter Knotenmerkmale, auch Einbettungen genannt, die erlernte relationale Informationen repräsentieren. Zusätzlich zu dem Erfassen wichtiger relationaler Interaktionen zwischen Knoten beinhalten Vorteile der Graphen-Attention-Architektur Berechnungseffizienz, da Vorhersagen in Graphen parallelisiert und unabhängig über Knotennachbarschaften ausgeführt werden können, und induktives Lernen, d. h. das Modell kann neue/ungesehene Knoten, Kanten und Graphen generalisieren.
Wie in 4 veranschaulicht, kann die Knoteneinbettung für den Knoten i in der Schicht L + 1 des Graphen-Attention-Netzwerks 410 aus den Knotenmerkmalen oder -einbettungen des Knotens i und seiner Nachbarknoten N(i) in der Schicht L berechnet werden. In Anbetracht der Knoteneinbettungen L wird eine gemeinsame lineare Transformation, parametrisiert durch eine Gewichtungsmatrix W an jedem Knoten angewendet, und ein Attention-Mechanismus (att) wird dann an den Knoten durchgeführt, um die Attention-Koeffizienten zwischen dem Knoten i und jedem Nachbarknoten j zu berechnen:
$e_{ij} = att ({Wh}_{i} {,Wh}_{j})$
Jeder Wert e_ij gibt die Wichtigkeit der Merkmale des Knotens jzu dem Referenzknoten i an. Die SoftMax-Funktion wird dann verwendet, um die Attention-Koeffizienten über alle Auswahlen von j zu normieren:
$α_{i j} = {softmax}_{j} (e_{i j}) = \frac{exp (e_{i j})}{\sum_{k \in N (i)} exp (e_{i k})},$
wobei der Knoten k ein Nachbar des Knotens i ist. Im Graphen-Attention-Netzwerk 410 kann der Attention-Mechanismus att ein neuronales Einzelschicht-Vorwärtskopplungs-Netzwerk sein, parametrisiert durch einen lernbaren Gewichtungsvektor a und Anwenden der LeakyReLU-Nichtlinearität. Die LeakyReLU(Leaky Rectified Linear Unit)-Funktion ist eine in neuronalen Netzwerken verwendete Aktivierungsfunktion. Vollständig erweitert können die durch den Attention-Mechanismus berechneten Koeffizienten wie folgt ausgedrückt werden:
$α_{i j} = \frac{exp (L e a k y R e L U (a^{T} [W h_{i} ‖ W h_{j}]))}{\sum_{k \in N_{i}} exp (L e a k y R e L U (a^{T} [W h_{i} ‖ W h_{k}]))}$
Wie in 4 gezeigt, weist der Knoten i Nachbarn {j₁,j₂,j₃,j₄}, mit deren Knoteneinbettungen {h_j
1 h_j
2, h_j
3, h_j
4} aus der Schicht l auf. Die Attention-Koeffizienten {e_i
1j,e_ij
2,e_ij
3,e_ij
4} können berechnet werden, wobei e_ij
1 = LeakyReLU(a^T[Wh_i || Wh_j
1]). Nach dem Anwenden der SoftMax-Funktion können dann die normierten Koeffizienten {α_ij
1, α_ij
2, α_ij
3, α_ij
4}wie folgt berechnet werden: $α_{i j_{1}} = \frac{exp (L e a k y R e L U (a^{T} [W h_{i} ∥ W h_{j_{1}}]))}{\sum_{k \in (j_{1}, j_{2}, j_{3}, j_{4})} exp (L e a k y R e L U (a^{T} [W h_{i} ∥ W h_{k}]))},$
wobei die Vektoren a und W mittels Training erhalten werden können. Um die Ausgabeeinbettung h_i der (L+1)-Schicht für den Knoten i zu erhalten, können dann die normierten Attention-Koeffizienten {α_ij
1,α_ij
2,α_ij
3, α_ij
4} über eine lineare Kombination der Merkmale von Nachbarknoten aggregiert werden, und eine Nichtlinearitätsfunktion σ (z. B. Rectified Linear Unit oder ReLU) kann angewendet werden: $h_{i} = σ (\sum_{j \in N (i)} α_{i j} W h_{j})$
Nach der Verarbeitung mittels der M Schichten des Graph-Attention-Netzwerks 410 kann ein resultierender Satz von relationalen Objektrepräsentationen 430 erhalten werden. Die relationalen Objektrepräsentationen 430 können eine Merkmalsmatrix für jeden Zeitstempel im Zeitfenster {t_c-h+1,..., t_c} bereitstellen, wobei jede Zeile den Merkmalsvektor für einen Verkehrsagenten repräsentiert, der die räumlichen und kommunikativen Interaktionen zwischen diesem Agenten und seinen Nachbarverkehrsagenten codiert hat. Die relationalen Objektrepräsentationen 430 repräsentieren erlernte Beziehungen zwischen den Fahrzeugen und anderen Objekten über das Historienzeitfenster - einschließlich, wie die Beziehungen über das Zeitfenster hinweg variieren.
5 ist ein Diagramm 500, das ein Beispiel für ein neuronales Netzwerk 510 mit langem Kurzzeitspeicher (LSTM) eines relationalen Reasoning-Systems veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Allgemein gesagt ist ein neuronales Netzwerk mit langem Kurzzeitspeicher ein rekurrentes neuronales Netzwerk, das eine oder mehrere Speicherzellen einbezieht, damit es weniger empfindlich gegenüber zeitlichen Verzögerungslängen im Vergleich zu anderen Sequenzlernmodellen ist. Im Zusammenhang des relationalen Reasoning-Frameworks kann das LSTM-Netzwerk 510 somit Zeitreihen angesichts Zeitverzögerungen mit unbekannter Dauer und für Graphen verschiedener Größe und Dichte verarbeiten und vorhersagen. Zusammen mit dem Graph-Attention-Netzwerk 410 ermöglicht dies dem relationalen Reasoning-System, gegenüber der zur Vorhersage erforderlichen Historiendauer und auch dem zukünftigen Zeitraum, über den das System Objekttrajektorien vorhersagen kann, hochflexibel zu sein. Das LSTM-Netzwerk 510 kann allgemein in das schon besprochene zweite neuronale Netzwerk 230 (2) integriert sein.
Das LSTM-Netzwerk 510 kann einen Codierer-LSTM 520 und einen Decodierer-LSTM 530 beinhalten. Sowohl der Codierer-LSTM 520 als auch der Decodierer-LSTM 530 können selbst ein neuronales Netzwerk mit langem Kurzzeitspeicher (LSTM) sein, wobei der Codierer-LSTM zum Codieren der zu mehreren Zeitpunkten erlernten relationalen Repräsentationen verwendet wird und der Decodierer-LSTM zur zukünftigen Trajektorievorhersage angenommen wird. Sowohl der Codierer-LSTM 520 als auch der Decodierer-LSTM 530 können ein zweischichtiges LSTM-Netzwerk sein. In manchen Ausführungsformen können der Codierer-LSTM 520 und/oder der Decodierer-LSTM 530 eine Anordnung unter Verwendung von drei oder mehr Schichten beinhalten; die Anzahl von Schichten kann so bestimmt werden, dass sie dem Umfang und der Komplexität der gesammelten Fahrzeugdaten am besten entgegenkommt. Die relationalen Objektrepräsentationen 540, die erlernten relationalen Repräsentationen jedes Verkehrsagenten zu jedem Zeitpunkt zusammen mit deren zeitlichen Merkmalen (d. h. Informationen, die sich auf lokale Fahrnormen beziehen, wie durch das Graphen-Attention-Netzwerk 410 ausgegeben) können als Eingabe in das LSTM-Netzwerk 510 zum Codieren, über den Codierer-LSTM 520, der zeitlichen Standortänderungen jedes Verkehrsagenten oder Objekts empfangen werden. Der verborgene Zustand des Codierer-LSTM 520 und die Koordinatenwerte jedes Agenten zu den Historienzeitpunkten können im Gegenzug in den Decodierer-LSTM 530 eingespeist werden, um die zukünftigen Trajektorien (d. h. Objektverhalten) jedes Verkehrsagenten oder Objekts vorherzusagen, gegeben durch die Koordinaten $Y_{i_{p r e d}}^{t} = (X_{i t,} Y_{i t})$
für den Agenten i für die zukünftigen ƒ Zeitpunkte t = {t_c+1, ...,t_c+f}. Die vorhergesagten Fahrzeugtrajektorien 550 (d.h. Vorhersage zukünftiger Trajektorien der Fahrzeuge) kann vom LSTM-Netzwerk 510 ausgegeben und in Verbindung mit dem Antrieb des autonomen Fahrzeugs, z. B. des schon besprochenen Fahrzeugnavigationsantriebsuntersystems 270 (2), genutzt werden. Die Vorhersage von Objektverhalten kann das Vorhersagen von Objektkoordinaten (Position), Orientierung (Kurs) und/oder Geschwindigkeitsattributen (z. B. Bahngeschwindigkeit) beinhalten.
Das relationale Reasoning-System (genauer gesagt das Graph-Attention-Netzwerk 410 zusammen mit dem LSTM-Netzwerk 510) kann unter Verwendung von Daten trainiert werden, die eine Vielfalt von Situationen und Standorten repräsentieren - wodurch das relationale Reasoning-System robust und zur Generalisierung gegenüber sich ändernden und variablen Bedingungen mit Geostandortänderungen und lokalen normativen Änderungen fähig gemacht wird. Das relationale Reasoning-System GAT-LSTM ist ein Ende-zu-Ende-Framework, und daher werden die Komponenten des neuronalen Netzwerks in diesem Framework zusammen als eine Einheit trainiert. Trainingsdaten können aus Datenaufzeichnungen erhalten werden, wie etwa jenen, die in heutigen automatisierten Fahrzeugflotten erfasst werden. Beispielsweise kann die Eingabe in das relationale Reasoning-System die Ausgabe eines Wahrnehmungsmoduls zu speziellen Zeiten sein, und das System würde basierend auf der genauen Vorhersage sequenzieller Trajektorien in Anbetracht der Eingabedaten trainiert werden. Für Trainingszwecke kann eine Verlustfunktion eingesetzt werden, um den Fehler zu messen. Eine zum Trainieren des Systems verwendete Fehlerfunktion kann auf dem Vorhersagen der zukünftigen Trajektorien von in den Trainingsdaten repräsentierten Verkehrsagenten basieren. Als ein Beispiel kann die folgende Mean-Squared-Error(MSE)-Verlustfunktion beim Trainieren des relationalen Reasoning-Systems verwendet werden:
$V e r l u s t = \frac{1}{f * N} \sum_{t = t_{c + 1}}^{t_{c + f}} {\sum_{i = 1}^{N} ‖ Y_{i_{v o r h e r g e s a g t}}^{t} - Y_{i_{W a h r}}^{t} ‖}^{2},$
wobei t = {t_c+1, t_c+2,..., t_c+f} der Zeitpunkt in der Zukunft ist, $Y_{i_{v o r h e r g e s a g t}}^{t}$
die vorhergesagte Koordinate für den Verkehrsagenten i zur Zeit t, ist und $Y_{i_{w a h r}}^{t}$
die Ground Truth (wahre Koordinate für den Agenten i zur Zeit t) ist. Das relationale Reasoning-System kann unter Verwendung eines stochastischen Gradientenabstieg-Optimierers trainiert werden, wie etwa z. B. des stochastischen Gradientabstieg-Optimierers beschrieben in Kingma, Diederik P. und Jimmy Ba, „Adam: A method for stochastic optimization“, verfügbar über arXiv-Vordruck: arXiv:1412.6980 (2014).
6 liefert ein Flussdiagramm, das einen Prozess 600 zum Betreiben eines Beispiels für ein relationales Reasoning-System für ein autonomes Fahrzeug veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Der Prozess 600 kann im hierin mit Bezug auf 2 beschriebenen, schon besprochenen relationalen Reasoning-System 200 implementiert werden. Insbesondere kann der Prozess 600 in einem oder mehreren Modulen als ein Satz von Logikanweisungen implementiert werden, die in einem maschinen- oder computerlesbaren Speicherungsmedium gespeichert sind, wie etwa einem Direktzugriffsspeicher (RAM), einem Nurlesespeicher (ROM), einem programmierbaren ROM (PROM), Firmware, einem Flash-Speicher usw., in konfigurierbarer Logik, wie etwa zum Beispiel programmierbaren Logik-Arrays (PLAs), feldprogrammierbaren Gate-Arrays (FPGAs), komplexen programmierbaren Logikeinrichtungen (CPLDs), in Logikhardware mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel von Technologie mit einer anwendungsspezifischen integrierten Schaltung (ASIC), einem komplementären Metalloxidhalbleiter (CMOS) oder Transistor-Transistor-Logik (TTL), oder eine beliebige Kombination davon.
Zum Beispiel kann ein Computerprogrammcode zum Ausführen von in dem Prozess 600 gezeigten Operationen in beliebiger Kombination von einer oder mehreren Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache, wie etwa zum Beispiel JAVA, SMALLTALK, C++ oder dergleichen, und herkömmlicher prozeduraler Programmiersprachen, wie etwa zum Beispiel der Programmiersprache „C“, oder ähnlicher Programmiersprachen. Zusätzlich dazu könnten Logikanweisungen Assembler-Anweisungen, Befehlssatzarchitektur(ISA)-Anweisungen, Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Zustandseinstellungsdaten, Konfigurationsdaten für eine integrierte Schaltungsanordnung, Zustandsinformationen, die eine elektronische Schaltungsanordnung personalisieren, und/oder andere strukturelle Komponenten beinhalten, die nativ für die Hardware sind (z. B. Host-Prozessor, Zentralverarbeitungseinheit/CPU, Mikrocontroller usw.).
Der veranschaulichte Verarbeitungsblock 610 liefert das Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die von externen Objektdaten für mehrere externe Objekte abgeleitet werden. Die externen Objektdaten können die schon besprochenen Fahrzeugdaten und verarbeiteten Fahrzeug- und Objektdaten 240 (2) oder die Objektkoordinatendaten 320 (3) beinhalten. Die Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien kann mittels des schon besprochenen Graphenextraktionsmoduls 310 (3) erzeugt werden und können die schon besprochenen zeitgestempelten Objektgraphen 340 (3) beinhalten.
Der veranschaulichte Verarbeitungsblock 620 liefert das Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen. Das erste neuronale Netzwerk kann das schon besprochene neuronale Netzwerk 220 (2) oder das Graph-Attention-Netzwerk 410 (4) beinhalten. Die Reihe von relationalen Objektrepräsentationen kann die schon besprochenen relationalen Objektrepräsentationen 430 beinhalten.
Der veranschaulichte Verarbeitungsblock 630 liefert das Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen. Das zweite neuronale Netzwerk kann das schon besprochene neuronale Netzwerk 230 (2) oder das LSTM-Netzwerk 510 (5) beinhalten. Die Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte kann die schon besprochenen vorhergesagten Fahrzeugtrajektorien 260 (2) oder die vorhergesagten Fahrzeugtrajektorien 550 (5) beinhalten.
Die vorhergesagten Objekttrajektorien für die mehreren externen Objekte (Block 630) können durch das autonome Fahrzeug für Navigationszwecke verwendet werden. Beispielsweise liefert der veranschaulichte Verarbeitungsblock 640 das Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien. Als Nächstes liefert der veranschaulichte Verarbeitungsblock 650 das Modifizieren des Fahrzeugverhaltens basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen. Das Modifizieren des Fahrzeugverhaltens kann das Erstellen von Antriebsbefehlen zum Navigieren des Fahrzeugs beinhalten. Die Antriebsbefehle können in Abhängigkeit von der Steuerung niedriger Ebene des Fahrzeugs verschieden sein. Im Allgemeinen wird der Steuerung niedriger Ebene eine Referenzzielgeschwindigkeit und ein aus einer Sequenz von Punkten im Fahrzeugreferenzrahmen bestehender Pfad gegeben, den die Steuerung einzuhalten versucht. Das heißt, die Steuerung stellt das Lenkrad und das Gaspedal/die Bremse ein, um diese Zielgeschwindigkeit beizubehalten, während sie zu den nächsten Punkten, die den Pfad bilden, übergeht. In manchen Ausführungsformen können die Antriebsbefehle Werte für Gaspedal, Bremsung und Lenkwinkel beinhalten.
In manchen Ausführungsformen können die vorhergesagten Trajektorien sowie Echtzeitwahrnehmungsfehlerinformationen mit Sicherheitskriterien gekoppelt werden, um Fahrverhaltensbeschränkungen bereitzustellen. Sicherheitskriterien können allgemein als Regeln oder Richtlinien zur Kollisionsvermeidung enthaltend verstanden werden, zum Beispiel durch Erstellen einer Metrik für den minimalen Längs- und Querabstand während einer speziellen Situation. Sicherheitskriterien können auch lokale Straßenregeln beinhalten, wie etwa Höchstgeschwindigkeit im Straßensegment, Einhalten von Signalen und/oder Erlauben - oder Verbieten - gewisser Manöver (z. B. an Kreuzungen). Um bei der Gewährleistung der Sicherheit zu helfen, können die vorhergesagten Objekttrajektorien für die mehreren externen Objekte (Block 630) auch durch ein autonomes Fahrzeug verwendet werden, um das Fahrzeugverhalten noch mehr als durch Sicherheitskriterien bereitgestellt zu modifizieren oder zu beschränken. Beispielsweise liefert der veranschaulichte Verarbeitungsblock 660 das Bestimmen der Abweichung beobachteter Objektverhalten von vorhergesagten Objektverhalten. Als Nächstes liefert der veranschaulichte Verarbeitungsblock 670 das Modifizieren des Fahrzeugverhaltens basierend auf der bestimmten Abweichung des Objektverhaltens vom vorhergesagten Verhalten. Beispiele zum Modifizieren des Verhaltens des Ego-Fahrzeugs können beinhalten: 1) Erhöhen des Längsabstands zu einem anderen Fahrzeug in derselben Spur und in dieselbe Richtung, 2) Erhöhen des minimalen Querabstands zu einem Straßenbenutzer in einer benachbarten Spur, 3) Gewähren der Vorfahrt gegenüber einem anderen Fahrzeug an einer Kreuzung (selbst wenn das Ego-Fahrzeug Priorität oder Vorfahrt hat, 4) Reduzieren der aktuellen Geschwindigkeit (z. B. in Bereichen mit Verdeckung oder anderen Hindernissen), selbst wenn die Geschwindigkeit innerhalb der für das aktuelle Straßensegment erlaubten Höchstgeschwindigkeit liegt.
7 zeigt ein Blockdiagramm, das ein beispielhaftes Rechensystem 10 zum Vorhersagen von Fahrzeugtrajektorien basierend auf lokalen Fahrnormen veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Das System 10 kann allgemein Teil einer elektronischen Vorrichtung/Plattform mit Rechen- und/oder Kommunikationsfunktionalität (z. B. Server, Cloud-Infrastruktursteuerung, Datenbanksteuerung, Notebook-Computer, Desktop-Computer, Personal Digital Assistant/PDA, Tablet-Computer, konvertierbares Tablet, Smartphone usw.), Bildgebungsfunktionalität (z. B. Kamera, Camcorder), Medienabspielfunktionalität (z. B. Smart-Fernseher/TV), Wearable-Funktionalität (z. B. Armbanduhr, Brille, Kopfbekleidung, Fußbekleidung, Schmuck), Fahrzeugfunktionalität (z. B. Auto, Lastwagen, Motorrad), Robotikfunktionalität (z. B. autonomer Roboter), Internet-der-Dinge(IoT)-Funktionalität usw. oder eine beliebige Kombination davon sein. In dem veranschaulichten Beispiel kann das System 10 einen Host-Prozessor 12 (z. B. eine Zentralverarbeitungseinheit/CPU) mit einer integrierten Speichersteuerung (IMC) 14, die mit einem Systemspeicher 20 gekoppelt sein kann, beinhalten. Der Host-Prozessor 12 kann eine beliebige Art von Verarbeitungsvorrichtung, wie etwa z. B. einen Mikrocontroller, einen Mikroprozessor, einen RISC-Prozessor, eine ASIC usw., zusammen mit assoziierten Verarbeitungsmodulen oder assoziierter Verarbeitungsschaltungsanordnung beinhalten. Der Systemspeicher 20 kann ein beliebiges nichtflüchtiges maschinen- oder computerlesbares Speicherungsmedium beinhalten, wie etwa RAM, ROM, PROM, EEPROM, Firmware, Flash-Speicher usw., konfigurierbare Logik, wie etwa zum Beispiel PLAs, FPGAs, CPLDs, Hardwarelogik mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel ASIC, CMOS oder TTL-Technologie, oder eine beliebige Kombination davon, die zum Speichern von Anweisungen 28 geeignet ist.
Das System 10 kann auch ein Eingabe/Ausgabe(E/A)-Untersystem 16 beinhalten. Das E/A-Untersystem 16 kann mit beispielsweise einer oder mehreren Eingabe/Ausgabe(E/A)-Vorrichtungen 17, einer Netzwerksteuerung 24 (z.B. drahtgebundenen und/oder drahtlosen NIC) und einer Speicherung 22 kommunizieren. Die Speicherung 22 kann aus einem beliebigen zweckmäßigen nichtflüchtigen maschinen- oder computerlesbaren Speichertyp bestehen (z. B. Flash-Speicher, DRAM, SRAM (statischer Direktzugriffsspeicher), Solid-State-Laufwerk (SSD), Festplattenlaufwerk (HDD), optische Platte usw.). Die Speicherung 22 kann eine Massenspeicherung beinhalten. In manchen Ausführungsformen kann der Host-Prozessor 12 und/oder das E/A-Untersystem 16 über die Netzwerksteuerung 24 mit der Speicherung 22 (insgesamt oder Teilen davon) kommunizieren. In manchen Ausführungsformen kann das System 10 auch einen Grafikprozessor 26 (z. B. Grafikverarbeitungseinheit/GPU) und einen KI-Beschleuniger 27 beinhalten. In manchen Ausführungsformen kann das System 10 auch ein Wahrnehmungsuntersystem 18 (z. B. einschließlich eines oder mehrerer Sensoren und/oder einer oder mehrerer Kameras) und/oder ein Antriebsuntersystem 19 beinhalten. In einer Ausführungsform kann das System 10 auch eine nicht gezeigte Visionsverarbeitungseinheit (VPU) beinhalten.
Der Host-Prozessor 12 und das E/A-Untersystem 16 können zusammen auf einem Halbleiter-Die als ein System-on-Chip (SoC) 11 implementiert werden, mit durchgezogener Linie umschlossen gezeigt. Das SoC 11 kann daher als eine Recheneinrichtung zur autonomen Fahrzeugsteuerung arbeiten. In manchen Ausführungsformen kann das SoC 11 auch den Systemspeicher 20 und/oder die Netzwerksteuerung 24 und/oder den Grafikprozessor 26 und/oder den KI-Beschleuniger 27 beinhalten (mit gestrichelten Linien umschlossen gezeigt). In manchen Ausführungsformen kann das SoC 11 auch andere Komponenten des Systems 10 beinhalten.
Der Host-Prozessor 12, das E/A-Untersystem 16, der Grafikprozessor 26, der KI-Beschleuniger 27 und/oder die VPU können Programmanweisungen 28 ausführen, die aus dem Systemspeicher 20 und/oder der Speicherung 22 abgerufen werden, um einen oder mehrere Aspekte des Prozesses 600 durchzuführen, wie hierin mit Bezug auf 6 beschrieben. Somit kann die Ausführung der Anweisungen 28 bewirken, dass das SoC 11 eine Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien erzeugt, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden, über ein erstes neuronales Netzwerk eine Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen erzeugt und über ein zweites neuronales Netzwerk vorhergesagte Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen bestimmt. Das System 10 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 100, des relationalen Reasoning-Systems 200, des Graphenextraktionsmoduls 310, des Graph-Attention-Moduls 410 und/oder des LSTM-Netzwerks 510 implementieren, wie hierin mit Bezug auf die 1-5 beschrieben. Das System 10 wird daher zumindest zu dem Ausmaß als leistungsfähigkeitsverbessert angesehen, dass Fahrzeug- und Objekttrajektorien basierend auf lokalen Fahrnormen vorhergesagt werden können.
Computerprogrammcode zum Ausführen der oben beschriebenen Prozesse kann in beliebiger Kombination von einer oder mehreren Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache, wie zum Beispiel JAVA, JAVASCRIPT, PYTHON, SMALLTALK, C++ oder dergleichen, und/oder herkömmlicher prozeduraler Programmiersprachen, wie zum Beispiel der Programmiersprache „C“, oder ähnlicher Programmiersprachen, und als die Programmanweisungen implementiert werden. Zusätzlich dazu können die Programmanweisungen 28 Assembler-Anweisungen, Befehlssatzarchitektur(ISA)-Anweisungen, Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Zustandseinstellungsdaten, Konfigurationsdaten für eine integrierte Schaltungsanordnung, Zustandsinformationen, die eine elektronische Schaltungsanordnung personalisieren, und/oder andere strukturelle Komponenten beinhalten, die nativ für die Hardware sind (z. B. Host-Prozessor, Zentralverarbeitungseinheit/CPU, Mikrocontroller, Mikroprozessor usw.).
Die E/A-Vorrichtungen 17 können eine oder mehrere Eingabevorrichtungen beinhalten, wie etwa einen Touchscreen, eine Tastatur, eine Maus, eine Cursorsteuervorrichtung, einen Touchscreen, ein Mikrofon, eine Digitalkamera, einen Videorecorder, einen Camcorder, biometrische Scanner und/oder Sensoren; Eingabevorrichtungen können zum Eingeben von Informationen und zum Interagieren mit dem System 10 und/oder mit anderen Vorrichtungen verwendet werden. Die E/A-Vorrichtungen 17 können auch eine oder mehrere Ausgabevorrichtungen beinhalten, wie etwa eine Anzeige (z. B. Touchscreen, Flüssigkristallanzeige/LCD, Leuchtdioden-/LED-Anzeige, Plasmabildschirm usw.), Lautsprecher und/oder andere visuelle oder auditive Ausgabevorrichtungen. Eingabe- und/oder Ausgabevorrichtungen können verwendet werden, um z. B. eine Benutzeroberfläche bereitzustellen.
8 zeigt ein Blockdiagramm, das eine beispielhafte Halbleitereinrichtung 30 zum Vorhersagen von Fahrzeugtrajektorien basierend auf lokalen Fahrnormen veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Die Halbleitereinrichtung 30 kann z. B. als ein Chip, Die oder anderes Halbleiter-Package implementiert werden. Die Halbleitereinrichtung 30 kann ein oder mehreren Substrate 32 beinhalten, die aus z. B. Silizium, Saphir, Galliumarsenid usw. bestehen. Die Halbleitereinrichtung 30 kann auch Logik 34 beinhalten, die aus z. B. einem oder mehreren Transistorarrays und anderen Integrierte-Schaltung(IC)-Komponenten besteht, die mit dem einen oder den mehreren Substraten 32 gekoppelt sind. Die Logik 34 kann zumindest teilweise in konfigurierbarer Logik oder Logikhardware mit fester Funktionalität implementiert werden. Die Logik 34 kann das oben mit Bezug auf 7 beschriebene System-on-Chip (SoC) 11 implementieren. Die Logik 34 kann einen oder mehrere Aspekte des wie hierin mit Bezug auf 6 beschriebenen Prozesses 600 implementieren, einschließlich Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden, Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen und Bestimmen, über ein zweites neuronales Netzwerk, vorhergesagter Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen. Die Logik 34 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 100, des relationalen Reasoning-Systems 200, des Graphenextraktionsmoduls 310, des Graph-Attention-Moduls 410 und/oder des LSTM-Netzwerks 510 implementieren, wie hierin mit Bezug auf die 1-5 beschrieben. Die Vorrichtung 30 wird daher zumindest zu dem Ausmaß als leistungsfähigkeitsverbessert angesehen, dass Fahrzeug- und Objekttrajektorien basierend auf lokalen Fahrnormen vorhergesagt werden können.
Die Halbleitereinrichtung 30 kann unter Verwendung beliebiger zweckmäßiger Halbleiterherstellungsprozesse oder -techniken hergestellt werden. Beispielsweise kann die Logik 34 Transistorkanalgebiete beinhalten, die in dem (den) Substrat(en) 32 positioniert (z. B. eingebettet) sind. Somit ist die Grenzfläche zwischen der Logik 34 und dem (den) Substrat(en) 32 möglicherweise kein abrupter Übergang. Die Logik 34 kann auch als eine Epitaxieschicht enthaltend angesehen werden, die auf einem anfänglichen Wafer des Substrats (der Substrate) 34 aufgewachsen wird.
9 ist ein Blockdiagramm, das einen beispielhaften Prozessorkern 40 veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Der Prozessorkern 40 kann der Kern für eine beliebige Art von Prozessor sein, wie etwa einen Mikroprozessor, einen eingebetteten Prozessor, einen Digitalsignalprozessor (DSP), einen Netzwerkprozessor oder eine andere Einrichtung zum Ausführen von Code. Obwohl in 9 nur ein Prozessorkern 40 veranschaulicht ist, kann ein Verarbeitungselement alternativ dazu mehr als einen des in 9 veranschaulichten Prozessorkerns 40 beinhalten. Der Prozessorkern 40 kann ein Single-Thread-Kern sein oder für mindestens eine Ausführungsform kann der Prozessorkern 40 ein Multithread-Kern in dem Sinne sein, dass er mehr als einen Hardware-Thread-Kontext (oder „logischen Prozessor“) pro Kern beinhalten kann.
9 veranschaulicht außerdem einen Speicher 41, der mit dem Prozessorkern 40 gekoppelt ist. Der Speicher 41 kann ein beliebiger aus einer breiten Vielfalt von Speichern sein (einschließlich verschiedener Schichten einer Speicherhierarchie), die einem Fachmann bekannt sind oder anderweitig zur Verfügung stehen. Der Speicher 41 kann eine oder mehrere Anweisungen des Codes 42 beinhalten, die durch den Prozessorkern 40 auszuführen sind. Der Code 42 kann einen oder mehrere Aspekte des hierin mit Bezug auf 6 beschriebenen Prozesses implementieren. Der Prozessorkern 40 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 100, des relationalen Reasoning-Systems 200, des Graphenextraktionsmoduls 310, des Graph-Attention-Moduls 410 und/oder des LSTM-Netzwerks 510 implementieren, wie hierin mit Bezug auf die 1-5 beschrieben. Der Prozessorkern 40 folgt einer Programmsequenz von Befehlen, die durch den Code 42 angegeben wird. Jeder Befehl kann in einen Frontend-Teil 43 eintreten und durch einen oder mehrere Decodierer 44 verarbeitet werden. Der Decodierer 44 kann eine Mikrooperation, wie etwa eine Mikrooperation mit fester Breite, in einem vordefinierten Format als seine Ausgabe erzeugen oder kann andere Befehle, Mikrobefehle oder Steuersignale, die den ursprünglichen Codebefehl widerspiegeln, erzeugen. Der veranschaulichte Frontend-Teil 43 beinhaltet auch eine Registerumbenennungslogik 46 und eine Scheduling-Logik 48, die allgemein Ressourcen zuweisen und die Operation entsprechend dem Konvertierungsbefehl zur Ausführung in eine Warteschlange setzen.
Der Prozessorkern 40 ist eine Ausführungslogik 50 mit einem Satz von Ausführungseinheiten 55-1 bis 55-N beinhaltend gezeigt. Manche Ausführungsformen können eine Anzahl von Ausführungseinheiten beinhalten, die spezifischen Funktionen oder Sätzen von Funktionen dediziert sind. Andere Ausführungsformen können nur eine Ausführungseinheit oder eine Ausführungseinheit, die eine spezielle Funktion durchführen kann, beinhalten. Die veranschaulichte Ausführungslogik 50 führt die durch Codebefehle spezifizierten Operationen durch.
Nach der Beendigung der Ausführung der durch die Codebefehle spezifizierten Operationen zieht eine Backend-Logik 58 die Befehle des Codes 42 zurück. Bei einer Ausführungsform erlaubt der Prozessorkern 40 eine Ausführung außerhalb der Reihenfolge, benötigt aber einen Zurückzug der Befehle in Reihenfolge. Die Zurückzugslogik 59 kann eine Vielfalt von Formen annehmen, wie Fachleuten bekannt ist (z. B. Umordnungspuffer oder dergleichen). Auf diese Art und Weise wird der Prozessorkern 40 während der Ausführung des Codes 42 zumindest hinsichtlich der durch den Decodierer erzeugten Ausgabe, der Hardwareregister und Tabellen, die durch die Registerumbenennungslogik 46 genutzt werden, und beliebiger durch die Ausführungslogik 50 modifizierter Register (nicht dargestellt) transformiert.
Obwohl in 9 nicht veranschaulicht, kann ein Verarbeitungselement andere Elemente auf dem Chip mit dem Prozessorkern 40 beinhalten. Ein Verarbeitungselement kann zum Beispiel eine Speichersteuerlogik zusammen mit dem Prozessorkern 40 beinhalten. Das Verarbeitungselement kann eine E/A-Steuerlogik beinhalten und/oder kann eine E/A-Steuerlogik beinhalten, die mit der Speichersteuerlogik integriert ist. Das Verarbeitungselement kann auch einen oder mehrere Caches beinhalten.
10 ist ein Blockdiagramm, das ein Beispiel eines mehrprozessorbasierten Rechensystems 60 veranschaulicht, gemäß einer oder mehreren Ausführungsformen, mit Bezug auf hierin beschriebene Komponenten und Merkmale einschließlich unter anderem auf die Figuren und die assoziierte Beschreibung. Das Mehrprozessorsystem 60 beinhaltet ein erstes Verarbeitungselement 70 und ein zweites Verarbeitungselement 80. Obwohl zwei Verarbeitungselemente 70 und 80 dargestellt sind, ist zu verstehen, dass eine Ausführungsform des Systems 60 auch nur ein derartiges Verarbeitungselement beinhalten kann.
Das System 60 ist als ein Punkt-zu-Punkt-Interconnect-System veranschaulicht, bei dem das erste Verarbeitungselement 70 und das zweite Verarbeitungselement 80 über ein Punkt-zu-Punkt-Interconnect 71 gekoppelt sind. Es versteht sich, dass ein beliebiges oder alle der in 10 veranschaulichten Interconnects als ein Multi-Drop-Bus anstelle eines Punkt-zu-Punkt-Interconnects implementiert werden können.
Wie in 10 dargestellt, kann jedes der Verarbeitungselemente 70 und 80 Mehrkernprozessoren einschließlich eines ersten und zweiten Prozessorkerns (d. h. Prozessorkerne 74a und 74b und Prozessorkerne 84a und 84b) sein. Derartige Kerne 74a, 74b, 84a, 84b können dazu ausgelegt sein, Befehlscode auf eine ähnliche Art und Weise zu der oben in Verbindung mit 9 besprochenen auszuführen.
Jedes Verarbeitungselement 70, 80 kann mindestens einen gemeinsam genutzten Cache 99a, 99b beinhalten. Der gemeinsam genutzte Cache 99a, 99b kann Daten (z. B. Anweisungen) speichern, die durch eine oder mehrere Komponenten des Prozessors, wie etwa die Kerne 74a, 74b bzw. 84a, 84b, genutzt werden. Der gemeinsam genutzte Cache 99a, 99b kann zum Beispiel Daten, die in einem Speicher 62, 63 gespeichert sind, für einen schnelleren Zugriff durch Komponenten des Prozessors lokal cachen. Bei einer oder mehreren Ausführungsformen kann der gemeinsam genutzte Cache 99a, 99b einen oder mehrere Mittebenen-Caches beinhalten, wie etwa Ebene 2 (L2), Ebene 3 (L3), Ebene 4 (L4) oder andere Cache-Ebenen, einen Last-Level-Cache (LLC) und/oder Kombinationen davon.
Obwohl nur mit zwei Verarbeitungselementen 70, 80 dargestellt, ist zu verstehen, dass der Schutzumfang der Ausführungsformen nicht darauf beschränkt ist. Bei anderen Ausführungsformen können in einem gegebenen Prozessor ein oder mehrere zusätzliche Verarbeitungselemente vorhanden sein. Alternativ dazu können ein oder mehrere Verarbeitungselemente 70, 80 ein Element außer einem Prozessor sein, wie etwa ein Beschleuniger oder ein feldprogrammierbares Gate-Array. Ein oder mehrere zusätzliche Verarbeitungselemente können zum Beispiel einen oder mehrere zusätzliche Prozessoren, die derselbe sind wie ein erster Prozessor 70, einen oder mehrere zusätzliche Prozessoren, die heterogen oder asymmetrisch zu einem Prozessor, einem ersten Prozessor 70 sind, Beschleuniger (wie etwa z. B. Grafikbeschleuniger oder Digitalsignalverarbeitungseinheiten (DSP-Einheiten)), feldprogrammierbare Gate-Arrays oder ein beliebiges anderes Verarbeitungselement beinhalten. Es kann eine Vielfalt von Unterschieden zwischen den Verarbeitungselementen 70, 80 hinsichtlich eines Spektrums relevanter Metriken geben, einschließlich architektonischer, mikroarchitektonischer, thermischer, Stromverbrauchscharakteristiken und dergleichen. Diese Unterschiede können sich im Endeffekt als Asymmetrie und Heterogenität unter den Verarbeitungselementen 70, 80 manifestieren. Für mindestens eine Ausführungsform können sich die verschiedenen Verarbeitungselemente 70, 80 in demselben Die-Package befinden.
Das erste Verarbeitungselement 70 kann ferner eine Speichersteuerungslogik (MC) 72 und Punkt-zu-Punkt(P-P)-Schnittstellen 76 und 78 beinhalten. Gleichermaßen kann das zweite Verarbeitungselement 80 eine MC 82 und P-P-Schnittstellen 86 und 88 beinhalten. Wie in 10 dargestellt, koppeln die MCs 72 und 82 die Prozessoren mit jeweiligen Speichern, nämlich einem Speicher 62 und einem Speicher 63, die Teile eines Hauptspeichers sein können, der lokal an die jeweiligen Prozessoren angeschlossen ist. Obwohl die MC 72 und 82 als in die Verarbeitungselemente 70, 80 integriert veranschaulicht ist, kann die MC für alternative Ausführungsformen eine diskrete Logik außerhalb der Verarbeitungselemente 70, 80 sein, anstatt darin integriert zu sein.
Das erste Verarbeitungselement 70 und das zweite Verarbeitungselement 80 können über P-P-Interconnects 76 bzw. 86 mit einem E/A-Untersystem 90 gekoppelt sein. Wie in 10 dargestellt, beinhaltet das E/A-Untersystem 90 P-P-Schnittstellen 94 und 98. Des Weiteren beinhaltet das E/A-Untersystem 90 eine Schnittstelle 92, um das E/A-Untersystem 90 mit einer Hochleistungs-Grafik-Engine 64 zu koppeln. Bei einer Ausführungsform kann ein Bus 73 verwendet werden, um die Grafik-Engine 64 mit dem E/A-Untersystem 90 zu koppeln. Alternativ dazu kann ein Punkt-zu-Punkt-Interconnect diese Komponenten koppeln.
Im Gegenzug kann das E/A-Untersystem 90 über eine Schnittstelle 96 mit einem ersten Bus 65 gekoppelt sein. Bei einer Ausführungsform kann der erste Bus 65 ein PCI-Bus (PCI - Peripheral Component Interconnect) oder ein Bus, wie etwa ein PCI-Express-Bus oder ein anderer E/A-Interconnect-Bus der dritten Generation sein, obwohl der Schutzumfang der Ausführungsformen nicht darauf beschränkt ist.
Wie in 10 dargestellt, können verschiedene E/A-Einrichtungen 65a (z. B. biometrische Scanner, Lautsprecher, Kameras, Sensoren) zusammen mit einer Busbrücke 66, die den ersten Bus 65 mit einem zweiten Bus 67 koppeln kann, mit dem ersten Bus 65 gekoppelt sein. Bei einer Ausführungsform kann der zweite Bus 67 ein Low-Pin-Count-Bus (LPC-Bus) sein. Verschiedene Einrichtungen können bei einer Ausführungsform mit dem zweiten Bus 67 gekoppelt sein, einschließlich zum Beispiel einer Tastatur/ Maus 67a, einer oder mehrerer Kommunikationseinrichtungen 67b und einer Datenspeicherungseinheit 68, wie eines Laufwerks oder einer anderen Massenspeicherungseinrichtung, die Code 69 beinhalten kann. Der veranschaulichte Code 69 kann einen oder mehrere Aspekte des hierin mit Bezug auf 6 beschriebenen Prozesses implementieren. Der veranschaulichte Code 69 kann dem schon besprochenen Code 42 (9) ähneln. Des Weiteren kann eine Audio-E/A 67c mit dem zweiten Bus 67 gekoppelt sein und eine Batterie 61 kann das Rechensystem 60 mit Leistung versorgen. Das System 60 kann einen oder mehrere Aspekte des autonomen Fahrzeugsystems 100, des relationalen Reasoning-Systems 200, des Graphenextraktionsmoduls 310, des Graph-Attention-Moduls 410 und/oder des LSTM-Netzwerks 510 implementieren, wie hierin mit Bezug auf die 1-5 beschrieben.
Es sei angemerkt, dass andere Ausführungsformen in Betracht gezogen werden. Zum Beispiel kann ein System anstelle der Punkt-zu-Punkt-Architektur von 10 einen Multi-Drop-Bus oder eine andere derartige Kommunikationstopologie implementieren. Die Elemente von 10 können außerdem alternativ dazu unter Verwendung von mehr oder weniger integrierten Chips als in 10 dargestellt partitioniert sein.
Ausführungsformen für jedes/jede der obigen Systeme, Vorrichtungen, Komponenten und/oder Verfahren, einschließlich des Systems 10, der Halbleitereinrichtung 30, des Prozessorkerns 40, des Systems 60, des autonomen Fahrzeugsystems 100, des relationalen Reasoning-Systems 200, des Graphenextraktionsmoduls 310, des Graph-Attention-Moduls 410, des LSTM-Netzwerks 510 und/oder des Prozesses 600 und/oder beliebiger anderer Systemkomponenten können in Hardware, Software oder einer beliebigen geeigneten Kombination davon implementiert werden. Zum Beispiel können Hardwareimplementierungen konfigurierbare Logik beinhalten, wie etwa zum Beispiel programmierbare Logikarrays (PLAs), feldprogrammierbare Gate-Arrays (FPGAs), komplexe programmierbare Logikvorrichtungen (CPLD) oder Logikhardware mit fester Funktionalität unter Verwendung von Schaltungstechnologie, wie etwa zum Beispiel Technologie mit anwendungsspezifischer integrierter Schaltung (ASIC), komplementärem Metalloxidhalbleiter (CMOS) oder Transistor-Transistor-Logik (TTL), oder einer beliebigen Kombination davon.
Alternativ oder zusätzlich können alle oder Teile der vorgenannten Systeme und/oder Komponenten und/oder Verfahren in einem oder mehreren Modulen als ein Satz von Logikanweisungen implementiert sein, die in einem maschinen- oder computerlesbaren Speicherungsmedium, wie etwa einem Direktzugriffspeicher (RAM), Nurlesespeicher (ROM), programmierbaren ROM (PROM), Firmware, Flash-Speicher usw., die durch einen Prozessor oder eine Recheneinrichtung ausgeführt werden sollen, gespeichert sind. Zum Beispiel kann Computerprogrammcode zum Ausführen der Operationen der Komponenten in einer beliebigen Kombination von einer oder mehreren Betriebssystem(OS)-anwendbaren/-geeigneten Programmiersprachen geschrieben sein, einschließlich einer objektorientierten Programmiersprache, wie etwa PYTHON, PERL, JAVA, SMALLTALK, C++, C# oder dergleichen, und herkömmlicher prozeduraler Programmiersprachen, wie etwa der Programmiersprache „C“, oder ähnlicher Programmiersprachen.
Zusätzliche Anmerkungen und Beispiele:

Beispiel 1 beinhaltet ein Rechensystem, das umfasst: eine Sensorschnittstelle zum Empfangen externer Objektdaten, einen Prozessor, der mit der Sensorschnittstelle gekoppelt ist, wobei der Prozessor ein oder mehrere Substrate und mit dem einen oder den mehreren Substraten gekoppelte Logik beinhaltet, wobei die Logik zumindest teilweise in einer konfigurierbaren Logik und/oder in Hardwarelogik mit fester Funktionalität implementiert wird, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ausgelegt ist zum Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus den externen Objektdaten für mehrere externe Objekte abgeleitet werden, Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen und Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
Beispiel 2 beinhaltet das System des Beispiels 1, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
Beispiel 3 beinhaltet das System des Beispiels 1, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
Beispiel 4 beinhaltet das System des Beispiels 1, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk ausgelegt ist zum Codieren von standortbasierten Fahrnormen.
Beispiel 5 beinhaltet das System des Beispiels 4, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das ausgelegt ist zum Codieren zeitlicher Fahrzeugstandortänderungen, und ein zweites rekurrentes neuronales Netzwerk, das ausgelegt ist zum Vorhersagen zukünftiger Verhalten für die mehreren Fahrzeuge, umfasst.
Beispiel 6 beinhaltet das System eines der Beispiele 1-5, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.
Beispiel 7 beinhaltet eine Halbleitereinrichtung, die umfasst: ein oder mehrere Substrate und mit dem einen oder den mehreren Substraten gekoppelte Logik, wobei die Logik zumindest teilweise in einer konfigurierbaren Logik und/oder in Hardwarelogik mit fester Funktionalität implementiert wird, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ausgelegt ist zum Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden, Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen und Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
Beispiel 8 beinhaltet die Halbleitereinrichtung des Beispiels 7, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
Beispiel 9 beinhaltet die Halbleitereinrichtung des Beispiels 7, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
Beispiel 10 beinhaltet die Halbleitereinrichtung des Beispiels 7, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk ausgelegt ist zum Codieren von standortbasierten Fahrnormen.
Beispiel 11 beinhaltet die Halbleitereinrichtung des Beispiels 10, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das ausgelegt ist zum Codieren zeitlicher Fahrzeugstandortänderungen, und ein zweites rekurrentes neuronales Netzwerk, das ausgelegt ist zum Vorhersagen zukünftiger Verhalten für die mehreren Fahrzeuge, umfasst.
Beispiel 12 beinhaltet die Halbleitereinrichtung eines der Beispiele 7-11, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.
Beispiel 13 beinhaltet die Halbleitereinrichtung des Beispiels 7, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik Transistorkanalgebiete beinhaltet, die in dem einen oder den mehreren Substraten positioniert sind.
Beispiel 14 beinhaltet mindestens ein nichtflüchtiges computerlesbares Speicherungsmedium, das einen Satz von Anweisungen speichert, die bei ihrer Ausführung durch ein Rechensystem bewirken, dass das Rechensystem Folgendes ausführt: Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden, Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen und Bestimmen, über ein zweites neuronales Netzwerk, vorhergesagter Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
Beispiel 15 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 14, wobei die Anweisungen bei ihrer Ausführung ferner bewirken, dass das Rechensystem Folgendes ausführt: Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
Beispiel 16 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 14, wobei die Anweisungen bei ihrer Ausführung ferner bewirken, dass das Rechensystem Folgendes ausführt: Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
Beispiel 17 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 14, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk ausgelegt ist zum Codieren von standortbasierten Fahrnormen.
Beispiel 18 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium des Beispiels 17, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das ausgelegt ist zum Codieren zeitlicher Fahrzeugstandortänderungen, und ein zweites rekurrentes neuronales Netzwerk, das ausgelegt ist zum Vorhersagen zukünftiger Verhalten für die mehreren Fahrzeuge, umfasst.
Beispiel 19 beinhaltet das mindestens eine nichtflüchtige computerlesbare Speicherungsmedium eines der Beispiele 14-18, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.
Beispiel 20 beinhaltet ein relationales Reasoning-Verfahren, das umfasst: Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden, Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen und Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
Beispiel 21 beinhaltet das Verfahren des Beispiels 20, ferner umfassend Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
Beispiel 22 beinhaltet das Verfahren des Beispiels 20, ferner umfassend Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
Beispiel 23 beinhaltet das Verfahren des Beispiels 20, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk standortbasierte Fahrnormen codiert.
Beispiel 24 beinhaltet das Verfahren des Beispiels 23, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das zeitliche Fahrzeugstandortänderungen codiert, und ein zweites rekurrentes neuronales Netzwerk, das zukünftige Verhalten für die mehreren Fahrzeuge vorhersagt, umfasst.
Beispiel 25 beinhaltet das Verfahren eines der Beispiele 20-24, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.
Beispiel 26 beinhaltet eine Vorrichtung, umfassend Mittel zum Durchführen des Verfahrens nach einem beliebigen der Beispiele 20-24.

Somit liefert die hierin beschriebene Technologie eine effiziente und robuste Vorhersage zukünftiger Trajektorien für ein autonomes Fahrzeug sowie für Nachbarfahrzeuge und Objekte durch Generalisieren sozialer Fahrnormen und anderer Arten von relationalen Informationen. Die Technologie priorisiert Handlungen und Reaktionen basierend auf relationalen Hinweisen aus der Fahrumgebung, einschließlich georäumlicher Informationen über Standardfahrnormen. Zusätzlich ermöglicht die Technologie das Navigieren des Fahrzeugs basierend auf vorhergesagten Objekttrajektorien und Echtzeitwahrnehmungsfehlerinformationen und das Modifizieren von Sicherheitskriterien basierend auf der Abweichung des Objektverhaltens vom vorhergesagten Verhalten.
Ausführungsformen sind zur Verwendung mit allen Typen von Halbleiter-Integrierte-Schaltung(„IC“)-Chips anwendbar. Beispiele für diese IC-Chips beinhalten unter anderem Prozessoren, Steuerungen, Chipsatzkomponenten, programmierbare Logikarrays (PLAs), Speicherchips, Netzwerkchips, Systems-auf-Chip (SoC), SSD/NAND-Steuerung-ASICs und dergleichen. Zusätzlich dazu sind in manchen der Zeichnungen Signalleiterleitungen mit Linien repräsentiert. Manche können unterschiedlich sein, um mehr Signalpfadbestandteile anzuzeigen, eine Nummernbezeichnung aufweisen, um eine Anzahl von Signalpfadbestandteilen anzugeben, und/oder Pfeile an einem oder mehreren Enden aufweisen, um die primäre Informationsflussrichtung anzugeben. Dies sollte jedoch nicht auf eine beschränkende Weise ausgelegt werden. Vielmehr kann ein derartiges hinzugefügtes Detail in Verbindung mit einem oder mehreren Ausführungsbeispielen verwendet werden, um ein einfacheres Verständnis einer Schaltung zu ermöglichen. Jegliche repräsentierten Signalleitungen, ob sie zusätzliche Information aufweisen oder nicht, können tatsächlich ein oder mehrere Signale umfassen, die sich in mehreren Richtungen bewegen können, und können mit einer beliebigen geeigneten Art von Signalschema implementiert werden, z. B. digitalen oder analogen Leitungen, die mit differenziellen Paaren, Optikfaserleitungen und/oder Single-Ended-Leitungen, implementiert werden.
Es sind möglicherweise beispielhafte Größen/Modelle/Werte/Bereiche gegeben worden, obwohl Ausführungsformen nicht auf dieselben beschränkt sind. Wenn sich Herstellungstechniken (z. B. Fotolithografie) im Laufe der Zeit weiterentwickeln, wird erwartet, dass Vorrichtungen kleinerer Größe hergestellt werden könnten. Zusätzlich dazu sind wohlbekannte Leistungs-/Masseverbindungen zu IC-Chips und anderen Komponenten möglicherweise in den Figuren zur Vereinfachung und Besprechung gezeigt oder nicht, um gewisse Aspekte der Ausführungsformen nicht unklar zu machen. Ferner können Anordnungen in Blockdiagrammform dargestellt sein, um zu vermeiden, Ausführungsformen unklar zu machen, und auch angesichts der Tatsache, dass Einzelheiten im Bezug auf die Implementierung derartiger Blockdiagrammanordnungen in hohem Maße von dem Rechensystem abhängen, innerhalb dessen die Ausführungsform implementiert werden soll, d. h., derartige Einzelheiten sollten wohl im Geltungsbereich eines Fachmanns liegen. Wenn spezielle Einzelheiten (z. B. Schaltungen) dargelegt sind, um Ausführungsbeispiele zu beschreiben, sollte es einem Fachmann ersichtlich sein, dass Ausführungsformen ohne diese speziellen Einzelheiten oder mit einer Variation davon praktiziert werden können. Die Beschreibung ist somit als veranschaulichend anstatt beschränkend aufzufassen.
Der Ausdruck „gekoppelt“ kann hier verwendet werden, um sich auf einem beliebigen Typ von Beziehung, direkt oder indirekt, zwischen den fraglichen Komponenten zu beziehen, und kann für elektrische, mechanische, fluide, optische, elektromagnetische, elektromechanische oder andere Verbindungen anwendbar sein. Zusätzlich dazu werden die Ausdrucke „erster“, „zweiter“ usw. hier nur zur Erleichterung der Erörterung verwendet werden und tragen keine besondere zeitliche oder chronologische Bedeutung, sofern nicht anders angegeben.
Wie in dieser Anmeldung und den Ansprüchen verwendet, kann eine Liste von Gegenständen, die durch den Ausdruck „eines oder mehrere von“ verbunden sind, eine beliebige Kombination der aufgelisteten Begriffe bedeuten. Beispielsweise können die Phrasen „A, B und/oder C“ A; B; C; A und B; A und C; B und C oder A, B und C bedeuten.
Fachleute auf dem Gebiet werden aus der vorstehenden Beschreibung erkennen, dass die umfassenden Techniken der Ausführungsformen in einer Vielzahl von Formen implementiert werden können. Obwohl die Ausführungsformen in Verbindung mit speziellen Beispielen dafür beschrieben worden sind, sollte daher der wahre Schutzumfang der Ausführungsformen nicht auf diese beschränkt sein, da andere Modifikationen für den Fachmann bei Studie der Zeichnungen, der Beschreibung und der folgenden Ansprüche offensichtlich werden.

Claims

Rechensystem, das Folgendes umfasst: eine Sensorschnittstelle zum Empfangen externer Objektdaten; und einen Prozessor, der mit der Sensorschnittstelle gekoppelt ist, wobei der Prozessor ein oder mehrere Substrate und mit dem einen oder den mehreren Substraten gekoppelte Logik beinhaltet, wobei die Logik zumindest teilweise in einer konfigurierbaren Logik und/oder in Hardwarelogik mit fester Funktionalität implementiert wird, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ausgelegt ist zum: Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus den externen Objektdaten für mehrere externe Objekte abgeleitet werden; Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen; und Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
System nach Anspruch 1, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum: Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
System nach Anspruch 1, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum: Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
System nach Anspruch 1, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk ausgelegt ist zum Codieren von standortbasierten Fahrnormen.
System nach Anspruch 4, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das ausgelegt ist zum Codieren zeitlicher Fahrzeugstandortänderungen, und ein zweites rekurrentes neuronales Netzwerk, das ausgelegt ist zum Vorhersagen zukünftiger Verhalten für die mehreren Fahrzeuge, umfasst.
System nach einem der Ansprüche 1-5, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.
Halbleitereinrichtung, die Folgendes umfasst: ein oder mehrere Substrate; und Logik, die mit dem einen oder den mehreren Substraten gekoppelt ist, wobei die Logik zumindest teilweise in konfigurierbarer Logik und/oder Hardwarelogik mit fester Funktionalität implementiert ist, wobei die Logik, die mit dem einen oder den mehreren Substraten gekoppelt ist, ausgelegt ist zum: Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden; Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen; und Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
Halbleitereinrichtung nach Anspruch 7, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum: Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
Halbleitereinrichtung nach Anspruch 7, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik ferner ausgelegt ist zum Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
Halbleitereinrichtung nach Anspruch 7, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk ausgelegt ist zum Codieren von standortbasierten Fahrnormen.
Halbleitereinrichtung nach Anspruch 10, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das ausgelegt ist zum Codieren zeitlicher Fahrzeugstandortänderungen, und ein zweites rekurrentes neuronales Netzwerk, das ausgelegt ist zum Vorhersagen zukünftiger Verhalten für die mehreren Fahrzeuge, umfasst.
Halbleitereinrichtung nach einem der Ansprüche 7-11, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.
Halbleitereinrichtung nach einem der Ansprüche 7-11, wobei die mit dem einen oder den mehreren Substraten gekoppelte Logik Transistorkanalgebiete beinhaltet, die in dem einen oder den mehreren Substraten positioniert sind.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien, die einen Satz von Anweisungen umfassen, die bei Ausführung durch ein Rechensystem bewirken, dass das Rechensystem Folgendes ausführt: Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden; Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen; und Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 14, wobei die Anweisungen bei Ausführung ferner bewirken, dass das Rechensystem Folgendes ausfuhrt: Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 14, wobei die Anweisungen bei Ausführung ferner bewirken, dass das Rechensystem Folgendes ausfuhrt: Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 14, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk ausgelegt ist zum Codieren von standortbasierten Fahrnormen.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach Anspruch 17, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das ausgelegt ist zum Codieren zeitlicher Fahrzeugstandortänderungen, und ein zweites rekurrentes neuronales Netzwerk, das ausgelegt ist zum Vorhersagen zukünftiger Verhalten für die mehreren Fahrzeuge, umfasst.
Nichtflüchtiges computerlesbares Speicherungsmedium bzw. nichtflüchtige computerlesbare Speicherungsmedien nach einem der Ansprüche 14-18, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.
Relationales Reasoning-Verfahren, das Folgendes umfasst: Erzeugen einer Reihe zeitgestempelter Objektgraphen basierend auf Objekttrajektorienhistorien, die aus externen Objektdaten für mehrere externe Objekte abgeleitet werden; Erzeugen, über ein erstes neuronales Netzwerk, einer Reihe von relationalen Objektrepräsentationen basierend auf der Reihe zeitgestempelter Objektgraphen; und Bestimmen, über ein zweites neuronales Netzwerk, einer Vorhersage zukünftiger Objekttrajektorien für die mehreren externen Objekte basierend auf der Reihe von relationalen Objektrepräsentationen.
Verfahren nach Anspruch 20, das ferner Folgendes umfasst: Einschließen von Echtzeitwahrnehmungsfehlerinformationen mit den vorhergesagten Objekttrajektorien; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf den vorhergesagten Objekttrajektorien und den Echtzeitwahrnehmungsfehlerinformationen.
Verfahren nach Anspruch 20, das ferner Folgendes umfasst: Bestimmen einer Abweichung von beobachteten Objektverhalten von vorhergesagten Objektverhalten; und Modifizieren des Verhaltens eines autonomen Fahrzeugs basierend auf der bestimmten Objektverhaltensabweichung.
Verfahren nach Anspruch 20, wobei die Objekttrajektorienhistorien Koordinaten für mehrere Fahrzeuge innerhalb eines Zeitfensters beinhalten, wobei die Reihe zeitgestempelter Objektgraphen das Erlernen unterstützt, wie die Fahrzeuge über das Zeitfenster hinweg in Beziehung stehen, wobei die relationalen Objektrepräsentationen erlernte Beziehungen zwischen den mehreren Fahrzeugen über das Zeitfenster repräsentieren, und wobei das erste neuronale Netzwerk standortbasierte Fahrnormen codiert.
Verfahren nach Anspruch 23, wobei das zweite neuronale Netzwerk ein erstes rekurrentes neuronales Netzwerk, das zeitliche Fahrzeugstandortänderungen codiert, und ein zweites rekurrentes neuronales Netzwerk, das zukünftige Verhalten für die mehreren Fahrzeuge vorhersagt, umfasst.
Verfahren nach einem der Ansprüche 20-24, wobei das erste neuronale Netzwerk ein Graph-Attention(GAT)-Netzwerk umfasst und das zweite neuronale Netzwerk ein Netzwerk mit langem Kurzzeitspeicher (LSTM) umfasst, und wobei das erste neuronale Netzwerk und das zweite neuronale Netzwerk als eine Einheit unter Verwendung von Objekttrajektorienhistorien trainiert werden, die aus relationalen Objektdaten erzeugt werden, die aus über mehrere geografische Standorte gesammelten Fahrzeugfahrdaten erhalten werden.