-
EINLEITUNG
-
Die vorliegende Offenbarung bezieht sich auf Fahrzeuge und insbesondere auf die Verarbeitung von Umgebungsdaten für Fahrzeuge.
-
Moderne Fahrzeuge (z. B. ein Auto, ein Motorrad, ein Boot oder irgendein anderer Typ von Kraftfahrzeug) können mit einem Fahrzeugkommunikationssystem ausgestattet sein, das verschiedene Typen von Kommunikation zwischen dem Fahrzeug und anderen Entitäten erleichtert. Ein Fahrzeugkommunikationssystem kann beispielsweise eine Fahrzeug-zu-Infrastruktur-Kommunikation (V21-Kommunikation), Fahrzeug-zu-Fahrzeug-Kommunikation (V2V-Kommunikation), Fahrzeug-zu-Fußgänger-Kommunikation (V2P-Kommunikation) und/oder Fahrzeug-zu-Grid-Kommunikation (V2G-Kommunikation) schaffen. Gemeinsam können diese als Fahrzeug-zu-Alles-Kommunikation (V2X-Kommunikation) bezeichnet werden, die eine Kommunikation von Informationen vom Fahrzeug zu irgendeiner anderen geeigneten Entität ermöglicht. Verschiedene Anwendungen (z. B. V2X-Anwendungen) können V2X-Kommunikationen verwenden, um Sicherheitsnachrichten, Wartungsnachrichten, Fahrzeugstatusnachrichten und dergleichen zu senden und/oder zu empfangen.
-
Moderne Fahrzeuge können auch eine oder mehrere Kameras umfassen, die eine Rückfahrassistenz bereitstellen, Bilder des Fahrzeugfahrers aufnehmen, um Fahrerschläfrigkeit oder Fahreraufmerksamkeit zu bestimmen, Bilder der Straße, wenn das Fahrzeug fährt, für Kollisionsvermeidungszwecke bereitstellen, Strukturerkennung wie z. B. Fahrbahnzeichen bereitstellen, usw. Ein Fahrzeug kann beispielsweise mit mehreren Kameras ausgestattet sein und Bilder von mehreren Kameras (als „Surround View-Kameras“ oder „Rundumsichtkameras“ bezeichnet) können verwendet werden, um eine „Rundum“-Sicht oder „Vogelperspektiven“-Ansicht des Fahrzeugs zu erzeugen. Einige der Kameras (als „Kameras mit großer Reichweite“ bezeichnet) können verwendet werden, um Bilder in großer Reichweite zu erfassen (z. B. für die Objektdetektion für die Kollisionsvermeidung, Strukturerkennung usw.).
-
Solche Fahrzeuge können auch mit Sensoren wie z. B. einer oder mehreren Radarvorrichtungen, LiDAR-Vorrichtungen und/oder dergleichen zum Durchführen einer Zielverfolgung ausgestattet sein. Die Zielverfolgung umfasst das Identifizieren eines Zielobjekts und das Verfolgen des Zielobjekts über die Zeit, wenn sich das Zielobjekt mit Bezug auf das Fahrzeug, das das Zielobjekt beobachtet, bewegt. Bilder von der einen oder den mehreren Kameras des Fahrzeugs können auch zum Durchführen der Zielverfolgung verwendet werden.
-
Diese Kommunikationsprotokolle, Kameras und/oder Sensoren können für autonome Fahrzeuge nützlich sein.
-
ZUSAMMENFASSUNG
-
In einer beispielhaften Ausführungsform wird ein computerimplementiertes Verfahren für die Verarbeitung von Umgebungsdaten für mindestens ein anderes Fahrzeug relativ zu einem Zielfahrzeug geschaffen. Das Verfahren umfasst das Verarbeiten von ersten Daten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, durch eine Verarbeitungsvorrichtung unter Verwendung eines Selbstaufmerksamkeitsmechanismus, um eine erste Ausgabe zu erzeugen, die dem mindestens einen anderen Fahrzeug zugeordnet ist. Das Verfahren umfasst ferner das Verarbeiten von zweiten Daten, die dem Zielfahrzeug zugeordnet sind, durch die Verarbeitungsvorrichtung unter Verwendung von gestapelten Residualblöcken, um eine zweite Ausgabe zu erzeugen, die dem Zielfahrzeug zugeordnet ist. Das Verfahren umfasst ferner das Verketten der ersten Ausgabe und der zweiten Ausgabe durch die Verarbeitungsvorrichtung, um einen verketteten Vektor zu erzeugen. Das Verfahren umfasst ferner das Treffen einer Fahrentscheidung für das Zielfahrzeug zumindest teilweise auf der Basis des verketteten Vektors durch die Verarbeitungsvorrichtung. Das Verfahren umfasst ferner das Steuern des Zielfahrzeugs zumindest teilweise auf der Basis der Fahrentscheidung.
-
In zusätzlichen Beispielen umfassen die ersten Daten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, einen abgeschätzten kinematischen Zustand des mindestens einen anderen Fahrzeugs, eine Fahrspurzuweisung und/oder eine Fahrzeugabsicht.
-
In zusätzlichen Beispielen umfassen die ersten Daten eine erste Teilmenge der ersten Daten, die einem ersten anderen Fahrzeug zugeordnet ist, und eine zweite Teilmenge der ersten Daten, die einem zweiten anderen Fahrzeug zugeordnet ist.
-
In zusätzlichen Beispielen wird die erste Teilmenge der ersten Daten als erster eindimensionaler (1D) Merkmalsvektor ausgedrückt und die zweite Teilmenge der ersten Daten wird als zweiter 1 D-Merkmalsvektor ausgedrückt.
-
In zusätzlichen Beispielen umfasst das Verarbeiten der ersten Daten das Kombinieren des ersten 1 D-Merkmalsvektors und des zweiten 1 D-Merkmalsvektors zu einer zweidimensionalen (2D) Matrix.
-
In zusätzlichen Beispielen umfasst die 2D-Matrix Geschwindigkeitsdaten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, und Positionsdaten, die dem mindestens einen anderen Fahrzeug zugeordnet sind.
-
In zusätzlichen Beispielen umfassen die zweiten Daten, die dem Zielfahrzeug zugeordnet sind, kinematische Zustandsinformationen und Fahrspurinformationen.
-
In zusätzlichen Beispielen werden die kinematischen Zustandsinformationen in einem Koordinatenrahmen einer Straße, auf der sich das Zielfahrzeug befindet, dargestellt.
-
In zusätzlichen Beispielen werden die Fahrspurinformationen durch einen Vektor von binären Werten ausgedrückt, wobei ein Nullwert keine vorhandene Fahrspur darstellt und ein Einswert eine vorhandene Fahrspur darstellt.
-
In zusätzlichen Beispielen umfasst jeder der gestapelten Residualblöcke eine erste Faltungseinheit, eine rektifizierte lineare Einheit und eine zweite Faltungseinheit.
-
In zusätzlichen Beispielen umfasst das Treffen der Fahrentscheidung das Bestimmen einer Fahrrichtlinie und eines Werts, der einem aktuellen Zustand eines Agenten in einer Umgebung zugeordnet ist.
-
In zusätzlichen Beispielen umfasst das Steuern des Zielfahrzeugs zumindest teilweise auf der Basis der Entscheidung das Steuern des Zielfahrzeugs auf der Basis der Fahrrichtlinie und eines aktuellen Zustandes eines Agenten in einer Umgebung.
-
In einer anderen beispielhaften Ausführungsform umfasst ein System einen Arbeitsspeicher mit computerlesbaren Befehlen. Das System umfasst ferner eine Verarbeitungsvorrichtung zum Ausführen der computerlesbaren Befehle, wobei die computerlesbaren Befehle die Verarbeitungsvorrichtung steuern, um Operationen für die Verarbeitung von Umgebungsdaten für mindestens ein anderes Fahrzeug relativ zu einem Zielfahrzeug durchzuführen. Die Operationen umfassen das Verarbeiten von ersten Daten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, unter Verwendung eines Selbstaufmerksamkeitsmechanismus, um eine erste Ausgabe zu erzeugen, die dem mindestens einen anderen Fahrzeug zugeordnet ist. Die Operationen umfassen ferner das Verarbeiten von zweiten Daten, die dem Zielfahrzeug zugeordnet sind, unter Verwendung von gestapelten Residualblöcken, um eine zweite Ausgabe zu erzeugen, die dem Zielfahrzeug zugeordnet ist. Die Operationen umfassen ferner das Verketten der ersten Ausgabe und der zweiten Ausgabe, um einen verketteten Vektor zu erzeugen. Die Operationen umfassen ferner das Treffen einer Fahrentscheidung für das Zielfahrzeug zumindest teilweise auf der Basis des verketteten Vektors. Die Operationen umfassen ferner das Steuern des Zielfahrzeugs zumindest teilweise auf der Basis der Fahrentscheidung.
-
In zusätzlichen Beispielen umfassen die ersten Daten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, einen abgeschätzten kinematischen Zustand des mindestens einen anderen Fahrzeugs, eine Fahrspurzuweisung und/oder eine Fahrzeugabsicht.
-
In zusätzlichen Beispielen umfassen die ersten Daten eine erste Teilmenge der ersten Daten, die einem ersten anderen Fahrzeug zugeordnet ist, und eine zweite Teilmenge der ersten Daten, die einem zweiten anderen Fahrzeug zugeordnet ist.
-
In zusätzlichen Beispielen wird die erste Teilmenge der ersten Daten als erster eindimensionaler (1D) Merkmalsvektor ausgedrückt und die zweite Teilmenge der ersten Daten wird als zweiter 1 D-Merkmalsvektor ausgedrückt.
-
In zusätzlichen Beispielen umfasst das Verarbeiten der ersten Daten das Kombinieren des ersten 1 D-Merkmalsvektors und des zweiten 1 D-Merkmalsvektors zu einer zweidimensionalen (2D) Matrix.
-
In zusätzlichen Beispielen umfasst die 2D-Matrix Geschwindigkeitsdaten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, und Positionsdaten, die dem mindestens einen anderen Fahrzeug zugeordnet sind.
-
In zusätzlichen Beispielen umfassen die zweiten Daten, die dem Zielfahrzeug zugeordnet sind, kinematische Zustandsinformationen und Fahrspurinformationen.
-
In einer nochmals anderen beispielhaften Ausführungsform umfasst ein Computerprogrammprodukt ein computerlesbares Speichermedium, mit dem Programmbefehle verkörpert sind, wobei das computerlesbare Speichermedium an sich kein transitorisches Signal ist, wobei die Programmbefehle durch eine Verarbeitungsvorrichtung ausführbar sind, um zu bewirken, dass die Verarbeitungsvorrichtung Operationen zum Verarbeiten von Umgebungsdaten für mindestens ein anderes Fahrzeug relativ zu einem Zielfahrzeug durchführt. Die Operationen umfassen das Verarbeiten von ersten Daten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, unter Verwendung eines Selbstaufmerksamkeitsmechanismus, um eine erste Ausgabe zu erzeugen, die dem mindestens einen anderen Fahrzeug zugeordnet ist. Die Operationen umfassen ferner das Verarbeiten von zweiten Daten, die dem Zielfahrzeug zugeordnet sind, unter Verwendung von gestapelten Residualblöcken, um eine zweite Ausgabe zu erzeugen, die dem Zielfahrzeug zugeordnet ist. Die Operationen umfassen ferner das Verketten der ersten Ausgabe und der zweiten Ausgabe, um einen verketteten Vektor zu erzeugen. Die Operationen umfassen ferner das Treffen einer Fahrentscheidung für das Zielfahrzeug zumindest teilweise auf der Basis des verketteten Vektors. Die Operationen umfassen ferner das Steuern des Zielfahrzeugs zumindest teilweise auf der Basis der Fahrentscheidung.
-
Die obigen Merkmale und Vorteile und weitere Merkmale und Vorteile der Offenbarung gehen leicht aus der folgenden ausführlichen Beschreibung hervor, wenn sie zusammen mit den beigefügten Zeichnungen genommen wird.
-
Figurenliste
-
Weitere Merkmale, Vorteile und Einzelheiten erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht; es zeigen:
- 1 ein Fahrzeug mit Sensoren und einem Verarbeitungssystem gemäß einer oder mehreren hier beschriebenen Ausführungsformen;
- 2 eine Architektur, die die Verarbeitung von Umgebungsdaten für Fahrzeuge unterstützt, gemäß einer oder mehreren hier beschriebenen Ausführungsformen;
- 3 ein Ablaufdiagramm eines Verfahrens zum Verarbeiten von Umgebungsdaten für Fahrzeuge gemäß einer oder mehreren hier beschriebenen Ausführungsformen; und
- 4 ein Blockdiagramm eines Verarbeitungssystems zum Implementieren der hier beschriebenen Techniken gemäß einer beispielhaften Ausführungsform.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende Beschreibung ist dem Wesen nach lediglich beispielhaft und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Selbstverständlich bezeichnen einander entsprechende Bezugszeichen überall in den Zeichnungen gleiche oder einander entsprechende Teile und Merkmale. Wie der Begriff Modul hier verwendet ist, bezieht er sich auf eine Verarbeitungsschaltungsanordnung, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppe) und Arbeitsspeicher, die ein oder mehrere Software- oder Firmwareprogramme ausführen, eine Kombinationslogikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, enthalten kann.
-
Die hier beschriebenen technischen Lösungen schaffen das Verarbeiten von Umgebungsdaten für Fahrzeuge. Insbesondere schaffen eine oder mehrere hier beschriebene Ausführungsformen das Codieren und Verarbeiten von Umgebungsdaten (Informationen) in Fahrrichtlinien eines autonomen Fahrzeugs (AV) auf Lernbasis unter Verwendung eines tiefen Aufmerksamkeitsmechanismus.
-
AV-Fahrrichtlinien sehen vor, wie ein autonomes Fahrzeug arbeitet. AV-Fahrrichtlinien codieren und extrahieren Informationen über die Umgebung eines autonomen Fahrzeugs relativ zur Entscheidungsfindung. Diese Informationen werden verwendet, um einen Verhaltens/Bewegungs-Plan zur Ausführung durch das autonome Fahrzeug zu konstruieren. Die Informationen können von dem autonomen Fahrzeug (als „Zielfahrzeug“ bezeichnet) und/oder von anderen Umfeldfahrzeugen (die auch autonom sein können oder nicht) (als „anderes Fahrzeug“ oder „andere Fahrzeuge“ bezeichnet) gesammelt werden.
-
Herkömmliche Vorgehensweisen für die Verarbeitung von Umgebungsdaten für Fahrzeuge sind unzureichend. Eine solche Vorgehensweise ist ein Verfahren zum Rastern von verschiedenen Umgebungsinformationen in einem Mehrkanal-„Vogelperspektiven“-Bild und Verarbeiten desselben unter Verwendung eines faltenden neuronalen Netzes. Obwohl diese Vorgehensweise für die Bewegungsprojektion von anderen Fahrzeugen nützlich sein kann, leidet sie unter der Ineffizienz beim Rastern des Vogelperspektivenbildes im Vergleich zur Verwendung von Stra-ßenkoordinatenrahmenprojektionen. Eine andere herkömmliche Vorgehensweise ist das faltende soziale Pooling. In diesem Beispiel werden kinematische Informationen von Fahrzeugen relativ zum Straßenkoordinatenrahmen durch Unterteilen der Straße in Gitterzellen codiert, um eine seitliche Fahrspurebenendiskretisierung und konstante Längsfortschrittzellen zu schaffen, wobei jede Zelle einen räumlichen Mehrkanalbehälter aufweist, und der gemeinsame soziale Tensor wird in eine Sequenz von Faltungsschichten eingespeist. Diese Vorgehensweis ist jedoch auf einfache Lesestrukturen, wobei alle Fahrspuren zueinander parallel sind, aufgrund der 2D-Struktur des sozialen Tensors begrenzt. In noch einer anderen herkömmlichen Vorgehensweise wird eine Architektur geschaffen, in der eine ungeordnete Sequenz von Vektoren durch Stapeln von Kernfaltungen mit 1-Größe verarbeitet wird, gefolgt von einer Max-Pool-Operation über die Kanaldimension. Diese Vorgehensweise ist in ihrer Ausdrucksstärke beim Erfassen von Wechselwirkungen zwischen verschiedenen Aktoren (Fahrzeugen) und begrenzten Leistung für Verwendungsfälle, die die Extraktion von Mehrebenenwechselwirkungen zwischen Eingangsentitäten erfordern, begrenzt.
-
Eine oder mehrere hier beschriebene Ausführungsformen gehen diese und andere Mängel des Standes der Technik unter Verwendung einer Umfeldfahrzeugzustandscodierung und einer neuronalen Architektur an. Gemäß einer oder mehreren hier beschriebenen Ausführungsformen wird ein Verfahren geschaffen, das einen Zustand eines Zielfahrzeugs (z. B. eines autonomen Fahrzeugs) und die wahrgenommenen Zustände von anderen Fahrzeugen (Umfeldfahrzeugen) sowie Informationen über die Umgebung codiert. Die Zustände/Informationen werden dann unter Verwendung einer neuronalen Architektur verarbeitet, um Richtlinien und/oder Wertausgaben für das Lernen von Fahrrichtlinien zu erzeugen. Es sollte erkannt werden, dass die hier beschriebenen Techniken verwendet werden können, um den Zustand des Zielfahrzeugs zu codieren, selbst wenn keine anderen Fahrzeuge (Umfeldfahrzeuge) vorhanden sind. Insbesondere schaffen eine oder mehrere hier beschriebene Ausführungsformen das Codieren von Umgebungsinformationen in einer effizienten und flexiblen Weise für die Entscheidungsfindung, wie z. B. im Zusammenhang mit autonomen Fahrzeugen. Zustandsinformationen können beispielsweise in Fällen codiert werden, in denen eine variierende Anzahl von Umfeldfahrzeugen vorhanden ist, einschließlich keiner Umfeldfahrzeuge.
-
1 stellt ein Fahrzeug 100 mit Sensoren und einem Verarbeitungssystem 110 gemäß einer oder mehreren hier beschriebenen Ausführungsformen dar. In dem Beispiel von 1 umfasst das Fahrzeug 100 das Verarbeitungssystem 110, Kameras 120, 121, 122, 123, Kameras 130, 131, 132, 133, einen Radarsensor 140 und einen LiDAR-Sensor 141. Das Fahrzeug 100 kann ein Auto, ein Lastwagen, ein Transporter, ein Bus, ein Motorrad, ein Boot, ein Flugzeug oder ein anderes geeignetes Fahrzeug 100 sein.
-
Die Kameras 120-123 sind Rundumsichtkameras, die Bilder außerhalb des und in naher Umgebung des Fahrzeugs 100 erfassen. Die durch die Kameras 120-123 erfassten Bilder bilden zusammen eine Rundumsicht (manchmal als „Draufsicht“ oder „Vogelperspektive“ bezeichnet) des Fahrzeugs 100. Diese Bilder können zum Betreiben des Fahrzeugs (z. B. Parken, Rückwärtsfahren usw.) nützlich sein. Die Kameras 130-133 sind Kameras mit langer Reichweite, die Bilder außerhalb des Fahrzeugs und weiter vom Fahrzeug 100 entfernt als die Kameras 120-123 erfassen. Diese Bilder können beispielsweise für die Objektdetektion und das Objektausweichen nützlich sein. Es sollte erkannt werden, dass, obwohl acht Kameras 120-123 und 130-133 gezeigt sind, mehr oder weniger Kameras in verschiedenen Ausführungsformen implementiert werden können.
-
Die erfassten Bilder können auf einer Anzeige (nicht gezeigt) angezeigt werden, um externe Ansichten des Fahrzeugs 100 für den Fahrer/Betreiber des Fahrzeugs 100 bereitzustellen. Die erfassten Bilder können als Live-Bilder, Standbilder oder eine gewisse Kombination davon angezeigt werden. In einigen Beispielen können die Bilder kombiniert werden, um eine zusammengesetzte Ansicht wie z. B. die Rundumsicht zu bilden.
-
Der Radarsensor 140 misst die Entfernung zu einem Zielobjekt durch Senden von elektromagnetischen Wellen und Messen der reflektierten Wellen mit einem Sensor. Diese Informationen sind zum Bestimmen eines Abstandes/Orts des Zielobjekts relativ zum Fahrzeug 100 nützlich.
-
Der LiDAR-Sensor (Lichtdetektions- und Entfernungsmesssensor) 141 misst den Abstand zu einem Zielobjekt (z. B. dem anderen Fahrzeug 154) durch Beleuchten des Ziels mit gepulstem Laserlicht und Messen der reflektierten Impulse mit einem Sensor. Diese Informationen sind zum Bestimmen eines Abstandes/Orts des Zielobjekts relativ zum Fahrzeug 100 nützlich.
-
Von den Kameras 120-123, 130-133, dem Radarsensor 140 und/oder dem LiDAR-Sensor 141 erzeugte Daten können verwendet werden, um ein Zielobjekt relativ zum Fahrzeug 100 zu detektieren und/oder zu verfolgen. Beispiele von Zielobjekten umfassen andere Fahrzeuge (z. B. das andere Fahrzeug 154), verletzliche Straßenbenutzer (VRUs) wie z. B. Fußgänger, Radfahrer, Tiere, Schlaglöcher, Öl auf einer Fahrbahnoberfläche, Trümmer auf einer Fahrbahnoberfläche, Nebel, eine Überflutung und dergleichen.
-
Das Verarbeitungssystem 110 umfasst eine Daten/Kommunikations-Engine 112, eine Entscheidungs-Engine 114 und eine Steuer-Engine 116. Die Daten/Kommunikations-Engine 112 empfängt/sammelt Daten wie z. B. von Sensoren, die dem Fahrzeug 100 zugeordnet sind, und/oder empfängt Daten von anderen Quellen wie z. B. dem entfernten Verarbeitungssystem 150 und/oder dem anderen Fahrzeug 154. Die Entscheidungs-Engine 114 verarbeitet die Daten, um eine Fahrentscheidung zu treffen. Ein Beispiel dessen, wie die Entscheidungs-Engine 114 die Daten verarbeitet, ist in 2 gezeigt und wird hier weiter beschrieben. Die Steuer-Engine 116 steuert das Fahrzeug 100, wie z. B. um ein Fahrmanöver (z. B. Wechseln von Fahrspuren, Ändern der Geschwindigkeit usw.) auszuführen. Obwohl nicht gezeigt, kann das Verarbeitungssystem 110 andere Komponenten, Engines, Module usw., wie z. B. einen Prozessor (z. B. eine Zentraleinheit, eine Graphikverarbeitungseinheit, einen Mikroprozessor usw.), einen Arbeitsspeicher (z. B. einen Direktzugriffsarbeitsspeicher, einen Festwertarbeitsspeicher usw.), einen Datenspeicher (z. B. ein Festkörperlaufwerk, ein Festplattenlaufwerk usw.) und dergleichen, umfassen.
-
Das Verarbeitungssystem 110 kann mit einem entfernten Verarbeitungssystem 150 nachrichtentechnisch gekoppelt sein, das ein Edge-Verarbeitungsknoten als Teil einer Edge-Verarbeitungsumgebung, ein Cloud-Verarbeitungsknoten als Teil einer Cloud-Verarbeitungsumgebung oder dergleichen sein kann. Das Verarbeitungssystem 110 kann auch mit einem oder mehreren anderen Fahrzeugen (z. B. dem anderen Fahrzeug 154) nachrichtentechnisch gekoppelt sein. In einigen Beispielen ist das Verarbeitungssystem 110 mit dem Verarbeitungssystem 150 und/oder dem anderen Fahrzeug 154 direkt (z. B. unter Verwendung von V2V-Kommunikation) nachrichtentechnisch gekoppelt, während in anderen Beispielen das Verarbeitungssystem 110 mit dem Verarbeitungssystem 150 und/oder dem anderen Fahrzeug 154 indirekt wie z. B. durch ein Netz nachrichtentechnisch gekoppelt ist. Das Verarbeitungssystem 110 kann beispielsweise einen Netzadapter (nicht gezeigt) (siehe z. B. den Netzadapter 426 von 4) umfassen. Der Netzadapter ermöglicht, dass das Verarbeitungssystem 110 Daten zu anderen Quellen, wie z. B. anderen Verarbeitungssystemen, Datenarchiven und dergleichen, einschließlich des entfernten Verarbeitungssystems 150 und des anderen Fahrzeugs 154, sendet und/oder von diesen empfängt. Als Beispiel kann das Verarbeitungssystem 110 Daten zu dem entfernten Verarbeitungssystem 150 direkt und/oder über ein Netz 152 senden und/oder von diesem empfangen.
-
Das Netz 152 stellt irgendeinen oder eine Kombination von verschiedenen Typen von geeigneten Kommunikationsnetzen, wie beispielsweise Kabelnetzen, öffentlichen Netzen (z. B. das Internet), privaten Netzen, drahtlosen Netzen, zellularen Netzen oder beliebigen anderen geeigneten privaten und/oder öffentlichen Netzen, dar. Ferner kann dem Netz 152 irgendeine geeignete Kommunikationsreichweite zugeordnet sein und es kann beispielsweise globale Netze (z. B. das Internet), Großraumnetze (MANs), weiträumige Netze (WANs), lokale Netze (LANs) oder persönliche Netze (PANs) umfassen. Außerdem kann das Netz 152 irgendeinen Typ von Medium umfassen, über das der Netzverkehr getragen werden kann, einschließlich, jedoch nicht begrenzt auf ein Koaxialkabel, eine verdrillte Zweidrahtleitung, eine Lichtleitfaser, ein Hybrid-Faser-Koaxial-Medium (HFC-Medium), terrestrische Mikrowellen-Sender/Empfänger, Hochfrequenzkommunikationsmedien, Satellitenkommunikationsmedien oder irgendeine Kombination davon. Gemäß einer oder mehreren hier beschriebenen Ausführungsformen kommunizieren das entfernte Verarbeitungssystem 150, das andere Fahrzeug 154 und das Verarbeitungssystem 110 über eine Fahrzeug-zu-Infrastruktur-Kommunikation (V21-Kommunikation), Fahrzeug-zu-Fahrzeug-Kommunikation (V2V-Kommunikation), Fahrzeug-zu-Fußgänger-Kommunikation (V2P-Kommunikation) und/oder Fahrzeug-zu-Grid-Kommunikation (V2G-Kommunikation).
-
Die Merkmale und die Funktionalität der Komponenten des Verarbeitungssystems 110 werden hier weiter beschrieben. Das Verarbeitungssystem 110 des Fahrzeugs 100 unterstützt bei der Entscheidungsfindung im Zusammenhang mit dem Betrieb eines autonomen Fahrzeugs.
-
2 stellt eine Architektur 200, die die Verarbeitung von Umgebungsdaten für Fahrzeuge unterstützt, gemäß einer oder mehreren hier beschriebenen Ausführungsformen dar. In diesem Beispiel umfasst die Architektur 200 das Fahrzeug 100, ein Fahrzeug 201 a, ein Fahrzeug 201b und ein Fahrzeug 201c. Die Fahrzeuge 201a, 201b, 201c sind Beispiele des anderen Fahrzeugs 154 von 1 und werden gemeinsam als „Fahrzeuge 201“ bezeichnet. Es sollte erkannt werden, dass eines oder mehrere der Fahrzeuge 201 ähnlich zu dem Fahrzeug 100 konfiguriert sein können, wie in 1 gezeigt und hier beschrieben.
-
Wie in dem Beispiel von 2 gezeigt, fahren das Fahrzeug 100 und die Fahrzeuge 201 entlang einer Straße 202 mit Fahrspuren 203a, 203b in einer Richtung 204. Insbesondere fährt das Fahrzeug 100 in der Richtung 204 in der Fahrspur 203a und die Fahrzeuge 201 fahren in der Richtung 204 in der Fahrspur 203b. Es sollte erkannt werden, dass die spezielle Anordnung der Fahrzeuge 100, 201 und der Straße 202 in 2 lediglich ein Beispiel ist; andere Anordnungen sind auch möglich. Die hier beschriebenen Techniken können in vielen verschiedenen Verwendungsfällen verwendet werden, beispielsweise: Verwendung von fahrspunnreiser (anstatt straßenweiser) Richtungsabhängigkeit, um Koordinaten von Fahrzeugen 201 darzustellen; Projektion der Position des Fahrzeugs 100 auf die Fahrspur der Fahrzeuge 201; Normierungsgrößen relativ zur Projektion des Fahrzeugs 100 (z. B. durch Subtrahieren von Längspositionen, um Längsdifferenzen zum Fahrzeug 100 zu bestimmen) usw.
-
Jedes der Fahrzeuge 100, 201 sammelt Daten über sich und überträgt sie zu einem Verarbeitungssystem zur Verarbeitung. Gemäß einem Beispiel sammeln die Fahrzeuge 201 Daten über sich und übertragen die Daten zum Verarbeitungssystem 110 des Fahrzeugs 100 für die Verarbeitung. Gemäß einem anderen Beispiel sammeln die Fahrzeuge 100, 201 Daten über sich und übertragen die Daten zum entfernten Verarbeitungssystem 150.
-
Die Daten (d. h. Informationen), die durch die Fahrzeuge 201 bereitgestellt werden, können eine Wahrnehmung der Fahrzeuge in der Umgebung angeben und können abgeschätzte kinematische Zustände der Fahrzeuge 201, Fahrspurzuweisungen, die Absicht eines Fahrzeugs (z. B. eine Fahrtrichtung, eine Absicht, in Fahrspuren einzufädeln/diese zu wechseln usw.) und/oder beliebige andere Informationen, die für die Entscheidungsfindung nützlich sind, ergeben. Im Block 206 werden die Daten über die Fahrzeuge 201 verarbeitet. Die Informationen von den Fahrzeugen 201 können die Form eines eindimensionalen (1D) Merkmalsvektors annehmen. Die 1D-Merkmalsvektoren von den Fahrzeugen 201 können zu einer zweidimensionalen (2D) Matrix (z. B. Fahrzeuge x Merkmale) kombiniert (oder verkettet) werden, deren Ordnung beispielsweise entlang der Fahrzeugdimension beliebig ist. Eine Zustandstabelle 210 zeigt ein Beispiel einer solchen 2D-Matrix. Insbesondere können die von den Fahrzeugen 201 empfangenen Daten als Zustandsvektoren in der Zustandstabelle 210 gespeichert werden. In diesem Beispiel umfasst die Zustandstabelle 210 Daten für das Fahrzeug 201a in der ersten Zeile, Daten für das Fahrzeug 201b in der zweiten Zeile und Daten für das Fahrzeug 201c in der dritten Zeile. Daten für andere Fahrzeuge können auch in der Zustandstabelle 210 gespeichert werden. Die Zustandstabelle 210 umfasst für jede Zeile Daten für die jeweilige Position (Δs) des Fahrzeugs, die Geschwindigkeit (v) des Fahrzeugs und beliebige andere geeignete Informationen (z. B. Zuweisung zu einer Fahrspur, Beschleunigung, Orientierung des Fahrzeugs relativ zu seiner Fahrspur, Krümmung der Fahrspur usw.). Hinsichtlich der Fahrspurzuweisung können beispielsweise Fahrzeuge, die auf derselben Fahrspur wie das Fahrzeug 100 fahren, einen Wert von „0“ aufweisen, während die Fahrzeuge auf der rechten benachbarten Fahrspur einen Wert von „-1“ aufweisen können und die Fahrzeuge auf der linken benachbarten Fahrspur einen Wert von „+1“ aufweisen können. Diese Vorgehensweise kann in nicht parallelen Fahrspurkonfigurationen ebenso mit irgendeinem anderen Wert verwendet werden, so dass schließlich irgendeine Fahrspur einen unterschiedlichen Wert aufweisen kann, um Fahrzeuge, die dieser zugeordnet sind, ungeachtet von räumlichen Beziehungen zwischen den Fahrspuren anzugeben. Es sollte erkannt werden, dass die Position des Fahrzeugs auf der Basis des aktuellen Orts des Fahrzeugs relativ zu einem Ort s=0 bestimmt wird. Der Ort s=0 ist beispielsweise in 2 als Linie 205 gezeigt und der Wert für die Position von jedem der Fahrzeuge 201 wird relativ zu diesem Ort bestimmt. In dieser Weise werden die in der Zustandsvektortabelle 210 gespeicherten Werte für die Fahrzeuge 201 auf das Fahrzeug 100 normiert. In diesem Beispiel, wie in der Zustandstabelle 210 gezeigt, ist folglich der Positionswert Δs für das Fahrzeug 201a 53, der Positionswert Δs für das Fahrzeug 201b ist 37 und der Positionswert Δs für das Fahrzeug 201c ist -27. Die Zustandstabelle 210 umfasst auch die Geschwindigkeit der Fahrzeuge 201a, 201b, 201c als 27, 20 bzw. 22,5.
-
Um sinnvolle Informationen über die Wechselwirkungen zwischen und unter den Fahrzeugen 100, 201 zu lernen, wird die Fahrzeugmatrix (z. B. die Zustandstabelle 210) im Block 212 verarbeitet. Insbesondere ist der Block 212 ein Selbstaufmerksamkeitsmechanismus, der die Fahrzeugmatrix durch Stapeln von N Mehrkopf-Selbstaufmerksamkeitsblöcken verarbeitet, die für die Ordnung von Entitäten (Fahrzeugvektoren) in der Matrix unveränderlich sind. Beliebige der Schichten eines neuronalen Netzes des Blocks 212 können eine Projektion von Eingaben auf Ausgaben sein, die als für eine gegebene Aufgabe (z. B. Entscheidungsfindung) optimal gelernt wird. Das Stapeln dieser Schichten erhöht die Ausdruckskraft des durch diese Schichten gebildeten neuronalen Netzes. Der Aufmerksamkeitsmechanismus weist mehrere Schichten und mathematische Operationen zwischen ihnen wie folgt auf: er lernt eine Projektion Q eines Eingangsvektors in einen Abfragevektor; er lernt eine Projektion K eines Eingangsvektors in einen Schlüsselvektor; und er lernt eine Projektion V eines Eingangsvektors in einen Wertvektor. Diese drei Projektionen (Q, K und V) können Merkmalsvektoren von irgendeiner der Eingangsentitäten (z. B. Merkmalsvektoren des Fahrzeugs 201) sein, wobei drei resultierende Vektoren pro Entität (z. B. pro Fahrzeug 201a, 201b, 201c) bestimmt werden. Dann werden für jede Entität die Abfragevektoren mit den Schlüsselvektoren von anderen Entitäten abgeglichen (um Ähnlichkeiten oder den Abstand zwischen Entitäten zu berücksichtigen), was sich mit einer Ähnlichkeitsbeurteilung ergibt. Die Ähnlichkeitsbeurteilung für die anderen Entitäten wird mit ihrem Vektorwert multipliziert und die resultierenden Vektoren werden summiert (z. B. eine gewichtete Summe der Wertvektoren der anderen Entitäten, gewichtet durch die Ähnlichkeitsbeurteilungen). Dies erzeugt eine Ausgabe eines einzelnen 1D-Vektors für jede Entität, der paarweise Wechselwirkungen mit den anderen Entitäten berücksichtigt. Das sequentielle Stapeln von mehreren Aufmerksamkeitsmechanismen hat das Vermögen, Mehrebenenwechselwirkungen zwischen Entitäten zu berücksichtigen.
-
Aufmerksamkeitsausgaben aus dem Block 212 werden in einen Max-Pool-Block 214 eingegeben, der eine Max-Pool-Operation durchführt, die über die Merkmalsdimensionen läuft und spezifische Merkmalsinformationen von den Fahrzeugen 201 aggregiert. Die Max-Pool-Operation erhält den maximalen Wert für jede Spalte von der Zustandstabelle 210. Dies erzeugt eine erste Ausgabe, die den Fahrzeugen 201 zugeordnet ist, die als globaler Einbettungsvektor bezeichnet wird, der bei anderen Operationen, wie hier weiter beschrieben, weiter verwendet werden kann und in den Block 216 eingegeben wird. Mit Fortsetzung von oben ergibt sich die Stapelung von mehreren Selbstaufmerksamkeitsmechanismen (z. B. Block 212) mit derselben Datenstruktur wie die Eingabe, nämlich eine ungeordnete 2D-Matrix, nur dass jetzt der Vektor jeder Entität nicht nur seine eigenen Merkmale enthält, sondern auch Informationen über die Wechselwirkungen dieser Entität mit den anderen Entitäten enthält. In gewisser Hinsicht stellt jeder Vektor den Zustand eines Fahrzeugs mit Bezug auf den Rest der Umgebung dar. Dies ist ein „Einbettungsvektor pro Fahrzeug“, in dem Werte latent sind (d. h. ihre Struktur wird gelernt, nicht durch den Benutzer definiert). Ähnlich zu der hier beschriebenen Vorgehensweise werden die Einbettungsvektoren pro Fahrzeug in einen einzelnen Vektor mit fester Größe unter Verwendung eines Max-Pool-Operators im Max-Pool-Block 214 über die Merkmalsdimension aggregiert (kann alternativ ein Average-Pool- oder irgendein anderer Aggregationsoperator sein). Dies ist ein 1D-Vektor, der die relevanten Informationen über die Fahrzeuge 201 und ihre Wechselwirkungen miteinander darstellt. Da dieser Abschnitt der Architektur 200 (z. B. der Block 210, 212, 214) für die Ordnung von Informationen von Fahrzeugen, die in diesen eingespeist werden, unveränderlich ist, ist das Codieren von Informationen über die Umgebung mit einer nicht trivialen räumlichen Ordnung (z. B. wie Einfädeln in eine Fahrspur und Fahrspurverzweigungen) relativ unkompliziert.
-
Daten (d. h. Informationen) über das Fahrzeug 100 werden im Block 218 verarbeitet. Die Verarbeitung im Block 218 kann vor, während (z. B. simultan mit, gleichzeitig mit usw.) und/oder nach der Verarbeitung im Block 206 durchgeführt werden. Insbesondere können Daten über das Fahrzeug 100 (auch als „Zielfahrzeug“ bezeichnet) kinematische Zustandsinformationen umfassen, die in einem Koordinatenrahmen der Straße 202 (z. B. Längs- und Querpositionen und ihre Ableitungen) dargestellt werden. Die Daten über das Fahrzeug 100 können auch Fahrspurinformationen für das Fahrzeug 100 umfassen. Als Beispiel können Informationen einer benachbarten Fahrspur durch einen Vektor mit binären Werten bezeichnet werden, wobei null (0) keine vorhandene Fahrspur darstellt und eins (1) eine vorhandene Fahrspur darstellt. Der in 2 gezeigte Vektor 240 bezeichnet beispielsweise, dass keine Fahrspur auf der linken Seite des Fahrzeugs 100 vorhanden ist, eine Fahrspur dort vorhanden ist, wo sich das Fahrzeug 100 gegenwärtig befindet, und eine Fahrspur auf der rechten Seite des Fahrzeugs 100 vorhanden ist. Zusätzliche Informationen über Umgebungsattribute oder Ziele des Fahrzeugs 100 können verkettet werden, wie z. B.: Codierungen der Zielfahrspur (z. B. der Fahrspur 203b) relativ zu einer aktuellen Fahrspurzuweisung (z. B. der Fahrspur 203a) im Fall eines gewünschten Fahrspur-Wechsel/Einfädel-Manövers, die Existenz von benachbarten Fahrspuren, Konnektivität zwischen benachbarten Fahrspuren (Fähigkeit, Fahrspuren zu wechseln), Straßenlänge und mehr.
-
Informationen vom Fahrzeug 100 werden in M gestapelte Residualblöcke eingespeist, die durch den Block 218 dargestellt sind. Der Block 218 kann eine erste Faltungseinheit 220, eine rektifizierte lineare Einheit (ReLU) 222, eine zweite Faltungseinheit 224 und eine Sprungverbindung 226 umfassen, die die Ausgabe des Blocks 218 mit seinen Eingaben in einer Weise summiert, die die Informationen zum „Sprung“-Block 218 liefert, wenn seine Ausgaben lauter Nullen sind (dann Eingaben=Ausgaben). Dieser Mechanismus erhöht die Robustheit des Netztrainingsprozesses. Der Block 218 verarbeitet die Informationen von dem Fahrzeug 100 durch Durchführen einer ersten Faltungsoperation unter Verwendung der ersten Faltungseinheit 220, Durchführen einer Aktivierungsoperation, um die Ergebnisse der ersten Faltungsoperation unter Verwendung der ReLU 222 zu transformieren, und Durchführen einer zweiten Faltungsoperation an den Ergebnisseen der Aktivierungsoperation unter Verwendung der zweiten Faltungseinheit 224. Die erste und die zweite Faltungseinheit 220, 224 lernen optimale Gewichte für eine Kernoperation einer gewichteten Summe über Eingaben. Die ReLU 222 verwendet eine Aktivierungsfunktion, die irgendeine Eingabe „x“ unabhängig nimmt und y=f(x) für sie ausgibt, wobei die Funktion „f“ irgendeine nicht-lineare mathematische Operation sein kann, wie z. B. ReLU, LeakyReLU, Tanh, Sigmoid usw. Im Block 226 können die ursprünglichen Daten vom Fahrzeug 100 und die Ergebnisse der zweiten Faltungsoperation kombiniert werden. Die Ausgabe des Blocks 218 (z. B. eine zweite Ausgabe, die dem Fahrzeug 100 zugeordnet ist) wird in den Block 216 eingespeist.
-
Die erste Ausgabe (vom Block 206), die den Fahrzeugen 201 zugeordnet ist, und die zweite Ausgabe (vom Block 218), die dem Fahrzeug 100 zugeordnet ist, werden in den Block 216 eingegeben, der die zwei Ausgaben als verketteten Vektor kombiniert oder verkettet. Falls die Entscheidungsfindungsaufgabe durch das Aktor-Kritiker-Paradigma (eine Verstärkungslerntechnik) gelernt wird, wird der verkettete Vektor in die Blöcke 228, 230 eingespeist, die vollständig verbundene Schichten sind und für das Treffen einer Entscheidung über den Betrieb des Fahrzeugs 100 verantwortlich sind. Der Block 228, der auch als „Aktorkopf“ bezeichnet wird, gibt Beurteilungen (oder eine Verteilung) über die Handlungen aus, die für die Richtlinie verfügbar sind („Richtlinienausgaben), und der Block 230, der auch als „Kritikerkopf“ bezeichnet wird, bestimmt einen Wert, der dem aktuellen Zustand des Agenten in der Umgebung zugeordnet ist („Wertausgabe“). Gemäß einer oder mehreren hier beschriebenen Ausführungsformen kann jeder der Blöcke 228, 230 vollständig verbundene Schichten, Faltungsschichten und/oder Residualblöcke enthalten.
-
3 stellt ein Ablaufdiagramm eines Verfahrens 300 zum Verarbeiten von Umgebungsdaten für Fahrzeuge gemäß einer oder mehreren hier beschriebenen Ausführungsformen dar. Das Verfahren 300 kann durch irgendein geeignetes System oder irgendeine geeignete Vorrichtung wie z. B. das Verarbeitungssystem 110 von 1, das Verarbeitungssystem 400 von 4 oder irgendein anderes geeignetes Verarbeitungssystem und/oder irgendeine andere geeignete Verarbeitungsvorrichtung (z. B. einen Prozessor) durchgeführt werden. Das Verfahren 300 wird nun mit Bezug auf die Elemente von 1 und/oder 2 beschrieben, ist jedoch nicht so begrenzt.
-
Im Block 302 verarbeitet das Verarbeitungssystem 110 unter Verwendung eines Selbstaufmerksamkeitsmechanismus (z. B. siehe 2, Block 206) erste Daten, die dem mindestens einen anderen Fahrzeug zugeordnet sind, um eine erste Ausgabe zu erzeugen, die dem mindestens einen anderen Fahrzeug zugeordnet ist. Das Verarbeitungssystem 110 (oder ein anderes geeignetes Verarbeitungssystem) empfängt beispielsweise Daten von den Fahrzeugen 201a, 201b, 201c und verarbeitet sie, wie hier beschrieben. Dies kann beispielsweise das Empfangen der Daten als 1D-Merkmalsvektoren von den Fahrzeugen 201, Kombinieren der Daten in eine 2D-Matrix (z. B. die Zustandstabelle 210) unter Verwendung von einem oder mehreren Selbstaufmerksamkeitsblöcken, um die Daten zu verarbeiten, und die Verwendung einer Max-Pool-Operation, um den maximalen Wert für jede Spalte aus der 2D-Matrix zu bestimmen, umfassen.
-
Im Block 304 verarbeitet das Verarbeitungssystem 110 unter Verwendung von gestapelten Residualblöcken zweite Daten, die dem Zielfahrzeug und dem statischen Teil seiner Umgebung (z. B. benachbarte Fahrspuren usw.) zugeordnet sind, um eine zweite Ausgabe zu erzeugen, die dem Zielfahrzeug zugeordnet ist. Das Verarbeitungssystem 110 (oder ein anderes geeignetes Verarbeitungssystem) empfängt (oder sammelt) beispielsweise Daten über das Fahrzeug 100 und verarbeitet die Daten mit gestapelten Residualblöcken (z. B. siehe 2, Block 218). Die Verarbeitung kann das Durchführen einer ersten Faltungsoperation unter Verwendung der ersten Faltungseinheit 220, das Durchführen einer Aktivierungsoperation, um die Ergebnisse der ersten Faltungsoperation unter Verwendung der ReLU 222 zu transformieren, und das Durchführen einer zweiten Faltungsoperation an den Ergebnissen der Aktivierungsoperation unter Verwendung der zweiten Faltungseinheit 224 umfassen.
-
Gemäß einer oder mehreren Ausführungsformen können die Blöcke 302 und 304 simultan, gleichzeitig, sequentiell oder in irgendeiner anderen geeigneten Reihenfolge laufen.
-
Im Block 306 verkettet das Verarbeitungssystem 110 die erste Ausgabe und die zweite Ausgabe, um einen verketteten Vektor zu erzeugen. Die erste Ausgabe (vom Block 206), die den Fahrzeugen 201 zugeordnet ist, und die zweite Ausgabe (vom Block 218), die dem Fahrzeug 100 zugeordnet ist, werden in den Block 216 eingegeben, der die zwei Ausgaben als verketteten Vektor kombiniert oder verkettet.
-
Im Block 308 trifft das Verarbeitungssystem 110 eine Fahrentscheidung für das Zielfahrzeug zumindest teilweise auf der Basis des verketteten Vektors. Der verkettete Vektor wird beispielsweise in den Block 228, 230 eingespeist, die vollständig verbundene Schichten sind und für das Treffen einer Entscheidung über den Betrieb des Fahrzeugs 100 verantwortlich sind. Die Fahrentscheidung kann eine Fahrrichtlinie und einen Wert, der dem Zustand des Agenten in der Umgebung zugeordnet ist, umfassen. Der Block 228 bestimmt beispielsweise eine Fahrrichtlinie (z. B. Fahrspuren zu wechseln), und der Block 230 bestimmt einen „Zustandswert“. In einem „Aktor-Kritiker“-Paradigma (z. B. einem privaten Fall von RL-Algorithmen, der der Grund für die zwei Blöcke 228, 230 ist) wird die „Wertausgabe“ des Blocks 230 hauptsächlich (obwohl nicht notwendigerweise) für Trainingszwecke verwendet und wird bei der Schlussfolgerung (während des Fahrens) hauptsächlich ignoriert, während die „Richtlinienausgabe“ von 228 Beurteilungen für einige oder alle verfügbaren Handlungen aufweist, so dass der autonome Agent die Handlung mit maximaler Beurteilung für die Ausführung bei der Schlussfolgerung auswählen kann.
-
Im Block 310 steuert das Verarbeitungssystem 110 das Zielfahrzeug zumindest teilweise auf der Basis der Entscheidung. Das Steuern des Zielfahrzeugs kann das Implementieren der Fahrrichtlinie umfassen. Wenn beispielsweise die Fahrrichtlinie darin besteht, von der Fahrspur 203a in die Fahrspur 203b einzufädeln, und der Wert, der der Fahrrichtlinie zugeordnet ist, darin besteht, die Geschwindigkeit um 5 Meilen/Stunde zu erhöhen, kann das Verarbeitungssystem 110 bewirken, dass das Fahrzeug 100 die Geschwindigkeit erhöht und in Richtung der Fahrspur 203b lenkt. Dies verbessert den Fahrzeugbetrieb durch Vorsehen, dass das Fahrzeug 100 Fahrentscheidungen auf der Basis seiner eigenen Daten und auf der Basis von Daten (z. B. kinematischen Daten) von anderen Fahrzeugen (z. B. der Fahrzeuge 201a, 201b, 201c) implementiert. Dies bewirkt, dass das Fahrzeug 100 effizienter arbeitet (z. B. kann das Fahrzeug 100 seine Ziele, wie z. B. Fahren zu einem speziellen Ort, effizienter erreichen, indem es eine bessere Wahrnehmung des Verhaltens der Fahrzeuge 201 hat). Das Fahrzeug 100 kann auch als Ergebnis der vorliegenden Techniken autonomer arbeiten (z. B. weniger Fahrer-Eingabe/Übernahme erfordern), da es das Wesentliche, das für Fahrentscheidungen erforderlich ist, effizienter aus der verfügbaren Eingabe extrahieren kann.
-
Zusätzliche Prozesse können auch enthalten sein und es sollte selbstverständlich sein, dass der in 3 dargestellte Prozess eine Erläuterung darstellt und dass andere Prozesse hinzugefügt werden können oder existierende Prozesse entfernt, modifiziert oder umgeordnet werden können, ohne vom Schutzumfang und Gedanken der vorliegenden Offenbarung abzuweichen.
-
Es ist selbstverständlich, dass die vorliegende Offenbarung in Verbindung mit irgendeinem anderen Typ von Rechenumgebung, die nun bekannt ist oder später entwickelt wird, implementiert werden kann. 4 stellt beispielsweise ein Blockdiagramm eines Verarbeitungssystems 400 zum Implementieren der hier beschriebenen Techniken dar. In Beispielen weist das Verarbeitungssystem 400 eine oder mehrere Zentraleinheiten (Prozessoren) 421a, 421b, 421c usw. (gemeinsam oder allgemein als Prozessor(en) 421 und/oder als Verarbeitungsvorrichtung(en) bezeichnet) auf. In Aspekten der vorliegenden Offenbarung kann jeder Prozessor 421 einen Mikroprozessor eines Computers mit verringertem Befehlssatz (RISC) umfassen. Prozessoren 421 sind mit einem Systemarbeitsspeicher (z. B. Direktzugriffsarbeitsspeicher (RAM) 424) und verschiedenen anderen Komponenten über einen Systembus 433 gekoppelt. Ein Festwertarbeitsspeicher (ROM) 422 ist mit dem Systembus 433 gekoppelt und kann ein Basis-Eingabe/Ausgabe-System (BIOS) umfassen, das bestimmte Basisfunktionen des Verarbeitungssystems 400 steuert.
-
Ferner sind ein Eingabe/Ausgabe-Adapter (E/A-Adapter) 427 und ein Netzadapter 426, die mit dem Systembus 433 gekoppelt sind, dargestellt. Der E/A-Adapter 427 kann ein Adapter einer Kleincomputersystemschnittstelle (SCSI) sein, der mit einer Festplatte 423 und/oder einer Speichervorrichtung 425 oder irgendeiner anderen ähnlichen Komponente kommuniziert. Der E/A-Adapter 427, die Festplatte 423 und die Speichervorrichtung 425 werden hier gemeinsam als Massenspeicher 434 bezeichnet. Das Betriebssystem 440 für die Ausführung auf dem Verarbeitungssystem 400 kann im Massenspeicher 434 gespeichert sein. Der Netzadapter 426 verschaltet den Systembus 433 mit einem äußeren Netz 436, das ermöglicht, dass das Verarbeitungssystem 400 mit anderen solchen Systemen kommuniziert.
-
Eine Anzeige (z. B. ein Anzeigemonitor) 435 ist mit dem Systembus 433 durch einen Anzeigeadapter 432 verbunden, der einen Graphikadapter umfassen kann, um die Leistung von graphikintensiven Anwendungen und eines Video-Controllers zu verbessern. In einem Aspekt der vorliegenden Offenbarung können die Adapter 426, 427 und/oder 432 mit einem oder mehreren E/A-Bussen verbunden sein, die mit dem Systembus 433 über eine Zwischenbusbrücke (nicht gezeigt) verbunden sind. Geeignete E/A-Busse für die Verbindung von Peripheriegeräten wie z. B. Festplatten-Controllern, Netzadaptern und Graphikadaptern umfassen typischerweise gemeinsame Protokolle wie z. B. das „Peripheral Component Interconnect“ (PCI). Zusätzliche Eingabe/Ausgabe-Vorrichtungen sind als mit dem Systembus 433 über einen Benutzerschnittstellenadapter 428 und Anzeigeadapter 432 verbunden gezeigt. Eine Tastatur 429, eine Maus 430 und ein Lautsprecher 431 (oder eine andere geeignete Eingabe und/oder Ausgabe wie z. B. ein Berührungsbildschirm eines Infotainmentsystems) können mit dem Systembus 433 über den Benutzerschnittstellenadapter 428 verschaltet sein, der beispielsweise einen Super-E/A-Chip umfassen kann, der mehrere Vorrichtungsadapter zu einer einzelnen integrierten Schaltung integriert. Eine oder mehrere der Kameras 120-123, 130-133 sind auch mit dem Systembus 433 verbunden.
-
In einigen Aspekten der vorliegenden Offenbarung umfasst das Verarbeitungssystem 400 eine Graphikverarbeitungseinheit 437. Die Graphikverarbeitungseinheit 437 ist eine spezialisierte elektronische Schaltung, die dazu ausgelegt ist, den Arbeitsspeicher zu manipulieren und verändern, um die Erzeugung von Bildern in einem Rahmenpuffer zu beschleunigen, der für die Ausgabe an eine Anzeige bestimmt ist. Im Allgemeinen ist die Graphikverarbeitungseinheit 437 beim Manipulieren von Computergraphiken und der Bildverarbeitung sehr effizient und weist eine sehr parallele Struktur auf, die sie für Algorithmen, bei denen die Verarbeitung von großen Datenblöcken parallel durchgeführt wird, effektiver macht als Universal-CPUs.
-
Wie hier konfiguriert, umfasst folglich das Verarbeitungssystem 400 eine Verarbeitungsfähigkeit in Form von Prozessoren 421, eine Speicherfähigkeit mit einem Systemarbeitsspeicher (z. B. RAM 424) und Massenspeicher 434, ein Eingabemittel wie z. B. eine Tastatur 429 und Maus 430 und eine Ausgabefähigkeit mit dem Lautsprecher 431 und der Anzeige 435. In einigen Aspekten der vorliegenden Offenbarung speichern ein Abschnitt des Systemarbeitsspeichers (z. B. RAM 424) und der Massenspeicher 434 gemeinsam das Betriebssystem 440, um die Funktionen der im Verarbeitungssystem 400 gezeigten verschiedenen Komponenten zu koordinieren.
-
Die Beschreibungen der verschiedenen Beispiele der vorliegenden Offenbarung wurden für Erläuterungszwecke vorgestellt, sollen jedoch nicht erschöpfend oder auf die offenbarten Ausführungsformen begrenzt sein. Viele Modifikationen und Variationen sind für den üblichen Fachmann auf dem Gebiet ersichtlich, ohne vom Schutzumfang und Gedanken der beschriebenen Techniken abzuweichen. Die hier verwendete Terminologie wurde gewählt, um die Prinzipien der vorliegenden Techniken, die praktische Anwendung oder technische Verbesserung gegenüber auf dem Markt zu findenden Technologien am besten zu erläutern, oder um anderen üblichen Fachleuten zu ermöglichen, die hier offenbarten Techniken zu verstehen.
-
Obwohl die obige Offenbarung anhand beispielhafter Ausführungsformen beschrieben worden ist, versteht der Fachmann, dass verschiedene Änderungen vorgenommen werden können und Äquivalente für Elemente davon ersetzt werden können, ohne von ihrem Schutzumfang abzuweichen. Zusätzlich können viele Abwandlungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Schutzumfang abzuweichen. Somit sollen die vorliegenden Techniken nicht auf die bestimmten offenbarten Ausführungsformen beschränkt sein, sondern umfassen alle Ausführungsformen, die in dem Schutzumfang der Anmeldung liegen.
