DE102020103509A1

DE102020103509A1 - Erkennung und vermeidung von kollisionsverhalten

Info

Publication number: DE102020103509A1
Application number: DE102020103509.8A
Authority: DE
Inventors: Amir M. Rahimi; Aashish N. Patel; Rajan Bhattacharyya; Srinivas Nedunuri
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-03-26
Filing date: 2020-02-11
Publication date: 2020-10-01
Also published as: CN111746555A; US11260852B2; US20200307564A1

Abstract

Ausführungsformen umfassend Verfahren, Systeme und computerlesbare Speichermedien für ein Verfahren zur Kollisionsvermeidung durch ein Fahrzeug wird offengelegt. Das Verfahren umfasst den Einbau eines Fahrzeugsystems in ein Fahrzeug, wobei das Fahrzeugsystem eine Kollisionsvermeidungs-Führung basierend auf Trainingsdaten unter Verwendung von Bewegungsinformationen von einem oder mehreren Agenten und Verhaltensweisen, die mit einer oder mehreren Personen verbunden sind, die mit dem einen oder den mehreren Agenten oder dem Fahrzeug verbunden sind, bereitstellt. Das Verfahren umfasst ferner das Erkennen, durch einen Prozessor, eines Kollisionskurses zwischen dem Fahrzeug und einem oder mehreren mobilen und/oder einem oder mehreren stationären Agenten. Das Verfahren beinhaltet weiterhin das Berechnen einer oder mehrerer Entscheidungen durch den Prozessor, die in Erwiderung auf das Erkennen eines Kollisionskurses eine Kollision vermeiden. Das Verfahren umfasst ferner das Auswählen einer Entscheidung aus einer oder mehreren Entscheidungen durch den Prozessor und das Steuern des Betriebs des Fahrzeugs auf der Grundlage der ausgewählten Entscheidung durch den Prozessor.

Description

EINLEITUNG
Der Gegenstand der Offenbarung bezieht sich auf das Erkennen von Fahrzeugkollisionen, insbesondere auf das Erkennen von Fahrzeugkollisionen mit Hilfe von Vorhersagen und Interaktionen von Fahrzeugbewegungen im Zusammenhang mit Vorhersagen der Bewegung mobiler Agenten und stationärer Agenten.
Autonome Fahrzeuge sind in der Lage, ohne menschlichen Eingriff zu operieren und zu navigieren.
Autonome Fahrzeuge sowie einige nicht autonome Fahrzeuge nutzen Sensoren wie Kameras, Radar, LIDAR, globale Positionierungssysteme und Computer Vision, um die Umgebung des Fahrzeugs zu erfassen. Fortschrittliche Computersteuerungssysteme interpretieren die sensorischen Eingangsinformationen, um den Standort eines Fahrzeugs, geeignete Navigationspfade sowie Hindernisse und entsprechende Beschilderungen zu erkennen. Einige autonome Fahrzeuge aktualisieren die Karteninformationen in Echtzeit, um die Position des autonomen Fahrzeugs auch dann zu kennen, wenn sich die Bedingungen ändern oder das Fahrzeug in eine unbekannte Umgebung eintritt. Sowohl autonome als auch nicht autonome Fahrzeuge kommunizieren zunehmend mit entfernten Computersystemen und untereinander über V2X-Kommunikation - Vehicle-to-Everything, Vehicle-to-Vehicle (V2V), Vehicle-to-Infrastructure (V2I)).
Da autonome und halbautonome Fahrzeuge immer häufiger eingesetzt werden, ist es wichtig, dass jedes Fahrzeug auf einem Straßennetz genau lokalisiert und Hindernisse, die mit dem Fahrzeug kollidieren können, erkannt werden. Dementsprechend ist es wünschenswert, weitere Verbesserungen für die Kollisionsvermeidung bei der Durchfahrt eines Fahrzeugs durch das Straßennetz vorzusehen.
BESCHREIBUNG
In einer beispielhaften Ausführungsform wird ein Verfahren zur Kollisionsvermeidung durch ein Fahrzeug offengelegt. Das Verfahren umfasst den Einbau eines Fahrzeugsystems in ein Fahrzeug, wobei das Fahrzeugsystem eine Kollisionsvermeidungs-Führung basierend auf Trainingsdaten unter Verwendung von Bewegungsinformationen von einem oder mehreren Agenten und Verhaltensweisen, die mit einer oder mehreren Personen verbunden sind, die mit dem einen oder den mehreren Agenten oder dem Fahrzeug verbunden sind, bereitstellt. Das Verfahren umfasst ferner das Erkennen eines Kollisionskurses zwischen dem Fahrzeug und einem oder mehreren mobilen und/oder einem oder mehreren stationären Agenten durch einen Prozessor. Das Verfahren umfasst ferner das Berechnen einer oder mehrerer Entscheidungen durch den Prozessor, die in Erwiderung auf das Erkennen eines Kollisionskurses eine Kollision vermeiden, wobei jede Entscheidung eine Fahrzeugtrajektorie umfasst. Das Verfahren beinhaltet weiterhin das Auswählen einer Entscheidung durch den Bearbeiter aus einer oder mehreren Entscheidungen. Das Verfahren umfasst ferner das Steuern des Betriebs des Fahrzeugs durch den Prozessor auf der Grundlage der gewählten Entscheidung.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erkennen ein oder mehrere Aspekte der beschriebenen Verfahren, dass die Trainingsdaten Daten enthalten, die auf einem oder mehreren Vorhersagemodellen basieren, die zur Vorhersage einer zukünftigen Bewegung in Verbindung mit einem oder mehreren Agenten verwendet werden. Ein weiterer Aspekt der Verfahren verwendet ein oder mehrere Recurrent Neural Networks (RNN) werden verwendet, um die eine oder mehrere Entscheidungen zu berechnen, die die Kollision vermeiden. Ein weiterer Aspekt des Verfahrens ist, dass es sich bei dem einen oder mehreren Agenten um mobile oder stationäre Agenten handelt. Ein weiterer Aspekt des Verfahrens ist, dass die Bewegungsinformationen von einem oder mehreren Agenten Geschwindigkeits-, Kurs- und Standortinformationen enthalten. Ein weiterer Aspekt des Verfahrens ist, dass ein Kollisionsfenster zur Erkennung eines Kollisionskurses verwendet wird. Ein weiterer Aspekt des Verfahrens ist, dass das Steuern des Fahrzeugbetriebs eine Geschwindigkeitsänderung und/oder einen Spurwechsel beinhaltet.
In einer weiteren beispielhaften Ausführungsform wird hier ein System zur Kollisionsvermeidung durch ein Fahrzeug vorgestellt. Das System umfasst ein Fahrzeug mit einem Speicher, einen mit dem Speicher gekoppelten Prozessor, einen Entscheidungs-Resolver, einen Trajektorien-Planer und ein Steuergerät. Der dem Fahrzeug zugeordnete Prozessor ist betreibbar, um ein Fahrzeugsystem in ein Fahrzeug zu nutzen, wobei das Fahrzeugsystem eine Kollisionsvermeidungs-Führung basierend auf Trainingsdaten unter Verwendung von Bewegungsinformationen von einem oder mehreren Agenten und Verhaltensweisen, die einer oder mehreren Personen zugeordnet sind, die dem einen oder mehreren Agenten oder dem Fahrzeug zugeordnet sind, bereitstellt. Der Prozessor ist weiterhin in der Lage, einen Kollisionskurs zwischen dem Fahrzeug und einem oder mehreren mobilen Agenten und/oder einem oder mehreren stationären Agenten zu erkennen.
Der Prozessor ist ferner in der Lage, in Erwiderung auf das Erkennen eines Kollisionskurses eine oder mehrere Entscheidungen zu berechnen, die eine Kollision vermeiden, wobei jede Entscheidung eine Fahrzeugtrajektorie beinhaltet. Der Prozessor ist weiterhin bedienbar, um eine Entscheidung aus einer oder mehreren Entscheidungen auszuwählen. Der Prozessor ist ferner in der Lage, den Betrieb des Fahrzeugs auf der Grundlage der gewählten Entscheidung zu steuern.
In einer weiteren beispielhaften Ausführungsform wird hier ein computerlesbares Speichermedium zur Durchführung eines Verfahrens zur Kollisionsvermeidung durch ein Fahrzeug vorgestellt. Das computerlesbare Speichermedium umfasst die Installation eines Fahrzeugsystems in ein Fahrzeug, wobei das Fahrzeugsystem eine Kollisionsvermeidungs-Führung basierend auf Trainingsdaten unter Verwendung von Bewegungsinformationen von einem oder mehreren Agenten und Verhaltensweisen, die mit einer oder mehreren Personen verbunden sind, die mit dem einen oder den mehreren Agenten oder dem Fahrzeug verbunden sind, bereitstellt. Das computerlesbare Speichermedium umfasst ferner das Erkennen eines Kollisionskurses zwischen dem Fahrzeug und einem oder mehreren mobilen Agenten und/oder einem oder mehreren stationären Agenten. Das computerlesbare Speichermedium umfasst ferner das Berechnen einer oder mehrerer Entscheidungen, die in Erwiderung auf das Erkennen eines Kollisionskurses eine Kollision vermeiden, wobei jede Entscheidung eine Fahrzeugtrajektorie umfasst. Das computerlesbare Speichermedium beinhaltet weiterhin das Auswählen einer Entscheidung aus der oder den Entscheidungen. Das computerlesbare Speichermedium beinhaltet weiterhin das Steuern des Fahrzeugbetriebs auf der Grundlage der gewählten Entscheidung.
Die oben genannten Merkmale und Vorteile sowie weitere Merkmale und Vorteile der Offenbarung ergeben sich aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Figuren.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen nur beispielhaft in der folgenden Detailbeschreibung, wobei sich die Detailbeschreibung auf die Figuren bezieht, in denen:

1 ist eine Rechenumgebung nach einer oder mehreren Ausführungsformen;
2 ist ein Blockdiagramm, das ein Beispiel eines Verarbeitungssystems für die Praxis der hier gegebenen Lehre zeigt;
3 zeigt eine schematische Darstellung eines beispielhaften Fahrzeugsystems nach einer oder mehreren Ausführungsformen;
4 ist ein Blockschaltbild von Fahrzeugkomponenten nach einer oder mehreren Ausführungsformen;
5 zeigt ein Flussdiagramm eines Verfahrens zur Kollisionsvermeidung durch ein Fahrzeug nach einer oder mehreren Ausführungsformen; und
6 zeigt ein Flussdiagramm eines Verfahrens zum Training eines Fahrzeugsystems eines Fahrzeugs zur Kollisionsvermeidung auf der Basis von Daten, die von jedem von mehreren Agenten nach einer oder mehreren Ausführungsformen erhalten werden.

AUSFÜHRLICHE DARSTELLUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder ihren Gebrauch nicht einschränken. Es ist zu verstehen, dass in den Figuren durchgehend entsprechende Bezugszeichen auf gleiche oder entsprechende Teile und Merkmale hinweisen. Der hier verwendete Begriff Modul bezieht sich auf Verarbeitungsschaltkreise, die einen anwendungsspezifischen integrierten Schaltkreis (ASIC), einen elektronischen Schaltkreis, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, umfassen können.
Entsprechend einer beispielhaften Ausführungsform ist in 1 eine Rechenumgebung 50 dargestellt, die mit einem System zur Kollisionsvermeidung durch ein Fahrzeug nach einer oder mehreren Ausführungsformen verbunden ist. Die Rechenumgebung 50 besteht, wie dargestellt, aus einem oder mehreren Rechengeräten, z.B. einem Server/Wolke 54B und/oder einem Fahrzeug-Bordcomputersystem 54N, die in jedem von mehreren autonomen oder nicht autonomen Fahrzeugen eingebaut sind, die über das Netzwerk 150 verbunden sind. Das eine oder mehrere Rechengeräte können über das Netzwerk 150 miteinander kommunizieren.
Das Netzwerk 150 kann z.B. ein zellulares Netzwerk, ein lokales Netzwerk (LAN), ein Weitverkehrsnetzwerk (WAN), wie das Internet und WIFI, ein dediziertes Kommunikationsnetzwerk mit kurzer Reichweite (z.B. V2V-Kommunikation (Fahrzeug-zu-Fahrzeug), V2X-Kommunikation (d.h. Fahrzeug-zu-Alles), V2I-Kommunikation (Fahrzeug-zu-Infrastruktur) und V2P-Kommunikation (Fahrzeug-zu-Fußgänger)) oder eine beliebige Kombination davon sein und kann drahtgebundene, drahtlose, faseroptische oder jede andere Verbindung beinhalten. Das Netzwerk 150 kann eine beliebige Kombination von Verbindungen und Protokollen sein, die die Kommunikation zwischen Server/Cloud 54B bzw. den mehreren Fahrzeug-Bordcomputersystemen 54N unterstützen.
Wenn eine Cloud anstelle eines Servers eingesetzt wird, kann Server/Cloud 54B als Remote-Computing-Ressource dienen. Server/Cloud 54B kann als Modell der Servicebereitstellung implementiert werden, um einen bequemen, bedarfsgerechten Netzwerkzugriff auf einen gemeinsamen Pool konfigurierbarer Computing-Ressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Anwendungen, virtuelle Maschinen und Dienste) zu ermöglichen, die mit minimalem Verwaltungsaufwand oder einer Interaktion mit einem Anbieter des Dienstes schnell bereitgestellt und freigegeben werden können.
2 zeigt beispielhaft ein Verarbeitungssystem 200 zur Umsetzung der Lehre. Das Verarbeitungssystem 200 kann zumindest einen Teil des einen oder mehrerer Rechengeräte, wie z.B. Server/Cloud 54B, und/oder des Fahrzeug-Bordcomputersystems 54N bilden. Das Verarbeitungssystem 200 kann eine oder mehrere zentrale Verarbeitungseinheiten (Prozessoren) 201a, 201b, 201c usw. umfassen (zusammen oder allgemein als Prozessor(en) 201 bezeichnet). Die Prozessoren 201 sind über einen Systembus 213 mit dem Systemspeicher 214 und verschiedenen anderen Komponenten gekoppelt. Der Festwertspeicher (ROM) 202 ist an den Systembus 213 gekoppelt und kann ein Basis-Ein-/Ausgabesystem (BIOS) enthalten, das bestimmte Grundfunktionen des Verarbeitungssystems 200 steuert.
2 zeigt weiterhin einen Ein-/Ausgabe (I/O)-Adapter 207 und einen an den Systembus 213 gekoppelten Netzwerkadapter 206. Der E/A-Adapter 207 kann ein kleiner SCSI-Adapter (Computer System Interface) sein, der mit einer Festplatte 203 und/oder einem anderen Speicherlaufwerk 205 oder einer anderen ähnlichen Komponente kommuniziert. E/A-Adapter 207, Festplatte 203 und ein weiteres Speicherlaufwerk 205 werden hier zusammen als Massenspeicher 204 bezeichnet. Das Betriebssystem 220 zur Ausführung auf dem Verarbeitungssystem 200 kann im Massenspeicher 204 abgelegt werden. Der Netzwerkadapter 206 verbindet den Systembus 213 mit einem externen Netzwerk 216, das Netzwerk 150 sein kann, wodurch das Verarbeitungssystem 200 mit anderen derartigen Systemen kommunizieren kann. Ein Bildschirm (z.B. ein Anzeigemonitor) 215 kann mit dem Display-Adapter 212 an den Systembus 213 angeschlossen werden, der einen Grafikadapter zur Verbesserung der Leistung grafikintensiver Anwendungen und einen Video-Controller enthalten kann. In einer Ausführung können Netzwerkadapter 206, E/A-Adapter 207 und Display-Adapter 212 an einen oder mehrere E/A-Busse angeschlossen werden, die über eine Zwischenbusbrücke (nicht abgebildet) mit dem Systembus 213 verbunden sind. Geeignete E/A-Busse für den Anschluss von Peripheriegeräten wie Festplattensteuerungen, Netzwerkadapter und Grafikkarten umfassen in der Regel gängige Protokolle, wie z. B. den Peripheral Component Interconnect (PCI). Weitere Ein-/Ausgabegeräte werden über den User Interface Adapter 208 und den Display-Adapter 212 als am Systembus 213 angeschlossen dargestellt. Ein Mikrofon 209, die Lenkrad-/Dashboard-Bedienelemente 210 und der Lautsprecher 211 können alle über den User Interface Adapter 208 an den Systembus 213 angeschlossen werden, der z.B. einen Super I/O-Chip enthalten kann, der mehrere Geräteadapter in einen einzigen integrierten Schaltkreis integriert.
Das Verarbeitungssystem 200 kann zusätzlich eine Grafik-Verarbeitungseinheit 230 enthalten. Die Graphik-Verarbeitungseinheit 230 ist eine spezialisierte elektronische Schaltung zur Manipulation und Änderung des Speichers, um die Erstellung von Bildern in einem für die Ausgabe auf einem Display bestimmten Bildspeicher zu beschleunigen. Im Allgemeinen ist die Graphik-Verarbeitungseinheit 230 sehr effizient bei der Manipulation von Computergraphik und Bildverarbeitung und hat eine hochgradig parallele Struktur, die sie für Algorithmen, bei denen die Verarbeitung großer Datenblöcke parallel erfolgt, effektiver macht als Allzweck-CPUs.
So enthält das Verarbeitungssystem 200, wie in 2 eingerichtet, die Verarbeitungsfähigkeit in Form von Prozessoren 201, die Speicherfähigkeit einschließlich des Systemspeichers 214 und des Massenspeichers 204, Eingabemittel wie Mikrofon 209 und Lenkrad/Dashboard-Bedienelemente 210 und die Ausgabefähigkeit einschließlich Lautsprecher 211 und Anzeigemonitor 215. In einer Ausführungsform speichern ein Teil des Systemspeichers 214 und der Massenspeicher 204 zusammen ein Betriebssystem, um die Funktionen der verschiedenen in 2 dargestellten Komponenten zu koordinieren.
3 zeigt die Komponenten eines Systems 300, die zu autonomen oder nicht autonomen Fahrzeugen mit dem Fahrzeug-Bordcomputersystem 54N gehören, nach einer oder mehreren Ausführungsformen. Das Fahrzeug 310 besteht in der Regel aus einem Fahrgestell 312, einer Karosserie 314, den Vorderrädern 316 und den Hinterrädern 318. Die Karosserie 314 kann auf dem Fahrgestell 312 angeordnet werden und kann Komponenten des Fahrzeuges 310 weitgehend umschließen. Die Karosserie 314 und das Fahrgestell 312 können gemeinsam einen Rahmen bilden. Die Räder 316 und 318 sind jeweils in der Nähe einer Ecke der Karosserie 314 mit dem Fahrgestell 312 drehgekoppelt.
Ein Verhaltensplanungs- und Kollisionserkennungssystem kann in das Fahrzeug 310 integriert werden. Das Fahrzeug 310 wird als Personenkraftwagen dargestellt, aber es ist zu beachten, dass das Fahrzeug 310 auch ein anderer Fahrzeugtyp sein kann, z.B. ein Motorrad, ein Lastkraftwagen, ein Sportwagen (SUV), ein Wohnmobil (RV), ein Schiff, ein Flugzeug usw.
Das Fahrzeug 310 kann nach verschiedenen Stufen der Fahrzeugautomatisierung arbeiten, z.B. Stufe 4 oder Stufe 5. Der Betrieb in einem System der Stufe 4 weist auf eine „hohe Automatisierung“ hin, d. h. auf eine fahrmodusabhängige Ausführung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Der Betrieb in einem System der Stufe 5 bedeutet „Vollautomatisierung“ und bezieht sich auf die Vollzeitleistung eines automatisierten Fahrsystems für alle Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer bewältigt werden können.
Das Fahrzeug 310 kann auch ein Antriebssystem 320, ein Getriebesystem 322, ein Lenksystem 324, ein Bremssystem 326, ein Sensorsystem 328, ein Aktuatorsystem 330, mindestens einen Datenspeicher 332, mindestens einen Controller 334 und ein Kommunikationssystem 336 enthalten. Das Antriebssystem 320 kann ein Verbrennungsmotor, eine elektrische Maschine wie z.B. ein Fahrmotor und/oder ein Brennstoffzellen-Antriebssystem sein. Das Getriebesystem 322 kann so eingerichtet werden, dass es die Leistung vom Antriebssystem 320 auf die Fahrzeugräder 316 und 318 entsprechend wählbarer Geschwindigkeitsverhältnisse überträgt. Das Getriebesystem 322 kann ein Stufenautomatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 326 kann so eingerichtet werden, dass es die Fahrzeugräder 316 und 318 mit Bremsmoment versorgt. Das Bremssystem 326 kann Reibungsbremsen, Drahtbremse, ein regeneratives Bremssystem wie eine elektrische Maschine und/oder andere geeignete Bremssysteme verwenden. Das Lenksystem 324 beeinflusst die Position der Fahrzeugräder 316 und 318.
Das Sensorsystem 328 kann ein oder mehrere Sensorgeräte 340a-340n enthalten, die die beobachtbaren Bedingungen der Außenumgebung und/oder der Innenumgebung des Fahrzeugs 310 erfassen. Die Sensoren 340a-340n können unter anderem Geschwindigkeit, Radar, LIDAR, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Inertialmessgeräte und/oder andere Sensoren umfassen. Das Aktuatorsystem 330 umfasst eine oder mehrere Aktuatorvorrichtungen 342a-342n, die ein oder mehrere Fahrzeugmerkmale wie z.B. das Antriebssystem 320, das Getriebesystem 322, das Lenksystem 324 und das Bremssystem 326 steuern, aber nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale darüber hinaus Innen- und/oder Außenmerkmale des Fahrzeugs umfassen, wie z. B. Türen, Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw., aber nicht ausschließlich (nicht nummeriert).
Mit dem Sensorsystem 328 können eine Vielzahl von Fahrzeugmesswerten und/oder andere Informationen gewonnen werden. Die Sensoren 340a-340n können Messwerte erzeugen, die eine Position, Geschwindigkeit und/oder Beschleunigung des Fahrzeugs 310 darstellen. Die Sensoren 340a-340n können auch Messwerte erzeugen, die die Querbeschleunigung, Giergeschwindigkeit usw. darstellen. Die Sensoren 340a-340n können eine Vielzahl von verschiedenen Sensoren und Sensortechniken nutzen, einschließlich solcher, die die Raddrehzahl, die Fahrgeschwindigkeit, die Gaspedalstellung, die Gangstellung, die Schalthebelstellung, die Beschleunigungsmesser, die Motordrehzahl, die Motorleistung, die Drosselklappenstellung und den Ausgang der Trägheitsmesseinheit (IMU) usw. verwenden. Die Sensoren 340a-340n können verwendet werden, um die Fahrzeuggeschwindigkeit relativ zum Boden zu bestimmen, indem Radar-, Laser- und/oder andere Signale auf bekannte stationäre Objekte gerichtet und die reflektierten Signale analysiert werden, oder indem die Rückmeldung von einer Navigationseinheit, die GPS- und/oder Telematikfähigkeiten hat, über ein Telematikmodul genutzt wird, das zur Überwachung der Position, der Bewegung, des Status und des Verhaltens des Fahrzeugs verwendet werden kann.
Das Kommunikationssystem 336 kann so eingerichtet werden, dass es drahtlos Informationen zu und von anderen Einheiten 348, wie z. B., aber nicht beschränkt auf, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Geräte übermittelt. Das Kommunikationssystem 336 kann ein drahtloses Kommunikationssystem sein, das für die Kommunikation über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder durch zellulare Datenkommunikation eingerichtet ist. Zusätzliche oder alternative Kommunikationsverfahren, wie z. B. ein dedizierter Kanal für die Kommunikation über kurze Entfernungen (DSRC), werden jedoch ebenfalls im Rahmen dieser Unterrichtung in Betracht gezogen. DSRC-Kanäle beziehen sich auf einseitige oder zweiseitige drahtlose Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz im Automobilbereich und eine entsprechende Reihe von Protokollen und Standards entwickelt wurden.
Der Datenspeicher 332 kann Daten für die automatische Steuerung des autonomen Fahrzeugs 310 speichern. Der Datenspeicher 332 kann auch definierte Karten der navigierbaren Umgebung speichern. Die definierten Karten können von einem entfernten System bezogen werden. Die definierten Karten können beispielsweise vom Remote-System zusammengestellt und an das autonome Fahrzeug 310 (drahtlos und/oder kabelgebunden) übermittelt und im Datenspeicher 332 gespeichert werden. Routeninformationen können auch im Datenspeichergerät 332 gespeichert werden (d. h. eine Reihe von Straßenabschnitten (die geografisch mit einer oder mehreren der definierten Karten verknüpft sind), die zusammen eine Route definieren, die ein Benutzer nehmen kann, um von einem Startort (z. B. dem aktuellen Standort des Benutzers) zu einem Zielort zu fahren). Der Datenspeicher 332 kann Teil des Controllers 334, getrennt vom Controller 334, oder Teil des Controllers 334 und Teil eines separaten Systems sein.
Der Controller 334 kann mindestens einen Prozessor 344 und ein computerlesbares Speichergerät oder Medium 346 enthalten. Der Prozessor 344 kann ein beliebiger kundenspezifischer oder handelsüblicher Prozessor, eine Zentraleinheit (CPU), eine Graphikverarbeitungseinheit (GPU), ein Hilfsprozessor unter mehreren Prozessoren, die mit dem Controller 334 verbunden sind, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsatzes), ein Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Befehlen sein.
Die Anweisungen können ein oder mehrere separate Programme enthalten, von denen jedes eine geordnete Auflistung ausführbarer Anweisungen zur Implementierung logischer Funktionen enthält. Die Befehle, wenn sie vom Prozessor 344 ausgeführt werden, empfangen und verarbeiten Signale vom Sensorsystem 328, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 310 aus und erzeugen Steuersignale an das Aktuatorsystem 330, um die Komponenten des autonomen Fahrzeugs 310 auf der Grundlage der Logik, Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern.
Das Fahrzeug 310 kann auch ein Sicherheitssteuermodul (nicht abgebildet), ein Infotainment-/Entertainment-Steuermodul (nicht abgebildet), ein Telematikmodul (nicht abgebildet), ein GPS-Modul (nicht abgebildet) (GLONASS kann ebenfalls verwendet werden) usw. enthalten. Das Sicherheitssteuermodul kann verschiedene Funktionen zur Crash- oder Kollisionserkennung, - Vermeidung und/oder -minderung bieten. Das Sicherheitssteuermodul bietet und/oder führt beispielsweise Kollisionswarnungen, Spurverlassens-Warnungen, autonome oder halbautonome Bremsen, autonome oder halbautonome Lenkung, Airbagauslösung, aktive Knautschzonen, Gurtstraffer oder Lastbegrenzer und automatische Benachrichtigung der Notfallhelfer im Falle eines Unfalls usw. durch.
Das Infotainment-/Entertainment-Steuermodul kann den Insassen des Fahrzeuges 310 eine Kombination aus Information und Unterhaltung bieten. Die Informationen und die Unterhaltung können z.B. mit Musik, Webseiten, Filmen, Fernsehprogrammen, Videospielen und/oder anderen Informationen zusammenhängen.
Das Telematikmodul kann die drahtlose Sprach- und/oder Datenkommunikation über ein drahtloses Trägersystem (nicht abgebildet) und über eine drahtlose Vernetzung (nicht abgebildet) nutzen, damit das Fahrzeug 310 eine Reihe verschiedener Dienste anbieten kann, einschließlich derer, die sich auf Navigation, Telefonie, Notfallhilfe, Diagnose, Infotainment usw. beziehen. Das Telematikmodul kann auch die zellulare Kommunikation nach den Standards GSM, W-CDMA oder CDMA und die drahtlose Kommunikation nach einem oder mehreren Protokollen, die nach den Standards 3G oder 4G oder anderen drahtlosen Protokollen, wie z.B. einem der Protokolle IEEE 802.11, WiMAX oder Bluetooth, implementiert sind, nutzen. Bei der Verwendung für paketvermittelte Datenkommunikation wie TCP/IP kann das Telematikmodul mit einer statischen IP-Adresse eingerichtet werden oder so eingerichtet werden, dass es automatisch eine dynamisch zugewiesene IP-Adresse von einem anderen Gerät im Netzwerk erhält, z.B. von einem Router oder von einem Netzwerkadressenserver (z.B. einem DHCP-Server).
Das GPS-Modul kann Funksignale von mehreren GPS-Satelliten empfangen (nicht abgebildet). Aus diesen empfangenen Funksignalen kann das GPS-Modul eine Fahrzeugposition ermitteln, die für die Bereitstellung von Navigations- und anderen positionsbezogenen Diensten genutzt werden kann. Navigationsinformationen können auf einem Display im Fahrzeug 310 (z.B. Display 215) oder verbal dargestellt werden, wie es bei der Tum-by-Turn-Navigation der Fall ist. Navigationsdienste können über ein spezielles bordeigenes Navigationsmodul (das Teil des GPS-Moduls sein kann) oder einige oder alle Navigationsdienste können über das Telematikmodul bereitgestellt werden. So können die Positionsinformationen für das Fahrzeug 310 an einen entfernten Standort gesendet werden, um das Fahrzeug mit Navigationskarten, Kartenanmerkungen (Sehenswürdigkeiten, Restaurants usw.), Routenberechnungen und ähnlichem zu versorgen.
4 stellt ein Verhaltensplanungs- und Kollisionserkennungssystem 400 dar, das jeweils einer Vielzahl von autonomen oder nicht autonomen Fahrzeugen zugeordnet ist, die das Fahrzeugbordcomputersystem 54N enthalten. Das System 400 kann mehrere Komponenten enthalten (z.B. eine Steuerung 410, die Steuerung 334 sein kann, einen Hypothesen-Resolver 430, einen Entscheidungs-Resolver 415 und einen Trajektorien-Planer 405).
Das Verhaltensplanungs- und Kollisionserkennungssystem 400 kann zunächst anhand der generierten Trainingsdaten, die von einem oder mehreren Simulatoren bereitgestellt werden, darauf trainiert werden, bei einer bestimmten Kollision mit einem Agenten (z.B. einem Auto, einem LKW, einem Motorrad, einem Fahrrad, einem Fußgänger, einem Tier oder einem anderen mobilen oder stationären Objekt) wegplanerische Entscheidungen zu treffen. Die Trainingsdaten können Eingaben enthalten, die auf menschlichen Fahrern basieren, die ein Fahrzeug bedienen, während sie einen Abschnitt eines Straßennetzes durchfahren, sowie auf Aktionen, die in Erwiderung auf die Interaktion des Fahrers mit anderen mobilen oder stationären Objekten, Straßenschildern, Verkehrssignalen, Fahrbahngeometrien, Arbeitszonen, Verkehr usw. durchgeführt werden (d. h. auf das Verhalten). Die Trainingsdaten können auf einer Vielzahl von Faktoren basieren (z.B. auf einer Fahrweise des Fahrzeugs (konservativ, aggressiv, etc.)). Wenn das Verhaltensplanungs- und Kollisionserkennungssystem 400 eine Menge an Trainingsdaten über einem vorgegebenen Schwellenwert erhalten hat, kann das Verhaltensplanungs- und Kollisionserkennungssystem 400 in das Fahrzeug 310 integriert werden. Das im Fahrzeug 310 integrierte Verhaltensplanungs- und Kollisionserkennungssystem 400 kann genutzt werden, um Entscheidungen über den Fahrzeugbetrieb auf der Grundlage eines erkannten Kollisionskurses mit einem Agenten zu treffen, während das Fahrzeug 310 autonom oder teilautonom arbeitet.
Das Verhaltensplanungs- und Kollisionserkennungssystem 400, das Trainingsdaten oder Live-Daten verwendet, kann eine Vielzahl von Bewegungs-Verhaltensmodellen (d.h., prädiktive Modelle (z.B. Kinematik, Baumregression, etc.)) nutzen, um mehrere Hypothesen (z.B. 435 und 440) zu entwickeln, wobei jede Hypothese eine Pfadvorhersage für einen Agenten innerhalb einer vorgegebenen Entfernung zum Fahrzeug sein kann 310. Jede Trajektorien-Vorhersage beinhaltet eine Geschwindigkeits-, Kurs- und Ortsvorhersage sowie eine berechnete Trajektorie für jeden Agenten.
Jede Hypothese kann verwendet werden, um Pfadvorhersagen (Zukunft) für den Agenten für einen vorbestimmten Satz von Zeitstempeln (z.B. jede halbe Sekunde einer siebensekündigen Periode) zu machen. Anhand des Zeitraums, der den vorausgesagten zukünftigen Weg des Agenten abdeckt, kann festgestellt werden, ob es zu einer Kollision zwischen dem Fahrzeug 310 und dem Agenten kommen könnte. Der Zeitraum kann als Kollisionsfenster bezeichnet werden. Das Kollisionsfenster kann mit einem Zeitstempel beginnen, wenn eine potentielle Kollision durch einen Zeitstempel, der mit einer berechneten Kollisionsinstanz verbunden ist, auftreten könnte.
Wenn ein Kollisionskurs zwischen dem Fahrzeug 310 und dem Agenten auf der Grundlage relativer Informationen (d.h. jeweilige relative Geschwindigkeiten, relative Überschriften und relative Abstände) erkannt wird, kann eine Kollisionsflagge ausgelöst werden und jede Hypothese kann anhand der relativen Informationen eine Zeit bis zur Kollision zwischen dem Fahrzeug 310 und dem Agenten abschätzen. Die Vorhersagen können für die Dauer des Kollisionsfensters bestimmt werden.
Jede Hypothese kann in den Hypothesen-Resolver 430 eingegeben werden. Jede Hypothese kann eine räumliche Trajektorie des Agenten sein, der sich auf einer Karte von einem Ort zu einem anderen Ort bewegt. Der Hypothesen-Resolver 430 kann aus der Vielzahl der in den Hypothesen-Resolver 430 eingegebenen Hypothesen (z.B. Hypothese 435 und Hypothese 440) eine beste Hypothese (basierend auf der Leistung) auswählen und ausgeben. Die beste Hypothese ist ein am besten vorhergesagter Pfad (Zukunft) für den Agenten über den vorbestimmten Zeitraum. Der Hypothesen-Resolver 430 kann auch Hypothesen mitteln und auf der Basis des Mittelwertes einen vorhergesagten Weg (Zukunft) für den Agenten über die vorgegebene Zeitspanne ausgeben.
Die Ausgabe des Hypothesen-Resolvers 430, (d.h. ein bester vorhergesagter zukünftiger Pfad oder ein durchschnittlicher vorhergesagter zukünftiger Pfad (vorhergesagter zukünftiger Pfad)) wird in eine Entscheidung eingegeben, (z.B. Entscheidung 1 (420) und Entscheidung M (425)). Der Hypothesen-Resolver 430 kann mehrere vorhergesagte Zukunftspfade für einen Agenten ausgeben. Der Hypothesen-Resolver 430 kann auch mehrere vorhergesagte Zukunftspfade für jeden Agenten ausgeben, der sich innerhalb eines vorgegebenen Bereichs des Fahrzeugs 310 befindet.
Jede Entscheidung berücksichtigt die beste Hypothese für jeden Agenten, der sich innerhalb der vorgegebenen Reichweite des Fahrzeugs 310 befindet. Jede Entscheidung kann jede Hypotheseneingabe analysieren, um festzustellen, ob eine Kollision innerhalb des Kollisionsfensters wahrscheinlich ist, basierend auf dem vorhergesagten zukünftigen Weg des/der Agenten.
In Erwiderung auf eine wahrscheinliche Kollision mit einem Agenten, kann eine Entscheidung ein Recurrent Neural Network (RNN) verwenden, um als Ausgabe eine Trajektorie zu berechnen, die verwendet werden kann, um die Kollision zwischen einem assoziierten Agenten und dem Fahrzeug 310 zu vermeiden. Jede RNN kann ein Verhalten jedes Agenten zu einem bestimmten Zeitpunkt innerhalb des Kollisionsfensters modellieren, wenn sich der Agent auf Kollisionskurs mit dem Fahrzeug 310 befindet. Jedes modellierte Verhalten kann nach der Mobilität des Agenten in Bezug auf das Fahrzeug 310 kategorisiert werden (d.h. ein Mobil-zu-Mobil-Verhalten bei der Interaktion mit einem mobilen Agenten und ein Mobil-zu-Stationär-Verhalten bei der Interaktion mit einem stationären Agenten). Die modellierten Verhaltensweisen, sowie ein mit dem Fahrzeug 310 verbundener Fahrmodus können in einen Klassifikator (DNN) eingegeben werden, um die Flugbahnvorhersage zu machen. Der DNN kann die Entscheidung ausgeben. Eine durch eine Entscheidung ausgegebene Ausgabebahn kann z.B. auf einer Geschwindigkeitsänderung für das Fahrzeug 310, einem Spurwechsel (d.h. einer Änderung in X/Y auf der Karte) durch das Fahrzeug 310 oder einer Kombination daraus basieren. Bei anderen Entscheidungen (z. B. Entscheidung M (425)) darf eine RNN nicht dazu verwendet werden, eine Fahrzeugbahn auf der Grundlage eines anderen Ansatzes/Modells zu berechnen (z. B. Berechnung einer Ausgangsbahn unter Berücksichtigung von Agenten usw.).
Wenn die Entscheidung eine Änderung der Geschwindigkeit beinhaltet, kann die Entscheidung die relative Information, die mit dem Fahrzeug 310 und die relative Information, die mit dem mobilen Agenten verbunden ist, nutzen, um eine Ausgabe für eine Flugbahn zu erzeugen, die das Fahrzeug 310 veranlassen kann, die Geschwindigkeit zu erhöhen, wodurch zusätzlicher Raum zwischen dem Fahrzeug 310 und dem mobilen Agenten geschaffen wird. Ein Beispiel ist ein Fall, in dem das Fahrzeug 310 von hinten getroffen oder vom mobilen Agenten seitlich abgewischt werden kann. In einem anderen Fall der Entscheidung, die eine Änderung der Geschwindigkeit beinhaltet, kann die Entscheidung die relative Information, die mit dem Fahrzeug 310 und die relative Information, die mit dem mobilen Agenten verbunden ist, verwenden, um eine Ausgabe für eine Flugbahn zu erzeugen, die das Fahrzeug 310 veranlassen kann, die Geschwindigkeit zu verringern, wodurch zusätzlicher Raum zwischen dem Fahrzeug 310 und dem mobilen Agenten geschaffen wird. In einem anderen Fall der Entscheidung, die eine Änderung der Geschwindigkeit beinhaltet, kann die Entscheidung die relative Information, die mit dem Fahrzeug 310 und die relative Information, die mit einem Objekt oder einer Gruppe von Objekten (z.B. einer Bauzone) verbunden ist, verwenden, um eine Ausgabe für eine Flugbahn zu erzeugen, die das Fahrzeug 310 veranlassen kann, die Geschwindigkeit zu verringern, um sicher um das Objekt/die Objekte herum oder durch die Objekte hindurch zu fahren.
Zusätzlich zu Geschwindigkeitsänderungen und/oder Fahrspurwechseln zur Bewältigung einer drohenden Kollision kann jede Entscheidung durch einen zugeordneten Fahrmodus für das Fahrzeug 310 beeinflusst werden, der in die DNN eingegeben wird. Zum Beispiel kann ein zugewiesener Fahrmodus aggressiv, moderat, konservativ, landschaftlich, enthusiastisch oder ähnliches sein. Der zugewiesene Fahrmodus kann eine Entscheidung beeinflussen, die zu einer anderen Ausgangsbahn führen kann als der nicht berücksichtigte Fahrmodus (z. B. kann die Entscheidung bei der Annäherung an ein langsameres Fahrzeug/einen langsameren Agenten darin bestehen, die Fahrspur zu wechseln, wenn man sich in einem aggressiven Modus befindet, oder zu verlangsamen, um hinter dem langsameren Fahrzeug/dem langsameren Agenten zu fahren, wenn man sich in einem konservativen Modus befindet. )
Wenn die Entscheidung einen Fahrbahnwechsel beinhaltet, kann die Entscheidung die relativen Informationen, die mit dem Fahrzeug 310 und die relativen Informationen, die mit dem mobilen Agenten verbunden sind, nutzen, um eine Ausgabe für eine Flugbahn zu generieren, die das Fahrzeug 310 dazu veranlassen kann, eine Kollision durch den Wechsel einer oder mehrerer Fahrspuren zu vermeiden. In einem anderen Fall der Entscheidung, die einen Spurwechsel beinhaltet, kann die Entscheidung die relative Information, die mit dem Fahrzeug 310 und die relative Information, die mit einem Objekt oder einer Gruppe von Objekten (z.B. einer Bauzone) verbunden ist, verwenden, um eine Ausgabe für eine Trajektorie zu erzeugen, die das Fahrzeug 310 dazu veranlassen kann, eine oder mehrere Spuren zu wechseln, um sicher um das Objekt/die Objekte herum oder durch die Objekte hindurch zu fahren. Jede Entscheidung kann eine gültige/realistische (menschliche) Ausgabebahn liefern, selbst wenn eine durchschnittliche Ausgabebahn ungültig wäre (z.B. das Auswählen einer linken Straßengabelung oder einer rechten Straßengabelung, wenn ein Durchschnitt das Auswählen eines Pfades zwischen der linken und rechten Gabelung anzeigt).
Jede Entscheidung kann in den Entscheidungs-Resolver 415 eingegeben werden. Der Entscheidungs-Resolver 415 kann eine beste Entscheidung auswählen, (d.h. eine Entscheidung, die das menschliche Verhalten im Hinblick auf eine gegebene Menge von Ereignissen am ehesten nachahmt). Der Entscheidungs-Resolver 415 kann die gewählte Entscheidung in den Trajektorien-Planer 405 eingeben. Der Trajektorien-Planer 405 kann einen Pfad/eine Trajektorie für das zu durchfahrende Fahrzeug 310 unter Verwendung der mit der bereitgestellten Entscheidung verbundenen Ausgabetrajektorie generieren. Der Trajektorien-Planer 405 kann die Bahn/Trajektorie in die Steuerung 410 eingeben. Die Steuerung 410 kann die empfangene Bahn/Trajektorie nutzen, um Entscheidungen über den Fahrzeugbetrieb zu treffen, die die Kollision vermeiden.
5 zeigt ein Flussdiagramm eines Verfahrens 500 zur Umsetzung eines Verfahrens zur Kollisionsvermeidung durch ein Fahrzeug nach einer oder mehreren Ausführungsformen. Im Block 505 kann ein System (z.B. das Verhaltensplanungs- und Kollisionserkennungssystem 400) Daten von oder über jeden von mehreren Agenten empfangen. Die empfangenen Daten können Geschwindigkeits-, Kurs- und Standortinformationen enthalten. Im Block 510 kann das System aus den empfangenen Daten Trainingsdaten generieren. Im Block 515 kann ein Fahrzeugsystem oder ein Teil davon mit den generierten Trainingsdaten trainiert werden. Das Training kann auf Simulationen von Agenten (mobil und stationär) basieren, die auf oder entlang eines Straßennetzes miteinander interagieren. Die Simulationen können auf zufälligen Permutationen von Mitteln, Fahrzeugen und Straßentypen basieren.
Im Block 520 kann das trainierte Fahrzeugsystem in ein Fahrzeug eingebaut werden (z.B. das Fahrzeugbordcomputersystem 54N). Im Block 525 kann das Fahrzeugbordcomputersystem 54N während des Betriebs (d.h. während der Fahrt durch das Straßennetz) den Standort des Fahrzeugs 310 auf einer Karte mit Straßennetz bestimmen. In Block 530 kann das Fahrzeugbordcomputersystem 54N feststellen, ob ein oder mehrere Agenten (mobil oder stationär) innerhalb eines vorgegebenen Bereichs des Fahrzeugs vorhanden sind.
Im Block 535 kann das Fahrzeugbordcomputersystem 54N mit Hilfe des trainierten Fahrzeugsystems feststellen, ob ein Kollisionskurs zwischen dem Fahrzeug und einem oder mehreren mobilen Agenten und/oder einem oder mehreren stationären Agenten entlang des Straßennetzes erkannt wird. Wird kein Kollisionskurs erkannt, kehrt das Verfahren zum Block 525 zurück.
Wenn ein Kollisionskurs erkannt wird, geht Das Verfahren bis zum Block 540, wo das System eine oder mehrere Entscheidungen berechnen kann, die die Kollision vermeiden. Jede Entscheidung kann eine Fahrzeugtrajektorie ausgeben. Das System kann ein oder mehrere Recurrent Neural Networks (RNN) verwenden, um jede Entscheidung zu berechnen. Ein Fahrmodus kann auch bei der Berechnung der Fahrzeugtrajektorie verwendet werden. Im Block 545 kann das Fahrzeugbordcomputersystem 54N aus der oder den berechneten Entscheidungen die beste Entscheidung auswählen. Im Block 550 kann das Fahrzeugbordcomputersystem 54N eine berechnete Trajektorie verwenden, die mit der besten Entscheidung zur Steuerung des Fahrzeugbetriebs verbunden ist, um die berechnete Trajektorie auszuführen.
6 zeigt ein Flussdiagramm eines Verfahrens 600 zur Implementierung eines Verfahrens zum Training eines Fahrzeugsystems eines Fahrzeuges 310 zur Kollisionsvermeidung auf der Basis von Daten, die von oder über jeden von mehreren Agenten nach einer oder mehreren Ausführungsformen erhalten werden. Im Block 605 kann ein System (z.B. das Verhaltensplanungs- und Kollisionserkennungssystem 400) mit Hilfe eines oder mehrerer Vorhersagemodelle und Simulationen einer Trajektorie/eines Verhaltens für jeden der mehreren mobilen Agenten vorhersagen. Im Block 610 kann das System mit Hilfe eines oder mehrerer Vorhersagemodelle einen Standort für einen oder mehrere stationäre Agenten vorhersagen. Bei Block 615 kann das System ein Kollisionsfenster für ein Fahrzeug berechnen.
Im Block 620 kann das System mit Hilfe eines oder mehrerer prädiktiver Modelle und Simulationen eine zukünftige Bewegung/Trajektorie für jeden der mehreren Agenten vorhersagen. Im Block 625 kann das System feststellen, ob ein Kollisionskurs zwischen dem Fahrzeug 310 und einem oder mehreren mobilen Agenten und/oder einem oder mehreren stationären Agenten erkannt wird. Wird kein Kollisionskurs erkannt, kehrt das Verfahren zum Block 605 zurück.
Wird ein Kollisionskurs erkannt, geht das Verfahren zum Block 630 über, wo das System eine Zeit bis zum Auftreten der Kollision abschätzt. Im Block 635 kann das System feststellen, ob die empfangenen Daten eine Trainingsdatenschwelle überschreiten. Die Trainingsdatenschwelle kann eine vorgegebene Datenmenge sein. Wenn die empfangenen Daten den Trainingsdaten-Schwellenwert nicht überschreiten, kehrt Das Verfahren zum Block 605 zurück. Wenn die empfangenen Daten die Trainingsdaten-Schwelle überschreiten, geht das Verfahren zu Block 640 über, wo die empfangenen Daten, Vorhersagen, Berechnungen und Schätzungen des Verfahrens verwendet werden, um Entscheidungen über den Fahrzeugbetrieb zu treffen.
Dementsprechend beschreiben die hier offenbarten Ausführungsformen ein System, das das Verhalten zur Kollisionsvermeidung modellieren und eine RNN-Struktur entwerfen kann, die eine Reihe von „relativen Merkmalen“ (z.B. relative Geschwindigkeit und relativer Kurs) zwischen Agenten, die sich auf Kollisionskurs mit einem Fahrzeug befinden, vorhersagen und das Verhalten des Fahrzeugs (z.B. Geschwindigkeit und/oder Kurs) zur Vermeidung der Kollision modifizieren kann. Die RNN-Struktur kann eine Sequenz-zu-Sequenz-Abbildung sein, um eine Kollision zu vermeiden. Die RNN-Struktur kann mit Hilfe der generierten Trainingsdaten, die zufällige Permutationen von Aktionen des Fahrzeuges 310 und der Agenten enthalten, für den Betrieb trainiert werden. Dementsprechend erlauben die Trainingsdaten der RNN-Struktur, auf der Grundlage der tatsächlichen Bewegung des Fahrzeugs und der Agenten während des Durchfahrens eines Straßennetzes sowie menschlicher Entscheidungen für eine bestimmte Interaktion zu operieren, anstatt regelbasierte Modelle zu verwenden, die oft weniger flexibel sind und weniger auf tatsächliche Fahrsituationen reagieren.
Zu den technischen Auswirkungen und Vorteilen der offengelegten Ausführungsformen gehören u. a. die Verwendung von Verhaltensmustern der menschlichen Bedienung von Fahrzeugen, die aus Trainingsdaten gewonnen werden, um Kollisionen zwischen einem Fahrzeug und einem Agenten zu vermeiden (d. h. bewegliche Agenten wie Autos und Fußgänger und stationäre Agenten wie Stoppschilder). Dementsprechend arbeiten autonome und nicht-autonome Fahrzeuge mit den offengelegten Ausführungsformen mit erhöhter Sicherheit, da ein kollisionsvermeidendes Verhalten durch ein System realisiert werden kann, das auf simulierten Daten basiert, die zum Training des Systems verwendet werden. Ist das System einmal trainiert, können reale Anwendungen wie das autonome Fahren beeinflusst werden, um gefährliche Zustände, wie z.B. Kollisionen, sicher zu beherrschen.
Bei der vorliegenden Offenbarung kann es sich um ein System, ein Verfahren und/oder ein computerlesbares Speichermedium handeln. Das computerlesbare Speichermedium kann computerlesbare Programmanweisungen enthalten, die einen Prozessor veranlassen, Aspekte der vorliegenden Offenbarung durchzuführen.
Das computerlesbare Speichermedium kann ein greifbares Gerät sein, das Anweisungen zur Verwendung durch ein Befehlsausführungsgerät speichern kann. Bei dem computerlesbaren Speichermedium kann es sich beispielsweise um ein elektronisches Speichergerät, ein magnetisches Speichergerät, ein optisches Speichergerät, ein elektromagnetisches Speichergerät, ein Halbleiterspeichergerät oder um eine geeignete Kombination der vorgenannten Geräte handeln, ohne darauf beschränkt zu sein. Eine nicht erschöpfende Liste spezifischerer Beispiele für ein computerlesbares Speichermedium umfasst Folgendes: eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), einen statischen Direktzugriffsspeicher (SRAM), einen tragbaren Compact-Disc-Lesespeicher (CD-ROM), eine digitale vielseitige Platte (DVD), einen Speicherstick, ein mechanisch kodiertes Gerät und jede geeignete Kombination der vorgenannten. Ein computerlesbares Speichermedium, wie es hier verwendet wird, ist nicht als vorübergehendes Signal an sich auszulegen, wie z.B. Radiowellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder andere Übertragungsmedien ausbreiten (z.B. Lichtimpulse, die durch ein Glasfaserkabel laufen), oder elektrische Signale, die über eine Leitung übertragen werden.
Die computerlesbaren Programmbefehle können auch auf einen Computer, ein anderes programmierbares Datenverarbeitungsgerät oder ein anderes Gerät geladen werden, um eine Reihe von Betriebsschritten auf dem Computer, einem anderen programmierbaren Gerät oder anderen Vorrichtungen auszuführen, um einen computerimplementierten Prozess zu erzeugen, so dass die Befehle, die auf dem Computer, einem anderen programmierbaren Gerät oder einer anderen Vorrichtung ausgeführt werden, die im Flussdiagramm und/oder im Block oder in den Blöcken angegebenen Funktionen/Aktionen implementieren.
Während die vorstehende Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne dass der Geltungsbereich verlassen wird. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Umfang abzuweichen. Es ist daher beabsichtigt, dass sich die vorliegende Offenbarung nicht auf die einzelnen offengelegten Ausführungsformen beschränkt, sondern alle Ausführungsformen umfasst, die in den Geltungsbereich dieser Ausführungsform fallen.

Claims

Ein Verfahren zur Kollisionsvermeidung durch ein Fahrzeug, wobei das Verfahren umfasst: Installieren eines Fahrzeugsystems in ein Fahrzeug, wobei das Fahrzeugsystem eine Kollisionsvermeidungs-Führung basierend auf Trainingsdaten unter Verwendung von Bewegungsinformationen von einem oder mehreren Agenten und Verhaltensweisen, die mit einer oder mehreren Personen verbunden sind, die mit dem einen oder den mehreren Agenten oder dem Fahrzeug verbunden sind, bereitstellt; Erkennen, durch einen Prozessor, eines Kollisionskurses zwischen dem Fahrzeug und dem einem oder mehreren mobilen Agenten und/oder einem oder mehreren stationären Agenten des Fahrzeugsystems; Berechnen, durch den Prozessor, einer oder mehrerer Entscheidungen, die eine Kollision vermeiden, in Erwiderung auf das Erkennen eines Kollisionskurses, wobei jede Entscheidung eine Fahrzeugtrajektorie beinhaltet; Auswählen, durch den Prozessor, einer Entscheidung aus der einen oder mehreren Entscheidungen; und Steuern, durch den Prozessor, des Betriebs des Fahrzeugs basierend auf der gewählten Entscheidung.
Das Verfahren nach Anspruch 1, wobei die Trainingsdaten Daten enthalten, die auf einem oder mehreren Vorhersagemodellen basieren, die zur Vorhersage einer zukünftigen, dem einen oder den mehreren Agenten zugeordneten Bewegung verwendet werden.
Das Verfahren nach Anspruch 1, wobei ein oder mehrere Recurrent Neural Networks, RNN, zur Berechnung der einen oder mehreren Entscheidungen, die die Kollision vermeiden, verwendet werden.
Das Verfahren nach Anspruch 1, wobei die Bewegungsinformationen von einem oder mehreren Agenten Geschwindigkeits-, Kurs- und Ortsinformationen enthalten.
Das Verfahren nach Anspruch 1, wobei ein Kollisionsfenster zum Erkennen eines Kollisionskurses verwendet wird.
Das Verfahren nach Anspruch 1, wobei das Steuern des Fahrzeugbetriebs eine Änderung der Geschwindigkeit und/oder einen Spurwechsel beinhaltet.
Ein System zur Kollisionsvermeidung durch ein Fahrzeug, wobei das System umfasst: ein Fahrzeug; wobei das Fahrzeug umfasst: einen Speicher und einen mit dem Speicher gekoppelten Prozessor; und einen Entscheidungs-Resolver; einen Trajektorien-Planer; und eine Steuerung; wobei der Prozessor betreibbar ist zum: Nutzen eines Fahrzeugsystems in einem Fahrzeug, wobei das Fahrzeugsystem eine Kollisionsvermeidungs-Führung basierend auf Trainingsdaten unter Verwendung von Bewegungsinformationen von einem oder mehreren Agenten und Verhaltensweisen, die mit einer oder mehreren Personen verbunden sind, die mit dem einen oder mehreren Agenten oder dem Fahrzeug verbunden sind, bereitstellt; Erkennen, durch das Fahrzeugsystem, eines Kollisionskurses zwischen dem Fahrzeug und einem oder mehreren mobilen Agenten und/oder einem oder mehreren stationären Agenten ; Berechnen einer oder mehrerer Entscheidungen, die eine Kollision vermeiden, in Erwiderung auf das Erkennen eines Kollisionskurses, wobei jede Entscheidung eine Fahrzeugtrajektorie beinhaltet, Auswählen einer Entscheidung aus der einen oder mehreren Entscheidungen; und Steuern des Betriebs des Fahrzeugs basierend auf der ausgewählten Entscheidung.
Das System des Anspruchs 7, wobei ein oder mehrere Recurrent Neural Networks, RNN, zum Berechnen der einen oder mehreren kollisionsvermeidenden Entscheidungen verwendet werden.
Das System des Anspruchs 7, wobei das Steuern des Fahrzeugbetriebs eine Änderung der Geschwindigkeit und/oder einen Spurwechsel beinhaltet.
Ein computerlesbares Speichermedium mit darin enthaltenen Programmbefehlen, wobei die Programmbefehle von einem Prozessor lesbar sind, um den Prozessor zu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen.