DE102019108644A1

DE102019108644A1 - Verfahren und vorrichtung zum automatischen lernen von regeln für autonomes fahren

Info

Publication number: DE102019108644A1
Application number: DE102019108644.2A
Authority: DE
Inventors: Dimitry V. Korchev; Rajan Bhattacharyya; Aruna Jammalamadaka
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-04-11
Filing date: 2019-04-02
Publication date: 2019-10-17
Also published as: CN110356412B; US20190317496A1; CN110356412A; US10860022B2

Abstract

Die vorliegende Anwendung bezieht sich im Allgemeinen auf ein Verfahren und eine Vorrichtung zum Erzeugen einer Handlungsmaßnahme zum Steuern eines autonomen Fahrzeugs. Insbesondere ist das Verfahren funktionsfähig, um eine Eingabe zu empfangen, die auf ein Trainingsereignis hinweist, die Fahrepisode in eine Vielzahl von Zeitschritten zu unterteilen, einen Syntaxbaum als Reaktion auf jeden Zeitschritt zu erzeugen und aus einer Kombination der erzeugten Syntaxbäume einen höchstwahrscheinlichen Syntaxbaum zu erzeugen.

Description

HINTERGRUND
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf die Programmierung von Steuerungssystem für autonome Kraftfahrzeuge. Im Einzelnen beziehen sich die Aspekte dieser Offenbarung auf Systeme, Verfahren und Vorrichtungen zur Verhaltensplanung unter Verwendung der automatischen Erzeugung von lehrplangestütztem Verstärkungslernen für autonome Fahrzeuge in einer komplexen Umgebung.
HINTERGRUND-INFORMATIONEN
Der Betrieb von modernen Fahrzeugen wird zunehmend automatisierter, d. h. es besteht die Möglichkeit, die Fahrsteuerung mit geringerem Eingriff des Fahrers zu übernehmen. Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
Ein angemessenes Situationsbewusstsein ist aus Sicherheitsgründen für das autonome Fahren unerlässlich. Obwohl es wünschenswert ist, alle verfügbaren Informationen in den autonomen Fahrentscheidungsprozess zu bringen, sollten für die praktische Implementierung Eingabedaten für das System jedoch begrenzt und überschaubar sein, daher muss es gut auf Effizienz und ausreichende Entscheidungsfähigkeit ausgelegt sein. Ein autonomes Fahrzeug muss im Allgemeinen eine Datenstruktur erzeugen, um Situationen um das Fahrzeug herum wahrzunehmen. Durch Sensoren, die an dem autonom fahrenden Fahrzeug angebracht sind, wird eine große Menge an Information an das System geliefert, daher ist eine effiziente Analyse aller Wahrnehmungsdaten für sicheres Fahren entscheidend.
Dichte städtische Gebiete mit entsprechend großen Informationsmengen sind sowohl für autonome Fahrzeuge als auch für menschliche Fahrer besonders schwierig. So ist beispielsweise die Annäherung und anschließende Überquerung einer Straßenkreuzung ein schwieriges Problem und eine Situation, in der sich die meisten Verkehrsunfälle ereignen. Der Hauptgrund für diese hohe Unfallrate liegt in der Fülle von externen Faktoren, auf die der Fahrer achten muss. Bei Annäherung an ein Stoppschild muss der Fahrer auf das vorausfahrende Fahrzeug achten, um nicht zu dicht oder zu weit von diesem entfernt zu sein. Gleichzeitig muss ein Fahrer genau an der Haltelinie anhalten, damit er die Kreuzung nicht blockiert oder mit anderen Fahrzeugen kollidiert, die aus anderen Richtungen kommen. Anschließend muss der Fahrer die richtige Entscheidung treffen, wann er die Kreuzung überqueren kann. Fahranfänger können unter Umständen Schwierigkeiten damit haben, zu wissen, wann sie fahren müssen, und selbst einige erfahrene Fahrer können wichtige Verkehrsinformationen übersehen. Autonomes Fahrverhalten an Kreuzungen ist daher potenziell sehr vorteilhaft. Um jedoch einen zuverlässigen Planungsalgorithmus zu entwickeln, der es einem selbstfahrenden Fahrzeug ermöglicht, sichere Entscheidungen zu treffen, müssen die Ingenieure fundiert genug sein, um jede mögliche Krisensituation vorherzusehen. Unvorhersehbare Umgebungsänderungen und häufige menschliche Interaktionen in komplizierten Stadtszenarien wirken sich auf den Algorithmus aus und machen es extrem schwierig, verschiedene Planungsaufgaben zu bewältigen, wie beispielsweise ob die Vorwärtsfahrt sicher ist oder wie groß der richtige relative Abstand zum vorausfahrenden Fahrzeug ist.
Unsere Erfindung ist ein neuartiges Verfahren zum Erstellen eines autonomen Antriebssystems mit realen Fahrdaten. Wir repräsentieren die Handlungen anderer Agenten (die von Sensoren bereitgestellt werden) in der Szene durch zeitliche Sequenzen, die als „Episoden“ bezeichnet werden. Die Entwicklung von selbstfahrenden Fahrzeugen ist ein sehr mühsamer Prozess, da eine Vielzahl von Regeln zur Durchführung von Fahraufgaben erforderlich sind. Unser System erstellt automatisch neue Regeln durch das Extrahieren und Segmentieren wertvoller Informationen in Bezug auf andere Agenten und deren Interaktionen. Während der Trainingsphase segmentiert das System automatisch Fahrepisoden und extrahiert Regeln aus realen Fahrdaten. Diese Regeln, die in Form einer „zeitlichen Grammatik“ oder eines „Episodischen Speichers“ vorliegen, werden in einem Modul, dem „semantischen Speicher“, zur späteren Verwendung gespeichert. Während der Testphase segmentiert das System ständig wechselnde Situationen, findet den entsprechenden Syntaxbaum und wendet die im semantischen Speicher gespeicherten Regeln zum Stoppen, Erbringen, Fortsetzen der Fahrt usw. an. Im Gegensatz zu herkömmlichen Deep-Driving-Verfahren, die eine erhebliche Menge an Trainingsdaten benötigen, um die gewünschte Qualität zu erreichen, zeigt das Verfahren mit nur wenigen Trainingsbeispielen gute Ergebnisse. Das System erfordert eine gewisse menschliche Überwachung während des Trainings, um zu vermeiden, dass falsche Fahrregeln erlernt werden, wie beispielsweise das Fehlen eines Stoppschildes, das Fahren bei einer roten Ampel, usw.
Unser System ist besser als herkömmliche regelbasierte, da es den mühsamen Prozess der manuellen Erstellung dieser Regeln, dem das System während der Fahrt in verschiedenen Situationen, Bedingungen und Interaktionen mit anderen Agenten in der Szene folgen muss, überflüssig macht. Im Gegensatz zu herkömmlichen Deep-Driving-Verfahren, die eine erhebliche Menge an Trainingsdaten benötigen, um die gewünschte Qualität zu erreichen, zeigt das Verfahren mit nur wenigen Trainingsbeispielen gute Ergebnisse.
Im Stand der Technik werden regelbasierte Systeme (Czubenko M. et al.) verwendet, die einen erheblichen Aufwand bei der Beschreibung dieser Regeln im System erfordern. Ein weiterer Vorteil des vorgeschlagenen Verfahrens ist, dass traditionelle maschinelle Lernalgorithmen (Chen C. et al.) eine große Anzahl von Trainingsbeispielen erfordern, um eine akzeptable Leistung zu erreichen. Mit nur wenigen Trainingsbeispielen erzielt das Verfahren sehr gute Ergebnisse. Die im Rahmen des vorgeschlagenen Systems erlernten Regeln weisen eine Darstellung auf, die für den Menschen im Gegensatz zu anderen maschinellen Lernverfahren leicht verständlich ist. Ein weiterer Vorteil des vorgeschlagenen Systems besteht darin, dass diese Regeln von einem Menschen mit nur geringer Umschulung leicht modifiziert, geändert, hinzugefügt oder aus dem System entfernt werden können.
Diese Erfindung ist nicht offensichtlich, da sie ein neuartiges Verfahren zum Erlernen von Fahrregeln verwendet, das auf einer semantischen Darstellung der Situation basiert. Unsere Erfindung segmentiert automatisch die Zustandsformen der Agenten in der Szene und erstellt Regeln aus den beobachteten Daten ohne menschliches Eingreifen. Dabei muss durch den Menschen nur sichergestellt werden, dass die angegebenen Daten gültige Fahrsituationen darstellen.
Die vorstehend in diesem Hintergrundabschnitt offenbarten Informationen dienen nur zum besseren Verständnis des Hintergrunds der Erfindung und können daher Informationen enthalten, die kein Teil des Standes der Technik sind, der in diesem Land bereits einem gewöhnlichen Fachmann bekannt ist.
KURZDARSTELLUNG
Hierin offenbart sind Trainingssysteme für autonome Fahrzeugsteuerungssysteme und die dazugehörige Steuerlogik zum Bereitstellen einer autonomen Fahrzeugsteuerung, Verfahren zur Herstellung und zum Betreiben dieser Systeme sowie Kraftfahrzeuge, die mit Bordsteuerungssystemen ausgestattet sind. Als Beispiel, und nicht als Einschränkung, wird ein Automobil mit fahrzeuginternen Lern- und Steuerungssystemen vorgestellt.
Gemäß einem Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Steuern eines Fahrzeugs das Bestimmen einer autonomen Fahrepisode als Reaktion auf ein Sensorsignal, Segmentieren der autonomen Fahrepisode in ein erstes Ereignis und ein zweites Ereignis, Segmentieren des ersten Ereignisses in einen ersten Zeitschritt und einen zweiten Zeitschritt und das zweite Ereignis in einen dritten Zeitschritt und einen vierten Zeitschritt, Erzeugen einer ersten Assoziationsmatrix als Reaktion auf den ersten Zeitschritt, einer zweiten Assoziationsmatrix als Reaktion auf den zweiten Zeitschritt, einer dritten Assoziationsmatrix als Reaktion auf den dritten Zeitschritt und einer vierten Assoziationsmatrix als Reaktion auf den vierten Zeitschritt. Die Assoziationsmatrizen für alle Trainingszeitschritte werden mit einem wahrnehmungsbezogenen Erwartungsmaximierungsalgorithmus verarbeitet, um eine räumliche Grammatik in Form eines 3D-Tensors als Reaktion auf die Übergangsmatrix, das Bestimmen eines wahrscheinlichen Zeitschritts als Reaktion auf den 3D-Tensor, das Erzeugen eines wahrscheinlichen Ereignisses als Reaktion auf den wahrscheinlichen Zeitschritt und das Erzeugen eines Steuersignals zum Steuern eines autonomen Fahrzeugs als Reaktion auf das wahrscheinliche Ereignis zu erhalten.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung einen Sensor zum Erfassen einer Umgebung in der Nähe eines autonomen Fahrzeugs und zum Erzeugen eines Sensorsignals, ein Wahrnehmungsmodul zum Erfassen eines Agenten in der Umgebung als Reaktion auf das Sensorsignal, einen Agentenbewegungsprädikator zum Vorhersagen einer Bewegung des Agenten in der Umgebung als Reaktion auf das Erfassen des Agenten, ein kognitives Modul zum Bestimmen einer Fahrepisode als Reaktion auf die vorhergesagte Bewegung des Agenten, zum Segmentieren der Fahrepisode in einen ersten Zeitschritt und einen zweiten Zeitschritt, zum Empfangen von ersten Fahrdaten zum Anzeigen einer ersten Aktion als Reaktion auf den ersten Zeitschritt und zweiten Fahrdaten zum Anzeigen einer zweiten Aktion als Reaktion auf die zweiten Fahrdaten, zum Erzeugen einer Regel als Reaktion auf die erste Aktion und die zweite Aktion zum Erzeugen eines Steuersignals als Reaktion auf die Regel, und ein Bewegungssteuerungsmodul zum Empfangen des Steuersignals und Steuern eines autonomen Fahrzeugs als Reaktion auf das Steuersignal.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Steuern eines Fahrzeugs das Empfangen einer Eingabe, die auf ein Trainingsereignis hinweist, Segmentieren der Fahrepisode in einen ersten Zeitschritt und einen zweiten Zeitpunkt, Empfangen von ersten Fahrdaten, die eine erste Aktion als Reaktion auf den ersten Zeitschritt und die zweiten Fahrdaten, die eine zweite Aktion als Reaktion auf die zweiten Fahrdaten anzeigen, Erzeugen einer Regel als Reaktion auf die erste Aktion und die zweite Aktion, und Steuern eines autonomen Fahrzeugs als Reaktion auf ein Fahrereignis und die Regel
Die vorstehenden Vorteile und andere Vorteile und Merkmale der vorliegenden Offenbarung werden aus der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsformen in Verbindung mit den zugehörigen Zeichnungen ersichtlich.
Figurenliste
Die zuvor genannten sowie weitere Eigenschaften und Vorteile dieser Erfindung und die Art und Weise, diese zu erzielen, werden augenscheinlicher, und die Erfindung wird besser verstanden anhand der folgenden Beschreibung von Ausführungsformen der Erfindung in Verbindung mit den zugehörigen Zeichnungen, wobei gilt:

1 zeigt schematisch eine Betriebsumgebung, die ein mobiles Fahrzeugkommunikations- und Steuersystem für ein Kraftfahrzeug gemäß einer exemplarischen Ausführungsform umfasst.
2 zeigt das ADS mit mehreren verschiedenen Steuersystemen zum Bestimmen des Vorhandenseins, der Position, der Klassifizierung und der Bahn der erkannten Merkmale oder Objekte in der Nähe des Fahrzeugs gemäß einer exemplarischen Ausführungsform.
3 zeigt ein Blockdiagramm, das eine exemplarische Implementierung eines Systems zum automatischen Lernen von Regeln für das autonome Fahren veranschaulicht.
4 zeigt ein exemplarisches Flussdiagramm, das eine exemplarische Implementierung eines Verfahrens zum Steuern eines autonomen Fahrzeugs 400 veranschaulicht.

Die hierin dargestellten Beispiele zeigen bevorzugte Ausführungsformen der Erfindung, und solche Beispiele sollen in keiner Weise als einschränkend für den Umfang der Erfindung ausgelegt werden.
AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der vorliegenden Offenbarung sind hierin beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgerecht; einige Merkmale können größer oder kleiner dargestellt sein, um die Einzelheiten bestimmter Komponenten zu veranschaulichen. Daher sind die hierin offenbarten spezifischen strukturellen und funktionellen Details nicht als Einschränkung zu verstehen, sondern lediglich als repräsentative Grundlage. Die verschiedenen Merkmale, die mit Bezug auf beliebige der Figuren dargestellt und beschrieben werden, können mit Merkmalen kombiniert werden, die in einer oder mehreren anderen Figuren dargestellt sind, um Ausführungsformen zu erzeugen, die nicht explizit dargestellt oder beschrieben sind. Die dargestellten Kombinationen von Merkmalen stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der Merkmale, die mit den Lehren dieser Offenbarung übereinstimmen, könnten jedoch für bestimmte Anwendungen und Implementierungen erwünscht sein.
1 veranschaulicht schematisch eine Betriebsumgebung, die ein mobiles Fahrzeugkommunikations- und Steuersystem 10 für ein Kraftfahrzeug 12 umfasst. Das Kommunikations- und Steuersystem 10 für das Fahrzeug 12 beinhaltet im Allgemeinen ein oder mehrere Drahtlosträgersysteme 60, ein Festnetz 62, einen Computer 64, eine vernetzte drahtlose Vorrichtung 57, einschließlich, aber nicht beschränkt auf ein Smartphone, Tablet oder eine tragbare Vorrichtung, wie beispielsweise eine Uhr, und eine Fernzugriffszentrale 78.
Das Fahrzeug 12, das in 1 schematisch dargestellt ist, beinhaltet ein Antriebssystem 13, das in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine Elektromaschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem beinhalten kann. Das Fahrzeug 12 ist in der dargestellten Ausführungsform als Pkw dargestellt, es ist jedoch zu beachten, dass jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Geländelimousinen (SUVs), Wohnmobile (RVs), Wasserfahrzeuge, Luftfahrzeuge usw. ebenfalls verwendet werden kann.
Das Fahrzeug 12 beinhaltet zudem ein Getriebe 14, das so konfiguriert ist, dass es Leistung vom Antriebssystem 13 auf eine Vielzahl von Fahrzeugrädern 15 gemäß wählbaren Drehzahlverhältnissen überträgt. Gemäß verschiedenen Ausführungsformen kann das Getriebe 14 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Fahrzeug 12 beinhaltet zusätzlich Radbremsen 17, die so konfiguriert sind, dass sie ein Bremsmoment an die Fahrzeugräder 15 liefern. Die Radbremsen 17 können in verschiedenen Ausführungsformen Reibungsbremsen, ein regeneratives Bremssystem, wie z. B. eine Elektromaschine und/oder andere geeignete Bremssysteme, beinhalten.
Das Fahrzeug 12 beinhaltet zudem ein Lenksystem 16. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 16 kein Lenkrad beinhalten.
Das Fahrzeug 12 beinhaltet ein drahtloses Kommunikationssystem 28, das konfiguriert ist, um drahtlos mit anderen Fahrzeugen („V2V“) und/oder Infrastruktur („V2I“) zu kommunizieren. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 28 konfiguriert, um über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 stehen mit oder unter der Steuerung von mindestens einer Steuereinheit 22 in Verbindung. Obgleich zu Veranschaulichungszwecken als eine einzige Einheit dargestellt, kann die Steuereinheit 22 zusätzlich eine oder mehrere andere „Steuereinheiten“ beinhalten. Die Steuerung 22 kann einen Mikroprozessor, wie beispielsweise eine zentrale Verarbeitungseinheit (CPU) oder eine grafische Verarbeitungseinheit (GPU), beinhalten, die mit verschiedenen Arten von computerlesbaren Speichervorrichtungen oder Medien in Verbindung steht. Computerlesbare Speichergeräte oder Medien können flüchtige und nichtflüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Aufrechterhaltungsspeicher („Keep-Alive-Memory, KAM“) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während die CPU ausgeschaltet ist. Computerlesbare Speichergeräte oder Medien können unter Verwendung einer beliebigen Anzahl an bekannten Speichergeräten, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebigen anderen elektrischen, magnetischen, optischen oder kombinierten Speichergeräten implementiert sein, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuereinheit 22 beim Steuern des Fahrzeugs verwendet werden.
Die Steuerung 22 beinhaltet ein automatisiertes Antriebssystem (ADS) 24 zum automatischen Steuern verschiedener Stellglieder im Fahrzeug. In einer exemplarischen Ausführungsform ist das ADS 24 ein sogenanntes Level-Vier- oder Level-Fünf-Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können. In einer exemplarischen Ausführungsform ist das ADS 24 so konfiguriert, dass es das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 steuert, um die Fahrzeugbeschleunigung, das Lenken und das Bremsen ohne menschliches Eingreifen über eine Vielzahl von Stellgliedern 30 in Reaktion auf Eingaben von einer Vielzahl von Sensoren 26, wie z. B. GPS, RADAR, LIDAR, optischen Kameras, thermischen Kameras, Ultraschallsensoren und/oder zusätzlichen Sensoren, zu steuern.
1 veranschaulicht mehrere vernetzte Geräte, die mit dem drahtlosen Kommunikationssystem 28 des Fahrzeugs 12 kommunizieren können. Eines der vernetzten Geräte, das über das drahtlose Kommunikationssystem 28 mit dem Fahrzeug 12 kommunizieren kann, ist das drahtlose vernetzte Gerät 57. Das drahtlose vernetzte Gerät 57 kann eine Computerverarbeitungsfähigkeit, einen Sender-Empfänger, der mit einem drahtlosen Nahbereichsprotokoll kommunizieren kann, und eine visuelle Anzeige 59 beinhalten. Die Computerverarbeitungsfähigkeit beinhaltet einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Befehle beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet das drahtlose vernetzte Gerät 57 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet das drahtlose vernetzte Gerät 57 eine Mobilfunk-Kommunikationsfunktionalität, wodurch das drahtlose vernetzte Gerät 57, wie hierin erläutert, Sprach- und/oder Datenkommunikationen über das Mobilfunkanbietersystem 60 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt. Die visuelle Anzeige 59 kann zudem einen Berührungsbildschirm als grafische Benutzeroberfläche beinhalten.
Das Mobilfunkanbietersystem 60 ist vorzugsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen 70 (nur einer dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) 72, sowie alle anderen Netzwerkkomponenten beinhaltet, die zum Verbinden des Mobilfunkanbietersystems 60 mit dem Festnetz 62 erforderlich sind. Jeder Mobilfunkturm 70 beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen von unterschiedlichen Mobilfunktürmen mit der MSC 72 entweder direkt oder über zwischengeschaltete Geräte, wie z. B. eine Basisstationssteuereinheit, verbunden sind. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Drahtlosträgersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Mobilfunkanbietersystems 60 kann ein unterschiedliches Mobilfunkanbietersystem in der Form von Satellitenkommunikation verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug 12 bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten 66 und einer Uplink-Sendestation 67 erfolgen. Bei der unidirektionalen Kommunikation kann es sich beispielsweise um Satellitenradiodienste handeln, worin die Programmierinhalte (Nachrichten, Musik usw.) von der Sendestation 67 empfangen, für das Hochladen gepackt und anschließend an den Satelliten 66 gesendet wird, der die Programmierung an die Teilnehmer ausstrahlt. Bei der bidirektionalen Kommunikation kann es sich beispielsweise um Satellitentelefondienste handeln, die den Satelliten 66 verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 12 und der Station 67 weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Drahtlosträgersystems 60 verwendet werden.
Das Festnetz 62 kann ein herkömmliches landgebundenes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Mobilfunkanbietersystem 60 mit der Fernzugriffszentrale 78 verbindet. So kann beispielsweise das Festnetz 62 ein öffentliches Telekommunikationsnetz (PSTN) beinhalten, wie es beispielsweise verwendet wird, um fest verdrahtete Telefonie, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetzes 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie z. B. drahtlosen lokalen Netzwerken (WLANs) oder Netzwerken, die drahtlosen Breitbandzugang (BWA) bereitstellen oder einer Kombination derselben implementiert sein. Weiterhin muss die Fernzugriffszentrale 78 nicht über das Festnetz 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Mobilfunkanbietersystem 60, kommunizieren kann.
Obgleich in 1 als ein einziges Gerät dargestellt, kann der Computer 64 eine Anzahl an Computern beinhalten, die über ein privates oder öffentliches Netzwerk, wie z. B. das Internet, zugänglich sind. Jeder Computer 64 kann für einen oder mehrere Zwecke verwendet werden. In einer exemplarischen Ausführungsform kann der Computer 64 als ein Webserver konfiguriert sein, der durch das Fahrzeug 12 über das drahtlose Kommunikationssystem 28 und den Mobilfunkanbieter 60 zugänglich ist. Zu anderen derart zugänglichen Computern 64 können beispielsweise gehören: ein Computer in einer Reparaturwerkstatt, der Diagnoseinformationen und andere Fahrzeugdaten vom Fahrzeug über das drahtlose Kommunikationssystem 28 oder einen Speicherort eines Drittanbieters hochgeladen werden können oder aus welchem Fahrzeugdaten oder sonstigen Informationen, entweder durch Kommunikation mit dem Fahrzeug 12, der Fernzugriffszentrale 78, dem drahtlosen vernetzten Gerät 57 oder einer Kombination aus diesen bereitgestellt werden. Der Computer 64 kann eine durchsuchbare Datenbank und ein Datenbankverwaltungssystem instandhalten, das die Eingabe, Löschung und Änderung von Daten, sowie den Empfang von Anfragen ermöglicht, um Daten innerhalb der Datenbank zu lokalisieren. Der Computer 64 kann zudem für die Bereitstellung von Internetverbindungen, wie z. B. DNS-Diensten, oder als Netzwerkadressenserver verwendet werden, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 12 eine IP-Adresse zuzuweisen.
Die Fernzugriffszentrale 78 ist konzipiert, um das drahtlose Kommunikationssystem 28 des Fahrzeugs 12 mit einer Vielzahl von unterschiedlichen Systemfunktionen bereitzustellen, und beinhaltet nach der in 1 gezeigten exemplarischen Ausführungsform im Allgemeinen einen oder mehrere Switches 80, Server 82, Datenbanken 84, Live-Berater 86 sowie ein automatisiertes Sprachausgabesystem (VRS) 88. Diese verschiedenen Komponenten der Fernzugriffszentrale sind bevorzugt miteinander über ein verdrahtetes oder drahtloses lokales Netzwerk 90 gekoppelt. Der Switch 80, der als Nebenstellenanlagen (PBX)-Switch genutzt werden kann, leitet eingehende Signale weiter, sodass Sprachübertragungen gewöhnlich entweder zum Live-Berater 86 über das reguläre Telefon oder automatisiert zum Sprachausgabesystem 88 unter Verwendung von VoIP gesendet werden. Das Live-Berater-Telefon kann auch VoIP verwenden, wie durch die gestrichelte Linie in 1 angezeigt. VoIP und andere Datenkommunikation durch den Switch 80 werden über ein Modem (nicht dargestellt) implementiert, das zwischen dem Switch 80 und Netzwerk 90 verbunden ist. Datenübertragungen werden über das Modem an den Server 82 und/oder die Datenbank 84 weitergegeben. Die Datenbank 84 kann Kontoinformationen, wie beispielsweise Teilnehmerauthentisierungs-Informationen, Fahrzeugkennungen, Profildatensätze, Verhaltensmuster und andere entsprechende Teilnehmerinformationen, speichern. Datenübertragungen können zudem durch drahtlose Systeme, wie z. B. 802.11x, GPRS und dergleichen, erfolgen. Obwohl die veranschaulichte Ausführungsform beschrieben wurde, als ob sie in Verbindung mit einer bemannten Fernzugriffszentrale 78 verwendet werden würde, die den Live-Berater 86 einsetzt, ist es offensichtlich, dass die Fernzugriffszentrale stattdessen VRS 88 als einen automatisierten Berater verwenden kann, oder eine Kombination von VRS 88 und dem Live-Berater 86 verwendet werden kann.
Wie in 2 dargestellt, beinhaltet das ADS 24 mehrere verschiedene Steuersysteme, einschließlich mindestens eines Wahrnehmungssystem 32 zum Feststellen des Vorhandenseins, der Position, der Klassifizierung und der Bahn der erkannten Eigenschaften oder Objekte in der Nähe des Fahrzeugs. Das Wahrnehmungssystem 32 ist so konfiguriert, dass es Eingaben, wie beispielsweise in 1 veranschaulicht, von einer Vielzahl von Sensoren 26 empfängt und Sensoreingaben synthetisiert und verarbeitet, um Parameter zu erzeugen, die als Eingaben für andere Steueralgorithmen des ADS 24 verwendet werden.
Das Wahrnehmungssystem 32 umfasst ein Sensorfusions- und Vorverarbeitungsmodul 34, das die Sensordaten 27 aus der Vielzahl der Sensoren 26 verarbeitet und synthetisiert. Das Sensorfusions- und Vorverarbeitungsmodul 34 führt eine Kalibrierung der Sensordaten 27 durch, einschließlich, aber nicht beschränkt auf LIDAR-zu-LIDAR-Kalibrierung, Kamera-zu-LIDAR-Kalibrierung, LIDAR-zu-Chassis-Kalibrierung und LIDAR-Strahlintensitätskalibrierung. Das Sensorfusions- und Vorverarbeitungsmodul 34 gibt vorverarbeitete Sensorausgaben 35 aus.
Ein Klassifizierungs- und Segmentierungsmodul 36 empfängt die vorverarbeitete Sensorausgabe 35 und führt Objektklassifizierung, Bildklassifizierung, Ampelklassifizierung, Objektsegmentierung, Bodensegmentierung und Objektverfolgungsprozesse durch. Die Objektklassifizierung beinhaltet, ist aber nicht beschränkt auf die Identifizierung und Klassifizierung von Objekten in der Umgebung, einschließlich Identifizierung und Klassifizierung von Verkehrssignalen und -zeichen, RADAR-Fusion und -verfolgung, um die Platzierung und das Sichtfeld (FoV) des Sensors und die falsche positive Ablehnung über die LIDAR-Fusion zu berücksichtigen, um die vielen falschen Positiven zu beseitigen, die in einer städtischen Umgebung existieren, wie zum Beispiel Schachtabdeckungen, Brücken, in die Fahrbahn ragende Bäume oder Lichtmasten und andere Hindernisse mit einem hohen RADAR-Querschnitt, die aber nicht die Fähigkeit des Fahrzeugs beeinflussen, entlang seines Kurses zu fahren. Zusätzliche Objektklassifizierungs- und Verfolgungsprozesse, die durch das Klassifizierungs- und Segmentierungsmodell 36 durchgeführt werden, beinhalten, sind aber nicht beschränkt auf Freespace-Erkennung und High-Level-Tracking, die Daten von RADAR-Spuren, LIDAR-Segmentierung, LIDAR-Klassifizierung, Bildklassifizierung, Objektform-Passmodellen, semantischen Informationen, Bewegungsvorhersage, Rasterkarten, statischen Hinderniskarten und andere Quellen verschmelzen, um qualitativ hochwertige Objektspuren zu erzeugen.
Das Klassifizierungs- und Segmentierungsmodul 36 führt zusätzlich eine Verkehrssteuerungs-Klassifizierungs- und Verkehrssteuerungsvorrichtungsverschmelzung mit Spurassoziations- und Verkehrssteuerungsvorrichtungsverhaltensmodellen durch. Das Klassifizierungs- und Segmentierungsmodul 36 erzeugt eine Objektklassifizierungs- und Segmentierungsausgabe 37, die eine Objektidentifikationsinformation enthält.
Ein Lokalisierungs- und Abbildungsmodul 40 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu berechnen, einschließlich, aber nicht beschränkt auf Schätzungen der Position und Orientierung des Fahrzeugs 12 in sowohl typischen als auch anspruchsvollen Antriebsszenarien. Zu diesen anspruchsvollen Antriebsszenarien gehören unter anderem dynamische Umgebungen mit vielen Autos (z. B. dichter Verkehr), Umgebungen mit großflächigen Obstruktionen (z. B. Fahrbahnbaustellen oder Baustellen), Hügel, mehrspurige Straßen, einspurige Straßen, eine Vielzahl von Straßenmarkierungen und Gebäuden oder deren Fehlen (z. B. Wohn- und Geschäftsbezirke) und Brücken und Überführungen (sowohl oberhalb als auch unterhalb eines aktuellen Straßensegments des Fahrzeugs).
Das Lokalisierungs- und Abbildungsmodul 40 enthält auch neue Daten, die als Ergebnis von erweiterten Kartenbereichen erfasst werden, die durch fahrzeugeigene Abbildungsfunktionen erhalten werden, die von Fahrzeug 12 während des Betriebs ausgeführt werden, und Zuordnungsdaten, die über das drahtlose Kommunikationssystem 28 an das Fahrzeug 12 „geschoben“ werden. Das Lokalisierungs- und Abbildungsmodul 40 aktualisiert die vorherigen Kartendaten mit den neuen Informationen (z. B. neue Spurmarkierungen, neue Gebäudestrukturen, Hinzufügen oder Entfernen von Baustellenzonen usw.), während unbeeinflusste Kartenbereiche unverändert bleiben. Beispiele von Kartendaten, die erzeugt oder aktualisiert werden können, beinhalten, sind aber nicht beschränkt auf die Ausweichspurkategorisierung, die Spurgrenzerzeugung, die Spurverbindung, die Klassifizierung von Neben- und Hauptstraßen, die Klassifizierung der Links- und Rechtskurven und die Kreuzungsspurerstellung.
In einigen Ausführungsformen verwendet das Lokalisierungs- und Abbildungsmodul 40 Simultanlokalisierungs- und Abbildungs-(„SLAM“)-Techniken, um Karten der Umgebung zu entwickeln. SLAM ist die Abkürzung für simultane Fehlerlokalisierung und Kartierung. SLAM-Techniken konstruieren eine Karte einer Umgebung und verfolgen die Position eines Objekts innerhalb der Umgebung. GraphSLAM, eine Variante von SLAM, verwendet sparsame Matrizen, die zum Erstellen eines Graphen mit Beobachtungsabhängigkeiten verwendet werden.
Die Objektposition innerhalb einer Karte wird durch eine Gaußsche Wahrscheinlichkeitsverteilung dargestellt, die sich um den vorhergesagten Pfad des Objekts zentriert. SLAM verwendet in seiner einfachsten Form drei Einschränkungen: eine anfängliche Standortbeschränkung; eine relative Bewegungseinschränkung, die der Pfad des Objekts ist; und eine relative Messeinschränkung, die eine oder mehrere Messungen eines Objekts zu einer Landmarke ist.
Die anfängliche Bewegungseinschränkung ist die Ausgangsposition (z. B. Position und Orientierung) des Fahrzeugs, die sich aus der Position des Fahrzeugs im zweidimensionalen oder dreidimensionalen Raum einschließlich Neigungs-, Drehungs- und Gierdaten zusammensetzt. Die relative Bewegungseinschränkung ist die Verschiebung des Objektes, die eine gewisse Flexibilität zur Anpassung an die Kartenkonsistenz enthält. Die relative Messeinschränkung beinhaltet eine oder mehrere Messungen von den Objektsensoren bis zu einer Landmarke. Die anfängliche Positionsbeschränkung, die relative Bewegungseinschränkung und die relative Messeinschränkung sind typischerweise Gaußsche Wahrscheinlichkeitsverteilungen. Objektortungsverfahren innerhalb einer sensorerzeugten Karte verwenden typischerweise Kalman-Filter, verschiedene statistische Korrelationsverfahren wie die Pearson-Produkt-Moment-Korrelation und/oder Partikelfilter.
In einigen Ausführungsformen wird nach dem Erstellen einer Karte die Fahrzeuglokalisierung in Echtzeit über einen Partikelfilter erreicht. Partikelfilter sind im Gegensatz zu Bayes- oder Kalman-Filtern für nichtlineare Systeme geeignet. Zur Ortung eines Fahrzeugs werden Partikel um einen erwarteten Mittelwert über eine Gaußsche Wahrscheinlichkeitsverteilung erzeugt. Jedem Partikel wird ein nummerisches Gewicht zugeordnet, das die Genauigkeit der Partikelposition zur vorhergesagten Position repräsentiert. Die Sensordaten werden berücksichtigt und die Partikelgewichte den Sensordaten angepasst. Je enger die Annäherung des Partikels an die eingestellte Position des Sensors ist, desto größer ist der numerische Wert der Partikelgewichte.
Sobald ein Aktionsbefehl auftritt, wird jedes Partikel an eine neue vorhergesagte Position aktualisiert. Die Sensordaten werden an der neuen vorhergesagten Position beobachtet und jedem Partikel wird ein neues Gewicht zugewiesen, das die Genauigkeit der Partikelposition in Bezug auf die vorhergesagte Position und die Sensordaten angibt. Die Partikel werden neu abgetastet, wobei die Gewichte mit der größten numerischen Größe ausgewählt werden, was die Genauigkeit der vorhergesagten und sensorkorrigierten Objektposition erhöht. Typischerweise ergibt sich aus Mittelwert, Varianz und Standardabweichung der neu abgetasteten Daten die Wahrscheinlichkeit einer neuen Obj ektposition.
Die Verarbeitung des Partikelfilters wird ausgedrückt als: $P (H_{t} | H_{t - 1}, A_{t}, D_{t})$
wobei H_t die aktuelle Hypothese ist, welche die Objektposition ist. H_t-1 ist die vorhergehende Objektposition, A_t ist die Handlung, die typischerweise ein Motorbefehl ist, und D_t sind die beobachtbaren Daten.
In einigen Ausführungsformen behält das Lokalisierungs- und Abbildungsmodul 40 eine Schätzung der globalen Position des Fahrzeugs bei, indem es Daten aus mehreren Quellen einbezieht, wie zuvor in einem erweiterten Kalman-Filter (EKF)-Framework erläutert. Kalman-Filter sind lineare Filter, die auf rekursiven Bayes'schen Filtern basieren. Rekursive Bayes'sche Filter, die auch als Rekursive Bayes'sche Schätzung bezeichnet werden, ersetzen im Wesentlichen das Posterior einer Schätzung in die vorherige Position, um ein neues Posterior auf einer neuen Iteration der Schätzung zu berechnen. Dies ergibt effektiv: $P (H_{t} | H_{t - 1}, D_{t})$
wobei die Wahrscheinlichkeit einer Hypothese H_t durch die Hypothese bei der vorhergehenden Iteration H_t-1 und die Daten D_t zur aktuellen Zeit t bewertet wird.
Ein Kalman-Filter fügt eine Aktionsvariable A_t hinzu, wobei t eine Zeit-Iteration ist, woraus sich ergibt: $P (H_{t} | H_{t - 1}, A_{t}, D_{t})$
wobei die Wahrscheinlichkeit einer Hypothese H_t auf der vorhergehenden Hypothese H_t-1, einer Handlung A_t, und der Daten D_t zum gegenwärtigen Zeitpunkt t basiert.
Ein Kalman-Filter, in der Robotik verbreitet genutzt, schätzt eine aktuelle Position, die eine gemeinsame Wahrscheinlichkeitsverteilung ist und basierend auf einem Aktionsbefehl eine neue Position voraussagt, die auch eine gemeinsame Wahrscheinlichkeitsverteilung ist, die auch als Zustandsvorhersage bezeichnet wird. Es werden Sensordaten erfasst und eine getrennte gemeinsame Wahrscheinlichkeitsverteilung berechnet, die als Sensorvorhersage bezeichnet wird.
Die Zustandsvorhersage wird ausgedrückt als: $X_{t}^{'} = A X_{t - 1} + B μ + ε_{t}$
wobei X'_t ein neuer Zustand ist, der auf dem vorherigen Zustand AX_t-1, Bµ und ξt basiert. Die Konstanten A und B sind von der Physik des Interesses bestimmt, wobei µ der Befehl des Robotermotors sein kann und ξ_t eine Gauß‘sche Zustandsfehlervorhersage ist.
Die Sensorvorhersage wird ausgedrückt als: $Z_{t}^{'} = C X_{t} + ε_{z}$
wobei Z'_t der neue Sensorschätzwert, C eine Funktion und ξ_z eine Gauß‘sche Sensorfehlervorhersage ist.
Eine neue Schätzung des vorhergesagten Zustandes wird ausgedrückt als: $X_{E S T} = X_{t}^{'} + K (Z_{t} - Z_{t}^{'})$
wobei das Produkt K(Z_t - Z'_t) als Kalman-Verstärkungsfaktor bezeichnet wird. Wenn der Unterschied zwischen der Sensorvorhersage Z'_t und den tatsächlichen Sensordaten Zt ist. (das heißt wenn Z_t - Z'_t) relativ annähernd Null ist, dann gilt X'_t als die neue Zustandsschätzung. Wenn Z_t - Z'_t relativ größer als Null ist, wird der K(Z_t - Z'_t) Faktor hinzugefügt, um eine neue Zustandsschätzung zu erhalten.
Sobald die Fahrzeugbewegungsinformationen empfangen werden, aktualisiert das EKF die Fahrzeugpositionsschätzung und erweitert gleichzeitig die geschätzte Kovarianz. Sobald die Sensorkovarianz in das EKF integriert ist, erzeugt das Lokalisierungs- und Abbildungsmodul 40 einen Lokalisierungs- und Abbildungsausgang 41, der die Position und Ausrichtung des Fahrzeugs 12 in Bezug auf erfasste Hindernisse und Straßenmerkmale beinhaltet.
Ein Fahrzeug-Odometrie-Modul 46 empfängt Daten 27 von den Fahrzeugsensoren 26 und erzeugt eine Fahrzeug-Odometrie-Ausgabe 47, die beispielsweise Fahrzeugkurs- und Geschwindigkeits- und Entfernungsinformationen beinhaltet. Ein absolutes Positionierungsmodul 42 empfängt die Lokalisierungs- und Abbildungsausgabe 41 und die Fahrzeug-Odometrieinformation 47 und erzeugt eine Fahrzeugpositionsausgabe 43, die in getrennten Berechnungen verwendet wird, wie unten erörtert wird.
Ein Objektvorhersagemodul 38 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu erzeugen, einschließlich, aber nicht beschränkt auf eine Position eines erkannten Hindernisses relativ zum Fahrzeug, einen vorhergesagten Weg des erkannten Hindernisses relativ zum Fahrzeug und eine Position und Orientierung der Fahrbahnen relativ zum Fahrzeug. Bayes'sche Modelle können in einigen Ausführungsformen verwendet werden, um die Absicht eines Fahrers oder Fußgängers basierend auf semantischen Informationen, vorheriger Trajektorien und unmittelbarer Pose vorherzusagen, wobei die Pose die Kombination von Position und Orientierung eines Objekts ist.
Der Bayes'sche Satz, in der Robotik verbreitet genutzt, auch als Bayes'scher Filter bezeichnet, ist eine Form der bedingten Wahrscheinlichkeit. Der Bayes'sche Satz, nachfolgend in Gleichung 7 dargestellt, enthält die These, dass die Wahrscheinlichkeit einer Hypothese H mit Daten D gleich der Wahrscheinlichkeit einer Hypothese H mal die Wahrscheinlichkeit der Daten D mit der Hypothese H ist, dividiert durch die Wahrscheinlichkeit der Daten P (D). $P (H | D) = \frac{P (H) P (D | H)}{P (D)}$
P(H/D) wird als Posterior bezeichnet und P(H) wird als Prior bezeichnet. Der Bayes'sche Satz misst einen Wahrscheinlichkeitsgrad der Überzeugung in einem Satz vor (dem Vorherigen) und nach (dem Nachfolgenden), wobei in Anbetracht der in den Daten enthaltenen Beweisen D. Bayes' Satz bei der Iteration rekursiv verwendet werden kann. Bei jeder neuen Iteration wird der vorherige Posterior zu dem vorhergehenden, um einen neuen Posterior zu erzeugen, bis die Iteration abgeschlossen ist. Daten über den vorhergesagten Weg von Objekten (einschließlich Fußgänger, umliegende Fahrzeuge und andere bewegte Objekte) werden als Objektvorhersageausgabe 39 ausgegeben und in getrennten Berechnungen verwendet, wie unten erörtert wird.
Das ADS 24 enthält auch ein Beobachtungsmodul 44 und ein Interpretationsmodul 48. Das Beobachtungsmodul 44 erzeugt eine Beobachtungsausgabe 45, die vom Interpretationsmodul 48 empfangen wird. Das Beobachtungsmodul 44 und das Interpretationsmodul 48 erlauben den Zugriff durch die Fernzugriffszentrale 78. Ein Live-Experte oder Berater, z.B. der in 1 dargestellte Berater 86 kann optional die Objektvorhersageausgabe 39 überprüfen und zusätzliche Eingabe- und/oder Übersteuerungsautomatik-Fahrvorgänge bereitstellen und den Betrieb des Fahrzeugs annehmen, falls dies durch eine Fahrzeugsituation gewünscht oder erforderlich ist. Das Beobachtungs- und Interpretationsmodul 48 erzeugt eine interpretierte Ausgabe 49, die eine zusätzliche Eingabe durch den Live-Experten beinhaltet, falls vorhanden.
Ein Wegplanungsmodul 50 verarbeitet und synthetisiert die Objektvorhersageausgabe 39, die interpretierte Ausgabe 49 und zusätzliche Kursinformationen 79, die von einer Online-Datenbank oder der Fernzugriffszentrale 78 empfangen werden, um einen Fahrzeugweg zu ermitteln, der verfolgt werden soll, um das Fahrzeug unter Beachtung der Verkehrsgesetze und Vermeidung von erkannten Hindernissen auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 verwendet Algorithmen, die konfiguriert sind, um beliebige erkannte Hindernisse in der Nähe des Fahrzeugs zu vermeiden, das Fahrzeug in einer gegenwärtigen Fahrspur zu halten und das Fahrzeug auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 nutzt Positions-Graph-Optimierungstechniken, einschließlich der nichtlinearen kleinstquadratischen Positions-Graph-Optimierung, um die Karte der Fahrzeugtrajektorien in sechs Freiheitsgraden zu optimieren und Wegfehler zu reduzieren. Das Wegplanungsmodul 50 gibt die Fahrzeugweginformationen als Wegplanungsausgabe 51 aus. Die Wegplanungsausgabe 51 beinhaltet eine vorgegebene Fahrzeugroute auf der Grundlage der Route, eine Fahrzeugposition relativ zu der Route, Position und Orientierung der Fahrspuren und das Vorhandensein und den Weg erfasster Hindernisse.
Ein erstes Steuermodul 52 verarbeitet und synthetisiert die Wegplanungsausgabe 51 und die Fahrzeugpositionsausgabe 43 zum Erzeugen einer ersten Steuerausgabe 53. Das erste Steuermodul 52 enthält auch die Kursinformation 79, die von der Fernzugriffszentrale 78 im Falle einer Fernübernahmebetriebsart des Fahrzeugs bereitgestellt wird.
Ein Fahrzeugsteuermodul 54 empfängt die erste Steuerausgabe 53 sowie die Geschwindigkeits- und Richtungsinformation 47, die von der Fahrzeug-Odometrie 46 empfangen wird, und erzeugt einen Fahrzeugsteuerausgabe 55. Die Fahrzeugsteuerausgabe 55 beinhaltet einen Satz Stellgliedbefehle, um den befohlenen Weg vom Fahrzeugsteuermodul 54 zu erreichen, einschließlich, jedoch nicht beschränkt auf einen Lenkbefehl, einen Schaltbefehl, einen Drosselbefehl und einen Bremsbefehl.
Die Fahrzeugsteuerausgabe 55 wird an die Stellglieder 30 übermittelt. In einer exemplarischen Ausführungsform beinhalten die Stellglieder 30 eine Lenksteuerung, eine Schaltsteuerung, eine Drosselsteuerung und eine Bremssteuerung. Die Lenksteuerung kann beispielsweise ein Lenksystem 16 steuern, wie in 1 veranschaulicht. Die Gangschaltsteuerung kann beispielsweise ein Getriebe 14 steuern, wie in 1 veranschaulicht. Die Drosselklappensteuerung kann beispielsweise ein Antriebssystem 13 steuern, wie in 1 veranschaulicht. Die Bremssteuerung kann beispielsweise die Radbremsen 17 steuern, wie in 1 veranschaulicht.
Das offenbarte Verfahren kann mit einer beliebigen Anzahl von unterschiedlichen Systemen verwendet werden und ist nicht speziell auf die hier dargestellte Betriebsumgebung beschränkt. Die Architektur, der Aufbau, die Konfiguration und der Betrieb des Systems 10 und dessen einzelne Komponenten sind allgemein bekannt. Darüber hinaus können weitere hier nicht dargestellte Systeme ebenfalls die offenbarten Verfahren verwenden.
Mit Blick nun auf 3 ist ein exemplarisches Blockdiagramm dargestellt, das eine exemplarische Implementierung eines Systems zum automatischen Lernen von Regeln für das autonome Fahren 300 veranschaulicht. Das System beinhaltet mindestens einen Sensor 310, ein Wahrnehmungsmodul 320, einen Agentenbewegungsprädikator 330, ein kognitives Modul 340, ein Abbildungsmodul 350, ein globales Positionierungssystem (GPS) 360, einen Selbstbewegungsplaner 370 und eine Bewegungssteuerung 380.
Die Sensoren 310 können eine Vielzahl von Vorrichtungen zum Erfassen der Umgebung des Fahrzeugs beinhalten. Diese Sensoren können optische Sensoren beinhalten, wie beispielsweise elektrooptische oder Infrarotkameras, LIDAR, RADAR, Ultraschall oder dergleichen. Das Wahrnehmungsmodul 320 erkennt und klassifiziert Objekte auf der Straße: Autos, Fahrräder/Räder, Fußgänger, Hindernisse, Ampeln und Verkehrszeichen sowie andere Objekte, die für eine sichere Fahrt erforderlich sind. Das Wahrnehmungsmodul 320 verarbeitet Daten von den Sensoren 310 und erzeugt Informationen bezüglich des Standorts der einzelnen Agenten, wie beispielsweise Fußgänger oder andere Fahrzeuge, in der Szene. Diese Verarbeitung kann das Tiefenlernen für die Kamera und andere visuelle Sensoren, Verfahren wie die LIDAR-Punktwolke und auch Radarverarbeitungsverfahren beinhalten.
Der Agentenbewegungsprädikator 330 kombiniert die vom Wahrnehmungsmodul 320 und dem Abbildungsmodul 350 empfangenen Daten, um die Bewegung anderer Agenten, Autos, Fahrräder und Fußgänger in der Szene vorherzusagen. Diese Vorhersagen können unter Verwendung von Kalman-Filtern, rekurrenten neuronalen Netzwerken (RNN) oder mit anderen in der Literatur verfügbaren Mitteln durchgeführt werden. Es werden Vorhersagen für den Standort jedes Agenten bis zu K-Zeitschritten in der Zukunft mit einer variablen Schrittgröße erstellt. Die Anzahl der Schritte und die erforderliche Schrittgröße können von Faktoren, wie beispielsweise der Geschwindigkeit der Autos, Komplexität der Szene und so weiter abhängig sein. Der Selbstbewegungsplaner und die Bewegungssteuerung nehmen dann diese Vorhersagen auf und verwenden sie, um sicher durch das Szenario zu navigieren. Das Abbildungsmodul 350 speichert und stellt aktuelle Karten der Straßen und Kreuzungen bereit, an denen das autonome selbstfahrende Auto fahren soll. Das Wahrnehmungsmodul 320 kann räumliche Positionen von wahrgenommenen Objekten, Fahrzeugen, Fußgängern usw. auf der Karte erfassen. Die Vorhersage des Agentenbewegungsprädikators 330 kann die Karte zum Berechnen verwenden. Die Karte kann über das im Fahrzeug eingebaute Navigationssystem bereitgestellt werden.
Das GPS 360 liefert den aktuellen Standort des selbstfahrenden Fahrzeugs. Die Genauigkeit der Position kann durch die zusätzliche Verwendung von LIDAR- und Kameradaten aus dem Wahrnehmungsmodul 320 verbessert werden. Der Selbstbewegungsplaner 370 dient zur Vorhersage der Bewegung des selbstfahrenden Fahrzeugs basierend auf Daten, die vom Wahrnehmungsmodul 320, dem Abbildungsmodul 350 und dem kognitiven Modul 340 sowie dem kinematischen Modell des selbstfahrenden Fahrzeugs empfangen wurden.
Das Bewegungssteuerungsmodul 380 erzeugt die Steuersignale, die zum Steuern des Fahrzeugs erforderlich sind. Dies beinhaltet Regelalgorithmen wie die modellprädiktive Steuerung und Stellglieder zum Ändern der Richtung, Beschleunigen oder Verlangsamen des selbstfahrenden Fahrzeugs basierend auf dem Selbstbewegungsplaner 370 und dem kognitiven Modul 340. Das kognitive Modul 340 wird trainiert, um Daten für das Bewegungssteuerungsmodul 380 während des autonomen Fahrens bereitzustellen. Das Bewegungssteuerungsmodul 340 verwendet den aktuellen Zustand und zukünftige Vorhersagen der Agenten am Einsatzort, Kartendaten, Selbstbewegungsplanungsdaten und Bewegungssteuerungsdaten. Dieses Modul enthält Submodule mit der Bezeichnung „semantischer“ und „episodischer“ Speicher, die im Folgenden näher beschrieben werden.
Der Fahrvorgang kann als eine Folge von Episoden betrachtet werden, bei denen jede Episode eine spezifische Realisierung der Fahrsituation darstellt. So ist beispielsweise die Überquerung einer 4-Wege-Kreuzung mit 4 Stoppschildern eine Fahrsituation, die in Abhängigkeit von der Präsenz anderer Autos, Fußgänger usw. auf vielfältige Weise navigiert werden kann. Jede Realisierung dieser Fahrsituation wird als Episode bezeichnet. Daher besteht eine Episode aus einer Reihe von Ereignissen, bei denen jedes Ereignis eine bestimmte Aktion des selbstfahrenden Fahrzeugs und anderer Agenten darstellt. Zum Beispiel: Ereignis A - Das selbstfahrende Auto bewegt sich geradeaus, Ereignis B - das selbstfahrende Auto hält an, Ereignis C - das selbstfahrende Auto unterliegt anderen Agenten, und so weiter. Jedes Ereignis weist eine Zeitdauer in Zeitschritten auf, die in einem bestimmten Intervall T abgetastet werden. Die Anzahl der Zeitschritte im Ereignis ist abhängig von der Geschwindigkeit des selbstfahrenden Fahrzeugs sowie von der Geschwindigkeit und Anzahl der anderen Agenten, der Dauer der Ampel, dem Verkehr und anderen Faktoren. Die Anzahl der Ereignisse in Episoden, die der gleichen Verkehrssituation entsprechen, kann aus den gleichen Gründen ebenfalls variieren. Abhängig von einem bestimmten Verhalten und der Anzahl anderer Agenten kann die gleiche Kreuzung mit einer unterschiedlichen Anzahl von Ereignissen und Zeitschritten durchquert werden, wodurch verschiedene Episoden entstehen.
Die Gruppierung von Zeitschritten zu Ereignissen basiert auf der Struktur der Syntaxbäume der Zeitschritte. Jede Episode ist in Ereignisse unterteilt und jedes Ereignis besteht aus mehreren Zeitschritten. Diese Segmentierung der Ereignisse innerhalb der Episode wird automatisch durch den semantischen Speicher des vorgeschlagenen Systems durchgeführt. Während der Trainingsphase lernt der semantische Speicher zwei wesentliche Modelle: (1) den Übergangs-Tensor zum Erzeugen von Syntaxbäumen für die Zeitschritte; (2) die zeitliche Grammatik, die zeitliche Beziehungen zwischen Ereignissen in der Episode erfasst. Während der Testphase erstellt der semantische Speicher für jeden Zeitschritt einen Syntaxbaum und ordnet ihn dem entsprechenden Ereignis zu, erstellt eine Abfolge von Ereignissen und prognostiziert den Rest der zeitlichen Abfolge der Ereignisse in der Episode. Mit anderen Worten, das Modell (1) ist auf die räumlichen Beziehungen/Interaktionen ausgerichtet, (2) ist die zeitliche Abfolge der Ereignisse.
Die Syntaxbäume können Ereignisse darstellen, bei denen jedes Ereignis eine bestimmte Aktion des selbstfahrenden Fahrzeugs ist, wie beispielsweise: Vorwärtsfahren, Warten an einem Stoppschild, Einlenken durch eingehenden oder Querverkehr, usw. Die Segmentierung der Ereignisse erfolgt in dem kognitiven Modul, das den räumlichen Teil des semantischen Speichers enthält. Alle Trainingsszenarien sind in Zeitschritte unterteilt, die eine Momentaufnahme oder einen Zustand der Agenten in der Szene darstellen. Jeder Zeitschritt wird durch Informationen dargestellt, welche die räumlichen Standorte und Zustände der Agenten in der Szene in Bezug auf das selbstfahrende Fahrzeug und andere Agenten beschreiben, wie beispielsweise Stoppschilder, Ampeln, Verkehrsschilder usw., abhängig von der Art der Kreuzung oder Straße. Im Folgenden werden einige ausführliche Beispiele für diese Art der Darstellung aufgeführt.
Die räumlichen Informationen der Agenten in jedem Zeitschritt werden in eine Assoziationsmatrix umgewandelt, die als kompakte Darstellung dieses Zeitschritts betrachtet werden kann, und diese Matrix wird als Eingabe für den Trainings-/Testalgorithmus verwendet. Assoziationsmatrizen, die aus jedem Zeitschritt gewonnen werden, werden dann in einen Wahrnehmungsalgorithmus zur Erwartungsmaximierung (EM) eingespeist, der eine modifizierte Version des Inside-Outside-Algorithmus ist, der normalerweise für das Training der probabilistischen kontextfreien Grammatik (PCFG) verwendet wird. Dieser Trainingsschritt erzeugt einen 3D-Tensor, der die extrahierten und optimierten probabilistischen Regeln der räumlichen Interaktion zwischen den Agenten am Einsatzort darstellt. Mit anderen Worten, dieser Tensor stellt die Regeln der Interaktion zwischen den in den Trainingszeitschritten vorgesehenen Agenten dar. Der Tensor der Regeln kann verwendet werden, um die wahrscheinlichsten Syntaxbäume für die Zeitschritte zu erzeugen, die sowohl für das Training als auch zum Testen verwendet werden. Die unsichtbaren Zeitschritte zeigen mögliche Interaktionen zwischen den Agenten basierend auf den während des Trainings extrahierten Regeln. Nach dem Erstellen des Tensors kann der semantische Speicher den wahrscheinlichsten Syntaxbaum für jeden Zeitschritt im Trainingssatz basierend auf den Regeln und Wahrscheinlichkeiten in der Grammatik erzeugen. Die Erzeugung der wahrscheinlichsten Syntaxbäume für den Testsatz mit unsichtbaren Zeitschritten wird im Folgenden in der Testphase des semantischen Speichers ausführlich beschrieben.
Nach der Trainingsphase 1 geht das kognitive Modul in die nächste Trainingsphase über, wobei es die zeitlichen Zusammenhänge zwischen den Ereignissen in den im Trainingsdatensatz vorgesehenen Episoden lernt. Da viele Zeitschritte den gleichen optimalen Syntaxbaum aufweisen, kann jede Episode als eine viel kürzere Abfolge von sogenannten Ereignissen dargestellt werden. Die Episode weist beispielsweise Syntaxbäume auf, die der folgenden Abfolge von Zeitschritten entsprechen: {AAAABBBBCCCC}. Nach dem Entfernen von Duplikaten kann die Episode als kürzere Abfolge von Ereignissen dargestellt werden: {ABC}, ähnlich wie bei der Kompression von Lauflängencodierungen (Run-Length-Encoding). Die Anzahl der Wiederholungen eines jeden Zeitschritts ist abhängig von einer bestimmten Realisierung der Episode, der Geschwindigkeit der Agenten, der Verkehrssituation usw. Aber alle diese Variationen haben dieselbe Abfolge von Ereignissen: {ABC}, wobei A, B und C die Ereignisse in dieser Episode mit den entsprechenden Syntaxbäumen sind. Mehrere Zeitschritte mit demselben Syntaxbaum werden als dasselbe Ereignis in der ursprünglichen Abfolge verkörpert: Abfolge der Zeitschritte {AAAAA} ist das Ereignis A. Mit anderen Worten besteht das Ereignis aus Zeitschritten, in denen das selbstfahrende Auto seine Wirkung und Interaktion mit anderen Agenten nicht ändert. Das Ereignis A repräsentiert beispielsweise das Vorwärtsfahren des selbstfahrenden Autos, Episode B stellt eine andere Situation dar, wenn das selbstfahrende Auto anhält, Episode C - das selbstfahrende Auto gibt anderen Agenten im Geschehen nach, usw.
Das Training der Phase 2 des semantischen Speichers wird so modelliert, dass jede Episode in den Trainingsdaten als eine Abfolge von Ereignissen dargestellt wird. Mit anderen Worten wird jede Episode als eine Zeichenfolge (Ereignisse) dargestellt. Alle diese Zeichenketten bilden einen Korpus von Zeichenketten, die im episodischen Speicher zum späteren Abrufen gespeichert werden können, oder zum Erlernen einer zeitlichen probabilistischen kontextfreien Grammatik (PCFG) verwendet werden können, die ein generatives Modell ist, das zum Vorhersagen von Ereignissen in den zukünftigen Episoden verwendet werden kann. Neben der erlernten PCFG kann das kognitive Modul alle einzigartigen Sequenzen im episodischen Speicher speichern und diese auch für Vorhersagen während der Testphase nutzen.
Das kognitive Modul verarbeitet Daten in Zeitschritten ähnlich zu der Trainingsphase. Jeder Zeitschritt enthält räumliche Informationen und Zustände für jeden Agenten in der Szene. Diese Informationen werden in die Assoziationsmatrix umgewandelt, die mit der während der Trainingsphase 1 erhaltenen Übergangsmatrix verarbeitet wird, um den optimalen Syntaxbaum für den aktuellen Zeitschritt zu ermitteln. Der optimale Syntaxbaum für den aktuellen Zeitschritt wird mit dem Satz der wahrscheinlichsten Syntaxbäume verglichen, die während des Trainings erlernt wurden, um den passenden zu ermitteln und dem aktuellen Zeitschritt eine Ereignisbezeichnung zuzuweisen. Sequentielle Duplikate von Ereignisbezeichnungen werden verworfen. Dieser Prozess bildet eine zeitliche Abfolge von Bezeichnungen, die der sich entwickelnden Episode im Fahrszenario entsprechen. Die Vorhersage der restlichen Episode kann auch unter Verwendung des episodischen Speichers erfolgen, der alle zuvor gesichteten Episoden hält. In diesem Fall werden Vorhersagen durch das Auffinden der übereinstimmenden Teilsequenz der Ereignisse, welche die aktuelle unvollendete Episode darstellen, gegenüber allen im Speicher gespeicherten Episoden getroffen.
Die übereinstimmenden Episoden werden zur Vorhersage der Menge der folgenden Ereignisse herangezogen, um die aktuelle Episode zu vervollständigen. Wenn eine PCFG verwendet wird, wird die Präfix-Zeichenfolge mit Ereignisbezeichnungen entsprechend der aktuellen Teilepisode verwendet, um die restliche Abfolge unter Verwendung von Regeln und Wahrscheinlichkeiten vorherzusagen, die während des PCFG-Trainings gelernt wurden. Die Vorhersage zukünftiger Ereignisse in der sich entwickelnden Episode wird in jedem Zeitschritt durchgeführt. Die Vorhersagen werden dem Bewegungsplanungsmodul zum Ausführen von optimalen Steuerungsaktionen bereitgestellt. Wenn beispielsweise ein Stoppschild auf einer Straße vorhanden ist, enthalten alle Episoden eine dem Ereignis entsprechende Haltestelle, unabhängig davon, ob noch anderer Verkehr vorhanden ist oder nicht.
Der semantische Speicher ist funktionsfähig, um die repräsentativen Agenten in den Episoden zu behandeln, welche die sofortige Aufmerksamkeit des selbstfahrenden Autos erfordern. Unter realen Fahrbedingungen existieren mehrere Objekte und damit viele Möglichkeiten, dass sich Autos in Gruppen bewegen, die ankommenden, kreuzenden und anderen Arten von Verkehrsgeschehen darstellen. In diesem Fall wird die semantische Analyse auf mehrere Kombinationen der Agenten angewendet, wobei nur ein Objekt aus einer bestimmten Gruppe verwendet wird. Wenn zum Beispiel drei Autos im ankommenden Verkehr vorhanden sind, wird jedes Auto aus dieser Gruppe separat analysiert. Die Gruppen können durch die Anordnung der Fahrspuren im Szenario definiert werden.
Das System und Verfahren ist auch zur Verwendung der Vorhersage des Agentenverhaltens geeignet. Der semantische Speicher lernt Regeln basierend auf den Standorten der anderen Agenten in der Szene. Das Agentenbewegungsvorhersagemodul kann eine Vorhersage für jeden Agenten für die Anzahl von K-Zeitschritten nach vorne erzeugen. Diese vorhergesagten Standorte der Agenten können für die Verarbeitung von Zeitschritten zum Trainieren der Phase 1 des semantischen Speichers und während der Testphase in der gleichen Weise wie vorstehend beschrieben verwendet werden.
Mit Blick nun auf 4 ist ein Flussdiagramm dargestellt, das eine exemplarische Implementierung eines Verfahrens zum Steuern eines autonomen Fahrzeugs 400 veranschaulicht. Das Verfahren ist zunächst funktionsfähig, um eine autonome Fahrepisode als Reaktion auf ein Sensorsignal 410 zu bestimmen. Die Bestimmung kann als Reaktion auf ein Sensorsignal von einem Lidar-, Radar-, Kamera-, GPS-Sensor oder dergleichen erfolgen. Die autonome Fahrepisode kann als Reaktion auf eine tatsächliche Fahrersteuerung bestimmt oder simuliert werden. Das Verfahren ist dann funktionsfähig, um die autonome Fahrepisode in ein erstes Ereignis und ein zweites Ereignis 420 zu unterteilen. Das Verfahren unterteilt dann das erste Ereignis in einen ersten Zeitschritt und einen zweiten Zeitschritt und das zweite Ereignis in einen dritten Zeitschritt und einen vierten Zeitschritt 430.
Im nächsten Schritt ist das Verfahren funktionsfähig, um eine erste Assoziationsmatrix als Reaktion auf den ersten Zeitschritt, eine zweite Assoziationsmatrix als Reaktion auf den zweiten Zeitschritt, eine dritte Assoziationsmatrix als Reaktion auf den dritten Zeitschritt und eine vierte Assoziationsmatrix als Reaktion auf den vierten Zeitschritt 440 zu erzeugen. Als Reaktion auf die erste Assoziationsmatrix, die zweite Assoziationsmatrix, die dritte Assoziationsmatrix und die vierte Assoziationsmatrix 450 wird dann eine Übergangsmatrix erzeugt. Das Verfahren ist dann funktionsfähig, um einen 3D-Tensor als Reaktion auf die Übergangsmatrix 460 zu erzeugen. Das Verfahren bestimmt dann als Reaktion auf den 3D-Tensor 470 einen wahrscheinlichen Zeitschritt und erzeugt als Reaktion auf den wahrscheinlichen Zeitschritt 480 ein wahrscheinliches Ereignis. Schließlich ist das System funktionsfähig, um ein Steuersignal zum Steuern eines autonomen Fahrzeugs als Reaktion auf das wahrscheinliche Ereignis 490 zu erzeugen.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Verfahren zur Steuerung eines Fahrzeugs, umfassend: - Bestimmen einer autonomen Fahrepisode als Reaktion auf ein Sensorsignal; - Unterteilen der autonomen Fahrepisode in ein erstes Ereignis und ein zweites Ereignis; - Unterteilen des ersten Ereignisses in einen ersten Zeitschritt und einen zweiten Zeitschritt und das zweite Ereignis in einen dritten Zeitschritt und einen vierten Zeitschritt; - Erzeugen einer ersten Assoziationsmatrix als Reaktion auf den ersten Zeitschritt, eine zweite Assoziationsmatrix als Reaktion auf den zweiten Zeitschritt, eine dritte Assoziationsmatrix als Reaktion auf den dritten Zeitschritt und eine vierte Assoziationsmatrix als Reaktion auf den vierten Zeitschritt; - Erzeugen einer Übergangsmatrix als Reaktion auf die erste Assoziationsmatrix, die zweite Assoziationsmatrix, die dritte Assoziationsmatrix und die vierte Assoziationsmatrix; - Erzeugen eines 3D-Tensors als Reaktion auf die Übergangsmatrix; - Bestimmen eines wahrscheinlichen Zeitschritts als Reaktion auf den 3D-Tensor - Erzeugen eines wahrscheinlichen Ereignisses als Reaktion auf den wahrscheinlichen Zeitschritt; und - Erzeugen eines Steuersignals zum Steuern eines autonomen Fahrzeugs als Reaktion auf das wahrscheinliche Ereignis.
Verfahren nach Anspruch 1, worin das Sensorsignal als Reaktion auf mindestens eines von einem Radar, einem Lidar, einem Empfänger für globale Positionierungsdienste und einer Videokamera erzeugt wird.
Verfahren nach Anspruch 1, worin ein wahrscheinliches Ereignis in einem Speicher gespeichert wird, bis ein ähnliches Ereignis durch das autonome Fahrzeug eintritt.
Verfahren nach Anspruch 1, worin ein erster wahrscheinlicher Syntaxbaum als Reaktion auf den ersten Zeitschritt erzeugt wird und ein zweiter wahrscheinlicher Syntaxbaum als Reaktion auf den zweiten Zeitschritt erzeugt wird.
Verfahren nach Anspruch 1, worin ein optimaler Syntaxbaum als Reaktion auf den ersten Zeitschritt und den zweiten Zeitschritt erzeugt wird.
Verfahren nach Anspruch 1, worin die Übergangsmatrix verwendet wird, um einen optimalen Syntaxbaum für einen aktuellen Zeitschritt zu bestimmen.
Verfahren nach Anspruch 1, worin das Steuersignal als Reaktion auf ein zweites Steuersignal und eine archivierte Episode erzeugt wird, die in einem episodischen Speicher gespeichert ist.
Verfahren nach Anspruch 1, worin die autonome Fahrepisode an eine archivierte Episode angepasst wird, um eine Vielzahl von vorhergesagten Ereignissen zu erzeugen.
Vorrichtung, umfassend: - einen Sensor zum Erfassen einer Umgebung in der Nähe eines autonomen Fahrzeugs und zum Erzeugen eines Sensorsignals; - ein Wahrnehmungsmodul zum Erfassen eines Agenten in der Umgebung als Reaktion auf das Sensorsignal; - einen Agentenbewegungsprädikator zum Vorhersagen einer Bewegung des Agenten innerhalb der Umgebung als Reaktion auf das Erfassen des Agenten; - ein kognitives Modul zum Bestimmen einer Fahrepisode als Reaktion auf die vorhergesagte Bewegung des Agenten, zum Segmentieren der Fahrepisode in einen ersten Zeitschritt und einen zweiten Zeitschritt, zum Empfangen von ersten Fahrdaten, die eine erste Aktion als Reaktion auf den ersten Zeitschritt anzeigen, und von zweiten Fahrdaten, die eine zweite Aktion als Reaktion auf die zweiten Fahrdaten anzeigen, zum Erzeugen einer Regel als Reaktion auf die erste Aktion und die zweite Aktion zum Erzeugen eines Steuersignals als Reaktion auf die Regel; und - ein Bewegungssteuerungsmodul zum Empfangen des Steuersignals und Steuern eines autonomen Fahrzeugs als Reaktion auf das Steuersignal.
Verfahren zum Steuern eines Fahrzeugs, umfassend; - Empfangen einer Eingabe, die ein Trainingsereignis anzeigt; - Segmentieren der Fahrepisode in einen ersten Zeitschritt und einen zweiten Zeitschritt; - Empfangen von ersten Fahrdaten, die eine erste Aktion als Reaktion auf den ersten Zeitschritt anzeigen, und zweiten Fahrdaten, die eine zweite Aktion als Reaktion auf die zweiten Fahrdaten anzeigen; - Erzeugen einer Regel als Reaktion auf die erste Aktion und die zweite Aktion; und - Steuern eines autonomen Fahrzeugs als Reaktion auf ein Fahrereignis und die Regel.