DE112017006530B4

DE112017006530B4 - Rückmeldung für ein autonomes fahrzeug

Info

Publication number: DE112017006530B4
Application number: DE112017006530.5T
Authority: DE
Inventors: Guy Hotson; Maryam Moosaei; Vidya Nariyambut murali; Jinesh J. Jain
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-01-24
Filing date: 2017-01-24
Publication date: 2024-08-01
Anticipated expiration: 2037-01-25
Also published as: US11318952B2; CN110225852A; WO2018139993A8; WO2018139993A1; CN110225852B; US20190382030A1; DE112017006530T5

Abstract

Verfahren, umfassend, durch ein Computersystem:Empfangen einer ersten Eingabe von einem ersten Fahrgast eines autonomen Fahrzeugs, wobei die erste Eingabe eine erste Rückmeldung in Bezug auf einen ersten Abschnitt einer ersten Fahrt enthält, die von dem autonomen Fahrzeug mit dem ersten Fahrgast durchgeführt wurde;Empfangen einer zweiten Eingabe von einem zweiten Fahrgast eines autonomen Fahrzeugs,wobei die zweite Eingabe eine zweite Rückmeldung in Bezug auf einen ersten Abschnitt einer zweiten Fahrt enthält, die von dem autonomen Fahrzeug mit dem zweiten Fahrgast durchgeführt wird, wobei der erste Abschnitt der ersten Fahrt und der erste Abschnitt der zweiten Fahrt einen gleichen Standort haben;Empfangen von Sensordaten von dem autonomen Fahrzeug, die sich auf den ersten Abschnitt der Fahrt beziehen; undAktualisieren eines Modells der künstlichen Intelligenz (KI), das von dem autonomen Fahrzeug für die Navigation verwendet wird auf Basis der ersten Rückmeldung, der zweiten Rückmeldung und der Sensordaten.

Description

ALLGEMEINER STAND DER TECHNIK
GEBIET DER ERFINDUNG
Die Erfindung betrifft das Betreiben eines autonomen Fahrzeugs.
ALLGEMEINER STAND DER TECHNIK
Autonome Fahrzeuge werden immer relevanter und werden täglich genutzt. In einem autonomen Fahrzeugs greift eine Steuerung auf Sensoren zurück, um Hindernisse und Straßenoberflächen in der Umgebung zu erfassen. Die Steuerung implementiert Logik, die das Steuern von Lenkung, Bremsen und Beschleunigen ermöglicht, um ein Ziel zu erreichen und Zusammenstöße zu vermeiden. Beispielsweise offenbart die Schrift WO 2016 / 109 540 A1 Systeme und Methoden zur Steuerung eines autonomen Fahrzeugs.
Das System und das Verfahren, die hierin offenbart sind, stellen einen verbesserten Ansatz zum Implementieren der Steuerlogik für ein autonomes Fahrzeugs bereit.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Zum leichteren Verständnis der Vorteile der Erfindung erfolgt eine ausführlichere Beschreibung der oben kurz beschriebenen Erfindung unter Bezugnahme auf spezifische Ausführungsformen, die in den beigefügten Zeichnungen dargestellt sind. Mit dem Verständnis, dass diese Zeichnungen nur typische Ausführungsformen der Erfindung darstellen und daher nicht als ihren Umfang einschränkend zu betrachten sind, wird die Erfindung mit weiteren Einzelheiten und Details anhand der begleitenden Zeichnungen beschrieben, in denen gilt:

1 ist ein schematisches Blockdiagramm von Komponenten, die ein System gemäß einer Ausführungsform der vorliegenden Offenbarung implementieren;
2 ist ein schematisches Blockdiagramm einer beispielhaften Rechenvorrichtung, die zum Implementieren von Verfahren gemäß Ausführungsformen der Erfindung geeignet ist;
3 ist ein Prozessablaufdiagramm eines Verfahrens zum Aktualisieren von Steuerlogik auf Grundlage von Insassenrückmeldung gemäß Ausführungsformen der Erfindung;
4 stellt eine Schnittstelle zum Empfangen von Insassenrückmeldung gemäß einer Ausführungsform der vorliegenden Offenbarung dar.

AUSFÜHRLICHE BESCHREIBUNG
Bezug nehmend auf 1 können die hierin offenbarten Verfahren unter Verwendung des dargestellten Systems 100 durchgeführt werden. Wie hierin ausführlicher erörtert, kann eine Steuerung 102 autonome Navigation und Zusammenstoßvermeidung für ein Fahrzeug durchführen, in dem die Steuerung 102 aufgenommen ist. Das Fahrzeug kann alle Strukturen und Merkmale eines beliebigen im Stand der Technik bekannten Fahrzeugs aufweisen, darunter Räder, einen Antriebsstrang, der an die Räder gekoppelt ist, einen Motor, der an den Antriebsstrang gekoppelt ist, ein Lenksystem, ein Bremssystem und andere Systeme, von denen im Stand der Technik bekannt sind, dass ein Fahrzeug sie beinhaltet.
Die Steuerung 102 kann eine oder mehrere Eingaben von einem oder mehreren äußeren Sensoren 104 empfangen. Beispielsweise können eine oder mehrere Kameras 106a am Fahrzeug 100 angebracht sein und Bildstreams an die Steuerung 102 ausgeben. Die äußeren Sensoren 104 können Sensoren wie etwa einen Ultraschallsensor 106b, einen RADAR(Radio Detection and Ranging)-Sensor 106c, einen LIDAR (Light Detection and Ranging)-Sensor 106d, einen SONAR (Sound Navigation and Ranging)-Sensor 106e und dergleichen beinhalten.
Die Steuerung 102 kann ein Modul 108 für autonomen Betrieb ausführen, das Ausgaben der äußeren Sensoren 104 empfängt. Das Modul 108 für autonomen Betrieb kann ein Hindernisidentifikationsmodul 110a, ein Zusammenstoßvorhersagemodul 110b und ein Entscheidungsmodul 110c beinhalten. Das Hindernisidentifikationsmodul 110a analysiert die Ausgaben der äußeren Sensoren und identifiziert mögliche Hindernisse einschließlich Menschen, Tieren, Fahrzeugen, Gebäuden, Bordsteinen und anderen Objekten oder Strukturen. Insbesondere kann das Hindernisidentifikationsmodul 110a Fahrzeugbilder in den Sensorausgaben identifizieren.
Das Zusammenstoßvorhersagemodul 110b sagt vorher, welches Hindernis mit dem Fahrzeug 100 auf Grundlage seiner aktuellen Trajektorie oder seines aktuellen vorgesehenen Wegs mit Wahrscheinlichkeit zusammenstoßen kann. Das Zusammenstoßvorhersagemodul 110b kann die Wahrscheinlichkeit des Zusammenstoßes mit Objekten beurteilen, die vom Hindernisidentifikationsmodul 110a identifiziert werden. Das Entscheidungsmodul 110c kann eine Entscheidung treffen, anzuhalten, zu beschleunigen, abzubiegen usw., um Hindernisse zu vermeiden. Die Art und Weise, wie das Zusammenstoßvorhersagemodul 110b mögliche Zusammenstöße vorhersagt, und die Art und Weise, wie das Entscheidungsmodul 110c Maßnahmen ergreift, um einen möglichen Zusammenstoß zu vermeiden, kann gemäß einem beliebigen Verfahren oder System erfolgen, das auf dem Gebiet der autonomen Fahrzeuge bekannt ist.
Das Entscheidungsmodul 110c kann die Trajektorie des Fahrzeugs steuern, um zu einem gewünschten Ziel zu navigieren und dabei Hindernisse zu vermeiden. Beispielsweise kann das Entscheidungsmodul 110c einen oder mehrere Aktoren 112 aktivieren, die die Richtung und Geschwindigkeit des Fahrzeugs 100 steuern. Beispielsweise können die Aktoren 112 einen Lenkaktor 114a, einen Beschleunigungsaktor 114b und einen Bremsaktor 114c beinhalten. Die Konfiguration der Aktoren 114a-1 14c kann gemäß einer beliebigen Implementierung solcher Aktoren erfolgen, die auf dem Gebiet der autonomen Fahrzeuge bekannt ist.
In Ausführungsformen können die oben beschriebenen Funktionsweisen von einigen oder allen von dem Hindernisidentifikationsmodul 110a, dem Zusammenstoßvorhersagemodul 110b und dem Entscheidungsmodul 110c durch ein Künstliche-Intelligenz(artificial intelligence -AI)-Modell 116 implementiert werden. Bei dem AI-Modell 116 kann es sich um ein Modell für maschinelles Lernen wie etwa ein neuronales Deep-Learning-Netz (deep neural network - DNN), ein Bayes'sches Maschinenlernmodell oder dergleichen handeln. In einigen Ausführungsform kann der von GOOGLE bereitgestellte bestärkende Deep-Learning-Algorithmus zum Erzeugen des AI-Modells 116 verwendet werden.
Die Steuerung 102 kann mit einem Serversystem 118 in Datenkommunikationsverbindung stehen. Beispielsweise kann die Steuerung 102 über ein Netz 122 wie etwa einem lokalen Netz (local area network - LAN), Weitverkehrsnetz (wide area network - WAN), dem Internet oder einer beliebigen anderen drahtlosen oder drahtgebundenen Netzverbindung mit einem oder mehreren Mobilfunkmasten 120 in Datenkommunikationsverbindung stehen, die mit dem Serversystem 118 in Datenkommunikationsverbindung stehen.
Das Serversystem 118 kann eine Datenbank 124 enthalten oder darauf zugreifen. Die Datenbank 124 kann Fahrtberichte 126 speichern. Die Fahrtberichte 126 können Benutzerrückmeldung 128a beinhalten. Die Rückmeldung 128a kann Rückmeldung sein, die von einem Insassen während oder nach einer Fahrt empfangen wird, wie unten beschrieben.
Beispielsweise kann das Modul 108 für autonomen Betrieb ein Rückmeldungsmodul 110d beinhalten, über das der Insasse Rückmeldung bereitstellt, wie gemäß dem unten beschriebenen Verfahren beschrieben. Die Fahrtberichte 126 können ferner Sensordaten 128b für jede Fahrt beinhalten, wie etwa einige oder alle Sensordaten für einige oder alle äußeren Sensoren 104.
Wie nachstehend beschrieben, kann ein Benutzer Rückmeldung mittels einer mobilen Vorrichtung 130 wie etwa einem Mobiltelefon, einem Tabletcomputer am Körper tragbaren Computer bereitstellen. Die hierin der mobilen Vorrichtung 130 zugeschriebenen Funktionen können auch von einem Desktop- oder Laptopcomputer oder einer beliebigen anderen Art von Rechenvorrichtung durchgeführt werden. In einigen Ausführungsformen kann die mobile Vorrichtung 130 mittels der Steuerung 102 oder einer anderen zwischengeschalteten Rechenvorrichtung direkt mit dem Server 118 kommunizieren.
Wie nachstehend ausführlicher beschrieben, kann die Datenbank 124 auch eine Version des AI-Modells 116 beinhalten. Das AI-Modell 116 kann vom Serversystem 118 in Reaktion auf die Fahrtberichte 126 aktualisiert werden, wie unten beschrieben. Das aktualisierte AI-Modell 116 kann an die Steuerungen 102 von einem oder mehreren Fahrzeugen übertragen werden, um frühere Versionen des AI-Modells 116 zu ersetzen, auf die die Steuerungen zugreifen.
2 ist ein Blockschaubild, das eine beispielhafte Rechenvorrichtung 200 darstellt. Die Rechenvorrichtung 200 kann zum Durchführen verschiedener Abläufe verwendet werden, wie etwa den hierin erörterten. Die Steuerung 102, das Serversystem 118 und die mobile Vorrichtung 130 können einige oder alle Attribute der Rechenvorrichtung 200 aufweisen.
Die Rechenvorrichtung 200 beinhaltet einen oder mehrere Prozessoren 202, eine oder mehrere Vorrichtungen 204, eine oder mehrere Schnittstellen 206, eine oder mehrere Massenspeichervorrichtungen 208, eine oder mehrere Eingabe/Ausgabe(Input/Output -I/O)-Vorrichtungen 210 und eine Anzeigevorrichtung 230, die alle an einen Bus 212 gekoppelt sind. Der oder die Prozessoren 202 beinhalten einen oder mehrere Prozessoren oder eine oder mehrere Steuerungen, die Anweisungen ausführen, die in einer oder mehreren Speichervorrichtungen 204 und/oder Massenspeichervorrichtungen 208 gespeichert sind. Der oder die Prozessoren 202 können auch verschiedene Arten von computerlesbaren Medien wie etwa Cache-Speicher beinhalten.
Die eine oder die mehreren Speichervorrichtungen 204 beinhalten verschiedene computerlesbare Medien wie etwa flüchtigen Speicher (z. B. Direktzugriffsspeicher (random access memory - RAM) 214) und/oder nicht flüchtigen Speicher (z. B. Nurlesespeicher (readonly memory - ROM) 216). Die eine oder die mehreren Speichervorrichtungen 204 können auch wieder beschreibbaren ROM wie etwa Flash-Speicher beinhalten.
Die eine oder die mehreren Massenspeichervorrichtungen 208 beinhalten verschiedene computerlesbare Medien wie etwa Magnetband, optische Disks, Festkörperspeicher (z. B. Flash-Speicher) und so weiter. Wie in 2 gezeigt, ist eine bestimmte Massenspeichervorrichtung ein Festplattenlaufwerk 224. In der oder den Massenspeichervorrichtungen 208 können verschiedene Laufwerke enthalten sein, um das Lesen oder Beschreiben der verschiedenen computerlesbaren Medien zu ermöglichen. Die eine oder die mehreren Massenspeichervorrichtungen 208 beinhalten Wechselmedien 226 und/oder nicht wechselbare Medien.
Die eine oder die mehreren I/O-Vorrichtungen 210 beinhalten verschiedene Vorrichtungen, die es ermöglichen, dass Daten und/oder Informationen in die Rechenvorrichtung 200 eingegeben oder daraus abgerufen werden. Zu beispielhaften I/O-Vorrichtungen 210 gehören Cursor-Steuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzwerkschnittstellenkarten, Modems, Linsen, CCDs oder andere Bildaufnahmevorrichtungen und dergleichen.
Die Anzeigevorrichtung 230 beinhaltet eine beliebige Art von Vorrichtung, die Informationen an einen oder mehrere Benutzer der Rechenvorrichtung 200 anzeigen kann. Beispiele der Anzeigevorrichtung 230 beinhalten einen Monitor, ein Display, eine Videoprojektionsvorrichtung und dergleichen.
Die eine oder die mehreren Schnittstellen 206 beinhalten verschiedene Schnittstellen, mit denen die Rechenvorrichtung 200 mit anderen Systemen, Vorrichtungen oder Rechenumgebungen interagieren kann. Beispielhafte Schnittstellen 206 beinhalten eine beliebige Anzahl von Netzschnittstellen 220, etwa Schnittstellen zu lokalen Netzen (LANs), Weitverkehrsnetzen (WANs), drahtlosen Netzen und dem Internet. Eine oder mehrere andere Schnittstellen beinhalten eine Benutzerschnittstelle 218 und eine Peripheriegeräteschnittstelle 222. Die eine oder die mehreren Schnittstellen 206 können auch eine oder mehrere Peripheriegeräteschnittstellen beinhalten, wie etwa Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Trackpad usw.), Tastaturen und dergleichen.
Der Bus 212 ermöglicht es dem oder den Prozessoren 202, der oder den Speichervorrichtungen 204, der oder den Schnittstellen 206, der oder den Massenspeichervorrichtungen 208, der oder den I/O-Vorrichtungen 210 und der Anzeigevorrichtung 230, miteinander sowie mit anderen Vorrichtungen oder Komponenten zu kommunizieren, die an den Bus 212 gekoppelt sind. Der Bus 212 stellt eine oder mehrere von mehreren Arten von Busstrukturen dar, wie etwa einen Systembus, PCI-Bus, IEEE -1394-Bus, USB-Bus und so weiter.
Zu Darstellungszwecken sind Programme und andere ausführbare Programmkomponenten hier als separate Blöcke gezeigt, doch versteht es sich, dass diese Programme und Komponenten zu unterschiedlichen Zeiten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 200 residieren können und von dem oder den Prozessoren 202 ausgeführt werden können. Alternativ können die hierin beschriebenen Systeme und Verfahrensweisen in Hardware oder einer Kombination aus Hardware, Software und/oder Firmware implementiert sein. Beispielsweise können eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) dazu programmiert sein, die hierin beschriebenen Systeme und Verfahrensweisen auszuführen.
Bezug nehmend auf 3 kann das dargestellte Verfahren 300 von dem Serversystem 118 in Zusammenwirkung mit einer mobilen Vorrichtung 130 eines Insassen und der Steuerung 102 eines autonomen Fahrzeugs ausgeführt werden, in dem der Insasse fährt oder gefahren ist.
Das Verfahren 300 kann das Präsentieren 302 einer Schnittstelle an den Kunden der mobilen Vorrichtung 130 zum Empfangen von Rückmeldung vom Insassen zur Fahrt beinhalten. Die Daten zum Befüllen der Schnittstelle können vom Serversystem 118 an die mobile Vorrichtung 130 übertragen werden. Beispielsweise kann die Steuerung 102 Daten für eine Fahrt an das Serversystem 118 oder direkt an die mobile Vorrichtung 130 übertragen. Die Daten für die Fahrt können die gefahrene Route und ein oder mehrere Fahrzeugsignale wie etwa Signale beinhalten, die während der Fahrt von den äußeren Sensoren 104 abgeleitet werden.
Die Steuerung 102 oder das Serversystem 118 kann die Schnittstelle weiter definieren und an die mobile Vorrichtung 130 zur Anzeige bereitstellen, wie etwa in der Form einer Webseite. Alternativ kann die Steuerung 102 oder das Serversystem 118 Daten, die die Schnittstelle definieren, an eine Anwendung bereitstellen, die auf der mobilen Vorrichtung 130 ausgeführt wird, die dann die Schnittstelle auf der mobilen Vorrichtung 130 darstellt.
In noch einer anderen Ausführungsform werden die Daten zum Definieren der Schnittstelle von der Steuerung 102 direkt an die mobile Vorrichtung 130 bereitgestellt, wie etwa über eine drahtlose Netzverbindung.
4 stellt eine beispielhafte Schnittstelle dar. Die Schnittstelle kann eine Karte 400 beinhalten, die Straßen, Orientierungspunkte, Kennzeichnungen von Straßen und Orientierungspunkten und beliebige andere Informationen darstellt, die in einer im Stand der Technik bekannten Karte enthalten sind. Die Karte kann über ein Satellitenbild der Region gelegt werden, das als die Karte dargestellt ist, wie im Stand der Technik bekannt.
Die Schnittstelle kann ein Schnittstellenelement 404 beinhalten, das ein Benutzer auswählen kann, um eine Bewertung einer Fahrt bereitzustellen, z. B. eine positive oder negative Bewertung, eine Auswahl eines Wertes von 1 bis N, wobei N keine Probleme angibt und 1 eine Fahrt von schlechter Qualität angibt.
Die Schnittstelle beinhaltet eine Darstellung 402 eines Wegs des Fahrzeugs während der Fahrt, der über die Karte gelagert ist. Die Schnittstelle kann Benutzereingaben empfangen, die Positionen 406, 408 angeben, an denen während der Fahrt Anomalien aufgetreten sind. In einigen Ausführungsform kann die Schnittstelle eine Spezifikation des Insassen zur Art von Anomalien empfangen. Beispielsweise kann das Schnittstellenelement 410 es einem Insassen ermöglichen, eine Position einer Fahrtanomalie zu markieren. Nach der Auswahl des Schnittstellenelements 410 kann beispielsweise eine nachfolgende Auswahl am Weg 102 als eine Benutzerspezifikation der Fahrtanomalie interpretiert werden. Die Schnittstelle kann ferner eine Benutzerspezifikation einer Art der Fahrtanomalie empfangen, d. h. eine autonome Handlung des Fahrzeugs, die nach Meinung des Insassen nicht gut ausgeführt wurde, etwa eine Abweichung von einer Spur, ein zu schnelles oder von einem geeigneten Weg abweichendes Abbiegen oder dergleichen.
Die Schnittstelle kann ein Schnittstellenelement 412 beinhalten, das es dem Insassen ermöglicht, einen ausgewählten Punkt auf der Wegkarte 400 anzugeben, der einer Straßenanomalie entspricht, z. B. ein Schlagloch, eine gesperrte Spur, eine Baustelle, eine gesperrte Straße, ein Unfall usw.
Erneut Bezug nehmend auf 3 kann das Verfahren 300 das Empfangen 304, durch das Serversystem 118, einer Rückmeldung durch die bei Schritt 302 präsentierte Schnittstelle beinhalten, wie etwa einige oder alle oben in Bezug auf die Schnittstelle aus 4 beschriebenen Rückmeldungen. Das Verfahren 300 beinhaltet ferner das Empfangen 306 von Sensordaten durch das Serversystem 118. Dies kann, für einige oder alle äußeren Sensoren 104, das Empfangen eines Satzes von Sensormesswerten für den Verlaufe der Fahrt von dem Sensor beinhalten. Entsprechend kann Schritt 306 das Empfangen von einigen oder allen aus einem Satz von Bildern, die von einer oder mehreren Kameras 106a, einem Strom von Ausgaben des Ultraschallsensors 106b, RADAR-Messwerten vom RADAR 106c, einem Satz von Punktwolken vom LIDAR-Sensor 106d und einem Satz von SONAR-Messwerten vom SONAR-Sensor 106e beinhalten.
In einigen Ausführungsform können die GPS(globales Positionsbestimmungssystem)-Koordinaten des Fahrzeugs 100 während der gesamten Fahrt, z. B. ein Zeitpunkt und die GPS-Koordinate zu diesem Zeitpunkt, bei Schritt 306 von der Steuerung 102 empfangen werden.
In einigen Ausführungsform können die bei Schritt 306 empfangenen Daten Ausgaben des Entscheidungsmoduls 110c beinhalten, d. h. von dem Entscheidungsmodul 110c veranlasste Handlungen, wie etwa Aktivierungen der Aktoren 112. Die bei Schritt 306 empfangenen Daten können Daten beinhalten, die die Positionen und/oder die relative Geschwindigkeit von Hindernissen, die von dem Hindernisidentifikationsmodul 110a während der Fahrt erkannt werden, und die Positionen vorhergesagter Zusammenstöße beschreiben, die während der Fahrt vom Zusammenstoßvorhersagemodul 110b identifiziert werden.
Das Verfahren 300 kann ferner das Trainieren 308 eines Modells gemäß der Rückmeldung aus Schritt 304 und den Sensordaten aus Schritt 306 beinhalten. Bei dem Modell kann es sich beispielsweise um das AI-Modell 116 handeln. Verschiedene maschinelle Lernmodelle ermöglichen es dem Modell, wiederholt mit zusätzlichen Trainingsdaten trainiert zu werden. Beispielsweise kann es sich bei dem AI-Modell 116 um ein bestärkendes Deep-Learning-Modell handeln, wie es etwa von GOOGLE bereitgestellt wird.
In diesem Fall kann das Trainieren 308 des Modells das Verwenden der Sensordaten als Eingaben und Entscheidungen des Entscheidungsmoduls 110c als Ausgaben beinhalten. In einigen Ausführungsform kann Schritt 308 das Trainieren des Modells mit Dutzenden, Hunderten oder sogar Tausenden von Datensätzen beinhalten, wobei jeder Datensatz Daten aus den Schritten 304 und 306 einer Fahrt beinhaltet. Rückmeldung ist als eine Gesamtbewertung des Insassen sowie als Rückmeldung zu bestimmten Fahrtanomalien verkörpert. Wie auf dem Gebiet der bestärkenden Deep-Learning-Modelle bekannt, kann das Modell auf Grundlage dieser Rückmeldung trainiert werden, um Handlungen zu fördern, die vom Insassen hoch bewertet wurden, d. h. eine ereignisarme Fahrt mit hoher Bewertung, und das Auftreten von Handlungen zu reduzieren, die in niedrig bewerteten Fahrten vorliegen oder vom Insassen als Anomalien markiert wurden.
Wenn der Insasse in einem Beispiel während eines bestimmten Fahrtabschnitts den Eindruck hat, dass die Steuerung 100 das Fahrzeug veranlasst, aggressiv abzubiegen, unterrichtet der Insasse das Serversystem 118 durch Rückmeldung in der Form von Bewertungen, wie oben beschrieben. Rückmeldung kann von mehreren Insassen empfangen werden, darunter mehreren Insassen, die an derselben Stelle abbiegen und Rückmeldung bereitstellen. Wenn in diesem Gebiet niedrigere Bewertungen von mehreren Insassen empfangen werden, heißt dies, dass das Serversystem 118 das Modell 116 unter Verwendung dieser Rückmeldung und der rund um diese Anomalie aufgezeichneten Sensordaten trainiert. Mit mehreren solchen Datensätzen über eine Zeitspanne hilft bestärkendes Deep-Learning, eine Lösung zu erreichen, die eine Art von kumulativer Belohnung maximiert. Wenn das System also bei dieser Abbiegung verschiedene niedrigere Bewertungen empfängt, erlernt das Modell 116 anhand dieses Verfahrens die Anomalien dieser Abbiegung und nimmt möglicherweise Änderungen an Steuerstrategien vor, was im Fall ein vorsichtigeres Abbiegen oder sogar eine ganz andere Route bedeuten könnte.
In einem anderen Beispiel kann jede Fahrt eines Insassen als eine Abfolge von Zustand-Handlung-Paaren dargestellt werden, wobei der Zustand des Fahrzeugs Sensorwerten entspricht und die Handlung Steuerausgaben (z. B. dem Lenkwinkel) entspricht. Jede Gruppe neuer Bewertungen mit entsprechenden Zustand-Handlung-Abfolgen kann in einem Schema für bestärkendes Deep-Learning wie etwa einem Deep-Q-Netzwerk verwendet werden. Wenn sich neue Bewertungen ansammeln, konvergiert das Netzwerk hin zu einer Steuerungsrichtlinie, die die von den Insassen abgegebenen Bewertungen verbessert.
Nach dem Training kann das trainierte AI-Modell 116 dann zum Aktualisieren 310 der Steuerungen 102 von einem oder mehreren Fahrzeugen verwendet werden. Beispielsweise durch Übertragen des aktualisierten AI-Modells über ein Netz 122 und ein oder mehrere Mobilfunkantennen 120 oder über eine drahtgebundene Verbindung mit der Steuerung 102 an die Steuerungen 102. Die Steuerungen 102 dieser Fahrzeuge können dann Hindernisvermeidung und autonome Navigation unter Verwendung des aktualisierten AI-Modells 116 durchführen.
In der vorstehenden Offenbarung wurde auf die begleitenden Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen zur Veranschaulichung spezifische Implementierungen gezeigt sind, in denen die Offenbarung umgesetzt werden kann. Es versteht sich, dass andere Implementierungen benutzt werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Die Bezugnahme auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“ usw. in der Beschreibung gibt an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft beinhalten kann, aber nicht jede Ausführungsform muss zwingend das bestimmte Merkmal, die bestimmte Struktur oder Eigenschaft beinhalten. Auch beziehen sich diese Ausdrücke nicht zwingend auf dieselbe Ausführungsform. Wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird davon ausgegangen, dass es innerhalb des Wissensumfangs eines Fachmanns liegt, dieses Merkmal, diese Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen zu erzielen, ungeachtet dessen, ob dies ausdrücklich beschrieben ist oder nicht.
Implementierungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen speziellen oder universellen Computer benutzen, der Computerhardware beinhaltet, wie beispielsweise einen oder mehrere Prozessoren und Systemspeicher, wie hierin erörtert. Implementierungen innerhalb des Umfangs der vorliegenden Offenbarung können auch physische und andere computerlesbare Medien zum Übertragen oder Speichern von durch einen Computer ausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Diese computerlesbaren Medien können beliebige verfügbare Medien sein, auf die ein universelles oder spezielles Computersystem zugreifen kann. Computerlesbare Medien, die durch einen Computer ausführbare Anweisungen speichern, sind Computerspeichermedien (-vorrichtungen). Computerlesbare Medien, die durch einen Computer ausführbare Anweisungen übertragen, sind Übertragungsmedien. Als Beispiel und nicht einschränkend können Implementierungen der Offenbarung daher wenigstens zwei voneinander verschiedene Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (solid state drives - SSDs) (z. B. auf Grundlage von RAM), Flash-Speicher, Phasenwechselspeicher (phase-change memory - PCM), andere Arten von Speicher, andere optische Disk- oder andere Magnetdiskspeichervorrichtungen, oder ein beliebiges anderes Medium, das zum Speichern gewünschter Programmcodemittel in der Form von durch einen Computer ausführbaren Anweisungen verwendet werden kann, auf die ein universeller oder spezieller Computer zugreifen kann.
Eine Implementierung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetz kommunizieren. Ein „Netz“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport von elektronischen Daten zwischen Computersystemen und/oder - modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netz oder eine andere Kommunikationsverbindung (sei diese festverdrahtet, drahtlos oder eine Kombination von festverdrahtet und drahtlos) an einen Computer übertragen oder bereitgestellt werden, betrachtet der Computer die Verbindung faktisch als ein Übertragungsmedium. Übertragungsmedien können ein Netz und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen der Vorstehenden sollen ebenfalls im Umfang computerlesbarer Medien eingeschlossen sein.
Durch einen Computer ausführbare Anweisungen umfassen beispielsweise Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die durch einen Computer ausführbaren Anweisungen können beispielsweise Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Der Fachmann wird zu schätzen wissen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen angewendet werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handgeräten, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedener Speichergeräte und dergleichen. Die Offenbarung kann auch in Umgebungen mit verteilten Systemen angewendet werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netz (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in entfernten Speichervorrichtungen befinden.
Ferner können die hier beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden ausgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Beispielsweise können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) dazu programmiert sein, die hierin beschriebenen Systeme und Verfahrensweisen auszuführen. Einige Begriffe werden in der gesamten Beschreibung und den Ansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird erkennen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es sei angemerkt, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel einen Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hier zu Veranschaulichungszwecken bereitgestellt und nicht als einschränkend gedacht. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem Fachmann auf den relevanten Gebieten bekannt ist.
Zumindest einige Ausführungsformen der Offenbarung richten sich an Computerprogrammprodukte, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
Obgleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele dienen und nicht als Einschränkung. Für den Fachmann ist ersichtlich, dass verschiedene Änderungen an Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern sollen ausschließlich in Übereinstimmung mit den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zur Veranschaulichung und Beschreibung dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und sie nicht dazu gedacht, die Offenbarung auf die konkrete offenbarte Form zu beschränken. In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Abwandlungen möglich. Ferner ist anzumerken, dass beliebige oder alle der vorstehend genannten alternativen Implementierungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridimplementierungen der Offenbarung zu bilden.

Claims

Verfahren, umfassend, durch ein Computersystem: Empfangen einer ersten Eingabe von einem ersten Fahrgast eines autonomen Fahrzeugs, wobei die erste Eingabe eine erste Rückmeldung in Bezug auf einen ersten Abschnitt einer ersten Fahrt enthält, die von dem autonomen Fahrzeug mit dem ersten Fahrgast durchgeführt wurde; Empfangen einer zweiten Eingabe von einem zweiten Fahrgast eines autonomen Fahrzeugs, wobei die zweite Eingabe eine zweite Rückmeldung in Bezug auf einen ersten Abschnitt einer zweiten Fahrt enthält, die von dem autonomen Fahrzeug mit dem zweiten Fahrgast durchgeführt wird, wobei der erste Abschnitt der ersten Fahrt und der erste Abschnitt der zweiten Fahrt einen gleichen Standort haben; Empfangen von Sensordaten von dem autonomen Fahrzeug, die sich auf den ersten Abschnitt der Fahrt beziehen; und Aktualisieren eines Modells der künstlichen Intelligenz (KI), das von dem autonomen Fahrzeug für die Navigation verwendet wird auf Basis der ersten Rückmeldung, der zweiten Rückmeldung und der Sensordaten.
Verfahren nach Anspruch 1, wobei das Aktualisieren des Modells der künstlichen Intelligenz (KI) das Aktualisieren des KI-Modells unter Verwendung eines Deep-Reinforcement-Learning-Algorithmus umfasst.
Verfahren nach Anspruch 1, wobei die erste Eingabe einen Bericht über eine Fahranomalie beinhalten.
Verfahren nach Anspruch 1, wobei die erste Eingabe einen Bericht über eine Fahrspurabweichung beinhaltet.
Verfahren nach Anspruch 1, wobei die erste Eingabe einen Bericht über eine Abweichung während einer Kurve beinhaltet.
Verfahren nach Anspruch 1, wobei das Empfangen der ersten Eingabe das Empfangen der ersten Eingabe von einem mobilen Gerät des Fahrgastes umfasst.
Verfahren nach Anspruch 6, wobei das Empfangen der ersten Eingabe das Empfangen einer Benutzerauswahl von einer oder mehreren Positionen auf einer Karte umfasst, die auf dem mobilen Gerät angezeigt wird, und eine Anzeige, dass die eine oder die mehreren Positionen mindestens einer Straßenanomalie und einer Fahranomalie entsprechen.
Verfahren nach Anspruch 1, wobei die Sensordaten Ausgaben von mindestens einer der folgenden Komponenten enthalten: Lichterkennungs- und Entfernungsmesssensors (LIDAR), einem Funkerkennungssensor (RADAR) und eine oder mehrere Kameras.
Verfahren nach Anspruch 1, ferner umfassend: Empfangen von Ausgaben von einem oder mehreren Sensoren durch ein Steuergerät des autonomen Fahrzeugs; und autonomes Fahren des autonomen Fahrzeugs durch das Steuergerät, unter Verwendung der Ausgaben, die gemäß dem Modell der künstlichen Intelligenz (KI) verarbeitet werden.
System, umfassend eine oder mehrere Verarbeitungsvorrichtungen und eine oder mehrere Speichervorrichtungen, die mit der einen oder den mehreren Verarbeitungsvorrichtungen in Wirkverbindung stehen, wobei die eine oder die mehreren Speichervorrichtungen einen ausführbaren Code speichern, der bewirkt, dass die eine oder die mehreren Verarbeitungsvorrichtungen Folgendes tun: Empfangen einer ersten Eingabe von einem ersten Fahrgast eines autonomen Fahrzeugs, wobei die erste Eingabe eine erste Rückmeldung in Bezug auf einen ersten Abschnitt einer ersten Fahrt enthält, die von dem autonomen Fahrzeug mit dem ersten Fahrgast durchgeführt wird; Empfangen einer zweiten Eingabe von einem zweiten Fahrgast eines autonomen Fahrzeugs, wobei die zweite Eingabe eine zweite Rückmeldung in Bezug auf einen ersten Abschnitt einer zweiten Fahrt enthält, die von dem autonomen Fahrzeug mit dem zweiten Fahrgast durchgeführt wird, wobei der erste Abschnitt der ersten Fahrt und der erste Abschnitt der zweiten Fahrt einen gleichen Standort haben; Empfangen von Sensordaten von dem autonomen Fahrzeug, die sich auf den ersten Abschnitt der Fahrt beziehen; und Aktualisieren eines Modells der künstlichen Intelligenz (KI), das von dem autonomen Fahrzeug für die Navigation verwendet wird, auf Basis der ersten Rückmeldung, der zweiten Rückmeldung und der Sensordaten.
System nach Anspruch 10, wobei der ausführbare Code ferner bewirkt, dass die eine oder die mehreren Verarbeitungsvorrichtungen das Modell der künstlichen Intelligenz (KI) aktualisieren, indem sie das KI-Modell unter Verwendung eines Deep-Reinforcement-Learning-Algorithmus aktualisieren.
System nach Anspruch 10, wobei die erste Eingabe einen Bericht über eine Fahranomalie beinhaltet.
System nach Anspruch 10, wobei die erste Eingabe einen Bericht über eine Fahrspurabweichung beinhaltet.
System nach Anspruch 10, wobei die erste Eingabe einen Bericht über eine Abweichung während einer Kurve beinhaltet.
System nach Anspruch 10, wobei der ausführbare Code ferner bewirkt, dass die eine oder die mehreren Verarbeitungsvorrichtungen die erste Eingabe empfangen, indem sie die erste Eingabe von einem mobilen Gerät des Fahrgastes empfangen.
System nach Anspruch 15, wobei der ausführbare Code ferner bewirkt, dass die eine oder die mehreren Verarbeitungsvorrichtungen die erste Eingabe empfangen, indem sie eine Benutzerauswahl eines oder mehrerer Positionen auf einer Karte empfangen, die auf dem mobilen Gerät angezeigt wird, und eine Angabe, dass die eine oder die mehreren Positionen mindestens einer Straßenanomalie und einer Fahranomalie entsprechen.
System nach Anspruch 10, wobei die Sensordaten Ausgaben von mindestens einer der folgenden Komponenten enthalten: Lichterkennungs- und Entfernungsmesssensor (LIDAR), einem Funkerkennungssensor (RADAR) und einer oder mehreren Kameras.
System nach Anspruch 10, ferner umfassend: das autonome Fahrzeug, das ein Steuergerät umfasst, das programmiert ist zum: Empfangen von Ausgaben von einem oder mehreren Sensoren; und autonomen Fahren des autonomen Fahrzeugs unter Verwendung der Ausgaben, die gemäß dem Modell der künstlichen Intelligenz (KI) verarbeitet werden.
Verfahren nach Anspruch 1, wobei die erste Rückmeldung und die zweite Rückmeldung eine negative Erfahrung bei der ersten Fahrt und der zweiten Fahrt in Verbindung mit dem ersten Abschnitt anzeigen, wobei die negative Erfahrung eine durchgeführte Aktion des autonomen Fahrzeugs im ersten Abschnitt umfasst.
Verfahren nach Anspruch 19, wobei das Aktualisieren eines Modells der künstlichen Intelligenz (KI) ferner das Verstärken des KI-Modells umfasst, um die Aktion des autonomen Fahrzeugs im ersten Abschnitt zu vermeiden.