DE112021000497T5

DE112021000497T5 - Kommunikationssystem und -verfahren

Info

Publication number: DE112021000497T5
Application number: DE112021000497.2T
Authority: DE
Inventors: Ramiro Almeida; Pierre Beaudreau; Alexandra Klotz; Dana Kirsanov; Disha Sule; Louise Katzovitz
Original assignee: Magna Electronics Inc
Current assignee: Magna Electronics Inc
Priority date: 2020-01-10
Filing date: 2021-01-11
Publication date: 2022-11-24
Also published as: CN115066662A; WO2021142442A1; US11866063B2; US20210213970A1

Abstract

Verfahren, Computerprogrammprodukt und Computersystem zum Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden; und Verarbeiten der Informationen, die von dem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden, um eine Antwort zu erzeugen, die zumindest teilweise auf den von dem Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert.

Description

Verwandte Anmeldung(en)
Diese Anmeldung beansprucht die Vorteile der am 10. Januar 2020 eingereichten vorläufigen US-Anmeldung Nr. 62/959,400 , deren gesamter Inhalt durch Bezugnahme hierin aufgenommen ist.
Technisches Gebiet
Diese Offenbarung bezieht sich auf Kommunikationssysteme und insbesondere auf Kommunikationssysteme zur Verwendung in autonomen Fahrzeugen.
Hintergrund
Da sich der Verkehr in Richtung autonomer (d. h. fahrerloser) Fahrzeuge entwickelt, müssen sich die Hersteller und Konstrukteure dieser autonomen Fahrzeuge mit Fragen befassen, die bei herkömmlichen Fahrzeugen keine Rolle spielen.
Zum Beispiel werden Mietfahrzeuge von einem Fahrer gefahren, mit dem die Fahrer im Fahrzeug sprechen können. Dementsprechend kann der Mitfahrer im Fahrzeug dem Fahrer Fragen stellen, sein Ziel ändern, den Fahrer bitten, einen unerwarteten Zwischenstopp einzulegen, usw. Bei autonomen Fahrzeugen sind solche Diskussionen jedoch schwierig, da es kein menschliches Wesen gibt, mit dem der Fahrer sprechen kann.
Zusammenfassung der Offenlegung
In einer Implementierung wird ein computerimplementiertes Verfahren auf einer Computervorrichtung ausgeführt und umfasst: Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden; und Verarbeiten der Informationen, die von dem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden, um eine Antwort zu erzeugen, die zumindest teilweise auf den von dem Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert.
Eines oder mehrere der folgenden Merkmale können enthalten sein. Das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden, kann umfassen: Überwachen des Innenraums des autonomen Fahrzeugs auf verbale Informationen, die von dem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden; wobei der Innenraum des autonomen Fahrzeugs eine Mikrofonbaugruppe zum Erhalten der verbalen Informationen, die von dem Fahrer des autonomen Fahrzeugs zur Verfügung gestellt werden, umfasst. Das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden, kann Folgendes umfassen: Überwachen des Innenraums des autonomen Fahrzeugs auf nonverbale Informationen, die von dem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden; wobei der Innenraum des autonomen Fahrzeugs eine Eingabevorrichtung zum Erhalten der vom Fahrer des autonomen Fahrzeugs zur Verfügung gestellten nonverbalen Informationen umfasst. Die nonverbalen Informationen können eines oder mehrere der folgenden Elemente enthalten: textbasierte Informationen und kodierte Informationen. Die Antwort kann dem Fahrer des autonomen Fahrzeugs zur Verfügung gestellt werden. Das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs kann Folgendes umfassen: Bereitstellen einer verbalen Antwort an den Fahrer des autonomen Fahrzeugs; wobei der Innenraum des autonomen Fahrzeugs eine Lautsprecherbaugruppe zum Bereitstellen der verbalen Antwort an den Fahrer des autonomen Fahrzeugs umfasst. Die Bereitstellung der Antwort an den Fahrer des autonomen Fahrzeugs kann Folgendes umfassen: Bereitstellung einer nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs; wobei das Innere des autonomen Fahrzeugs eine Ausgabebaugruppe zur Bereitstellung der nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs umfasst. Die nonverbale Information kann eines oder mehrere der folgenden Elemente umfassen: eine textbasierte Antwort; und eine lichtbasierte Antwort. Die vom Fahrer des autonomen Fahrzeugs bereitgestellte Information kann eine verbale Information sein. Das Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen, um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert, kann Folgendes umfassen: Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten verbalen Informationen unter Verwendung von Natürlichem Sprachverständnis (NLU), um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten verbalen Informationen basiert.
In einer anderen Implementierung befindet sich ein Computerprogrammprodukt auf einem computerlesbaren Medium, auf dem eine Vielzahl von Anweisungen gespeichert ist. Wenn es von einem Prozessor ausgeführt wird, veranlassen die Anweisungen den Prozessor, Vorgänge auszuführen, die Folgendes umfassen: Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden; und Verarbeiten der Informationen, die von dem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden, um eine Antwort zu erzeugen, die zumindest teilweise auf den von dem Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert.
Eines oder mehrere der folgenden Merkmale können enthalten sein. Das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden, kann umfassen: Überwachen des Innenraums des autonomen Fahrzeugs auf verbale Informationen, die von dem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden; wobei der Innenraum des autonomen Fahrzeugs eine Mikrofonbaugruppe zum Erhalten der verbalen Informationen, die von dem Fahrer des autonomen Fahrzeugs zur Verfügung gestellt werden, umfasst. Das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden, kann Folgendes umfassen: Überwachen des Innenraums des autonomen Fahrzeugs auf nonverbale Informationen, die von dem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden; wobei der Innenraum des autonomen Fahrzeugs eine Eingabevorrichtung zum Erhalten der vom Fahrer des autonomen Fahrzeugs zur Verfügung gestellten nonverbalen Informationen umfasst. Die nonverbalen Informationen können eines oder mehrere der folgenden Elemente enthalten: textbasierte Informationen und kodierte Informationen. Die Antwort kann dem Fahrer des autonomen Fahrzeugs zur Verfügung gestellt werden. Das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs kann Folgendes umfassen: Bereitstellen einer verbalen Antwort an den Fahrer des autonomen Fahrzeugs; wobei der Innenraum des autonomen Fahrzeugs eine Lautsprecherbaugruppe zum Bereitstellen der verbalen Antwort an den Fahrer des autonomen Fahrzeugs umfasst. Die Bereitstellung der Antwort an den Fahrer des autonomen Fahrzeugs kann Folgendes umfassen: Bereitstellung einer nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs; wobei das Innere des autonomen Fahrzeugs eine Ausgabebaugruppe zur Bereitstellung der nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs umfasst. Die nonverbale Information kann eines oder mehrere der folgenden Elemente umfassen: eine textbasierte Antwort; und eine lichtbasierte Antwort. Die vom Fahrer des autonomen Fahrzeugs bereitgestellte Information kann eine verbale Information sein. Das Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen, um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert, kann Folgendes umfassen: Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten verbalen Informationen unter Verwendung von Natürlichem Sprachverständnis (NLU), um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten verbalen Informationen basiert.
In einer anderen Implementierung enthält ein Computersystem einen Prozessor und einen Speicher, der so konfiguriert ist, dass er Operationen durchführt, die Folgendes umfassen: Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden; und Verarbeiten der Informationen, die von dem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden, um eine Antwort zu erzeugen, die zumindest teilweise auf den von dem Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert.
Eines oder mehrere der folgenden Merkmale können enthalten sein. Das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden, kann Folgendes umfassen: Überwachen des Innenraums des autonomen Fahrzeugs auf verbale Informationen, die von dem Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung gestellt werden; wobei der Innenraum des autonomen Fahrzeugs eine Mikrofonbaugruppe zum Erhalten der verbalen Informationen, die von dem Fahrer des autonomen Fahrzeugs zur Verfügung gestellt werden, umfasst. Das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden, kann Folgendes umfassen: Überwachen des Innenraums des autonomen Fahrzeugs auf nonverbale Informationen, die von dem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug geliefert werden; wobei der Innenraum des autonomen Fahrzeugs eine Eingabevorrichtung zum Erhalten der vom Fahrer des autonomen Fahrzeugs gelieferten nonverbalen Informationen umfasst. Die nonverbalen Informationen können eines oder mehrere der folgenden Elemente enthalten: textbasierte Informationen und kodierte Informationen. Die Antwort kann dem Fahrer des autonomen Fahrzeugs zur Verfügung gestellt werden. Das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs kann Folgendes umfassen: Bereitstellen einer verbalen Antwort an den Fahrer des autonomen Fahrzeugs; wobei der Innenraum des autonomen Fahrzeugs eine Lautsprecherbaugruppe zum Bereitstellen der verbalen Antwort an den Fahrer des autonomen Fahrzeugs umfasst. Die Bereitstellung der Antwort an den Fahrer des autonomen Fahrzeugs kann Folgendes umfassen: Bereitstellung einer nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs; wobei das Innere des autonomen Fahrzeugs eine Ausgabebaugruppe zur Bereitstellung der nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs umfasst. Die nonverbale Information kann eines oder mehrere der folgenden Elemente umfassen: eine textbasierte Antwort; und eine lichtbasierte Antwort. Die vom Fahrer des autonomen Fahrzeugs bereitgestellte Information kann eine verbale Information sein. Das Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen, um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert, kann Folgendes umfassen: Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten verbalen Informationen unter Verwendung von Natürlichem Sprachverständnis (NLU), um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten verbalen Informationen basiert.
Die Einzelheiten einer oder mehrerer Ausführungsformen sind in den beigefügten Zeichnungen und der nachstehenden Beschreibung dargelegt. Weitere Merkmale und Vorteile werden aus der Beschreibung, den Zeichnungen und den Ansprüchen ersichtlich.
Figurenliste

1 ist eine schematische Darstellung eines autonomen Fahrzeugs gemäß einer Ausführungsform der vorliegenden Offenbarung;
2A ist eine schematische Ansicht einer Ausführungsform der verschiedenen Systeme, die in dem autonomen Fahrzeug von 1 gemäß einer Ausführungsform der vorliegenden Offenbarung enthalten sind;
2B ist eine schematische Ansicht einer anderen Ausführungsform der verschiedenen Systeme, die in dem autonomen Fahrzeug von 1 gemäß einer Ausführungsform der vorliegenden Offenbarung enthalten sind;
3 ist eine schematische Ansicht einer anderen Ausführungsform der verschiedenen Systeme, die in dem autonomen Fahrzeug von 1 gemäß einer Ausführungsform der vorliegenden Offenbarung enthalten sind;
4 ist eine Innenansicht des autonomen Fahrzeugs aus 1 gemäß einer Ausführungsform der vorliegenden Offenbarung; und
5 ist ein Flussdiagramm eines Kommunikationsprozesses, der auf einem oder mehreren Systemen des autonomen Fahrzeugs von 1 gemäß einer Ausführungsform der vorliegenden Offenbarung ausgeführt wird.

Gleiche Referenzsymbole in den verschiedenen Zeichnungen bezeichnen gleiche Elemente.
Detaillierte Beschreibung der bevorzugten Ausführungsformen
Autonomes Fahrzeug Übersicht
In 1 ist ein autonomes Fahrzeug 10 dargestellt. Wie in der Technik bekannt ist, ist ein autonomes Fahrzeug (z. B. autonomes Fahrzeug 10) ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und sich mit wenig oder ohne menschliche Eingaben zu bewegen. Autonome Fahrzeuge (z. B. das autonome Fahrzeug 10) können eine Vielzahl von Sensorsystemen kombinieren, um ihre Umgebung wahrzunehmen. Beispiele hierfür sind unter anderem Radar, Computer Vision, LIDAR, GPS, Odometrie, Temperatur und Trägheit, wobei solche Sensorsysteme so konfiguriert sein können, dass sie Fahrspuren und Markierungen auf einer Fahrbahn, Straßenschilder, Ampeln, Fußgänger, andere Fahrzeuge, Objekte am Straßenrand, Gefahren usw. interpretieren.
Das autonome Fahrzeug 10 kann eine Vielzahl von Sensoren (z.B. Sensoren 12), eine Vielzahl von elektronischen Steuerungseinheiten (z.B. ECUs 14) und eine Vielzahl von Aktuatoren (z.B. Aktuatoren 16) umfassen. Dementsprechend können die Sensoren 12 innerhalb des autonomen Fahrzeugs 10 die Umgebung überwachen, in der das autonome Fahrzeug 10 betrieben wird, wobei die Sensoren 12 den ECUs 14 Sensordaten 18 zur Verfügung stellen können. Die ECUs 14 können die Sensordaten 18 verarbeiten, um die Art und Weise zu bestimmen, in der sich das autonome Fahrzeug 10 bewegen soll. ECUs 14 können dann Steuerungsdaten 20 an Aktuatoren 16 liefern, so dass sich das autonome Fahrzeug 10 in der von den ECUs 14 bestimmten Weise bewegen kann. Zum Beispiel kann ein Bildverarbeitungssensor, der in den Sensoren 12 enthalten ist, ein Geschwindigkeitsbegrenzungsschild „lesen“, das besagt, dass die Geschwindigkeitsbegrenzung auf der Straße, auf der das autonome Fahrzeug 10 unterwegs ist, jetzt 35 Meilen pro Stunde beträgt. Dieser Bildverarbeitungssensor, der in den Sensoren 12 enthalten ist, kann Sensordaten 18 an die ECUs 14 liefern, die anzeigen, dass die Geschwindigkeit auf der Straße, auf der das autonome Fahrzeug 10 unterwegs ist, nun 35 Meilen pro Stunde beträgt. Nach Erhalt der Sensordaten 18 können die ECUs 14 die Sensordaten 18 verarbeiten und feststellen, dass das autonome Fahrzeug 10 (das derzeit mit 45 mph unterwegs ist) zu schnell fährt und langsamer werden muss. Dementsprechend können die ECUs 14 Steuerungsdaten 20 an die Aktuatoren 16 weitergeben, wobei die Steuerungsdaten 20 z.B. die Bremsen des autonomen Fahrzeugs 10 betätigen oder jedes Betätigungssignal, das derzeit auf das Gaspedal wirkt, eliminieren können (wodurch das autonome Fahrzeug 10 ausrollen kann, bis die Geschwindigkeit des autonomen Fahrzeugs 10 auf 35 mph reduziert ist).
System-Redundanz
Da das autonome Fahrzeug 10 von verschiedenen elektronischen Systemen gesteuert wird (z. B. Sensoren 12, ECUs 14 und Aktuatoren 16), sollte der mögliche Ausfall eines oder mehrerer dieser Systeme bei der Entwicklung des autonomen Fahrzeugs 10 berücksichtigt werden, und es können geeignete Notfallpläne eingesetzt werden.
Zum Beispiel und unter Bezugnahme auf 2A können die verschiedenen ECUs (z.B. ECUs 14), die im autonomen Fahrzeug 10 enthalten sind, so unterteilt werden, dass die Aufgaben der verschiedenen ECUs (z.B. ECUs 14) logisch gruppiert werden können. Beispielsweise können die ECUs 14 eine Autonomiesteuerungseinheit 50 umfassen, die Sensordaten 18 von den Sensoren 12 empfangen kann.
Die Autonomiesteuerungseinheit 50 kann so konfiguriert sein, dass sie verschiedene Funktionen ausführt. Zum Beispiel kann die Autonomiesteuerungseinheit 50 exterozeptive Sensordaten (z.B. Sensordaten 18) empfangen und verarbeiten, die Position des autonomen Fahrzeugs 10 innerhalb seiner Betriebsumgebung schätzen, eine Darstellung der Umgebung des autonomen Fahrzeugs 10 berechnen, sichere Trajektorien für das autonome Fahrzeug 10 berechnen und den anderen ECUs (insbesondere einem Fahrzeugsteuergerät) befehlen, das autonome Fahrzeug 10 zu veranlassen, ein gewünschtes Manöver auszuführen. Die Autonomiesteuerungseinheit 50 kann eine beträchtliche Rechenleistung, einen dauerhaften Speicher und einen Speicher umfassen.
Dementsprechend kann die Autonomiesteuerungseinheit 50 Sensordaten 18 verarbeiten, um die Art und Weise zu bestimmen, in der das autonome Fahrzeug 10 betrieben werden soll. Die Autonomiesteuerungseinheit 50 kann dann Fahrzeugsteuerungsdaten 52 an die Fahrzeugsteuerungseinheit 54 liefern, wobei die Fahrzeugsteuerungseinheit 54 dann die Fahrzeugsteuerungsdaten 52 verarbeiten kann, um die Art und Weise zu bestimmen, in der die einzelnen Steuersysteme (z. B. das Antriebssystem 56, das Bremssystem 58 und das Lenksystem 60) reagieren sollten, um die von der Autonomiesteuerungseinheit 50 in den Fahrzeugsteuerungsdaten 52 definierte Trajektorie zu erreichen.
Das Fahrzeugsteuergerät 54 kann so konfiguriert sein, dass es andere Steuergeräte im autonomen Fahrzeug 10 steuert. Zum Beispiel kann die Fahrzeugsteuereinheit 54 die Lenkung, den Antriebsstrang und die Bremssteuereinheiten steuern. Zum Beispiel kann die Fahrzeugsteuereinheit 54 folgendes bereitstellen: ein Antriebsstrang-Steuersignal 62 an die Antriebsstrang-Steuereinheit 64; ein Bremssteuersignal 66 an die Bremssteuereinheit 68; und ein Lenkungssteuersignal 70 an die Lenkungssteuereinheit 72.
Die Antriebsstrang-Steuereinheit 64 kann das Antriebsstrang-Steuersignal 62 so verarbeiten, dass die entsprechenden Steuerungsdaten (die üblicherweise durch die Steuerungsdaten 20 dargestellt werden) dem Antriebssystem 56 zur Verfügung gestellt werden können. Zusätzlich kann die Bremssteuereinheit 68 das Bremssteuersignal 66 verarbeiten, so dass die entsprechenden Steuerungsdaten (üblicherweise durch die Steuerungsdaten 20 dargestellt) dem Bremssystem 58 zur Verfügung gestellt werden können. Darüber hinaus kann die Lenkungssteuereinheit 72 das Lenkungssteuersignal 70 verarbeiten, so dass die entsprechenden Steuerungsdaten (die üblicherweise durch die Steuerungsdaten 20 dargestellt werden) dem Lenksystem 60 zugeführt werden können.
Die Antriebsstrang-Steuereinheit 64 kann so konfiguriert sein, dass sie das Getriebe (nicht abgebildet) und den Motor / Zugmaschine (nicht abgebildet) im autonomen Fahrzeug 10 steuert; die Bremssteuereinheit 68 kann so konfiguriert sein, dass sie das mechanische / regenerative Bremssystem (nicht abgebildet) im autonomen Fahrzeug 10 steuert; und die Lenkungssteuereinheit 72 kann so konfiguriert sein, dass sie die Lenksäule / Zahnstange (nicht abgebildet) im autonomen Fahrzeug 10 steuert.
Die Autonomiesteuerungseinheit 50 kann ein hochkomplexes Rechensystem sein, das umfangreiche Verarbeitungsmöglichkeiten bietet (z. B. ein Arbeitsplatzrechner-System mit Multicore-Prozessoren, diskreten Co-Prozessor-Einheiten, Gigabytes an Speicher und dauerhaftem Speicher). Im Gegensatz dazu kann die Fahrzeugsteuerungseinheit 54 ein viel einfacheres Gerät sein, das eine den anderen Steuergeräten des autonomen Fahrzeugs 10 entsprechende Verarbeitungsleistung bietet (z. B. ein Computersystem mit einem bescheidenen Mikroprozessor (mit einer CPU-Frequenz von weniger als 200 Megahertz), weniger als 1 Megabyte Systemspeicher und keinem dauerhaften Speicher). Aufgrund dieser einfacheren Bauweise kann die Fahrzeugsteuerungseinheit 54 zuverlässiger und langlebiger sein als die Autonomiesteuerungseinheit 50.
Um die Redundanz und Zuverlässigkeit weiter zu erhöhen, können eines oder mehrere der Steuergeräte (ECUs 14), die im autonomen Fahrzeug 10 enthalten sind, redundant konfiguriert sein. Zum Beispiel und unter Bezugnahme auf 2B ist eine Implementierung von ECUs 14 gezeigt, bei der eine Vielzahl von Fahrzeugsteuergeräten verwendet wird. Zum Beispiel ist diese spezielle Implementierung so dargestellt, dass sie zwei Fahrzeugsteuergeräte umfasst, nämlich eine erste Fahrzeugsteuerungseinheit (z. B. Fahrzeugsteuerungseinheit 54) und eine zweite Fahrzeugsteuerungseinheit (z. B. Fahrzeugsteuerungseinheit 74).
In dieser besonderen Konfiguration können die beiden Fahrzeugsteuerungseinheiten (z. B. die Fahrzeugsteuerungseinheiten 54, 74) auf verschiedene Weise konfiguriert werden. Beispielsweise können die beiden Fahrzeugsteuerungseinheiten (z. B. die Fahrzeugsteuerungseinheiten 54, 74) in einer Aktiv-Passiv-Konfiguration konfiguriert werden, bei der z. B. das Fahrzeugsteuerungseinheit 54 die aktive Rolle der Verarbeitung von Fahrzeugsteuerungsdaten 52 übernimmt, während das Fahrzeugsteuerungseinheit 74 eine passive Rolle einnimmt und sich im Wesentlichen im Standby-Modus befindet. Bei einem Ausfall der Fahrzeugsteuerungseinheit 54 kann die Fahrzeugsteuerungseinheit 74 von einer passiven Rolle in eine aktive Rolle übergehen und die Verarbeitung der Fahrzeugsteuerungsdaten 52 übernehmen. Alternativ können die beiden Fahrzeugsteuerungseinheiten (z. B. die Fahrzeugsteuerungseinheiten 54, 74) in einer Aktiv-Aktiv-Konfiguration konfiguriert werden, bei der z. B. sowohl die Fahrzeugsteuerungseinheit 52 als auch die Fahrzeugsteuerungseinheit 74 die aktive Rolle der Verarbeitung der Fahrzeugsteuerungsdaten 54 übernehmen (z. B. durch Aufteilung der Arbeitslast), wobei bei einem Ausfall entweder der Fahrzeugsteuerungseinheit 54 oder der Fahrzeugsteuerungseinheit 74 die verbleibende Fahrzeugsteuerungseinheit alle Fahrzeugsteuerungsdaten 52 verarbeiten kann.
Während 2B ein Beispiel für die Art und Weise zeigt, in der die verschiedenen ECUs (z. B. ECU 14), die im autonomen Fahrzeug 10 enthalten sind, redundant konfiguriert sein können, dient dies nur der Veranschaulichung und soll keine Einschränkung dieser Offenbarung darstellen, da andere Konfigurationen möglich sind und als im Rahmen dieser Offenbarung liegend betrachtet werden. Beispielsweise kann die Autonomiesteuerungseinheit 50 redundant konfiguriert sein, wobei eine zweite Autonomiesteuerungseinheit (nicht dargestellt) im autonomen Fahrzeug 10 enthalten ist und in einer aktiv-passiven oder aktiv-aktiven Weise konfiguriert ist. Ferner ist es vorhersehbar, dass einer oder mehrere der Sensoren (z. B. Sensoren 12) und/oder einer oder mehrere der Aktuatoren (z. B. Aktuatoren 16) redundant konfiguriert sein können. Dementsprechend versteht es sich, dass der Grad der Redundanz, der in Bezug auf das autonome Fahrzeug 10 erreicht werden kann, nur durch die Konstruktionskriterien und Budgetbeschränkungen des autonomen Fahrzeugs 10 begrenzt werden kann.
Autonome rechnergestützte Teilsysteme
Die verschiedenen Steuergeräte des autonomen Fahrzeugs 10 können so gruppiert / angeordnet / konfiguriert sein, dass sie verschiedene Funktionen ausführen.
Beispielsweise können ein oder mehrere ECUs 14 so konfiguriert sein, dass sie das Wahrnehmungs-Teilsystem 100 bewirken/bilden. wobei das Wahrnehmungs-Teilsystem 100 so konfiguriert sein kann, dass es Daten von bordeigenen Sensoren (z. B. Sensordaten 18) verarbeitet, um präzise Darstellungen von Objekten von Interesse in der Nähe des autonomen Fahrzeugs 10 zu berechnen (Beispiele hierfür können andere Fahrzeuge, Fußgänger, Verkehrssignale, Verkehrsschilder, Straßenmarkierungen, Gefahren usw. sein, sind aber nicht darauf beschränkt) und Umgebungsmerkmale zu erkennen, die zur Bestimmung des Standorts des autonomen Fahrzeugs 10 beitragen können. ) und zur Identifizierung von Umgebungsmerkmalen, die bei der Bestimmung des Standorts des autonomen Fahrzeugs 10 hilfreich sein können. Des Weiteren können ein oder mehrere ECUs 14 so konfiguriert sein, dass sie das Zustandsschätzungs-Teilsystem 102 ausführen/bilden, wobei das Zustandsschätzungs-Teilsystem 102 so konfiguriert sein kann, dass es Daten von bordeigenen Sensoren (z. B. Sensordaten 18) verarbeitet, um die Position, Orientierung und Geschwindigkeit des autonomen Fahrzeugs 10 innerhalb seiner Betriebsumgebung zu schätzen. Zusätzlich können ein oder mehrere ECUs 14 so konfiguriert sein, dass sie das Planungs-Teilsystem 104 bilden, wobei das Planungs-Teilsystem 104 so konfiguriert sein kann, dass es eine gewünschte Fahrzeugtrajektorie berechnet (unter Verwendung der Wahrnehmungsausgabe 106 und der Zustandsschätzungsausgabe 108). Weiterhin können eine oder mehrere ECUs 14 so konfiguriert sein, dass sie das Trajektoriensteuerungs-Teilsystem 110 bewirken/bilden, wobei das Trajektoriensteuerungs-Teilsystem 110 die Planungsausgabe 112 und die Zustandsschätzungsausgabe 108 (in Verbindung mit Rückkopplungs- und/oder Vorwärtssteuerungsverfahren) verwendet, um Aktuatorbefehle (z. B. Steuerungsdaten 20) zu berechnen, die das autonome Fahrzeug 10 veranlassen können, seine beabsichtigte Trajektorie innerhalb seiner Betriebsumgebung auszuführen.
Aus Redundanzgründen können die oben beschriebenen Teilsysteme auf verschiedene Geräte verteilt sein (z. B. auf die Autonomiesteuerungseinheit 50 und die Fahrzeugsteuerungseinheiten 54, 74). Zusätzlich/alternativ und aufgrund des erhöhten Rechenbedarfs können das Wahrnehmungs-Teilsystem 100 und das Planungs-Teilsystem 104 fast vollständig in der Autonomiesteuerungseinheit 50 untergebracht sein, die (wie oben beschrieben) über wesentlich mehr Rechenleistung verfügt als die Fahrzeugsteuerungsgeräte 54, 74. Umgekehrt und aufgrund ihrer geringeren Rechenanforderungen können das Zustandsschätzungs-Teilsystem 102 und das Trajektoriensteuerungs-Teilsystem 110: vollständig auf den Fahrzeugsteuereinheiten 54, 74 untergebracht werden, wenn die Fahrzeugsteuerungseinheiten 54, 74 über die erforderliche Rechenkapazität verfügen; und/oder teilweise auf den Fahrzeugsteuerungseinheiten 54, 74 und teilweise auf der Autonomiesteuerungseinheit 50 untergebracht werden. Der Standort des Zustandsschätzungs-Teilsystems 102 und des Trajektoriensteuerungs-Teilsystems 110 kann jedoch von entscheidender Bedeutung für den Entwurf einer Notfallplanungsarchitektur sein, da der Standort dieser Teilsysteme bestimmen kann, wie Notfallpläne berechnet, übertragen und/oder ausgeführt werden.
Bezugnehmend auf 4 wird eine Innenansicht des autonomen Fahrzeugs 10 gezeigt, wobei das autonome Fahrzeug 10 verschiedene Systeme/Geräte enthalten kann, die es einem Fahrer (z.B. Fahrer 200) ermöglichen, mit dem autonomen Fahrzeug 10 zu kommunizieren. Zum Beispiel kann das autonome Fahrzeug 10 eine kontextbezogene Anzeigebaugruppe 202, eine Lichtanzeigebaugruppe 204, eine Lautsprecherbaugruppe 206, eine Mikrofonbaugruppe 208, eine Scanner-Baugruppe 210 und eine Tastaturbaugruppe 212 umfassen.
Konkret und wie im Folgenden erörtert wird:

• Die kontextbezogene Anzeigebaugruppe 202 kann so konfiguriert sein, dass sie das autonome Fahrzeug 10 in die Lage versetzt, einem Fahrer (z. B. dem Fahrer 200) des autonomen Fahrzeugs 10 textbasierte Informationen zu liefern. Wenn sich das autonome Fahrzeug 10 beispielsweise seinem beabsichtigten Ziel nähert, kann die kontextbezogene Anzeigebaugruppe 202 so konfiguriert sein, dass sie eine textbasierte Nachricht für den Fahrer 200 wiedergibt, die lautet: „Sie erreichen Ihr Ziel. Bitte steigen Sie auf der rechten Seite des Fahrzeugs aus.“
• Die Lichtanzeigebaugruppe 204 kann so konfiguriert sein, dass sie das autonome Fahrzeug 10 in die Lage versetzt, einem Fahrer (z. B. dem Fahrer 200) des autonomen Fahrzeugs 10 bildbasierte Informationen zu liefern. Wenn das autonome Fahrzeug 10 beispielsweise an einer Kreuzung nach rechts abbiegen wird, kann die Lichtanzeigebaugruppe 204 so konfiguriert sein, dass sie ein nach rechts schwenkendes Bild wiedergibt, um anzuzeigen, dass das autonome Fahrzeug 10 nach rechts abbiegen wird.
• Die Lautsprecherbaugruppe 206 kann so konfiguriert sein, dass das autonome Fahrzeug 10 einem Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs 10 audiobasierte Informationen bereitstellen kann. Wenn das autonome Fahrzeug 10 beispielsweise gerade einen Fahrer aufgenommen hat und sich zur Abfahrt bereit macht, kann die Lautsprecherbaugruppe 206 so konfiguriert sein, dass sie eine audiobasierte Nachricht wiedergibt, die lautet: „Willkommen an Bord. Bitte schnallen Sie sich an, damit wir losfahren können.“

• Die Mikrofonbaugruppe 208 kann so konfiguriert sein, dass sie es einem Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs 10 ermöglicht, audio-basierte Informationen an das autonome Fahrzeug 10 zu übermitteln. Wenn beispielsweise ein Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs 10 mit dem Zustand des autonomen Fahrzeugs 10 unzufrieden ist, kann die Mikrofonbaugruppe 208 so konfiguriert sein, dass der Fahrer 200 dem autonomen Fahrzeug 10 (oder einer Person, die den Betrieb des autonomen Fahrzeugs 10 aus der Ferne überwacht) verbales Feedback geben kann.
• Die Scanner-Baugruppe 210 kann so konfiguriert sein, dass sie es einem Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs 10 ermöglicht, kodierte Informationen an das autonome Fahrzeug 10 zu übermitteln. Wenn beispielsweise ein Fahrer (z. B. Fahrer 200) in das autonome Fahrzeug 10 eingestiegen ist, nachdem er das autonome Fahrzeug 10 über eine Fernanwendung gerufen hat, kann die Scanner-Baugruppe 210 so konfiguriert sein, dass sie einen QR-Code scannt, der auf einem mobilen Gerät (z. B. einem Smartphone) des Fahrers 200 dargestellt wird, um den Fahrer 200 zu authentifizieren. Zusätzlich/alternativ kann die Scanner-Baugruppe 210 so konfiguriert sein, dass sie es dem Fahrer 200 ermöglicht, für seine Fahrt im autonomen Fahrzeug 10 zu bezahlen, indem er z. B. eine Kreditkarte scannt oder über ApplePay^tm, GooglePay^tm oder SamsungPay^tm bezahlt.
• Die Tastaturbaugruppe 212 kann so konfiguriert sein, dass sie einem Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs 10 ermöglicht, dem autonomen Fahrzeug 10 textbasierte Informationen zu übermitteln. Wenn beispielsweise ein Fahrer (z. B. Fahrer 200) in das autonome Fahrzeug 10 eingestiegen ist, ohne dass ein Ziel vordefiniert wurde, kann die Tastaturbaugruppe 212 so konfiguriert sein, dass der Fahrer 200 ein beabsichtigtes Ziel eingeben kann.

Um eine solche Kommunikation zwischen dem Fahrer (z.B. Fahrer 200) und dem autonomen Fahrzeug 10 zu ermöglichen, können ein oder mehrere ECUs 14 (siehe 3) den Kommunikationsprozess 250 ausführen. Der Kommunikationsprozess 250 kann auf einem einzelnen ECU oder gemeinsam mit mehreren ECUs ausgeführt werden. Beispielsweise kann der Kommunikationsprozess 250 allein von der Autonomiesteuerungseinheit 50, der Fahrzeugsteuerungseinheit 54 oder der Fahrzeugsteuerungseinheit 74 ausgeführt werden. Alternativ kann der Kommunikationsprozess 250 gemeinsam von der Kombination aus Autonomiesteuerungseinheit 50, Fahrzeugsteuerungseinheit 54 und Fahrzeugsteuerungseinheit 74 ausgeführt werden. Dementsprechend kann in der letztgenannten Konfiguration bei einem Ausfall einer der Autonomiesteuerungseinheit 50, der Fahrzeugsteuerungseinheit 54 oder der Fahrzeugsteuerungseinheit 74 die verbleibende(n) Steuerungseinheit(en) den Kommunikationsprozess 250 weiter ausführen.
Die Befehlssätze und Unterprogramme des Kommunikationsprozesses 250, die auf einem mit den ECUs 14 gekoppelten Speichergerät 114 (siehe 3) gespeichert sein können, können von einem oder mehreren Prozessoren (nicht dargestellt) und einer oder mehreren Speicherarchitekturen (nicht dargestellt) in den ECUs 14 ausgeführt werden. Beispiele für das Speichergerät 114 sind unter anderem: ein Festplattenlaufwerk, ein RAID-Gerät, ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM) und alle Formen von Flash-Speichergeräten.
In Bezug auf die oben beschriebenen Systeme/Geräte, die es einem Fahrer (z. B. Fahrer 200) ermöglichen, mit dem autonomen Fahrzeug 10 zu kommunizieren, können diese verschiedenen Systeme/Geräte so konfiguriert werden, dass sie verschiedene Arten von Funktionen bereitstellen, wie im Folgenden beschrieben.
Anforderung von Fahrten
Ein Fahrer (z. B. Fahrer 200) kann sich bei einer Mobil- oder Webanwendung (nicht gezeigt) anmelden, wobei der Fahrer (z. B. Fahrer 200) ein gespeichertes Benutzerprofil haben kann, das seine Kontaktinformationen enthält. Durch die Verwendung einer solchen Anwendung kann der Fahrer (z. B. Fahrer 200) eine Fahrt von einem autonomen Fahrzeug (z. B. autonomes Fahrzeug 10) zum aktuellen Zeitpunkt anfordern (oder durch Planung einer Fahrt für einen Zeitpunkt in der Zukunft). Bei der Anforderung der Fahrt können Details wie das gewünschte Abholdatum und die Uhrzeit, derAbhol- und Rückgabeort und die Anzahl der benötigten Sitze angegeben werden. Diese Fahrtdetails können in einem digitalen Ticket (z. B. digitales Ticket 214) kodiert werden, das in einer mobilen Anwendung (z. B. einer Smartphone-Anwendung) zur späteren Verwendung gespeichert werden kann. Nach der Erstellung kann die Anforderung der Fahrt an ein Abfertigungssystem (nicht dargestellt) gesendet werden. Dieses Abfertigungssystem kann ein autonomes Fahrzeug (z. B. das autonome Fahrzeug 10) auswählen und (über eine Telekommunikationsverbindung) einem autonomen Fahrzeug (z. B. dem autonomen Fahrzeug 10) aus der Ferne befehlen, zum entsprechenden Abholort zu fahren. Ein menschlicher Bediener kann optional in die Abfertigung des autonomen Fahrzeugs involviert sein, entweder indem er einfach die vorgewählte Abfertigung genehmigt oder indem er manuell andere Berechnungen/Entscheidungen/Befehle ausführt, die für die Abfertigung des autonomen Fahrzeugs (z. B. des autonomen Fahrzeugs 10) erforderlich sind. Ticket-Kontrolle
Sobald das autonome Fahrzeug (z. B. das autonome Fahrzeug 10) am angeforderten Abholort eintrifft, kann der Fahrer (z. B. der Fahrer 200) aufgefordert werden (z. B. durch verbale Aufforderung oder textbasierte Aufforderung), sein digitales Ticket (z. B. das digitale Ticket 214) vorzulegen, um seine Fahrt zu beginnen. Das digitale Ticket (z. B. das digitale Ticket 214) kann erforderlich sein, um in das autonome Fahrzeug 10 einzusteigen, wobei die Fahrzeugtüren nur dann entriegelt werden, wenn ein gültiges digitales Ticket (z. B. das digitale Ticket 214) vorgelegt wird. Alternativ kann ein gültiges digitales Ticket (z.B. digitales Ticket 214) erforderlich sein, nachdem der Fahrer (z.B. Fahrer 200) in das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) eingestiegen ist, um die Fahrt zu beginnen. Die Details der Fahrt können im digitalen Ticket (z. B. digitales Ticket 214) kodiert und zum Zeitpunkt der Fahrt über einen visuellen Code (z. B. QR-Code oder einen anderen 1 D- oder 2D-Barcode) an das autonome Fahrzeug (z. B. autonomes Fahrzeug 10) gesendet werden, der über eine Scanner-Baugruppe 210 (z. B. eine optische Scanner-Baugruppe, Nahfeldkommunikation (NFC), Radiofrequenz-Identifikation (RFID), Wi-Fi, Bluetooth oder andere Kurzstrecken-Kommunikationstechnologien) gescannt werden kann. Das Abfertigungssystem kann dann die im digitalen Ticket (z. B. digitales Ticket 214) enthaltenen Informationen nutzen, um die Fahrt durchzuführen.
Bildschirmanzeigen
Ein oder mehrere Bildschirmanzeigen (z.B. kontextbezogene Anzeigebaugruppe 202) können im Inneren des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) angebracht sein, wobei diese Anzeigeschirme (z.B. kontextbezogene Anzeigebaugruppe 202) so konfiguriert sein können, dass sie dem Fahrer (z.B. Fahrer 200) während der Fahrt einfache, kontextbezogene Informationen/Aufforderungen liefern, wobei diese Informationen Text, Grafiken, Animationen und/oder Töne umfassen können.
Auslöser für Nachrichten
Die auf den Bildschirmen (z. B. der kontextbezogenen Anzeigebaugruppe 202) angezeigten Meldungen können von verschiedenen Systemen ausgelöst werden, darunter der Kommunikationsprozess 250, ein Fernüberwachungssystem und/oder ein Versandsystem. Darüber hinaus können solche Meldungen, die auf den Bildschirmen (z. B. der kontextbezogenen Anzeigebaugruppe 202) angezeigt werden, durch Aktionen des Fahrers, Aktionen der Fernüberwachung, Auslöseereignisse, Systemstatus und/oder andere Ereignisse ausgelöst werden. Zum Beispiel:

• Angenommen, das autonome Fahrzeug (z. B. das autonome Fahrzeug 10) ist angekommen, um den Fahrer (z. B. den Fahrer 200) abzuholen, und der Fahrer muss ein gültiges digitales Ticket (z. B. das digitale Ticket 214) vorzeigen, um die Fahrt zu beginnen. Dementsprechend kann auf dem Bildschirm (z. B. der kontextbezogenen Anzeigebaugruppe 202) eine Meldung angezeigt werden, wie z. B.: „Willkommen, [Name des Fahrers], bitte scannen Sie Ihr digitales Ticket, um die Fahrt zu beginnen.“ Wenn der Fahrgast sein digitales Ticket (z. B. das digitale Ticket 214) nach einer bestimmten Zeit nicht vorlegt, kann ein Erinnerungston ertönen.
• Angenommen, das autonome Fahrzeug (z. B. das autonome Fahrzeug 10) muss an einer Kreuzung ungewöhnlich lange ausweichen. Der Bildschirm (z. B. die kontextbezogene Anzeigebaugruppe 202) kann eine Meldung wie „Warten auf freie Strecke“ anzeigen, um den Fahrer (z. B. den Fahrer 200) über die Situation zu informieren und ihm zu versichern, dass alles in Ordnung ist.
• Angenommen, während das autonome Fahrzeug (z. B. das autonome Fahrzeug 10) unterwegs ist, wird festgestellt, dass ein Sicherheitsgurt auf einem besetzten Sitz geöffnet wurde. Der Bildschirm (z. B. die kontextbezogene Anzeigebaugruppe 202) kann dem Fahrer (z. B. dem Fahrer 200) visuelle und akustische Warnungen anzeigen, wie z. B. „Bitte schnallen Sie sich an“, begleitet von einer Grafik, die anzeigt, welcher Sicherheitsgurt nicht angelegt ist. Wird der Sicherheitsgurt nicht wieder angelegt, kann die angezeigte Meldung zu „Das Fahrzeug wird in [verbleibende Zeit] Sekunden anhalten“ eskalieren, wenn der Sicherheitsgurt nicht angelegt ist.
• Angenommen, vor Beginn einer Fahrt wird festgestellt, dass eine Tür geöffnet ist. Dementsprechend kann auf dem Bildschirm (z. B. auf der kontextabhängigen Anzeigebaugruppe 202) eine Meldung angezeigt werden, die den Fahrer auffordert, die Tür zu schließen, z. B. „Bitte schließen Sie die Tür, um Ihre Fahrt zu beginnen“. Diese Meldung kann auch von Tönen, Grafiken und/oder Animationen begleitet sein.

Nachrichtenauswahl
Der Kommunikationsprozess 250 kann auf der Grundlage einer Reihe von Faktoren, einschließlich des Reisestatus, bestimmen, welche Meldung zu einem bestimmten Zeitpunkt angezeigt werden soll. So können z. B. als Reaktion auf das Ablegen des Sicherheitsgurtes unterschiedliche Meldungen angezeigt werden, je nachdem, ob die Fahrt noch nicht begonnen hat, noch andauert oder bereits abgeschlossen ist. Zum Beispiel:

• Während der Abholung: Wenn ein Sicherheitsgurt auf einem belegten Sitz nicht angelegt ist, während der Reisestatus „Abholung“ lautet, kann eine Meldung wie „Bitte schnallen Sie sich an, damit wir die Fahrt beginnen können“ angezeigt werden, begleitet von einer Grafik, die den nicht angelegten Sicherheitsgurt zeigt.
• Auf der Fahrt: Wenn sich ein Sicherheitsgurt auf einem besetzten Sitz löst, während der Reisestatus „Unterwegs“ lautet, kann eine dringendere Meldung wie „Bitte schnallen Sie sich an, sonst hält das Fahrzeug an“ angezeigt werden, begleitet von einem Ton, um die Aufmerksamkeit des Fahrers zu erregen (z. B. Fahrer 200).
• Während des Absetzens: Wenn ein Sicherheitsgurt auf einem belegten Sitz nicht angelegt ist, während der Reisestatus „Absetzen“ lautet, ist dies ein erwünschtes Verhalten, so dass möglicherweise keine Meldung bezüglich des Sicherheitsgurts angezeigt wird.

Darüber hinaus kann den Meldungen eine Priorität zugewiesen werden, so dass bei mehreren ausgelösten Meldungen jeweils nur die Meldung mit der höchsten Priorität angezeigt werden kann. Dazu folgendes Beispiel, in dem zwei Meldungen ausgelöst wurden. Das Fahrzeug nähert sich dem Absetzziel, so dass eine erste Meldung ausgelöst wurde, um den Fahrer darüber zu informieren, dass die Fahrt kurz vor dem Abschluss steht. Außerdem wurde eine zweite Meldung ausgelöst, weil das Fahrzeug eine Störung hat und kurz davor ist, anzuhalten. Die Meldung über die Fahrzeugstörung kann eine höhere Priorität haben als die Meldung über das nahende Fahrtziel, sodass auf dem Bildschirm (z. B. der kontextbezogenen Anzeigebaugruppe 202) nur die Meldung über die Fahrzeugstörung angezeigt wird. Der Anzeigebildschirm (z. B. die kontextbezogene Anzeigebaugruppe 202) kann auch einen Standard- (oder Haupt-) Bildschirm enthalten (z. B. eine Karte, die den Standort des autonomen Fahrzeugs 10 zeigt), der die niedrigste Priorität hat und nur angezeigt wird, wenn keine anderen Meldungen ausgelöst wurden. Alle unterdrückten Meldungen können entweder in einer Warteschlange für eine spätere Anzeige gespeichert oder überhaupt nicht angezeigt werden, wenn sie nicht mehr relevant sind.
Beleuchtung
Der Kommunikationsprozess 250 kann eindeutige Lichtcodes erzeugen, die sich in Intensität, Dauer, Häufigkeit, Farbe, Animationsmuster und Ort der Lichtanzeige unterscheiden. Diese eindeutigen Lichtcodes können auf der Lichtanzeigebaugruppe 204 dargestellt werden und jeder Art von Nachricht als sekundäre Methode zur Übermittlung von Informationen an den Fahrer (z. B. Fahrer 200) zugeordnet werden. Meldungen, die auf dem Bildschirm angezeigt werden (z. B. kontextbezogene Anzeigebaugruppe 202), können von ihrem eindeutig zugewiesenen Lichtcode begleitet werden, der auf der Lichtanzeigebaugruppe 204 dargestellt wird, um den Fahrer auf subtile Weise zu informieren oder allgemein das Erscheinungsbild des Fahrzeugs und die Umgebung zu verbessern. Zum Beispiel kann die Lichtanzeigebaugruppe 204 animierte Leuchtstreifen in der Nähe der Oberseite der Windschutzscheibe enthalten, die verwendet werden können, um anzuzeigen, dass das autonome Fahrzeug 10 abbiegt (ähnlich wie ein Blinker). Die Lichtanzeigebaugruppe 204 kann auch so konfiguriert sein, dass sie Meldungen begleitet, die auf dem Bildschirm (z. B. der kontextbezogenen Anzeigebaugruppe 202) angezeigt werden, wie z. B. schnell blinkende Lichter, die die Fahrgäste daran erinnern, sich anzuschnallen.
Physikalische Schaltflächen
Der Kommunikationsprozess 250 kann so konfiguriert sein, dass er mit einer oder mehreren physikalischen Tasten (z. B. physikalische Taste 216) im autonomen Fahrzeug 10 verbunden ist und vom Fahrer (z. B. Fahrer 200) während der Fahrt verwendet werden kann, um eine Reaktion vom autonomen Fahrzeug 10 (oder einem Fernüberwachungssystem) auszulösen. Darüber hinaus können mehrere Tastensätze innerhalb des autonomen Fahrzeugs 10 positioniert werden, so dass Fahrgäste im gesamten autonomen Fahrzeug 10 Zugang zu einer physikalischen Taste (z. B. physikalische Taste 216) haben können. Wenn beispielsweise ein Fahrer (z. B. Fahrer 200) das autonome Fahrzeug 10 in der Mitte einer Fahrt anhalten möchte, kann der Fahrer 200 eine physikalische Taste (z. B. physikalische Taste 216) im autonomen Fahrzeug 10 drücken. Als Reaktion auf das Drücken der physikalischen Taste 216 kann der Kommunikationsprozess 250 ein Signal entweder an das autonome Fahrzeug 10 oder an ein Fernüberwachungssystem (nicht dargestellt) senden und das autonome Fahrzeug 10 auffordern, anzuhalten.
Darüber hinaus kann die physikalische Taste 216, die sich im autonomen Fahrzeug 10 befindet, einem Fahrer ermöglichen, Unterstützung anzufordern. Dementsprechend kann der Kommunikationsprozess 250, wenn ein Fahrer (z. B. Fahrer 200) die physikalische Taste 216 drückt, ein Signal an das Fernüberwachungssystem (nicht dargestellt) senden, um Unterstützung anzufordern, wobei die Fernüberwachung, die für die Überwachung des autonomen Fahrzeugs 10 verantwortlich ist, reagieren kann, indem sie einen Audioanruf mit dem Fahrer (z. B. dem Fahrer 200) eröffnet.
System zur Kommunikation mit Personal für Fernunterstützung
Im autonomen Fahrzeug 10 können verschiedene Audio- und visuelle Kommunikationsgeräte vorhanden sein, z. B. Kameras, Lautsprecher und Mikrofone. Zu jedem Zeitpunkt vor, während oder nach einer Fahrt können solche Audio- und visuellen Kommunikationsgeräte für die Kommunikation zwischen dem Fahrer (z. B. Fahrer 200) und dem Fernüberwachungsgerät (z. B. im Fall der oben beschriebenen Unterstützungsanfrage) verwendet werden.
Mobile Anwendung
Fahrer (z. B. Fahrer 200) können auch eine mobile Anwendung (nicht gezeigt) auf ihrem Smartphone (nicht gezeigt) verwenden, um mit dem autonomen Fahrzeug 10 und/oder dem Fernüberwachungsgerät vor, während und nach ihrer Fahrt zu interagieren. Zum Beispiel kann der aktuelle Standort des autonomen Fahrzeugs 10 visuell auf einer Karte innerhalb der mobilen Anwendung (nicht gezeigt) auf dem Smartphone (nicht gezeigt) angezeigt werden. Als weiteres Beispiel kann ein Fahrer (z. B. Fahrer 200) eine Softtaste in der mobilen Anwendung (nicht gezeigt) auf seinem Smartphone (nicht gezeigt) drücken, um Unterstützung anzufordern, anzuhalten, das Ziel zu ändern oder andere Fahrzeugprobleme anzusprechen.
Das Kommunikationssystem
Dementsprechend kann der Kommunikationsprozess 250 den Innenraum des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) auf Informationen (z.B. Informationen 218) überwachen, die vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) an das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) übermittelt werden.
Insbesondere und wenn der Innenraum eines autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) auf Informationen (z.B. Informationen 218) überwacht wird, die vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) an das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) übermittelt werden, kann der Kommunikationsprozess 250 den Innenraum des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) auf verbale Informationen (z.B. Informationen 218) überwachen, die von dem Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) an das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) bereitgestellt werden.
Wie oben beschrieben, kann der Innenraum des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) eine Mikrofonbaugruppe (z.B. Mikrofonbaugruppe 208) zum Erhalten der verbalen Informationen (z.B. Informationen 218), die vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) bereitgestellt werden, enthalten. Wenn beispielsweise ein Fahrer (z. B. der Fahrer 200) des autonomen Fahrzeugs 10 mit dem Zustand des autonomen Fahrzeugs 10 unzufrieden ist, kann die Mikrofonbaugruppe 208 so konfiguriert sein, dass der Fahrer 200 dem autonomen Fahrzeug 10 (oder einer Person, die den Betrieb des autonomen Fahrzeugs 10 aus der Ferne überwacht) verbales Feedback geben kann.
Weiterhin und bei der Überwachung 252 des Innenraums eines autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) auf Informationen (z.B. Informationen 218), die vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) an das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) übermittelt werden, kann der Kommunikationsprozess 250 den Innenraum des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) auf nonverbale Informationen (z.B. Informationen 218) überwachen, die von dem Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) an das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) bereitgestellt werden.
Wie oben beschrieben, kann der Innenraum des autonomen Fahrzeugs (z. B. autonomes Fahrzeug 10) eine Eingabevorrichtung zum Erhalten der nonverbalen Informationen (z. B. Informationen 218) enthalten, die vom Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs (z. B. autonomes Fahrzeug 10) bereitgestellt werden. Insbesondere und wie oben erläutert, kann das Innere des autonomen Fahrzeugs 10 eine oder mehrere Scanner-Baugruppen 210 und Tastaturbaugruppen 212 enthalten. Dementsprechend können Beispiele dieser nonverbalen Informationen (z. B. Informationen 218) eines oder mehrere der folgenden Elemente umfassen, sind aber nicht darauf beschränkt: textbasierte Informationen, die der Tastaturbaugruppe 212 bereitgestellt werden, und kodierte Informationen (z. B. QR-Code-Informationen, Kreditkarteninformationen, ApplePay^tm-Informationen, GooglePay^tm-Informationen oder SamsungPay^tm-Informationen), die der Scanner-Baugruppe 210 bereitgestellt werden.
Nach Erhalt kann der Kommunikationsprozess 250 die vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) an das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) übermittelten Informationen (z.B. Informationen 218) verarbeiten 258 (z.B. autonomes Fahrzeug 10), um eine Antwort (z.B. Antwort 220) zu erzeugen, die zumindest teilweise auf den Informationen (z.B. Informationen 218) basiert, die vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) bereitgestellt werden.
Wie oben beschrieben, können die vom Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs (z. B. autonomes Fahrzeug 10) bereitgestellten Informationen verbale Informationen (z. B. Informationen 218) sein. Dementsprechend und bei der Verarbeitung 258 der Informationen (z.B. Informationen 218), die von dem Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) dem autonomen Fahrzeug (z.B. autonomes Fahrzeug 10) bereitgestellt werden, um die Antwort (z.B., Antwort 220) zu erzeugen, die zumindest teilweise auf den Informationen (z.B. Informationen 218) basiert, die von dem Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) bereitgestellt werden, kann der Kommunikationsprozess 250 die verbalen Informationen (z.B, Informationen 218), die vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) an das autonome Fahrzeug (z.B. autonomes Fahrzeug 10) übermittelt werden, unter Verwendung von natürlichem Sprachverständnis (NLU) verarbeiten, um die Antwort (z.B. Antwort 220) zumindest teilweise auf der Grundlage der vom Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) übermittelten verbalen Informationen (z.B. Informationen 218) zu erzeugen.
Wie in der Fachwelt bekannt, ist natürliches Sprachverständnis (NLU) ein Zweig der künstlichen Intelligenz (AI), der Computersoftware verwendet, um verbale Eingaben eines Benutzers (z. B. Fahrer 200) zu verstehen. NLU kann eine direkte Mensch-Computer-Interaktion (HCI) ermöglichen, bei der das Verstehen der natürlichen menschlichen Sprache Computer in die Lage versetzt, von Menschen gegebene Befehle zu verstehen (ohne die formalisierte Syntax von Computersprachen), während diese Computer in die Lage versetzt werden, dem Menschen in seiner eigenen Sprache zu antworten. Das Gebiet der NLU ist ein wichtiger und anspruchsvoller Teilbereich der natürlichen Sprachverarbeitung (NLP). Während beide die menschliche Sprache verstehen, hat NLU die Aufgabe, mit ungeschulten Personen zu kommunizieren und deren Absichten zu verstehen, was bedeutet, dass NLU über das Verstehen von Wörtern hinausgeht und tatsächlich die Bedeutung dieser Wörter interpretiert. NLU kann Algorithmen verwenden, um menschliche Sprache in eine strukturierte Ontologie zu überführen, die Dinge wie Absicht, Zeitpunkt, Ort und Stimmung herausarbeitet.
Nach der Generierung kann der Kommunikationsprozess 250 die Antwort (z.B. Antwort 220) an den Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) übermitteln.
Beim Bereitstellen 262 der Antwort (z.B. Antwort 220) an den Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) kann der Kommunikationsprozess 250 eine verbale Antwort (z.B. Antwort 220) an den Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) bereitstellen.
Wie oben beschrieben, kann das Innere des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) eine Lautsprecherbaugruppe (z.B. Lautsprecherbaugruppe 206) enthalten, um dem Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) eine verbale Antwort zu geben. Wenn das autonome Fahrzeug 10 beispielsweise gerade einen Fahrer aufgenommen hat und sich zur Abfahrt bereit macht, kann die Lautsprecherbaugruppe 206 so konfiguriert sein, dass sie eine audiobasierte Nachricht wiedergibt, die lautet: „Willkommen an Bord. Bitte schnallen Sie sich an, damit wir losfahren können.“
Ferner kann der Kommunikationsprozess 250 bei der Bereitstellung 262 der Antwort (z.B. Antwort 220) an den Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs eine nonverbale Antwort 266 (z.B. Antwort 220) an den Fahrer (z.B. Fahrer 200) des autonomen Fahrzeugs (z.B. autonomes Fahrzeug 10) bereitstellen.
Dementsprechend umfasst das Innere des autonomen Fahrzeugs (z. B. autonomes Fahrzeug 10) eine Ausgabebaugruppe (z. B. eine kontextbezogene Anzeigebaugruppe 202 und/oder eine Lichtanzeigebaugruppe 204), um dem Fahrer (z. B. Fahrer 200) des autonomen Fahrzeugs (z. B. autonomes Fahrzeug 10) die nonverbale Antwort zu geben. Wenn sich das autonome Fahrzeug 10 beispielsweise seinem beabsichtigten Ziel nähert, kann die kontextbezogene Anzeigebaugruppe 202 so konfiguriert sein, dass sie eine textbasierte Nachricht für den Fahrer 200 wiedergibt, die lautet: „Sie erreichen Ihr Ziel. Bitte steigen Sie auf der rechten Seite des Fahrzeugs aus.“ Wenn das autonome Fahrzeug 10 an einer Kreuzung nach rechts abbiegen soll, kann die Lichtanzeigebaugruppe 204 außerdem so konfiguriert sein, dass sie ein nach rechts schwenkendes Bild wiedergibt, um anzuzeigen, dass das autonome Fahrzeug (z. B. das autonome Fahrzeug 10) nach rechts abbiegen wird.
Allgemein
Wie ein Fachmann wissen wird, kann die vorliegende Offenbarung als Verfahren, System oder Computerprogrammprodukt verkörpert werden. Dementsprechend kann die vorliegende Offenbarung die Form einer reinen Hardware-Variante, einer reinen Software-Variante (einschließlich Firmware, residenter Software, Mikrocode usw.) oder einer Variante annehmen, die Software- und Hardware-Aspekte kombiniert, die hier allgemein als „Schaltung“, „Modul“ oder „System“ bezeichnet werden können. Darüber hinaus kann die vorliegende Offenbarung die Form eines Computerprogrammprodukts auf einem computerverwendbaren Speichermedium annehmen, das einen computerverwendbaren Programmcode enthält, der in dem Medium verkörpert ist.
Es kann jedes geeignete computerverwendbare oder computerlesbare Medium verwendet werden. Das computernutzbare oder computerlesbare Medium kann beispielsweise, aber nicht ausschließlich, ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, ein Apparat, eine Vorrichtung oder ein Übertragungsmedium sein. Zu den spezifischeren Beispielen (eine nicht erschöpfende Liste) für das computerlesbare Medium gehören: eine elektrische Verbindung mit einem oder mehreren Drähten, eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein löschbarer programmierbarer Festwertspeicher (EPROM oder Flash-Speicher), eine optische Faser, ein tragbarer Compact-Disc-Festwertspeicher (CD-ROM), ein optisches Speichermedium, ein Übertragungsmedium, z. B. zur Unterstützung des Internets oder eines Intranets, oder ein magnetisches Speichergerät. Das computernutzbare oder computerlesbare Medium kann auch Papier oder ein anderes geeignetes Medium sein, auf das das Programm gedruckt wird, da das Programm elektronisch erfasst werden kann, z. B. durch optisches Scannen des Papiers oder eines anderen Mediums, und dann kompiliert, interpretiert oder anderweitig in geeigneter Weise verarbeitet werden kann, falls erforderlich, und dann in einem Computerspeicher gespeichert wird. Im Zusammenhang mit diesem Dokument kann ein computerverwendbares oder computerlesbares Medium jedes Medium sein, das das Programm zur Verwendung durch oder in Verbindung mit dem Befehlsausführungssystem, dem Apparat oder der Vorrichtung enthalten, speichern, übermitteln, verbreiten oder transportieren kann. Das computernutzbare Medium kann ein verbreitetes Datensignal mit dem darin verkörperten computernutzbaren Programmcode enthalten, entweder im Basisband oder als Teil einer Trägerwelle. Der computernutzbare Programmcode kann über ein beliebiges geeignetes Medium übertragen werden, einschließlich, aber nicht beschränkt auf das Internet, eine Kabelverbindung, ein optisches Faserkabel, RF, usw.
Der Computerprogrammcode zur Durchführung der Vorgänge der vorliegenden Offenbarung kann in einer objektorientierten Programmiersprache wie Java, Smalltalk, C++ oder ähnlichem geschrieben werden. Der Computerprogrammcode zur Durchführung von Vorängen der vorliegenden Offenbarung kann jedoch auch in herkömmlichen prozeduralen Programmiersprachen wie der Programmiersprache „C“ oder ähnlichen Programmiersprachen geschrieben sein. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernten Computer oder vollständig auf dem entfernten Computer oder Server ausgeführt werden. Im letztgenannten Fall kann der entfernte Computer mit dem Computer des Benutzers über ein lokales Netzwerk / ein Weitverkehrsnetzwerk / das Internet (z. B. Netzwerk 14) verbunden sein.
Die vorliegende Offenbarung wird unter Bezugnahme auf Flussdiagrammabbildungen und/oder Blockdiagramme von Verfahren, Geräten (Systemen) und Computerprogrammprodukten gemäß den Ausführungsformen der Offenbarung beschrieben. Es versteht sich, dass jeder Block der Flussdiagramme und/oder Blockdiagramme sowie Kombinationen von Blöcken in den Flussdiagrammen und/oder Blockdiagrammen durch Computerprogrammanweisungen implementiert werden können. Diese Computerprogrammanweisungen können einem Prozessor eines Allzweckcomputers/Spezialcomputers/einer anderen programmierbaren Datenverarbeitungsvorrichtung zur Verfügung gestellt werden, so dass die Anweisungen, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, Mittel zur Implementierung der in dem Flussdiagramm und/oder dem Blockdiagrammblock oder den Blöcken angegebenen Funktionen/Aktionen schaffen.
Diese Computerprogrammanweisungen können auch in einem computerlesbaren Speicher gespeichert werden, der einen Computer oder ein anderes programmierbares Datenverarbeitungsgerät anweisen kann, in einer bestimmten Weise zu arbeiten, so dass die in dem computerlesbaren Speicher gespeicherten Anweisungen einen Herstellungsartikel erzeugen, der Befehlsmittel enthält, die die in dem Flussdiagramm und/oder dem Blockdiagramm angegebene Funktion/Aktion umsetzen.
Die Computerprogrammanweisungen können auch auf einen Computer oder ein anderes programmierbares Datenverarbeitungsgerät geladen werden, um eine Reihe von Betriebsschritten zu veranlassen, die auf dem Computer oder einem anderen programmierbaren Gerät ausgeführt werden, um einen computerimplementierten Prozess zu erzeugen, so dass die Anweisungen, die auf dem Computer oder einem anderen programmierbaren Gerät ausgeführt werden, Schritte zur Implementierung der in dem Flussdiagramm und/oder dem Blockdiagrammblock oder den Blöcken angegebenen Funktionen/Aktionen bereitstellen.
Die Flussdiagramme und Blockdiagramme in den Abbildungen können die Architektur, die Funktionalität und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenlegung veranschaulichen. In dieser Hinsicht kann jeder Block im Flussdiagramm oder in den Blockdiagrammen ein Modul, ein Segment oder einen Teil des Codes darstellen, der eine oder mehrere ausführbare Anweisungen zur Implementierung der angegebenen logischen Funktion(en) umfasst. Es sollte auch beachtet werden, dass in einigen alternativen Implementierungen die in den Blöcken angegebenen Funktionen in einer anderen Reihenfolge, als in den Abbildungen angegeben, auftreten können. So können beispielsweise zwei nacheinander gezeigte Blöcke in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in umgekehrter Reihenfolge ausgeführt werden, je nach der betreffenden Funktionalität. Es wird auch darauf hingewiesen, dass jeder Block in den Blockdiagrammen und/oder Flussdiagrammdarstellungen und Kombinationen von Blöcken in den Blockdiagrammen und/oder Flussdiagrammdarstellungen durch spezielle hardwarebasierte Systeme, die die angegebenen Funktionen oder Handlungen ausführen, oder durch Kombinationen von spezieller Hardware und Computerbefehlen implementiert werden können.
Die hier verwendete Terminologie dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als Einschränkung der Offenbarung zu verstehen. Die hier verwendeten Singularformen „ein“, „eine“ und „die“ schließen auch die Pluralformen ein, sofern aus dem Kontext nicht eindeutig etwas anderes hervorgeht. Es versteht sich ferner, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein bestimmter Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber das Vorhandensein oder Hinzufügen eines oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen.
Die entsprechenden Strukturen, Materialien, Handlungen und Äquivalente aller Mittel oder Schritt-plus-Funktions-Elemente in den nachstehenden Ansprüchen sollen jede Struktur, jedes Material oder jede Handlung zur Ausführung der Funktion in Kombination mit anderen beanspruchten Elementen umfassen, wie sie speziell beansprucht werden. Die Beschreibung der vorliegenden Offenbarung dient der Veranschaulichung und Beschreibung, erhebt jedoch keinen Anspruch auf Vollständigkeit oder Beschränkung auf die Offenbarung in der offengelegten Form. Viele Modifikationen und Variationen sind für den Fachmann offensichtlich, ohne dass dadurch der Umfang und der Geist der Offenbarung beeinträchtigt werden. Die Ausführungsform wurde gewählt und beschrieben, um die Grundsätze der Offenbarung und die praktische Anwendung bestmöglich zu erläutern und es anderen Fachleuten zu ermöglichen, die Offenbarung für verschiedene Ausführungsformen mit verschiedenen Modifikationen zu verstehen, die für die jeweilige Verwendung geeignet sind.
Es wurde eine Reihe von Ausführungsformen beschrieben. Nachdem die Offenbarung der vorliegenden Anmeldung im Detail und unter Bezugnahme auf Ausführungsformen beschrieben wurde, wird deutlich, dass Modifikationen und Variationen möglich sind, ohne vom Umfang der Offenbarung, die in den beigefügten Ansprüchen definiert ist, abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/959400 [0001]

Claims

Ein computerimplementiertes Verfahren, das auf einer Rechenvorrichtung ausgeführt wird und Folgendes umfasst: Überwachung des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; und Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen, um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden, umfasst: Überwachung des Innenraums des autonomen Fahrzeugs auf verbale Informationen, die vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; wobei der Innenraum des autonomen Fahrzeugs eine Mikrofonbaugruppe zum Erfassen der von dem Fahrer des autonomen Fahrzeugs bereitgestellten verbalen Informationen enthält.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden, umfasst: Überwachung des Innenraums des autonomen Fahrzeugs auf nonverbale Informationen, die vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; wobei der Innenraum des autonomen Fahrzeugs eine Eingabevorrichtung zum Abrufen der vom Fahrer des autonomen Fahrzeugs bereitgestellten nonverbalen Informationen enthält.
Computerimplementiertes Verfahren nach Anspruch 3, wobei die nonverbale Information eines oder mehrere der folgenden Elemente enthält: textbasierte Informationen; und kodierte Informationen.
Computerimplementiertes Verfahren nach Anspruch 1 ferner umfassend: Bereitstellung der Antwort an den Fahrer des autonomen Fahrzeugs.
Computerimplementiertes Verfahren nach Anspruch 5, wobei das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs umfasst: eine verbale Antwort an den Fahrer des autonomen Fahrzeugs zu geben; wobei der Innenraum des autonomen Fahrzeugs eine Lautsprecherbaugruppe enthält, um dem Fahrer des autonomen Fahrzeugs die verbale Antwort zu geben.
Computerimplementiertes Verfahren nach Anspruch 5, wobei das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs umfasst: dem Fahrer des autonomen Fahrzeugs eine nonverbale Antwort zu geben; wobei der Innenraum des autonomen Fahrzeugs eine Ausgabebaugruppe zur Bereitstellung der nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs enthält.
Computerimplementiertes Verfahren nach Anspruch 7, wobei die nonverbale Antwort eines oder mehrere der folgenden Elemente umfasst: eine textbasierte Antwort; und eine lichtbasierte Reaktion.
Computerimplementiertes Verfahren nach Anspruch 1, bei dem die vom Fahrer des autonomen Fahrzeugs bereitgestellte Information eine verbale Information ist.
Computerimplementiertes Verfahren nach Anspruch 9, wobei das Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen zum Erzeugen einer Antwort, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert, umfasst: Verarbeiten der verbalen Informationen, die der Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung stellt, unter Verwendung von Natürlichem Sprachverständnis (NLU), um eine Antwort zu erzeugen, die zumindest teilweise auf den verbalen Informationen basiert, die der Fahrer des autonomen Fahrzeugs zur Verfügung stellt.
Ein Computerprogrammprodukt, das sich auf einem computerlesbaren Medium befindet, auf dem eine Vielzahl von Anweisungen gespeichert sind, die, wenn sie von einem Prozessor ausgeführt werden, den Prozessor veranlassen, Operationen durchzuführen, die Folgendes umfassen: Überwachung des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; und Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen, um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert.
Computerprogrammprodukt nach Anspruch 11, wobei das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden, umfasst: Überwachung des Innenraums des autonomen Fahrzeugs auf verbale Informationen, die vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; wobei der Innenraum des autonomen Fahrzeugs eine Mikrofonbaugruppe zum Erfassen der von dem Fahrer des autonomen Fahrzeugs bereitgestellten verbalen Informationen enthält.
Computerprogrammprodukt nach Anspruch 11, wobei das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden, umfasst: Überwachung des Innenraums des autonomen Fahrzeugs auf nonverbale Informationen, die vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; wobei der Innenraum des autonomen Fahrzeugs eine Eingabevorrichtung zum Abrufen der vom Fahrer des autonomen Fahrzeugs bereitgestellten nonverbalen Informationen enthält.
Computerprogrammprodukt nach Anspruch 13, wobei die nonverbale Information eines oder mehrere der folgenden Elemente enthält: textbasierte Informationen; und kodierte Informationen.
Computerprogrammprodukt nach Anspruch 11 ferner umfassend: Bereitstellung der Antwort an den Fahrer des autonomen Fahrzeugs.
Computerprogrammprodukt nach Anspruch 15, wobei das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs umfasst: eine verbale Antwort an den Fahrer des autonomen Fahrzeugs zu geben; wobei der Innenraum des autonomen Fahrzeugs eine Lautsprecherbaugruppe enthält, um dem Fahrer des autonomen Fahrzeugs die verbale Antwort zu geben.
Computerprogrammprodukt nach Anspruch 15, wobei das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs umfasst: dem Fahrer des autonomen Fahrzeugs eine nonverbale Antwort zu geben; wobei der Innenraum des autonomen Fahrzeugs eine Ausgabebaugruppe zur Bereitstellung der nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs enthält.
Computerprogrammprodukt nach Anspruch 17, wobei die nonverbale Antwort eines oder mehrere der folgenden Elemente umfasst: eine textbasierte Antwort; und eine lichtbasierte Reaktion.
Computerprogrammprodukt nach Anspruch 11, wobei die vom Fahrer des autonomen Fahrzeugs bereitgestellten Informationen verbale Informationen sind.
Computerprogrammprodukt nach Anspruch 19, wobei das Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen zum Erzeugen einer Antwort, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert, umfasst: Verarbeiten der verbalen Informationen, die der Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung stellt, unter Verwendung von Natürlichem Sprachverständnis (NLU), um eine Antwort zu erzeugen, die zumindest teilweise auf den verbalen Informationen basiert, die der Fahrer des autonomen Fahrzeugs zur Verfügung stellt.
Computersystem mit einem Prozessor und einem Speicher, das so konfiguriert ist, dass es Operationen durchführt, die Folgendes umfassen: Überwachung des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; und Verarbeiten der vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug gelieferten Informationen, um eine Antwort zu erzeugen, die zumindest teilweise auf den vom Fahrer des autonomen Fahrzeugs gelieferten Informationen basiert.
Computersystem nach Anspruch 21, wobei das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden, umfasst: Überwachung des Innenraums des autonomen Fahrzeugs auf verbale Informationen, die vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; wobei der Innenraum des autonomen Fahrzeugs eine Mikrofonbaugruppe zum Erfassen der von dem Fahrer des autonomen Fahrzeugs bereitgestellten verbalen Informationen enthält.
Computersystem nach Anspruch 21, wobei das Überwachen des Innenraums eines autonomen Fahrzeugs auf Informationen, die von einem Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden, umfasst: Überwachung des Innenraums des autonomen Fahrzeugs auf nonverbale Informationen, die vom Fahrer des autonomen Fahrzeugs an das autonome Fahrzeug übermittelt werden; wobei der Innenraum des autonomen Fahrzeugs eine Eingabevorrichtung zum Abrufen der vom Fahrer des autonomen Fahrzeugs bereitgestellten nonverbalen Informationen enthält.
Computersystem nach Anspruch 23, wobei die nonverbale Information eines oder mehrere der folgenden Elemente enthält: textbasierte Informationen; und kodierte Informationen.
Computersystem nach Anspruch 21 ferner umfassend: Bereitstellung der Antwort an den Fahrer des autonomen Fahrzeugs.
Computersystem nach Anspruch 25, wobei das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs umfasst: eine verbale Antwort an den Fahrer des autonomen Fahrzeugs zu geben; wobei der Innenraum des autonomen Fahrzeugs eine Lautsprecherbaugruppe enthält, um dem Fahrer des autonomen Fahrzeugs die verbale Antwort zu geben.
Computersystem nach Anspruch 25, wobei das Bereitstellen der Antwort an den Fahrer des autonomen Fahrzeugs umfasst: dem Fahrer des autonomen Fahrzeugs eine nonverbale Antwort zu geben; wobei der Innenraum des autonomen Fahrzeugs eine Ausgabebaugruppe zur Bereitstellung der nonverbalen Antwort an den Fahrer des autonomen Fahrzeugs enthält.
Computersystem nach Anspruch 27, wobei die nonverbale Antwort eines oder mehrere der folgenden Elemente umfasst: eine textbasierte Antwort; und eine lichtbasierte Reaktion.
Computersystem nach Anspruch 21, wobei die vom Fahrer des autonomen Fahrzeugs bereitgestellten Informationen verbale Informationen sind.
Computersystem nach Anspruch 29, wobei die Verarbeitung der Informationen, die der Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung stellt, um eine Antwort zu erzeugen, die zumindest teilweise auf den Informationen basiert, die der Fahrer des autonomen Fahrzeugs zur Verfügung stellt, umfasst: Verarbeiten der verbalen Informationen, die der Fahrer des autonomen Fahrzeugs dem autonomen Fahrzeug zur Verfügung stellt, unter Verwendung von Natürlichem Sprachverständnis (NLU), um eine Antwort zu erzeugen, die zumindest teilweise auf den verbalen Informationen basiert, die der Fahrer des autonomen Fahrzeugs zur Verfügung stellt.