DE102021133534A1

DE102021133534A1 - Betreiben eines fahrzeugs

Info

Publication number: DE102021133534A1
Application number: DE102021133534.5A
Authority: DE
Inventors: Grigoriy Dubrovskiy; Aditya Sreekumar; Siddharth Menon
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2021-06-30
Filing date: 2021-12-16
Publication date: 2023-01-05
Also published as: US20230001954A1; GB2608477A; KR20230005044A; GB2608477B; CN115542891A; US11904893B2

Abstract

Es werden Verfahren bereitgestellt zum Betreiben eines Fahrzeugs, die das Empfangen von Daten aus einem oder mehreren von mindestens einem sich in einem Fahrzeug befindlichen Sensor oder aus einer Anwendung auf einer mit dem Fahrzeug verbundenen Kommunikationsvorrichtung beinhalten, die mindestens eine Aktion oder ein Erscheinungsbild eines Fahrgastes des Fahrzeugs anzeigen; Bestimmen basierend auf mindestens einem von der Aktion oder des Erscheinungsbildes, dass eine Änderung mindestens eines Betriebsparameters des Fahrzeugs erforderlich ist, Ändern des mindestens einen Betriebsparameters des Fahrzeugs als Reaktion auf das Bestimmen. Außerdem werden Systeme und Computerprogrammprodukte bereitgestellt.

Description

HINTERGRUND
Autonome Fahrzeuge (AFs) können dazu verwendet werden, Menschen von einem Ort zum anderen zu befördern. Beispielsweise kann ein AF zum Ort einer Person navigieren, darauf warten, dass die Person in das AF einsteigt, und zum Zielort (z. B. zu einem durch die Person ausgewählten Ort) fahren.
Figurenliste

1 ist ein Beispiel für eine Umgebung, in der ein Fahrzeug mit einer oder mehreren Komponenten eines autonomen Systems implementiert werden kann;
2 ist ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs mit einem autonomen System;
3 ist ein Diagramm von Komponenten eines oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme von 1 und 2;
4 ist ein Diagramm bestimmter Komponenten eines autonomen Systems;
5 ist ein Diagramm einer beispielhaften Fahrgastkomfortschaltungsanordnung;
6A ist ein Diagramm einer Implementierung eines neuronalen Netzes;
6B und 6C sind Diagramme, die den beispielhaften Betrieb eines CNN veranschaulichen;
7 ist ein Flussdiagramm eines Prozesses zum Betreiben eines Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
In der folgenden Beschreibung werden zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der vorliegenden Offenbarung zu ermöglichen. Es wird jedoch offensichtlich, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen auch ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen werden bekannte Strukturen und Vorrichtungen in Blockdiagrammform dargestellt, um eine unnötige Verschleierung der Aspekte der vorliegenden Offenbarung zu vermeiden.
Zur leichteren Beschreibung sind in den Zeichnungen spezifische Anordnungen oder Reihenfolgen von schematischen Elementen abgebildet, wie zum Beispiel solche, die Systeme, Vorrichtungen, Module, Anweisungsblöcke, Datenelemente und/oder dergleichen darstellen. Der Fachmann wird jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht bedeuten soll, dass eine bestimmte Reihenfolge oder Sequenz der Bearbeitung oder eine Trennung der Prozesse erforderlich ist, sofern dies nicht ausdrücklich als erforderlich beschrieben ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden dürfen, sofern dies nicht ausdrücklich als so gefordert beschrieben ist.
Ferner ist in den Zeichnungen, in denen Verbindungselemente, wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Verknüpfung zwischen oder unter zwei oder mehreren anderen schematischen Elementen darzustellen, das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, Beziehung oder Verknüpfung bestehen kann. Mit anderen Worten werden einige Verbindungen, Zusammenhänge oder Verknüpfungen zwischen Elementen in den Zeichnungen nicht dargestellt, um die Offenbarung nicht zu verschleiern. Zur leichteren Veranschaulichung kann außerdem ein einzelnes Verbindungselement verwendet werden, um mehrere Verbindungen, Zusammenhänge oder Verknüpfungen zwischen Elementen darzustellen. Wenn zum Beispiel ein Verbindungselement die Kommunikation von Signalen, Daten oder Anweisungen (z. B. „Softwareanweisungen“) darstellt, sollte der Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z. B. einen Bus) darstellen kann, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
Obwohl die Begriffe „erste“, „zweite“, „dritte“ und/oder dergleichen zur Beschreibung verschiedener Elemente verwendet werden, sollen diese Elemente nicht durch diese Begriffe eingeschränkt werden. Die Begriffe „erste“, „zweite“, „dritte“ und/oder dergleichen dienen lediglich dazu, ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als zweiter Kontakt bezeichnet sein, und in ähnlicher Weise könnte ein zweiter Kontakt als dritter Kontakt bezeichnet sein, ohne vom Schutzbereich der beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber sie sind nicht derselbe Kontakt.
Die Terminologie, die bei der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendet wird, dient lediglich der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend beabsichtigt. Bei der Beschreibung der verschiedenen beschriebenen Ausführungsformen und der beigefügten Ansprüche sollen die Singularformen „ein“, „eine“ sowie „der“, „die“, „das“ auch die Pluralformen einschließen und können austauschbar mit „einem oder mehreren“ oder „mindestens einem“ verwendet werden, sofern der Zusammenhang nicht eindeutig etwas anderes vorgibt. Es versteht sich auch, dass der Begriff „und/oder“ wie hier verwendet sich auf alle möglichen Kombinationen eines oder mehrerer der zugehörigen aufgelisteten Punkte bezieht und diese mit einschließt. Es versteht sich ferner, dass die Begriffe „enthalten“, „einschließlich“, „umfassen“, und/oder „umfassend“ bei Verwendung in dieser Beschreibung das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente und/oder Komponenten davon angibt, aber nicht das Vorhandensein oder Hinzufügen eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Die Begriffe „Kommunikation“ und „kommunizieren“ beziehen sich hier mindestens auf eines von Empfang, Übertragung, Übermittlung, Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die z. B. durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen dargestellt werden). Wenn eine Einheit (z. B. eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) mit einer anderen Einheit in Kommunikation steht, bedeutet dies, dass diese eine Einheit in der Lage ist, direkt oder indirekt Informationen aus der anderen Einheit zu empfangen und/oder Informationen an die andere Einheit zu senden (z. B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die von Hause aus drahtgebunden und/oder drahtlos ist. Darüber hinaus können zwei Einheiten miteinander kommunizieren, obwohl die übertragenen Informationen zwischen der ersten und der zweiten Einheit geändert, verarbeitet, weitergegeben und/oder weitergeleitet werden können. So kann beispielsweise eine erste Einheit mit einer zweiten Einheit in Kommunikation stehen, obwohl die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen an die zweite Einheit überträgt. Als weiteres Beispiel kann eine erste Einheit mit einer zweiten Einheit in Kommunikation stehen, wenn mindestens eine Zwischeneinheit (z. B. eine dritte Einheit, die sich zwischen der ersten und der zweiten Einheit befindet) die aus der ersten Einheit empfangenen Informationen verarbeitet und die verarbeiteten Informationen an die zweite Einheit überträgt. In einigen Ausführungsformen kann sich eine Nachricht auf ein Netzwerkpaket (z. B. ein Datenpaket und/oder dergleichen) beziehen, das Daten enthält.
Der Begriff „falls“ ist hier gegebenenfalls so auszulegen, dass er je nach Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „als Reaktion auf das Erkennen“ und/oder dergleichen bedeutet. In ähnlicher Weise ist die Formulierung „falls bestimmt wird“ oder „falls [ein angegebener Zustand oder ein Ereignis] erkannt wird“ und/oder dergleichen je nach Zusammenhang gegebenenfalls so auszulegen, dass sie „bei Bestimmung“, „als Reaktion auf das Bestimmen“, „bei Erkennen [des angegebenen Zustands oder Ereignisses]“ oder „als Reaktion auf das Erkennen [des angegebenen Zustands oder Ereignisses]“ bedeutet. Auch die hier verwendeten Begriffe „hat“, „haben“, „aufweisen“ oder dergleichen sind als offene Begriffe zu verstehen. Ferner ist die Formulierung „basierend auf in der Bedeutung „mindestens teilweise basierend auf beabsichtigt, sofern nicht ausdrücklich etwas anderes angegeben ist.
Im Folgenden wird im Detail Bezug auf Ausführungsformen genommen, deren Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen zu ermöglichen. Jedoch wird für einen durchschnittlichen Fachmann deutlich sein, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen sind allgemein bekannte Verfahren, Vorgehensweisen, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, um eine unnötige Verschleierung der Aspekte der Ausführungsformen zu vermeiden.
Allgemeiner Überblick
In einigen Aspekten und/oder Ausführungsformen umfassen und/oder implementieren die hier beschriebenen Systeme, Verfahren und Computerprogrammprodukte ein System zum Betreiben eines Fahrzeugs basierend auf Rückmeldungen von fahrzeuginternen Sensoren und/oder einer auf der Kommunikationsvorrichtung eines Fahrgastes installierten Anwendung.
In einem Beispiel einer Ausführungsform erfasst ein System eines Fahrzeugs (z. B. eines autonomen Fahrzeugs) Signale aus fahrzeuginternen Sensoren und/oder einer Anwendung, die auf einer mit dem Fahrzeug kommunizierenden Kommunikationsvorrichtung (z. B. einem Telefon) eines Fahrgastes installiert ist, und verwendet diese Signale, um mindestens einen Betriebsparameter (z. B. die Route oder die Geschwindigkeit) des Fahrzeugs zu ändern, um den Komfort für den Fahrgast zu erhöhen.
Beispielsweise stellt das System des Fahrzeugs fest, dass der Fahrgast einen Videoanruf startet, und als Reaktion darauf veranlasst das System des Fahrzeugs eine Verlangsamung des Fahrzeugs, bis die Vibrationen innerhalb des Fahrzeugs nachlassen, oder es ändert die Route in eine sanftere Route (z. B. eine Route mit einem gleichmäßigeren Material wie beispielsweise Asphalt anstelle von Schotter).
In einem anderen Beispiel stellt das System des Fahrzeugs fest, dass der Fahrgast schläft oder sich entspannt, und als Reaktion darauf veranlasst das System des Fahrzeugs eine Verlangsamung des Fahrzeugs, bis die Vibrationen im Fahrzeug abnehmen. Zusätzlich oder alternativ kann das System des Fahrzeugs eine Änderung der Route, auf der das Fahrzeug fährt, bewirken, sodass die Route sanfter ist als die, auf der das Fahrzeug zuvor gefahren ist.
In einem weiteren Beispiel stellt das System des Fahrzeugs fest, dass der Fahrgast während der Fahrt an einer Besprechung teilnehmen muss, und daraufhin wählt das System des Fahrzeugs eine Route aus, die unter den verfügbaren Routen die beste Internetverbindung aufweist.
In einem Beispiel stellt das System des Fahrzeugs fest, dass der Fahrgast zu einer Veranstaltung fährt (z. B. durch Erkennen, dass die Person eine formelle Kleidung oder einen formellen Anzug trägt, und daraus Schließen, dass der Fahrgast zu einer Besprechung fährt), und als Reaktion darauf veranlasst das System des Fahrzeugs das Fahrzeug zu beschleunigen. Zusätzlich oder alternativ kann das System des Fahrzeugs eine schnellere Route wählen.
Durch die Implementierung der hier beschriebenen Systeme, Verfahren und Computerprogrammprodukte kann ein Fahrzeug effizienter und/oder effektiver betrieben werden. Ein System eines Fahrzeugs kann eine Aktion des Fahrzeugs basierend auf Aktionen und/oder dem Erscheinungsbild des Fahrgastes ändern. Eine solche Änderung kann den Komfort eines Fahrgastes vorteilhaft erhöhen, und zwar ohne dass ständige oder mehrfache Benutzereingaben erforderlich sind, die eine Präferenz des Fahrgastes anzeigen. Dies hat den Vorteil, dass die grafische Benutzeroberfläche einer Anwendung, die der Fahrgast während der Fahrt nutzt, einfacher gestaltet werden kann. Eine einfachere grafische Benutzeroberfläche minimiert Rechenfehler, reduziert redundante Kommunikation und ermöglicht eine optimalere Nutzung der Bandbreite, während der Fahrgast die Anwendung nutzt und/oder während die Anwendung mit dem Fahrzeug kommuniziert. Einfachere grafische Benutzeroberflächen können benutzerfreundlicher sein, das Engagement und die Bindung der Benutzer (einschließlich der Fahrgäste) an die Anwendung erhöhen, weniger Rechenressourcen wie Speicherplatz (der sowohl Speicher als auch Datenbanken umfassen kann) erfordern, die Rechenkosten für die Beantwortung von Kundenanfragen senken, die Zeit für die Rückgabe von Suchergebnissen oder das Durchsuchen verschiedener Funktionen der Anwendung verringern und/oder dergleichen. Darüber hinaus kann die Installation mehrerer diskreter Sensoren an verschiedenen Stellen im Fahrzeug viele Vorteile bieten, einschließlich eines einfacheren und gleichzeitigen Zugriffs auf verschiedene Daten (z. B. Handlungen und/oder Erscheinungsbild des Fahrgasts) und einer hohen Geschwindigkeit, mit der eine Optimierung (z. B. Änderung der Route und/oder der Geschwindigkeit) durchgeführt werden kann, da die Eingabedaten schnell von parallel arbeitenden Sensoren erfasst werden.
In 1 ist ein Beispiel für eine Umgebung 100 dargestellt, in der sowohl Fahrzeuge mit autonomen Systemen als auch Fahrzeuge ohne solche Systeme betrieben werden. Wie dargestellt, umfasst die Umgebung 100 die Fahrzeuge 102a-102n, die Objekte 104a-104n, die Routen 106a-106n, ein Gebiet 108, eine Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, ein Netzwerk 112, ein entfernt gelegenes autonomes Fahrzeug(AF)-System 114, ein Flottenverwaltungssystem 116 und ein V2I-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, das Netzwerk 112, das autonome Fahrzeug(AF)-System 114, das Flottenverwaltungssystem 116 und das V2I-System 118 verbinden sich untereinander (z. B. stellen eine Verbindung her zwecks Kommunikation und/oder dergleichen) über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen. In einigen Ausführungsformen sind die Objekte 104a-104n mit mindestens einem der Fahrzeuge 102a-102n, der Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, dem Netzwerk 112, dem autonomen Fahrzeug(AF)-System 114, dem Flottenverwaltungssystem 116 und dem V2I-System 118 über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen verbunden.
Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und insgesamt als Fahrzeuge 102 bezeichnet) enthalten mindestens eine Vorrichtung, die für den Transport von Gütern und/oder Personen ausgelegt ist. In einigen Ausführungsformen sind die Fahrzeuge 102 dazu ausgelegt, über das Netzwerk 112 mit der V2I-Vorrichtung 110, dem entfernt gelegenen AF-System 114, dem Flottenverwaltungssystem 116 und/oder dem V2I-System 118 zu kommunizieren. In einigen Ausführungsformen umfassen die Fahrzeuge 102 Autos, Busse, Lastwagen, Züge und/oder dergleichen. In einigen Ausführungsformen sind die Fahrzeuge 102 gleich oder ähnlich wie die hier beschriebenen Fahrzeuge 200 (siehe 2). In einigen Ausführungsformen ist ein Fahrzeug 200 einer Gruppe von Fahrzeugen 200 einer autonomen Flottenverwaltung zugeordnet. In einigen Ausführungsformen fahren die Fahrzeuge 102 entlang der jeweiligen Routen 106a-106n (einzeln als Route 106 und insgesamt als Routen 106 bezeichnet), wie hier beschrieben. In einigen Ausführungsformen enthalten ein oder mehrere Fahrzeuge 102 ein autonomes System (z. B. ein autonomes System gleich oder ähnlich dem autonomen System 202).
Zu den Objekten 104a-104n (einzeln als Objekt 104 und insgesamt als Objekte 104 bezeichnet) gehören beispielsweise mindestens ein Fahrzeug, mindestens ein Fußgänger, mindestens ein Radfahrer, mindestens ein Bauwerk/eine Struktur (z. B. ein Gebäude, ein Straßenschild, ein Hydrant usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z. B. für eine bestimmte Zeit an einem festen Ort) oder mobil (z. B. mit einer Geschwindigkeit und mindestens einer Bewegungsbahn). In einigen Ausführungsformen sind die Objekte 104 entsprechenden Orten im Bereich 108 zugeordnet.
Die Routen 106a-106n (einzeln als Route 106 und insgesamt als Routen 106 bezeichnet) sind jeweils einer Abfolge von Aktionen (auch als Bewegungsbahn bezeichnet) zugeordnet (z. B. schreiben diese vor), die Zustände miteinander verbinden, entlang derer ein AF navigieren kann. Jede Route 106 beginnt mit einem Anfangszustand (z. B. einem Zustand, der einem ersten raumzeitlichen Ort, einer Geschwindigkeit und/oder dergleichen entspricht) und einem endgültigen Zielzustand (z. B. einem Zustand, der einem zweiten raumzeitlichen Ort entspricht, der vom ersten raumzeitlichen Ort verschieden ist) oder einem Zielgebiet (z. B. einem Unterraum akzeptabler Zustände (z. B. Endzustände)). In einigen Ausführungsformen umfasst der erste Zustand einen Ort, an dem eine oder mehrere Personen durch das AF abgeholt werden sollen, und umfasst der zweite Zustand oder die zweite Region einen Ort oder mehrere Orte, an denen die durch das AF abgeholte(n) Person(en) abgesetzt werden soll(en). In einigen Ausführungsformen enthalten die Routen 106 eine Vielzahl von akzeptablen Zustandssequenzen (z. B. eine Vielzahl von raumzeitlichen Ortssequenzen), wobei die Vielzahl von Zustandssequenzen einer Vielzahl von Bewegungsbahnen zugeordnet ist (z. B. diese definiert). In einem Beispiel umfassen die Routen 106 nur übergeordnete Aktionen oder ungenaue Zustandsorte, wie z. B. eine Reihe miteinander verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorgeben. Zusätzlich oder alternativ können die Routen 106 präzisere Aktionen oder Zustände beinhalten, wie z. B. bestimmte Sollfahrstreifen oder genaue Positionen innerhalb der Fahrstreifenbereiche und die Sollgeschwindigkeit an diesen Positionen. In einem Beispiel umfassen die Routen 106 eine Vielzahl präziser Zustandssequenzen entlang der mindestens einen Aktionssequenz auf hoher Ebene mit einem begrenzten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination aufeinanderfolgender Iterationen von Zustandssequenzen mit begrenztem Horizont kumulativ einer Vielzahl von Bewegungsbahnen entspricht, die zusammen die Route auf hoher Ebene bilden, um im endgültigen Zielzustand oder -gebiet zu enden.
Der Bereich 108 umfasst einen physischen Bereich (z. B. eine geografische Region), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel umfasst der Bereich 108 mindestens einen Staat (z. B. ein Land, einen Bezirk, einen einzelnen Staat aus einer Vielzahl von Staaten, die zu einem Land gehören, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In einigen Ausführungsformen umfasst das Gebiet 108 mindestens einen benannten Verkehrsweg (hier als „Straße“ bezeichnet), wie z. B. eine Autobahn, eine Fernstraße, eine Parkstraße, eine Stadtstraße usw. Zusätzlich oder alternativ umfasst der Bereich 108 in einigen Beispielen mindestens einen unbenannten Verkehrsweg wie eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines freien und/oder unbebauten Grundstücks, einen Feldweg usw. In einigen Ausführungsformen umfasst eine Straße mindestens einen Fahrstreifen (z. B. einen Teil der Straße, der durch Fahrzeuge 102 befahren werden kann). In einem Beispiel umfasst eine Straße mindestens einen Fahrstreifen, der mindestens einer Fahrstreifenmarkierung zugeordnet ist (z. B. anhand dieser Markierung identifiziert wird).
Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110 (mitunter auch als Fahrzeug-zu-Infrastruktur(V2X)-Vorrichtung bezeichnet) umfasst mindestens eine Vorrichtung, die für die Kommunikation mit Fahrzeugen 102 und/oder dem V2I-Infrastruktursystem 118 ausgelegt ist. In einigen Ausführungsformen ist die V2I-Vorrichtung 110 dazu ausgelegt, über das Netzwerk 112 mit den Fahrzeugen 102, dem entfernt gelegenen AF-System 114, dem Flottenverwaltungssystem 116 und/oder dem V2I-System 118 zu kommunizieren. In einigen Ausführungsformen umfasst die V2I-Vorrichtung 110 eine Hochfrequenzkennungs(Radio Frequency Identification, RFID)-Vorrichtung, Verkehrsschilder, Kameras (z. B. zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Fahrstreifenmarkierungen, Straßenlaternen, Parkuhren usw. In einigen Ausführungsformen ist die V2I-Vorrichtung 110 dazu ausgelegt, direkt mit den Fahrzeugen 102 zu kommunizieren. Zusätzlich oder alternativ ist in einigen Ausführungsformen die V2I-Vorrichtung 110 dazu ausgelegt, mit den Fahrzeugen 102, dem entfernt gelegenen AF-System 114 und/oder dem Flottenverwaltungssystem 116 über das V2I-System 118 zu kommunizieren. In einigen Ausführungsformen ist die V2I-Vorrichtung 110 dazu ausgelegt, mit dem V2I-System 118 über das Netzwerk 112 zu kommunizieren.
Das Netzwerk 112 umfasst ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel umfasst das Netzwerk 112 ein Mobilfunknetz (z. B. ein LTE-Netz (Long Term Evolution), ein 3G-Netz (dritte Generation), ein 4G-Netz (vierte Generation), ein 5G-Netz (fünfte Generation), ein CDMA-Netz (Code Division Multiple Access) usw.), ein öffentliches Mobilfunknetz (PLMN), ein LAN (Local Area Network), ein WAN (Wide Area Network), ein MAN (Metropolitan Area Network), ein Telefonnetz (z. B., das öffentliche Telefonnetz (PSTN)), ein privates Netz, ein Ad-hoc-Netz, ein Intranet, das Internet, ein glasfaserbasiertes Netz, ein Cloud-Computing-Netz usw., eine Kombination einiger oder aller dieser Netze und/oder dergleichen.
Das entfernt gelegene AF-System 114 umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, über das Netzwerk 112 mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem Netzwerk 112, dem entfernt gelegenen AF-System 114, dem Flottenverwaltungssystem 116 und/oder dem V2I-System 118 zu kommunizieren. In einem Beispiel umfasst das entfernt gelegene AF-System 114 einen Server, eine Gruppe von Servern und/oder andere ähnliche Vorrichtungen. In einigen Ausführungsformen ist das entfernt gelegene AF-System 114 zusammen mit dem Flottenverwaltungssystem 116 untergebracht. In einigen Ausführungsformen ist das entfernt gelegene AF-System 114 an der Installation einiger oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines Rechensystems eines autonomen Fahrzeugs, einer durch ein Rechensystem eines autonomen Fahrzeugs implementierten Software und/oder dergleichen. In einigen Ausführungsformen pflegt (z. B. aktualisiert und/oder ersetzt) das entfernt gelegene AF-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
Das Flottenverwaltungssystem 116 umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem entfernt gelegenen AF-System 114 und/oder dem V2I-Infrastruktursystem 118 zu kommunizieren. In einem Beispiel enthält das Flottenverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere ähnliche Vorrichtungen. In einigen Ausführungsformen ist das Flottenverwaltungssystem 116 einem Fahrgemeinschaftsunternehmen (z. B. einer Organisation, die den Betrieb mehrerer Fahrzeuge (z. B. Fahrzeuge mit autonomen Systemen und/oder Fahrzeuge ohne autonome Systeme) steuert und/oder dergleichen) zugeordnet.
In einigen Ausführungsformen enthält das V2I-System 118 mindestens eine Vorrichtung, die dazu ausgelegt ist, über das Netzwerk 112 mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem entfernt gelegenen AF-System 114 und/oder dem Flottenverwaltungssystem 116 zu kommunizieren. In einigen Beispielen ist das V2I-System 118 dazu ausgelegt, mit der V2I-Vorrichtung 110 über eine andere Verbindung als das Netzwerk 112 zu kommunizieren. In einigen Ausführungsformen enthält das V2I-System 118 einen Server, eine Gruppe von Servern und/oder andere ähnliche Vorrichtungen. In einigen Ausführungsformen ist das V2I-System 118 einer Gemeinde oder einer privaten Institution (z. B. einer privaten Institution, die die V2I-Vorrichtung 110 und/oder dergleichen unterhält) zugeordnet.
Die Anzahl und Anordnung der in 1 dargestellten Elemente ist lediglich ein Beispiel. Es können zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten vorhanden sein. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch mindestens ein anderes Element von 1 ausgeführt beschrieben sind. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch mindestens einen anderen Satz von Elementen der Umgebung 100 ausgeführt beschrieben sind.
2 zeigt, dass das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrangsteuersystem 204, ein Lenkungssteuersystem 206 und ein Bremssystem 208 umfasst. In einigen Ausführungsformen ist das Fahrzeug 200 gleich oder ähnlich dem Fahrzeug 102 (siehe 1). In einigen Ausführungsformen hat das Fahrzeug 102 autonome Fähigkeiten (z. B. mindestens eine Funktion, ein Merkmal, eine Vorrichtung und/oder dergleichen, die es ermöglichen, dass das Fahrzeug 200 teilweise oder vollständig ohne menschliches Eingreifen betrieben werden kann, einschließlich, ohne Einschränkung, vollständig autonomer Fahrzeuge (z. B. Fahrzeuge, die auf menschliches Eingreifen verzichten), hochgradig autonomer Fahrzeuge (z. B. Fahrzeuge, die in bestimmten Situationen auf menschliches Eingreifen verzichten) und/oder dergleichen). Eine ausführliche Beschreibung von vollständig autonomen Fahrzeugen und hochgradig autonomen Fahrzeugen findet sich in der Norm J3016 der SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Straßen-Kraftfahrzeug-Fahrsystemen), die hier in ihrer Gesamtheit durch Bezugnahme aufgenommen ist. In einigen Ausführungsformen ist das Fahrzeug 200 einem autonomen Flottenverwalter und/oder einem Fahrgemeinschaftsunternehmen zugeordnet.
Das autonome System 202 enthält eine Sensoreinheit mit einer oder mehreren Vorrichtungen wie Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c und Mikrofonen 202d. In einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder verschiedene Vorrichtungen enthalten (z. B. Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (weiter unten erörtert), Odometriesensoren, die Daten im Zusammenhang mit einer Anzeige der zurückgelegten Route des Fahrzeugs 200 erzeugen, und/oder dergleichen). In einigen Ausführungsformen verwendet das autonome System 202 die eine oder mehreren Vorrichtungen, die im autonomen System 202 enthalten sind, um Daten zu erzeugen, die der hier beschriebenen Umgebung 100 zugeordnet sind. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hier beschriebene Systeme zum Beobachten der Umgebung (z. B. der Umgebung 100), in der sich das Fahrzeug 200 befindet, verwendet werden. In einigen Ausführungsformen umfasst das autonome System 202 eine Kommunikationsvorrichtung 202e, ein Rechensystem eines autonomen Fahrzeugs 202f und ein Drive-by-Wire(DBW)-System 202h.
Die Kameras 202a umfassen mindestens eine Vorrichtung, die dazu ausgelegt ist, über einen Bus (z. B. einen Bus gleich oder ähnlich dem Bus 302 von 3) mit der Kommunikationsvorrichtung 202e, dem Rechensystem eines autonomen Fahrzeugs 202f und/oder der Sicherheitssteuervorrichtung 202g zu kommunizieren. Die Kameras 202a umfassen mindestens eine Kamera (z. B. eine Digitalkamera mit einem Lichtsensor wie einer ladungsgekoppelten Vorrichtung (CCD), eine Wärmebildkamera, eine Infrarotkamera (IR), eine Ereigniskamera und/oder dergleichen), um Bilder mit physischen Objekten (z. B. Autos, Busse, Bordsteine, Menschen und/oder dergleichen) aufzunehmen. In einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In einigen Beispielen erzeugt die Kamera 202a Kameradaten, die einem Bild zugeordnete Bilddaten enthalten. In diesem Beispiel können die Bilddaten mindestens einen Parameter (z. B. Bildeigenschaften wie Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) angeben, der dem Bild entspricht. In einem solchen Beispiel kann das Bild in einem bestimmten Format (z. B. RAW, JPEG, PNG und/oder dergleichen) vorliegen. In einigen Ausführungsformen umfasst die Kamera 202a eine Vielzahl eigenständiger Kameras, die auf einem Fahrzeug ausgelegt (z. B. positioniert) sind, um Bilder zwecks Stereopsis (Stereosehen) aufzunehmen. In einigen Beispielen umfasst die Kamera 202a eine Vielzahl von Kameras, die Bilddaten erzeugen und die Bilddaten an das Rechensystem des autonomen Fahrzeugs 202f und/oder ein Flottenverwaltungssystem (z. B. ein Flottenverwaltungssystem gleich oder ähnlich dem Flottenverwaltungssystem 116 von 1) übertragen. In einem solchen Beispiel bestimmt das Rechensystem des autonomen Fahrzeugs 202f die Tiefe eines oder mehrerer Objekte in einem Sichtfeld von mindestens zwei Kameras aus der Vielzahl von Kameras basierend auf den Bilddaten aus den mindestens zwei Kameras. In einigen Ausführungsformen sind die Kameras 202a dazu ausgelegt, Bilder von Objekten in einer bestimmten Entfernung (z. B. bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen) von den Kameras 202a aufzunehmen. Dementsprechend enthalten die Kameras 202a Merkmale wie Sensoren und Objektive, die für die Wahrnehmung von Objekten optimiert sind, die sich in einer oder mehreren Entfernungen von den Kameras 202a befinden.
In einer Ausführungsform umfasst die Kamera 202a mindestens eine Kamera, die dazu ausgelegt ist, ein oder mehrere Bilder im Zusammenhang mit einer oder mehreren Ampeln, Straßenschildern und/oder anderen physischen Objekten aufzunehmen, die visuelle Navigationsinformationen liefern. In einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten, die einem oder mehreren Bildern zugeordnet sind. In einigen Beispielen erzeugt die Kamera 202a AE-Daten, die einem oder mehreren Bildern zugeordnet sind, die ein Format (z. B. RAW, JPEG, PNG und/oder dergleichen) enthalten. In einigen Ausführungsformen unterscheidet sich die Kamera 202a, die AE-Daten erzeugt, von anderen hier beschriebenen Systemen, die Kameras enthalten, dadurch, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld (z. B. ein Weitwinkelobjektiv, ein Fischaugenobjektiv, ein Objektiv mit einem Sichtwinkel von etwa 120 Grad oder mehr und/oder dergleichen) umfassen kann, um Bilder über möglichst viele physische Objekte zu erzeugen.
Die LiDAR-Sensoren 202b umfassen mindestens eine Vorrichtung, die dazu ausgelegt ist, mit der Kommunikationsvorrichtung 202e, dem Rechensystem eines autonomen Fahrzeugs 202f und/oder der Sicherheitssteuervorrichtung 202g über einen Bus (z. B. einen Bus gleich oder ähnlich dem Bus 302 von 3) zu kommunizieren. Die LiDAR-Sensoren 202b umfassen ein System, das dazu ausgelegt ist, Licht aus einem Lichtemitter (z. B. einem Laseremitter) zu übertragen. Das durch die LiDAR-Sensoren 202b emittierte Licht umfasst Licht (z. B. Infrarotlicht und/oder dergleichen), das außerhalb des sichtbaren Spektrums liegt. In einigen Ausführungsformen trifft das durch die LiDAR-Sensoren 202b emittierte Licht während des Betriebs auf ein physisches Objekt (z. B. ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b zurück reflektiert. In einigen Ausführungsformen durchdringt das durch die LiDAR-Sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. Die LiDAR-Sensoren 202b umfassen auch mindestens einen Lichtdetektor, der das durch den Lichtemitter ausgesandte Licht erfasst, nachdem das Licht auf ein physisches Objekt aufgetroffen ist. In einigen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das den LiDAR-Sensoren 202b zugeordnet ist, ein Bild (z. B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der LiDAR-Sensoren 202b enthaltenen Objekte darstellt. In einigen Beispielen erzeugt das mindestens eine Datenverarbeitungssystem, das dem LiDAR-Sensor 202b zugeordnet ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einem solchen Beispiel wird das Bild dazu verwendet, die Grenzen der physischen Objekte im Sichtfeld der LiDAR-Sensoren 202b zu bestimmen.
Die Radarsensoren 202c umfassen mindestens eine Vorrichtung, die dazu ausgelegt ist, über einen Bus (z. B. einen Bus gleich oder ähnlich dem Bus 302 von 3) mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugrechner 202f und/oder der Sicherheitssteuervorrichtung 202g zu kommunizieren. Die Radarsensoren 202c umfassen ein System, das zum Übertragen von Funkwellen (entweder gepulst oder kontinuierlich) ausgelegt ist. Die durch die Radarsensoren 202c gesendeten Funkwellen umfassen Funkwellen, die innerhalb eines vorgegebenen Spektrums liegen. In einigen Ausführungsformen treffen die durch die Radarsensoren 202c übertragenen Funkwellen während des Betriebs auf ein physisches Objekt und werden zu den Radarsensoren 202c zurück reflektiert. In einigen Ausführungsformen werden die durch die Radarsensoren 202c gesendeten Funkwellen durch einige Objekte nicht reflektiert. In einigen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das den Radarsensoren 202c zugeordnet ist, Signale, die die in einem Sichtfeld der Radarsensoren 202c enthaltenen Objekte darstellen. Zum Beispiel erzeugt das mindestens eine Datenverarbeitungssystem, das dem Radarsensor 202c zugeordnet ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einigen Beispielen wird das Bild dazu verwendet, die Grenzen der physischen Objekte im Sichtfeld der Radarsensoren 202c zu bestimmen.
Die Mikrofone 202d umfassen mindestens eine Vorrichtung, die dazu ausgelegt ist, mit der Kommunikationsvorrichtung 202e, dem Rechensystem des autonomen Fahrzeugs 202f und/oder der Sicherheitssteuervorrichtung 202g über einen Bus (z. B. einen Bus gleich oder ähnlich dem Bus 302 von 3) zu kommunizieren. Die Mikrofone 202d umfassen ein oder mehrere Mikrofone (z. B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten erzeugen, die den Audiosignalen zugeordnet sind (z. B. diese repräsentieren). In einigen Beispielen umfassen die Mikrofone 202d Wandlervorrichtungen und/oder ähnliche Vorrichtungen. In einigen Ausführungsformen können ein oder mehrere hier beschriebene Systeme die durch die Mikrofone 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zum Fahrzeug 200 (z. B. eine Entfernung und/oder dergleichen) basierend auf den zu den Daten gehörenden Audiosignalen bestimmen.
Die Kommunikationsvorrichtung 202e umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, dem Rechensystem des autonomen Fahrzeugs 202f, der Sicherheitssteuervorrichtung 202g und/oder dem DBW-System 202h zu kommunizieren. Die Kommunikationsvorrichtung 202e kann beispielsweise eine Vorrichtung sein, die gleich oder ähnlich der Kommunikationsschnittstelle 314 von 3 ist. In einigen Ausführungsformen umfasst die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug(V2V)-Kommunikationsvorrichtung (z. B. eine Vorrichtung, das die drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
Das Rechensystem des autonomen Fahrzeugs 202f umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuervorrichtung 202g und/oder dem DBW-System 202h zu kommunizieren. In einigen Beispielen umfasst das Rechensystem des autonomen Fahrzeugs 202f eine Vorrichtung wie eine Client-Vorrichtung, eine Mobilvorrichtung (z. B. ein Mobiltelefon, ein Tablet und/oder dergleichen), einen Server (z. B. eine Rechenvorrichtung mit einer oder mehreren Zentraleinheiten, Grafikverarbeitungseinheiten und/oder dergleichen) und/oder dergleichen. In einigen Ausführungsformen ist das Rechensystem eines autonomen Fahrzeugs 202f gleich oder ähnlich dem hier beschriebenen Rechensystem eines autonomen Fahrzeugs 400. Zusätzlich oder alternativ ist in einigen Ausführungsformen das Rechensystem eines autonomen Fahrzeugs 202f dazu ausgelegt, in Kommunikation mit einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem gleich oder ähnlich dem entfernt gelegenen AF-System 114 von 1), einem Flottenverwaltungssystem (z. B., einem Flottenverwaltungssystem gleich oder ähnlich dem Flottenverwaltungssystem 116 von 1), einer V2I-Vorrichtung (z. B. einer V2I-Vorrichtung gleich oder ähnlich der V2I-Vorrichtung 110 von 1), und/oder einem V2I-System (z. B. einem V2I-System gleich oder ähnlich dem V2I-System 118 von 1) zu stehen.
Die Sicherheitssteuervorrichtung 202g umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem Rechner des autonomen Fahrzeugs 202f und/oder dem DBW-System 202h in Verbindung zu stehen. In einigen Beispielen umfasst die Sicherheitssteuervorrichtung 202g eine oder mehrere Steuervorrichtungen (elektrische Steuervorrichtungen, elektromechanische Steuervorrichtungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zu erzeugen und/oder zu übertragen, um eine oder mehrere Vorrichtungen des Fahrzeugs 200 (z. B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. In einigen Ausführungsformen ist die Sicherheitssteuervorrichtung 202g dazu ausgelegt, Steuersignale zu erzeugen, die Vorrang vor Steuersignalen haben (z. B. übersteuern), die durch das Rechensystem des autonomen Fahrzeugs 202f erzeugt und/oder übertragen werden.
Das DBW-System 202h umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, mit der Kommunikationsvorrichtung 202e und/oder dem Rechensystem des autonomen Fahrzeugs 202f in Kommunikation zu stehen. In einigen Beispielen umfasst das DBW-System 202h ein oder mehrere Steuervorrichtungen (z. B. elektrische Steuervorrichtungen, elektromechanische Steuervorrichtungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zu erzeugen und/oder zu übertragen, um eine oder mehrere Vorrichtungen des Fahrzeugs 200 (z. B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. Zusätzlich oder alternativ sind die ein oder mehreren Steuervorrichtungen des DBW-Systems 202h dazu ausgelegt, Steuersignale zu erzeugen und/oder zu übertragen, um mindestens eine andere Vorrichtung (z. B. einen Blinker, Scheinwerfer, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu bedienen.
Das Antriebsstrangsteuersystem 204 umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, mit dem DBW-System 202h in Kommunikation zu stehen. In einigen Beispielen umfasst das Antriebsstrangsteuersystem 204 mindestens eine Steuervorrichtung, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale aus dem DBW-System 202h, und das Antriebsstrangsteuersystem 204 veranlasst das Fahrzeug 200, sich vorwärts zu bewegen, die Vorwärtsbewegung zu stoppen, eine Rückwärtsbewegung zu starten, die Rückwärtsbewegung zu stoppen, in eine Richtung zu beschleunigen, in eine Richtung zu verzögern, eine Linkskurve, eine Rechtskurve und/oder dergleichen durchzuführen. In einem Beispiel bewirkt das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs zugeführte Energie (z. B. Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch mindestens ein Rad des Fahrzeugs 200 sich dreht oder nicht dreht.
Das Lenkungssteuersystem 206 umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. In einigen Beispielen umfasst das Lenkungssteuersystem 206 mindestens eine Steuervorrichtung, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen veranlasst das Lenkungssteuersystem 206 die beiden vorderen Räder und/oder die beiden hinteren Räder des Fahrzeugs 200, sich nach links oder rechts zu drehen, um das Fahrzeug 200 nach links oder rechts zu lenken.
Das Bremssystem 208 umfasst mindestens eine Vorrichtung, die dazu ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um das Fahrzeug 200 zu veranlassen, seine Geschwindigkeit zu verringern und/oder stehen zu bleiben. In einigen Beispielen umfasst das Bremssystem 208 mindestens eine Steuervorrichtung und/oder einen Aktuator, der dazu ausgelegt ist, einen oder mehrere Bremssättel, die einem oder mehreren Rädern des Fahrzeugs 200 zugeordnet sind, dazu zu veranlassen, sich auf einem entsprechenden Rotor des Fahrzeugs 200 zu schließen. Zusätzlich oder alternativ umfasst das Bremssystem 208 in einigen Beispielen ein automatisches Notbremssystem (Automatic Emergency Braking, AEB), ein regeneratives Bremssystem und/oder dergleichen.
In einigen Ausführungsformen umfasst das Fahrzeug 200 mindestens einen (nicht explizit dargestellten) Plattformsensor, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder daraus ableitet. In einigen Beispielen umfasst das Fahrzeug 200 Plattformsensoren wie einen Positionsbestimmungsempfänger (Global Positioning System, GPS), eine Trägheitsmesseinheit (Inertial Measurement Unit, IMU), einen Raddrehzahlsensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen.
3 zeigt eine schematische Darstellung einer Vorrichtung 300. Wie dargestellt, umfasst die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Speicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302. In einigen Ausführungsformen entspricht die Vorrichtung 300 mindestens einer Vorrichtung von Fahrzeugen 102 (z. B. mindestens einer Vorrichtung eines Systems von Fahrzeugen 102), mindestens einer Vorrichtung des entfernt gelegenen AF-Systems 114, Flottenverwaltungssystems 116, V2I-System 118 und/oder einer Netzwerkvorrichtung 112 (z. B. einem oder mehreren Vorrichtungen eines Systems des Netzwerks 112). In einigen Ausführungsformen umfassen ein oder mehrere Vorrichtungen von Fahrzeugen 102 (z. B. eine oder mehrere Vorrichtungen eines Systems von Fahrzeugen 102), ein entfernt gelegenes AF-System 114, ein Flottenverwaltungssystem 116, ein V2I-System 118 und/oder ein oder mehrere Vorrichtungen eines Netzwerks 112 (z. B. ein oder mehrere Vorrichtungen eines Systems des Netzwerks 112) mindestens eine Vorrichtung 300 und/oder mindestens eine Komponente der Vorrichtung 300. Wie in 3 gezeigt, umfasst die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Speicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314.
Der Bus 302 umfasst eine Komponente, die die Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. In einigen Ausführungsformen ist der Prozessor 304 in Hardware, Software oder einer Kombination aus Hardware und Software implementiert. In einigen Beispielen umfasst der Prozessor 304 einen Prozessor (z. B. eine Zentraleinheit (Central Processing Unit, CPU), eine Grafikverarbeitungseinheit (Graphics Processing Unit, GPU), einen Verarbeitungsbeschleuniger (Accelerated Processing Unit, APU) und/oder dergleichen), ein Mikrofon, einen digitalen Signalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z. B. ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um mindestens eine Funktion auszuführen. Der Speicher 306 umfasst einen Direktzugriffsspeicher (Random Access Memory, RAM), einen Festwertspeicher (Read-Only Memory, ROM) und/oder eine andere Art von dynamischer und/oder statischer Speichervorrichtung (z. B. Flashspeicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), der Daten und/oder Anweisungen zur Verwendung durch den Prozessor 304 speichert.
Die Speicherkomponente 308 speichert Daten und/oder Software, die sich auf den Betrieb und die Verwendung der Vorrichtung 300 beziehen. In einigen Beispielen umfasst die Speicherkomponente 308 eine Festplatte (z. B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte, eine Festkörperplatte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
Die Eingabeschnittstelle 310 umfasst eine Komponente, die es der Vorrichtung 300 ermöglicht, Informationen z. B. über Benutzereingabemittel (z. B. ein Touchscreen-Display, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen) zu empfangen. Zusätzlich oder alternativ enthält die Eingabeschnittstelle 310 in einigen Ausführungsformen einen Sensor, der Informationen erfasst (z. B. einen GPS-Empfänger, einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 umfasst eine Komponente, die Ausgabeinformationen aus der Vorrichtung 300 bereitstellt (z. B. ein Display, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
In einigen Ausführungsformen umfasst die Kommunikationsschnittstelle 314 eine Sender-Empfänger-ähnliche Komponente (z. B. einen Sender-Empfänger, einen separaten Empfänger und Sender und/oder dergleichen), die es der Vorrichtung 300 ermöglicht, mit anderen Vorrichtungen über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen zu kommunizieren. In einigen Beispielen erlaubt die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen aus einer anderen Vorrichtung zu empfangen und/oder Informationen an eine andere Vorrichtung zu liefern. In einigen Beispielen umfasst die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz(HF)-Schnittstelle, eine Universal Serial Bus(USB)-Schnittstelle, eine Wi-Fi^®-Schnittstelle, eine Mobilfunknetzschnittstelle und/oder dergleichen.
In einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere der hier beschriebenen Prozesse aus. Die Vorrichtung 300 führt diese Prozesse basierend auf dem Prozessor 304 aus, der Softwareanweisungen ausführt, die in einem computerlesbaren Medium, wie dem Speicher 305 und/oder der Speicherkomponente 308, gespeichert sind. Ein computerlesbares Medium (z. B. ein nichtflüchtiges computerlesbares Medium) wird hier als nichtflüchtige Speichervorrichtung definiert. Ein nichtflüchtiger Speicher umfasst Speicherplatz, der sich in einer einzelnen physischen Speichervorrichtung befindet, oder Speicherplatz, der über mehrere physische Speichervorrichtungen verteilt ist.
In einigen Ausführungsformen werden Softwareanweisungen aus einem anderen computerlesbaren Medium oder aus einer anderen Vorrichtung über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherkomponente 308 eingelesen. Beim Ausführen veranlassen die im Speicher 306 und/oder in der Speicherkomponente 308 gespeicherten Softwareanweisungen den Prozessor 304, einen oder mehrere hier beschriebene Prozesse durchzuführen. Zusätzlich oder alternativ werden festverdrahtete Schaltungen anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere hier beschriebene Prozesse durchzuführen. Daher sind die hier beschriebenen Ausführungsformen nicht auf eine bestimmte Kombination von Hardwareschaltungen und Software beschränkt, sofern nicht ausdrücklich anders angegeben.
Der Speicher 306 und/oder die Speicherkomponente 308 umfasst einen Datenspeicher oder mindestens eine Datenstruktur (z. B. eine Datenbank und/oder dergleichen). Die Vorrichtung 300 ist in der Lage, Informationen aus dem Datenspeicher oder der mindestens einen Datenstruktur im Speicher 306 oder der Speicherkomponente 308 zu empfangen, darin zu speichern, Informationen zu übermitteln oder darin gespeicherte Informationen zu durchsuchen. In einigen Beispielen umfassen die Informationen Netzwerkdaten, Eingabedaten, Ausgabedaten oder eine beliebige Kombination davon.
In einigen Ausführungsformen ist die Vorrichtung 300 dazu ausgelegt, Softwareanweisungen auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (z. B. einer anderen Vorrichtung gleich oder ähnlich der Vorrichtung 300) gespeichert sind. Der Begriff „Modul“ bezieht sich hier auf mindestens eine im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherte Anweisung, die beim Ausführen durch den Prozessor 304 und/oder durch einen Prozessor einer anderen Vorrichtung (z. B. einer anderen Vorrichtung gleich oder ähnlich der Vorrichtung 300) die Vorrichtung 300 (z. B. mindestens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere hier beschriebene Prozesse durchzuführen. In einigen Ausführungsformen ist ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
Die in 3 dargestellte Anzahl und Anordnung der Komponenten ist lediglich ein Beispiel. In einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 dargestellt enthalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen ausführen, die als durch eine andere Komponente oder einen anderen Satz von Komponenten der Vorrichtung 300 ausgeführt beschrieben sind.
4A zeigt ein Beispiel für ein Blockdiagramm eines Rechensystems eines autonomen Fahrzeugs 400 (mitunter auch als „AF-Stack“ bezeichnet). Wie dargestellt, umfasst das Rechensystem eines autonomen Fahrzeugs 400 ein Wahrnehmungssystem 402 (mitunter als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (mitunter als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (mitunter als Lokalisierungsmodul bezeichnet), ein Steuerungssystem 408 (mitunter als Steuermodul bezeichnet) und eine Datenbank 410. In einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuerungssystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z. B. dem Rechensystem des autonomen Fahrzeugs 202f des Fahrzeugs 200) enthalten und/oder implementiert. Zusätzlich oder alternativ sind in einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuerungssystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen (z. B. einem oder mehreren Systemen gleich oder ähnlich dem Rechensystem des autonomen Fahrzeugs 400 und/oder dergleichen) enthalten. In einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuerungssystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten, die sich in einem Fahrzeug und/oder mindestens einem entfernt gelegenen System befinden, wie hier beschrieben. In einigen Ausführungsformen sind beliebige und/oder alle Systeme, die im Rechensystem des autonomen Fahrzeugs 400 enthalten sind, in Software (z. B. in Softwareanweisungen, die in einem Speicher gespeichert sind), Computerhardware (z. B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], Field Programmable Gate Arrays (FPGAs) und/oder dergleichen) oder Kombinationen aus Computersoftware und Computerhardware implementiert. Es versteht sich auch, dass in einigen Ausführungsformen das Rechensystem des autonomen Fahrzeugs 400 dazu ausgelegt ist, mit einem entfernt gelegenen System (z. B. einem autonomen Fahrzeugsystem gleich oder ähnlich dem entfernt gelegenen AF-System 114, einem Flottenverwaltungssystem 116 gleich oder ähnlich dem Flottenverwaltungssystem 116, einem V2I-System gleich oder ähnlich dem V2I-System 118 und/oder dergleichen) zu kommunizieren.
In einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten, die mindestens einem physischen Objekt (z. B. Daten, die durch das Wahrnehmungssystem 402 zur Erkennung des mindestens einen physischen Objekts verwendet werden) in einer Umgebung zugeordnet sind, und klassifiziert das mindestens eine physische Objekt. In einigen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die durch mindestens eine Kamera (z. B. den Kameras 202a) aufgenommen werden, wobei das Bild einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera zugeordnet ist (z. B. diese repräsentiert). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt basierend auf einer oder mehreren Gruppierungen von physischen Objekten (z. B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). In einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten im Zusammenhang mit der Klassifizierung der physischen Objekte an das Planungssystem 404 basierend auf der Klassifizierung der physischen Objekte durch das Wahrnehmungssystem 402.
In einigen Ausführungsformen empfängt das Planungssystem 404 einem Zielort zugeordnete Daten und erzeugt Daten, die mindestens einer Route (z. B. den Routen 106) zugeordnet sind, entlang der ein Fahrzeug (z. B. die Fahrzeuge 102) zu einem Zielort fahren kann. In einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten aus dem Wahrnehmungssystem 402 (z. B. Daten im Zusammenhang mit der oben beschriebenen Klassifizierung physischer Objekte), und das Planungssystem 404 aktualisiert die mindestens eine Bewegungsbahn oder erzeugt mindestens eine andere Bewegungsbahn basierend auf den durch das Wahrnehmungssystem 402 erzeugten Daten. In einigen Ausführungsformen empfängt das Planungssystem 404 Daten, die einer aktualisierten Position eines Fahrzeugs (z. B. der Fahrzeuge 102) aus dem Lokalisierungssystem 406 zugeordnet sind, und das Planungssystem 404 aktualisiert die mindestens eine Bewegungsbahn oder erzeugt mindestens eine andere Bewegungsbahn basierend auf den durch das Lokalisierungssystem 406 erzeugten Daten.
In einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten, die einem Ort eines Fahrzeugs (z. B. der Fahrzeuge 102) in einem Gebiet zugeordnet sind (z. B. diesen repräsentieren). In einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten, die mindestens einer Punktwolke zugeordnet sind, die durch mindestens einen LiDAR-Sensor (z. B. LiDAR-Sensoren 202b) erzeugt wurde. In bestimmten Beispielen empfängt das Lokalisierungssystem 406 Daten, die mindestens einer Punktwolke aus mehreren LiDAR-Sensoren zugeordnet sind, und das Lokalisierungssystem 406 erzeugt eine kombinierte Punktwolke basierend auf jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungssystem 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer zweidimensionalen (2D) und/oder einer dreidimensionalen (3D) Karte des Gebiets, die in der Datenbank 410 gespeichert ist. Das Lokalisierungssystem 406 bestimmt anschließend die Position des Fahrzeugs in dem Gebiet, indem das Lokalisierungssystem 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In einigen Ausführungsformen enthält die Karte eine kombinierte Punktwolke des Gebiets, die vor der Navigation des Fahrzeugs erstellt wurde. In einigen Ausführungsformen beinhalten die Straßenkarten ohne Einschränkung hochpräzise Straßenkarten der geometrischen Eigenschaften der Fahrbahn, Straßenkarten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Straßenkarten, die die physischen Eigenschaften der Straßen beschreiben (wie z. B. die Verkehrsgeschwindigkeit, das Verkehrsaufkommen, die Anzahl der Fahrstreifen für den Auto- und Fahrradverkehr, die Fahrstreifenbreite, die Fahrstreifenrichtungen oder die Arten und Orte von Fahrstreifenmarkierungen oder Kombinationen davon), und Straßenkarten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben. In einigen Ausführungsformen wird die Karte in Echtzeit basierend auf den durch das Wahrnehmungssystem empfangenen Daten erstellt.
In einem anderen Beispiel empfängt das Lokalisierungssystem 406 Global Navigation Satellite System(GNSS)-Daten, die durch einen Global Positioning System(GPS)-Empfänger erzeugt werden. In einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten, die dem Ort des Fahrzeugs in dem Gebiet zugeordnet sind, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Gebiet. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Gebiet basierend auf dem Breiten- und Längengrad des Fahrzeugs. In einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten, die der Position des Fahrzeugs zugeordnet sind. In einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten, die der Position des Fahrzeugs zugeordnet sind, basierend auf der Bestimmung der Position des Fahrzeugs durch das Lokalisierungssystem 406. In einem solchen Beispiel umfassen die der Position des Fahrzeugs zugeordneten Daten Daten, die einer oder mehreren semantischen Eigenschaften zugeordnet sind, die der Position des Fahrzeugs entsprechen.
In einigen Ausführungsformen empfängt das Steuerungssystem 408 Daten, die mindestens einer Bewegungsbahn aus dem Planungssystem 404 zugeordnet sind, und das Steuerungssystem 408 steuert den Betrieb des Fahrzeugs. In einigen Beispielen empfängt das Steuerungssystem 408 aus dem Planungssystem 404 Daten, die mindestens einer Bewegungsbahn zugeordnet sind, und das Steuerungssystem 408 steuert den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um ein Antriebsstrangsteuersystem (z. B. das DBW-System 202h, das Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenkungssteuersystem (z. B. das Lenkungssteuersystem 206) und/oder ein Bremssystem (z. B. das Bremssystem 208) zu betätigen. In einem Beispiel, in dem eine Bewegungsbahn eine Linkskurve beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um das Lenkungssteuersystem 206 zu veranlassen, einen Lenkwinkel des Fahrzeugs 200 einzustellen, wodurch das Fahrzeug 200 nach links fährt. Zusätzlich oder alternativ dazu erzeugt und überträgt das Steuerungssystem 408 Steuersignale, um andere Vorrichtungen (z. B. Scheinwerfer, Blinker, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, ihren Zustand zu ändern.
In einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuerungssystem 408 mindestens ein Maschinenlernmodell (z. B. mindestens ein mehrschichtiges Perzeptron (Multilayer Perceptron, MLP), mindestens ein faltungsneuronales Netz (Convolutional Neural Network, CNN), mindestens ein rekurrentes Neuronales Netz (Recurrent Neural Network, RNN), mindestens einen Autoencoder, mindestens einen Transformator und/oder dergleichen). In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuerungssystem 408 mindestens ein Maschinenlernmodell allein oder in Kombination mit einem oder mehreren der oben genannten Systeme. In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuerungssystem 408 mindestens ein Maschinenlernmodell als Teil einer Ablaufkette (z. B. einer Ablaufkette zum Identifizieren eines oder mehrerer Objekte in einer Umgebung und/oder dergleichen). Ein Beispiel für die Implementierung eines Maschinenlernmodells wird im Folgenden mit Bezug auf 6A-6C dargestellt.
Die Datenbank 410 speichert Daten, die an das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuerungssystem 408 übertragen, daraus empfangen und/oder durch diese aktualisiert werden. In einigen Beispielen umfasst die Datenbank 410 eine Speicherkomponente (z. B. eine Speicherkomponente, gleich oder ähnlich der Speicherkomponente 308 von 3), die Daten und/oder Software in Bezug auf den Betrieb speichert und mindestens ein System des Rechensystems des autonomen Fahrzeugs 400 verwendet. In einigen Ausführungsformen speichert die Datenbank 410 Daten, die 2D- und/oder 3D-Karten von mindestens einem Gebiet zugeordnet sind. In einigen Beispielen speichert die Datenbank 410 Daten, die 2D- und/oder 3D-Karten eines Teils einer Stadt, mehreren Teilen mehrerer Städte, mehreren Städten, einem Bezirk, einem Bundesland, einem Staat (z. B. eines Landes) und/oder dergleichen zugeordnet sind). In einem solchen Beispiel kann ein Fahrzeug (z. B. ein Fahrzeug gleich oder ähnlich den Fahrzeugen 102 und/oder dem Fahrzeug 200) entlang einer oder mehrerer befahrbarer Regionen (z. B. einspurigen Straßen, mehrspurigen Straßen, Autobahnen, Nebenstraßen, Geländepfaden und/oder dergleichen) fahren und mindestens einen LiDAR-Sensor (z. B. einen LiDAR-Sensor gleich oder ähnlich den LiDAR-Sensoren 202b) veranlassen, Daten zu erzeugen, die einem Bild zugeordnet sind, das die in einem Sichtfeld des mindestens einen LiDAR-Sensors enthaltenen Objekte repräsentiert.
In einigen Ausführungsformen kann die Datenbank 410 auf einer Vielzahl von Vorrichtungen implementiert sein. In einigen Beispielen ist die Datenbank 410 in einem Fahrzeug (z. B. einem Fahrzeug gleich oder ähnlich den Fahrzeugen 102 und/oder dem Fahrzeug 200), einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem gleich oder ähnlich dem entfernt gelegenen AF-System 114), einem Flottenverwaltungssystem (z. B. ein Flottenverwaltungssystem gleich oder ähnlich dem Flottenverwaltungssystem 116 von 1), ein V2I-System (z. B. ein V2I-System gleich oder ähnlich dem V2I-System 118 von 1) und/oder dergleichen enthalten.
In 5 ist ein Beispiel für eine Fahrgastkomfortschaltungsanordnung 500 zum Steuern des Betriebs eines Fahrzeugs 200 (z. B. eines autonomen Fahrzeugs) dargestellt. In einigen Ausführungsformen kann die Fahrgastkomfortschaltungsanordnung 500 in das Planungssystem 404 des Fahrzeugs 200 integriert oder anderweitig als Teil des Planungssystems implementiert sein (z. B. wie in 5 gezeigt). In einigen Ausführungsformen kann die Fahrgastkomfortschaltungsanordnung 500 als Komponente des Fahrzeugs 200 implementiert sein, die vom Planungssystem 404 getrennt ist (z. B. als zusätzliches System im autonomen Fahrzeugcomputer 400 implementiert). In einigen Ausführungsformen kann die Fahrgastkomfortschaltungsanordnung 500 als Komponente implementiert sein, die vom Fahrzeug 200 getrennt ist (z. B. als ein oder mehrere entfernt gelegene Computer, wie beispielsweise eine Cloud-Rechenumgebung, ein entfernt gelegenes AF-System 114 und/oder dergleichen).
Allgemein ist die Fahrgastkomfortschaltungsanordnung 500 dazu ausgelegt, Informationen bezüglich eines oder mehrerer Fahrgäste des Fahrzeugs 200 zu empfangen, eine oder mehrere Eigenschaften der Fahrgäste zu bestimmen und Signale zu erzeugen, die den Betrieb des Fahrzeugs 200 basierend auf den bestimmten Eigenschaften zu steuern. In einigen Ausführungsformen kann die Fahrgastkomfortschaltungsanordnung 500 eine Route auswählen oder eine zuvor ausgewählte Route für das Fahrzeug 200 ändern, um den Komfort der Fahrgäste zu erhöhen. In einigen Ausführungsformen kann die Fahrgastkomfortschaltungsanordnung 500 Steuerparameter auswählen oder zuvor ausgewählte Steuerparameter für das Fahrzeug 200 ändern, um den Komfort der Fahrgäste zu erhöhen.
Beispielsweise kann die Fahrgastkomfortschaltungsanordnung 500 Sensormessungen empfangen, die aus einem oder mehreren Sensoren 510 stammen. In einigen Ausführungsformen können die Sensoren 510 einen oder mehrere der mit Bezug auf 2 beschriebenen Sensoren 202a-202d umfassen. Zu den Sensoren 510 können zum Beispiel eine oder mehrere Kameras, LiDAR-Sensoren, Radarsensoren und Mikrofone gehören.
In einigen Ausführungsformen können zumindest einige der Sensoren 510 dazu ausgelegt sein, Messungen bezüglich des Innenraums des Fahrzeugs 200 zu erhalten, einschließlich Messungen bezüglich Passagieren und/oder Objekten, die sich im Innenraum des Fahrzeugs 200 befinden. Beispielsweise können die Sensoren 510 mindestens eine auf den Innenraum des Fahrzeugs 200 gerichtete Kamera umfassen, die dazu ausgelegt ist, Bilder und/oder Videos aufzunehmen, die Fahrgäste und/oder Objekte im Innenraum des Fahrzeugs 200 darstellen. Als weiteres Beispiel können die Sensoren 510 mindestens einen LiDAR-Sensor umfassen, der auf den Innenraum des Fahrzeugs 200 gerichtet und dazu ausgelegt ist, Bilder und/oder Punktwolken zu erfassen, die Fahrgäste und/oder Objekte im Innenraum des Fahrzeugs 200 darstellen. Als weiteres Beispiel können die Sensoren 510 mindestens einen Radarsensor umfassen, der auf den Innenraum des Fahrzeugs 200 gerichtet und dazu ausgelegt ist, Radarbilder zu erfassen, die Passagiere und/oder Objekte im Innenraum des Fahrzeugs 200 darstellen. Als weiteres Beispiel können die Sensoren 510 mindestens ein Mikrofon umfassen, das dazu ausgelegt ist, Audiosignale zu erfassen, die Geräusche repräsentieren, die im Innenraum des Fahrzeugs 200 hörbar sind (z. B. Geräusche, die durch Fahrgäste und/oder Gegenstände im Innenraum des Fahrzeugs 200 erzeugt werden, und/oder Außengeräusche, die sich in das Fahrzeug 200 hinein ausbreiten).
In einigen Ausführungsformen können die Sensoren 510 auch einen oder mehrere Sensoren umfassen, die dazu ausgelegt sind, die Lebenszeichen der Fahrgäste im Innenraum des Fahrzeugs 200 zu messen. Die Sensoren 510 können beispielsweise einen oder mehrere Atemsensoren (z. B. zur Messung der Atmungsrate oder Atemfrequenz eines Fahrgastes), Herzfrequenzsensoren (z. B. zur Messung der Herzfrequenz eines Fahrgastes) und/oder Temperatur- oder Wärmesensoren (z. B. zur Messung der Temperatur eines Fahrgastes) umfassen.
In einigen Ausführungsformen können die Sensoren 510 auch einen oder mehrere Sensoren umfassen, die zum Verfolgen der Augenposition und -bewegung eines Fahrgastes ausgelegt sind. Die Sensoren 510 können beispielsweise einen oder mehrere Augensensoren umfassen, die dazu ausgelegt sind, den Blick eines Fahrgastes und die Veränderungen des Blicks des Fahrgastes im Laufe der Zeit zu bestimmen.
In einigen Ausführungsformen können die Sensoren 510 auch einen oder mehrere Sensoren umfassen, die zum Messen der Vibrationen im Innenraum des Fahrzeugs 200 ausgelegt sind. Zu den Sensoren 510 können beispielsweise Beschleunigungsmesser gehören, die zum Messen von Vibrationen ausgelegt sind, die durch den Betrieb des Antriebsstrangs des Fahrzeugs 200, die Bewegung des Fahrzeugs 200 auf dem Boden usw. verursacht werden.
In einigen Ausführungsformen kann die Fahrgastkomfortschaltungsanordnung 500 auch zusätzliche Daten über die Kommunikationsschnittstelle 314 empfangen (z. B. wie mit Bezug auf 3 beschrieben).
Beispielsweise kann die Fahrgastkomfortschaltungsanordnung 500 über die Kommunikationsschnittstelle 314 Daten aus einer Benutzervorrichtung 508 empfangen, die durch einen Fahrgast des Fahrzeugs 200 mitgeführt wird. Beispiele für Benutzervorrichtungen sind Smartphones, Computer (z. B. Laptops), Tablets und Wearable-Vorrichtungen (z. B. Smartwatches, Kopfhörer usw.). In einigen Ausführungsformen können die Daten aus der Benutzervorrichtung 508 über eine oder mehrere Ethernet-Verbindungen, optische Verbindungen, Koaxialverbindungen, Infrarotverbindungen, HF-Verbindungen, USB-Verbindungen, Wi-Fi^®-Verbindungen und/oder Mobilfunknetzverbindungen empfangen werden.
In einigen Ausführungsformen kann die Benutzervorrichtung 508 Daten bezüglich eines oder mehrerer Ereignisse bereitstellen, die einem Fahrgast des Fahrzeugs 200 zugeordnet sind (z. B. ein oder mehrere Ereigniselemente, die in einer Kalenderanwendung der Benutzervorrichtung 508 gespeichert sind), einschließlich der Zeit, zu der jedes der Ereignisse geplant ist, und eines Ortes des Ereignisses.
In einigen Ausführungsformen kann die Benutzervorrichtung 508 Daten über die Kommunikation zwischen dem Fahrgast und einer anderen Instanz bereitstellen (z. B. eine oder mehrere E-Mails, Textnachrichten, Chat-Nachrichten, Telefonanrufe, Videoanrufe usw.).
In einigen Ausführungsformen kann die Benutzervorrichtung 508 Sensordaten über den Fahrgast bereitstellen (z. B. Sensordaten ähnlich den durch die Sensoren 510 erzeugten Sensordaten). Beispielsweise kann die Benutzervorrichtung 508 Beschleunigungsmessungen vornehmen (z. B. mittels eines in der Benutzervorrichtung 508 enthaltenen Beschleunigungssensors) und die Messungen an die Fahrgastkomfortschaltungsanordnung 500 weiterleiten. Beispielsweise kann die Benutzervorrichtung 508 Beschleunigungsmessungen vornehmen (z. B. mittels eines in der Benutzervorrichtung 508 enthaltenen Beschleunigungssensors) und die Messungen an die Fahrgastkomfortschaltungsanordnung 500 weiterleiten. Als weiteres Beispiel kann die Benutzervorrichtung 508 ein oder mehrere Bilder und/oder Videos des Fahrgastes aufnehmen (z. B. mit einer in der Benutzervorrichtung 508 enthaltenen Kamera) und die Bilder und/oder Videos der Fahrgastkomfortschaltungsanordnung 500 zur Verfügung stellen. Als weiteres Beispiel kann die Benutzervorrichtung 508 ein oder mehrere LiDAR-Bilder des Fahrgastes erhalten (z. B. unter Verwendung eines in der Benutzervorrichtung 508 enthaltenen LiDAR-Sensors) und die LiDAR-Bilder und/oder Videos der Fahrgastkomfortschaltungsanordnung 500 zur Verfügung stellen. Als weiteres Beispiel kann die Benutzervorrichtung 508 ein oder mehrere Audiosignale erfassen (z. B. mittels eines in der Benutzervorrichtung 508 enthaltenen Mikrofons) und die Audiosignale der Fahrgastkomfortschaltungsanordnung 500 zur Verfügung stellen.
In einigen Ausführungsformen können mindestens einige der Daten, die durch die Benutzervorrichtung 508 an die Fahrgastkomfortschaltungsanordnung 500 übermittelt werden, mittels einer durch den Benutzer installierbaren Anwendung, die auf der Benutzervorrichtung 508 installiert ist (z. B. eine „App“), wie z. B. einer nativen Anwendung oder einer Browseranwendung, gesammelt und übertragen werden. In einigen Implementierungen kann die Anwendung durch einen Fahrgast dazu verwendet werden, Fahrten mit dem Fahrzeug 200 zu planen (z. B. durch Übermitteln einer Anfrage zum Einsteigen in das Fahrzeug 200 an einem bestimmten Ort und zum Fahren zu einem bestimmten Zielort). Ferner kann die Anwendung dazu verwendet werden, während der Fahrt Daten (z. B. eine oder alle der oben beschriebenen Daten) zu sammeln und die gesammelten Daten an die Fahrgastkomfortschaltungsanordnung 500 zu übermitteln.
Als weiteres Beispiel kann die Fahrgastkomfortschaltungsanordnung 500 Daten aus einer oder mehreren externen Datenquellen empfangen. Die Fahrgastkomfortschaltungsanordnung 500 kann zum Beispiel Wetterdaten für einen oder mehrere geografische Orte empfangen. Als weiteres Beispiel kann die Fahrgastkomfortschaltungsanordnung 500 Verkehrsdaten in Bezug auf eine oder mehrere Routen empfangen. Als weiteres Beispiel kann die Fahrgastkomfortschaltungsanordnung 500 Daten über den Straßenzustand einer oder mehrerer Straßen empfangen (z. B. Informationen über die Qualität der Fahrbahn, wie die Rauheit oder Gleichmäßigkeit der Fahrbahn, das Vorhandensein von Schlaglöchern oder Fehlern in der Fahrbahn usw.). Als weiteres Beispiel kann die Fahrgastkomfortschaltungsanordnung 500 Netzwerkdaten bezüglich eines oder mehrerer Drahtlosnetzwerke empfangen (z. B. Informationen über die Abdeckung, Netzwerkqualität usw. eines Drahtlosnetzwerks an einem oder mehreren geografischen Orten), wie z. B. eine „Netzwerkabdeckungskarte“. Als weiteres Beispiel kann die Fahrgastkomfortschaltungsanordnung 500 Daten bezüglich Sehenswürdigkeiten empfangen, wie z. B. Daten zu den Orten bestimmter Sehenswürdigkeiten (z. B. Wahrzeichen, Parks, landschaftlich reizvolle Punkte usw.) und/oder Benutzerbewertungen zu diesen Sehenswürdigkeiten (z. B. Bewertungen, die angeben, ob die Sehenswürdigkeiten durch andere positiv oder negativ bewertet werden).
Als weiteres Beispiel kann die Fahrgastkomfortschaltungsanordnung 500 über die Kommunikationsschnittstelle 314 Daten über die Qualität einer oder mehrerer gegenwärtig und/oder früher hergestellter Netzwerkverbindungen empfangen. Die Fahrgastkomfortschaltungsanordnung 500 kann zum Beispiel Informationen über die Signalstärke von Drahtlossignalen, die aus einem Drahtlosnetzwerk empfangen werden (z. B. HF-Signale, Mobilfunksignale usw.), eine Bandbreite oder einen Durchsatz von Datenübertragungen über das Drahtlosnetzwerk, eine Latenzzeit der Datenübertragung über das Drahtlosnetzwerk usw. empfangen.
Die Fahrgastkomfortschaltungsanordnung 500 stellt zumindest einige der aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten einer Datensyntheseschaltungsanordnung 502 zur Verfügung. Die Datensyntheseschaltungsanordnung 502 verarbeitet die empfangenen Daten und bestimmt eine oder mehrere Eigenschaften des Fahrzeugs 200 und/oder des/der Fahrgastes/Fahrgäste des Fahrzeugs 200.
Beispielsweise kann die Datensyntheseschaltungsanordnung 502 eine oder mehrere Aktionen bestimmen, die durch den/die Fahrgast/Fahrgäste des Fahrzeugs 200 ausgeführt werden. Zu den beispielhaften Aktionen gehören das Sitzen, Schlafen, Liegen, Auftragen von Make-up oder anderen Kosmetika, Herausnehmen und/oder Aufsetzen von Kopfhörern, Herausnehmen einer Vorrichtung (z. B. der Benutzervorrichtung 508) und Bedienen der Vorrichtung (z. B. Anzeigen von Inhalten auf der Vorrichtung, Eingeben von Befehlen in die Vorrichtung usw.). Weitere Beispielhandlungen sind das Sprechen am Telefon, die Teilnahme an einer Videokonferenz, das Halten einer Präsentation usw. (z. B. unter Verwendung der Benutzervorrichtung 508).
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 eine oder mehrere Posen des/der Fahrgastes/Fahrgäste des Fahrzeugs 200 bestimmen. Beispielsweise kann die Datensyntheseschaltungsanordnung 502 den Ort und/oder die Ausrichtung eines oder mehrerer Körperteile eines Fahrgastes, wie z. B. Kopf, Arme, Hände, Finger, Beine, Füße, Rumpf usw. des Fahrgastes, bestimmen.
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 eine oder mehrere physische Gesten (z. B. Bewegungen eines oder mehrerer Körperteile) bestimmen, die durch den/die Fahrgast/Fahrgäste des Fahrzeugs 200 ausgeführt werden. Die Datensyntheseschaltungsanordnung 502 kann beispielsweise die Bewegungen von Kopf, Armen, Händen, Fingern, Beinen, Füßen usw. des Benutzers ermitteln.
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 einen oder mehrere Vitalwerte des/der Fahrgastes/Fahrgäste des Fahrzeugs 200 ermitteln. Beispiele für Vitalwerte sind die Temperatur eines Fahrgastes, die Atemfrequenz oder Atmungsrate eines Fahrgastes und die Herzfrequenz eines Fahrgastes. In einigen Implementierungen kann die Datensyntheseschaltungsanordnung 502 die Atemfrequenz oder Atmungsrate eines Fahrgastes basierend auf Messdaten bestimmen, die die Bewegungen des Brustkorbs des Fahrgastes im Zeitverlauf anzeigen (z. B. basierend auf Bildern, Videos, Punktwolken usw., die den Fahrgast im Zeitverlauf darstellen).
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 die Mimik eines Fahrgastes bestimmen. Beispiele für die Mimik sind Lächeln, Stirnrunzeln, Starren usw.
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 den Blick eines Fahrgastes bestimmen (z. B. ob der Benutzer aus einem Fenster des Fahrzeugs 200 schaut, einen anderen Fahrgast im Fahrzeug 200 ansieht, auf die Benutzervorrichtung 508 schaut usw.).
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 die Kleidung eines Fahrgastes ermitteln. Die Datensyntheseschaltungsanordnung 502 kann beispielsweise ermitteln, ob ein Fahrgast ein Hemd, eine Hose, einen Hut, ein Kleid, einen Rock, Shorts, Socken, eine Brille (z. B. eine Korrekturbrille, Sonnenbrille usw.) und/oder ein anderes Kleidungsstück trägt. Ferner kann die Datensyntheseschaltungsanordnung 502 den Stil oder die Art der Kleidung des Fahrgastes bestimmen (z. B. ob es sich bei dem Kleidungsstück um formelle Kleidung, Geschäftskleidung, Freizeitkleidung, Sportkleidung, Badekleidung, eine Uniform usw. handelt).
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 einen emotionalen Zustand des/der Fahrgastes/Fahrgäste des Fahrzeugs 200 ermitteln. Die Datensyntheseschaltungsanordnung 502 kann beispielsweise einen Gesichtsausdruck, Vitalwerte und/oder ein Sprachmuster eines Fahrgastes ermitteln und anhand dieser Informationen feststellen, ob ein Benutzer glücklich, traurig, beunruhigt, wütend, verängstigt, überrascht ist oder eine andere Emotion zeigt.
In einigen Ausführungsformen kann die Datensyntheseschaltungsanordnung 502 mindestens einige der hier beschriebenen Feststellungen basierend auf einem oder mehrerer Maschinenlernmodelle treffen. Beispielsweise kann ein Maschinenlernmodell trainiert werden, um Eingabedaten (z. B. Daten, die aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangen werden) zu empfangen und basierend auf den Eingabedaten Ausgabedaten zu erzeugen, die einer oder mehreren Vorhersagen in Bezug auf die Eigenschaften des/der Fahrgastes/Fahrgäste des Fahrzeugs 200 und/oder des Fahrzeugs 200 zugeordnet sind.
Beispielsweise kann ein Maschinenlernmodell anhand von Trainingsdaten bezüglich eines oder mehrerer Fahrgäste trainiert werden. Für jeden Fahrgast können die Trainingsdaten Eingabedaten analog zu den in 5 beschriebenen enthalten. Die Trainingsdaten können beispielsweise Daten enthalten, die durch einen oder mehrere Sensoren (z. B. Sensormessungen des Fahrgastes, des Innenraums des Fahrzeugs, in dem der Fahrgast unterwegs war) gewonnen wurden. Als weiteres Beispiel können die Trainingsdaten Daten enthalten, die über eine Kommunikationsschnittstelle gewonnen wurden, z. B. Daten, die aus den Vorrichtungen des Benutzers stammen, Daten aus externen Datenquellen, Daten bezüglich der Qualität einer oder mehrerer Netzwerkverbindungen usw.
Ferner können die Trainingsdaten für jeden Fahrgast eine Route und/oder einen Satz von Steuerparametern enthalten, die erzeugt wurden, um das Fahrzeug anzuweisen, zum beabsichtigten Ziel des Fahrgastes zu fahren. Ferner können die Trainingsdaten Informationen über den Komfort des Fahrgastes enthalten. Ein hoher Komfortwert kann beispielsweise darauf hinweisen, dass sich der Fahrgast während der Fahrt im Fahrzeug wohl gefühlt hat (und somit die Route und/oder die eingestellten Parameter zum Steuern des Fahrzeugs unter den gegebenen Umständen geeignet waren), während ein niedriger Komfortwert darauf hinweisen kann, dass sich der Fahrgast während der Fahrt im Fahrzeug nicht wohl gefühlt hat (und somit die Route und/oder die eingestellten Parameter zum Steuern des Fahrzeugs unter den gegebenen Umständen ungeeignet waren).
Basierend auf den Trainingsdaten kann das Maschinenlernmodell dazu trainiert werden, Korrelationen, Beziehungen und/oder Trends zwischen (i) den Eingabedaten, (ii) den Routen und/oder Sätzen von Steuerparametern, die basierend auf den Eingabedaten erzeugt werden können, und (iii) dem Komfort eines Fahrgastes beim Betrieb des Fahrzeugs gemäß diesen Routen und/oder Sätzen von Steuerparametern zu erkennen. Ferner kann das Maschinenlernmodell dazu trainiert werden, eine Route und/oder eine Reihe von Steuerparametern auszuwählen, die den Komfort eines Fahrgastes unter bestimmten Umständen oder Situationen maximiert (oder anderweitig erhöht).
Beispiele für Maschinenlernmodelle sind mit Bezug auf 6A-6C näher beschrieben.
Die Datensyntheseschaltungsanordnung 502 stellt mindestens einen Teil der ermittelten Informationen (z. B. „synthetisierte Daten“) einer Routenerzeugungsschaltungsanordnung 504 und/oder einer Steuerparametererzeugungsschaltungsanordnung 506 zur Verfügung. Basierend auf den synthetisierten Daten erzeugt die Routenerzeugungsschaltungsanordnung 504 eine oder mehrere Routen, um das Fahrzeug 200 zu seinem Zielort zu navigieren (z. B. wie mit Bezug auf 1 und 4 beschrieben). Ferner erzeugt die Steuerparametererzeugungsschaltungsanordnung 506 einen oder mehrere Steuerparameter, die den Betrieb des Fahrzeugs 200 basierend auf den ermittelten Informationen regeln. Zu den Steuerparametern können beispielsweise Beschränkungen für die Geschwindigkeit, die Beschleunigung, die Bremsrate, die Abbiegerate und/oder andere Parameter für den Betrieb des Fahrzeugs 200 gehören. Die Routen und/oder Steuerparameter werden dem Steuerungssystem 408 zur Ausführung übergeben (z. B. wie mit Bezug auf 4 beschrieben).
Basierend auf den aus der Datensyntheseschaltungsanordnung 502 empfangenen synthetisierten Daten können beispielsweise die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route bzw. einen Satz von Steuerparametern erzeugen, die den Komfort für den Fahrgast erhöhen. So können beispielsweise eine Route und eine Reihe von Steuerparametern erstellt werden, um den Komfort der Fahrgäste bei der Navigation des Fahrzeugs 200 zu seinem Zielort zu erhöhen. Als weiteres Beispiel können eine Route und eine Reihe von Steuerparametern erstellt werden, um dem Fahrgast die Durchführung bestimmter Aktionen (z. B. Schlafen, Telefonieren, Teilnahme an einer Videokonferenz usw.) zu erleichtern, während das Fahrzeug 200 zu seinem Zielort navigiert. Als weiteres Beispiel können eine Route und eine Reihe von Steuerparametern erstellt werden, um die Fahrt eines Fahrgastes zum Zielort selektiv zu beschleunigen.
In einigen Ausführungsformen können die Routen und/oder Steuerparameter, die durch die Routenerzeugungsschaltungsanordnung 504 und/oder die Steuerparametererzeugungsschaltungsanordnung 506 erzeugt werden, einen vorherigen Betrieb des Fahrzeugs 200 ändern (z. B. durch Ersetzen, Ergänzen und/oder Modifizieren einer vorherigen Route und/oder eines Satzes von Steuerparametern für das Fahrzeug 200). Beispielsweise können die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 basierend auf den aus der Datensyntheseschaltungsanordnung 502 empfangenen Informationen eine geänderte Route und/oder einen geänderten Satz von Steuerparametern erzeugen, die den Komfort der Fahrgäste bei der Navigation des Fahrzeugs 200 zu seinem Zielort verbessern. Als weiteres Beispiel kann eine geänderte Route und/oder ein geänderter Satz von Steuerparametern erzeugt werden, um die Fähigkeit des Fahrgastes zu verbessern, bestimmte Aktionen durchzuführen, während das Fahrzeug 200 zu seinem Zielort navigiert. Als weiteres Beispiel kann eine geänderte Route und/oder ein geänderter Satz von Steuerparametern erstellt werden, um die Fahrtzeit des Fahrgastes zum Zielort zu verkürzen.
In einigen Ausführungsformen kann die Datensyntheseschaltungsanordnung 502 basierend auf den aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten bestimmen, dass der/die Fahrgast/Fahrgäste des Fahrzeugs 200 es vorziehen würde(n), das schnelle Erreichen des Zielorts gegenüber der Fahrqualität oder dem Fahrgastkomfort zu priorisieren. Basierend auf dieser Bestimmung kann die Routenerzeugungsschaltungsanordnung 504 eine Route zum Zielort auswählen, die eine kürzere Fahrtzeit bevorzugt (z. B. durch Auswahl einer Route, die die Fahrtzeit minimiert oder anderweitig reduziert, mit dem möglichen Nachteil, dass eine Straße mit einer raueren Fahrbahn, einer größeren Anzahl von Kurven und/oder mehr scharfen Kurven ausgewählt werden kann). Ferner kann die Steuerparametererzeugungsschaltungsanordnung 506 einen Satz von Steuerparametern auswählen, der eine kürzere Fahrtzeit bevorzugt. Der Satz von Steuerparametern kann das Fahrzeug 200 beispielsweise in die Lage versetzen, seine Beschleunigung, seine Abbremsung und/oder seine Abbiegerate usw. schneller zu ändern. Als weiteres Beispiel kann der Satz von Steuerparametern dem Fahrzeug 200 ermöglichen, mit höheren Geschwindigkeiten zu fahren (z. B. bis zu einer bestimmten Höchstgeschwindigkeit).
In einigen Ausführungsformen kann die Datensyntheseschaltungsanordnung 502 basierend auf den aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten feststellen, dass der/die Fahrgast/Fahrgäste des Fahrzeugs 200 der Fahrqualität oder dem Fahrgastkomfort Vorrang vor einem schnellen Erreichen des Zielorts einräumen würde(n). Basieren auf dieser Feststellung kann die Routenerzeugungsschaltungsanordnung 504 eine Route zum Zielort auswählen, die eine höhere Fahrqualität oder einen höheren Fahrgastkomfort bietet (z. B. durch Auswahl einer Route, die Straßen mit gleichmäßigeren Fahrbahnen, weniger Kurven, weniger scharfen Kurven usw. umfasst, wobei sich die Fahrtzeit möglicherweise verlängert). Ferner kann die Steuerparametererzeugungsschaltungsanordnung 506 einen Satz von Steuerparametern auswählen, der eine höhere Fahrqualität bevorzugt. Beispielsweise kann der Satz von Steuerparametern das Fahrzeug 200 so begrenzen, dass seine Beschleunigung, Abbremsung, Abbiegerate usw. auf einen bestimmten Bereich begrenzt wird. Als weiteres Beispiel kann der Satz von Steuerparametern die Geschwindigkeit des Fahrzeugs 200 auf einen unteren Bereich von Geschwindigkeiten begrenzen.
Fahrqualität und Fahrgastkomfort können von verschiedenen Kriterien abhängen. So können beispielsweise die Fahrqualität und der Fahrgastkomfort von der Stärke oder Intensität der Vibrationen im Fahrzeug 200 abhängen. Zum Beispiel können stärkere Vibrationen einer geringeren Fahrqualität oder einem geringeren Fahrgastkomfort entsprechen, während geringere Vibrationen einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen können.
Als weiteres Beispiel können die Fahrqualität und der Fahrgastkomfort von der relativen Bewegung der Fahrgäste im Fahrzeug 200 abhängen (z. B. durch Beschleunigung, Verlangsamung, Abbiegen usw.). So kann beispielsweise ein größeres Maß an Bewegung einer geringeren Fahrqualität oder einem geringeren Fahrgastkomfort entsprechen, während ein geringeres Maß an Bewegung einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen kann.
Als weiteres Beispiel können die Fahrqualität und der Fahrgastkomfort davon abhängen, wie häufig das Fahrzeug 200 anhält oder abbremst (z. B. aufgrund von Verkehr, Meldungen, Ampeln usw.). So kann zum Beispiel eine größere Häufigkeit von Anhalten oder Abbremsungen einer geringeren Fahrqualität oder einem geringeren Fahrgastkomfort entsprechen, während eine geringere Häufigkeit von Anhalten oder Abbremsungen einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen kann.
Als weiteres Beispiel können Fahrqualität und Fahrgastkomfort von der Verfügbarkeit und Qualität einer Netzverbindung (z. B. einer Mobilfunkverbindung) entlang einer Route abhängen. So kann beispielsweise eine schlechte Netzabdeckung und/oder eine schlechte Qualität der Netzverbindung einer geringeren Fahrqualität oder einem geringeren Fahrgastkomfort entsprechen, während eine gute Netzabdeckung und/oder eine hochwertige Netzverbindung einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen kann.
Als weiteres Beispiel können Fahrqualität und Fahrgastkomfort von der Helligkeit innerhalb des Fahrzeugs 200 entlang einer Route abhängen. So kann beispielsweise eine geringe Helligkeit im Fahrzeug 200 (z. B. aufgrund von Tunneln) einer geringeren Fahrqualität oder einem geringeren Fahrgastkomfort entsprechen, während eine höhere Helligkeit einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen kann.
Als weiteres Beispiel können Fahrqualität und Fahrgastkomfort vom Grad der Privatsphäre innerhalb des Fahrzeugs 200 auf einer Route abhängen. So kann ein geringer Grad an Privatsphäre (z. B. aufgrund des Vorhandenseins oder der Häufigkeit von Menschenmengen, Fußgängern, anderen Fahrzeugen, Kameras am Straßenrand usw.) einer geringeren Fahrqualität oder einem geringeren Fahrgastkomfort entsprechen, während ein höherer Grad an Privatsphäre (z. B. aufgrund des Fehlens oder der geringeren Häufigkeit von Menschenmengen, Fußgängern, anderen Fahrzeugen, Kameras am Straßenrand usw.) einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen kann.
Als weiteres Beispiel können Fahrqualität und Fahrgastkomfort von der Aussicht aus dem Fahrzeug 200 entlang einer Route abhängen. So können beispielsweise angenehmere Ausblicke (z. B. landschaftliche oder touristische Ausblicke, wie Ausblicke auf Sehenswürdigkeiten, Landschaften, Aussichtspunkte und andere interessante Punkte usw.) einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen, während weniger angenehme Ausblicke (z. B. Ausblicke ohne landschaftliche oder touristische Ausblicke) einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen können.
Als weiteres Beispiel können Fahrqualität und Fahrgastkomfort von den Nutzerbewertungen der aus dem Fahrzeug 200 sichtbaren Sehenswürdigkeiten entlang der Route abhängen. So können beispielsweise Ansichten von Gesprächspunkte, die durch andere Nutzer positiv bewertet werden, einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen, während Ansichten, die durch andere Nutzer negativ bewertet werden, einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen können.
Als weiteres Beispiel können Fahrqualität und Fahrgastkomfort von der Lärmbelastung abhängen, die sich entlang der Route in das Fahrzeug 200 ausbreitet (z. B. Geräusche, die durch das Fahrzeug 200 selbst erzeugt werden, oder Geräusche, die außerhalb des Fahrzeugs 200 erzeugt werden und sich in das Fahrzeug 200 ausbreiten). So können beispielsweise laute Geräusche einer geringeren Fahrqualität oder einem geringeren Fahrgastkomfort entsprechen, während leisere Geräusche (oder das Fehlen von Geräuschen) einer höheren Fahrqualität oder einem höheren Fahrgastkomfort entsprechen können.
Allgemein kann die Fahrgastkomfortschaltungsanordnung 500 Routen und/oder Sätze von Steuerparametern auswählen, die ein Gleichgewicht zwischen (i) Fahrzeit und (ii) Fahrqualität oder Fahrgastkomfort herstellen.
Beispielsweise kann die Datensyntheseschaltungsanordnung 502 basierend auf der aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten feststellen, dass der/die Fahrgast/Fahrgäste des Fahrzeugs 200 eine Aktion ausführt/ausführen, die eine Netzwerkverbindung (z. B. eine Netzwerkverbindung mit einem Drahtlosnetzwerk) nutzt. Die Datensyntheseschaltungsanordnung 502 kann zum Beispiel feststellen, dass der Benutzer gerade telefoniert, an einer Videokonferenz teilnimmt oder eine Vorrichtung bedient, die Daten über ein Drahtlosnetzwerk sendet und/oder empfängt. In einigen Ausführungsformen kann diese Feststellung basierend auf Sensordaten erfolgen, die anzeigen, dass der Benutzer eine elektronische Vorrichtung (z. B. die Benutzervorrichtung 508) herausgenommen hat, Sensordaten, die anzeigen, dass der Benutzer mit der Vorrichtung interagiert (z. B. Betrachten von auf einem Display angezeigte Konstante, Tippen auf einer Tastatur, Tippen auf einem berührungsempfindlichen Display usw.), Sensordaten, die darauf hinweisen, dass der Benutzer eine Vorrichtung ans Ohr hält, Sensordaten, die darauf hinweisen, dass der Benutzer einen Kopfhörer herausgenommen und/oder aufgesetzt hat, und/oder Sensordaten, die darauf hinweisen, dass der Benutzer zu sprechen begonnen hat (z. B. wenn kein anderer Fahrgast im Fahrzeug ist). Basierend auf dieser Feststellung können die Routenerzeugungsschaltungsanordnung 504 und die Schaltung zur Steuerparametererzeugungsschaltungsanordnung 506 eine Route zum Zielort auswählen, die der Netzabdeckung und der Netzqualität entlang der Route Priorität einräumt. Ferner wählen die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route und/oder einen Satz von Steuerparametern aus, die Vibrationen, Geräusche und/oder plötzliche Geschwindigkeitsänderungen, Beschleunigungen, Bremsungen oder Abbiegungen minimieren (oder anderweitig reduzieren), sodass der Benutzer nicht gestört wird. So kann der Benutzer beispielsweise mit weniger Unterbrechungen telefonieren, an einer Videokonferenz teilnehmen oder eine Vorrichtung bedienen.
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 basierend auf den aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten feststellen, dass der/die Fahrgast/Fahrgäste des Fahrzeugs 200 schläft/schlafen oder sich entspannt/entspannen. Zum Beispiel kann die Datensyntheseschaltungsanordnung 502 feststellen, dass der Benutzer eine Liegeposition eingenommen hat, langsam atmet (z. B. unterhalb eines bestimmten voreingestellten oder vorbestimmten Schwellenwerts), sich nicht (oder nicht häufig) bewegt, eine langsame Herzfrequenz aufweist (z. B. unterhalb eines bestimmten voreingestellten oder vorbestimmten Schwellenwerts) und/oder die Augen geschlossen hat. Basierend auf dieser Feststellung wählen die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route und/oder einen Satz von Steuerparametern aus, die Vibrationen, Geräusche und/oder plötzliche Geschwindigkeitsänderungen, Beschleunigungen, Bremsungen oder Abbiegungen minimieren (oder anderweitig reduzieren).
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 basierend auf den aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten feststellen, dass der/die Fahrgast/Fahrgäste des Fahrzeugs 200 Make-up oder andere Kosmetika aufträgt. Basierend auf dieser Bestimmung können die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route und/oder einen Satz von Steuerparametern auswählen, die Vibrationen und/oder plötzliche Geschwindigkeitsänderungen, Beschleunigungen, Bremsungen, Abbiegungen usw. minimieren (oder anderweitig reduzieren). In einigen Ausführungsformen kann die Fahrgastkomfortschaltungsanordnung 500 das Fahrzeug 200 anweisen, die Fahrt auf der Route anzuhalten (z. B. durch Anhalten an einem sicheren Ort), bis der Fahrgast das Auftragen von Make-up beendet hat.
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 basierend auf den aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten feststellen, dass der/die Fahrgast/Fahrgäste des Fahrzeugs 200 zu einer bestimmten Zeit an einer Veranstaltung teilnehmen muss/müssen. Zum Beispiel kann die Datensyntheseschaltungsanordnung 502 Kalenderdaten abrufen, die anzeigen, dass der Fahrgast an einem bestimmten Tag und zu einer bestimmten Uhrzeit an einer Veranstaltung am Zielort teilnehmen soll und dass der Tag und die Uhrzeit zeitlich nahe an der geschätzten Ankunftszeit des Fahrzeugs 200 am Zielort liegen. Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 feststellen, dass der Fahrgast Geschäftskleidung (z. B. einen Geschäftsanzug) trägt. Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 (z. B. basierend auf der Mimik, des Sprachtons usw.) feststellen, dass der Fahrgast beunruhigt oder wütend ist. Basierend auf dieser Feststellung können die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route und/oder einen Satz von Steuerparametern auswählen, die die Wahrscheinlichkeit erhöhen, dass der Benutzer rechtzeitig bei der Veranstaltung eintrifft. Beispielsweise kann die Routenerzeugungsschaltungsanordnung 504 eine Route auswählen, die die Fahrtzeit zum Zielort verkürzt. Als weiteres Beispiel kann die Steuerparametererzeugungsschaltungsanordnung 506 das Fahrzeug 200 in die Lage versetzen, seine Beschleunigung, Abbremsung und/oder Abbiegerate usw. schneller zu ändern. Als weiteres Beispiel kann der Satz von Steuerparametern dem Fahrzeug 200 ermöglichen, mit höheren Geschwindigkeiten zu fahren (z. B. bis zu einer bestimmten Höchstgeschwindigkeit). Ferner kann die Route und/oder der Satz von Steuerparametern so gewählt werden, dass innerhalb des Fahrzeugs 200 ein gewisser Grad an Vibration und/oder Lärm auftreten kann.
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 basierend auf den aus den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangenen Daten feststellen, dass der/die Fahrgast/Fahrgäste des Fahrzeugs 200 formelle Kleidung (z. B. einen Anzug, einen Smoking, ein Kleid, ein Abendkleid usw.) trägt/tragen. Ferner kann die Datensyntheseschaltungsanordnung 502 die Tageszeit bestimmen. Basierend auf diesen Informationen können die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route und/oder einen Satz von Steuerparametern auswählen, die entweder (i) die Wahrscheinlichkeit erhöhen, dass der Benutzer rechtzeitig bei der Veranstaltung ankommt, oder (ii) anderen Faktoren des Fahrgastkomforts Vorrang einräumen (z. B. Verringerung von Vibrationen, Höchstgeschwindigkeit, Beschleunigung, Bremsungen und Abbiegerate usw.). Trägt ein Fahrgast beispielsweise zu einem früheren Zeitpunkt des Tages (z. B. tagsüber) formelle Kleidung, kann dies darauf hindeuten, dass der Fahrgast auf dem Weg zu einer Veranstaltung ist und es vorzieht, so schnell wie möglich am Zielort anzukommen. Dementsprechend können die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route und/oder einen Satz von Steuerparametern so auswählen, dass eine kurze Fahrzeit bevorzugt wird, während ein höheres Maß an Vibration, Beschleunigung, Bremsungen und Abbiegerate usw. zugelassen wird. Trägt ein Fahrgast als weiteres Beispiel später am Tag (z. B. am Abend) formelle Kleidung, kann dies darauf hindeuten, dass der Fahrgast von einer Veranstaltung zurückkehrt und nicht in Eile ist. Dementsprechend können die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 den Faktoren des Fahrgastkomforts Vorrang vor der Fahrzeit einräumen.
Als weiteres Beispiel kann die Datensyntheseschaltungsanordnung 502 (z. B. basierend auf der Mimik, des Sprachtons usw.) feststellen, dass der Fahrgast beunruhigt oder wütend ist. Basierend auf dieser Feststellung können die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 eine Route und/oder einen Satz von Steuerparametern auswählen, die die Wahrscheinlichkeit erhöhen, dass der Benutzer rechtzeitig bei der Veranstaltung eintrifft. Beispielsweise kann die Routenerzeugungsschaltungsanordnung 504 eine Route auswählen, die die Fahrtzeit zum Zielort verkürzt. Als weiteres Beispiel kann die Steuerparametererzeugungsschaltungsanordnung 506 das Fahrzeug 200 in die Lage versetzen, seine Beschleunigung, Abbremsung und/oder Abbiegerate usw. schneller zu ändern. Als weiteres Beispiel kann der Satz von Steuerparametern dem Fahrzeug 200 ermöglichen, mit höheren Geschwindigkeiten zu fahren (z. B. bis zu einer bestimmten Höchstgeschwindigkeit). Ferner kann die Route und/oder der Satz von Steuerparametern so gewählt werden, dass innerhalb des Fahrzeugs 200 ein gewisser Grad an Vibration und/oder Lärm auftreten kann.
Zumindest einige der hier beschriebenen Techniken können mittels eines oder mehrerer Maschinenlernmodelle implementiert werden. 6A zeigt als Beispiel ein Diagramm einer Implementierung eines Maschinenlernmodells. Genauer ausgedrückt ist ein Diagramm einer Implementierung eines faltungsneuronalen Netzes (CNN) 620 dargestellt. Zur Veranschaulichung bezieht sich die folgende Beschreibung des CNN 620 auf eine Implementierung des CNN 620 durch die Fahrgastkomfortschaltungsanordnung 500. Es versteht sich jedoch, dass in einigen Beispielen das CNN 620 (z. B. eine oder mehrere Komponenten des CNN 620) durch andere Systeme implementiert ist, die sich von der Fahrgastkomfortschaltungsanordnung 500 unterscheiden oder zu diesem hinzukommen, wie z. B. das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuerungssystem 408. Obwohl das CNN 620 bestimmte, hier beschriebene Merkmale aufweist, dienen diese Merkmale lediglich zur Veranschaulichung und sind nicht dazu bestimmt, die vorliegende Offenbarung einzuschränken.
Das CNN 620 umfasst eine Vielzahl von Faltungsschichten, darunter die erste Faltungsschicht 622, die zweite Faltungsschicht 624 und die Faltungsschicht 626. In einigen Ausführungsformen umfasst das CNN 620 die Unterabtastschicht 628 (mitunter auch als Pooling-Schicht bezeichnet). In einigen Ausführungsformen weisen die Unterabtastschicht 628 und/oder andere Unterabtastschichten eine Dimension (d. h. eine Anzahl von Knoten) auf, die geringer als die Dimension eines stromaufwärts gelegenen Systems ist. Dadurch, dass die Unterabtastschicht 628 eine geringere Dimension als eine Dimension einer stromaufwärts gelegenen Schicht aufweist, konsolidiert das CNN 620 die Datenmenge, die der Ersteingabe und/oder Ausgabe einer stromaufwärts gelegenen Schicht zugeordnet ist, um dadurch die Menge an Berechnungen zu verringern, die für das CNN 620 zur Durchführung stromabwärts gelegener Faltungsoperationen erforderlich sind. Zusätzlich oder alternativ dazu konsolidiert das CNN 620 aufgrund der Unterabtastschicht 628, die mindestens einer Unterabtastfunktion zugeordnet (z. B. zu deren Ausführung ausgelegt) ist (wie unten mit Bezug auf 6B und 6C beschrieben), die der Ersteingabe zugehörige Datenmenge.
Die Fahrgastkomfortschaltungsanordnung 500 führt Faltungsoperationen durch, die darauf basieren, dass die Fahrgastkomfortschaltungsanordnung 500 entsprechende Eingaben und/oder Ausgaben bereitstellt, die jeweils mit der ersten Faltungsschicht 622, der zweiten Faltungsschicht 624 und der Faltungsschicht 626 verbunden sind, um entsprechende Ausgaben zu erzeugen. In einigen Beispielen implementiert die Fahrgastkomfortschaltungsanordnung 500 das CNN 620 basierend darauf, dass die Fahrgastkomfortschaltungsanordnung 500 Daten als Eingabe für die erste Faltungsschicht 622, die zweite Faltungsschicht 624 und die Faltungsschicht 626 bereitstellt. In einem solchen Beispiel stellt die Fahrgastkomfortschaltungsanordnung 500 die Daten als Eingabe für die erste Faltungsschicht 622, die zweite Faltungsschicht 624 und die Faltungsschicht 626 bereit, basierend darauf, dass die Fahrgastkomfortschaltungsanordnung 500 Daten aus einem oder mehreren verschiedenen Systemen (z. B. den Sensoren 510, der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508) empfängt. Eine ausführliche Beschreibung der Faltungsoperationen ist weiter unten mit Bezug auf 6B vorhanden.
In einigen Ausführungsformen stellt die Fahrgastkomfortschaltungsanordnung 500 der ersten Faltungsschicht 622 Daten zur Verfügung, die einer Eingabe (als Ersteingabe bezeichnet) zugeordnet sind, und die Fahrgastkomfortschaltungsanordnung 500 erzeugt unter Verwendung der ersten Faltungsschicht 622 Daten, die einer Ausgabe zugeordnet sind. In einigen Ausführungsformen stellt die Fahrgastkomfortschaltungsanordnung 500 eine durch eine Faltungsschicht erzeugte Ausgabe als Eingabe für eine andere Faltungsschicht bereit. Zum Beispiel liefert die Fahrgastkomfortschaltungsanordnung 500 die Ausgabe der ersten Faltungsschicht 622 als Eingabe für die Unterabtastschicht 628, die zweite Faltungsschicht 624 und/oder die Faltungsschicht 626. In einem solchen Beispiel wird die erste Faltungsschicht 622 als stromaufwärts gelegene Schicht und die Unterabtastschicht 628, die zweite Faltungsschicht 624 und/oder die Faltungsschicht 626 als stromabwärts gelegene Schicht bezeichnet. In ähnlicher Weise stellt die Fahrgastkomfortschaltungsanordnung 500 in einigen Ausführungsformen die Ausgabe der Unterabtastschicht 628 der zweiten Faltungsschicht 624 und/oder der Faltungsschicht 626 zur Verfügung, und in diesem Beispiel würde die Unterabtastschicht 628 als stromaufwärts gelegene Schicht und die zweite Faltungsschicht 624 und/oder die Faltungsschicht 626 als stromabwärts gelegene Schicht bezeichnet werden.
In einigen Ausführungsformen verarbeitet die Fahrgastkomfortschaltungsanordnung 500 die Daten, die der an das CNN 620 gelieferten Eingabe zugeordnet sind, bevor die Fahrgastkomfortschaltungsanordnung 500 die Eingabe an das CNN 620 liefert. Beispielsweise verarbeitet die Fahrgastkomfortschaltungsanordnung 500 die Daten, die der an das CNN 620 gelieferten Eingabe zugeordnet sind, basierend auf der Fahrgastkomfortschaltungsanordnung 500 und/oder der Normalisierung der Sensordaten durch das Wahrnehmungssystem 402 (z. B. Bilddaten, LiDAR-Daten, Radardaten und/oder dergleichen).
In einigen Ausführungsformen erzeugt das CNN 620 eine Ausgabe basierend auf der Fahrgastkomfortschaltungsanordnung 500, die Faltungsoperationen in Zusammenhang mit jeder Faltungsschicht durchführt. In einigen Beispielen erzeugt das CNN 620 eine Ausgabe auf Grundlage der Fahrgastkomfortschaltungsanordnung 500, die Faltungsoperationen in Zusammenhang mit jeder Faltungsschicht und einer Anfangseingabe durchführt. In einigen Ausführungsformen erzeugt die Fahrgastkomfortschaltungsanordnung 500 die Ausgabe und stellt die Ausgabe als vollständig verbundene Schicht 630 bereit. In einigen Beispielen stellt die Fahrgastkomfortschaltungsanordnung 500 die Ausgabe der Faltungsschicht 626 als vollständig verbundene Schicht 630 bereit, wobei die vollständig verbundene Schicht 620 Daten enthält, die einer Vielzahl von Merkmalswerten zugeordnet sind, die als F1, F2 ... FN bezeichnet werden. In diesem Beispiel enthält die Ausgabe der Faltungsschicht 626 Daten, die einer Vielzahl von Ausgabemerkmalswerten zugeordnet sind, die eine Vorhersage darstellen.
In einigen Ausführungsformen identifiziert die Fahrgastkomfortschaltungsanordnung 500 eine Vorhersage aus einer Vielzahl von Vorhersagen basierend darauf, dass die Fahrgastkomfortschaltungsanordnung 500 einen Merkmalswert identifiziert, der der höchsten Wahrscheinlichkeit zugeordnet ist, die richtige Vorhersage aus der Vielzahl von Vorhersagen zu sein. Wenn zum Beispiel die vollständig verbundene Schicht 630 die Merkmalswerte F1, F2, ... FN enthält und F1 der größte Merkmalswert ist, identifiziert die Fahrgastkomfortschaltungsanordnung 500 die F1 zugeordnete Vorhersage als die richtige Vorhersage aus der Vielzahl von Vorhersagen. In einigen Ausführungsformen trainiert die Fahrgastkomfortschaltungsanordnung 500 das CNN 620, um die Vorhersage zu erstellen. In einigen Beispielen trainiert die Fahrgastkomfortschaltungsanordnung 500 das CNN 620, um die Vorhersage basierend auf der Fahrgastkomfortschaltungsanordnung 500 zu erzeugen, die dem CNN 620 mit der Vorhersage verbundene Trainingsdaten bereitstellt.
Eine Vorhersage kann beispielsweise eine bestimmte vorhergesagte Route und/oder einen Satz von Steuerparametern umfassen, die den Komfort eines Fahrgastes unter bestimmten Umständen oder in bestimmten Situationen maximieren (oder anderweitig erhöhen) (z. B. wie unter Bezugnahme auf die Routenerzeugungsschaltungsanordnung 504 und die Steuerparametererzeugungsschaltungsanordnung 506 beschrieben). Als weiteres Beispiel kann eine Vorhersage eine vorhergesagte Eigenschaft des Fahrgastes, des Fahrzeugs und/oder einer Netzwerkleitung enthalten (z. B. wie unter Bezugnahme auf die Datensyntheseschaltungsanordnung 502 beschrieben).
6B und 6C zeigen ein Diagramm eines Beispiels für den Betrieb des CNN 640 durch die Fahrgastkomfortschaltungsanordnung 500. In einigen Ausführungsformen ist das CNN 640 (z. B. eine oder mehrere Komponenten des CNN 640) gleich oder ähnlich dem CNN 620 (z. B. einem oder mehreren Komponenten des CNN 620) (siehe 6A).
In Schritt 650 liefert die Fahrgastkomfortschaltungsanordnung 500 Daten als Eingabe an das CNN 640 (Schritt 650). Beispielsweise kann die Fahrgastkomfortschaltungsanordnung 500 Daten bereitstellen, die aus einem oder mehreren der Sensoren 510 erhalten wurden, wie z. B. ein oder mehrere Bilder, Videos, LiDAR-Bilder, Punktwolken, Radarbilder, Audiosignale, Vitalwerte, Augenpositions- und -bewegungsmessungen, Vibrationsmessungen, Beschleunigungsmessungen usw.). Als weiteres Beispiel kann die Fahrgastkomfortschaltungsanordnung 500 Daten bereitstellen, die aus der Kommunikationsschnittstelle 314 und/oder der Benutzervorrichtung 508 empfangen wurden.
In Schritt 655 führt das CNN 640 eine erste Faltungsfunktion aus. Zum Beispiel führt das CNN 640 die erste Faltungsfunktion aus, indem das CNN 640 in der ersten Faltungsschicht 642 die die Eingabedaten repräsentierenden Werte als Eingabe für ein oder mehrere Neuronen (nicht explizit dargestellt) bereitstellt. Beispielsweise können die Werte, die ein Bild oder Video darstellen, Werten entsprechen, die einen Bereich des Bildes oder Videos repräsentieren (mitunter auch als rezeptives Feld bezeichnet). Als weiteres Beispiel können die Werte, die ein Audiosignal repräsentieren, Werten entsprechen, die einen Teil des Audiosignals (z. B. einen bestimmten zeitlichen Teil und/oder einen bestimmten spektralen Teil) repräsentieren. Als weiteres Beispiel können die Werte, die eine andere Sensormessung repräsentieren, Werten entsprechen, die einen Teil dieser Sensormessung (z. B. einen bestimmten zeitlichen Teil und/oder einen bestimmten spektralen Teil) repräsentieren.
In einigen Ausführungsformen ist jedes Neuron einem Filter zugeordnet (nicht explizit dargestellt). Ein Filter (mitunter auch als Kernel bezeichnet) lässt sich als eine Reihe von Werten darstellen, die in ihrer Größe den Werten entspricht, die dem Neuron als Eingabe zur Verfügung gestellt werden. In einem Beispiel kann ein Filter dazu ausgelegt sein, Kanten in einem Bild (z. B. horizontale Linien, vertikale Linien, gerade Linien und/oder dergleichen) zu erkennen. In aufeinanderfolgenden Faltungsschichten können die den Neuronen zugeordneten Filter dazu ausgelegt sein, sukzessive komplexere Muster im Bild (z. B. Bögen, Objekte und/oder dergleichen) zu erkennen. In aufeinanderfolgenden Faltungsschichten können die den Neuronen zugeordneten Filter dazu ausgelegt sein, Muster in anderen Datentypen zu erkennen (z. B. Audiosignale, Beschleunigungsmessungen, Vitalwerte, Augenbewegungsmessungen usw.).
In einigen Ausführungsformen führt das CNN 640 die erste Faltungsfunktion basierend darauf aus, dass das CNN 640 die Werte, die als Eingabe für jedes des einen oder der mehreren Neuronen in der ersten Faltungsschicht 642 bereitgestellt werden, mit den Werten des Filters multipliziert, der jedem des einen oder der mehreren Neuronen entspricht. Zum Beispiel kann das CNN 640 die Werte, die als Eingabe für jedes des einen oder der mehreren Neuronen in der ersten Faltungsschicht 642 bereitgestellt werden, mit den Werten des Filters multiplizieren, der jedem des einen oder der mehreren Neuronen entspricht, um einen einzelnen Wert oder eine Reihe von Werten als Ausgabe zu erzeugen. In einigen Ausführungsformen wird die kollektive Ausgabe der Neuronen der ersten Faltungsschicht 642 als gefaltete Ausgabe bezeichnet. In einigen Ausführungsformen, in denen jedes Neuron den gleichen Filter aufweist, wird die gefaltete Ausgabe als Merkmalsabbildung bezeichnet.
In einigen Ausführungsformen liefert das CNN 640 die Ausgaben jedes Neurons der ersten Faltungsschicht 642 an Neuronen einer stromabwärts gelegenen Schicht. Der Klarheit halber kann eine stromaufwärts gelegene Schicht eine Schicht sein, die Daten an eine andere Schicht (als stromabwärts gelegene Schicht bezeichnet) überträgt. Zum Beispiel kann das CNN 640 die Ausgaben jedes Neurons der ersten Faltungsschicht 642 den entsprechenden Neuronen einer Unterabtastschicht bereitstellen. In einem Beispiel liefert das CNN 640 die Ausgaben jedes Neurons der ersten Faltungsschicht 642 an die entsprechenden Neuronen der ersten Unterabtastschicht 644. In einigen Ausführungsformen addiert das CNN 640 einen Aufschaltwert zu den Gesamtheiten aller Werte, die jedem Neuron der stromabwärts gelegenen Schicht zur Verfügung gestellt werden. Beispielsweise addiert das CNN 640 einen Aufschaltwert zu den Gesamtheiten aller Werte, die an jedes Neuron der ersten Unterabtastschicht 644 geliefert werden. In einem solchen Beispiel bestimmt das CNN 640 einen endgültigen Wert, der jedem Neuron der ersten Unterabtastschicht 644 zur Verfügung gestellt wird, basierend auf den Gesamtheiten aller Werte, die jedem Neuron zur Verfügung gestellt werden, und einer Aktivierungsfunktion, die jedem Neuron der ersten Unterabtastschicht 644 zugeordnet ist.
In Schritt 660 führt das CNN 640 eine erste Unterabtastfunktion aus. Beispielsweise kann das CNN 640 eine erste Unterabtastfunktion ausführen, die darauf basiert, dass das CNN 640 die durch die erste Faltungsschicht 642 ausgegebenen Werte an die entsprechenden Neuronen der ersten Unterabtastschicht 644 weiterleitet. In einigen Ausführungsformen führt das CNN 640 die erste Unterabtastfunktion basierend auf einer Aggregationsfunktion aus. In einem Beispiel führt das CNN 640 die erste Unterabtastfunktion basierend darauf aus, dass das CNN 640 die maximale Eingabe unter den Werten bestimmt, die einem bestimmten Neuron zur Verfügung gestellt werden (als Max-Pooling-Funktion bezeichnet). In einem anderen Beispiel führt das CNN 640 die erste Unterabtastfunktion basierend auf der durch das CNN 640 bestimmten durchschnittlichen Eingabe unter den für ein bestimmtes Neuron bereitgestellten Werten aus (als durchschnittliche Pooling-Funktion bezeichnet). In einigen Ausführungsformen erzeugt das CNN 640 eine Ausgabe basierend darauf, dass das CNN 640 die Werte an jedes Neuron der ersten Unterabtastschicht 644 liefert, wobei die Ausgabe mitunter als unterabgetastete gefaltete Ausgabe bezeichnet wird.
In Schritt 665 führt das CNN 640 eine zweite Faltungsfunktion aus. In einigen Ausführungsformen führt das CNN 640 die zweite Faltungsfunktion auf ähnliche Weise wie das CNN 640 die erste Faltungsfunktion aus, wie oben beschrieben wurde. In einigen Ausführungsformen führt das CNN 640 die zweite Faltungsfunktion basierend darauf aus, dass das CNN 640 die durch die erste Unterabtastschicht 644 ausgegebenen Werte als Eingabe für ein oder mehrere Neuronen (nicht explizit dargestellt) in der zweiten Faltungsschicht 646 bereitstellt. In einigen Ausführungsformen ist jedes Neuron der zweiten Faltungsschicht 646 wie oben beschrieben einem Filter zugeordnet. Der/die der zweiten Faltungsschicht 646 zugeordnete(n) Filter kann/können dazu ausgelegt sein, komplexere Muster als der der ersten Faltungsschicht 642 zugeordnete Filter wie oben beschrieben zu erkennen.
In einigen Ausführungsformen führt das CNN 640 die zweite Faltungsfunktion basierend darauf aus, dass das CNN 640 die Werte, die als Eingabe für jedes des einen oder der mehreren Neuronen in der zweiten Faltungsschicht 646 bereitgestellt werden, mit den Werten des Filters multipliziert, der jedem des einen oder der mehreren Neuronen entspricht. Zum Beispiel kann das CNN 640 die Werte, die als Eingabe für jedes des einen oder der mehreren Neuronen in der zweiten Faltungsschicht 646 bereitgestellt werden, mit den Werten des Filters multiplizieren, der jedem des einen oder der mehreren Neuronen entspricht, um einen einzelnen Wert oder eine Reihe von Werten als Ausgabe zu erzeugen.
In einigen Ausführungsformen liefert das CNN 640 die Ausgaben jedes Neurons der zweiten Faltungsschicht 646 an Neuronen einer stromabwärts gelegenen Schicht. Zum Beispiel kann das CNN 640 die Ausgaben jedes Neurons der ersten Faltungsschicht 642 den entsprechenden Neuronen einer Unterabtastschicht bereitstellen. In einem Beispiel liefert das CNN 640 die Ausgaben jedes Neurons der ersten Faltungsschicht 642 an die entsprechenden Neuronen der zweiten Unterabtastschicht 648. In einigen Ausführungsformen addiert das CNN 640 einen Aufschaltwert zu den Gesamtheiten aller Werte, die jedem Neuron der stromabwärts gelegenen Schicht zur Verfügung gestellt werden. Beispielsweise addiert das CNN 640 einen Aufschaltwert zu den Gesamtheiten aller Werte, die an jedes Neuron der zweiten Unterabtastschicht 648 geliefert werden. In einem solchen Beispiel bestimmt das CNN 640 einen endgültigen Wert, der jedem Neuron der zweiten Unterabtastschicht 648 zur Verfügung gestellt wird, basierend auf den Gesamtheiten aller Werte, die jedem Neuron geliefert werden, und einer Aktivierungsfunktion, die jedem Neuron der zweiten Unterabtastschicht 648 zugeordnet ist.
In Schritt 670 führt das CNN 640 eine zweite Unterabtastfunktion aus. Beispielsweise kann das CNN 640 eine zweite Unterabtastfunktion basierend darauf aus, dass das CNN 640 die durch die zweite Faltungsschicht 646 ausgegebenen Werte an die entsprechenden Neuronen der zweiten Unterabtastschicht 648 weiterleitet. In einigen Ausführungsformen führt das CNN 640 die zweite Unterabtastfunktion basierend darauf aus, dass das CNN 640 eine Aggregationsfunktion verwendet. In einem Beispiel führt das CNN 640 die erste Unterabtastfunktion basierend darauf aus, dass das CNN 640 wie oben beschrieben die maximale Eingabe oder eine durchschnittliche Eingabe unter den Werten bestimmt, die einem gegebenen Neuron bereitgestellt werden. In einigen Ausführungsformen erzeugt das CNN 640 eine Ausgabe, die darauf basiert, dass das CNN 640 die Werte an jedes Neuron der zweiten Unterabtastschicht 648 liefert.
In Schritt 675 liefert das CNN 640 die Ausgabe jedes Neurons der zweiten Unterabtastschicht 648 an vollständig verbundene Schichten 649. Zum Beispiel liefert das CNN 640 die Ausgabe jedes Neurons der zweiten Unterabtastschicht 648 an vollständig verbundene Schichten 649, um die vollständig verbundenen Schichten 649 zu veranlassen, eine Ausgabe zu erzeugen. In einigen Ausführungsformen sind vollständig verbundene Schichten 649 dazu ausgelegt, eine Ausgabe zu erzeugen, die einer Vorhersage zugeordnet ist (mitunter auch als Klassifizierung bezeichnet).
Als Beispiel kann die Ausgabe eine Vorhersage über eine Handlung beinhalten, die durch den/die Fahrgast/Fahrgäste des Fahrzeugs 200 ausgeführt wird. Beispiele für Handlungen sind Sitzen, Schlafen, Liegen, Auftragen von Make-up oder anderen Kosmetika, Herausnehmen und/oder Aufsetzen von Kopfhörern, Herausnehmen einer Vorrichtung und Bedienen der Vorrichtung. Weitere Beispielhandlungen sind das Sprechen am Telefon, die Teilnahme an einer Videokonferenz, das Halten einer Präsentation usw.
Als weiteres Beispiel kann die Ausgabe eine Vorhersage über die Pose des/der Fahrgastes/Fahrgäste des Fahrzeugs 200 enthalten. Die Ausgabe kann beispielsweise die voraussichtliche Position und/oder Ausrichtung eines oder mehrerer Körperteile eines Fahrgastes umfassen, wie z. B. Kopf, Arme, Hände, Finger, Beine, Füße, Torso usw. des Fahrgastes.
Als weiteres Beispiel kann die Ausgabe eine Vorhersage bezüglich einer physischen Geste (z. B. Bewegungen eines oder mehrerer Körperteile) enthalten, die durch den/die Fahrgast/Fahrgäste des Fahrzeugs 200 ausgeführt wird. Die Ausgabe kann beispielsweise die voraussichtlichen Bewegungen von Kopf, Armen, Händen, Fingern, Beinen, Füßen usw. des Benutzers anzeigen.
Als weiteres Beispiel kann die Ausgabe eine Vorhersage über die Vitalwerte des/der Fahrgastes/Fahrgäste des Fahrzeugs 200 enthalten. Die Ausgabe kann zum Beispiel die voraussichtliche Temperatur eines Fahrgastes, die Atemfrequenz oder die Atmungsrate eines Fahrgastes und die Herzfrequenz eines Fahrgastes anzeigen.
Als weiteres Beispiel kann die Ausgabe eine Vorhersage über die Mimik eines Fahrgastes enthalten. Die Ausgabe kann zum Beispiel eine Vorhersage darüber treffen, ob der Fahrgast lächelt, die Stirn runzelt, starrt usw.
Als weiteres Beispiel kann die Ausgabe eine Vorhersage bezüglich des Blicks eines Fahrgastes beinhalten (z. B. ob der Benutzer aus einem Fenster des Fahrzeugs 200 schaut, einen anderen Fahrgast im Fahrzeug 200 ansieht, die Benutzervorrichtung 508 ansieht usw.).
Als weiteres Beispiel kann die Ausgabe eine Vorhersage über die Kleidung eines Fahrgastes enthalten. Die Ausgabe kann zum Beispiel eine Vorhersage darüber enthalten, ob ein Fahrgast ein Hemd, eine Hose, einen Hut, ein Kleid, einen Rock, Shorts, Socken, eine Brille (z. B. eine Korrekturbrille, eine Sonnenbrille usw.) und/oder ein anderes Kleidungsstück trägt. Ferner kann die Ausgabe eine Vorhersage über den Stil oder die Art der Kleidung des Fahrgastes anzeigen (z. B. ob es sich bei dem Kleidungsstück um formelle Kleidung, Geschäftskleidung, Freizeitkleidung, Sportkleidung, Badekleidung, eine Uniform usw. handelt).
Als weiteres Beispiel kann die Ausgabe eine Vorhersage über einen Gemütszustand des/der Fahrgastes/Fahrgäste des Fahrzeugs 200 enthalten. Die Ausgabe kann zum Beispiel eine Vorhersage darüber enthalten, ob ein Benutzer glücklich, traurig, beunruhigt, wütend, verängstigt, überrascht ist oder eine andere Emotion zeigt.
In einigen Ausführungsformen führt die Fahrgastkomfortschaltungsanordnung 500 eine oder mehrere Operationen durch und/oder liefert die der Vorhersage zugeordneten Daten an ein anderes, hier beschriebenes System.
7 zeigt ein Flussdiagramm eines Verfahrens 700 zum Betreiben eines Fahrzeugs. In einigen Ausführungsformen werden ein oder mehrere der in Bezug auf Prozess 700 beschriebenen Schritte (z. B. vollständig, teilweise und/oder dergleichen) durch die Fahrgastkomfortschaltungsanordnung 500 durchgeführt. Zusätzlich oder alternativ werden in einigen Ausführungsformen ein oder mehrere Schritte, die in Bezug auf den Prozess 700 beschrieben sind, (z. B. vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen durchgeführt, die von der Fahrgastkomfortschaltungsanordnung 500 getrennt sind oder diese einschließen, wie z. B. eine oder mehrere andere Komponenten des Rechensystems eines autonomen Fahrzeugs 400.
Unter fortgesetzter Bezugnahme auf 7 empfängt mindestens ein Prozessor eines Fahrzeugs Daten, die mindestens eine Aktion oder ein Erscheinungsbild eines Fahrgastes des Fahrzeugs anzeigen (Block 702). In einigen Ausführungsformen können mindestens einige der Daten aus mindestens einem im Fahrzeug befindlichen Sensor empfangen werden. In einigen Ausführungsformen können mindestens einige der Daten aus einer Anwendung auf einer mit dem Fahrzeug verbundenen Kommunikationsvorrichtung empfangen werden.
In einigen Ausführungsformen kann die Anwendung ein Browser oder eine native Anwendung sein, die auf der Kommunikationsvorrichtung installiert ist. Ferner können die Daten erste Daten, die eine Vibration der Kommunikationsvorrichtung anzeigen, und zweite Daten, die eine Einleitung einer Kommunikation auf der Kommunikationsvorrichtung anzeigen, enthalten. In einigen Ausführungsformen kann die Kommunikation ein Videoanruf sein. Ferner kann die Änderung des mindestens einen Betriebsparameters mindestens eine Änderung der Geschwindigkeit des Fahrzeugs auf eine niedrigere Geschwindigkeit oder eine Änderung einer Route des Fahrzeugs auf eine sanftere Route beinhalten.
In einigen Ausführungsformen kann die Anwendung ein Browser oder eine native Anwendung sein, die auf der Kommunikationsvorrichtung installiert ist. Ferner können die Daten anzeigen, dass ein Fahrgast des Fahrzeugs eine Besprechung zu einer vorgegebenen Zeit hat. Ferner kann die Änderung des mindestens einen Betriebsparameters eine Variierung der Geschwindigkeit oder der Route des Fahrzeugs beinhalten, sodass das Fahrzeug einen Zielort innerhalb der vorgegebenen Zeit erreicht.
In einigen Ausführungsformen kann die Anwendung ein Browser oder eine native Anwendung sein, die auf der Kommunikationsvorrichtung installiert ist. Ferner können die Daten anzeigen, dass ein Fahrgast des Fahrzeugs eine Besprechung zu einer aktuellen Zeit oder einer anderen Zeit vor einer Zielzeit geplant hat. Ferner kann die Änderung des mindestens einen Betriebsparameters die Änderungen einer Geschwindigkeit oder einer Route des Fahrzeugs beinhalten, sodass das Fahrzeug während der Besprechung einem Weg mit Internetverbindung folgt.
In einigen Ausführungsformen kann der mindestens eine Sensor einen oder mehrere Bewegungssensoren und/oder Drucksensoren umfassen. Ferner können die Daten anzeigen, dass ein Fahrgast eine Liegeposition im Fahrzeug eingenommen hat. Ferner kann die Änderung des mindestens einen Betriebsparameters eine Änderung der Geschwindigkeit des Fahrzeugs auf eine niedrigere Geschwindigkeit und/oder eine Änderung der Route des Fahrzeugs auf eine sanftere Route beinhalten.
In einigen Ausführungsformen kann der mindestens eine Sensor einen oder mehrere Atemsensoren umfassen, die dazu ausgelegt sind, eine Atemfrequenz eines Fahrgastes des Fahrzeugs zu messen. Ferner können die Daten darauf hinweisen, dass die Atemfrequenz des Fahrgastes unterhalb eines voreingestellten Wertes liegt. Ferner kann die Änderung des mindestens einen Betriebsparameters eine Änderung der Geschwindigkeit des Fahrzeugs auf eine niedrigere Geschwindigkeit und/oder eine Änderung der Route des Fahrzeugs auf eine sanftere Route beinhalten.
In einigen Ausführungsformen kann der mindestens eine Sensor eine erste Kamera, die auf der Kommunikationsvorrichtung installiert ist, und/oder eine zweite Kamera, die am Fahrzeug (z. B. in einer Kabine oder im Inneren des Fahrzeugs) angebracht ist, umfassen. Ferner können die Daten anzeigen, dass ein Fahrgast ein formelles Kleidungsstück trägt. Ferner kann die Änderung des mindestens einen Betriebsparameters eine von der Tageszeit abhängige Änderung der Geschwindigkeit des Fahrzeugs auf eine höhere Geschwindigkeit oder der Route des Fahrzeugs auf eine schnellere Route beinhalten.
In einigen Ausführungsformen kann der mindestens eine Sensor eine erste Kamera, die auf der Kommunikationsvorrichtung installiert ist, und/oder eine zweite Kamera, die am Fahrzeug (z. B. in einer Kabine oder im Inneren des Fahrzeugs) angebracht ist, umfassen. Ferner können die Daten anzeigen, dass ein Fahrgast einen Kopfhörer aufsetzt. Ferner kann die Änderung des mindestens einen Betriebsparameters eine Änderung der Route des Fahrzeugs auf eine leisere Route beinhalten.
Unter weiterer Bezugnahme auf 7 bestimmt der mindestens eine Prozessor basierend auf der Aktion und/oder des Erscheinungsbilds, dass eine Änderung mindestens eines Betriebsparameters des Fahrzeugs erforderlich ist (Block 704).
In einigen Ausführungsformen kann die Änderung des mindestens einen Betriebsparameters eine Änderung der Route des Fahrzeugs, der Geschwindigkeit des Fahrzeugs zu verschiedenen Zeitpunkten vor Erreichen eines Zielorts und/oder der Bewegung des Fahrzeugs umfassen.
In einigen Ausführungsformen kann die Änderung der Route die Vermeidung mindestens eines lauten Bereichs, die Vermeidung mindestens eines Tunnels, die Vermeidung mindestens eines überfüllten Bereichs, die Bevorzugung einer sanfteren Route basierend auf einem Fahrbahnmaterial eines Weges, auf dem sich das Fahrzeug während der Route bewegt, und/oder die Minimierung einer Anzahl von Haltepunkten des Fahrzeugs umfassen.
In einigen Ausführungsformen kann die Änderung der Route den Einsatz eines Maschinenlernmodells umfassen, das dazu trainiert wurde, die Vermeidung mindestens eines lauten Bereichs, die Vermeidung mindestens eines Tunnels, die Vermeidung mindestens eines überfüllten Bereichs, die Bevorzugung einer sanfteren Route basierend auf einem Fahrbahnmaterial eines Weges, auf dem sich das Fahrzeug während der Route bewegt, oder die Minimierung einer Anzahl von Haltepunkten für das Fahrzeug durchführt.
Ferner kann das Maschinenlernmodell mindestens teilweise durch die Berechnung von Variablen trainiert werden, die mit dem Maschinenlernmodell verknüpft sind, um das Maschinenlernmodell zu optimieren.
Ferner kann mindestens ein Maschinenlernmodell mindestens ein neuronales Netzmodell umfassen, das eine Vielzahl von künstlichen Neuronen enthält, die in einer Vielzahl von Schichten des mindestens einen neuronalen Netzes angeordnet sind. Die Optimierung der Variablen des mindestens einen neuronalen Netzmodells kann die Berechnung von Gewichtungen und eines Aufschaltwertes für jedes künstliche Neuron der Vielzahl künstlicher Neuronen beinhalten, um die Vermeidung mindestens eines lauten Bereichs, die Vermeidung mindestens eines Tunnels, die Vermeidung mindestens eines überfüllten Bereichs, die Bevorzugung einer sanfteren Route basierend auf einem Fahrbahnmaterial eines Weges, auf dem sich das Fahrzeug während der Route bewegt, oder die Minimierung einer Anzahl von Haltepunkten für das Fahrzeug zu optimieren. Die Gewichtungen und der Aufschaltwert für jedes künstliche Neuron können die Variablen sein.
Unter weiterer Bezugnahme auf 7 ändert der mindestens eine Prozessor den mindestens einen Betriebsparameter des Fahrzeugs als Reaktion auf die Bestimmung (Block 706).
In der vorgenannten Beschreibung sind Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezug auf zahlreiche spezifische Details beschrieben, die von Implementierung zu Implementierung verschieden sein können. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden statt einem einschränkenden Sinn zu sehen. Der einzige und ausschließliche Indikator für den Schutzbereich der Erfindung und das, was durch die Anmelder als Schutzbereich der Erfindung beabsichtigt ist, ist der wörtliche und äquivalente Schutzbereich der Menge der Ansprüche, die aus dieser Anmeldung in der spezifischen Form hervorgehen, in der diese Ansprüche ausgestellt sind, einschließlich etwaiger späterer Korrekturen. Alle hier ausdrücklich dargelegten Definitionen für Begriffe, die in diesen Ansprüchen enthalten sind, regeln die Bedeutung der in den Ansprüchen verwendeten Begriffe. Darüber hinaus kann bei Verwendung des Begriffs „ferner umfassend“ in der vorhergehenden Beschreibung oder in den folgenden Ansprüchen das auf diese Formulierung Folgende ein zusätzlicher Schritt oder eine zusätzliche Einheit oder ein Unterschritt bzw. eine Untereinheit eines bereits erwähnten Schritts oder einer bereits erwähnten Einheit sein.

Claims

Verfahren, umfassend: Empfangen von Daten durch mindestens einen Prozessor eines Fahrzeugs und aus einem oder mehreren von mindestens einem im Fahrzeug befindlichen Sensor oder einer Anwendung auf einer mit dem Fahrzeug verbundenen Kommunikationsvorrichtung, die mindestens eine Aktion oder ein Erscheinungsbild eines Fahrgastes des Fahrzeugs anzeigen; Bestimmen, durch den mindestens einen Prozessor und basierend auf mindestens einem von der Aktion oder des Erscheinungsbilds, dass eine Änderung mindestens eines Betriebsparameters des Fahrzeugs erforderlich ist; und Ändern des mindestens einen Betriebsparameters des Fahrzeugs durch den mindestens einen Prozessor und als Reaktion auf die Bestimmung.
Verfahren gemäß Anspruch 1, wobei: die Anwendung ein Browser oder eine auf der Kommunikationsvorrichtung installierte native Anwendung ist; die Daten erste Daten umfassen, die eine Vibration der Kommunikationsvorrichtung anzeigen, und zweite Daten, die eine Einleitung einer Kommunikation auf der Kommunikationsvorrichtung anzeigen, wobei die Kommunikation ein Videoanruf ist; und die Änderung des mindestens einen Betriebsparameters mindestens eine Änderung der Geschwindigkeit des Fahrzeugs auf eine niedrigere Geschwindigkeit oder eine Änderung einer Route des Fahrzeugs auf eine sanftere Route umfasst.
Verfahren gemäß Anspruch 1, wobei: der mindestens eine Sensor einen oder mehrere von mindestens einem Bewegungssensor oder mindestens einem Drucksensor umfasst; die Daten anzeigen, dass ein Fahrgast des Fahrzeugs eine Liegeposition im Fahrzeug eingenommen hat; und die Änderung des mindestens einen Betriebsparameters mindestens eine Änderung der Geschwindigkeit des Fahrzeugs auf eine niedrigere Geschwindigkeit oder eine Änderung einer Route des Fahrzeugs auf eine sanftere Route umfasst.
Verfahren gemäß Anspruch 1, wobei: der mindestens eine Sensor mindestens einen Atemsensor umfasst, der dazu ausgelegt ist, eine Atemfrequenz eines Fahrgastes des Fahrzeugs zu messen; die Daten anzeigen, dass die Atemfrequenz des Fahrgastes des Fahrzeugs unterhalb eines voreingestellten Wertes liegt; und die Änderung des mindestens einen Betriebsparameters mindestens eine Änderung der Geschwindigkeit des Fahrzeugs auf eine niedrigere Geschwindigkeit oder eine Änderung einer Route des Fahrzeugs auf eine sanftere Route umfasst.
Verfahren gemäß Anspruch 1, wobei: der mindestens eine Sensor mindestens eine auf der Kommunikationsvorrichtung installierte erste Kamera oder eine am Fahrzeug angebrachte zweite Kamera umfasst; die Daten anzeigen, dass ein Fahrgast des Fahrzeugs ein formelles Kleidungsstück trägt; und die Änderung des mindestens einen Betriebsparameters eine von der Tageszeit abhängige Änderung der Geschwindigkeit des Fahrzeugs auf eine höhere Geschwindigkeit oder einer Route des Fahrzeugs auf eine schnellere Route umfasst.
Verfahren gemäß Anspruch 1, wobei: der mindestens eine Sensor mindestens eine auf der Kommunikationsvorrichtung installierte erste Kamera oder eine am Fahrzeug angebrachte zweite Kamera umfasst; die Daten anzeigen, dass ein Fahrgast des Fahrzeugs einen Kopfhörer aufsetzt; und die Änderung des mindestens einen Betriebsparameters eine Änderung einer Route des Fahrzeugs auf eine leisere Route umfasst.
Verfahren gemäß Anspruch 1, wobei: die Anwendung ein Browser oder eine auf der Kommunikationsvorrichtung installierte native Anwendung ist; die Daten anzeigen, dass ein Fahrgast des Fahrzeugs eine Besprechung zu einer vorgegebenen Zeit hat; und die Änderung des mindestens einen Betriebsparameters eine Variierung der Geschwindigkeit oder der Route des Fahrzeugs umfasst, sodass das Fahrzeug einen Zielort innerhalb der vorgegebenen Zeit erreicht.
Verfahren gemäß Anspruch 1, wobei: die Anwendung ein Browser oder eine auf der Kommunikationsvorrichtung installierte native Anwendung ist; die Daten anzeigen, dass ein Fahrgast des Fahrzeugs eine Besprechung zu einer aktuellen Zeit oder einer anderen Zeit vor einer Zielzeit geplant hat; und die Änderung des mindestens einen Betriebsparameters die Änderungen einer Geschwindigkeit oder einer Route des Fahrzeugs umfasst, sodass das Fahrzeug während der Besprechung einem Weg mit Internetverbindung folgt.
Verfahren gemäß Anspruch 1, wobei die Änderung des mindestens einen Betriebsparameters eine Änderung von mindestens Folgendem umfasst: einer Route des Fahrzeugs, einer Geschwindigkeit des Fahrzeugs zu verschiedenen Zeitpunkten vor Erreichen eines Zielorts oder einer Bewegung des Fahrzeugs.
Verfahren gemäß Anspruch 9, wobei die Änderung der Route mindestens eines umfasst von: Vermeidung mindestens eines lauten Bereichs; Vermeidung von mindestens einem Tunnel; Vermeidung von mindestens einem überfüllten Bereich; Bevorzugung einer sanfteren Route basierend auf einem Fahrbahnmaterial eines Weges, auf dem sich das Fahrzeug während der Route bewegt; oder Minimieren einer Anzahl von Haltepunkten des Fahrzeugs.
Verfahren gemäß Anspruch 10, wobei die Änderung der Route den Einsatz eines Maschinenlernmodells durch den mindestens einen Prozessor umfasst, das dazu trainiert wurde, die Vermeidung mindestens eines lauten Bereichs, die Vermeidung mindestens eines Tunnels, die Vermeidung mindestens eines überfüllten Bereichs, die Bevorzugung einer sanfteren Route basierend auf einem Fahrbahnmaterial eines Weges, auf dem sich das Fahrzeug während der Route bewegt, oder die Minimierung einer Anzahl von Haltepunkten für das Fahrzeug durchzuführen.
Verfahren gemäß Anspruch 11, wobei das Trainieren des Maschinenlernmodells das Berechnen von Variablen umfasst, die dem Maschinenlernmodell zugeordnet sind, um das Maschinenlernmodell zu optimieren.
Verfahren gemäß Anspruch 12, wobei das mindestens eine Maschinenlernmodell mindestens ein neuronales Netzmodell umfasst, das eine Vielzahl von künstlichen Neuronen umfasst, die innerhalb einer Vielzahl von Schichten des mindestens einen neuronalen Netzes angeordnet sind, wobei die Optimierung der Variablen des mindestens einen neuronalen Netzmodells das Berechnen von Gewichtungen und eines Aufschaltwertes für jedes künstliche Neuron der Vielzahl von künstlichen Neuronen umfasst, um für die Vermeidung mindestens eines lauten Bereichs, die Vermeidung mindestens eines Tunnels, die Vermeidung mindestens eines überfüllten Bereichs, die Bevorzugung einer sanfteren Route basierend auf einem Fahrbahnmaterial eines Weges, auf dem sich das Fahrzeug während der Route bewegt, oder die Minimierung einer Anzahl von Haltepunkten für das Fahrzeug zu optimieren, wobei die Gewichtungen und der Aufschaltwert für jedes künstliche Neuron die Variablen sind.
System, umfassend: mindestens einen Prozessor, und mindestens ein nichtflüchtiges Speichermedium, auf dem Anweisungen gespeichert sind, die, wenn sie von dem mindestens einen Prozessor ausgeführt werden, den mindestens einen Prozessor dazu veranlassen: aus einem oder mehreren von mindestens einem sich im Fahrzeug befindlichen Sensor oder einer Anwendung auf einer mit dem Fahrzeug verbundenen Kommunikationsvorrichtung Daten zu empfangen, die mindestens eine Aktion oder ein Erscheinungsbild eines Fahrgastes des Fahrzeugs anzeigen; basierend auf der Aktion und/oder dem Erscheinungsbild zu bestimmen, dass eine Änderung mindestens eines Betriebsparameters des Fahrzeugs erforderlich ist; und als Reaktion auf das Bestimmen den mindestens einen Betriebsparameter des Fahrzeugs zu ändern.
Mindestens ein nichtflüchtiges Speichermedium, auf dem Anweisungen gespeichert sind, die, wenn sie durch mindestens einen Prozessor ausgeführt werden, den mindestens einen Prozessor dazu veranlassen: aus einem oder mehreren von mindestens einem sich im Fahrzeug befindlichen Sensor oder einer Anwendung auf einer mit dem Fahrzeug verbundenen Kommunikationsvorrichtung Daten zu empfangen, die mindestens eine Aktion oder ein Erscheinungsbild eines Fahrgastes des Fahrzeugs anzeigen; basierend auf der Aktion und/oder dem Erscheinungsbild zu bestimmen, dass eine Änderung mindestens eines Betriebsparameters des Fahrzeugs erforderlich ist; und als Reaktion auf das Bestimmen den mindestens einen Betriebsparameter des Fahrzeugs zu ändern.