DE112022000834T5

DE112022000834T5 - Steuermodusauswahl und -übergänge

Info

Publication number: DE112022000834T5
Application number: DE112022000834.2T
Authority: DE
Inventors: Libo Cao Meyers; Joseph K. Walnes
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2021-01-29
Filing date: 2022-01-21
Publication date: 2023-12-07
Also published as: US20230356754A1; CN116802104A; WO2022164715A1

Abstract

Ein computerimplementiertes Verfahren umfasst: Bestimmen eines vorhergesagten Disengagements eines autonomen Steuermodus eines Fahrzeugs (852); Ausgeben einer Benachrichtigung, die das Überführen des Fahrzeugs vom autonomen Steuermodus in einen manuellen Steuermodus anfordert (853); Bestimmen, dass eine Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde (856); und gemäß der Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, Überführen des Fahrzeugs in einen Teleoperationssteuermodus (857).

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorteil aus der am 29. Januar 2021 eingereichten vorläufigen US-Patentanmeldung Nr. 63/143,441 , deren Inhalt durch Bezugnahme für alle Zwecke hierin aufgenommen wird.
GEBIET
Die vorliegende Offenbarung bezieht sich allgemein auf das Gebiet der Vorrichtungssteuerung.
HINTERGRUND
Einige Vorrichtungen können manuell durch einen Benutzer, unter autonomer Steuerung durch ein automatisiertes System oder unter Fernsteuerung durch einen Bediener an einem entfernten Ort gesteuert werden.
KURZDARSTELLUNG
Ein Aspekt der Offenbarung ist ein computerimplementiertes Verfahren zum Bereitstellen eines Teleoperationsdienstes. Das Verfahren schließt das Empfangen von Informationen, die eine Fahrt beschreiben, die durch ein Fahrzeug von einem Startort zu einem Zielort gemacht werden soll, und das Bestimmen von Disengagement-Vorhersageinformationen, die eine Likelihood beschreiben, dass ein autonomes Steuersystem nicht in der Lage sein wird, das Fahrzeug in einem autonomen Steuermodus während eines oder mehrerer Abschnitte der Fahrt zu steuern, ein. Das Verfahren schließt auch das Präsentieren von Teleoperationsdienstinformationen an einen Benutzer basierend auf den Disengagement-Vorhersageinformationen ein, wobei der Benutzer ein Angebot des Teleoperationsdienstes basierend auf den Teleoperationsdienstinformationen annehmen kann. Gemäß einer Eingabe, die die Annahme des Angebots des Teleoperationsdienstes durch den Benutzer angibt, schließt das Verfahren auch das Überführen des Fahrzeugs während der Fahrt von dem autonomen Steuermodus in einen Teleoperationssteuermodus als Reaktion auf ein vorhergesagtes Disengagement oder ein tatsächliches Disengagement des autonomen Steuermodus während der Fahrt ein.
In dem Verfahren zum Bereitstellen eines Teleoperationsdienstes kann das Bestimmen der Disengagement-Vorhersageinformationen auf einer Abdeckungskarte der autonomen Steuerung basieren. Das Bestimmen der Disengagement-Vorhersageinformationen kann auf historischen Fahrtinformationen basieren, die Disengagement-Ereignisse während früherer Fahrten durch andere Fahrzeuge beschreiben. Das Bestimmen der Disengagement-Vorhersageinformationen kann das Bestimmen der vorhergesagten Wetterbedingungen für die Fahrt einschließen. Die Teleoperationsdienstinformationen können Teleoperationsdienstkosten für die Fahrt einschließen, und die Eingabe, die die Annahme des Angebots des Teleoperationsdienstes durch den Benutzer angibt, kann eine Vereinbarung zur Zahlung der Teleoperationsdienstkosten einschließen.
In einigen Implementierungen des Verfahrens zum Bereitstellen eines Teleoperationsdienstes wird das vorhergesagte Disengagement bestimmt, wenn eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet. Die Echtzeit-Disengagement-Likelihood-Metrik kann basierend auf Sensorinformationen bestimmt werden, die während der Fahrt von einem Sensorsystem des Fahrzeugs empfangen werden. Die Echtzeit-Disengagement-Likelihood-Metrik kann als eine Wahrscheinlichkeit ausgedrückt werden, dass der autonome Steuermodus des Fahrzeugs innerhalb eines vorbestimmten Zeitraums einem Disengagement unterliegen wird. Das Verfahren kann auch das autonome Navigieren in Richtung des Zielorts einschließen, während die Echtzeit-Disengagement-Likelihood-Metrik gemäß der Eingabe überwacht wird, die die Annahme des Angebots des Teleoperationsdienstes durch den Benutzer angibt.
Ein weiterer Aspekt der Offenbarung ist eine nichtflüchtige computerlesbare Speichervorrichtung, die Programmanweisungen einschließt, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Operationen zum Bereitstellen eines Teleoperationsdienstes durchzuführen. Ein weiterer Aspekt der Offenbarung ist eine Einrichtung zum Bereitstellen eines Teleoperationsdienstes, die einen Speicher und einen oder mehrere Prozessoren einschließt, die dazu ausgelegt sind, Anweisungen auszuführen, die in dem Speicher gespeichert sind.
Ein weiterer Aspekt der Offenbarung ist ein Verfahren zum Übergehen zwischen Steuermodi. Das Verfahren schließt das Bestimmen eines vorhergesagten Disengagements eines autonomen Steuermodus eines Fahrzeugs, das Ausgeben einer Benachrichtigung an einen Benutzer, die das Überführen des Fahrzeugs vom autonomen Steuermodus in einen manuellen Steuermodus anfordert, und das Bestimmen, dass eine Schwellenbedingung ohne das Überführen des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, ein. Gemäß der Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, schließt das Verfahren auch das Überführen des Fahrzeugs in einen Teleoperationssteuermodus ein.
In dem Verfahren zum Übergehen zwischen Steuermodi kann das vorhergesagte Disengagement bestimmt werden, wenn eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet. Die Echtzeit-Disengagement-Likelihood-Metrik kann basierend auf Sensorinformationen bestimmt werden, die von einem Sensorsystem des Fahrzeugs empfangen werden. Die Echtzeit-Disengagement-Likelihood-Metrik kann basierend auf Informationen bestimmt werden, die Disengagement-Ereignisse beschreiben, die von anderen Fahrzeugen erfahren werden. Die Echtzeit-Disengagement-Likelihood-Metrik kann basierend auf Wetterbedingungen in einer Umgebung rund um das Fahrzeug bestimmt werden. Die Echtzeit-Disengagement-Likelihood-Metrik kann als eine Wahrscheinlichkeit ausgedrückt werden, dass der autonome Steuermodus des Fahrzeugs innerhalb eines vorbestimmten Zeitraums einem Disengagement unterliegen wird. Das Verfahren kann auch das autonome Navigieren in Richtung eines Zielorts, während die Echtzeit-Disengagement-Likelihood-Metrik vor dem Bestimmen des vorhergesagten Disengagements des autonomen Steuermodus des Fahrzeugs überwacht wird, einschließen.
In dem Verfahren zum Übergehen zwischen Steuermodi kann das Ausgeben der Benachrichtigung an den Benutzer, die das Überführen des Fahrzeugs vom autonomen Steuermodus in den manuellen Steuermodus anfordert, mindestens eines von Emittieren eines Tons, Emittieren einer visuellen Angabe oder Emittieren einer haptischen Angabe einschließen. Das Ausgeben der Benachrichtigung an den Benutzer, die das Überführen des Fahrzeugs vom autonomen Steuermodus in den manuellen Steuermodus anfordert, kann das Übertragen eines Befehls einschließen, der bewirkt, dass die Benachrichtigung durch eine Vorrichtung ausgegeben wird, die vom Benutzer getragen wird. Das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, kann das Bestimmen einschließen, dass ein vorbestimmter Zeitraum abgelaufen ist. Das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, kann das Bestimmen einschließen, dass eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet. Das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, kann das Bestimmen, basierend auf Sensorinformationen von Sensoren, die sich in einer Fahrgastkabine des Fahrzeugs befinden, dass der Benutzer nicht reagiert, einschließen. In dem Teleoperationssteuermodus kann das Fahrzeug Anweisungen zur Steuerung des Fahrzeugbetriebs von einem entfernten menschlichen Bediener empfangen und ausführen.
Ein weiterer Aspekt der Offenbarung ist eine nichtflüchtige computerlesbare Speichervorrichtung, die Programmanweisungen einschließt, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Operationen zum Übergehen zwischen Steuermodi durchzuführen. Ein weiterer Aspekt der Offenbarung ist eine Einrichtung zum Übergehen zwischen Steuermodi, die einen Speicher und einen oder mehrere Prozessoren einschließt, die dazu ausgelegt sind, Anweisungen auszuführen, die in dem Speicher gespeichert sind.
Ein weiterer Aspekt der Offenbarung ist ein computerimplementiertes Verfahren zur Initiierung eines Teleoperationsdienstes. Das Verfahren schließt das Empfangen von Anforderungen zur Initiierung des Teleoperationsdienstes ein, die an einen Teleoperationsdienst von Fahrzeugen übertragen werden, wobei mindestens einige der Anforderungen Echtzeit-Disengagement-Likelihood-Metriken einschließen, die eine Likelihood beschreiben, dass ein autonomer Steuermodus einem Disengagement unterliegen wird. Das Verfahren schließt auch das Bestimmen, für jede der Anforderungen zur Initiierung des Teleoperationsdienstes, einer Einstufungsbewertung, wobei die Einstufungsbewertungen teilweise auf den Echtzeit-Disengagement-Likelihood-Metriken basieren, und das Auswählen eines der Fahrzeuge zur Initiierung eines Teleoperationssteuermodus gemäß der Einstufungsbewertung für das jeweilige eine der Fahrzeuge ein. Gemäß der Auswahl des jeweiligen einen der Fahrzeuge zur Initiierung des Teleoperationssteuermodus schließt das Verfahren auch das Betreiben des jeweiligen einen der Fahrzeuge in dem Teleoperationssteuermodus ein, indem Teleoperationsbefehle an das jeweilige eine der Fahrzeuge übertragen werden.
Bei dem Verfahren zur Initiierung eines Teleoperationsdienstes können die Echtzeit-Disengagement-Likelihood-Metriken durch die Fahrzeuge basierend auf Sensorinformationen bestimmt werden. Die Echtzeit-Disengagement-Likelihood-Metriken können basierend auf Informationen bestimmt werden, die Disengagement-Ereignisse beschreiben, die von anderen Fahrzeugen erfahren werden. Die Echtzeit-Disengagement-Likelihood-Metriken können basierend auf Wetterbedingungen in einer Umgebung rund um das jeweilige eine der Fahrzeuge bestimmt werden. Die Echtzeit-Disengagement-Likelihood-Metriken können jeweils als eine Wahrscheinlichkeit ausgedrückt werden, dass der autonome Steuermodus innerhalb eines vorbestimmten Zeitraums einem Disengagement unterliegen wird. Die Einstufungsbewertungen können teilweise auf einer verstrichenen Zeit basieren, seit die Anforderung zur Initiierung des Teleoperationsdienstes vorgenommen wurde. Das Betreiben des jeweiligen einen der Fahrzeuge in dem Teleoperationssteuermodus durch Übertragen der Teleoperationsbefehle an das jeweilige eine der Fahrzeuge kann durch einen menschlichen Bediener unter Verwendung eines Bedienersystems durchgeführt werden, das mit dem Teleoperationsdienst assoziiert ist.
Ein weiterer Aspekt der Offenbarung ist eine nichtflüchtige computerlesbare Speichervorrichtung, die Programmanweisungen einschließt, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Operationen zur Initiierung eines Teleoperationsdienstes durchzuführen. Ein weiterer Aspekt der Offenbarung ist eine Einrichtung zur Initiierung eines Teleoperationsdienstes, die einen Speicher und einen oder mehrere Prozessoren einschließt, die dazu ausgelegt sind, Anweisungen auszuführen, die in dem Speicher gespeichert sind.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Blockdiagramm eines Systems gemäß einigen Ausführungsformen.
2 ist ein Blockdiagramm einer Vorrichtung gemäß einigen Ausführungsformen.
3 ist ein Blockdiagramm des Betriebs der Vorrichtung gemäß einigen Ausführungsformen.
4 ist ein Blockdiagramm des Betriebs eines Dienstes gemäß einigen Ausführungsformen.
5 ist ein Blockdiagramm eines Prozesses zur Bestimmung einer Disengagement-Vorhersage gemäß einigen Ausführungsformen.
6 ist ein Blockdiagramm eines Prozesses zur Bestimmung einer Echtzeit-Disengagement-Likelihood-Metrik gemäß einigen Ausführungsformen.
7 ist ein Blockdiagramm eines Prozesses zum Bereitstellen eines Teleoperationsdienstes gemäß einigen Ausführungsformen.
8 ist ein Blockdiagramm eines Prozesses zum Übergehen zwischen Steuermodi gemäß einigen Ausführungsformen.
9 ist ein Blockdiagramm eines Prozesses zur Initiierung eines Teleoperationsdienstes gemäß einigen Ausführungsformen.
10 ist ein Blockdiagramm einer beispielhaften Rechenvorrichtung gemäß einigen Ausführungsformen.

DETAILLIERTE BESCHREIBUNG
1 ist ein Blockdiagramm eines Systems 100 zur Teleoperation einer Vorrichtung. Das System 100 schließt einen Teleoperationsdienst 102 und Vorrichtungen 104 und 106 ein. Der Teleoperationsdienst 102, die Vorrichtung 104 und die Vorrichtung 106 schließen jeweils eine Rechenfunktionalität und eine Kommunikationsfunktionalität ein. Der Teleoperationsdienst 102, die Vorrichtung 104 und die Vorrichtung 106 können unter Verwendung drahtgebundener oder drahtloser Verbindungen und unter Verwendung einer beliebigen Art von Kommunikationsnetzwerk, wie dem Internet, miteinander kommunizieren (z. B. durch Übertragung von Signalen und/oder Daten). In einigen Ausführungsformen ist die Vorrichtung 104 ein Fahrzeug, und die Vorrichtung 106 ist ein intelligentes Mobiltelefon.
Der Teleoperationsdienst 102 ist ein computerimplementiertes System, das dazu ausgelegt ist, den Betrieb der Vorrichtung 104 von einem entfernten Ort zu steuern. Die Steuerung der Vorrichtung 104 kann von der Vorrichtung 104, der Vorrichtung 106 oder von dem Teleoperationsdienst 102 initiiert werden. Der Teleoperationsdienst 102 schließt einen Teleoperationsserver 108 und ein Bedienersystem 110 ein. Der Teleoperationsserver 108 und das Bedienersystem 110 können unter Verwendung von Rechenvorrichtungen implementiert werden, die dazu ausgelegt sind, Computerprogrammanweisungen auszuführen, die die hierin beschriebenen Funktionen ermöglichen. Der Teleoperationsdienst 102 kann Informationen empfangen und verwenden, die vom Benutzer (z. B. einem Fahrgast) geliefert werden und durch die Vorrichtung 104, die Vorrichtung 106 oder auf andere Weise bereitgestellt werden können. Der Teleoperationsdienst 102 kann Informationen empfangen und verwenden, die von der Vorrichtung 104 übertragen werden, wie Signale und Daten, und diese Informationen können als Basis zum Steuern der Vorrichtung 104 unter Verwendung des Bedienersystems 110 verwendet werden. Unter Verwendung der Informationen, die von der Vorrichtung 104 empfangen werden, kann ein menschlicher Bediener die Vorrichtung 104 steuern, indem er Steuereingaben an das Bedienersystem 110 unter Verwendung einer Schnittstellenvorrichtung bereitstellt, die mit dem Bedienersystem 110 assoziiert ist. Der Teleoperationsdienst 102 kann eine große Anzahl (z. B. Tausende) der Bedienersysteme einschließen, von denen das Bedienersystem 110 repräsentativ ist. Der Betrieb des Teleoperationsdienstes 102 wird hierin weiter beschrieben. Operationen und Funktionen, die hierin unter Bezugnahme auf den Teleoperationsdienst 102 beschrieben werden, können durch den Teleoperationsserver 108 durchgeführt werden. In einigen Implementierungen setzt der Teleoperationsserver 108 eine beispielhafte Rechenvorrichtung 1060 ein, die unter Bezugnahme auf 10 unten beschrieben wird.
2 ist ein Blockdiagramm einer Vorrichtung 104, die in einigen Ausführungsformen ein Straßenfahrzeug (z. B. durch Räder und Reifen gestützt) ist, das dazu ausgelegt ist, Fahrgäste und/oder Fracht zu führen. In einigen Beispielen schließt die Vorrichtung 104 ein Sensorsystem 212, ein Aktuatorsystem 214, eine HID-Schnittstelle (HID: Mensch-Schnittstellen-Vorrichtung) 216, ein Navigationssystem 218, ein Kommunikationssystem 220, ein lokales manuelles System 222 (auch als Steuersystem 1 bezeichnet), ein lokales autonomes System 224 (auch als Steuersystem 2 bezeichnet), ein Fernsteuersystem 226 und einen Steuerungsselektor 228 ein. Diese Komponenten sind an einer physischen Struktur der Vorrichtung 104, wie einer Karosserie oder einem Rahmen, angebracht und/oder bilden Teile von diesen und sind elektrisch miteinander verbunden, um die Übertragung von Signalen, Daten, Befehlen usw. zwischen ihnen, entweder über drahtgebundene Verbindungen (z. B. unter Verwendung eines drahtgebundenen Kommunikationsbusses) oder über drahtlose Datenkommunikationskanäle, zu ermöglichen. Andere Komponenten können in der Vorrichtung 104 eingeschlossen sein, einschließlich Chassis, Karosserie, Aufhängung, Aktuator, Leistungssystemkomponenten und dergleichen.
Das Sensorsystem 212 schließt eine oder mehrere Sensorkomponenten ein, die in der Lage sind, Informationen, die die Umgebung rund um die Vorrichtung 104 beschreiben, und/oder Informationen, die Betriebsbedingungen der Vorrichtung 104 beschreiben, zu sammeln. Die Informationen können in Form von Sensorsignalen vorliegen, die interpretiert werden können, um Merkmale der Umgebung und/oder Zustände der Vorrichtung 104 zu verstehen. Die Sensorsignale können zweidimensionale Bilder und/oder dreidimensionale Scans der Umgebung einschließen. Die Informationen können Messungen und Beobachtungen bezüglich der Umgebung einschließen. Diese Informationen können als Umgebungsinformationen bezeichnet werden. Die Sensorsignale können zweidimensionale Bilder und/oder dreidimensionale Scans einer Fahrgastkabine der Vorrichtung 104 einschließen. Die Informationen können Messungen und Beobachtungen bezüglich der Fahrgastkabine der Vorrichtung 104 einschließen. Diese Informationen können als Fahrgastkabineninformationen bezeichnet werden. Die Informationen können Messungen und Beobachtungen bezüglich der Komponenten der Vorrichtung 104 einschließen. Diese Informationen können als Vorrichtungsinformationen bezeichnet werden. Beispielhafte Sensoren in dem Sensorsystem 212 für Informationen schließen Bildgebungsvorrichtungen, wie Standbildkameras im sichtbaren Spektrum oder Infrarotspektrum, Videokameras, Lidar- oder andere Tiefensensoren, Radarsensoren, GPS-Sensoren, inertiale Messeinheiten, Positionssensoren, Winkelsensoren, Geschwindigkeitssensoren, Drehmomentsensoren, Kraftsensoren und dergleichen, ein.
Das Aktuatorsystem 214 schließt eine oder mehrere Aktuatorkomponenten ein, die in der Lage sind, die Bewegung der Vorrichtung 104 zu beeinflussen. Die Aktuatorkomponenten können die Vorrichtung 104 beschleunigen, verlangsamen, lenken oder anderweitig deren Bewegung beeinflussen. Diese Komponenten können Aufhängungsaktuatoren, Lenkaktuatoren, Bremsaktuatoren und Antriebsaktuatoren (z. B. einen oder mehrere Elektromotoren) einschließen.
Das Aktuatorsystem 214 kann durch Befehle gesteuert werden, die von dem lokalen manuellen System 222 in einem manuellen Steuermodus empfangen werden. Als ein Beispiel kann das lokale manuelle System 222 Befehle an das Aktuatorsystem 214 ausgeben, die das Aktuatorsystem 214 veranlassen, die Vorrichtung 104 zu bewegen. Das Aktuatorsystem 214 kann durch Befehle gesteuert werden, die von dem lokalen autonomen System 224 in einem autonomen Steuermodus empfangen werden. Als ein Beispiel kann das lokale autonome System 224 Befehle an das Aktuatorsystem 214 ausgeben, die das Aktuatorsystem 214 veranlassen, die Vorrichtung 104 zu bewegen. Das Aktuatorsystem 214 kann durch Befehle gesteuert werden, die von dem Fernsteuersystem 226 in einem Teleoperationssteuermodus empfangen werden. Als ein Beispiel kann das Fernsteuersystem 226 Befehle an das Aktuatorsystem 214 ausgeben, die das Aktuatorsystem 214 veranlassen, die Vorrichtung 104 zu bewegen.
Die HID-Schnittstelle 216 schließt Komponenten ein, die es einem Benutzer ermöglichen, mit verschiedenen Systemen der Vorrichtung 104 zu interagieren. Die HID-Schnittstelle 216 schließt Eingabevorrichtungen und Ausgabevorrichtungen ein. Beispiele für die HID-Schnittstelle 216 schließen Anzeigebildschirme, berührungsempfindliche Schnittstellen, Gestenschnittstellen, Audioausgabevorrichtungen, Sprachbefehlsschnittstellen, Tasten, Knöpfe, Steuerknüppel, Steuerräder, Pedale und dergleichen ein. Die HID-Schnittstelle 216 kann es dem Benutzer ermöglichen, das Navigationssystem 218 zu steuern, wie durch Spezifizieren eines Ziels für die Vorrichtung 104.
Das Navigationssystem 218 kann Standortbestimmungsfunktionalität, Kartierungsfunktionalität und Routenplanungsfunktionalität einschließen. Als ein Beispiel kann das Navigationssystem 218 einen Satellitenpositionierungssystemempfänger einschließen, um einen aktuellen Standort der Vorrichtung 104 zu bestimmen. Das Navigationssystem 218 ist auch dazu ausgelegt, eine oder mehrere Routen von einem aktuellen Standort zu einem Zielort, einschließlich einer Anzeige von geografischen Bereichen nahe der einen oder der mehreren Routen, zu bestimmen und/oder anzuzeigen.
Das Navigationssystem 218 kann betreibbar sein, um eine Route von dem Benutzer (z. B. Fahrgast) zu empfangen, eine Route von einem externen Routenplanungssystem zu empfangen oder eine Route basierend auf Benutzereingaben zu planen. Als ein Beispiel kann das Navigationssystem einen Routenbestimmungsalgorithmus beliebiger Art verwenden, um eine Route von einem Ursprungsort (z. B. einem aktuellen Standort oder einem benutzerspezifizierten Ort) zu einem Zielort zu bestimmen. Die Route kann lokal durch das Navigationssystem 218 unter Verwendung eines fahrzeuginternen Routenbestimmungsalgorithmus bestimmt werden oder kann entfernt (z. B. durch einen Navigationsroutenbestimmungsserver) bestimmt werden. Die Route kann in einem beliebigen geeigneten Datenformat gespeichert werden, zum Beispiel einer Liste von Kartensegmenten oder Straßensegmenten, die den Ursprungsort mit dem Zielort verbinden.
Das Kommunikationssystem 220 ermöglicht es, Signale, die Daten führen, von der Vorrichtung 104 zu entfernten Systemen zu übertragen und/oder an der Vorrichtung 104 von entfernten Systemen zu empfangen. Ein(e) beliebige(s) geeignete(s) Kommunikationsprotokoll und/oder -technologie kann genutzt werden, um das Kommunikationssystem 220, wie zellulare Protokolle, zu implementieren. Als ein Beispiel ermöglicht das Kommunikationssystem 220 Echtzeitkommunikationen zwischen der Vorrichtung 104 und einem entfernten Ort, um den entfernten Betrieb der Vorrichtung 104 unter Verwendung des Fernsteuersystems 226 zu ermöglichen.
Das lokale manuelle System 222 ist ein manuelles Steuersystem, das sich in der Vorrichtung 104 befindet und es einer Person, die in der Vorrichtung 104 vorhanden ist (z. B. einem Fahrgast), ermöglicht, den Betrieb des Aktuatorsystems 214 durch Bereitstellen von Steuereingaben über die HID-Schnittstelle 216 zu steuern. Das lokale manuelle System 222 kann Eingaben von der Person über die HID-Schnittstelle 216 empfangen, die als Beispiele Gaspedalbefehle (z. B. Antriebsbefehle), Lenkbefehle und Bremsbefehle angeben. Diese Eingaben werden durch das lokale manuelle System 222 interpretiert und zur Steuerung der Komponenten des Aktuatorsystems 214 verwendet.
Das lokale autonome System 224 ist ein autonomes Steuersystem, das sich in der Vorrichtung 104 befindet, dazu ausgelegt ist, Entscheidungen bezüglich der Bewegung der Vorrichtung 104 zu treffen, und dazu ausgelegt ist, den Betrieb des Aktuatorsystems 214 so zu steuern, dass sich die Vorrichtung 104 gemäß diesen Entscheidungen bewegt. Das lokale autonome System 224 führt Wahrnehmungs-, Planungs- und Steuerfunktionen durch. Diese Funktionen können in Hardware-, Firmware- und/oder Softwaresysteme integriert sein. Als ein Beispiel kann das lokale autonome System 224 in Form einer oder mehrerer Rechenvorrichtungen implementiert werden, die mit Steuersoftware versehen sind, die Computerprogrammanweisungen einschließt, die es dem lokalen autonomen System 224 ermöglichen, die vorstehend beschriebenen Funktionen durchzuführen. In einigen Implementierungen setzt das lokale autonome System 224 die beispielhafte Rechenvorrichtung 1060 ein, die unter Bezugnahme auf 10 unten beschrieben wird.
Die Wahrnehmungsfunktionen des lokalen autonomen Systems 224 schließen das Interpretieren der Sensorausgaben von dem Sensorsystem 212 und das Identifizieren von Merkmalen in den Sensorausgaben, die zum Steuern der Vorrichtung 104 verwendbar sind, ein. Die Bewegungsplanungsfunktionen des lokalen autonomen Systems 224 schließen das Bestimmen ein, wie die Vorrichtung 104 bewegt werden soll, um ein Ziel zu erreichen, wie durch Bestimmen einer Trajektorie für die Vorrichtung 104. Die Trajektorie für die Vorrichtung 104 basiert teilweise auf einer durch das Navigationssystem 218 bestimmten Route. Bewegungssteuerungsfunktionen des lokalen autonomen Systems 224 schließen das Anweisen des Aktuatorsystems 214 und/oder anderer Systeme der Vorrichtung 104 gemäß den Entscheidungen, die von den Bewegungsplanungsfunktionen vorgenommen werden, ein, wie durch Steuern des Aktuatorsystems 214 auf eine Weise, die bewirkt, dass die Vorrichtung 104 der durch die Bewegungsplanungsfunktionen bestimmten Trajektorie folgt, um in Richtung eines Ziels zu fahren.
Das Fernsteuersystem 226 ermöglicht es der Vorrichtung 104, durch einen entfernten menschlichen Bediener von einem entfernten Ort relativ zu der Vorrichtung 104 gesteuert zu werden, wie durch die Verwendung des Bedienersystems 110 des Teleoperationsdienstes 102. Das Fernsteuersystem 226 sendet Informationen, die durch das Sensorsystem 212 erhalten werden, unter Verwendung des Kommunikationssystems 220 an den Teleoperationsdienst 102, sodass die Informationen von dem entfernten menschlichen Bediener über das Bedienersystem 110 betrachtet werden können und vom entfernten menschlichen Bediener verwendet werden können, um Steuereingaben unter Verwendung einer HID-Schnittstelle vorzunehmen, die sich am entfernten Ort befindet, wie unter Verwendung einer Eingabevorrichtung, die mit dem Bedienersystem 110 assoziiert ist. Das Fernsteuersystem 226 empfängt Informationen von dem Teleoperationsdienst 102 unter Verwendung des Kommunikationssystems 220. Die Informationen von dem Teleoperationsdienst 102 können Befehle einschließen, die durch das Fernsteuersystem 226 interpretiert und an das Aktuatorsystem 214 weitergeleitet werden, um den Betrieb des Aktuatorsystems 214 gemäß Steuereingaben zu veranlassen, die vom entfernten menschlichen Bediener an dem Bedienersystem 110 vorgenommen werden.
Der Steuerungsselektor 228 ist dazu ausgelegt, zu bestimmen, ob die Vorrichtung 104 in dem manuellen Steuermodus, dem autonomen Steuermodus oder dem Teleoperationsmodus betrieben werden soll. Der Steuerungsselektor 228 kann den Steuermodus als Reaktion auf einen vom Benutzer empfangenen Befehl ändern. Der Steuerungsselektor 228 kann den Steuermodus als Reaktion auf einen Befehl ändern, der von einem anderen System der Vorrichtung 104, wie dem lokalen autonomen System 224, empfangen wird. Der Steuerungsselektor 228 kann den Steuermodus als Reaktion auf einen Befehl ändern, der von einem externen System, wie dem Teleoperationsserver 108 des Teleoperationsdienstes 102, empfangen wird. Der Steuerungsselektor 228 kann den Steuermodus programmatisch als Reaktion auf eine Bestimmung ändern, die durch den Steuerungsselektor 228 unter Verwendung einer Regel, eines Algorithmus oder eines anderen Entscheidungsfindungsframeworks vorgenommen wird.
3 ist ein Blockdiagramm des Betriebs der Vorrichtung 104. Die Vorrichtung 104 bestimmt Steuerbefehle 330, die verwendet werden, um Komponenten der Vorrichtung 104, wie das Aktuatorsystem 214, zu steuern. Als Eingaben kann die Vorrichtung 104 Fahrtparameter 331, Sensorinformationen 332 und eine manuelle Steuereingabe 333 empfangen. Um den Betrieb der Vorrichtung 104 in dem Teleoperationssteuermodus zu ermöglichen, kann die Vorrichtung 104 Informationen an den Teleoperationsdienst 102, einschließlich Vorrichtungssignalen 336, übertragen und Informationen von dem Teleoperationsdienst 102, einschließlich Teleoperationsbefehlen 337, empfangen.
Die Steuerbefehle 330 können unter Verwendung des lokalen manuellen Systems 222 im manuellen Steuermodus basierend auf Steuereingaben von einem Benutzer, der sich in der Vorrichtung 104 befindet, bestimmt werden, die Steuerbefehle 330 können unter Verwendung des lokalen autonomen Systems 224 im autonomen Steuermodus bestimmt werden, um zu einem Zielort zu fahren, der durch den Benutzer oder durch ein anderes System ausgewählt wird, oder die Steuerbefehle 330 können unter Verwendung des Fernsteuersystems 226 in dem Teleoperationssteuermodus basierend auf Steuereingaben von einem Bediener an einem entfernten Ort, zum Beispiel durch Verwendung des Bedienersystems 110 des Teleoperationsdienstes 102, bestimmt werden. Der Steuerungsselektor 228 der Vorrichtung 104 ist für das Auswählen der Quelle der Steuerbefehle verantwortlich, und die Steuerbefehle 330 werden von der ausgewählten Quelle zu den gesteuerten Systemen, wie dem Aktuatorsystem 214, geleitet.
Die Fahrtparameter 331 beschreiben eine Fahrt, die eine geplante Fahrt sein kann, die in der Zukunft stattfinden soll, oder eine aktuelle Fahrt sein kann, die die Vorrichtung 104 gegenwärtig durchführt. Die Fahrtparameter können einen Startort und einen Zielort einschließen. Der Startort gibt einen erwarteten Ort der Vorrichtung 104 zu Beginn der Fahrt an. Der Zielort gibt einen erwarteten Ort der Vorrichtung 104 am Ende der Fahrt an oder kann einen Mittelpunktsort im Fall einer Rundfahrt angeben. Der Startort und der Zielort sind geografische Orte, die in einer beliebigen herkömmlichen Form angegeben werden können, wie durch Ortsnamen, Adressen oder raumbezogene Koordinaten. Die Fahrtparameter 331 können auch Informationen einschließen, die geplante Stopps für die geplante Fahrt zwischen dem Startort und dem Zielort beschreiben. Die Fahrtparameter 331 schließen auch einen Zeitraum ein, während dem eine zukünftige Fahrt stattfindet, einschließlich Startzeiten und Endzeiten. Die Fahrtparameter 331 können eine geplante Fahrtroute einschließen, die eine Fahrt zwischen dem Startort und dem Zielort einschließt. In einigen Implementierungen wird die geplante Fahrtroute nicht vom Benutzer bereitgestellt und wird stattdessen gemäß dem Startort, dem Zielort und/oder anderen Informationen bestimmt. Die geplante Route kann durch das Navigationssystem 218, durch eine Komponente des Teleoperationsdienstes 102 oder durch ein anderes System oder einen anderen Dienst bestimmt werden.
Die Sensorinformationen 332 schließen Signale und/oder Daten ein, die von Sensorvorrichtungen erhalten werden, die in dem Sensorsystem 212 eingeschlossen sind. Die Sensorinformationen 332 können dem Benutzer zum Beispiel als Basis für die manuelle Steuerung unter Verwendung des lokalen manuellen Systems 222 präsentiert werden. Die Sensorinformationen 332 können durch das lokale autonome System 224 als Basis für die autonome Steuerung interpretiert und verwendet werden. Die Sensorinformationen 332 können auch als Teil der Vorrichtungssignale 336 an den Teleoperationsdienst 102 weitergeleitet und/oder als Basis zum Bestimmen eines Teils der Vorrichtungssignale 336 entweder allein oder in Kombination mit anderen Informationen verwendet werden.
Bei der manuellen Steuereingabe 333 handelt es sich um Informationen, die eine Eingabe repräsentieren, die vom Benutzer zum Betreiben der Vorrichtung 104 vorgenommen wird. Die manuelle Steuereingabe 333 kann von der HID-Schnittstelle 216 der Vorrichtung 104 oder von einer anderen Eingabevorrichtung, die mit der Vorrichtung 104 assoziiert ist, erhalten werden. Die manuelle Steuereingabe 333 kann durch das lokale manuelle System 222 zum Bestimmen der Steuerbefehle 330 verwendet werden.
Die Vorrichtungssignale 336 werden an den Teleoperationsdienst 102 übertragen, um die Steuerung der Vorrichtung 104 durch den Teleoperationsdienst 102 unter Verwendung des Fernsteuersystems 226 in dem Teleoperationssteuermodus zu ermöglichen. In den Vorrichtungssignalen 336, die an den Teleoperationsdienst 102 übertragen werden, können Rohinformationen oder interpretierte Informationen aus den Sensorinformationen 332, die unter Verwendung beliebiger Sensoren von dem Sensorsystem 212 oder anderweitig erhalten werden, eingeschlossen sein. Als ein Beispiel können die Vorrichtungssignale 336 einen Videostrom (z. B. eine Reihe von Bildern) einschließen, der zum Anzeigen unter Verwendung des Bedienersystems 110 an den Teleoperationsdienst 102 übertragen wird, sodass der Bediener des Bedienersystems 110 die Umgebung rund um die Vorrichtung 104 sehen kann. Als ein weiteres Beispiel kann eine Punktwolke, die unter Verwendung dreidimensionaler Sensoren (z. B. Lidar-Sensoren) bestimmt wird, an den Teleoperationsdienst 102 übertragen werden, um durch das Bedienersystem 110 interpretiert und/oder angezeigt zu werden. Als ein weiteres Beispiel können die Vorrichtungssignale 336 Umgebungsinformationen einschließen, die unter Verwendung der Sensorinformationen 332 bestimmt werden, wie Orte und Identitäten von Objekten, die nahe der Vorrichtung 104 liegen, die unter Verwendung einer Objektdetektionsfunktion der Vorrichtung 104 bestimmt werden können. Als ein weiteres Beispiel können die Vorrichtungssignale 336 Informationen einschließen, die durch das lokale autonome System 224 der Vorrichtung 104 bestimmt werden, wie einen Bewegungsplan oder vorgeschlagene Befehlssignale, die durch das lokale autonome System 224 bestimmt werden. Diese Informationen können dann durch den menschlichen Bediener an dem Bedienersystem 110 des Teleoperationsdienstes 102 zur Verwendung bei der entfernten manuellen Steuerung und zur Verwendung bei der Bewertung der Fähigkeit des lokalen autonomen Systems 224, die Steuerung der Vorrichtung 104 im autonomen Steuermodus fortzusetzen, überprüft werden.
Bei den Teleoperationsbefehlen 337 handelt es sich um Informationen, die eine Eingabe repräsentieren, die durch den Bediener des Bedienersystems 110 des Teleoperationsdienstes 102 vorgenommen wird, um die Vorrichtung 104 entfernt unter Verwendung des Fernsteuersystems 226 in dem Teleoperationssteuermodus der Vorrichtung 104 zu betreiben. Die Teleoperationsbefehle 337 können von einer Schnittstellenvorrichtung erhalten werden, die mit dem Bedienersystem 110 assoziiert ist. Die Teleoperationsbefehle 337 werden von dem Teleoperationsdienst 102 an die Vorrichtung 104 übertragen, zum Beispiel unter Verwendung einer drahtlosen Datenverbindung (z. B. einer zellularen Datenverbindung). Die Teleoperationsbefehle 337 können durch das Fernsteuersystem 226 der Vorrichtung 104 zum Bestimmen der Steuerbefehle 330 verwendet werden.
Die Echtzeit-Disengagement-Likelihood-Metrik 338 wird durch die Vorrichtung 104 während der Fahrt basierend auf Informationen bestimmt, die der Vorrichtung 104 zur Verfügung stehen, einschließlich Echtzeitinformationen über die Umgebung rund um die Vorrichtung 104 und Betriebsbedingungen der Vorrichtung 104. Die Echtzeit-Disengagement-Likelihood-Metrik 338 kann durch den Steuerungsselektor 228 bestimmt werden, um eine Änderung des aktuellen Steuermodus von dem autonomen Steuermodus in den manuellen Steuermodus oder den Teleoperationssteuermodus zu initiieren, bevor das lokale autonome System 224 nicht mehr in der Lage ist, die autonome Steuerung der Vorrichtung 104 fortzusetzen und den autonomen Steuermodus einem Disengagement unterzieht. In einigen Situationen kann der Steuerungsselektor 228 die Echtzeit-Disengagement-Likelihood-Metrik 338 verwenden, um einen Übergang von dem autonomen Steuermodus in den manuellen Steuermodus anzuweisen, um einen Übergang vom autonomen Steuermodus in den Teleoperationssteuermodus anzuweisen oder um das lokale autonome System 224 anzuweisen, die Vorrichtung 104 an einem sicheren Ort zu stoppen, bis die Fahrt sicher in einem der Steuermodi fortgesetzt werden kann.
4 ist ein Blockdiagramm des Betriebs des Teleoperationsdienstes 102. Eingaben, die dem Teleoperationsdienst 102 bereitgestellt werden, können die Fahrtparameter 331 von der Vorrichtung 104 und die Vorrichtungssignale 336 von der Vorrichtung 104 einschließen. Die Teleoperationsbefehle 337 werden durch den Teleoperationsdienst 102 bestimmt und für den Betrieb der Vorrichtung 104 in dem Teleoperationssteuermodus an die Vorrichtung 104 übertragen. Der Teleoperationsdienst 102 ist dazu ausgelegt, Disengagement-Vorhersageinformationen 440 und Teleoperationsdienstinformationen 441 zu bestimmen. Die Vorrichtung 104 kann gespeicherte Informationen 442 einschließen, die von vielen Vorrichtungen mit Zustimmung von den jeweiligen Benutzern gesammelt und verwendet werden, um die Disengagement-Vorhersageinformationen 440 und/oder die Teleoperationsdienstinformationen 441 zu bestimmen. Die Disengagement-Vorhersageinformationen 440 können durch den Teleoperationsdienst 102 vor einer Fahrt als Basis zum Bestimmen der Teleoperationsdienstinformationen 441 bestimmt werden und drücken eine Likelihood für ein Disengagement-Ereignis während einer zukünftigen Fahrt der Vorrichtung 104, wie der durch die Fahrtparameter 331 beschriebenen Fahrt, aus. Die Teleoperationsdienstinformationen 441 schließen Informationen ein, die einen Dienst beschreiben, der der Vorrichtung 104 durch den Teleoperationsdienst 102 bereitgestellt werden kann, um die Vorrichtung 104 in dem Teleoperationssteuermodus zu steuern, wenn der autonome Steuermodus nicht mehr verfügbar ist. Die Teleoperationsdienstinformationen 441 können einen Preis für den Teleoperationsdienst während einer spezifischen geplanten Fahrt einschließen, die durch eine Zeit für die geplante Fahrt (z. B. einen Datumsbereich, eine Startzeit und/oder eine Endzeit), Start- und Endorte für die geplante Fahrt und/oder eine Route für die geplante Fahrt definiert ist.
5 veranschaulicht einen beispielhaften Prozess 550 zur Bestimmung der Disengagement-Vorhersageinformationen 440. Der Prozess 550 schließt Operationen ein, die durch ein computerimplementiertes System, wie den Teleoperationsdienst 102 und/oder die Vorrichtung 104, durchgeführt werden können. In einigen Implementierungen weist das computerimplementierte System, das den Prozess 550 durchführt, einen Speicher, der Computerprogrammanweisungen enthält, und einen oder mehrere Prozessoren, die dazu ausgelegt sind, die Computerprogrammanweisungen auszuführen, um den einen oder die mehreren Prozessoren dazu zu veranlassen, die Operationen des Prozesses 550 durchzuführen, auf. Der Prozess 550 kann beliebige der hierin beschriebenen Merkmale einschließen, einschließlich der Eingaben, Ausgaben und Modelle, die unter Bezugnahme auf 3-4 beschrieben werden.
Die Disengagement-Vorhersageinformationen 440 drücken eine Likelihood für ein Disengagement-Ereignis während einer zukünftigen Fahrt der Vorrichtung 104 aus. Ein Disengagement-Ereignis repräsentiert ein Ereignis, bei dem das lokale autonome System 224 der Vorrichtung 104 einem Disengagement unterliegt, sodass es keine Steuerung mehr über die Vorrichtung 104 im autonomen Steuermodus ausübt. Die beim Bestimmen der Disengagement-Vorhersageinformationen 440 verwendeten Informationen können spezifisch für eine Route oder einen Abschnitt einer Route sein. Die Informationen, die beim Bestimmen der Disengagement-Vorhersageinformationen 440 verwendet werden, können die gespeicherten Informationen 442 von dem Teleoperationsdienst 102 einschließen, wie historische Informationen von Disengagements durch andere Vorrichtungen (z. B. Fahrzeuge), egal ob in den gleichen geografischen Bereichen, wie sie in der Route enthalten sind, unter Bedingungen (z. B. Wetter) ähnlich denen, die für die zukünftige Fahrt erwartet werden, oder anderes.
Operation 551 schließt das Erhalten von Informationen zur Verwendung beim Vorhersagen einer Likelihood eines Disengagements des lokalen autonomen Systems 224 der Vorrichtung 104 während einer zukünftigen Fahrt oder eines Abschnitts einer zukünftigen Fahrt ein. Als Beispiele können die in Operation 551 erhaltenen Informationen Informationen von der Vorrichtung 104, wie die Fahrtparameter 331, einschließen und können die gespeicherten Informationen 442 von dem Teleoperationsdienst 102 einschließen.
Einige der in Operation 551 erhaltenen Informationen können unabhängig von den Orten und Routen, die während der Fahrt befahren werden, sein. Als ein Beispiel können Informationen, die Disengagement-Ereignisse beschreiben, die von der Vorrichtung 104 oder ähnlichen Vorrichtungen unter spezifischen Bedingungen erfahren werden (z. B. in Form von aggregierten Statistiken), in Operation 551 zum Beispiel aus den gespeicherten Informationen 442 des Teleoperationsdienstes 102 erhalten werden. Dies kann Statistiken einschließen, die eine Likelihood des Disengagements unter spezifischen Arten von Wetterbedingungen oder eine Likelihood des Disengagements zu spezifischen Tageszeiten beschreiben. Einige der in Operation 551 erhaltenen Informationen können basierend auf dem Startort für die Fahrt, dem Zielort für die Fahrt und/oder der geplanten Route, die während der Fahrt verwendet wird, erhalten werden. Als ein Beispiel können die gespeicherten Informationen 442 von dem Teleoperationsdienst 102 eine Abdeckungskarte der autonomen Steuerung einschließen, die Orte identifiziert, von denen bekannt ist, dass die autonome Steuerung dort nicht verfügbar ist. Als ein weiteres Beispiel können die Informationen für Abschnitte der Route, die während der Fahrt zu nehmen sind, historische Fahrtinformationen aus den gespeicherten Informationen 442, die Disengagement-Ereignisse während früherer Fahrten durch andere Vorrichtungen beschreiben, einschließen. Als ein weiteres Beispiel können die Informationen erwartete Bedingungen entlang der geplanten Route während der Fahrt einschließen, wie erwartete Wetterbedingungen, erwartete Verkehrsbedingungen und/oder spezielle Ereignisse, die Verkehrssteuermuster ändern können.
Operation 552 schließt das Bestimmen der Disengagement-Vorhersageinformationen 440 ein. Die Disengagement-Vorhersageinformationen 440 werden unter Verwendung der in Operation 551 erhaltenen Informationen bestimmt. Die Disengagement-Vorhersageinformationen 440 können eine einzelne Vorhersage für die Fahrt einschließen oder können mehrere Vorhersagen, die jeweils eine Likelihood eines Disengagements während eines Abschnitts der Fahrt ausdrücken, einschließen. Basierend auf der Likelihood des Disengagements und den Längen der Abschnitte der Fahrt, in denen solche Likelihoods bestehen, kann eine geschätzte Gesamtzeit oder -entfernung, über die der autonome Steuermodus nicht verfügbar ist, bestimmt und in den Disengagement-Vorhersageinformationen 440 eingeschlossen werden. Als ein Beispiel können die Disengagement-Vorhersageinformationen 440 unter Verwendung eines statistischen Modells, das eine Wahrscheinlichkeit des Disengagements des autonomen Steuermodus während der Fahrt bestimmt, bestimmt werden. Als ein weiteres Beispiel können mehrere Iterationen von simulierten Fahrten unter Verwendung eines computerimplementierten Simulationsmodells durchgeführt werden, um eine Wahrscheinlichkeit des Disengagements des autonomen Steuermodus während der Fahrt zu bestimmen. Als ein weiteres Beispiel kann ein trainiertes neuronales Netzwerk dazu ausgelegt sein, eine Wahrscheinlichkeit des Disengagements des autonomen Steuermodus während der Fahrt basierend auf den in Operation 551 erhaltenen Informationen zu bestimmen.
6 veranschaulicht einen beispielhaften Prozess 650 zur Bestimmung der Echtzeit-Disengagement-Likelihood-Metrik 338. Der Prozess 650 schließt Operationen ein, die durch ein computerimplementiertes System durchgeführt werden können, wie den Teleoperationsdienst 102 und/oder die Vorrichtung 104. In einigen Implementierungen weist das computerimplementierte System, das den Prozess 650 durchführt, einen Speicher, der Computerprogrammanweisungen enthält, und einen oder mehrere Prozessoren, die dazu ausgelegt sind, die Computerprogrammanweisungen auszuführen, um den einen oder die mehreren Prozessoren dazu zu veranlassen, die Operationen des Prozesses 650 durchzuführen, auf. Der Prozess 650 kann beliebige der hierin beschriebenen Merkmale einschließen, einschließlich der Eingaben, Ausgaben und Modelle, die unter Bezugnahme auf 3-4 beschrieben werden.
Die Echtzeit-Disengagement-Likelihood-Metrik 338 beschreibt eine Likelihood eines Disengagement-Ereignisses in der unmittelbaren Zukunft während einer Fahrt durch die Vorrichtung 104. Zusätzlich zur Verwendung derselben Informationen, die verwendet werden, um die Disengagement-Vorhersageinformationen 440 zu bestimmen, wie in dem Prozess 650 beschrieben, kann die Echtzeit-Disengagement-Likelihood-Metrik 338 ferner auf aktuellen Bedingungen basieren, die von der Vorrichtung 104 erfahren werden.
Operation 651 schließt das Erhalten von Informationen zur Verwendung beim Bestimmen der Echtzeit-Disengagement-Likelihood-Metrik 338 ein. Zusätzlich zu den in Operation 651 beschriebenen Informationen können Sensorinformationen 332 von dem Sensorsystem 212 erhalten werden, die zum Beispiel Echtzeitbedingungen rund um die Vorrichtung 104, wie Wetterbedingungen, Objekte in der Nähe der Vorrichtung 104 und beeinträchtigte Bedingungen von Sensoren von dem Sensorsystem 212, wie schmutzige oder beschlagene Kameralinsen, zeigen.
Operation 652 schließt das Bestimmen der Echtzeit-Disengagement-Likelihood-Metrik 338 ein. Die Echtzeit-Disengagement-Likelihood-Metrik 338 kann basierend auf Sensorinformationen, die von dem Sensorsystem 212 der Vorrichtung 104 empfangen werden, bestimmt werden. Die Echtzeit-Disengagement-Likelihood-Metrik 338 kann basierend auf Informationen bestimmt werden, die Disengagement-Ereignisse beschreiben, die von anderen Vorrichtungen erfahren werden, wie in Bezug auf den Prozess 550 beschrieben. Die Echtzeit-Disengagement-Likelihood-Metrik 338 kann basierend auf Wetterbedingungen in einer Umgebung rund um die Vorrichtung 104 bestimmt werden. Die Echtzeit-Disengagement-Likelihood-Metrik 338 kann als eine Wahrscheinlichkeit ausgedrückt werden, dass das lokale autonome System 224 der Vorrichtung 104 den autonomen Steuermodus in der unmittelbaren Zukunft einem Disengagement unterzieht, wie innerhalb eines vorbestimmten Zeitraums oder einer vorbestimmten Fahrentfernung nach der Bestimmung der Echtzeit-Disengagement-Likelihood-Metrik 338. Wie in Bezug auf Operation 552 des Prozesses 550 beschrieben, kann die Echtzeit-Disengagement-Likelihood-Metrik 338 durch statistische Methoden, durch ein Simulationsmodell, durch ein trainiertes neuronales Netzwerk und dergleichen bestimmt werden.
7 veranschaulicht einen beispielhaften Prozess 750 zum Bereitstellen eines Teleoperationsdienstes. Der Prozess 750 schließt Operationen ein, die durch ein computerimplementiertes System, wie den Teleoperationsdienst 102 und/oder die Vorrichtung 104, durchgeführt werden können. In einigen Implementierungen weist das computerimplementierte System, das den Prozess 750 durchführt, einen Speicher, der Computerprogrammanweisungen enthält, und einen oder mehrere Prozessoren, die dazu ausgelegt sind, die Computerprogrammanweisungen auszuführen, um den einen oder die mehreren Prozessoren dazu zu veranlassen, die Operationen des Prozesses 750 durchzuführen, auf. Der Prozess 750 kann beliebige der hierin beschriebenen Merkmale einschließen, einschließlich der Eingaben, Ausgaben und Modelle, die unter Bezugnahme auf 3-4 beschrieben werden.
Operation 751 schließt das Empfangen von Informationen ein, die eine Fahrt beschreiben, die von der Vorrichtung 104 von einem Startort zu einem Zielort vorgenommen werden soll. Die Informationen können in der in Bezug auf die Fahrtparameter 331 beschriebenen Form vorliegen. Operation 752 schließt das Bestimmen von Disengagement-Vorhersageinformationen 440 ein, die eine Likelihood beschreiben, dass ein autonomes Steuersystem nicht in der Lage sein wird, die Vorrichtung 104 in einem autonomen Steuermodus während eines oder mehrerer Abschnitte der Fahrt zu steuern. Operation 752 kann auf die in Bezug auf den Prozess 550 beschriebene Weise zur Bestimmung der Disengagement-Vorhersageinformationen 440 und unter Verwendung der in Operation 751 erhaltenen Informationen implementiert werden.
Operation 753 schließt das Bestimmen der Teleoperationsdienstinformationen 441 ein. Basierend auf den Disengagement-Vorhersageinformationen 440 von Operation 752 analysiert der Teleoperationsdienst 102 die Likelihood eines Disengagements des lokalen autonomen Systems 224 während der Fahrt und/oder eine geschätzte Dauer, während der der autonome Steuermodus während der Fahrt nicht verfügbar ist. Diese Informationen sind in den Teleoperationsdienstinformationen 441 eingeschlossen, und ein Preis, zu dem der Teleoperationsdienst 102 während der Fahrt Teleoperationsdienste an die Vorrichtung 104 bereitstellt, ist ebenfalls in den Teleoperationsdienstinformationen 441 eingeschlossen. Der Preis kann basierend auf der Likelihood des Disengagements des lokalen autonomen Systems 224 für Abschnitte der Fahrt oder die gesamte Fahrt und/oder die geschätzten Zeiten oder Entfernungen, über die der autonome Steuermodus der Vorrichtung 104 nicht verfügbar ist, bestimmt werden.
Operation 754 schließt das Präsentieren der Teleoperationsdienstinformationen 441 an einen Benutzer basierend auf den Disengagement-Vorhersageinformationen 440 ein. Die Teleoperationsdienstinformationen 441 können Teleoperationsdienstkosten für die Fahrt einschließen, können ein Angebot eines Teleoperationsdienstes an den Benutzer für die Fahrt einschließen und können den Benutzer auffordern, eine Annahme oder Ablehnung des Angebots anzugeben. Eine Benutzereingabe, die die Annahme des Angebots des Teleoperationsdienstes durch den Benutzer angibt, schließt eine Einwilligung durch den Benutzer ein, die Teleoperationsdienstkosten zu bezahlen, die dem Benutzer als Teil der Teleoperationsdienstinformationen 441 präsentiert werden. Die Teleoperationsdienstinformationen 441 können dem Benutzer unter Verwendung der HID-Schnittstelle 216 der Vorrichtung 104, unter Verwendung einer Schnittstelle, die mit der Vorrichtung 106 assoziiert ist, oder unter Verwendung einer anderen Vorrichtung präsentiert werden.
Als Reaktion auf die Präsentation der Teleoperationsdienstinformationen 441 an den Benutzer in Operation 754 kann der Benutzer angeben, dass er das Angebot des Teleoperationsdienstes ablehnt oder annimmt. Diese Angabe kann mit einer Benutzerschnittstelle, wie der HID-Schnittstelle 216 der Vorrichtung 104 oder einer Schnittstelle der Vorrichtung 106, erfolgen. Somit kann der Benutzer zum Beispiel ein Angebot des Teleoperationsdienstes basierend auf den Teleoperationsdienstinformationen 441 annehmen, indem er eine Eingabe, die die Annahme des Angebots des Teleoperationsdienstes angibt, unter Verwendung der HID-Schnittstelle 216 der Vorrichtung 104 oder der Schnittstelle der Vorrichtung 106 vornimmt. Wenn das Angebot abgelehnt wird, kann der Prozess 750 enden, und dem Benutzer werden während der Fahrt keine Teleoperationsdienste bereitgestellt, sofern keine alternativen Vereinbarungen getroffen werden. Wenn das Angebot angenommen wird, kann der Prozess 750 gemäß der Eingabe, die die Annahme des Angebots des Teleoperationsdienstes durch den Benutzer angibt, zu Operation 755 übergehen. Somit können Operationen 755 und 756 gemäß einer Eingabe, die die Annahme des Angebots des Teleoperationsdienstes durch den Benutzer angibt, durchgeführt werden oder weggelassen werden, wenn die Eingabe eine Ablehnung des Angebots angibt.
Operation 755 schließt das autonome Navigieren in Richtung des Zielorts ein, während der Betrieb des lokalen autonomen Systems 224 überwacht wird. Das Überwachen des lokalen autonomen Systems 224 schließt das Bestimmen, ob ein Disengagement des lokalen autonomen Systems 224 vorhergesagt wird, und das Bestimmen, ob ein tatsächliches Disengagement des lokalen autonomen Systems 224 erfolgt ist, ein. Ein vorhergesagtes Disengagement des lokalen autonomen Systems 224 bedeutet, dass bestimmt wurde, dass das lokale autonome System 224 in der nahen Zukunft einem Disengagement unterliegen kann (z. B. ein bevorstehendes vorhergesagtes Disengagement), wie innerhalb einer vorbestimmten Zeit oder Fahrentfernung nach der Vorhersage. Ein tatsächliches Disengagement des lokalen autonomen Systems 224 bedeutet, dass das lokale autonome System 224 die Vorrichtung 104 nicht mehr steuert. Ein vorhergesagtes Disengagement kann basierend auf der Echtzeit-Disengagement-Likelihood-Metrik 338 bestimmt werden. Zum Beispiel kann das vorhergesagte Disengagement bestimmt werden, wenn die Echtzeit-Disengagement-Likelihood-Metrik 338 für das lokale autonome System 224 einen Schwellenwert überschreitet. Die Echtzeit-Disengagement-Likelihood-Metrik 338 kann auf die in Bezug auf den Prozess 650 beschriebene Weise bestimmt werden.
Operation 756 schließt das Überführen der Vorrichtung 104 von dem autonomen Steuermodus in einen Teleoperationssteuermodus als Reaktion auf ein vorhergesagtes Disengagement oder ein tatsächliches Disengagement des autonomen Steuermodus während der Fahrt ein. Nach dem Überführen der Vorrichtung 104 in den Teleoperationssteuermodus wird die Vorrichtung 104 von einem entfernten Bediener unter Verwendung des Bedienersystems 110 des Teleoperationsdienstes 102 betrieben, um Steuereingaben bereitzustellen, die an die Vorrichtung 104 übertragen und als Basis zum Bestimmen der Steuerbefehle 330, die den Betrieb des Aktuatorsystems 214 der Vorrichtung 104 bewirken, verwendet werden.
8 veranschaulicht einen beispielhaften Prozess 850 zum Übergehen zwischen Steuermodi. Der Prozess 850 schließt Operationen ein, die durch ein computerimplementiertes System, wie den Teleoperationsdienst 102 und/oder die Vorrichtung 104, durchgeführt werden können. In einigen Implementierungen weist das computerimplementierte System, das den Prozess 850 durchführt, einen Speicher, der Computerprogrammanweisungen enthält, und einen oder mehrere Prozessoren, die dazu ausgelegt sind, die Computerprogrammanweisungen auszuführen, um den einen oder die mehreren Prozessoren dazu zu veranlassen, die Operationen des Prozesses 850 durchzuführen, auf. Der Prozess 850 kann beliebige der hierin beschriebenen Merkmale einschließen, einschließlich der Eingaben, Ausgaben und Modelle, die unter Bezugnahme auf 3-4 beschrieben werden.
Operation 851 schließt das autonome Navigieren in Richtung eines Zielorts ein, während der Betrieb des lokalen autonomen Systems 224 in dem autonomen Steuermodus der Vorrichtung 104 überwacht wird, um zu bestimmen, ob ein tatsächliches Disengagement des lokalen autonomen Systems 224 erfolgt ist oder ein vorhergesagtes Disengagement des lokalen autonomen Systems 224 bestimmt wurde. Operation 851 kann das Überwachen der Echtzeit-Disengagement-Likelihood-Metrik 338 einschließen, die auf die in Bezug auf den Prozess 650 beschriebene Weise bestimmt werden kann.
Operation 852 schließt das Bestimmen eines vorhergesagten Disengagements des autonomen Steuermodus der Vorrichtung 104 ein. Operation 852 kann das Bestimmen einschließen, dass die Echtzeit-Disengagement-Likelihood-Metrik 338 einen Schwellenwert (z. B. einen ersten Schwellenwert) überschritten hat, was angibt, dass das Disengagement des lokalen autonomen Systems 224 in der nahen Zukunft erfolgen kann, sodass die Vorrichtung 104 nicht mehr in dem autonomen Steuermodus betrieben wird.
Operation 853 schließt das Ausgeben einer Benachrichtigung an einen Benutzer ein, die das Überführen der Vorrichtung 104 vom autonomen Steuermodus in den manuellen Steuermodus anfordert. Der Benutzer kann auf die Benachrichtigung reagieren, indem er die Kontrolle der Vorrichtung 104 übernimmt, zum Beispiel durch Bereitstellen manueller Befehlseingaben unter Verwendung der HID-Schnittstelle 216 der Vorrichtung 104, wobei in diesem Fall die Vorrichtung 104 in den manuellen Steuermodus übergeht.
Das Ausgeben der Benachrichtigung an den Benutzer, die das Überführen der Vorrichtung 104 vom autonomen Steuermodus in den manuellen Steuermodus anfordert, kann mindestens eines von Emittieren eines Tons, Emittieren einer visuellen Anzeige oder Emittieren einer haptischen Angabe einschließen. Das Ausgeben der Benachrichtigung an den Benutzer, die das Überführen der Vorrichtung 104 vom autonomen Steuermodus in den manuellen Steuermodus anfordert, kann das Ausgeben der Benachrichtigung unter Verwendung einer Komponente einschließen, die mit der HID-Schnittstelle 216 der Vorrichtung 104 assoziiert ist, wie durch Ändern eines Beleuchtungszustands in der Fahrgastkabine, Wiedergeben eines Tons in der Fahrgastkabine, Anzeigen einer Nachricht auf Anzeigebildschirmen in der Fahrgastkabine oder Bewirken einer Vibration eines Sitzes, auf dem der Benutzer sitzt. Das Ausgeben der Benachrichtigung an den Benutzer, die das Überführen der Vorrichtung 104 vom autonomen Steuermodus in den manuellen Steuermodus anfordert, kann das Übertragen eines Befehls einschließen, der bewirkt, dass die Benachrichtigung durch eine Vorrichtung, die vom Benutzer getragen wird, wie die Vorrichtung 106, ausgegeben wird. Zum Beispiel kann eine haptische Benachrichtigung von der Vorrichtung 106 ausgegeben werden, während sie im Besitz des Benutzers ist, wie, wenn sich die Vorrichtung 106 in der Tasche des Benutzers befindet.
In Operation 854, wenn die Vorrichtung 104 in den manuellen Steuermodus übergegangen ist, geht der Prozess zu Operation 855 über, bei dem die Vorrichtung 104 in dem manuellen Steuermodus betrieben wird, und der Prozess 850 endet. Wenn die Vorrichtung noch nicht in den manuellen Steuermodus übergegangen ist, geht der Prozess zu Operation 856 über.
In Operation 856 wird bestimmt, ob eine Schwellenbedingung erfüllt wurde. Wenn die Operation 856 ausgeführt wird, befindet sich die Vorrichtung 104 im autonomen Steuermodus, und der Benutzer hat keine manuelle Steuerung übernommen. Die Schwellenbedingung von Operation 856 wird verwendet, um in dem Fall, dass der Benutzer nicht auf die Benachrichtigung reagiert hat, zu beurteilen, ob die Vorrichtung 104 in den Teleoperationssteuermodus übergehen sollte. Wenn die Schwellenbedingung nicht erfüllt ist, kehrt der Prozess zu Operation 854 zurück, und zusätzliche Iterationen von Operation 854 und Operation 856 können durchgeführt werden.
Das Bestimmen, dass die Schwellenbedingung von Operation 856 ohne Überführung der Vorrichtung 104 in den manuellen Steuermodus erfüllt wurde, kann das Bestimmen einschließen, dass ein vorbestimmter Zeitraum abgelaufen ist. Das Bestimmen, dass die Schwellenbedingung von Operation 856 ohne Überführung der Vorrichtung 104 in den manuellen Steuermodus erfüllt wurde, kann das Bestimmen einschließen, dass eine Echtzeit-Disengagement-Likelihood-Metrik 338 einen Schwellenwert (z. B. einen zweiten Schwellenwert, der höher als der erste Schwellenwert ist) überschreitet. Das Bestimmen, dass die Schwellenbedingung ohne Überführung der Vorrichtung 104 in den manuellen Steuermodus erfüllt wurde, kann das Bestimmen, basierend auf Sensorinformationen von Sensoren, die sich in einer Fahrgastkabine der Vorrichtung 104 befinden und dazu ausgelegt sind, die Fahrgastkabine der Vorrichtung 104 zu beobachten, einschließen, dass der Benutzer nicht reagiert. Als ein Beispiel kann ein Sitzsensor angeben, dass ein Sitz belegt ist, und basierend auf Eingaben von dem Sitzsensor, die ein geringes Benutzerbewegungsniveau zeigen, durch Analyse von Videobildern, die ein geringes Benutzerbewegungsniveau zeigen, oder durch Bildklassifizierungstechniken, die basierend auf den Videobildern bestimmen, dass der Benutzer schläft, kann bestimmt werden, dass der Benutzer nicht reagiert.
In Operation 857 wird gemäß der Bestimmung in Operation 856, dass die Schwellenbedingung ohne Überführung der Vorrichtung 104 in den manuellen Steuermodus erfüllt wurde, der Betrieb der Vorrichtung 104 in den Teleoperationssteuermodus übergeführt.
Wenn der Übergang in den Teleoperationssteuermodus nicht möglich ist (z. B. innerhalb eines vorbestimmten Zeitraums), kann das lokale autonome System 224 versuchen, die Vorrichtung 104 an einem sicheren Ort zu stoppen, bis der Betrieb in einem des autonomen Steuermodus, des manuellen Steuermodus oder des Teleoperationssteuermodus fortgesetzt werden kann. In einigen Situationen werden Versuche, in den manuellen Steuermodus und/oder den Teleoperationssteuermodus überzugehen, übersprungen, anstatt die Vorrichtung 104 an einem sicheren Ort zu stoppen. In einigen Situationen kann die Reihenfolge der Operationen geändert werden, sodass der Übergang vom autonomen Steuermodus in den Teleoperationssteuermodus versucht wird, bevor versucht wird, in den manuellen Steuermodus überzugehen. In einigen Situationen kann die Vorrichtung vor dem Versuch, vom autonomen Steuermodus in den manuellen Steuermodus oder den Teleoperationssteuermodus überzugehen, an einem sicheren Ort unter autonomer Steuerung gestoppt werden.
9 veranschaulicht einen beispielhaften Prozess 950 zur Initiierung eines Teleoperationsdienstes. Der Prozess 950 schließt Operationen ein, die durch ein computerimplementiertes System, wie den Teleoperationsdienst 102 und/oder die Vorrichtung 104, durchgeführt werden können. In einigen Implementierungen weist das computerimplementierte System, das den Prozess 950 durchführt, einen Speicher, der Computerprogrammanweisungen enthält, und einen oder mehrere Prozessoren, die dazu ausgelegt sind, die Computerprogrammanweisungen auszuführen, um den einen oder die mehreren Prozessoren dazu zu veranlassen, die Operationen des Prozesses 950 durchzuführen, auf. Der Prozess 950 kann beliebige der hierin beschriebenen Merkmale einschließen, einschließlich der Eingaben, Ausgaben und Modelle, die unter Bezugnahme auf 3-4 beschrieben werden.
Operation 951 schließt das Empfangen von Anforderungen zur Initiierung des Teleoperationsdienstes ein, die an einen Teleoperationsdienst von mehreren Vorrichtungen, die zu der Vorrichtung 104 äquivalent sind, übertragen werden. Mindestens einige der Anforderungen schließen die Echtzeit-Disengagement-Likelihood-Metrik 338 für die jeweilige Vorrichtung ein, um eine Likelihood zu beschreiben, dass der autonome Steuermodus für die jeweilige Vorrichtung einem Disengagement unterliegen wird. Die Echtzeit-Disengagement-Likelihood-Metrik 338 kann auf die in Bezug auf den Prozess 650 beschriebene Weise bestimmt werden.
Operation 952 schließt das Bestimmen einer Einstufungsbewertung für jede der Anforderungen zur Initiierung des Teleoperationsdienstes ein. Die Einstufungsbewertungen basieren teilweise auf den Echtzeit-Disengagement-Likelihood-Metriken. Die Einstufungsbewertungen können teilweise auf einer verstrichenen Zeit basieren, seit die Anforderung zur Initiierung des Teleoperationsdienstes vorgenommen wurde. Andere Informationen können beim Bestimmen der Einstufungsbewertungen berücksichtigt werden. Eine faktorbasierte Berechnung, eine Formel, ein Algorithmus, ein statistisches Modell oder ein anderes Berechnungsverfahren können verwendet werden, um die Einstufungsbewertungen zu bestimmen.
Operation 953 schließt das Auswählen von einer der Vorrichtungen zur Initiierung eines Teleoperationssteuermodus gemäß der Einstufungsbewertung für die jeweilige eine der Vorrichtungen (z. B. Fahrzeuge) ein. Operation 954 schließt das Betreiben der in Operation 953 ausgewählten Vorrichtung in dem Teleoperationssteuermodus ein, indem die Teleoperationsbefehle 337 an die Vorrichtung übertragen werden. Das Betreiben der ausgewählten Vorrichtungen in dem Teleoperationssteuermodus durch Übertragen der Teleoperationsbefehle 337 an die jeweilige eine der Vorrichtungen kann durch einen menschlichen Bediener unter Verwendung des Bedienersystems 110, das mit dem Teleoperationsdienst 102 assoziiert ist, durchgeführt werden.
10 veranschaulicht eine beispielhafte Rechenvorrichtung 1060. Die Rechenvorrichtung 1060 ist eine Hardwarevorrichtung, die verwendet werden kann, um Verarbeitungssysteme zu implementieren, die hierin beschrieben sind, wie Komponenten des Teleoperationsdienstes 102, der Vorrichtung 104 oder der Vorrichtung 106. In dem veranschaulichten Beispiel schließt die Rechenvorrichtung 1060 einen Prozessor 1061, einen Speicher 1062, eine Speicherung 1063 und Kommunikationsvorrichtungen 1064 ein. Die Rechenvorrichtung 1060 kann andere Komponenten, wie Eingabevorrichtungen und Ausgabevorrichtungen, einschließen.
Der Prozessor 1061 ist dazu ausgelegt, Computerprogrammanweisungen auszuführen, und kann eine oder mehrere herkömmliche Vorrichtungen und/oder Spezialvorrichtungen, die dazu ausgelegt sind, Computerprogrammanweisungen auszuführen, sein oder einschließen. Herkömmliche Vorrichtungen, die als Basis zum Implementieren des Prozessors 1061 verwendet werden können, schließen eine oder mehrere Zentralverarbeitungseinheiten, eine oder mehrere Grafikverarbeitungseinheiten, eine oder mehrere anwendungsspezifische integrierte Schaltungen und/oder ein oder mehrere feldprogrammierbare Gate-Arrays ein. Der Speicher 1062 ist eine herkömmliche Kurzzeitspeichervorrichtung, die Informationen für den Prozessor 1061 speichert, wie Direktzugriffsspeichermodule. Eine langfristige nichtflüchtige Speicherung wird durch die Speicherung 1063 bereitgestellt, die zum Beispiel ein Flash-Speichermodul, eine Festplatte oder ein Solid-State-Laufwerk sein kann. Die Kommunikationsvorrichtungen 1064 sind drahtgebundene oder drahtlose Vorrichtungen, die dazu ausgelegt sind, Kommunikationen zwischen der Rechenvorrichtung 1060 und anderen Komponenten oder Systemen, wie durch Senden und Empfangen von Daten, zu ermöglichen.
Die Rechenvorrichtung 1060 ist betreibbar, um Computerprogrammanweisungen zu speichern, zu laden und auszuführen. Wenn sie durch die Rechenvorrichtung 1060 ausgeführt werden, bewirken die Computerprogrammanweisungen, dass die Rechenvorrichtung Operationen durchführt, wie Erhalten von Informationen durch Zugreifen auf die Informationen von einer Speicherungsvorrichtung, Zugreifen auf die Informationen aus dem Kurzzeitspeicher, Empfangen einer drahtgebundenen oder drahtlosen Übertragung, die die Informationen einschließt, Empfangen von Signalen von einer Eingabevorrichtung, die Benutzereingaben repräsentieren, und Empfangen von Signalen von den Sensoren, die Beobachtungen repräsentieren, die von den Sensoren gemacht werden. Die Operationen, die durch die Rechenvorrichtung 1060 durchgeführt werden können, können das Vornehmen einer Bestimmung einschließen, wie durch Vergleichen eines Werts mit einem Schwellenwert, Vergleichen von Zuständen mit Bedingungen, Evaluieren eines oder mehrerer Eingabewerte unter Verwendung einer Formel, Evaluieren eines oder mehrerer Eingabewerte unter Verwendung eines Algorithmus und/oder Durchführen einer Berechnung unter Verwendung von Daten beliebiger Art.
Die Operationen, die durch die Rechenvorrichtung 1060 durchgeführt werden können, können auch das Übertragen von Informationen zum Beispiel unter Verwendung eines Datenbusses, unter Verwendung einer drahtgebundenen Datenübertragung oder unter Verwendung einer drahtlosen Datenübertragung einschließen. Die Operationen, die durch die Rechenvorrichtung 1060 durchgeführt werden können, können auch das Ausgeben eines Signals zum Steuern einer Komponente einschließen, wie durch Ausgeben eines Signals, das bewirkt, dass ein Sensor eine Messung vornimmt, Ausgeben eines Signals, das bewirkt, dass eine Kamera ein Bild erfasst, oder Ausgeben eines Signals, das einen Betrieb eines Aktuators bewirkt, wie durch Anweisen des Aktuators, das Bewegen zu beginnen, das Bewegen zu stoppen, einen Geschwindigkeitswert einzustellen, einen Drehmomentwert einzustellen oder sich in eine bestimmte Position zu bewegen, die durch das Signal spezifiziert ist. Die Operationen, die durch die Rechenvorrichtung 1060 durchgeführt werden können, können auch das Ausgeben eines Anzeigesignals einschließen, das eine Anzeigekomponente veranlasst, Inhalte anzuzeigen, wie durch Ausgeben des Signals an ein lichtemittierendes Anzeigefeld, einen Projektor oder eine andere Art von Anzeigevorrichtung, die in der Lage ist, Inhalte auf eine Weise anzuzeigen, die von einer Person zu sehen ist.
Die hierin beschriebenen Teleoperationssysteme können das Sammeln, Speichern und Verwenden von Daten, die von verschiedenen Quellen verfügbar sind, einschließen. Implementierer werden daran erinnert, dass insoweit als Daten personenbezogener Informationen verwendet werden, um eine Teleoperationsfunktionalität bereitzustellen, die Informationen auf Weisen verwendet werden sollten, die mit geltenden Datenschutzgesetzen und -praktiken vereinbar sind. Zum Beispiel kann das System erfordern, dass Benutzer zustimmen (z. B. um ihre Einwilligung zu erteilen), bevor bestimmte Merkmale ausgeführt werden. Das System kann es Benutzern auch ermöglichen, die Zustimmung zu verweigern, während andere Merkmale sofern möglich bereitgestellt werden. Diese Aktivitäten sollten gemäß Datenschutzrichtlinien und -praktiken durchgeführt werden, die branchenspezifische oder behördliche Anforderungen in Bezug auf den Datenschutz und die Sicherheit von Daten personenbezogener Informationen erfüllen oder übertreffen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 63143441 [0001]

Claims

Computerimplementiertes Verfahren, umfassend: Bestimmen eines vorhergesagten Disengagements eines autonomen Steuermodus eines Fahrzeugs; Ausgeben einer Benachrichtigung, die das Überführen des Fahrzeugs vom autonomen Steuermodus in einen manuellen Steuermodus anfordert; Bestimmen, dass eine Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde; und gemäß der Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, Überführen des Fahrzeugs in einen Teleoperationssteuermodus.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das vorhergesagte Disengagement bestimmt wird, wenn eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet.
Computerimplementiertes Verfahren nach Anspruch 2, wobei die Echtzeit-Disengagement-Likelihood-Metrik als eine Wahrscheinlichkeit ausgedrückt wird, dass der autonome Steuermodus des Fahrzeugs innerhalb eines vorbestimmten Zeitraums einem Disengagement unterliegen wird.
Computerimplementiertes Verfahren nach Anspruch 2, ferner umfassend: autonomes Navigieren in Richtung eines Zielorts, während die Echtzeit-Disengagement-Likelihood-Metrik vor dem Bestimmen des vorhergesagten Disengagements des autonomen Steuermodus des Fahrzeugs überwacht wird.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, das Bestimmen einschließt, dass ein vorbestimmter Zeitraum abgelaufen ist.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, das Bestimmen einschließt, dass eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, das Bestimmen, basierend auf Sensorinformationen von Sensoren, die sich in einer Fahrgastkabine des Fahrzeugs befinden, dass ein Benutzer nicht reagiert, einschließt.
Nichtflüchtige computerlesbare Speichervorrichtung, die Programmanweisungen einschließt, die von einem oder mehreren Prozessoren ausführbar sind, die, wenn sie ausgeführt werden, bewirken, dass der eine oder die mehreren Prozessoren Operationen durchführen, wobei die Operationen umfassen: Bestimmen eines vorhergesagten Disengagements eines autonomen Steuermodus eines Fahrzeugs; Ausgeben einer Benachrichtigung, die das Überführen des Fahrzeugs vom autonomen Steuermodus in einen manuellen Steuermodus anfordert; Bestimmen, dass eine Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde; und gemäß der Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, Überführen des Fahrzeugs in einen Teleoperationssteuermodus.
Nichtflüchtige computerlesbare Speichervorrichtung nach Anspruch 8, wobei das vorhergesagte Disengagement bestimmt wird, wenn eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet.
Nichtflüchtige computerlesbare Speichervorrichtung nach Anspruch 9, wobei die Echtzeit-Disengagement-Likelihood-Metrik als eine Wahrscheinlichkeit ausgedrückt wird, dass der autonome Steuermodus des Fahrzeugs innerhalb eines vorbestimmten Zeitraums einem Disengagement unterliegen wird.
Nichtflüchtige computerlesbare Speichervorrichtung nach Anspruch 9, ferner umfassend: autonomes Navigieren in Richtung eines Zielorts, während die Echtzeit-Disengagement-Likelihood-Metrik vor dem Bestimmen des vorhergesagten Disengagements des autonomen Steuermodus des Fahrzeugs überwacht wird.
Nichtflüchtige computerlesbare Speichervorrichtung nach Anspruch 8, wobei das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, das Bestimmen einschließt, dass ein vorbestimmter Zeitraum abgelaufen ist.
Nichtflüchtige computerlesbare Speichervorrichtung nach Anspruch 8, wobei das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, das Bestimmen einschließt, dass eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet.
Nichtflüchtige computerlesbare Speichervorrichtung nach Anspruch 8, wobei das Bestimmen, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, das Bestimmen, basierend auf Sensorinformationen von Sensoren, die sich in einer Fahrgastkabine des Fahrzeugs befinden, dass ein Benutzer nicht reagiert, einschließt.
Einrichtung, umfassend: einen Speicher und einen oder mehrere Prozessoren, die dazu ausgelegt sind, Anweisungen auszuführen, die in dem Speicher gespeichert sind, wobei die Anweisungen, wenn sie ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen zum: Bestimmen eines vorhergesagten Disengagements eines autonomen Steuermodus eines Fahrzeugs, Ausgeben einer Benachrichtigung, die das Überführen des Fahrzeugs vom autonomen Steuermodus in einen manuellen Steuermodus anfordert, Bestimmen, dass eine Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, und gemäß der Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, Überführen des Fahrzeugs in einen Teleoperationssteuermodus.
Einrichtung nach Anspruch 15, wobei das vorhergesagte Disengagement bestimmt wird, wenn eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet.
Einrichtung nach Anspruch 16, wobei die Echtzeit-Disengagement-Likelihood-Metrik als eine Wahrscheinlichkeit ausgedrückt wird, dass der autonome Steuermodus des Fahrzeugs innerhalb eines vorbestimmten Zeitraums einem Disengagement unterliegen wird.
Einrichtung nach Anspruch 16, wobei die Anweisungen den einen oder die mehreren Prozessoren ferner veranlassen zum: autonomen Navigieren in Richtung eines Zielorts, während die Echtzeit-Disengagement-Likelihood-Metrik vor der Bestimmung des vorhergesagten Disengagements des autonomen Steuermodus des Fahrzeugs überwacht wird.
Einrichtung nach Anspruch 15, wobei die Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, eine Bestimmung einschließt, dass ein vorbestimmter Zeitraum abgelaufen ist.
Einrichtung nach Anspruch 15, wobei die Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, eine Bestimmung einschließt, dass eine Echtzeit-Disengagement-Likelihood-Metrik einen Schwellenwert überschreitet.
Einrichtung nach Anspruch 15, wobei die Bestimmung, dass die Schwellenbedingung ohne Überführung des Fahrzeugs in den manuellen Steuermodus erfüllt wurde, eine Bestimmung, basierend auf Sensorinformationen von Sensoren, die sich in einer Fahrgastkabine des Fahrzeugs befinden, dass ein Benutzer nicht reagiert, einschließt.